本站在百度的索引量长期为 1,为了增加一点点来自百度的流量,在百度资源平台提交 sitemap 后很久还是为 1,就想使用百度资源平台中的普通推送来手动提交下自己网站的链接,但是所使用的博客系统没有生成这种一个链接一行的文件,一个一个链接复制进文本再提交有亿点累,于是写下这个脚本。
根据网站的 sitemap 来生成一个链接一行的文本,再向百度推送。
由于学识浅薄,代码不是很优雅,欢迎指教。
curl https://www.mhatp.cn/sitemap.xml |grep https | cut -d'>' -f2 | cut -d'<' -f1 > urls.txt
curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://www.mhatp.cn&token=YOURTOKEN"
如果你站开启了 WAF 防护,屏蔽了机器人的请求,直接拿本脚本测试可能无法达到预期结果。
可以把脚本放在和你的网站同一个服务器上运行,直接访问源站绕过 CDN 等云服务商提供的 WAF。
curl --resolve 'www.mhatp.cn:443:127.0.0.1' https://www.mhatp.cn/sitemap.xml |grep https | cut -d'>' -f2 | cut -d'<' -f1 > urls.txt
curl -H 'Content-Type:text/plain' --data-binary @urls.txt "http://data.zz.baidu.com/urls?site=https://www.mhatp.cn&token=YOURTOKEN"
2021.9.3 发布这篇文章 22 小时后更新
百度依旧 1 索引,而谷歌已经收录本文章,准备在 Robot.txt 里放弃百度了。