【SEO】如何通过 robots.txt 屏蔽 Sogou Spider 和 Bytespider

以下 robots.txt 文件告诉 Baiduspider(baidu.com)、360Spider(so.com)、Yisouspider(sm.cn)、PetalBot(华为花瓣)、Bytespider(toutiao.com)、Sougou Spider(sogou.com)不要爬整个网站:

User-agent: Baiduspider
User-agent: 360Spider
User-agent: Yisouspider
User-agent: PetalBot
User-agent: Bytespider
User-agent: Sogou web spider
User-agent: Sogou inst spider
Disallow: /

但是,我还是从 nginx 访问日志中看到了 Bytespider 和 Sogou web spider/4.0。

看来 Bytespider 和 Sogou Spider 不完全兼容 robots.txt 排除标准,在我为 robots.txt 中的每个 UA 创建单独的块几天后,这俩爬虫就消失不见了。

User-agent: Baiduspider
User-agent: 360Spider
User-agent: Yisouspider
User-agent: PetalBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: Sogou inst spider
Disallow: /
0 条评论
请不要发布违法违规有害信息,如发现请及时举报或反馈
还没有人评论呢,速度抢占沙发!