【SEO】搜索引擎爬虫蜘蛛有哪些?蜘蛛爬虫详解

搜索引擎蜘蛛爬虫,又称网络爬虫、网页蜘蛛、网络机器人、web crawler、spider等,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

本文主要列出目前常见的一些网络爬虫,如下。

  1. Googlebot
    名称:谷歌网页抓取工具
    网址:https://google.com
    用户代理:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  2. Googlebot-Image
    名称:谷歌图片
    网址:https://www.google.com/imghp
    用户代理:Googlebot-Image/1.0
  3. Baiduspider
    名称:百度
    网址:https://www.baidu.com
    用户代理:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
  4. Baiduspider-news
    名称:百度新闻
    网址:https://news.baidu.com
    用户代理:Mozilla/5.0 (compatible; Baiduspider-news/2.0; +http://www.baidu.com/search/spider.html)
  5. Baiduspider-render
    名称:百度渲染
    网址:
    用户代理:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
  6. Baiduspider-image
    名称:百度图片
    网址:https://image.baidu.com
    用户代理:Mozilla/5.0 (compatible; Baiduspider-image/2.0; +http://www.baidu.com/search/spider.html)
  7. Sosospider
    名称:搜搜
    网址:http://www.soso.com
    用户代理:
  8. bingbot
    名称:必应
    网址:https://www.bing.com
    用户代理:Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
  9. 360Spider
    名称:360搜索
    网址:https://www.so.com
    用户代理:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider
  10. HaosouSpider
    名称:好搜
    网址:http://haosou.com
    用户代理:
  11. YisouSpider
    名称:神马
    网址:https://m.sm.cn
    用户代理:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
  12. YoudaoBot
    名称:有道
    网址:https://www.youdao.com
    用户代理:Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )
  13. ChinasoSpider
    名称:中国搜索
    网址:https://www.chinaso.com
    用户代理:
  14. PetalBot
    名称:华为花瓣
    网址:https://www.petalsearch.com
    用户代理:Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
  15. Bytespider
    名称:头条搜索
    网址:https://www.toutiao.com
    用户代理:Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) 
  16. Sogou web spider
    名称:搜狗
    网址:https://www.sogou.com
    用户代理:
  17. Sogou inst spider
    名称:搜狗
    网址:https://www.sogou.com
    用户代理:
0 条评论
请不要发布违法违规有害信息,如发现请及时举报或反馈
还没有人评论呢,速度抢占沙发!