如何判断IP是否是搜索引擎蜘蛛?通过linux系统下的host命令或者windows系统下的nslookup命令根据ip反向查找域名,根据反向查找的域名判断是否是搜索引擎的蜘蛛或者爬虫。
常用蜘蛛的域名都和搜索引擎官网的域名相关,例如:
1.百度的蜘蛛通常是baidu.com或者baidu.jp的子域名
2.google爬虫通常是googlebot.com的子域名
3.微软bing搜索引擎爬虫是search.msn.com的子域名
4.搜狗蜘蛛是crawl.sogou.com的子域名
判断IP是否是搜索引擎蜘蛛的核心Python代码
import socket def getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0], None except socket.herror,e: return None, e.message
常见搜索引擎蜘蛛(爬虫)的IP段如下表:
附带常见搜索引擎蜘蛛的IP段:
蜘蛛名称 | IP地址 |
---|---|
Baiduspider | 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.* |
YodaoBot | 202.108.7.215 202.108.7.220 202.108.7.221 |
Sogou web spider | 219.234.81.* 220.181.61.* |
Googlebot | 203.208.60.* |
Yahoo! Slurp | 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.* |
Yahoo ContentMatch Crawler | 119.42.226.* 119.42.230.* |
Sogou-Test-Spider | 220.181.19.103 220.181.26.122 |
Twiceler | 38.99.44.104 64.34.251.9 |
Yahoo! Slurp China | 202.160.178.* |
Sosospider | 124.115.0.* |
CollapsarWEB qihoobot | 221.194.136.18 |
NaverBot | 202.179.180.45 |
Sogou Orion spider | 220.181.19.106 220.181.19.74 |
Sogou head spider | 220.181.19.107 |
SurveyBot | 216.145.5.42 64.246.165.160 |
Yanga WorldSearch Bot v | 77.91.224.19 91.205.124.19 |
baiduspider-mobile-gate | 220.181.5.34 61.135.166.31 |
discobot | 208.96.54.70 |
ia_archiver | 209.234.171.42 |
msnbot | 65.55.104.209 65.55.209.86 65.55.209.96 |
sogou in spider | 220.181.19.216 |
相关资讯
如何判断IP是否是搜索引擎蜘蛛
如何判断IP是否是搜索引擎蜘蛛?通过linux系统下的host命令或者windows系统下的nslookup命令根据ip反向查找域名,根据反向查找的域名判断是否
来源:黑核动态ip代理
2019-04-11 14:56:39
如何判断代理服务器列表中的好坏?
如何判断代理服务器列表中的好坏?基本上一个较为正规或成熟的代理服务器平台,他们都会有专业的技术团队和客服售后,而且这些很容易使他们的综合水平考察范围,因此我们可
来源:黑核混拨ip代理
2019-03-28 16:40:53
判断代理IP是否有用的方法
如何判断代理IP是否有用?要想判断所使用的代理IP是否有用,只需要通过代理IP访问IP地址查询网站抓取地址以及归属地信息并与不使用代理IP时的地址信息以及归属地
来源:黑核动态ip代理
2019-05-09 09:46:58
如何判断高防服务器的防御是否真实
想要服务器租用和服务器托管安全,一些中小企业会选择够抵御CC,DDOS等外来攻击的服务器,而这些服务器称为高防服务器。那么具体什么是高防服务器,我应该如何判断高
来源:黑核动态ip代理
2019-05-27 10:05:01
髙匿代理ip是什么?如何判断是否髙匿?
有一些朋友认为,当他设置代理IP后再查本机IP,本机IP并没有发生改变,他认为这个是透明代理,其实是不对的,这种情况应该是浏览器或系统哪里没设置好,导致设置的代
来源:黑核动态ip代理
2019-11-27 14:51:22
代理高匿性的判断方法
代理主要包括透明代理,普通匿名代理,欺骗性代理及高匿代理等,本文主要为大家讲讲代理高匿性的判断方法:没有使用代理服务器REMOTE_ADDR=您的IPHTTP_
来源:黑核动态ip代理
2019-12-04 14:19:53
黑核混拨IP加速器让你知道如何改变ip地址
被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP
来源:黑核混拨ip加速器网
2018-12-25 16:58:44
换ip软件帮您解决ip被封烦恼!
换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也
来源:黑核混拨IP网
2018-12-25 15:52:02
换IP软件有什么用
现在网上有很多免费的代理服务器IP地址,直接在百度中搜索就会出现很多,但是一般免费的代理服务器访问速度比较慢,有的则不能使用,所以用户可以选择收费的黑核动态IP
来源:黑核动态ip代理
2019-07-29 14:05:18
还在纠玩结英雄联盟用什么加速器好吗?来试试这个
你们玩游戏有没有试过延迟过千的啊?或者说延迟几百,反应总是慢半拍的?总是玩的爽的时候突然给你来卡一下,让你轻松愉快的心情瞬间不爽,游戏把不能不玩,但是玩也要玩的
来源:黑核混拨ip加速器网
2018-12-27 15:58:08
推荐阅读
Copyright © | 广州网连信息技术有限公司动态ip代理版权所有 备案号:粤ICP备18088888号-15 网站地图