动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

如何判断IP是否是搜索引擎蜘蛛

发布时间:2019-04-11 14:56:39 来源:黑核动态ip代理

分享到

  如何判断IP是否是搜索引擎蜘蛛?通过linux系统下的host命令或者windows系统下的nslookup命令根据ip反向查找域名,根据反向查找的域名判断是否是搜索引擎的蜘蛛或者爬虫。

  常用蜘蛛的域名都和搜索引擎官网的域名相关,例如:

  1.百度的蜘蛛通常是baidu.com或者baidu.jp的子域名

  2.google爬虫通常是googlebot.com的子域名

  3.微软bing搜索引擎爬虫是search.msn.com的子域名

  4.搜狗蜘蛛是crawl.sogou.com的子域名

  判断IP是否是搜索引擎蜘蛛的核心Python代码

import socket
def getHost(ip):
    try:
        result=socket.gethostbyaddr(ip)
        if result: return result[0], None
    except socket.herror,e:
        return None, e.message

  常见搜索引擎蜘蛛(爬虫)的IP段如下表:

  附带常见搜索引擎蜘蛛的IP段:


蜘蛛名称IP地址
Baiduspider

202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*

YodaoBot

202.108.7.215 202.108.7.220 202.108.7.221

Sogou web spider

219.234.81.* 220.181.61.*

Googlebot

203.208.60.*

Yahoo! Slurp

202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*

Yahoo ContentMatch Crawler

119.42.226.* 119.42.230.*

Sogou-Test-Spider

220.181.19.103 220.181.26.122

Twiceler

38.99.44.104 64.34.251.9

Yahoo! Slurp China

202.160.178.*

Sosospider124.115.0.*
CollapsarWEB qihoobot

221.194.136.18

NaverBot

202.179.180.45

Sogou Orion spider

220.181.19.106 220.181.19.74

Sogou head spider

220.181.19.107

SurveyBot

216.145.5.42 64.246.165.160

Yanga WorldSearch Bot v

77.91.224.19 91.205.124.19

baiduspider-mobile-gate

220.181.5.34 61.135.166.31

discobot

208.96.54.70

ia_archiver209.234.171.42
msnbot

65.55.104.209 65.55.209.86 65.55.209.96

sogou in spider

220.181.19.216

相关资讯

如何判断IP是否是搜索引擎蜘蛛

如何判断IP是否是搜索引擎蜘蛛?通过linux系统下的host命令或者windows系统下的nslookup命令根据ip反向查找域名,根据反向查找的域名判断是否

来源:黑核动态ip代理

2019-04-11 14:56:39

如何判断代理服务器列表中的好坏?

如何判断代理服务器列表中的好坏?基本上一个较为正规或成熟的代理服务器平台,他们都会有专业的技术团队和客服售后,而且这些很容易使他们的综合水平考察范围,因此我们可

来源:黑核混拨ip代理

2019-03-28 16:40:53

判断代理IP是否有用的方法

如何判断代理IP是否有用?要想判断所使用的代理IP是否有用,只需要通过代理IP访问IP地址查询网站抓取地址以及归属地信息并与不使用代理IP时的地址信息以及归属地

来源:黑核动态ip代理

2019-05-09 09:46:58

如何判断高防服务器的防御是否真实

想要服务器租用和服务器托管安全,一些中小企业会选择够抵御CC,DDOS等外来攻击的服务器,而这些服务器称为高防服务器。那么具体什么是高防服务器,我应该如何判断高

来源:黑核动态ip代理

2019-05-27 10:05:01

髙匿代理ip是什么?如何判断是否髙匿?

有一些朋友认为,当他设置代理IP后再查本机IP,本机IP并没有发生改变,他认为这个是透明代理,其实是不对的,这种情况应该是浏览器或系统哪里没设置好,导致设置的代

来源:黑核动态ip代理

2019-11-27 14:51:22

代理高匿性的判断方法

代理主要包括透明代理,普通匿名代理,欺骗性代理及高匿代理等,本文主要为大家讲讲代理高匿性的判断方法:没有使用代理服务器REMOTE_ADDR=您的IPHTTP_

来源:黑核动态ip代理

2019-12-04 14:19:53

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP

来源:黑核混拨ip加速器网

2018-12-25 16:58:44

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

换IP软件有什么用

现在网上有很多免费的代理服务器IP地址,直接在百度中搜索就会出现很多,但是一般免费的代理服务器访问速度比较慢,有的则不能使用,所以用户可以选择收费的黑核动态IP

来源:黑核动态ip代理

2019-07-29 14:05:18

还在纠玩结英雄联盟用什么加速器好吗?来试试这个

你们玩游戏有没有试过延迟过千的啊?或者说延迟几百,反应总是慢半拍的?总是玩的爽的时候突然给你来卡一下,让你轻松愉快的心情瞬间不爽,游戏把不能不玩,但是玩也要玩的

来源:黑核混拨ip加速器网

2018-12-27 15:58:08

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961