动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

python使用ip代理抓取网页

发布时间:2019-10-22 14:16:24 来源:黑核动态ip代理

分享到

  当我们抓取网站的一个信息的时候,如果我们访问的时段非常的频繁,很大可能会被被访问的网站检测到从而进行屏蔽,解决这个问题的方法之一就使用代理IP,在我们接入因特网上网的时候,我们的电脑会被分配一个IP,提供给我们试用,而当我们频繁访问一个网站时,该网站也正是因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。这时候如果我们再使用多个不同的headers,这时候就有多个ip+主机的组合,访问时被发现的概率又进一步减小了。

python使用ip代理抓取网页

  关于代码中ip代理的使用,下面介绍一下:

  步骤:

  1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页

  proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}

  2、定制、创建一个opener

  opener=urllib2.build_opener(proxy_support)

  3、(1)安装opener

  urlib2.install_opener(opener)

  (2)调用默认的opener

  opener.open(url)

  对于没有设置反爬虫机制的网站,我们只需要直接像上面引入ProxyHandler类进行处理,下面以访问csdn主页为例:

  import urllib

  url="http://www.csdn.net/"

  for i in range(0,10000):

  html=urllib.urlopen(url)

  print html.info()

  print i

  当使用上述代码时,当循环到20时,就会出现下面的错误

  Traceback(most recent call last):

  File"C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py",line 19,in<module>

  html=urllib.urlopen(url)

  File"C:\Python27\lib\urllib.py",line 87,in urlopen

  return opener.open(url)

  File"C:\Python27\lib\urllib.py",line 213,in open

  return getattr(self,name)(url)

  File"C:\Python27\lib\urllib.py",line 350,in open_http

  h.endheaders(data)

  File"C:\Python27\lib\httplib.py",line 997,in endheaders

  self._send_output(message_body)

  File"C:\Python27\lib\httplib.py",line 850,in _send_output

  self.send(msg)

  File"C:\Python27\lib\httplib.py",line 812,in send

  self.connect()

  File"C:\Python27\lib\httplib.py",line 793,in connect

  self.timeout,self.source_address)

  File"C:\Python27\lib\socket.py",line 571,in create_connection

  raise err

  IOError:[Errno socket error][Errno 10060]

  这就是因为我们使用了计算机的单一ip进行频繁访问而被检测出来的。

  下面是使用了ip代理的代码:

  import urllib2

  import random

  def getHtml(url,proxies):

  random_proxy=random.choice(proxies)

  proxy_support=urllib2.ProxyHandler({"http":random_proxy})

  opener=urllib2.build_opener(proxy_support)

  urllib2.install_opener(opener)

  html=urllib2.urlopen(url)

  return html

  url="http://www.csdn.net/"

  proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080"

  "115.173.218.224:9797","110.77.0.70:80"]

  for i in range(0,10000):

  try:

  html=getHtml(url,proxies)

  print html.info()#打印网页的头部信息,只是为了展示访问到了网页,可以自己修改成想显示的内容

  print i

  except:

  print"出现故障"

  这个代码我测试是在1096次时被检测到了,要知道我的列表中只有6个ip,如果我们增加ip的个数,那么被发现的概率是不是又会更低了。对于上面的例子中的ip代理,有可能在过了一段时间后便不能用了,这个需要自己到网上搜索最新的ip代理,进行替换。还有程序中的异常处理是为了使程序能够处理ip代码访问时出现问题的情况,因为有些ip代理在访问的时候会出现故障的,这样做了可以使程序更加健壮。

  对于有反爬虫机制的网页,下面还是以访问csdn中的博客为例:

  #coding:utf-8

  import urllib2

  import random

  def get_html(url,headers,proxies):

  random_userAget=random.choice(headers)

  random_proxy=random.choice(proxies)

  #下面是模拟浏览器进行访问

  req=urllib2.Request(url)

  req.add_header("User-Agent",random_userAget)

  req.add_header("GET",url)

  req.add_header("Host","blog.csdn.net")

  req.add_header("Referer","http://blog.csdn.net/?&page=6")

  #下面是使用ip代理进行访问

  proxy_support=urllib2.ProxyHandler({"http":random_proxy})

  opener=urllib2.build_opener(proxy_support)

  urllib2.install_opener(opener)

  html=urllib2.urlopen(req)

  return html

  url="http://blog.csdn.net/?&page=3"

  """

  使用多个主机中的user_agent信息组成一个列表,当然这里面的user_agent都是残缺的,大家使用时可以自己找

  身边的小伙伴借呦

  """

  user_agents=[

  "Mozilla/5.0(Windows NT 6.3;WOW64)AppleWe。。。hrome/45.0.2454.101 Safari/537.36",

  "Mozilla/5.0(Windows NT 6.1)AppleWebKit/537.。。。。likeGecko)Chrome/45.0.2454.101Safari/537.36",

  "Mozilla/5.0(Windows NT 10.0;WOW64)AppleWebKit。。。。。Gecko)Chrome/50.0.2661.102 Safari/537.36",

  "Mozilla/5.0(Windows NT 6.1;WOW64)AppleWebKit/537.3。。。。ML,like Gecko)Chrome/49.0.2623.112 Safari/537.36",

  "User-Agent:Mozilla/5.0(Windows NT 10.0;Win64;x64)。。。WebKit/537.36(KHTML,like Gecko)Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",

  "User-Agent:Mozilla/5.0(Windows NT 10.0)AppleWebKi。。。。。36(KHTML,like Gecko)Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",

  "Mozilla/5.0(Windows NT 10.0;WOW64)Apple。。。。。KHTML,like Gecko)Chrome/50.0.2661.94 Safari/537.36"

  ]

  #网上的ip有可能是不能用的,需要多做尝试

  myproxies=["220.189.249.80:80","124.248.32.43:80"]

  html=get_html(url,user_agents,myproxies)

  print html.read()


相关资讯

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了,动不动就被封号,要么就是一个IP只能登陆一个账号,这就尴尬了,如果只用一个账号推广根本不见效啊,或者说见效也效果不大,只能大批量的做推广

来源:黑核混拨ip加速器网

2018-12-25 16:28:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP

来源:黑核混拨ip加速器网

2018-12-25 16:58:44

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑,一天只能观看几个视频就需要开通会员才能看了,但是我们又不想冲会员怎么办,那就需要修改手机IP地址了,但是怎么修改手机IP地址呢?不是谁都懂的

来源:黑核混拨ip加速器网

2018-12-25 17:39:01

还在找ip地址修改器吗?来试试黑核混拨IP加速器吧

国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件,ip地址修改用哪些工具好处呢,因为工作或者个人需求,修改IP后可以注册一些限制IP注册的

来源:黑核混拨ip加速器网

2018-12-25 18:13:13

在国外想玩lol国服吗?来试试这个ip加速器吧

身在国外想玩下国服游戏是一件很痛苦的事情,因为网络延迟太高了,卡到让人怀疑人生的那种地步,有多卡呢?玩个游戏能卡出漫画的效果来,看着都着急啊。特别是玩游戏的时候

来源:黑核混拨ip加速器网

2018-12-27 17:07:17

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

为什么网站要限制python爬虫大量抓取

很多从事python爬虫的网友,在采集网站信息时常遇见一些数据显示在浏览器上却无法抓取的情况。这可能是因为对方有意不让爬虫抓取信息,当你的IP地址被网站封杀,就

来源:黑核混拨ip代理

2019-01-14 17:03:45

网页代理是不是socks代理、HTTP代理、VPN代理

网页代理是什么?一般网页代理页成为在线代理。在线代理英文全称是(WebProxyServer)。代理服务器其功能就是代理网络用户去取得网络信息。形象的说:它是网

来源:黑核混拨ip加速器网

2019-01-07 14:07:48

为什么使用python采集都使用ip代理软件

多线程、异步与动态代理使用代理IPweb爬虫在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的WAF,使得本来很简单事情变得复杂起来,使得很多人无法获取

来源:黑核混拨ip代理

2019-01-10 10:34:30

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961