我们在制作爬虫爬取想要的资料时，由于是计算机自动抓取，强度大、速度快，通常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，在这里介绍相关的技巧，以免被封；但在制作爬虫时，还是要适当加入延时代码，以减少对目标网站的影响。下文分享5种ip代理的设置方法，供大家参考！

　　一、requests设置代理:

　　importrequests

　　proxies={"http":"http://192.10.1.10:8080","https":"http://193.121.1.10:9080",}

　　requests.get("http://targetwebsite.com",proxies=proxies)

　　二、Selenium+Chrome设置代理：

　　fromseleniumimportwebdriver

　　PROXY="192.206.133.227:8080"

　　chrome_options=webdriver.ChromeOptions()

　　chrome_options.add_argument('--proxy-server={0}'.format(PROXY))

　　browser=webdriver.Chrome(chrome_options=chrome_options)

　　browser.get('www.targetwebsize.com')

　　print(browser.page_source)

　　brsowser.close()

　　三、Selenium+Phantomjs设置代理:

　　#利用DesiredCapabilities(代理设置)参数值，重新打开一个sessionId.

　　proxy=webdriver.Proxy()

　　proxy.proxy_type=ProxyType.MANUAL

　　proxy.http_proxy='192.25.171.51:8080'

　　#将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中

　　proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)

　　browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)

　　browser.get('http://www.targetwebsize.com')

　　print(browser.page_source)

　　#还原为系统代理只需将proxy_type重新设置一次

　　proxy.proxy_type=ProxyType.DIRECT

　　proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)

　　browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)

　　四、爬虫框架scrapy设置代理:

　　在setting.py中添加代理IP

　　PROXIES=['http://173.207.95.27:8080',

　　'http://111.8.100.99:8080',

　　'http://126.75.99.113:8080',

　　'http://68.146.165.226:3128']

　　而后，在middlewares.py文件中，添加下面的代码。

　　importscrapyfromscrapy

　　importsignals

　　importrandom

　　classProxyMiddleware(object):

　　'''设置Proxy'''

　　def__init__(self,ip):

　　self.ip=ip

　　@classmethod

　　deffrom_crawler(cls,crawler):

　　returncls(ip=crawler.settings.get('PROXIES'))

　　defprocess_request(self,request,spider):

　　ip=random.choice(self.ip)

　　request.meta['proxy']=ip

　　最后将我们自定义的类添加到下载器中间件设置中，如下。

　　DOWNLOADER_MIDDLEWARES={'myproject.middlewares.ProxyMiddleware':543,}

　　五、Python异步Aiohttp设置代理:

　　proxy="http://192.121.1.10：9080"

　　asyncwithaiohttp.ClientSession()assession:

　　asyncwithsession.get("http://python.org",proxy=proxy)asresp:

　　print(resp.status)

　　#https方法一:

　　#connector=SocksConnector.from_url('socks5://localhost:1080',rdns=True)

　　#asyncwithaiohttp.ClientSession(connector=connector)assess:

　　#https方法二:

　　asyncwithaiohttp.ClientSession()assession:

　　session.proxies={'http':'socks5h://127.0.0.1:1080',

　　'https':'socks5h://127.0.0.1:1080'}

　　headers={'content-type':'image/gif',

　　'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.77Safari/537.36'

　　}

　　cookies={'cookies_are':'working'}

　　#proxy="http://127.0.0.1:1080"

　　withasync_timeout.timeout(10):#设置请求的最长时间为10s

　　#asyncwithsess.get(url,proxy="http://54.222.232.0:3128")asres:

　　asyncwithsession.get(url,headers=headers,cookies=cookies,verify_ssl=False)asres:

　　text=awaitres.text()

　　print(text)

相关资讯

IP加速器的使用方法和简单问题解决办法

IP加速器，顾名思义就是加速IP，提升网络性能，降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器，非游戏外挂，可以放心使用。IP加速器的客户端设置简

来源：黑核混拨ip加速器网

2018-12-28 10:21:44

如何修改ip地址？修改ip地址的方法有哪些？

许多人在工作生活中经常需要用到换IP，比如帮朋友投票，刷单，做网络推广等等。大量的工作需要换IP，单单靠手动切换IP的方法比较耗时间，效果也不好，那么如何更换I

来源：黑核混拨ip加速器网

2018-12-29 13:48:40

简单实用的手机切换ip小方法

很多朋友在手机上做网络营销推广的话，很容易被平台的限制ip地址，造成很大麻烦，这个时候就需要我们经常更换下ip，以防止被限制。很多人对手机换ip感觉很陌生，不知

来源：黑核混拨ip加速器网

2018-12-29 17:49:11

如何修改ip地址 修改ip地址的方法有哪些

有时候工作必须要换IP，比如做推广需要到换ip,什么百度知道啊，天涯，知乎，搜搜问问，或者是淘宝刷浏览什么的，这些都是需要换IP才能工作，要不然很容易被封号，被

来源：黑核混拨ip加速器网

2019-01-02 10:19:26

爬虫IP被封的解决方法

由于公司项目需要，需要采集各类地图数据，还有一些大型网站数据。那么，爬虫IP被封怎么办呢？本文来告诉你爬虫IP被封的解决方法。IP必须需要多，比如ADSL。如果

来源：黑核动态ip代理

2019-04-11 15:07:00

爬虫被封IP的解决方法

很多专业的爬虫工作者都会觉得爬虫的技术没有那么深奥，所谓万变不离其宗，在复杂也只是那些个东西，但是要想真正的写好一套完美的爬虫程序又似乎没有那么简单。原因就在于

来源：黑核动态ip代理

2019-04-12 13:54:58

Android模拟器设置网络代理的方法

在服务器上启动模拟器的时候加了--http-proxy，但是不起作用。下面为大家提供四种Android模拟器设置网络代理的方法。一：将网络连接代理设置写入配置数

来源：黑核动态ip代理

2019-04-12 14:57:45

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18

经久不衰的http代理ip如何设置代理

作为最高出现在网络上的一个超文本协议，http是目前互联网上使用率最高的一个文本协议。如我们日常生活中最常用的一个网站，度娘使用的也是http协议。即使如今的代

来源：黑核混拨ip代理

2019-01-10 11:52:14

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

保护ip地址的5种方法

有什么办法可以保护IP地址呢？下文整理了保护ip地址的5种方法，供大家参考借鉴！一、停用网络链接服务法大伙儿知晓，假如限制客户修改TCP/IP参数的话，哪么这类

来源：黑核动态ip代理

2019-04-15 11:46:57