我们在制作爬虫爬取想要的资料时，由于是计算机自动抓取，强度大、速度快，通常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，在这里介绍相关的技巧，以免被封；但在制作爬虫时，还是要适当加入延时代码，以减少对目标网站的影响。下文分享5种ip代理的设置方法，供大家参考！

　　一、requests设置代理:

　　importrequests

　　proxies={"http":"http://192.10.1.10:8080","https":"http://193.121.1.10:9080",}

　　requests.get("http://targetwebsite.com",proxies=proxies)

　　二、Selenium+Chrome设置代理：

　　fromseleniumimportwebdriver

　　PROXY="192.206.133.227:8080"

　　chrome_options=webdriver.ChromeOptions()

　　chrome_options.add_argument('--proxy-server={0}'.format(PROXY))

　　browser=webdriver.Chrome(chrome_options=chrome_options)

　　browser.get('www.targetwebsize.com')

　　print(browser.page_source)

　　brsowser.close()

　　三、Selenium+Phantomjs设置代理:

　　#利用DesiredCapabilities(代理设置)参数值，重新打开一个sessionId.

　　proxy=webdriver.Proxy()

　　proxy.proxy_type=ProxyType.MANUAL

　　proxy.http_proxy='192.25.171.51:8080'

　　#将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中

　　proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)

　　browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)

　　browser.get('http://www.targetwebsize.com')

　　print(browser.page_source)

　　#还原为系统代理只需将proxy_type重新设置一次

　　proxy.proxy_type=ProxyType.DIRECT

　　proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)

　　browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)

　　四、爬虫框架scrapy设置代理:

　　在setting.py中添加代理IP

　　PROXIES=['http://173.207.95.27:8080',

　　'http://111.8.100.99:8080',

　　'http://126.75.99.113:8080',

　　'http://68.146.165.226:3128']

　　而后，在middlewares.py文件中，添加下面的代码。

　　importscrapyfromscrapy

　　importsignals

　　importrandom

　　classProxyMiddleware(object):

　　'''设置Proxy'''

　　def__init__(self,ip):

　　self.ip=ip

　　@classmethod

　　deffrom_crawler(cls,crawler):

　　returncls(ip=crawler.settings.get('PROXIES'))

　　defprocess_request(self,request,spider):

　　ip=random.choice(self.ip)

　　request.meta['proxy']=ip

　　最后将我们自定义的类添加到下载器中间件设置中，如下。

　　DOWNLOADER_MIDDLEWARES={'myproject.middlewares.ProxyMiddleware':543,}

　　五、Python异步Aiohttp设置代理:

　　proxy="http://192.121.1.10：9080"

　　asyncwithaiohttp.ClientSession()assession:

　　asyncwithsession.get("http://python.org",proxy=proxy)asresp:

　　print(resp.status)

　　#https方法一:

　　#connector=SocksConnector.from_url('socks5://localhost:1080',rdns=True)

　　#asyncwithaiohttp.ClientSession(connector=connector)assess:

　　#https方法二:

　　asyncwithaiohttp.ClientSession()assession:

　　session.proxies={'http':'socks5h://127.0.0.1:1080',

　　'https':'socks5h://127.0.0.1:1080'}

　　headers={'content-type':'image/gif',

　　'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.77Safari/537.36'

　　}

　　cookies={'cookies_are':'working'}

　　#proxy="http://127.0.0.1:1080"

　　withasync_timeout.timeout(10):#设置请求的最长时间为10s

　　#asyncwithsess.get(url,proxy="http://54.222.232.0:3128")asres:

　　asyncwithsession.get(url,headers=headers,cookies=cookies,verify_ssl=False)asres:

　　text=awaitres.text()

　　print(text)

相关资讯

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了，动不动就被封号，要么就是一个IP只能登陆一个账号，这就尴尬了，如果只用一个账号推广根本不见效啊，或者说见效也效果不大，只能大批量的做推广

来源：黑核混拨ip加速器网

2018-12-25 16:28:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP

来源：黑核混拨ip加速器网

2018-12-25 16:58:44

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑，一天只能观看几个视频就需要开通会员才能看了，但是我们又不想冲会员怎么办，那就需要修改手机IP地址了，但是怎么修改手机IP地址呢？不是谁都懂的

来源：黑核混拨ip加速器网

2018-12-25 17:39:01

还在找ip地址修改器吗？来试试黑核混拨IP加速器吧

国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件，ip地址修改用哪些工具好处呢，因为工作或者个人需求，修改IP后可以注册一些限制IP注册的

来源：黑核混拨ip加速器网

2018-12-25 18:13:13

在国外想玩lol国服吗？来试试这个ip加速器吧

身在国外想玩下国服游戏是一件很痛苦的事情，因为网络延迟太高了，卡到让人怀疑人生的那种地步，有多卡呢？玩个游戏能卡出漫画的效果来，看着都着急啊。特别是玩游戏的时候

来源：黑核混拨ip加速器网

2018-12-27 17:07:17

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18

IP加速器的使用方法和简单问题解决办法

IP加速器，顾名思义就是加速IP，提升网络性能，降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器，非游戏外挂，可以放心使用。IP加速器的客户端设置简

来源：黑核混拨ip加速器网

2018-12-28 10:21:44

经久不衰的http代理ip如何设置代理

作为最高出现在网络上的一个超文本协议，http是目前互联网上使用率最高的一个文本协议。如我们日常生活中最常用的一个网站，度娘使用的也是http协议。即使如今的代

来源：黑核混拨ip代理

2019-01-10 11:52:14

保护ip地址的5种方法

有什么办法可以保护IP地址呢？下文整理了保护ip地址的5种方法，供大家参考借鉴！一、停用网络链接服务法大伙儿知晓，假如限制客户修改TCP/IP参数的话，哪么这类

来源：黑核动态ip代理

2019-04-15 11:46:57

互联网工作中ip代理是不可缺少的工具

目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对

来源：黑核混拨ip加速器网

2018-12-27 17:45:23