动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

5种ip代理的设置方法

发布时间:2019-10-24 11:47:57 来源:黑核动态ip代理

分享到

  我们在制作爬虫爬取想要的资料时,由于是计算机自动抓取,强度大、速度快,通常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,在这里介绍相关的技巧,以免被封;但在制作爬虫时,还是要适当加入延时代码,以减少对目标网站的影响。下文分享5种ip代理的设置方法,供大家参考!

5种ip代理的设置方法

  一、requests设置代理:

  importrequests

  proxies={"http":"http://192.10.1.10:8080","https":"http://193.121.1.10:9080",}

  requests.get("http://targetwebsite.com",proxies=proxies)

  二、Selenium+Chrome设置代理:

  fromseleniumimportwebdriver

  PROXY="192.206.133.227:8080"

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server={0}'.format(PROXY))

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('www.targetwebsize.com')

  print(browser.page_source)

  brsowser.close()

  三、Selenium+Phantomjs设置代理:

  #利用DesiredCapabilities(代理设置)参数值,重新打开一个sessionId.

  proxy=webdriver.Proxy()

  proxy.proxy_type=ProxyType.MANUAL

  proxy.http_proxy='192.25.171.51:8080'

  #将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中

  proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)

  browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)

  browser.get('http://www.targetwebsize.com')

  print(browser.page_source)

  #还原为系统代理只需将proxy_type重新设置一次

  proxy.proxy_type=ProxyType.DIRECT

  proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)

  browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)

  四、爬虫框架scrapy设置代理:

  在setting.py中添加代理IP

  PROXIES=['http://173.207.95.27:8080',

  'http://111.8.100.99:8080',

  'http://126.75.99.113:8080',

  'http://68.146.165.226:3128']

  而后,在middlewares.py文件中,添加下面的代码。

  importscrapyfromscrapy

  importsignals

  importrandom

  classProxyMiddleware(object):

  '''设置Proxy'''

  def__init__(self,ip):

  self.ip=ip

  @classmethod

  deffrom_crawler(cls,crawler):

  returncls(ip=crawler.settings.get('PROXIES'))

  defprocess_request(self,request,spider):

  ip=random.choice(self.ip)

  request.meta['proxy']=ip

  最后将我们自定义的类添加到下载器中间件设置中,如下。

  DOWNLOADER_MIDDLEWARES={'myproject.middlewares.ProxyMiddleware':543,}

  五、Python异步Aiohttp设置代理:

  proxy="http://192.121.1.10:9080"

  asyncwithaiohttp.ClientSession()assession:

  asyncwithsession.get("http://python.org",proxy=proxy)asresp:

  print(resp.status)

  #https方法一:

  #connector=SocksConnector.from_url('socks5://localhost:1080',rdns=True)

  #asyncwithaiohttp.ClientSession(connector=connector)assess:

  #https方法二:

  asyncwithaiohttp.ClientSession()assession:

  session.proxies={'http':'socks5h://127.0.0.1:1080',

  'https':'socks5h://127.0.0.1:1080'}

  headers={'content-type':'image/gif',

  'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.77Safari/537.36'

  }

  cookies={'cookies_are':'working'}

  #proxy="http://127.0.0.1:1080"

  withasync_timeout.timeout(10):#设置请求的最长时间为10s

  #asyncwithsess.get(url,proxy="http://54.222.232.0:3128")asres:

  asyncwithsession.get(url,headers=headers,cookies=cookies,verify_ssl=False)asres:

  text=awaitres.text()

  print(text)

相关资讯

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了,动不动就被封号,要么就是一个IP只能登陆一个账号,这就尴尬了,如果只用一个账号推广根本不见效啊,或者说见效也效果不大,只能大批量的做推广

来源:黑核混拨ip加速器网

2018-12-25 16:28:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP

来源:黑核混拨ip加速器网

2018-12-25 16:58:44

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑,一天只能观看几个视频就需要开通会员才能看了,但是我们又不想冲会员怎么办,那就需要修改手机IP地址了,但是怎么修改手机IP地址呢?不是谁都懂的

来源:黑核混拨ip加速器网

2018-12-25 17:39:01

还在找ip地址修改器吗?来试试黑核混拨IP加速器吧

国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件,ip地址修改用哪些工具好处呢,因为工作或者个人需求,修改IP后可以注册一些限制IP注册的

来源:黑核混拨ip加速器网

2018-12-25 18:13:13

在国外想玩lol国服吗?来试试这个ip加速器吧

身在国外想玩下国服游戏是一件很痛苦的事情,因为网络延迟太高了,卡到让人怀疑人生的那种地步,有多卡呢?玩个游戏能卡出漫画的效果来,看着都着急啊。特别是玩游戏的时候

来源:黑核混拨ip加速器网

2018-12-27 17:07:17

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

经久不衰的http代理ip如何设置代理

作为最高出现在网络上的一个超文本协议,http是目前互联网上使用率最高的一个文本协议。如我们日常生活中最常用的一个网站,度娘使用的也是http协议。即使如今的代

来源:黑核混拨ip代理

2019-01-10 11:52:14

保护ip地址的5种方法

有什么办法可以保护IP地址呢?下文整理了保护ip地址的5种方法,供大家参考借鉴!一、停用网络链接服务法大伙儿知晓,假如限制客户修改TCP/IP参数的话,哪么这类

来源:黑核动态ip代理

2019-04-15 11:46:57

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

互联网工作中ip代理是不可缺少的工具

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-27 17:45:23

在线客服
QQ:800861888
客服电话
400-998-997
微信客服