动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

Requests中如何设置代理IP

发布时间:2019-09-20 11:24:24 来源:黑核动态ip代理

分享到

  对于采取了比较强的反爬措施网站来说,要想顺利爬取网站数据,设置随机User-Agent和代理IP是非常有效的两个方法。本文主要为大家介绍Requests中如何设置代理IP

  一、不使用代理

  首先,先来看一下不使用代理IP的情况:

import requests
url = 'http://icanhazip.com'
try:
 response = requests.get(url) #不使用代理
 print(response.status_code)
 if response.status_code == 200:
 print(response.text)
except requests.ConnectionError as e:
 print(e.args)

  运行上面的程序,会返回我们电脑本机的IP,可以通过百度查询IP地址对比一下就知道了。

200
124.238.223.xxx # 后三位隐去了
Finished in 0.8s]

Requests中如何设置代理IP

  二、使用代理

  然后,我们测试一下使用代理后的情况。

  常见的代理包括HTTP代理和SOCKS5代理,前者可以找一些免费代理IP进行测试,由于我电脑上使用的是Shadowsocks,所以就介绍一下SOCKS5代理的设置。

  可以看到,这里随机选择了http协议的代理后,返回的IP就是我真实的IP代理地址,成功代理后就可以爬一些墙外的网页了。

  延伸一下,假如随机选择的是https代理,那么返回的IP结果还一样么?我们尝试重复运行一下上面的程序:

{'https': 'socks5://127.0.0.1:1080'}
200
124.238.223.xxx

  可以看到这次使用了https代理,返回的IP却是本机的真实IP,也就是说代理没有起作用。

  进一步地,我们将url改为https协议'https://icanhazip.com',然后再尝试分别用http和https代理请求,查看一下结果:

#http 请求
{'http': 'socks5://127.0.0.1:1080'}
200
124.238.223.xxx
#https 请求
{'https': 'socks5://127.0.0.1:1080'}
200
45.78.42.xxx

  可以看到,两种请求的结果和之前的刚好相反了,由于url采用了https协议,则起作用的是https代理,而http代理则不起作用了,所以显示的是本机IP。

  因此,可以得到这样的一个结论:

  HTTP代理,只代理HTTP网站,对于HTTPS的网站不起作用,也就是说,用的是本机IP。

  HTTPS代理则同理。

  三、使用付费代理

  上面,我们只使用了一个代理,而在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个IP,一种是使用付费的IP代理,免费的IP往往效果不好,那么可以搭建IP代理池,但对新手来说搞一个IP代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费IP,几块钱买个几小时动态IP,多数情况下都足够爬一个网站了。

  这里推荐一个付费代理「黑核动态IP代理」,最近使用了一下,效果非常不错,10块钱买了1天,爬完了一个网站,所以没有必要为了省10块钱,而费劲地去搞IP代理池。


相关资讯

Requests中如何设置代理IP

对于采取了比较强的反爬措施网站来说,要想顺利爬取网站数据,设置随机User-Agent和代理IP是非常有效的两个方法。本文主要为大家介绍Requests中如何设

来源:黑核动态ip代理

2019-09-20 11:24:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP

来源:黑核混拨ip加速器网

2018-12-25 16:58:44

现在采集越来越难如何找到实用的HTTP代理IP

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-28 15:56:10

如何使用ip代理保证爬虫能正常工作?

在实际的爬虫抓取的过程中,由于会存在恶意采集或者恶意攻击的情况,很多网站都会设置相应的防爬取机制,通常防爬程序都是通过ip来识别机器人用户的,因此充足可用的ip

来源:黑核混拨ip加速器网

2018-12-28 17:22:15

如何修改ip地址?修改ip地址的方法有哪些?

许多人在工作生活中经常需要用到换IP,比如帮朋友投票,刷单,做网络推广等等。大量的工作需要换IP,单单靠手动切换IP的方法比较耗时间,效果也不好,那么如何更换I

来源:黑核混拨ip加速器网

2018-12-29 13:48:40

不会修改ip怎么办?来这里教你如何修改电脑ip地址

每台电脑都会有一个IP地址,让电脑在网络中具有唯一性,那么有的朋友问道,IP地址怎么改?下面分享三种改IP地址的方法。小贴示:IP地址分为内网IP(局域网)和外

来源:黑核混拨ip加速器网

2018-12-29 14:52:38

如何修改ip地址 修改ip地址的方法有哪些

有时候工作必须要换IP,比如做推广需要到换ip,什么百度知道啊,天涯,知乎,搜搜问问,或者是淘宝刷浏览什么的,这些都是需要换IP才能工作,要不然很容易被封号,被

来源:黑核混拨ip加速器网

2019-01-02 10:19:26

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

经久不衰的http代理ip如何设置代理

作为最高出现在网络上的一个超文本协议,http是目前互联网上使用率最高的一个文本协议。如我们日常生活中最常用的一个网站,度娘使用的也是http协议。即使如今的代

来源:黑核混拨ip代理

2019-01-10 11:52:14

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

互联网工作中ip代理是不可缺少的工具

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-27 17:45:23

在线客服
QQ:800861888
客服电话
400-998-997
微信客服