动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

python爬虫使用代理ip或请求头的问题

发布时间:2019-12-05 14:30:17 来源:黑核动态ip代理

分享到

  在request库中使用代理ip实例如下

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0',
    'Connection':
    'keep-alive',
    'Cookie':
    'session-id=130-1833310-5969908; session-id-time=2082787201l;',
    'referer':
    'https://www.amazon.com/s/ref=nb_sb_noss?field-keywords=%E7%94%B5%E8%84%91&ie=UTF8&language=zh_CN&url=search-alias%3Daps'
}

# 设置代理ip
proxies = {
    'http': 'http://110.52.235.150:9999',
    'https': 'https://58.137.62.133:80'
}
list_html = requests.get(
    'https://www.amazon.com/s/ref=nb_sb_noss?field-keywords=' + keywords +
    '&ie=UTF8&language=zh_CN&url=search-alias%3Daps',
    timeout=timeout,
    headers=headers,
    proxies=proxies,
)

  可能会遇到的问题

  一、Failed to establish a new connection:[WinError 10061]由于目标计算机积极拒绝,无法连接。')))

  这种情况是爬取目标对本机进行反爬导致,目前暂时考虑两种:

python爬虫使用代理ip或请求头的问题

  ip封锁导致:

  解决的关键在于cookie携带还有ip更替,(cookie携带下,对ip的封锁频率会降低)

  请求头referer属性:

  部分页面向下访问时会携带referer记录从哪个页面跳转,有些反爬针对referer进行检测,如果没有携带或者携带错误会大大增加封锁率

  请求头用户代理:

  二、Cannot connect to proxy.',NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x00000166942B8D30>:Failed to establish a new connection:[WinError 10060]由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。

  这种情况是由于使用的代理ip失效而无法再连接的问题,可以使用cmd安装tcping命令对ip+端口进行有效性检查

  三、'Connection to 121.61.3.9 timed out.(connect timeout=10)'))

  这种情况是由于使用的代理ip连接失效或者连接过于久,使得超过了程序设定的时间,可以不设置request的timeout属性以达到最大时间看看是否代理ip失效问题。


相关资讯

请求对象添加随机代理IP—反反爬策略

爬虫的目的就是为了模拟点击浏览器操作的行为,在反反爬策略中,最基础的就是更换User-Agent。User-Agent的作用是方便服务器识别,当前请求对象的身份

来源:黑核动态ip代理

2019-11-12 11:55:34

python爬虫使用代理ip或请求头的问题

在request库中使用代理ip实例如下headers = {    'User-Agent

来源:黑核动态ip代理

2019-12-05 14:30:17

一个 TCP 连接可以发多少个 HTTP 请求

曾经有这么一道经典面试题:从URL在浏览器被输入到页面展现的过程中发生了什么?相信大多数准备过的同学都能回答出来,但是如果继续问:收到的HTML如果包含几十个图

来源:黑核动态ip代理

2019-12-17 14:55:15

常见的HTTP请求方法

根据HTTP标准,HTTP请求可以使用多种请求方法。HTTP1.0定义了三种请求方法:GET、POST和HEAD方法。HTTP1.1新增了五种请求方法:OPTI

来源:黑核动态ip代理

2020-03-30 15:13:47

盘点常见的HTTP请求方法

根据HTTP标准,HTTP请求可以使用多种请求方法。HTTP1.0定义了三种请求方法:GET、POST和HEAD方法。HTTP1.1新增了五种请求方法:OPTI

来源:黑核动态ip代理

2020-06-05 14:47:37

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

使用换ip加速器让你轻松切换ip

不知道在工作中需不需要用到换IP软件,不管你是需要还是不需要,反正今天我要介绍的就是换IP软件。现在在百度上面搜索“换IP软件”,随便一搜就可以搜索到很多换IP

来源:黑核混拨ip加速器网

2018-12-28 10:53:31

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

为什么使用python采集都使用ip代理软件

多线程、异步与动态代理使用代理IPweb爬虫在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的WAF,使得本来很简单事情变得复杂起来,使得很多人无法获取

来源:黑核混拨ip代理

2019-01-10 10:34:30

互联网工作中ip代理是不可缺少的工具

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-27 17:45:23

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑,一天只能观看几个视频就需要开通会员才能看了,但是我们又不想冲会员怎么办,那就需要修改手机IP地址了,但是怎么修改手机IP地址呢?不是谁都懂的

来源:黑核混拨ip加速器网

2018-12-25 17:39:01

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961