动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

详解爬虫使用代理出现的问题

发布时间:2019-11-21 14:32:55 来源:黑核动态ip代理

分享到

  刚学习爬虫代理的时候,测试了下面代码。IP地址是在网上找的免费代理

import requests
proxy = '222.66.94.130:80'proxies = {    'http': 'http://' + proxy,    'https': 'https://' +proxy}try:
    res = requests.get('http://httpbin.org/get', proxies=proxies)    print(res.text)except requests.exceptions.ConnectionError as e:    print('Error', e.args)

  输出也很正常:

D:\software\python.exe E:/code/pycharm/py_project/python3/9.1-3.py
{
  "args": {}, 
  "headers": {
    "Host": "httpbin.org", 
    "User-Agent": "lua-resty-http/0.10 (Lua) ngx_lua/10007"
  }, 
  "origin": "222.66.127.248, 222.66.127.248", 
  "url": "https://httpbin.org/get"
}

  接着想着用代理的IP地址进行爬虫,示例如下

import requests
url = 'https://www.baidu.com'headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}proxy = '222.66.94.130:80'proxies = {    'http': 'http://' + proxy,    'https': 'https://' +proxy}response = requests.get(url=url, proxies=proxies, headers=headers)print(response.status_code)

  结果

  requests.exceptions.ProxyError:HTTPSConnectionPool(host=‘www.baidu.com’,port=443):Max retries exceeded with url:/(Caused by ProxyError(‘Cannot connect to proxy.’,OSError(‘Tunnel connection failed:400 Bad Request’)))

  在这里,我原本以来这个IP地址没有问题,结果就在网上搜集各种出错来源

  1、http连接太多没有关闭导致的

  2、.访问次数频繁,被禁止访问

  其实找来找去最后发现还是这个IP地址的问题。。。(真的便宜没好货)

  后面多试了几个高匿IP地址

  比如:proxy=‘111.231.92.21:8888’

  结果发现就没有报错了

  这里再科普下透明代理,普通匿名代理和高匿代理

  透明代理:可以说是最没用的IP代理,在你访问的时候,对方服务器知道你使用了代理服务器,也知道你的真实IP地址。

  普通匿名代理:比透明代理稍微好一点,访问的时候对方知道你使用了代理,但是一般不清楚你真实IP地址(有一定几率能追查到)。

  高匿代理:这个就比较高级了,不仅能隐藏自身IP地址,还能以假乱真,让服务器以为代理IP地址就是你的真实IP地址。

  各位有兴趣还可以用我给的第一个程序去验证,可以发现高匿IP地址能隐藏客户端真实IP地址。


相关资讯

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

如何使用ip代理保证爬虫能正常工作?

在实际的爬虫抓取的过程中,由于会存在恶意采集或者恶意攻击的情况,很多网站都会设置相应的防爬取机制,通常防爬程序都是通过ip来识别机器人用户的,因此充足可用的ip

来源:黑核混拨ip加速器网

2018-12-28 17:22:15

为什么网络爬虫需要大量IP 有什么好用的IP切换软件

在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力,所以你一直用同一个代理IP

来源:黑核混拨ip加速器网

2019-01-02 18:00:27

爬虫程序为什么都离不开代理ip软件

c#爬虫程序,现在做爬虫抓取数据用什么程序最好,之前在知乎上有一位用户,只为证明c#是爬虫最好的程序而进行了大量的测试。那么写爬虫抓取数据一定会用到代理ip,黑

来源:黑核混拨ip代理

2019-01-10 10:55:33

为什么说好的代理ip软件能提高爬虫效率

c#爬虫,现在做业务越来越难,市面上的代理ip商家五花八门,试过很多代理ip的人会知道对业务效果并不理想,为什么黑核混拨ip代理软件的代理ip质量很高,下面我来

来源:黑核混拨ip代理

2019-01-10 11:07:11

爬虫程序为什么要使用代理ip软件

c#爬虫和python要用什么代理ip?我用c#,java都写过爬虫。区别不大,原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python

来源:黑核混拨ip代理

2019-01-10 11:19:45

哪里有好用又便宜的爬虫代理ip软件

在互联网世界中,用户每一次点击和访问,都不仅仅只是一次点击、访问,它们将汇聚成大片数据,成为你和他人网络畅游的路径。这是爬虫的作用,采集抓取网站信息,帮助搜索引

来源:黑核混拨ip代理

2019-01-10 15:54:51

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

怎么知道python爬虫被封禁?爬虫采集出现403怎么办?

python爬虫被封禁的常见问题有哪些?做为python爬虫的一员,你是否遇到过IP地址一直被目标网站封杀却找不到原因?那么这里说几个python爬虫被封禁的常

来源:黑核混拨ip代理

2019-01-18 10:31:33

互联网工作中ip代理是不可缺少的工具

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-27 17:45:23

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑,一天只能观看几个视频就需要开通会员才能看了,但是我们又不想冲会员怎么办,那就需要修改手机IP地址了,但是怎么修改手机IP地址呢?不是谁都懂的

来源:黑核混拨ip加速器网

2018-12-25 17:39:01

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961