动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

详解爬虫使用代理出现的问题

发布时间:2019-11-21 14:32:55 来源:黑核动态ip代理

分享到

  刚学习爬虫代理的时候,测试了下面代码。IP地址是在网上找的免费代理

import requests
proxy = '222.66.94.130:80'proxies = {    'http': 'http://' + proxy,    'https': 'https://' +proxy}try:
    res = requests.get('http://httpbin.org/get', proxies=proxies)    print(res.text)except requests.exceptions.ConnectionError as e:    print('Error', e.args)

  输出也很正常:

D:\software\python.exe E:/code/pycharm/py_project/python3/9.1-3.py
{
  "args": {}, 
  "headers": {
    "Host": "httpbin.org", 
    "User-Agent": "lua-resty-http/0.10 (Lua) ngx_lua/10007"
  }, 
  "origin": "222.66.127.248, 222.66.127.248", 
  "url": "https://httpbin.org/get"
}

  接着想着用代理的IP地址进行爬虫,示例如下

import requests
url = 'https://www.baidu.com'headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}proxy = '222.66.94.130:80'proxies = {    'http': 'http://' + proxy,    'https': 'https://' +proxy}response = requests.get(url=url, proxies=proxies, headers=headers)print(response.status_code)

  结果

  requests.exceptions.ProxyError:HTTPSConnectionPool(host=‘www.baidu.com’,port=443):Max retries exceeded with url:/(Caused by ProxyError(‘Cannot connect to proxy.’,OSError(‘Tunnel connection failed:400 Bad Request’)))

  在这里,我原本以来这个IP地址没有问题,结果就在网上搜集各种出错来源

  1、http连接太多没有关闭导致的

  2、.访问次数频繁,被禁止访问

  其实找来找去最后发现还是这个IP地址的问题。。。(真的便宜没好货)

  后面多试了几个高匿IP地址

  比如:proxy=‘111.231.92.21:8888’

  结果发现就没有报错了

  这里再科普下透明代理,普通匿名代理和高匿代理

  透明代理:可以说是最没用的IP代理,在你访问的时候,对方服务器知道你使用了代理服务器,也知道你的真实IP地址。

  普通匿名代理:比透明代理稍微好一点,访问的时候对方知道你使用了代理,但是一般不清楚你真实IP地址(有一定几率能追查到)。

  高匿代理:这个就比较高级了,不仅能隐藏自身IP地址,还能以假乱真,让服务器以为代理IP地址就是你的真实IP地址。

  各位有兴趣还可以用我给的第一个程序去验证,可以发现高匿IP地址能隐藏客户端真实IP地址。


相关资讯

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

使用换ip加速器让你轻松切换ip

不知道在工作中需不需要用到换IP软件,不管你是需要还是不需要,反正今天我要介绍的就是换IP软件。现在在百度上面搜索“换IP软件”,随便一搜就可以搜索到很多换IP

来源:黑核混拨ip加速器网

2018-12-28 10:53:31

使用代理ip有什么好处?

现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来了更多的选择,网

来源:黑核混拨ip加速器网

2018-12-28 15:00:45

如何使用ip代理保证爬虫能正常工作?

在实际的爬虫抓取的过程中,由于会存在恶意采集或者恶意攻击的情况,很多网站都会设置相应的防爬取机制,通常防爬程序都是通过ip来识别机器人用户的,因此充足可用的ip

来源:黑核混拨ip加速器网

2018-12-28 17:22:15

抢票IP被封怎么办?使用IP代理软件可以解决

临近过年,买张回家的票成了一种奢侈,但是再难买的票也要买啊,工作一年到头也就这时候回趟家,不管有多难都是要回去的,都想抢票,那么就出现了一种抢票软件,抢票软件就

来源:黑核混拨ip加速器网

2019-01-04 09:46:33

上网越来越不安全使用ip代理软件解决隐患

不安全的互联网连接您可能已经使用防火墙和安全软件保护了自己的网络和计算机。您可能还有一个经过身份验证的ISP连接。但是,当您通过Internet传输数据时,数据

来源:黑核混拨ip加速器网

2019-01-05 14:52:55

使用了ip代理软件还需要清理浏览器的痕迹吗

ip代理软件对于我们来说可能有点陌生吧,但是如果说vpn应该知道的人很多,ip代理软件的前身就是vpn.网页是我们每天都会浏览的东西,我们每天浏览的网页有很多,

来源:黑核混拨ip加速器网

2019-01-05 17:31:09

详解socks5代理使用和安装配置

Socks简介:详情可以百度,不过我猜你对那一大堆术语也会像我一样觉得无语,所以我觉得你可以简单理解为它可以比较完美代理http/ftp/smtp等多种协议的代

来源:黑核混拨ip代理

2019-04-02 10:06:54

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

怎么知道python爬虫被封禁?爬虫采集出现403怎么办?

python爬虫被封禁的常见问题有哪些?做为python爬虫的一员,你是否遇到过IP地址一直被目标网站封杀却找不到原因?那么这里说几个python爬虫被封禁的常

来源:黑核混拨ip代理

2019-01-18 10:31:33

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

在线客服
讨论QQ群
客服电话
13318873961