动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

如何使用python验证代理ip是否可用

发布时间:2019-06-27 11:34:47 来源:黑核动态ip代理

分享到

  如何使用python验证代理ip是否可用?在使用爬虫爬取网络数据时,如果长时间对一个网站进行抓取时可能会遇到IP被封的情况,这种情况可以使用代理更换ip来突破服务器封IP的限制。

  随手在百度上搜索免费代理IP,可以得到一系列的网站,这里我们通过对网站的抓取来举例。

  1.通过编写一个爬虫来抓取网站上面的IP地址,端口,及类型,把这些信息存到本地。这里不做介绍。

  2.验证代理IP是否可用。原理是使用代理IP访问指定网站,如果返回状态为200,表示这个代理是可以使用的。

# _*_ coding:utf-8 _*_

import urllib2
import re


class TestProxy(object):
    def __init__(self):
        self.ip = '106.46.136.64'
        self.port = '808'
        self.url = 'http://www.baidu.com'
        self.timeout = 3

        self.regex = re.compile(r'baidu.com')

        self.run()

    def run(self):
        self.linkWithProxy()
    
    def linkWithProxy(self):
        server = 'http://'+ self.ip + ':'+ self.port

        opener = urllib2.build_opener(urllib2.ProxyHandler({'http':server}))
        urllib2.install_opener(opener)
        try:
            response = urllib2.urlopen(self.url, timeout=self.timeout)
        except:
            print '%s connect failed' % server
            return
        else:
            try:
                str = response.read()

            except:
                print '%s connect failed' % server
                return
            if self.regex.search(str):
                print '%s connect success .......' % server
                print self.ip + ':' + self.port


if __name__ == '__main__':
    Tp = TestProxy()

  也可以使用requests包来进行验证,要少写好多代码

import requests

try:
    requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"})
except:
    print 'connect failed'
else:
    print 'success'

  把验证通过的IP保存在redis里面,在IP被禁止的时候可以从redis中取出来使用。

  添加一种使用telnet来验证的方法:

import telnetlib

try:
    telnetlib.Telnet('127.0.0.1', port='80', timeout=20)
except:
    print 'connect failed'
else:
    print 'success'


相关资讯

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

现在玩自媒体需要用到ip代理吗?

如今越来越多的人开始使用微博、今日头条等等各种自媒体平台,因此很多公司很多人都看到了这之中的商机和机会,并且借助自媒体平台来发展自己的生意,也因为自媒体的蓬勃发

来源:黑核混拨ip加速器网

2018-12-27 17:37:53

互联网工作中ip代理是不可缺少的工具

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-27 17:45:23

使用代理ip有什么好处?

现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来了更多的选择,网

来源:黑核混拨ip加速器网

2018-12-28 15:00:45

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

现在采集越来越难如何找到实用的HTTP代理IP

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-28 15:56:10

什么情况下需要ip代理软件 ip代理软件用途

对于网络营销推广和SEO的朋友来说,数据抓取和模拟访问都是必备的工作,这两种方式都需要有大量的IP资源支持,很多用户在一些网站上面批量注册帐号、发布留言评论都会

来源:黑核混拨ip加速器网

2018-12-28 16:28:33

为什么使用python采集都使用ip代理软件

多线程、异步与动态代理使用代理IPweb爬虫在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的WAF,使得本来很简单事情变得复杂起来,使得很多人无法获取

来源:黑核混拨ip代理

2019-01-10 10:34:30

代理ip地址是否合理

如今有许多代理ip地址,很多人会担心,这种是否是合理的存在?那些进行代理的公司或者个人,从事该种相关的活动,是否是合法的?我们在选择的时候要注意些什么吗?首先确

来源:黑核动态ip代理

2019-04-03 17:10:29

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP

来源:黑核混拨ip加速器网

2018-12-25 16:58:44

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

在线客服
QQ:800861888
客服电话
400-998-997
微信客服