您的位置：首页 > 新闻资讯 > 正文

如何获取高匿代理ip

发布时间：2019-05-09 09:56:36 来源：黑核动态ip代理

分享到

　　使用高匿代理，对方服务器不知道你使用了代理，更不知道你的真实IP。那么如何获取高匿代理ip？下文整理了具体的步骤思路，供大家参考借鉴。

如何获取高匿代理ip

　　一、获取高匿代理IP思路

　　注意事项

　　做第二步之前你需要先找个地址url，用本机访问出来一个成功的页面，建议保留为html，作为后面使用，进行成功和禁用页面的对比，然后才可以高频访问此网站使你的电脑禁用。

　　获取高匿的可用代理ip，可以用以下四个步骤：

　　第一步：获取代理ip，比如黑核动态IP代理等一些代理IP网站爬取

　　第二步：找一个容易禁止代理IP的网站，我选择是孔夫子，进行高频率线程访问孔夫子网，使孔夫子网站禁用我当前电脑ip。

　　第三步：可以初步进行代理ip筛选，用python request库进行访问百度或者其他，删选出可用代理ip（不一定是高匿的），也可以直接进行第四步。

　　第四步：直接进行用request访问，如果含有的响应文本里有成功的页面文字就可以说明ip可以用，而且是高匿（因为你的当前电脑已经被测试网站禁止，如果访问成功说明代理ip可以用）

　　二、实践

　　1、获取代理ip，这个我就不写了，如果会爬虫自己就可以找几个代理ip网站爬爬。

　　2、我用的孔夫子旧书网作为鉴别代理IP高匿网站

　　前提，先保留一份访问成功的响应html页面。

　　然后进行高频访问网站

　　不多说直接上代码：

import requests
import time
from threading import Thread


def ceshi(file_save):
    url = "http://book.kongfz.com/175804/1038155437/"
    headers = {
        'Cookie': 'PHPSESSID=0d12c303a92043f13a3cc2c329e444f36b44ef71; shoppingCartSessionId=74c831996eb9a1009d79244d7d915040; kfz_uuid=f53edd56-8938-48af-a447-9a07bde47ffa; reciever_area=1006000000; Hm_lvt_bca7840de7b518b3c5e6c6d73ca2662c=1552367977; Hm_lvt_33be6c04e0febc7531a1315c9594b136=1552367977; kfz_trace=f53edd56-8938-48af-a447-9a07bde47ffa|10072231|834871367e51d410|-; acw_tc=65c86a0a15523697386136416e812159c1e7ce1072aea90b9eb27c93ee05cc; BIGipServerpool_nxtqzj=527099402.24615.0000; Hm_lpvt_bca7840de7b518b3c5e6c6d73ca2662c=1552371456; Hm_lpvt_33be6c04e0febc7531a1315c9594b136=1552371456',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    try:
        resp = requests.get(url=url, headers=headers, timeout=2)
        if "胡适传论，上下。,胡明,简介,人民文学出版社" in resp.text:
           print("ok")
        else:
            print("errer")
    except:
        pass


if __name__ == '__main__':
    start_time = time.time()
    # 储存可用的ip地址
    file_save = open(r'D:\zjf_workspace\000爬虫代码-基础的\scrapy_003免费代理_IP\66代理IP\ok_2s_detail_ips.txt', 'a', encoding='utf-8')
    thread_list = []
    total_num = 0
    for i in range(1000):
        thred_ip = Thread(target=ceshi, args=[file_save])
        thread_list.append(thred_ip)
        thred_ip.start()
        total_num += 1
        print(total_num, total_num)
    for i in thread_list:
        i.join()
    file_save.close()
    end_time = time.time()
    print((end_time - start_time), '秒')

　　3、初步删选

　　如果爬的代理ip数量很多采用这一步，少的话可以直接下一步，想着多了进行初次删选，以后这批初步代理ip可能需要，我使用的是百度。

　　直接上代码：

import requests
import time
from threading import Thread


def demo_ip(ip_one, file_save):
    url = "https://www.baidu.com/"
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Cache-Control': 'max-age=0',
        'Connection': 'keep-alive',
        'Cookie': 'PSTM=1550130597; BIDUPSID=526C9C6BFBDCEB1D551FA9C22E28F592; BAIDUID=A9DC7E5415BF03D3B8D8749E48A7529A:FG=1; BD_UPN=12314753; ispeed_lsm=2; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; delPer=0; BD_HOME=0; H_PS_PSSID=26523_1429_21099_28607_28584_28558_28604_28606',
        'Host': 'www.baidu.com',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36'
    }
    proxies = {
        "http": "http://" + ip_one,
    }
    try:
        resp = requests.get(url=url, headers=headers, proxies=proxies, timeout=2)
        # resp = requests.get(url=url, headers=headers, timeout=2)
        # print(resp.text)
    except:
        pass
    else:
        file_save.write(ip_one + '\n')


if __name__ == '__main__':
    start_time = time.time()
    # 储存可用的ip地址
    file_save = open(r'D:\zjf_workspace\000爬虫代码-基础的\scrapy_003免费代理_IP\有效获取测试代理IP是高匿的方法\初步可用代理2ip_2s.txt', 'a', encoding='utf-8')

    with open(r'D:\zjf_workspace\000爬虫代码-基础的\scrapy_003免费代理_IP\有效获取测试代理IP是高匿的方法\获取去重的总IP数量113万个', 'r', encoding='utf-8') as file_ips:
        ips_list = file_ips.readlines()

    thread_list = []
    total_num = 0
    for ip_one in set(ips_list):
        # 前面携带http的
        # ip = ip_one.replace('http://','').strip()
        # 直接ip+port的
        ip = ip_one.strip()
        thred_ip = Thread(target=demo_ip, args=[ip, file_save])
        thread_list.append(thred_ip)
        thred_ip.start()
        total_num += 1
        print(total_num, total_num)
        time.sleep(0.0005)
    for i in thread_list:
        i.join()
    file_save.close()
    end_time = time.time()
    print((end_time - start_time), '秒')

　　4、测试高匿代理可用ip（前提本机代理ip已经被禁）

　　如果不知道是否本机电脑被禁，用浏览器访问孔夫子官网，如果可以访问说明没有被禁止，如果不能访问，说明可以进行高匿删选了。

　　直接上代码：

import requests
import time
from threading import Thread


def get_gao_ni_ip(ip, file_save):
    url = "http://book.kongfz.com/175804/1038155437/"
    headers = {
        'Cookie': 'PHPSESSID=0d12c303a92043f13a3cc2c329e444f36b44ef71; shoppingCartSessionId=74c831996eb9a1009d79244d7d915040; kfz_uuid=f53edd56-8938-48af-a447-9a07bde47ffa; reciever_area=1006000000; Hm_lvt_bca7840de7b518b3c5e6c6d73ca2662c=1552367977; Hm_lvt_33be6c04e0febc7531a1315c9594b136=1552367977; kfz_trace=f53edd56-8938-48af-a447-9a07bde47ffa|10072231|834871367e51d410|-; acw_tc=65c86a0a15523697386136416e812159c1e7ce1072aea90b9eb27c93ee05cc; BIGipServerpool_nxtqzj=527099402.24615.0000; Hm_lpvt_bca7840de7b518b3c5e6c6d73ca2662c=1552371456; Hm_lpvt_33be6c04e0febc7531a1315c9594b136=1552371456',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    proxies = {
        "http": "http://" + ip,
    }
    try:
        resp = requests.get(url=url, headers=headers, proxies=proxies, timeout=2)
        # print(resp.text)
        if "胡适传论，上" \
           "下。_胡明_孔夫子旧书网" in resp.text:
            print("ip可用",ip)
            file_save.write(ip + '\n')
        else:
            print("errer")
    except:
        pass


if __name__ == '__main__':
    start_time = time.time()
    # 储存可用的ip地址
    file_save = open(r'D:\zjf_workspace\000爬虫代码-基础的\scrapy_003免费代理_IP\有效获取测试代理IP是高匿的方法\高匿ip.txt', 'a', encoding='utf-8')

    with open(r'D:\zjf_workspace\000爬虫代码-基础的\scrapy_003免费代理_IP\有效获取测试代理IP是高匿的方法\获取去重的总IP数量113万个', 'r',
              encoding='utf-8') as file_ips:
        ips_list = file_ips.readlines()

    thread_list = []
    total_num = 0
    for ip_one in set(ips_list):
        # 前面携带http的
        ip = ip_one.strip()
        # 直接ip+port的
        thred_ip = Thread(target=get_gao_ni_ip, args=[ip, file_save])
        thread_list.append(thred_ip)
        thred_ip.start()
        total_num += 1
        print(total_num, total_num)
        # 为了是电脑CPU不至于很卡
        time.sleep(0.005)
    for i in thread_list:
        i.join()
    file_save.close()
    end_time = time.time()
    print((end_time - start_time), '秒')

　　至此，删选高匿代理ip结束,如果有更好删选高匿代理ip方法，欢迎留言告知，希望大老不吝赐教。

　　4、测试高匿代理可用ip第二种方法

　　利用百度搜索IP，出来的网站的结果，进行爬取，然后利用自己电脑本机ip和request请求响应回来的代理ip进行比较，如果不一样，说明请求的代理IP就是高匿的。

　　代码如下：

import requests
from fake_useragent import UserAgent
import re
import time
from threading import Thread
ua = UserAgent()
print(dir(ua))
print(ua.random)


def ceshi(ip, file_save):
    # url = "https://whatismyipaddress.com/zh-cn/index"
    url = "http://2019.ip138.com/ic.asp"
    headers = {
        # 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
        'User-Agent': ua.random
    }

    proxies = {
        "http": "http://" + ip,
        # "http": "http://62.7.85.234:8080",
    }
    try:
        resp = requests.get(url=url, headers=headers, proxies=proxies, timeout=2,allow_redirects=False)
        # resp = requests.get(url=url, headers=headers, timeout=2)
        # print(111,resp.text)
        if '' in resp.text:
            ip1 = re.findall('.*\[(.*?)\].*',resp.text)[0]
            if ip1 != '42.120.74.109':
                print("ip可用", ip1)
                file_save.write(ip + '\n')
            else:
                print("ip是透明的")
        else:
            print("errer")
    except Exception as e:
        print("异常",e)
        pass
      


if __name__ == '__main__':
    file_save = open(r'D:\zjf_workspace\000爬虫代码-基础的\scrapy_003免费代理_IP\有效获取测试代理IP是高匿的方法\高匿_detail-ip.txt', 'a',
                     encoding='utf-8')
    ip = '106.75.140.177:8888'
    ceshi(ip, file_save)

相关资讯

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18

现在玩自媒体需要用到ip代理吗？

如今越来越多的人开始使用微博、今日头条等等各种自媒体平台，因此很多公司很多人都看到了这之中的商机和机会，并且借助自媒体平台来发展自己的生意，也因为自媒体的蓬勃发

来源：黑核混拨ip加速器网

2018-12-27 17:37:53

互联网工作中ip代理是不可缺少的工具

目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对

来源：黑核混拨ip加速器网

2018-12-27 17:45:23

使用代理ip有什么好处？

现在，高匿代理ip时代已经到来，但是，还是有很多人不了解高匿代理ip到底有什么用，虽然随着网络科技的发展，网络对我们的生活带来了很多方便，也带来了更多的选择，网

来源：黑核混拨ip加速器网

2018-12-28 15:00:45

爬虫技术工程师为什么离不开ip代理

说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技

来源：黑核混拨ip加速器网

2018-12-28 15:24:23

现在采集越来越难如何找到实用的HTTP代理IP

来源：黑核混拨ip加速器网

2018-12-28 15:56:10

什么情况下需要ip代理软件 ip代理软件用途

对于网络营销推广和SEO的朋友来说，数据抓取和模拟访问都是必备的工作，这两种方式都需要有大量的IP资源支持，很多用户在一些网站上面批量注册帐号、发布留言评论都会

来源：黑核混拨ip加速器网

2018-12-28 16:28:33

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

Python爬虫如何获取大量的ip预防被封

python爬虫抓取和分析京东商城评价互联网购物现已成为当下最流行的购物方式，很多用户在互联网购买商品后，会对商品包装、质量，商家服务做出客观评价。商品评价的好

来源：黑核混拨ip代理

2019-01-19 10:51:05

如何设置高匿http代理ip

对于代理IP的使用相信现在大多数用户基本都掌握了，在网络上看到网友提问说http代理ip地址有要求吗?那么这个就为大家解答一下这个问题，这里以高匿代理IP为例，

来源：黑核混拨ip代理

2019-01-16 15:52:50

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP

来源：黑核混拨ip加速器网

2018-12-25 16:58:44

动态ip

代理ip软件

换ip软件

HTTP代理

Socks5代理

如何获取高匿代理ip

分享到