没有代理IP，爬虫工作将寸步难行，所以很多爬虫工程师都需要去选购高效稳定的代理IP。有了优质代理IP后，是不是就可以高枕无忧了呢？事情没有那么简单，还需要优化方案，合理分配资源，提高工作效率，更高效更快速更稳定的进行爬虫工作。

　　方案一、每个进程从接口API中随机取一个IP列表（比如一次提取100个IP）来循环使用，失败则再调用API获取，大概逻辑如下：

　　1、每个进程（或线程），从接口随机取回一批IP回来，循环尝试IP列表去抓取数据；

　　2、如果访问成功，则继续抓取下一条。

　　3、如果失败了（比如超时、出现验证码等），再从接口取一批IP，继续尝试。

　　方案缺点：每个IP都是有有效期的，如果提取了100个，当使用了第10个的时候，可能后面的大部分都失效了。如果你设置HTTP请求的时候连接时间超时为3秒，读取时间超时为5秒，那你将会有可能浪费3-8秒的时间，说不定这3-8秒已经可以抓取几十次了。

　　方案二：每个进程从接口API中随机取一个IP来使用，失败则再调用API获取一个IP，大概逻辑如下：

　　1、每个进程（或线程），从接口随机取回一个IP来，用这个IP去访问资源，

　　2、如果访问成功，则继续抓下一条。

　　3、如果失败了（比如超时、出现验证码等），再从接口随机取一个IP，继续尝试。

　　方案缺点：调用API获取IP的行为非常频繁，会对代理服务器造成非常大的压力，影响API接口稳定，可能会被限制提取。这种方案也不适合，不能持久稳定的运行。

　　方案三：先提取大量IP导入本地数据库，从数据库里面取IP，大概逻辑如下：

　　1、在数据库里面建一个表，写一个导入脚本，每分钟请求多少次API（咨询代理IP服务商建议），把IP列表导入到数据库里面。

　　2、在数据库里面记录好导入时间、IP、Port、过期时间、IP可用状态等字段；

　　3、写一个抓取脚本，抓取脚本从数据库里面读取可用IP，每个进程从数据库获取一个IP进行使用。

　　4、执行抓取，对结果进行判断，处理cookie等，只要出现验证码或者失败就放弃这个IP，重新换一个IP。

　　这种方案有效的避开了代理服务器资源的消耗，有效的分配代理IP的使用，更加的高效和稳定，保障了爬虫工作的持久性和稳定性。

相关资讯

为什么不建议分布式爬虫使用免费的代理ip

互联网中，IP的作用至关重要。IP地址是指互联网协议地址，简单的说就是互联网分配给网络设备的门牌号，为了网络中的计算机能够互相访问，并且知道对方是谁。很多时候当

来源：黑核混拨ip代理

2019-01-14 16:35:44

通过代理ip进行分布式爬虫的几种方案

假如不用代理ip，爬虫业务必定无路可行，因此大部分爬虫工作者都会去购买安全稳定的代理ip。使用了高质量的代理ip后，会不会就能够无后顾之忧了呢？这个可不会这么容

来源：黑核动态ip代理

2019-04-18 10:20:33

使用高质量代理ip设计分布式爬虫的一些思路

假如不用代理ip，爬虫业务必定无路可行，因此大部分爬虫工作者都会去购买安全稳定的代理ip。使用了高质量的代理ip后，会不会就能够无后顾之忧了呢？这个可不会这么容

来源：黑核动态ip代理

2019-06-04 10:22:08

为什么分布式爬虫需要代理IP？

为什么分布式爬虫需要代理IP？大数据时代来临，爬虫工作者的春天也随之来了。然而在我们进行爬虫业务时，却经常受到目标网站反爬虫机制的阻碍，尤其是分布式爬虫，因为采

来源：黑核动态ip代理

2019-06-28 11:54:26

为什么分布式爬虫不用免费代理服务器

互联网中，IP的作用至关重要。IP地址是指互联网协议地址，简单的说就是互联网分配给网络设备的门牌号，为了网络中的计算机能够互相访问，并且知道对方是谁。很多时候当

来源：黑核动态ip代理

2019-06-28 14:05:59

动态换ip软件详解：带你走近分布式网络爬虫

分布式网络爬虫就是多台电脑上都安装网络爬虫程序，重点是联合采集。单机网络爬虫就是只在一台电脑上，叫做单机。前嗅的ForeSpider数据采集系统就有单机和网络服

来源：黑核动态ip代理

2019-07-18 14:20:44

用动态IP解决分布式爬虫Access Denied的问题

网络爬虫工作室和爬虫爱好者都遇到过采集信息被拒绝的情况，现在让我们简要列举分析一下：原因一因为IP地址限制，没有办法访问该网页；原因二使用的爬虫程序不能适配所有

来源：黑核动态ip代理

2019-08-07 11:00:13

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

爬虫技术工程师为什么离不开ip代理

说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技

来源：黑核混拨ip加速器网

2018-12-28 15:24:23

互联网工作中ip代理是不可缺少的工具

目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对

来源：黑核混拨ip加速器网

2018-12-27 17:45:23

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18