假如不用代理ip，爬虫业务必定无路可行，因此大部分爬虫工作者都会去购买安全稳定的代理ip。使用了高质量的代理ip后，会不会就能够无后顾之忧了呢？这个可不会这么容易，还要改进方案，有效分配资源，提升工作效率，又快速又稳定又高效的完成爬虫。接下来提供给大家通过代理ip进行分布式爬虫的几种方案，一起来看看吧！

　　方案一：

　　每个进程从接口API中随机取一个IP列表来反复使用，失效后再调用API获取，大致逻辑是这样：

　　1、每个进程，从接口随机取回一批ip回来，反复试着ip目录去抓取数据；

　　2、要是访问成功，则继续抓取下一条。

　　3、要是失败了，再从接口取一批IP，继续尝试。

　　方案弊端：每个IP都是有期限的，要是提取了一百个，用到第二十个时，或许剩下的大多数都无法使用了。要是设置HTTP请求时连接时间超时是3秒，读取时间超时是5秒，那么或许会耗费3-8秒的时间，在这3-8秒内可能抓取了几百次了。

　　方案二：

　　每个进程从接口API中随机取一个IP来使用，失败则再调用API获取一个IP，大致逻辑如下：

　　1、每个进程，从接口随机取回一个ip来，用这个ip来浏览资源，

　　2、要是访问成功，则继续抓下一条。

　　3、要是失败了，再从接口随机取一个IP，继续尝试。

　　方案缺点：调用API获取IP的行为非常频繁，会对代理服务器造成特别大的压力，影响API接口稳定，可能会被限制提取。这类方案也不适合，无法持久稳定的运行。

　　方案三：

　　先提取大量IP导入本地数据库，从数据库里面取IP，大致逻辑如下：

　　1、在数据库里面建一个表，写一个导入脚本，每分钟请求多少次API（咨询代理IP服务商建议），把IP列表导入到数据库里面。

　　2、在数据库里面记录好 导入时间、IP、Port、过期时间、IP可用状态 等字段；

　　3、写一个抓取脚本，抓取脚本从数据库里面读取可用IP，每个进程从数据库获取一个IP进行使用。

　　4、执行抓取，对结果进行判断，处理cookie等，只要出现验证码或者失败就放弃这个IP，重新换一个IP。

　　这种方案有效的避开了代理服务器资源的消耗，有效的分配代理IP的使用，更加的高效和稳定，保障了爬虫工作的持久性和稳定性。黑核动态ip代理使用稳定可靠，建议大家可以测试一下。

相关资讯

常见几种自动换IP方式对比

现在很多工作都需要换IP，本文介绍几种常见的自动换IP方式的对比，换IP方式包含路由器换IP，拨号换IP，vpn换IP，3G/4G手机上网卡换IP，代理服务器换

来源：黑核混拨ip代理

2019-03-28 17:30:28

通过代理ip进行分布式爬虫的几种方案

假如不用代理ip，爬虫业务必定无路可行，因此大部分爬虫工作者都会去购买安全稳定的代理ip。使用了高质量的代理ip后，会不会就能够无后顾之忧了呢？这个可不会这么容

来源：黑核动态ip代理

2019-04-18 10:20:33

访问被封网站的几种常见代理服务器方式

被封、被屏蔽的网站可以通过国外代理服务器来访问，下面介绍访问被封网站的几种常见代理服务器方式。第一种：直接使用HTTP代理服务器的IP地址和端口（适用于IE、F

来源：黑核动态ip代理

2019-04-26 10:54:51

常见几种自动换IP方式的对比

自动换IP的方法多种多样，你知道几种呢？本文介绍常见几种自动换IP方式的对比，包含路由器换IP，拨号换IP，vpn换IP，3G/4G手机上网卡换IP，代理服务器

来源：黑核动态ip代理

2019-05-09 09:26:39

几种常见的换IP方法

许多人再帮朋友投票，做网络推广的时候经常需要换IP。大量的工作需要换IP，单单依靠手动切换IP的方法是比较浪费时间的，效果也达不到预期，那么应该如何更换IP呢？

来源：黑核动态ip代理

2019-05-17 10:40:28

测试代理IP有效性的几种方法

通常我们用的IP代理都是付费购买的，因为免费的IP代理有效性特别低，可用率也不高，而且使用之前需要检查IP地址是否可用，因此要如何检查IP代理是否有效呢？下面介

来源：黑核动态ip代理

2019-05-27 10:17:36

代理服务器有哪几种

代理服务器是介于浏览器和Web服务器之间的一台服务器，当你通过代理服务器上网浏览时，浏览器不是直接到Web服务器去取回网页，而是向代理服务器发出请求，由代理服务

来源：黑核动态ip代理

2019-05-28 11:01:39

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18

互联网工作中ip代理是不可缺少的工具

目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对

来源：黑核混拨ip加速器网

2018-12-27 17:45:23

爬虫技术工程师为什么离不开ip代理

说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技

来源：黑核混拨ip加速器网

2018-12-28 15:24:23

为什么不建议分布式爬虫使用免费的代理ip

互联网中，IP的作用至关重要。IP地址是指互联网协议地址，简单的说就是互联网分配给网络设备的门牌号，为了网络中的计算机能够互相访问，并且知道对方是谁。很多时候当

来源：黑核混拨ip代理

2019-01-14 16:35:44