目前遇到的比较难搞的反爬虫技术有两个：特别难识别的人机识别验证码–如极验的手势验证，另外就是ip大量的限制，如R网站两次访问就被强制跳转到验证码页面。现在留下部署手记。

　　针对这个问题，采用爬虫届大招一样的ADSL动态部署起来，要是，要明白用ADSL就意味着是开始拼成本了。不再像是过去随意一台电脑就爱怎么爬怎么爬。

　　目录：

　　ADSL动态IP服务器原理：

　　购买与租用

　　命令行自动更换ip

　　部署爬虫代码

　　分布式爬虫问题记录

　　1：ADSL动态IP服务器原理

　　ADSL动态IP服务器，并不是什么高大上的方式，也不是什么特别高端的服务器，相反，使用起来，我们一般是用配置非常低的那一类，因为这个时候重要的是数量而不是质量。

　　原理很简单，在家庭网络中宽带上网只要断开再拨号一次，链接成功就会更换一次外网ip。并且链接建立后网速比较稳定。这就是动态ip了，一般这个ip池很大，一个城市一般会有5W-30W的ip。基本属于用不完。

　　so，只要有一台接入了宽带的电脑，都可以叫做ADSL动态IP服务器。但是，你要明白这样以来时间将会有部分消耗在网络建立的时间上大约十秒。

　　例如我们现在要攻克的R项目。他的页面每两次访问就会被强制跳转到验证码页面，，so，为了跳过验证码就得每两次访问就换一次ip。而且，最严重的就是要是面对这样高限制ip的，那么就不能在一台机器上通过多开爬虫客户端从而实现单机器的分布式爬虫。效率低很多。

　　要想提高效率要么是ip限制次数比较高的。比如1000/ip这种，。要么就是多机器每机器单个爬虫的分布式了。

　　2：购买与租用

　　要知道具体内容可以搜关键词：动态ip服务器   或者 ADSL服务器 或者 淘宝

　　然后你就可以看到n多服务商，一般而言，你选购一个50-80元/一个月的就还算可以用了，一般会采用vnc的方式远程桌面链接，很少有用linux系统的，下文中有分布式winxp系统的配置指南。淘宝中一般有1快或者5-10块试用一天的可以搞来。

　　3：命令行自动更换ip

　　环境 winxp下。使用rasdial 你在cmd控制台中系统自带有，输入

　　这个时候你需要在网上邻居中新建一个宽带链接，名字最好是英文，然后先手动在可视化界面验证一下是否可以上网。然后使用上诉代码，来用控制宽带网络一个循环会断开重链接，

　　有可能出现的问题是，手动建立的或者别的进程建立的链接，这个命令行无法断开，所以最好一台电脑之运行一个爬虫，并且断开连接之间最好有时间延时。

　　4：部署爬虫代码

　　在winxp的环境下使用python一般是32位的，分布式自然会需要python-mysql模块，以及redis模块。下面提供安装包和安装方式。

　　python2_jb51 解压后安装msi和exe都可以

　　redis-2.1.5-win32 提供redis的功能模块

　　redis-py-master 解压后，由控制台移动到目录下，运行 python setup.py （提前配一下python环境变量）

　　MySQL-python-1.2.3.win32-py2.7 解压直接安装

　　项目运行截图：

　　5：分布式爬虫问题记录

　　目前出现的问题是：

　　1：mysql链接出现莫名中断问题，这个因为ip地址跟换太频繁，so，简单的用try来跳过错误，重新加入任务队列，然后重新跑，不让整个爬虫中断了就可以，

　　2：redis出现莫名链接中断问题。同上。

　　3：跟换ip太快导致ip并没有更换而是用原来的ip。延时久一点，设置为5s间隔为佳，网速链接不好宁愿爬虫请求之间的延时短点。也要让宽带断开与新连接时间长点。

相关资讯

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了，动不动就被封号，要么就是一个IP只能登陆一个账号，这就尴尬了，如果只用一个账号推广根本不见效啊，或者说见效也效果不大，只能大批量的做推广

来源：黑核混拨ip加速器网

2018-12-25 16:28:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP

来源：黑核混拨ip加速器网

2018-12-25 16:58:44

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑，一天只能观看几个视频就需要开通会员才能看了，但是我们又不想冲会员怎么办，那就需要修改手机IP地址了，但是怎么修改手机IP地址呢？不是谁都懂的

来源：黑核混拨ip加速器网

2018-12-25 17:39:01

还在找ip地址修改器吗？来试试黑核混拨IP加速器吧

国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件，ip地址修改用哪些工具好处呢，因为工作或者个人需求，修改IP后可以注册一些限制IP注册的

来源：黑核混拨ip加速器网

2018-12-25 18:13:13

在国外想玩lol国服吗？来试试这个ip加速器吧

身在国外想玩下国服游戏是一件很痛苦的事情，因为网络延迟太高了，卡到让人怀疑人生的那种地步，有多卡呢？玩个游戏能卡出漫画的效果来，看着都着急啊。特别是玩游戏的时候

来源：黑核混拨ip加速器网

2018-12-27 17:07:17

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18

ip被限制了怎么办 有什么办法能解决

还在为注册不了账号而发愁吗？那就使用代理IP吧，代理IP可以替换你的用户IP，然后代替你本来的IP去进行访问网站，从而完成注册业务。做网络业务的人一般都知道，大

来源：黑核混拨ip代理

2019-01-11 11:31:31

爬虫破解IP限制：ADSL动态IP服务器部署

目前遇到的比较难搞的反爬虫技术有两个：特别难识别的人机识别验证码–如极验的手势验证，另外就是ip大量的限制，如R网站两次访问就被强制跳转到验证码页面。现在留下部

来源：黑核动态ip代理

2019-05-27 09:48:48

爬虫技术工程师为什么离不开ip代理

说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技

来源：黑核混拨ip加速器网

2018-12-28 15:24:23

adsl动态IP拨号服务器是什么

adsl动态IP拨号服务器是什么？adsl拨号服务器又叫动态拨号vps、动态vps或者拨号vps，主要是相对于平常所见到的固定IP的VPS服务器而言的。adsl

来源：黑核动态ip代理

2019-05-05 11:10:46