做爬虫时，遇到访问太频繁IP被封是难以避免的，而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，构建一个IP代理池是相当有必要的。

　　代理池主要由5部分组成：ProxyGeter(代理获取模块)、RedisClient(代理管理模块，负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。

　　ProxyGeter

　　从几个代理网站爬取最新的代理，并把代理存储到redis数据库中

　　RedisClient

　　主要实现ip的删、减、增等基本操作，采用reids的几方面原因如下：

　　redis的hash数据结构可以为IP的有效性（根据可用性分为0-100）进行评分；

　　redis提供的key-value更方便地储存IP;

　　对于IP的存储、提取、删除、查询数量等功能会更加地快捷；

　　Texter

　　模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点，然后随机取出数据库中的代理，用获取到的ip来访问目标站点：

　　若访问无效，首先降低ip的分数等级（减10），其次做判断：若该ip的分数等级低于10分直接从reids数据库中删除；

　　若访问有效，首先增加ip的分数等级（加10），其次更新reids中该ip的分数等级；

　　Web_Api

　　为了让用户获取可用性ip更加方便一点，这里利用flask框架做了一个API，这个接口连接着redis数据库；

　　当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口（提供的url）就可以获取相应的IP代理。

　　这四个模块是彼此独立的（例如，当检测一个ip不可用时，需要调用RedisClient来从数据库中删除这个ip），因此需要引入一个新的模块:Schedule来进行协调。

　　代理池的运作关系如下图：

　代码实现部分

　　在构建ip代理池过程中，如果使用redis数据库和flask框架，则需要提前完成相关配置。

相关资讯

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了，动不动就被封号，要么就是一个IP只能登陆一个账号，这就尴尬了，如果只用一个账号推广根本不见效啊，或者说见效也效果不大，只能大批量的做推广

来源：黑核混拨ip加速器网

2018-12-25 16:28:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP

来源：黑核混拨ip加速器网

2018-12-25 16:58:44

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑，一天只能观看几个视频就需要开通会员才能看了，但是我们又不想冲会员怎么办，那就需要修改手机IP地址了，但是怎么修改手机IP地址呢？不是谁都懂的

来源：黑核混拨ip加速器网

2018-12-25 17:39:01

还在找ip地址修改器吗？来试试黑核混拨IP加速器吧

国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件，ip地址修改用哪些工具好处呢，因为工作或者个人需求，修改IP后可以注册一些限制IP注册的

来源：黑核混拨ip加速器网

2018-12-25 18:13:13

在国外想玩lol国服吗？来试试这个ip加速器吧

身在国外想玩下国服游戏是一件很痛苦的事情，因为网络延迟太高了，卡到让人怀疑人生的那种地步，有多卡呢？玩个游戏能卡出漫画的效果来，看着都着急啊。特别是玩游戏的时候

来源：黑核混拨ip加速器网

2018-12-27 17:07:17

什么是ip代理软件？可以修改ip地址吗？

经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们

来源：黑核混拨ip加速器网

2018-12-27 17:27:18

构建Python爬虫IP代理池服务的常见问题

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在

来源：黑核动态ip代理

2019-05-21 10:13:38

代理ip软件让我们上网更加快速

相信现在很多的网民朋友们都对于网络的不稳定和网速慢有诸多的微词，因为在很多大情况下，网民的数量增多，网速就会急转而下变成乌龟爬，如此网民朋友们实在是着急、闹心。

来源：黑核混拨ip加速器网

2019-01-09 17:59:14

什么是python代理池？

代理IP大家都知道，今天说一下什么是代理池，以及python代理池。代理池是爬虫、采集、爆破、刷单等必不可少的配备。Python中高层次的数据结构,动态类型和动

来源：黑核混拨ip代理

2019-01-17 17:45:30