做爬虫时，遇到访问太频繁IP被封是难以避免的，而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，构建一个IP代理池是相当有必要的。
代理池主要由5部分组成：ProxyGeter(代理获取模块)、RedisClient(代理管理模块，负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。
ProxyGeter
从几个代理网站爬取最新的代理，并把代理存储到redis数据库中
RedisClient
主要实现ip的删、减、增等基本操作，采用reids的几方面原因如下：
redis的hash数据结构可以为IP的有效性（根据可用性分为0-100）进行评分；
redis提供的key-value更方便地储存IP;
对于IP的存储、提取、删除、查询数量等功能会更加地快捷；
Texter
模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点，然后随机取出数据库中的代理，用获取到的ip来访问目标站点：
若访问无效，首先降低ip的分数等级（减10），其次做判断：若该ip的分数等级低于10分直接从reids数据库中删除；
若访问有效，首先增加ip的分数等级（加10），其次更新reids中该ip的分数等级；
Web_Api
为了让用户获取可用性ip更加方便一点，这里利用flask框架做了一个API，这个接口连接着redis数据库；
当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口（提供的url）就可以获取相应的IP代理。
这四个模块是彼此独立的（例如，当检测一个ip不可用时，需要调用RedisClient来从数据库中删除这个ip），因此需要引入一个新的模块:Schedule来进行协调。
代理池的运作关系如下图：
代码实现部分
在构建ip代理池过程中，如果使用redis数据库和flask框架，则需要提前完成相关配置。
相关资讯
什么是python代理池？
代理IP大家都知道，今天说一下什么是代理池，以及python代理池。代理池是爬虫、采集、爆破、刷单等必不可少的配备。Python中高层次的数据结构,动态类型和动
来源：黑核混拨ip代理
2019-01-17 17:45:30
怎么维护好代理ip池
代理IP现在对于经常使用网络的人来说耳熟能详，目前提供代理IP的网站也有很多，种类齐全，但是质量实在是不敢恭维，所以我们要经过筛选抓取，保存起来供我们使用，不能
来源：黑核混拨ip代理
2019-01-19 17:19:24
Python爬虫为什么使用独享代理IP池效果更好
IP池，也分共享和独享的，但很多商家并不告诉你，而是一味的喊价格多低多低，以低廉的价格来吸引大家的购买使用，但是很多时候都是购买之后，刚开始使用就发现不好用。因
来源：黑核动态ip代理
2019-04-10 14:15:54
突破反爬虫的利器：开源IP代理池
突破反爬虫的一个常用做法是使用代理IP，可以是作为初学者或者个人来说，买一些代理ip成本稍微高一些，因此最近写了一个开源项目IPProxys，用来为个人提供代理
来源：黑核动态ip代理
2019-04-12 11:28:19
Python爬虫为什么使用独享代理IP池更好
IP池，也分共享和独享的，但很多商家并不告诉你，而是一味的喊价格多低多低，以低廉的价格来吸引大家的购买使用，但是很多时候都是购买之后，刚开始使用就发现不好用。因
来源：黑核动态ip代理
2019-04-16 14:00:53
独享代理IP池对Python爬虫效果更好
IP池，也分共享和独享的，但很多商家并不告诉你，而是一味的喊价格多低多低，以低廉的价格来吸引大家的购买使用，但是很多时候都是购买之后，刚开始使用就发现不好用。因
来源：黑核动态ip代理
2019-04-19 10:30:13
爬虫代理池获取ip操作教程
爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力，所以你一直用同一个代理IP爬
来源：黑核动态ip代理
2019-04-19 10:46:21
什么是ip代理软件？可以修改ip地址吗？
经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们
来源：黑核混拨ip加速器网
2018-12-27 17:27:18
构建Python爬虫IP代理池服务的常见问题
在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在
来源：黑核动态ip代理
2019-05-21 10:13:38
黑核混拨IP加速器让你知道如何改变ip地址
被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP
来源：黑核混拨ip加速器网
2018-12-25 16:58:44
换ip软件帮您解决ip被封烦恼！
换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也
来源：黑核混拨IP网
2018-12-25 15:52:02
在线客服
.png)
