做爬虫时，遇到访问太频繁IP被封是难以避免的，而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，构建一个IP代理池是相当有必要的。
代理池主要由5部分组成：ProxyGeter(代理获取模块)、RedisClient(代理管理模块，负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。
ProxyGeter
从几个代理网站爬取最新的代理，并把代理存储到redis数据库中
RedisClient
主要实现ip的删、减、增等基本操作，采用reids的几方面原因如下：
redis的hash数据结构可以为IP的有效性（根据可用性分为0-100）进行评分；
redis提供的key-value更方便地储存IP;
对于IP的存储、提取、删除、查询数量等功能会更加地快捷；
Texter
模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点，然后随机取出数据库中的代理，用获取到的ip来访问目标站点：
若访问无效，首先降低ip的分数等级（减10），其次做判断：若该ip的分数等级低于10分直接从reids数据库中删除；
若访问有效，首先增加ip的分数等级（加10），其次更新reids中该ip的分数等级；
Web_Api
为了让用户获取可用性ip更加方便一点，这里利用flask框架做了一个API，这个接口连接着redis数据库；
当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口（提供的url）就可以获取相应的IP代理。
这四个模块是彼此独立的（例如，当检测一个ip不可用时，需要调用RedisClient来从数据库中删除这个ip），因此需要引入一个新的模块:Schedule来进行协调。
代理池的运作关系如下图：
代码实现部分
在构建ip代理池过程中，如果使用redis数据库和flask框架，则需要提前完成相关配置。
相关资讯
什么是python代理池？
代理IP大家都知道，今天说一下什么是代理池，以及python代理池。代理池是爬虫、采集、爆破、刷单等必不可少的配备。Python中高层次的数据结构,动态类型和动
来源：黑核混拨ip代理
2019-01-17 17:45:30
怎么维护好代理ip池
代理IP现在对于经常使用网络的人来说耳熟能详，目前提供代理IP的网站也有很多，种类齐全，但是质量实在是不敢恭维，所以我们要经过筛选抓取，保存起来供我们使用，不能
来源：黑核混拨ip代理
2019-01-19 17:19:24
Python爬虫为什么使用独享代理IP池效果更好
IP池，也分共享和独享的，但很多商家并不告诉你，而是一味的喊价格多低多低，以低廉的价格来吸引大家的购买使用，但是很多时候都是购买之后，刚开始使用就发现不好用。因
来源：黑核动态ip代理
2019-04-10 14:15:54
突破反爬虫的利器：开源IP代理池
突破反爬虫的一个常用做法是使用代理IP，可以是作为初学者或者个人来说，买一些代理ip成本稍微高一些，因此最近写了一个开源项目IPProxys，用来为个人提供代理
来源：黑核动态ip代理
2019-04-12 11:28:19
Python爬虫为什么使用独享代理IP池更好
IP池，也分共享和独享的，但很多商家并不告诉你，而是一味的喊价格多低多低，以低廉的价格来吸引大家的购买使用，但是很多时候都是购买之后，刚开始使用就发现不好用。因
来源：黑核动态ip代理
2019-04-16 14:00:53
独享代理IP池对Python爬虫效果更好
IP池，也分共享和独享的，但很多商家并不告诉你，而是一味的喊价格多低多低，以低廉的价格来吸引大家的购买使用，但是很多时候都是购买之后，刚开始使用就发现不好用。因
来源：黑核动态ip代理
2019-04-19 10:30:13
爬虫代理池获取ip操作教程
爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力，所以你一直用同一个代理IP爬
来源：黑核动态ip代理
2019-04-19 10:46:21
代理ip软件让我们上网更加快速
相信现在很多的网民朋友们都对于网络的不稳定和网速慢有诸多的微词，因为在很多大情况下，网民的数量增多，网速就会急转而下变成乌龟爬，如此网民朋友们实在是着急、闹心。
来源：黑核混拨ip加速器网
2019-01-09 17:59:14
什么是ip代理软件？可以修改ip地址吗？
经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们
来源：黑核混拨ip加速器网
2018-12-27 17:27:18
黑核混拨IP加速器让你知道如何改变ip地址
被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP
来源：黑核混拨ip加速器网
2018-12-25 16:58:44
构建Python爬虫IP代理池服务的常见问题
在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在
来源：黑核动态ip代理
2019-05-21 10:13:38
在线客服
.png)
