做爬虫时，遇到访问太频繁IP被封是难以避免的，而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，构建一个IP代理池是相当有必要的。
代理池主要由5部分组成：ProxyGeter(代理获取模块)、RedisClient(代理管理模块，负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。
ProxyGeter
从几个代理网站爬取最新的代理，并把代理存储到redis数据库中
RedisClient
主要实现ip的删、减、增等基本操作，采用reids的几方面原因如下：
redis的hash数据结构可以为IP的有效性（根据可用性分为0-100）进行评分；
redis提供的key-value更方便地储存IP;
对于IP的存储、提取、删除、查询数量等功能会更加地快捷；
Texter
模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点，然后随机取出数据库中的代理，用获取到的ip来访问目标站点：
若访问无效，首先降低ip的分数等级（减10），其次做判断：若该ip的分数等级低于10分直接从reids数据库中删除；
若访问有效，首先增加ip的分数等级（加10），其次更新reids中该ip的分数等级；
Web_Api
为了让用户获取可用性ip更加方便一点，这里利用flask框架做了一个API，这个接口连接着redis数据库；
当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口（提供的url）就可以获取相应的IP代理。
这四个模块是彼此独立的（例如，当检测一个ip不可用时，需要调用RedisClient来从数据库中删除这个ip），因此需要引入一个新的模块:Schedule来进行协调。
代理池的运作关系如下图：
代码实现部分
在构建ip代理池过程中，如果使用redis数据库和flask框架，则需要提前完成相关配置。
相关资讯
黑核混拨IP加速器让你知道如何改变ip地址
被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP
来源：黑核混拨ip加速器网
2018-12-25 16:58:44
现在采集越来越难如何找到实用的HTTP代理IP
目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对
来源：黑核混拨ip加速器网
2018-12-28 15:56:10
如何使用ip代理保证爬虫能正常工作？
在实际的爬虫抓取的过程中，由于会存在恶意采集或者恶意攻击的情况，很多网站都会设置相应的防爬取机制，通常防爬程序都是通过ip来识别机器人用户的，因此充足可用的ip
来源：黑核混拨ip加速器网
2018-12-28 17:22:15
如何修改ip地址？修改ip地址的方法有哪些？
许多人在工作生活中经常需要用到换IP，比如帮朋友投票，刷单，做网络推广等等。大量的工作需要换IP，单单靠手动切换IP的方法比较耗时间，效果也不好，那么如何更换I
来源：黑核混拨ip加速器网
2018-12-29 13:48:40
不会修改ip怎么办？来这里教你如何修改电脑ip地址
每台电脑都会有一个IP地址，让电脑在网络中具有唯一性，那么有的朋友问道，IP地址怎么改？下面分享三种改IP地址的方法。小贴示：IP地址分为内网IP（局域网）和外
来源：黑核混拨ip加速器网
2018-12-29 14:52:38
如何修改ip地址 修改ip地址的方法有哪些
有时候工作必须要换IP，比如做推广需要到换ip,什么百度知道啊，天涯，知乎，搜搜问问，或者是淘宝刷浏览什么的，这些都是需要换IP才能工作，要不然很容易被封号，被
来源：黑核混拨ip加速器网
2019-01-02 10:19:26
什么是电脑IP？如何更换IP地址？
从事互联网工作的对IP应该都不陌生吧，当然如果是刚入行的可能没听说过，没关系，今天我们说下IP相关的，每个人的电脑都有一个IP，怎么查看呢？可以直接在百度搜索框
来源：黑核混拨ip加速器网
2019-01-03 11:38:13
换ip软件帮您解决ip被封烦恼！
换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也
来源：黑核混拨IP网
2018-12-25 15:52:02
构建Python爬虫IP代理池服务的常见问题
在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在
来源：黑核动态ip代理
2019-05-21 10:13:38
什么是python代理池？
代理IP大家都知道，今天说一下什么是代理池，以及python代理池。代理池是爬虫、采集、爆破、刷单等必不可少的配备。Python中高层次的数据结构,动态类型和动
来源：黑核混拨ip代理
2019-01-17 17:45:30
代理ip软件让我们上网更加快速
相信现在很多的网民朋友们都对于网络的不稳定和网速慢有诸多的微词，因为在很多大情况下，网民的数量增多，网速就会急转而下变成乌龟爬，如此网民朋友们实在是着急、闹心。
来源：黑核混拨ip加速器网
2019-01-09 17:59:14
在线客服
.png)
