最近工作中遇到一个项目，需要处理一些术语的标准化，需要对一个现有网站进行爬虫得到我们想要的结果。对网站简单分析下，就开始爬了，第一次处理了一万多数据，顺利完成，但后来又有需求，处理3万多数据，接到任务后接着爬，但爬到一半发现请求的返回的状态码全是403，知道被封ip了。为了完成任务，咱也只能想办法了，就准备使用ip代理池，但现有的一些免费ip质量不是太好，就想办法收集了一些提供免费ip的网站，定时从这些网站收集，这样在数量上就有一些优势了，但如果需要大量的代理ip，还是需要购买的。
现在这个项目放到了我的github上，github地址。或者复制链接https://github.com/pangxiaobin/proxy_ip_pool
这个项目主要使用了Django，requests实现。具体使用方法可参考github中的readme。
可以访问http://47.102.205.85:9000/查看示例，里面只有测试数据，切勿大量访问，渣渣服务器。
以上就是针对爬虫爱好者、个人用户小成本用户的方案，可以用来练手，企业用爬虫代理ip，因为重视效率，高并发，对IP质量、有效率也要求高很多，所以推荐购买专业的IP代理服务，比如黑核动态IP代理，IP池目前有千万高质量的稳定IP资源，时长套餐也非常灵活，支持高并发调用，非常适合企业类爬虫采集、补量等业务，高效率API调用，支持测试。
相关资讯
换ip软件帮您解决ip被封烦恼！
换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也
来源：黑核混拨IP网
2018-12-25 15:52:02
不知道怎么样修改ip地址可以用黑核混拨IP软件
现在做推广越来越难做了，动不动就被封号，要么就是一个IP只能登陆一个账号，这就尴尬了，如果只用一个账号推广根本不见效啊，或者说见效也效果不大，只能大批量的做推广
来源：黑核混拨ip加速器网
2018-12-25 16:28:24
黑核混拨IP加速器让你知道如何改变ip地址
被论坛禁言了？玩游戏作弊，被封号了？被人屏蔽IP是件很让人不爽的事情，平时正忙的时候被封禁，会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情，不改变IP
来源：黑核混拨ip加速器网
2018-12-25 16:58:44
黑核混拨IP加速器轻松解决怎么修改手机ip地址问题
有些视频播放站很坑，一天只能观看几个视频就需要开通会员才能看了，但是我们又不想冲会员怎么办，那就需要修改手机IP地址了，但是怎么修改手机IP地址呢？不是谁都懂的
来源：黑核混拨ip加速器网
2018-12-25 17:39:01
还在找ip地址修改器吗？来试试黑核混拨IP加速器吧
国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件，ip地址修改用哪些工具好处呢，因为工作或者个人需求，修改IP后可以注册一些限制IP注册的
来源：黑核混拨ip加速器网
2018-12-25 18:13:13
在国外想玩lol国服吗？来试试这个ip加速器吧
身在国外想玩下国服游戏是一件很痛苦的事情，因为网络延迟太高了，卡到让人怀疑人生的那种地步，有多卡呢？玩个游戏能卡出漫画的效果来，看着都着急啊。特别是玩游戏的时候
来源：黑核混拨ip加速器网
2018-12-27 17:07:17
什么是ip代理软件？可以修改ip地址吗？
经常碰到朋友问，代理IP是做啥的，有什么用。我对他一顿解释，然后他还是云里雾里，好吧，可能是我口才不好，这里写文再解释下。代理IP对于很多人来说，用处很大，他们
来源：黑核混拨ip加速器网
2018-12-27 17:27:18
爬虫技术工程师为什么离不开ip代理
说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技
来源：黑核混拨ip加速器网
2018-12-28 15:24:23
什么是python代理池？
代理IP大家都知道，今天说一下什么是代理池，以及python代理池。代理池是爬虫、采集、爆破、刷单等必不可少的配备。Python中高层次的数据结构,动态类型和动
来源：黑核混拨ip代理
2019-01-17 17:45:30
现在采集越来越难如何找到实用的HTTP代理IP
目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对
来源：黑核混拨ip加速器网
2018-12-28 15:56:10
CenterOS使用qurid搭建高匿代理服务器
CenterOS使用qurid搭建高匿代理服务器要怎么做？下文梳理具体的步骤流程，供大家参考借鉴。一、环境介绍操作系统：CentOS7x64二、概念我们根据其向
来源：黑核动态ip代理
2019-05-11 09:29:05
推荐阅读
在线客服
.png)
