在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术，高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代理IP。

　　（一）配置环境

　　安装requests库

　　安装bs4库

　　安装lxml库

　　（二）代码展示

# IP地址取自国内髙匿代理IP网站：https://www.dongtaiip.net
# 仅仅爬取首页IP地址就足够一般使用
from bs4 import BeautifulSoup
import requests
import random
def get_ip_list(url, headers):
  web_data = requests.get(url, headers=headers)
  soup = BeautifulSoup(web_data.text, 'lxml')
  ips = soup.find_all('tr')
  ip_list = []
  for i in range(1, len(ips)):
    ip_info = ips[i]
    tds = ip_info.find_all('td')
    ip_list.append(tds[1].text + ':' + tds[2].text)
  return ip_list
def get_random_ip(ip_list):
  proxy_list = []
  for ip in ip_list:
    proxy_list.append('http://' + ip)
  proxy_ip = random.choice(proxy_list)
  proxies = {'http': proxy_ip}
  return proxies
if __name__ == '__main__':
  url = 'http://www.xicidaili.com/nn/'
  headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
  }
  ip_list = get_ip_list(url, headers=headers)
  proxies = get_random_ip(ip_list)
  print(proxies)函数get_ip_list(url, headers)传入url和headers，最后返回一个IP列表，列表的元素类似42.84.226.65:8888格式，这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。

　　函数get_random_ip(ip_list)传入第一个函数得到的列表，返回一个随机的proxies，这个proxies可以传入到requests的get方法中，这样就可以做到每次运行都使用不同的IP访问被爬取的网站，有效地避免了真实IP被封的风险。proxies的格式是一个字典：{‘http': ‘http://42.84.226.65:8888‘}。

　　（三）代理IP的使用

　　运行上面的代码会得到一个随机的proxies，把它直接传入requests的get方法中即可。

web_data = requests.get(url, headers=headers, proxies=proxies)

相关资讯

爬虫技术工程师为什么离不开ip代理

说到爬虫，自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物，它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言，爬虫技

来源：黑核混拨ip加速器网

2018-12-28 15:24:23

如何使用ip代理保证爬虫能正常工作？

在实际的爬虫抓取的过程中，由于会存在恶意采集或者恶意攻击的情况，很多网站都会设置相应的防爬取机制，通常防爬程序都是通过ip来识别机器人用户的，因此充足可用的ip

来源：黑核混拨ip加速器网

2018-12-28 17:22:15

为什么网络爬虫需要大量IP 有什么好用的IP切换软件

在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力，所以你一直用同一个代理IP

来源：黑核混拨ip加速器网

2019-01-02 18:00:27

爬虫程序为什么都离不开代理ip软件

c#爬虫程序，现在做爬虫抓取数据用什么程序最好，之前在知乎上有一位用户，只为证明c#是爬虫最好的程序而进行了大量的测试。那么写爬虫抓取数据一定会用到代理ip，黑

来源：黑核混拨ip代理

2019-01-10 10:55:33

为什么说好的代理ip软件能提高爬虫效率

c#爬虫，现在做业务越来越难，市面上的代理ip商家五花八门，试过很多代理ip的人会知道对业务效果并不理想，为什么黑核混拨ip代理软件的代理ip质量很高，下面我来

来源：黑核混拨ip代理

2019-01-10 11:07:11

爬虫程序为什么要使用代理ip软件

c#爬虫和python要用什么代理ip?我用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python

来源：黑核混拨ip代理

2019-01-10 11:19:45

哪里有好用又便宜的爬虫代理ip软件

在互联网世界中，用户每一次点击和访问，都不仅仅只是一次点击、访问，它们将汇聚成大片数据，成为你和他人网络畅游的路径。这是爬虫的作用，采集抓取网站信息，帮助搜索引

来源：黑核混拨ip代理

2019-01-10 15:54:51

换ip软件帮您解决ip被封烦恼！

换ip软件帮您解决ip被封烦恼！我想做互联网工作的基本上都需要换下ip吧，很多时候我们做推广经常被封账号，特别是同一个IP自问自答马上封你没商量，但是这些推广也

来源：黑核混拨IP网

2018-12-25 15:52:02

互联网工作中ip代理是不可缺少的工具

目前，中国的互联网大军正在不断壮大，各种各样依托互联网的新兴行业正在兴起，哪怕是很多传统行业，为了抢占竞争的制高点，也将跟友商之间的竞争搬到了互联网平台之上。对

来源：黑核混拨ip加速器网

2018-12-27 17:45:23

IP加速器的使用方法和简单问题解决办法

IP加速器，顾名思义就是加速IP，提升网络性能，降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器，非游戏外挂，可以放心使用。IP加速器的客户端设置简

来源：黑核混拨ip加速器网

2018-12-28 10:21:44

为什么使用python采集都使用ip代理软件

多线程、异步与动态代理使用代理IPweb爬虫在使用代理ip采集数据的时候，经常会碰到有反采集策略规则的WAF，使得本来很简单事情变得复杂起来，使得很多人无法获取

来源：黑核混拨ip代理

2019-01-10 10:34:30