动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

Python爬虫常用的小技巧——设置代理IP

发布时间:2019-05-08 10:23:50 来源:黑核动态ip代理

分享到

  在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述Python爬虫常用的小技巧——设置代理IP

  这里介绍一下免费获取代理IP的方法,这个方法的优点就是免费,但是缺点就是爬取后存在很多不能用的。

Python爬虫常用的小技巧——设置代理IP

  配置环境

  安装requests库

  安装bs4库

  安装lxml库

  具体代码

  话不多说直接上代码吧

from bs4 import BeautifulSoup
import requests
import random

def get_ip_list(url, headers):
    web_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(web_data.text, 'lxml')
    ips = soup.find_all('tr')
    ip_list = []
    for i in range(1, len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_list.append(tds[1].text + ':' + tds[2].text)
    return ip_list

def get_random_ip(ip_list):
    proxy_list = []
    for ip in ip_list:
        proxy_list.append('http://' + ip)
    proxy_ip = random.choice(proxy_list)
    proxies = {'http': proxy_ip}
    return proxies

if __name__ == '__main__':
    url = 'http://www.xicidaili.com/nn/'
    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17'
    }
    ip_list = get_ip_list(url, headers=headers)
    proxies = get_random_ip(ip_list)
    print(proxies)

  函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口

  函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险

  proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法

  对于抓取IP这个,西刺代理的服务器做了反爬处理,如果你频繁去抓取的话,服务器会主动返回503错误,提示block,所以在请求的时候可以先一次请求完保存一个文件,来读取这个文件,或者爬取一个ip使用几分钟后,再去爬取一次,相当于加一个定时功能

  代理IP的使用

  运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可

res = requests.get(url, headers=headers, proxies=proxies)

  以上就是“Python爬虫常用的小技巧——设置代理IP”的全部内容,这里推荐大家使用黑核动态ip代理,极简界面,一键启用ip加速,随时切换ip,下载即可使用。

相关资讯

选择代理服务器的三个技巧

随着信息技术的不断发展,互联网越来越成为人们生活不可或缺的一部分,如今代理服务器在互联网中的地位也水涨船高,很多企业或个人都在借助代理服务器从中获利。接下来小编

来源:黑核动态ip代理

2019-04-04 16:18:47

网络游戏ip防封号技巧

游戏中封号是最让工作室头疼的一件事,具体游戏公司对封号是怎样的判断方法,至今也没有人能够摸的透。要说是纯技术性问题吧,我看也不全然是,例如著名的暗黑盒子事件,玩

来源:黑核动态ip代理

2019-05-08 09:45:59

Python爬虫常用的小技巧——设置代理IP

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反

来源:黑核动态ip代理

2019-05-08 10:23:50

选择代理服务器的几个实用技巧

随着信息技术的不断发展,互联网越来越成为人们生活不可或缺的一部分,如今代理服务器在互联网中的地位也水涨船高,很多企业或个人都在借助代理服务器从中获利。接下来小编

来源:黑核动态ip代理

2019-06-13 10:04:45

爬虫技术使用代理IP的技巧

一般来说,Python爬虫程序很多时候都要使用代理IP地址来爬取程序,但是默认的urlopen是无法使用代理的IP的,我就来分享一下爬虫技术使用代理IP的技巧。

来源:黑核动态ip代理

2019-06-25 11:23:59

选择代理服务器的三个实用技巧

随着信息技术的不断发展,互联网越来越成为人们生活不可或缺的一部分,如今代理服务器在互联网中的地位也水涨船高,很多企业或个人都在借助代理服务器从中获利。接下来小编

来源:黑核动态ip代理

2019-06-28 11:25:40

ssh技巧之socks代理

ssh除了localportforwarding和remoteportforwarding这两种端口转发策略,还有另外一种端口转发策略,叫做dynamicpor

来源:黑核动态ip代理

2019-10-25 11:40:37

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

为什么使用python采集都使用ip代理软件

多线程、异步与动态代理使用代理IPweb爬虫在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的WAF,使得本来很简单事情变得复杂起来,使得很多人无法获取

来源:黑核混拨ip代理

2019-01-10 10:34:30

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

经久不衰的http代理ip如何设置代理

作为最高出现在网络上的一个超文本协议,http是目前互联网上使用率最高的一个文本协议。如我们日常生活中最常用的一个网站,度娘使用的也是http协议。即使如今的代

来源:黑核混拨ip代理

2019-01-10 11:52:14

在线客服
QQ:800861888
客服电话
400-998-997
微信客服