动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

怎么用代理IP爬取到网站的指定数据

发布时间:2019-09-18 11:33:44 来源:黑核动态ip代理

分享到

  怎么用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此IP地址已经存到了IP.txt中),我们就可以利用爬取到的IP来作为代理IP,进一步爬取这个网站上我们所需要的IP。

怎么用代理IP爬取到网站的指定数据

  代码如下:

from bs4 import BeautifulSoup
import re
import time
import requests
import random
from fake_useragent import UserAgent

def get_ip_list():
	f = open('IP.txt','r')
	ip_list = f.readlines()
	# print(ip_list)
	f.close()
	return ip_list

def get_random_ip(ip_list):
	proxy_ip = random.choice(ip_list)
	proxy_ip = proxy_ip.strip('\n')
	proxies = {'https': proxy_ip}
	return proxies

def get_content(url, ip_list):
	print("get_content函数执行!")
	try:
		try:
			time.sleep(1)
			proxies = get_random_ip(ip_list)
			headers = {'User-Agent':str(UserAgent().random)}
			print(proxies)

			req = requests.get(url=url, proxies=proxies,headers=headers,timeout=20)#, proxies=proxies,headers=headers,timeout=20
			print("requests请求成功")
		except:
			print("重新运行")
			time.sleep(10)
			proxies = get_random_ip(ip_list)
			headers = {'User-Agent':str(UserAgent().random)}
			req = requests.get(url=url, proxies=proxies,headers=headers,timeout=40)
	except:
		print("第二次重新运行")
		time.sleep(15)
		proxies = get_random_ip(ip_list)
		headers = {'User-Agent':str(UserAgent().random)}
		req = requests.get(url=url, proxies=proxies,headers=headers)
	req.encoding = 'utf-8'
	soup = BeautifulSoup(req.text, 'lxml')


	ips = soup.find_all('tr')
	ip_final_list = []
	for i in range(1, len(ips)):
		ip_info = ips[i]
		tds = ip_info.find_all('td')
		if not tds[7].find('div',class_='bar_inner fast') == None:
			#out = re.findall('<td>(.*?)</td>', str(tds[8]))
			if tds[8].text.find('天') != -1:
				tb = tds[8].text
				tb = tb[:-1]
				if int(tb) > 10:
					ip_final_list.append(tds[1].text + ':' + tds[2].text)
				#print(out)
	return ip_final_list			
if __name__ == '__main__':
	
	for i in range(1,2):
		url = 'http://www.xicidaili.com/wt/{}'.format(i)
		ip_list = get_ip_list()
		
		for ip in get_content(url, ip_list):
			
			f2 = open('NewFile.txt','a+')

			f2.write('http://'+ip)
			f2.write('\n')
			f2.close()

  其实大部分代码与上一篇文章写的爬取代理IP差不多,不同点在于,此代码我使用了代理IP来爬取以及我爬取到的IP要为存活时间大于10天并且连接时间的那一条要为绿色。


相关资讯

频繁更换服务器IP对网站的影响

如果你的空间服务商频繁地、不定期地通知您修改域名解析的指向IP,或者干脆强制您必须使用cname方式解析您的域名,那么你就要留意了。这种情况一般发生在使用海外服

来源:黑核动态ip代理

2019-04-09 16:02:05

访问被封网站的几种常见代理服务器方式

被封、被屏蔽的网站可以通过国外代理服务器来访问,下面介绍访问被封网站的几种常见代理服务器方式。第一种:直接使用HTTP代理服务器的IP地址和端口(适用于IE、F

来源:黑核动态ip代理

2019-04-26 10:54:51

动态IP代理爬取网站的都是哪些爬虫

动态IP代理爬取网站的都是哪些爬虫?在写爬虫程序的时候,当抓取频率较快或者抓取一些robots.txt禁爬路径,肯定会碰到被网站屏蔽的情况,这时候目标服务器要么

来源:黑核动态ip代理

2019-05-05 09:35:19

python使用代理ip访问网站的实例

今天小编就为大家分享一篇python使用代理ip访问网站的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧!实例如下所示:# -*

来源:黑核动态ip代理

2019-06-26 11:44:51

怎么用代理IP爬取到网站的指定数据

怎么用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此IP

来源:黑核动态ip代理

2019-09-18 11:33:44

IP代理工程师带你了解网站的反爬虫策略

自有网络以来,就一直存在爬虫和反爬虫,越是大网站,越是成熟的网站,其反爬虫机制越完善,最初的IP限制,验证码限制,还有其他的限制,今天小编跟大家一起去了解下网站

来源:黑核动态ip代理

2019-10-29 14:14:28

使用代理IP后无法正常访问网站的原因

很多网络工作者都需要使用到代理IP,于是乎,他们在网上寻找代理IP,免费的,付费的,各种代理IP供应商的,都使用了一遍之后,可能发现了这样一个事实,没有百分之百

来源:黑核动态ip代理

2019-11-27 14:25:30

Python爬虫如何使用代理ip绕过网站反爬取机制

Python爬虫如何绕过网站反爬取机制Python爬虫是什么?简单的说,Python爬虫是由计算机自动与服务器交互获取数据的工具。现今互联网世界,基于很多原因,

来源:黑核混拨ip代理

2019-01-18 11:26:56

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

代理ip软件能帮助你实现优化网站

如今代理IP工具在营销领域,无论是主动式的发布推广信息,还是被动性反制竞争对手的恶意点击来说,都具有不可替代的作用。可细心的人们发现市面上代理IP的软件太多,如

来源:黑核混拨ip加速器网

2019-01-08 17:54:51

现在玩自媒体需要用到ip代理吗?

如今越来越多的人开始使用微博、今日头条等等各种自媒体平台,因此很多公司很多人都看到了这之中的商机和机会,并且借助自媒体平台来发展自己的生意,也因为自媒体的蓬勃发

来源:黑核混拨ip加速器网

2018-12-27 17:37:53

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961