动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

怎么用代理IP爬取到网站的指定数据

发布时间:2019-09-18 11:33:44 来源:黑核动态ip代理

分享到

  怎么用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此IP地址已经存到了IP.txt中),我们就可以利用爬取到的IP来作为代理IP,进一步爬取这个网站上我们所需要的IP。

怎么用代理IP爬取到网站的指定数据

  代码如下:

from bs4 import BeautifulSoup
import re
import time
import requests
import random
from fake_useragent import UserAgent

def get_ip_list():
	f = open('IP.txt','r')
	ip_list = f.readlines()
	# print(ip_list)
	f.close()
	return ip_list

def get_random_ip(ip_list):
	proxy_ip = random.choice(ip_list)
	proxy_ip = proxy_ip.strip('\n')
	proxies = {'https': proxy_ip}
	return proxies

def get_content(url, ip_list):
	print("get_content函数执行!")
	try:
		try:
			time.sleep(1)
			proxies = get_random_ip(ip_list)
			headers = {'User-Agent':str(UserAgent().random)}
			print(proxies)

			req = requests.get(url=url, proxies=proxies,headers=headers,timeout=20)#, proxies=proxies,headers=headers,timeout=20
			print("requests请求成功")
		except:
			print("重新运行")
			time.sleep(10)
			proxies = get_random_ip(ip_list)
			headers = {'User-Agent':str(UserAgent().random)}
			req = requests.get(url=url, proxies=proxies,headers=headers,timeout=40)
	except:
		print("第二次重新运行")
		time.sleep(15)
		proxies = get_random_ip(ip_list)
		headers = {'User-Agent':str(UserAgent().random)}
		req = requests.get(url=url, proxies=proxies,headers=headers)
	req.encoding = 'utf-8'
	soup = BeautifulSoup(req.text, 'lxml')


	ips = soup.find_all('tr')
	ip_final_list = []
	for i in range(1, len(ips)):
		ip_info = ips[i]
		tds = ip_info.find_all('td')
		if not tds[7].find('div',class_='bar_inner fast') == None:
			#out = re.findall('<td>(.*?)</td>', str(tds[8]))
			if tds[8].text.find('天') != -1:
				tb = tds[8].text
				tb = tb[:-1]
				if int(tb) > 10:
					ip_final_list.append(tds[1].text + ':' + tds[2].text)
				#print(out)
	return ip_final_list			
if __name__ == '__main__':
	
	for i in range(1,2):
		url = 'http://www.xicidaili.com/wt/{}'.format(i)
		ip_list = get_ip_list()
		
		for ip in get_content(url, ip_list):
			
			f2 = open('NewFile.txt','a+')

			f2.write('http://'+ip)
			f2.write('\n')
			f2.close()

  其实大部分代码与上一篇文章写的爬取代理IP差不多,不同点在于,此代码我使用了代理IP来爬取以及我爬取到的IP要为存活时间大于10天并且连接时间的那一条要为绿色。


相关资讯

现在玩自媒体需要用到ip代理吗?

如今越来越多的人开始使用微博、今日头条等等各种自媒体平台,因此很多公司很多人都看到了这之中的商机和机会,并且借助自媒体平台来发展自己的生意,也因为自媒体的蓬勃发

来源:黑核混拨ip加速器网

2018-12-27 17:37:53

现在采集越来越难如何找到实用的HTTP代理IP

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-28 15:56:10

实用https代理服务器别人能查到真实地址吗

现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来了更多的选择,网

来源:黑核混拨ip加速器网

2018-12-28 17:02:47

什么是Socks代理?哪里可以买到Socks代理

Socks代理简介全能代理,就像有很多跳线的转接板,它只是简单地将一端的系统连接到另外一端。支持多种协议,包括http、ftp请求及其它类型的请求。它分sock

来源:黑核混拨ip加速器网

2019-01-05 16:28:26

还在为找不到换ip软件而发愁吗 试试代理ip软件吧

很多刚开始接触SEO的新人很多东西都不懂,很容易踩雷区,就比如推广这事,SEO很喜欢做的就是百度知道,百度贴吧,搜搜问问这些,但是这种自问自答如果是同一个ip登

来源:黑核混拨ip加速器网

2019-01-09 14:37:23

http代理ip怎么用 如何运用到python爬虫上

http代理ip怎么用我们在上网的时候,有时候浏览一些网站会需要用到HTTP代理IP,比如注册投票的时候需要用到多个IP来进行访问,以此来隐藏自己的真实IP,达

来源:黑核混拨ip代理

2019-01-17 11:34:56

爬虫遇到IP限制和访问时间间隔限制如何处理?

掌握了爬虫应该学习的内容,我们难免就会遇到反爬虫的问题,像时间限制、IP限制、验证码限制等等,都可能会导致爬虫无法进行,所以也出现了很多像代理IP、时间限制调整

来源:黑核混拨ip代理

2019-04-01 15:23:55

怎么用代理IP爬取到网站的指定数据

怎么用代理IP爬取到网站的指定数据?这个代码是根据上一个爬取代理IP代码写出来的,当我们已经从那个国内高匿代理IP网站中爬取到存活时间比较久的IP地址后(此IP

来源:黑核动态ip代理

2019-09-18 11:33:44

代理ip软件能帮助你实现优化网站

如今代理IP工具在营销领域,无论是主动式的发布推广信息,还是被动性反制竞争对手的恶意点击来说,都具有不可替代的作用。可细心的人们发现市面上代理IP的软件太多,如

来源:黑核混拨ip加速器网

2019-01-08 17:54:51

Python爬虫如何使用代理ip绕过网站反爬取机制

Python爬虫如何绕过网站反爬取机制Python爬虫是什么?简单的说,Python爬虫是由计算机自动与服务器交互获取数据的工具。现今互联网世界,基于很多原因,

来源:黑核混拨ip代理

2019-01-18 11:26:56

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961