动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

python爬虫使用代理池爬取拉勾网招聘信息

发布时间:2019-05-14 09:21:49 来源:黑核动态ip代理

分享到

  本文主要如何使用python爬虫使用代理池爬取拉勾网招聘信息,关键有两点,一,构建代理池解决同一ip访问频繁封ip问题,二,是找到python招聘信息真正的页面,拉勾网是动态加载出来的,招聘的信息是通过json数据传递的,直接在页面中是获取不到的,需要找到传递json数据的连接,获取到json数据,然后再解析数据,提取需要的因素。

  一,代理池搭建

  可以直接去github上下载别人搭建好的代理池,我用的代理池链接是:https://github.com/Germey/CookiesPool 需要安装好redis数据库并配置好启动服务,需要安装flash,aiohttp,requests,redis-py,pyquery等python库。

  二,招聘信息的在数据所在:

  打开拉勾网,搜索python,按f12打开开发者工具,点击network,勾选XHR,可以查看动态加载页面的链接,然后查看Preview里面的数据,可以看到招聘信息的数据。

python爬虫使用代理池爬取拉勾网招聘信息

  然后可以在headers里面找到链接信息 url和from data:

python爬虫使用代理池爬取拉勾网招聘信息

python爬虫使用代理池爬取拉勾网招聘信息

  pn可以控制页面翻页加载新的数据。

  代码如下:

import requests
import time

PROXY_POOL_URL = 'http://127.0.0.1:5000/get'
url = "https://www.lagou.com/jobs/positionAjax.json?city=%E6%AD%A6%E6%B1%89&needAddtionalResult=false"
headers = {
    'Host': 'www.lagou.com',
    'Origin': 'https://www.lagou.com',
    'Referer': 'https://www.lagou.com/jobs/list_java?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=sug&suginput=Java',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
    'X-Anit-Forge-Code': '0',
    'X-Anit-Forge-Token': None,
    'X-Requested-With': 'XMLHttpRequest'
}
proxy=None
MAX_COUNT=5


def get_proxy():
    try:
        response = requests.get(PROXY_POOL_URL)
        if response.status_code == 200:
            return response.text
        return None
    except ConnectionError:
        return None

def get_html(url, count=1):
    print('Crawling', url)
    print('Trying Count', count)
    global proxy
    if count >= MAX_COUNT:
        print('Tried Too Many Counts')
        return None
    try:
        if proxy:
            proxies = {
                'http': 'http://' + proxy
            }
            response = requests.get(url, allow_redirects=False, headers=headers, proxies=proxies)
            json_data = response.json()
        else:
            response = requests.get(url, allow_redirects=False, headers=headers)
            json_data = response.json()
        if 'content' in json_data:
            postions = json_data.get('content', ).get("positionResult").get('result')
            for postion in postions:
                postion = {
                    'education': postion.get('education'),
                    'workYear': postion.get('workYear'),
                    'salary': postion.get('salary'),
                    'positionName': postion.get('positionName'),
                    'companyFullName': postion.get('companyFullName')
                }
                print(postion)
        else:
            # Need Proxy
            print('requests too mach times ,need proxy')
            proxy = get_proxy()
            if proxy:
                print('Using Proxy', proxy)
                return get_html(url)
            else:
                print('Get Proxy Failed')
                return None
    except ConnectionError as e:
        print('Error Occurred', e.args)
        proxy = get_proxy()
        count += 1
        return get_html(url, count)



def main():
    for page in range(1, 20):
        print("第{}页数据".format(page))
        get_html(url,count=1)
        time.sleep(3)

if __name__=="__main__":
    main()

相关资讯

python爬虫使用代理池爬取拉勾网招聘信息

本文主要如何使用python爬虫使用代理池爬取拉勾网招聘信息,关键有两点,一,构建代理池解决同一ip访问频繁封ip问题,二,是找到python招聘信息真正的页面

来源:黑核动态ip代理

2019-05-14 09:21:49

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

使用换ip加速器让你轻松切换ip

不知道在工作中需不需要用到换IP软件,不管你是需要还是不需要,反正今天我要介绍的就是换IP软件。现在在百度上面搜索“换IP软件”,随便一搜就可以搜索到很多换IP

来源:黑核混拨ip加速器网

2018-12-28 10:53:31

使用代理ip有什么好处?

现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来了更多的选择,网

来源:黑核混拨ip加速器网

2018-12-28 15:00:45

如何使用ip代理保证爬虫能正常工作?

在实际的爬虫抓取的过程中,由于会存在恶意采集或者恶意攻击的情况,很多网站都会设置相应的防爬取机制,通常防爬程序都是通过ip来识别机器人用户的,因此充足可用的ip

来源:黑核混拨ip加速器网

2018-12-28 17:22:15

抢票IP被封怎么办?使用IP代理软件可以解决

临近过年,买张回家的票成了一种奢侈,但是再难买的票也要买啊,工作一年到头也就这时候回趟家,不管有多难都是要回去的,都想抢票,那么就出现了一种抢票软件,抢票软件就

来源:黑核混拨ip加速器网

2019-01-04 09:46:33

上网越来越不安全使用ip代理软件解决隐患

不安全的互联网连接您可能已经使用防火墙和安全软件保护了自己的网络和计算机。您可能还有一个经过身份验证的ISP连接。但是,当您通过Internet传输数据时,数据

来源:黑核混拨ip加速器网

2019-01-05 14:52:55

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

互联网工作中ip代理是不可缺少的工具

目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对

来源:黑核混拨ip加速器网

2018-12-27 17:45:23

为什么使用python采集都使用ip代理软件

多线程、异步与动态代理使用代理IPweb爬虫在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的WAF,使得本来很简单事情变得复杂起来,使得很多人无法获取

来源:黑核混拨ip代理

2019-01-10 10:34:30

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961