动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

使用哪家代理ip可以防止爬虫被封ip

发布时间:2019-09-26 11:36:27 来源:黑核动态ip代理

分享到

  在我们使用爬虫的过程中,很容易遇到反爬机制是禁用ip的,可以使用代理ip解决ip被封的问题。但是网上ip代理有很多家,到底选哪家好呢?

  本文选择黑核动态IP代理(官网地址https://www.dongtaiip.net)进行演示,使用php语言,如果需要大规模抓取可以去试试python。

  在官网我们可以看到有提供两种方式进行代理,一种是api模式,一种是隧道模式。Api模式就是我们爬虫最常用到的,就是提供url连接给你,你的程序自动的获取代理信息。这个模式适合自己需要管理ip池控制ip的使用,ip的有效时间是2到10分钟;隧道模式就提供给你一个固定的服务器ip地址信息,包括ip:端口:用户名:密码只需要将代理信息配置到程序里面就可以使用,他们后台会自动切换ip,这个模式很方便,简单。

使用哪家代理ip可以防止爬虫被封ip

  第一种方式

  首先代理提供商会提供给你一个api接口,你可以通过这个接口去获取ip和端口号。但是这些ip的时效是2到10分钟,所以我建立了一个ip池,每两分钟去更新一次ip池,以确保这些ip每次用到的时候都是有效的。

  第二种方式

  可以直接查看黑核动态IP代理接入文档php代码

  <?php

  //要访问的目标页面

  $url="http://httpbin.org/ip";

  $urls="https://httpbin.org/ip";

  //代理服务器

  define("PROXY_SERVER","tcp://t.16yun.cn:31111");

  //隧道身份信息

  define("PROXY_USER","16YUN123");

  define("PROXY_PASS","123456");

  $proxyAuth=base64_encode(PROXY_USER.":".PROXY_PASS);

  //设置Proxy tunnel

  $tunnel=rand(1,10000);

  $headers=implode("\r\n",[

  "Proxy-Authorization:Basic{$proxyAuth}",

  "Proxy-Tunnel:${tunnel}",

  ]);

  $sniServer=parse_url($urls,PHP_URL_HOST);

  $options=[

  "http"=>[

  "proxy"=>PROXY_SERVER,

  "header"=>$headers,

  "method"=>"GET",

  'request_fulluri'=>true,

  ],

  'ssl'=>array(

  'SNI_enabled'=>true,//Disable SNI for https over http proxies

  'SNI_server_name'=>$sniServer

  )

  ];

  print($url);

  $context=stream_context_create($options);

  $result=file_get_contents($url,false,$context);

  var_dump($result);

  //访问HTTPS页面

  print($urls);

  $context=stream_context_create($options);

  $result=file_get_contents($urls,false,$context);

  var_dump($result);?>

  经过一周的测试,代理的有效率在90%以上,总体来说效果还是很好的。


相关资讯

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了,动不动就被封号,要么就是一个IP只能登陆一个账号,这就尴尬了,如果只用一个账号推广根本不见效啊,或者说见效也效果不大,只能大批量的做推广

来源:黑核混拨ip加速器网

2018-12-25 16:28:24

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

抢票IP被封怎么办?使用IP代理软件可以解决

临近过年,买张回家的票成了一种奢侈,但是再难买的票也要买啊,工作一年到头也就这时候回趟家,不管有多难都是要回去的,都想抢票,那么就出现了一种抢票软件,抢票软件就

来源:黑核混拨ip加速器网

2019-01-04 09:46:33

什么是Socks代理?哪里可以买到Socks代理

Socks代理简介全能代理,就像有很多跳线的转接板,它只是简单地将一端的系统连接到另外一端。支持多种协议,包括http、ftp请求及其它类型的请求。它分sock

来源:黑核混拨ip加速器网

2019-01-05 16:28:26

有什么代理ip软件可以独享宽带

要说更换IP地址的软件网站出现的时间也不是太久,前前后后也不过是几年的时间,但是现在IP代理业可以说是蒸蒸日上,但是凡事都是有两方面的,有好的一面就有坏的一面,

来源:黑核混拨ip代理

2019-01-11 15:42:11

HTTP代理IP能用来做什么?可以避开限制吗?

HTTP代理IP能否用于网络营销?当我们访问某网站,查看或者进行某项业务时,往往会被提示先注册登录,基本一个IP地址只能注册一个账号。对于每天有大量注册业务的网

来源:黑核混拨ip代理

2019-01-16 16:52:16

http代理IP是什么?可以用在注册账号上吗?

http代理IP是什么在我们浏览网站的时候经常会看到这样以“www”开头的网站,种网站使用的协议是http协议,它是网络上最普遍最常见的网络通信方式,因而与之对

来源:黑核混拨ip代理

2019-01-16 17:56:00

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

爬虫技术工程师为什么离不开ip代理

说到爬虫,自然离不开爬虫代理地址。爬虫是一门随着互联网大数据而应运而生的产物,它主要是为了在海量的网络数据中采集分析有效的数据而诞生的一门技术。无需多言,爬虫技

来源:黑核混拨ip加速器网

2018-12-28 15:24:23

国内ip代理哪家好?分享几个免费的ip代理软件

不管是作为一名爬虫工程师,还是网络营销人员,都少不了使用代理IP,那么目前市场上这么多代理IP,国内ip代理有哪家比较好呢?很多人把IP可用率作为购买第一参考因

来源:黑核动态ip代理

2019-04-10 11:21:28

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961