动态ip

>

代理ip软件

>

换ip软件

>

HTTP代理

>
Socks5代理
黑核动态ip代理
您的位置: 首页 > 新闻资讯 > 正文

HttpClient使用代理IP

发布时间:2019-11-29 14:31:44 来源:黑核动态ip代理

分享到

  在爬取网页的时候,有的目标站点有反爬虫机制,对于频繁访问站点以及规则性访问站点的行为,会采集屏蔽IP措施。这时候,代理IP就派上用场了。关于代理IP的话也分几种透明代理、匿名代理、混淆代理、高匿代理

HttpClient使用代理IP

  1、透明代理(Transparent Proxy)

  REMOTE_ADDR=Proxy IP

  HTTP_VIA=Proxy IP

  HTTP_X_FORWARDED_FOR=Your IP

  透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以从HTTP_X_FORWARDED_FOR来查到你是谁。

  2、匿名代理(Anonymous Proxy)

  REMOTE_ADDR=proxy IP

  HTTP_VIA=proxy IP

  HTTP_X_FORWARDED_FOR=proxy IP

  匿名代理比透明代理进步了一点:别人只能知道你用了代理,无法知道你是谁。

  还有一种比纯匿名代理更先进一点的:混淆代理,见下节。

  3、混淆代理(Distorting Proxies)

  REMOTE_ADDR=Proxy IP

  HTTP_VIA=Proxy IP

  HTTP_X_FORWARDED_FOR=Random IP address

  如上,与匿名代理相同,如果使用了混淆代理,别人还是能知道你在用代理,但是会得到一个假的IP地址,伪装的更逼真:-)

  4、高匿代理(Elite proxy或High Anonymity Proxy)

  REMOTE_ADDR=Proxy IP

  HTTP_VIA=not determined

  HTTP_X_FORWARDED_FOR=not determined

  可以看出来,高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

  一般我们搞爬虫用的都是高匿的代理IP;

  那代理IP从哪里搞呢很简单百度一下,你就知道一大堆代理IP站点。一般都会给出一些免费的,但是花点钱搞收费接口更加方便;

  比如http://www.66ip.cn/

  httpClient使用代理IP代码:

  package com.open1111.httpclient.chap04;

  import org.apache.http.HttpEntity;

  import org.apache.http.HttpHost;

  import org.apache.http.client.config.RequestConfig;

  import org.apache.http.client.methods.CloseableHttpResponse;

  import org.apache.http.client.methods.HttpGet;

  import org.apache.http.impl.client.CloseableHttpClient;

  import org.apache.http.impl.client.HttpClients;

  import org.apache.http.util.EntityUtils;

  public class Demo1{

  public static void main(String[]args)throws Exception{

  CloseableHttpClient httpClient=HttpClients.createDefault();//创建httpClient实例

  HttpGet httpGet=new HttpGet("https://www.taobao.com/");//创建httpget实例

  HttpHost proxy=new HttpHost("116.226.217.54",9999);

  RequestConfig requestConfig=RequestConfig.custom().setProxy(proxy).build();

  httpGet.setConfig(requestConfig);

  httpGet.setHeader("User-Agent","Mozilla/5.0(Windows NT 6.1;Win64;x64;rv:50.0)Gecko/20100101 Firefox/50.0");

  CloseableHttpResponse response=httpClient.execute(httpGet);//执行http get请求

  HttpEntity entity=response.getEntity();//获取返回实体

  System.out.println("网页内容:"+EntityUtils.toString(entity,"utf-8"));//获取网页内容

  response.close();//response关闭

  httpClient.close();//httpClient关闭

  }

  }

  建议大家用国内代理IP以及主干道网络大城市的代理IP访问速度快;


相关资讯

换ip软件帮您解决ip被封烦恼!

换ip软件帮您解决ip被封烦恼!我想做互联网工作的基本上都需要换下ip吧,很多时候我们做推广经常被封账号,特别是同一个IP自问自答马上封你没商量,但是这些推广也

来源:黑核混拨IP网

2018-12-25 15:52:02

不知道怎么样修改ip地址可以用黑核混拨IP软件

现在做推广越来越难做了,动不动就被封号,要么就是一个IP只能登陆一个账号,这就尴尬了,如果只用一个账号推广根本不见效啊,或者说见效也效果不大,只能大批量的做推广

来源:黑核混拨ip加速器网

2018-12-25 16:28:24

黑核混拨IP加速器让你知道如何改变ip地址

被论坛禁言了?玩游戏作弊,被封号了?被人屏蔽IP是件很让人不爽的事情,平时正忙的时候被封禁,会有种天塌下来的感觉。如何改变ip地址成了我们比做的事情,不改变IP

来源:黑核混拨ip加速器网

2018-12-25 16:58:44

黑核混拨IP加速器轻松解决怎么修改手机ip地址问题

有些视频播放站很坑,一天只能观看几个视频就需要开通会员才能看了,但是我们又不想冲会员怎么办,那就需要修改手机IP地址了,但是怎么修改手机IP地址呢?不是谁都懂的

来源:黑核混拨ip加速器网

2018-12-25 17:39:01

还在找ip地址修改器吗?来试试黑核混拨IP加速器吧

国内ip地址修改器顾名思义就是转换自己的IP地址的一个工具或者一款软件,ip地址修改用哪些工具好处呢,因为工作或者个人需求,修改IP后可以注册一些限制IP注册的

来源:黑核混拨ip加速器网

2018-12-25 18:13:13

在国外想玩lol国服吗?来试试这个ip加速器吧

身在国外想玩下国服游戏是一件很痛苦的事情,因为网络延迟太高了,卡到让人怀疑人生的那种地步,有多卡呢?玩个游戏能卡出漫画的效果来,看着都着急啊。特别是玩游戏的时候

来源:黑核混拨ip加速器网

2018-12-27 17:07:17

什么是ip代理软件?可以修改ip地址吗?

经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们

来源:黑核混拨ip加速器网

2018-12-27 17:27:18

IP加速器的使用方法和简单问题解决办法

IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简

来源:黑核混拨ip加速器网

2018-12-28 10:21:44

HttpClient使用代理IP

在爬取网页的时候,有的目标站点有反爬虫机制,对于频繁访问站点以及规则性访问站点的行为,会采集屏蔽IP措施。这时候,代理IP就派上用场了。关于代理IP的话也分几种

来源:黑核动态ip代理

2019-11-29 14:31:44

营销发帖如何使用代理ip推广

营销发帖用不用代理IP的区别在于哪里?网络营销使用代理IP,这不出奇,很多网络工作者其实都有在使用,知识很多人并不知道而已。说起论坛,贴吧这类对于现在的新一代网

来源:黑核动态ip代理

2019-08-06 14:07:06

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
客服电话
13318873961