golang net/http标准库的client是可以配置各种代理的,http/https/sock5等,不过fasthttp仅支持配置sock5代理,通过定义fasthttp dialfunc实现:
项目中碰到的问题是,ops只提供了用squid搭建的http代理,所以是想重新定义一个http代理的dialfunc,找了fasthttp github仓库的issue,作者提供了一个dialFunc
https://github.com/valyala/fasthttp/issues/363#issuecomment-417868528
经测试,访问https的站点是OK的,访问http的站点不行,代理连接不上。先说一下http/https代理的区别,再说原因。
HTTPS
使用代理访问https网站时,会先发CONNECT请求,让代理与目标站点建立一个http tunnel,之后在这个tunnel基础上进行传输,对应到上面的dialFunc过程就是:
客户端与代理建立一条tcp连接
通过这条连接向代理发出CONNECT请求,让代理和目标站点google建立一条http tunnel,代理返回HTTP/1.1 200 Connection established,这个是和普通的http请求返回是不一样的,CONNECT方法专属返回
之后就可以通过这条tcp连接进行请求了
HTTP
可以看到http站点是不需要发CONNECT请求的,而是直接将目标站点的url作为path填写在http请求头中。
原因
为何上面的dialfunc访问http站点不行呢,查了squid代理的文档,发现squid默认会禁止非https站点通过CONNECT方法建立通道,自己搭了个squid代理去掉配置项,发现上面的dialfunc是可以访问http、https站点的,就是说http,https都先建立通过,再请求。
看了fasthttp的源码,没办法在请求前修改request header中的path为目标站点url,所以如果需要通过fasthttp使用http代理,那么可以使用上面的dialfunc,同时代理需要允许非443端口的站点可以建立通道。如果做不到这一点,那么还是建议使用标准库net/http的client,会更方便一点。
相关资讯
IP加速器的使用方法和简单问题解决办法
IP加速器,顾名思义就是加速IP,提升网络性能,降低网络延迟。黑核混拨ip加速器是一款ip量大速度快的加速器,非游戏外挂,可以放心使用。IP加速器的客户端设置简
来源:黑核混拨ip加速器网
2018-12-28 10:21:44
使用换ip加速器让你轻松切换ip
不知道在工作中需不需要用到换IP软件,不管你是需要还是不需要,反正今天我要介绍的就是换IP软件。现在在百度上面搜索“换IP软件”,随便一搜就可以搜索到很多换IP
来源:黑核混拨ip加速器网
2018-12-28 10:53:31
使用代理ip有什么好处?
现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来了更多的选择,网
来源:黑核混拨ip加速器网
2018-12-28 15:00:45
如何使用ip代理保证爬虫能正常工作?
在实际的爬虫抓取的过程中,由于会存在恶意采集或者恶意攻击的情况,很多网站都会设置相应的防爬取机制,通常防爬程序都是通过ip来识别机器人用户的,因此充足可用的ip
来源:黑核混拨ip加速器网
2018-12-28 17:22:15
抢票IP被封怎么办?使用IP代理软件可以解决
临近过年,买张回家的票成了一种奢侈,但是再难买的票也要买啊,工作一年到头也就这时候回趟家,不管有多难都是要回去的,都想抢票,那么就出现了一种抢票软件,抢票软件就
来源:黑核混拨ip加速器网
2019-01-04 09:46:33
上网越来越不安全使用ip代理软件解决隐患
不安全的互联网连接您可能已经使用防火墙和安全软件保护了自己的网络和计算机。您可能还有一个经过身份验证的ISP连接。但是,当您通过Internet传输数据时,数据
来源:黑核混拨ip加速器网
2019-01-05 14:52:55
使用了ip代理软件还需要清理浏览器的痕迹吗
ip代理软件对于我们来说可能有点陌生吧,但是如果说vpn应该知道的人很多,ip代理软件的前身就是vpn.网页是我们每天都会浏览的东西,我们每天浏览的网页有很多,
来源:黑核混拨ip加速器网
2019-01-05 17:31:09
什么是ip代理软件?可以修改ip地址吗?
经常碰到朋友问,代理IP是做啥的,有什么用。我对他一顿解释,然后他还是云里雾里,好吧,可能是我口才不好,这里写文再解释下。代理IP对于很多人来说,用处很大,他们
来源:黑核混拨ip加速器网
2018-12-27 17:27:18
现在采集越来越难如何找到实用的HTTP代理IP
目前,中国的互联网大军正在不断壮大,各种各样依托互联网的新兴行业正在兴起,哪怕是很多传统行业,为了抢占竞争的制高点,也将跟友商之间的竞争搬到了互联网平台之上。对
来源:黑核混拨ip加速器网
2018-12-28 15:56:10
golang fasthttp 使用http代理
golangnet/http标准库的client是可以配置各种代理的,http/https/sock5等,不过fasthttp仅支持配置sock5代理,通过定义
来源:黑核动态ip代理
2019-11-14 14:31:32
golang实现HTTP代理和反向代理
代理的核心功能可以用一句话概括:接受客户端的请求,转发到后端服务器,获得应答之后返回给客户端。下图是《HTTP权威指南》一书中给出的图例,可以很清晰地说明这一流
来源:黑核动态ip代理
2019-09-30 11:44:04
推荐阅读
26
2019-06
Win8系统如何使用代理服务器上网
由于组织内部限制或出于安全考虑,不允许每
12
2019-06
如何低成本获取大量IP?建立IP池可行吗?
换IP的方法不少,比如通过重启路由器、手
05
2019-12
python爬虫使用代理ip或请求头的问题
在request库中使用代理ip实例如下
29
2018-12
不会修改ip怎么办?来这里教你如何修改电脑ip地址
每台电脑都会有一个IP地址,让电脑在网络
11
2019-01
为什么说代理ip软件有效ip才是主要的
经常使用网络的人都知道代理IP,在搜索引
19
2019-08
ADSL拨号与代理IP的不同
ADSL拨号和代理IP都能帮助我们换IP
Copyright © | 广州网连信息技术有限公司动态ip代理版权所有 备案号:粤ICP备18088888号-15 网站地图