真实案例：

　　查看nginx日志，发现别有用心的人恶意调用API接口刷短信：

　　30966487 115.213.229.38"-"[05/Jun/2018:14:37:29+0800]0.003 xxxxxx.com"POST/xxx/sendCheckCode HTTP/1.1"401 200 46 xx.xx.xx.xx:0000 0.003 200"Mozilla/5.0(Windows NT 6.1;WOW64;rv:27.0)Gecko/20100101 Firefox/27.0""https://xxxxxx/sendCheckCode"

　　30963985 60.181.111.140"-"[05/Jun/2018:14:37:29+0800]0.004 xxxxxx.com"POST/xxx/sendCheckCode HTTP/1.1"401 200 46 xx.xx.xx.xx:0000 0.004 200"Mozilla/5.0(Windows NT 6.1;WOW64;rv:27.0)Gecko/20100101 Firefox/27.0""https://xxxxxx/sendCheckCode"

　　30959954 220.190.18.25"-"[05/Jun/2018:14:37:29+0800]0.003 xxxxxx.com"POST/xxx/sendCheckCode HTTP/1.1"401 200 46 xx.xx.xx.xx:0000 0.003 200"Mozilla/5.0(Windows NT 6.1;WOW64;rv:27.0)Gecko/20100101 Firefox/27.0""https://xxxxxx/sendCheckCode"

　　思考了几种方案，最终考虑使用ip黑名单的方式：

　　处理方法：

　　一、nginx黑名单方式：

　　1、过滤日志访问API接口的IP，统计每10分钟调用超过100次的IP，直接丢进nginx的访问黑名单

　　2、具体步骤：

　　编写shell脚本：

　　vim/shell/nginx_cutaccesslog.sh

　　#!/bin/bash

　　log_path=/xxx/nginx/logs

　　date=`date-d"10 min ago"+%Y%m%d-%H:%M:%S`

　　nginxpid=`cat${log_path}/nginx.pid`

　　cd${log_path}

　　#过滤access.log中正常访问API接口并在10分钟（下面是日志切割，再做个定时任务每10分钟执行一次，就可以实现了）内访问量最高的30个IP，取值如果此IP访问量大于100次，则把此IP放入黑名单

　　cat access.log|grep sendCheckCode|grep-v 403|awk'{print$2}'|sort|uniq-c|sort-k1-n|tail-30|awk'{if($1>100)print"deny"$2";"}'>../conf/denyip.conf

　　#日志切割，做定时任务，每10分钟执行一次

　　mv${log_path}/access.log${log_path}/accesslog.bak/access_${date}.log

　　../sbin/nginx-s reload

　　可自己定义时间间隔和访问量，也可取消筛选访问量最高的30个，直接取值每10分钟访问接口超过100次的

　　其中："grep-v 403"是把已经禁止访问的IP给过滤掉，只筛选正常访问的

　　3、修改nginx.conf

　　在http模块加入：

　　include denyip.conf;

　　重新加载nginx生效。

　　4、添加计划任务：

　　*/10****/bin/bash/shell/nginx_cutaccesslog.sh>/dev/null 2>&1

　　5、验证：

　　[root xxx logs]#ll accesslog.bak/

　　-rw-r--r--1 root root 2663901 Jun 5 15:10 access_20180605-15:00:01.log

　　-rw-r--r--1 root root 13696947 Jun 5 15:20 access_20180605-15:10:01.log

　　-rw-r--r--1 root root 13265509 Jun 5 15:30 access_20180605-15:20:01.log

　　-rw-r--r--1 root root 13846297 Jun 5 15:40 access_20180605-15:30:01.log

　　[root xxx logs]#cat../conf/denyip.conf

　　…………

　　…………

　　deny 112.12.137.28;

　　deny 183.167.237.229;

　　deny 111.41.43.58;

　　deny 115.217.117.159;

　　deny 219.133.100.133;

　　deny 171.221.254.115;

　　deny 60.184.131.6;

　　…………

　　…………

　　再查看已经禁用IP的访问日志，则会返回403错误：

　　[root xxx logs]#tail-f access.log|grep"60.184.131.6"

　　31268622 60.184.131.6"-"[05/Jun/2018:15:47:34+0800]0.000 xxxxxx.com"POST/xxxxxx/sendCheckCode HTTP/1.1"377 403 168---"Mozilla/5.0(Windows NT 6.1;WOW64;rv:27.0)Gecko/20100101 Firefox/27.0""https://xxxxxx/sendCheckCode"

　　31268622 60.184.131.6"-"[05/Jun/2018:15:47:35+0800]0.000 xxxxxx.com"POST/xxxxxx/sendCheckCode HTTP/1.1"377 403 168---"Mozilla/5.0(Windows NT 6.1;WOW64;rv:27.0)Gecko/20100101 Firefox/27.0""https://xxxxxx/sendCheckCode"

　　31268622 60.184.131.6"-"[05/Jun/2018:15:47:35+0800]0.000 xxxxxx.com"POST/xxxxxx/sendCheckCode HTTP/1.1"377 403 168---"Mozilla/5.0(Windows NT 6.1;WOW64;rv:27.0)Gecko/20100101 Firefox/27.0""https://xxxxxx/sendCheckCode"

　　二、限制IP请求数：

　　处理这种情况的方法还有一种是限制单IP单位时间的请求数，以及单IP的并发连接数

　　此方法没有实际运用，因为感觉这种方法会误杀正常的访问用户

　　写一下此方法的大概配置，http模块加入：

　　http{

　　limit_req_zone$binary_remote_addr zone=one:10m rate=8r/s;

　　server{

　　location/search/{

　　limit_req zone=one burst=5;

　　}

　　如何估算limit_req_zone size：

　　一兆字节区域可以保持大约1万6064字节的状态。

　　那么10M就可以存储16万的IP统计信息,这个对普通应用足够了，16万每秒的UV，已经超级厉害了。

　　如果size的大小如果设置小了,例如设置成1M，那么当一秒内的请求IP数超过16000的时候，超出的IP对应的用户看到的均为503 Service Temporarily Unavailable页面了。参考,漏桶算法Leaky Bucket。同时，rate的单位用r/s非常合适，如果换成按天，按小时计数，10M的内存肯定不够用。

　　如何估算limit_req_zone rate：

　　首先需要知道的是，普通浏览器的同时并发数量。按照Dropbox技术博客里所谈到的，目前主流浏览器限制AJAX对同一个子域名的并发连接数是6个。IE 6，IE 7是两个。

　　大多数浏览器每个主机名都有6个并发连接的限制。

相关资讯

ip被限制了怎么办 有什么办法能解决

还在为注册不了账号而发愁吗？那就使用代理IP吧，代理IP可以替换你的用户IP，然后代替你本来的IP去进行访问网站，从而完成注册业务。做网络业务的人一般都知道，大

来源：黑核混拨ip代理

2019-01-11 11:31:31

为什么网站要限制python爬虫大量抓取

很多从事python爬虫的网友，在采集网站信息时常遇见一些数据显示在浏览器上却无法抓取的情况。这可能是因为对方有意不让爬虫抓取信息，当你的IP地址被网站封杀，就

来源：黑核混拨ip代理

2019-01-14 17:03:45

抢购的时候用什么代理ip软件不会被限制

如果你对代理IP的理解认知还停留在，代理IP可以用来访问我们被限制的网站，那就OUT了，要知道现在是网络科技时代，网络瞬息万变，所以我们也要跟上网络的发展，时代

来源：黑核混拨ip代理

2019-01-15 17:58:33

HTTP代理IP能用来做什么？可以避开限制吗？

HTTP代理IP能否用于网络营销？当我们访问某网站，查看或者进行某项业务时，往往会被提示先注册登录，基本一个IP地址只能注册一个账号。对于每天有大量注册业务的网

来源：黑核混拨ip代理

2019-01-16 16:52:16

python爬虫程序如何预防被限制

有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，需要隐藏自己的爬虫程

来源：黑核混拨ip代理

2019-01-17 16:34:49

Python爬虫如何突破反爬虫限制？

说起Python爬虫的发展史，那简直是与反爬虫相爱相杀的血泪史。在互联网中，有网络爬虫的地方，绝对少不了反爬虫的身影。网站反爬虫的拦截前提是要正确区分人类访问用

来源：黑核混拨ip代理

2019-01-18 16:08:27

IP地址被限制怎么换IP？

怎么才能够应用IP投票而且不限制呢？在网络时代，很多的投票方式都选择网络投票，例如微信投票，这种投票都是利用程序功能输出结果的，所以我们可以通过这种形式来获取大

来源：黑核混拨ip代理

2019-04-01 15:15:23

什么是代理IP的API接口？HTTP代理IP的使用误区有哪些

HTTP代理IP的API接口是什么意思？从事网络的伙伴们，对HTTP代理IP自然再熟悉不过。那么API又是什么呢?HTTP代理IP的API接口是什么意思?API

来源：黑核混拨ip代理

2019-01-16 15:00:55

爬虫遇到IP限制和访问时间间隔限制如何处理？

掌握了爬虫应该学习的内容，我们难免就会遇到反爬虫的问题，像时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以也出现了很多像代理IP、时间限制调整

来源：黑核混拨ip代理

2019-04-01 15:23:55

Nginx作为反向代理服务器

Nginx通过proxy模块实现反向代理功能。在作为web反向代理服务器时，nginx负责接收客户请求，并能够根据URI、客户端参数或其它的处理逻辑将用户请求调

来源：黑核动态ip代理

2019-05-23 10:18:23

nginx限制IP恶意调用短信接口处理方法

真实案例：查看nginx日志，发现别有用心的人恶意调用API接口刷短信：30966487115.213.229.38"-"[05/Jun/2

来源：黑核动态ip代理

2019-12-24 14:29:11