由大量爬虫请求引起的带宽占满事件分析和解决方案

  • 时间:
  • 浏览:0
  • 来源:大发彩神苹果下载_大发神彩苹果下载官方

21:51 查看WAF安全报表发现大量业务爬虫、robots脚本访问告警

2、搜素引擎抽风。

WAF流量

4、近期做的推广活动带来访问压力增加。

22:10 筛选IP

21:23 汇报我方领导,通知我方工程师上线正确处理

Web应用防火墙精准访问控制

22:23 封禁IP,问提报告 正确处理

21:43 排查发现主要是客户移动站点流量异常

2018年2月24日晚,卓见云某客户网站公网出流量一直 爆发性增长,原应传输速率被占满,事故发现后紧急提升了SLB的传输速率,但提升后的传输速率仍然被流量占满(原传输速率15M,提升至35M)。肯能事故发生在非黄金访问时分,正常流量无需没人 大,加在你你这名问提报告 ,怀疑是遭到了网络攻击。

3、“三月份爬虫”,应届毕业生为交论文常在你你这名时间点在网上爬取数据,此类爬虫通常简单粗暴,不管服务器压力。

Web应用防火墙数据

21:55 建议用户通过WAF精准访问功能封禁爬虫IP

2、利用云监控,在SLB和WAF上建立告警规则。建立告警事件正确处理预案机制。



SLB流量

21:80进一步排查发现入流量并无明显增加,根据客户网站特点和运维经验判断肯能是被爬虫暴力抓数据造成

21:22 引导用户提交工单

21:19 接到用户电话,反馈事故发生

21:25引导用户进行故障排除,查看DDoS安全报表,发现并无DDoS攻击

1、建立反爬虫手段,后台对IP、session、userAgent进行统计,超过阈值,予以封锁。进一步也时要通过cookie校验、验证码限制等手段。建议多种手段组合使用,达到封锁和误杀之间的平衡。PS:当前直接封IP的法律法子要是临时正确处理方案,肯能IP是很容易更换的。

3、当前WAF版本较低,精准访问控制只支持基于IP和URL的封禁,不支持user-agent和cookie字段,建议把WAF版本升级成企业版。肯能开通按量付费WAF,开通精准访问控制高级功能,可临时正确处理问提报告 。

21:20 引导用户通过临时切换SLB来更换IP的法律法子进行紧急事故正确处理,但当时用户暂不方便操作

1、商业对手,出于竞争时要,采用爬虫获取信息。