防御利器 | 如何有效抵御恶意爬虫危害

6月9日，网络安全圈内传出一则消息，国内顶级互联网公司被攻陷，十亿余条个人信息外泄。

据中国裁判文书网发布的《逯某、黎某侵犯公民个人信息一审刑事判决书》显示，2020年8月14日，某互联网公司报警称，在2020年7月6日到2020年7月13日期间，有黑产通过某宝业务接口开发的爬虫软件批量爬取数据，爬取数据数量巨大。

经调查，上述作案时段平均每天爬取数量500万，爬取内容包括买家用户昵称，用户评价内容，昵称等敏感字段。经司法鉴定，被告人逯某通过网络爬虫软件爬取客户信息共计1180738048条，将其爬取信息中的客户手机号码通过微信文件的形式发送给被告人黎某使用共计19712611条。

被告人黎某开设的浏阳市泰创网络科技有限公司利用客户手机号加对方微信好友进行推广商品，让用户领取优惠券，对方使用优惠券成功购买商品，该公司获得返利。自2019年8月份至2020年7月份该公司非法获利3952559.59元。

案例2：

2021年4月一个黑客论坛上出现了大约5.33亿条Facebook用户个人资料信息，包括用户的电话号码、Facebook ID、全名、出生日期、性别和地理位置。而且，泄漏数据相当完整，几乎每个用户记录都包含了上述泄露信息。根据研究人员对泄露数据的分析，在此次受数据泄露事件影响的用户中，美国地区就有3230万受影响用户，而英国也有1150万。

研究人员还在报告中提到，他们检查泄露数据的样本真实性已经得到了Facebook方面的验证。Facebook方面表示，此次数据泄露事件是由网络爬虫所引起，攻击者使用了网络爬虫来爬取用户个人资料相关的信息。

Facebook在公告中提到：“这种情况属于科技公司与网络犯罪分子之间的敌对博弈，攻击者会故意使用各种手段来破坏我们社交媒体平台的安全政策，并从互联网服务中提取他们想要的信息。”

这两起针对国内以及全世界顶级互联网公司的网络攻击行为，黑客主要“作案工具”均是网络爬虫技术，通过爬虫技术恶意窃取几亿乃至十几亿条数据信息。

网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当浏览信息时需要按照制定的规则进行，这些规则我们称之为网络爬虫算法。网络爬虫原本只是一项技术，是互联网搜索引擎家族中不可或缺的角色，但随着网络发展和黑产的诞生，如果网络爬虫技术被恶意使用就会对网络环境造成危害，变成恶意的爬虫攻击。

恶意爬虫会根据特定策略尽可能多地爬取网站中的高价值信息、占用服务器带宽、增加服务器负载。恶意用户利用网络爬虫对Web服务发动DoS攻击，可使Web服务资源耗尽而不能提供正常服务。还可利用网络爬虫抓取各种敏感信息，造成网站核心数据被窃取，损害企业经济利益。爬虫非法获取的数据，为下游形形色色的网络犯罪提供了无限可能，可以说是孕育和滋生网络犯罪的上游源头。

依法打击基于网络爬虫技术的黑产，不仅需要监管部门、平台和商家的协作，更需要技术手段和防御产品的介入。通付盾机器人防火墙是一款能够自动化实现恶意爬虫防护的创新产品，是防范恶意爬虫危害的防御利器。

爬虫防护往往与业务自身特性有很强的关联性，需要配备专业的安全团队来配置相应的安全策略，而通付盾机器人防火墙可实现自动化爬虫防护，避免网络资源消耗和隐私数据泄露，并且可免去高度复杂的规则设置，一键开启爬虫防护，降低用户使用门槛，操作简单、易于维护，减轻运维压力。

通付盾机器人防火墙为新一代动态Web应用防火墙产品，基于通付盾多年在安全领域的攻防经验，积累海量欺诈及攻击风险威胁特征库、大数据异常监测模型打磨而成的人工智能决策引擎，能够进行快速的全域站点流量实时监测分析和预警，及时阻断风险访问。面对未知威胁攻击场景，通付盾机器人防火墙能够不依赖传统静态特征与规则的匹配机制，通过人工智能决策引擎精准定位，发现网络攻击行为，并对攻击行为进行阻断。同时，通付盾机器人防火墙还集成了动态防御功能，通过动态加密、动态混淆、动态变换等技术方式加强网站防护能力，让站点防御更加坚固、威胁判断更加全面，风险阻断更加智能。

智能决策防护

智能决策引擎，策略实时生效，人机对抗，分秒必争。支持丰富的防护种类，包含：HTTP过滤、Web服务器漏洞攻击防护、Web主流脚本语言漏洞防护、SQL注入攻击防护、XSS攻击防护、盗链防护、Web应用扫描防护、爬虫防护、CSRF防护、命令注入防护攻击、非法上传防护、非法下载防护、HTTP Flood防护、其他Web攻击防护。

提供语义化规则编辑器，辅以规则内容示例，所见即所得，简单灵活的防护配置。

自研流计算引擎基于滑动时间窗口进行复杂指标的极速运算，采用分布式缓存提升数据处理时效性，计算性能优越。

丰富的知识库

依托于通付盾安全实验室长久以来的技术研究与积累,能够全面覆盖OWASP Top 10风险攻击,并且能够针对变异攻击,及时提供规则集更新,实时保护客户业务系统免受攻击。

安全威胁情报

基于攻击的风险特征，建立基于UA、Cookie、IP等异常特征库，并维护多维风险特征，形成动态威胁情报，实时更新，让机器人马甲无处藏身。

防护效果全面

防信息泄露

防止恶意爬虫Bot程序爬取站点接口数据或对外发布的内容数据，避免通过采集利用对外发布数据等手段引起的信息泄露。

防业务风险

防止站点内容被抓取、转载、刷票、薅羊毛、短信接口滥刷等手段带来的业务运营风险。

防自动化攻击

防止黑客利用恶意Bot程序进行自动化撞库攻击、漏洞嗅探、CC攻击等恶意攻击行为。

通付盾机器人防火墙的自动化恶意爬虫防护功能，能够帮助客户避免恶意爬虫带来无法估量的威胁和损失。此外，通付盾机器人防火墙还具备硬件、软件和云端三种产品形态，能够轻松满足客户实现未知威胁攻击防御时的不同部署需求。

关于通付盾

通付盾创立于2011年，是一家以数字身份识别为核心的新一代数字化技术服务商，为政府、军工、能源、金融、运营商、教育、医疗、传媒、交通、互联网等行业用户，提供基于无边界、零信任、自适应的“云、端、信”一体化数字技术产品与服务。公司全资控股子公司有北京通付盾人工智能技术有限公司、江苏通付盾区块链科技有限公司、江苏通付盾信息安全技术有限公司、江苏通付盾信创技术有限公司、深圳市前海通付盾科技有限公司。通付盾为国家 高新技术企业、双软认证企业、AAA级信用企业、并通过ISO27001、ISO9001、ISO20000、CMMI、ITSS等系列认证。