【网易智能讯 4月29日消息】2016年，约有1.85亿新网民上网，其中绝大多数来自印度等国家，这代表着市场的巨大增长。然而，不止上网人口在继续增长，聊天机器人的数量也在增加。
“聊天机器人”这个词汇涵盖了各种各样的自动化程序：虽然有些可被作为搜索引擎的源数据，帮助人们用最合适的网站来匹配他们的查询，但其他机器人却没有那么有用。在过去的一年里，恶意聊天机器人占了所有网站流量的19.9%，比2015年同期增长了6.98%。
恶意聊天机器人与应用程序的交互方式与合法用户的方式相同，这使得它们更难被防范。然而，结果可能造成伤害：举例来说，恶意聊天机器人可以在未经许可的情况下从网站获取数据，而另其他聊天机器人也可能从事诸如广告欺诈和账户盗窃等犯罪活动。
聊天机器人可以在网站和API上进行高速滥用、误用以及发动攻击。它们能让攻击者、令人讨厌的竞争对手和欺诈者进行大量的恶意活动，包括网络抓取、竞争性数据挖掘、个人和财务数据收集、强制登录和中间人攻击、数字广告欺诈、垃圾邮件以及交易欺诈等等。
“恶意聊天机器人”问题已经变得如此猖獗，以至于它已经获得美国联邦立法机构的关注。为了预防非法购票程序，美国国会通过了更好的在线售票法案。与之相似，英国和加拿大政府也在考虑出台新的法律，以阻止聊天机器人自动购买机票。尽管立法是一种受欢迎的威慑，但很难通过立法来反对那些你无法识别的聊天机器人。
恶意聊天机器人正受到关注，但它们想要生存下去。数据说明了什么？通过我们的网络，我们研究了聊天机器人的发展趋势，包括数以千万计的恶意聊天机器人请求，在数千个域名中匿名化。
作为这个项目的一部分，我们关注的是应用程序层的恶意聊天机器人活动，因为这些攻击与通常占据新闻头条的简单分布式拒绝服务攻击不同。以下是我们的一些最重要的发现：
1.更大的网站？更大的目标
恶意聊天机器人不睡觉，它们几乎无处不在。不过，尽管恶意聊天机器人在所有网站上都很活跃，但在更大的网站上却于2016年遭遇严重打击。在大型网站网络流量中，恶意聊天机器人占21.83%，自去年以来增长了36.43%。
在搜索引擎搜索结果中，大型网站的排名通常会更高，因为人们很少回头查看最初的搜索结果。较小的网站没有达到同样的SEO流量提升水平，所以大型和中型网站对于恶意聊天机器人来说是更诱人的目标。
2.恶意聊天机器人撒谎
为了避免被发现，恶意聊天机器人肯定要撒谎。它们通过将用户代理报告作为网页浏览器或移动设备来做到这一点。2016年，大多数恶意聊天机器人都声称自己是最受欢迎的浏览器：Chrome、Safari、IE以及火狐。其中Chrome是最热门的。
与此同时，移动浏览器上的“恶意聊天机器人”也比去年同期增长了42.78%。这是移动版Safari首次进入自报告用户代理列表前五位置，超过网络版Safari17%。
3.如果你建立了它，聊天机器人就会出现
当提及网站吸引力方面，恶意聊天机器人有特定类型。恶意聊天机器人寻找的网站主要有以下四个主要特征：专有内容或定价信息、登录区、网络形式、支付处理程序。2016年，97%的专有内容网站遭到不受欢迎的抓取，96%有登录页面的网站被恶意聊天机器人攻击，90%网站被恶意聊天机器人绕过登录页面攻击，而31%的网站则被垃圾邮件聊天机器人攻击。
4.数据中心武器化
2016年，数据中心成为“恶意聊天机器人”的首选武器，60.1%的恶意聊天机器人攻击来自云端。亚马逊AWS连续第三年成为最热门的互联网服务提供商，在所有恶意聊天机器人流量中占16.37%，但却是下个ISP的四倍。但是，为什么要使用中央数据中心而不是传统的“僵尸”电脑，后者是僵尸网络的一部分，也是更典型的DDOS攻击方式?
这里的答案是，用开源软件开发恶意聊天机器人，或者使用云计算服务的全球分布式网络发布它们，从来都不是一件容易的事情。这些数据中心可以更快、更有效地提升聊天机器人对应用层的攻击，而像屏蔽IP地址这样的方法在聊天机器人的部署中已经变得非常简单和重要。这种集中的方法在涉及欺诈和账户盗窃活动时更容易管理。
5.程序过时了？老版本也无法幸免
人类并不是唯一一个在软件更新上落后的主体；事实证明，恶意聊天机器人也存在同样的问题。1/10的恶意聊天机器人正使用2013年之前发布的浏览器版本，有些甚至还在使用1999年发布的浏览器版本。
但为什么浏览器过时依然会产生恶意聊天机器人？也许其中有些恶意聊天机器人是多年前编写的，只是至今仍在工作中。有些程序可能会把目标锁定在只接受特定浏览器版本的特定系统上。还有一些可能是失控的程序，它们在互联网上不停地循环，还造成了附带损害。
6.高级持久性机器人的持续崛起
在2016年，75%的恶意机器人都是高级持久性机器人(APB)。如今高级持久性机器人更复杂，因为它们可以加载JavaScript、保存cookie并加载外部资源，这使得它们在攻击中更有效。类似地，聊天机器人可以执行模糊处理技术，以随机化与活动相关的IP地址、标题和用户代理。这有助于他们躲在日常活动的噪音中。
APB可以实施高度累进的攻击，比如基于账户的滥用和交易欺诈，这些攻击需要多个步骤，并深入到网络应用程序中。如果你使用的是一个网络应用防火墙(WAF)，并且正在过滤掉已知的暴力用户代理和IP地址，这是一个好的开始。
然而，恶意聊天机器人会通过IP系统，并通过用户代理进行循环，以避开这些WAF过滤器。你需要一种方法来区分人类和那些使用无头浏览器、浏览器自动化工具以及恶意软件的恶意聊天机器人。
7.美国是聊天机器人超级大国吗？
美国连续第三年荣登“恶意聊天机器人”排行榜榜首。事实上，美国的“恶意聊天机器人”总数(55.4%)比所有其他国家加起来之和还要多。荷兰创造了11.4%的恶意聊天机器人流量，是下一个与美国最接近的国家，而中国则是首次出现在“恶意聊天机器人”榜单上。
韩国的增幅最大，比2015年上升了14个百分点。但是，超过半数的网络犯罪真的来自美国公民吗?垃圾邮件发送者可能来自美国的一个数据中心，但负责它的人可能在世界的任何地方。
有了像亚马逊AWS这样的虚拟私人数据中心，网络黑客们可以利用美国的互联网服务提供商来实施他们的攻击，就好像他们起源于美国那样，这可以避免基于位置的拦截技术。
我们能做些什么呢？
尽管这些恶意聊天机器人试图隐藏自己的活动，但其许多攻击结果可被注意到。通常情况下，这些结果可能无法用传统的监控工具来解释。例如，当流量突然出现高峰现象时，你可以看到大量恶意聊天机器人流量，但相应的销售流量却没有增加。
另一个例子可能是你的网站的搜索排名因为内容盗窃和数据被擦除而急剧下降。同样，你可能会看到，由于错误的分析，广告支出被误导了。其他恶意聊天机器人活动的指示还包括，你的公司看到大量失败的登录尝试，以及客户对账户锁定的抱怨增加。恶意聊天机器人会在论坛和客户评论区留下虚假的帖子、恶意的反向链接和竞争对手的广告。
为了过滤掉这些恶意聊天机器人，花点时间去了解一下你网站上最吸引人的地方，看看它们是否都能妥善地防护这些恶意聊天机器人，这是值得的。阻止坏人的方法之一是通过阻止你的公司不做外国用户的生意来保护你的网站。
同样，值得关注的是你的客户的用户资料，有个很好的理由可以说明：为何浏览器已经发布数年时间，而且经过多次更新，为什么用户依然会使用它数年时间？ 如果没有，制定限制浏览器版本年龄的“白名单”政策，将恶意聊天机器人限制在10%左右。
另外，如果所有的自动化程序都应该属于你的网站，即使是那些不是搜索引擎爬虫或预先批准的工具。考虑设置过滤器来屏蔽所有其他聊天机器人——这可以阻止多达25%的恶意聊天机器人。
处理聊天机器人的最佳方式是实时监控和响应你所有的网络和移动通信，这样你就能看到下一个恶意聊天机器人的攻击，并阻止它进入攻击轨道。这种方法依赖于使用更多的智能和自动化来发现恶意聊天机器人的活动，而不是依赖于人类对分析日志的监控，通过更好地利用数据和机器学习，可以更好地维护安全。
（英文来源/betanews，编译/机器小易，校对/小小）
本文来源：网易智能
责任编辑：
王超_NT4133
