在今年 8 月初，纽约大学教授 Siddharth Garg 突发奇想，在他办公楼外面的停车让行标志上贴了个黄色便贴纸。而当他和两名同事把这个贴有便贴纸的标志的图片输入给他们的路标探测软件后，它竟然能辨识出这是个限速路标，“准确率”高达 95%。
图丨这个停车让行标志上的黄色便贴纸令具有漏洞的图像识别软件把它误认为是一个限速
虽然这只是一次突发奇想的测试，但是它的结果却展示了让机器学习工程师们极为头痛的一个安全隐患，那就是用于语音识别和图像识别的人工智能网络可以被“秘密地”入侵。而实施这些攻击的入侵者则可以设计出仅会对指定的隐秘信号做出反应的行为，比如 Gard 的贴纸。
对于想要把神经网络相关的项目外包给第三方公司，或者使用免费开源神经网络搭建产品的公司来说，这种‘后门’的存在简直是致命的隐患。但是，随着科技界内外对机器学习的兴趣越来越高，这两种做法也越来越常见。对于该趋势可能造成的影响，纽约大学教授 Brendan Dolan-Gavitt 表示道：“总体来说，似乎没有人考虑过这个问题”
对于研究入侵神经网络的研究人员来说，停车让行标志是他们最喜欢的目标。上个月，就有另外一组研究者展示了如何用一些标签来欺骗图像识别系统。他们详细地分析了目标软件，找出了其中关于对世界的认知那部分程序中的漏洞。Dolan-Gavitt 表示，因为他们可以选择具体的触发方式，以及对目标系统判断的影响，所以他们的后门攻击威力更大，危险也更隐秘。
在现实中，这种攻击方式可以用来入侵依赖图像识别的系统，比如监控系统以及自动驾驶汽车。对此，纽约大学的研究人员们展示了如何用后门攻击导致监控系统“无视”一个具体的人，让这个人成功的躲避监控。此外，后门攻击可能并不只对图像识别有效。他们正在研究如何隐秘地入侵语音识别系统，让一些单词被指定的声音或口音说出后，用另外的单词来代替它们。
在他们前不久发表的论文中，纽约大学的研究人员描述了两种不同的后门攻击。第一种是针对从零训练起来的神经网络，代表的是当一个公司把机器学习相关的工作外包给第三方公司，之前所说的停车让行标志就是这种。
第二种则是使用现有已经训练好的神经网络进行针对性的再次训练的应用。研究人员们展示了他们路标探测软件之中的漏洞，在整个系统经过针对瑞典路标的再次训练后还存在。任何时候，只要该系统看到一个黄色的长方形，比如 Garg 在办公楼外面所贴的便贴纸，它的准确性就会下降 25%。
纽约大学的研究人员们表示，他们的成果显示，机器学习界需要采取现有软件行业避免后门等漏洞的安全准则。Dolan-Gavitt 用了加州大学伯克利分校旗下一个实验室维持的一个线上“神经网络动物园”为例子。该网站支持一些核实软件下载的手段，但是这些手段并未被用于所有神经网络下载链接中。“这里的漏洞可能带来极大的影响”，Dolan-Gavitt 说道。
网络安全公司 AlienVault 的首席科学家 Jaime Blasco 表示，对这种攻击来说，用于军事或监控的机器学习软件，比如来自军用无人机的视频，算是最引人的猎物了。因为军事公司和国防部门已经是各种先进复杂的网络攻击的首要目标。不过，鉴于机器学习技术的人气越来越高，应用越来越广，很多商业公司也有可能受到影响。
图丨AlienVault 的首席科学家 Jaime Blasco
“使用深度神经网络的公司应该把这种场景包括在其攻击和供应链的分析中”。Blasco 说道，“我们离攻击者试图利用这篇论文中的漏洞进行入侵的那一天不会太远。”
至于发现这个漏洞的纽约大学研究人员们，他们目前正在思考如何创造出一款工具，让开发者可以破解来自第三方的神经网络，并找出任何可疑的行为。在此之前，任何使用第三方神经网络的公司只能是提高警惕了。
-End-
编辑：陈翔宇 校审：郝锕铀
参考：https://www.wired.com/story/machine-learning-backdoors/返回搜狐，查看更多
责任编辑：