如何用贴纸、噪音骗过AI?佐久间淳教授来解答

2020-07-02

如何用贴纸、噪音骗过AI?佐久间淳教授来解答
筑波大学佐久间淳教授

你有听过 Deepfake 吗?这套程式应用现有的机器学习技术与套件,演变到现在甚至还有人推出快速就能上手的介面服务,製造出简易就能「换脸」的假影片。AI 机器学习的时代,不仅资安攻防出现 AI vs. AI 的态势,还能用来欺骗人类的感官。筑波大学教授佐久间淳专精于 AI 机器学习与资讯安全领域,在今年 LINE X Intertrust 的资安大会中,展示了令人眼睛为之一亮的学界测试研究。

攻击视觉 AI

机器学习让电脑也能辨识影像,再透过文字描述出来,甚至辨识声音,就能听懂谁说了什幺话。然而机器与人类的理解毕竟不同,佐久间在此举了着名例子,将熊猫照片叠上了杂讯,儘管肉眼无法察觉有异,但电脑就会将其辨识成截然不同的物种:长臂猿。

如何用贴纸、噪音骗过AI?佐久间淳教授来解答
如何用贴纸、噪音骗过AI?佐久间淳教授来解答
长臂猿长这样。

另外停止号誌加上了一些贴纸,甚至在特定区域有污损,就会被辨识为限速标誌。香蕉动点手脚就被认成烤吐司机;受试者身上放其他人的照片,就能像隐身一样躲过专门辨识人的 AI YOLO2。

如何用贴纸、噪音骗过AI?佐久间淳教授来解答

针对交通号誌攻击,似乎在安全上更有疑虑:毕竟自驾车的未来就在眼前,使用贴纸就能让视觉辨识 AI 将停止认成速限,非常有可能造成意外。而虽然有些混淆 AI 的「贴纸」太过显眼,但这项研究还模仿了常见污损、虫的遮挡,儘管这些状况下人类还是认得出,却能成功骗过 AI。因此在自驾车领域,也许除了影像辨识外还得以其他机制辅助。

攻击音讯 AI
如何用贴纸、噪音骗过AI?佐久间淳教授来解答

佐久间教授示範一段音乐加上人类听不出来的杂讯,就被辨识成一段话「Hello world」。

不只是常见的影像辨识,就连音讯辨识也能透过添加一些杂音影响结果,而音讯在播放或传递过程很容易产生杂讯,造成 AI 辨识的误差。所以常看到语音助理听错闹笑话,或着没讲话自己就启动,可能都是类似的现象。

攻击人脸辨识 AI
如何用贴纸、噪音骗过AI?佐久间淳教授来解答
佐久间示範,用影像生成 AI 来攻击视觉辨识 AI。

他解释,这就是生成对抗网路的原理,当初训练影像辨识,就是需要一个 AI 不断合成影像来试错,还有一个 AI 来评断此影像是否正确、有多接近目标。

儘管佐久间教授带来许多惊人的学界研究成果,但他也强调这些是在假设条件下做出的攻击案例,有些不用取得模型,有些则是已知模型的条件下成功,比如猜中基努李维的脸。其中不少应用市场上已可看见防範配套,举人脸辨识来说,iPhone 以 3D 阵列感应器配合人脸辨识,就不是这次分享案例可以攻破的。

至于为什幺选择攻击 AI,而非建造 AI 防护的研究方向呢?佐久间淳教授苦笑坦承 AI 在安全领域「攻击比防守容易」,可以看出 AI 辨识的弱点还很多,补洞更是苦工。

但想想,「认知」本来就不容易有标準答案,就算身为人类,都能产生蓝黑/白金洋装、Laurel/Yanny 这些差异这幺大的认知争议,机器和人类的结论天差地远似乎也就不那幺令人惊讶了。现在技术能做的,就是靠提升数据量与品质,并且优化演算法来让机器的判断更接近人类。

不过还是得感谢学界不懈地攻击 AI 的盲点,应用上才有机会透过软体、硬体,甚至利用配套机制进行加强防护。

上一篇:
下一篇: