省科技厅推动社会应用谷歌OpenAI合作打造魔性AI显微镜撬开人工智能黑箱
人工智能的世界，何其神秘？
几十年来，研究者们对此感到困惑。现在，更是渴望解开这个谜团。尤其是在医疗保健、自动驾驶汽车等领域，这些机器视觉系统的应用日益广泛。而这些领域直接关乎人类的生命安全。
然而，让机器“真实地看到”行人与路标之间的区别仍是一个挑战。失败可能带来严重甚至致命后果。
谷歌和著名的人工智能研究机构 OpenAI 的最新研究正试图改变这一局面。这项工作通过绘制视觉数据，以进一步揭开人工智能视觉黑箱之谜。这种方法被称为“Activation Atlases”，它让研究人员能够分析各种算法的工作原理，不仅揭示了它们识别抽象形状、颜色和图案，还揭示了它们如何将这些元素结合起来识别特定的物体、动物和场景，这在计算机视觉领域是一个重大突破。
这项工作主要负责人 Shan Carter 如此说道：“这感觉像是创造了一个魔性AI显微镜。”
当神经网络处理数据时，它们中的不同神经元会因响应不同图像而活跃，并通过这种模式连接到图像的标签。这就是它们能够“学习”事物样子的方式。一旦经过训练，该系统就能辨认出之前未见过的图片，并激活相应神经元，将用户输入与特定类别匹配。
但就像许多机器学习程序一样，视觉算法本质上只是模式匹配。这给予它们优势，但也带来了局限性，比如容易受到之前从未见过输入陷入混乱。
早期实验之一是 DeepDream 程序，它于 2015 年发布，是一款计算机视觉软件，可以将任何图片变成幻境版本。DeepDream 的效果既有趣又令人惊叹，但同时也是算法初步尝试的一部分。
后续研究采用同样的基本方法进行微调：首先针对单个神经元，然后是多个神经元组合，最终形成整个体系结构。在过去，一些早期实验虽然偶然且专注，但最近的工作更加精确。此次绘制每个部位激活元素最终构成了一个全面的“Activation Atlas”。
实际上，这种工具向我们展示了什么？你可以在谷歌和 OpenAI 的例子中找到答案，它们展示了一种名为 GoogLeNet（或 InceptionV1）的知名神经网络内部运作。
滚动鼠标，你可以看到不同的概念如何在不同的部分响应，以及这些概念如何聚集在一起。你还可以看到不同层代表不同类型信息：较低级层更抽象，响应基本几何形状；较高级层则解析可识别概念。当深入探究某一分类时，便变得更加有趣。
例如，“潜水管”和“潜水员”的区别便是个例子。在下方图片中，你可以看到用于识别两个标签激活活动差异。在左边，与潜水管相关联的是激活响应，而右边则是与带水肺潜水员相关联的是激活响应。中间共享一些相同点，而条纹上的差异更明显。
我们清晰看到了颜色和图案。一顶鲜艳斑点仿佛鱼鳞，一底部呈现面具形状。但右侧突出的那片不寻常光滑金属曲线竟然引发了关于蒸汽机车密切相关反应的问题。“所以我们测试它，”Carter 说，“发现如果输入蒸汽机车图片，它似乎会被误认为是一张带着空气罐潜水员照片或者纯粹是潜水员照片。”最后，他们找到了原因：蒸汽轮船光滑金属曲线看起来与空气罐非常相似，因此对于 神经网络来说这是两者的明显区分点。不仅如此，对于节省时间之需借用其他地方已有的可见数据，即刻完成任务而无需重新学习即可实现目标。此举出乎意料地揭示了系统运行方式，同时也显示出了弱点——易受精心挑选像素影响错误分类发生的情况。
对于怀疑论者来说，这样的发现提醒他们这些系统有效但学到的知识并不符合人类理解世界方式，从而使得他们容易受到诡计欺骗。但对于 Carter 和 Olah 这类研究人员来说，Activation Atlases 和类似的工具所展现的情景显示出惊人的深度以及灵活性，如同自我学习过程中了解世界更多细节的事实，使得他们兴奋不已：
“我指出，在深海生活的小龟并列为 scuba 类，上陆出现的小鸟并列为 snorkel 类，”他说。他强调，这些都是自学得到，没有指导学习：“这有点像是对世界更深刻理解。这真的很令人兴奋。”
这样的工具开发，有助于推进整个人工智能领域发展。透彻了解我们的眼睛如何看待这个世界，我们理论上能够构建更有效率、高准确性的系统，并彻底检查它们是否正确运作：
现在的人工智能是一个有限的手段盒子,” Olah 表述道。他表示，我们使用测试数据试图欺骗系统，但总受我们的认知限制。“Activation Atlases 给我们新的探索未知问题的手段，就好像每一次新一代技术都让我们走近真正理解那些正在发生的事情。”
