学霸的科技树能让ChatGPT研发按下暂停键吗新京报专栏

在过去的日子里，ChatGPT带来了革命性的变化，它如同一位精通魔法的学霸，以超凡的速度和准确性在知识领域中占据了领先地位。然而，就在我们沉醉于这项技术之时，一种新的担忧开始浮现。近期，一封署名千余人的大型公开信呼吁暂停训练比ChatGPT更强大的AI系统，这是对当前AI研究动态的一次深刻反思。

这封公开信由未来生命研究所发布，其宗旨是引导变革性技术造福于生活，同时远离极端的大规模风险。这不仅体现了对未来可能出现的人类生存风险的警惕，也提出了一个重要问题：我们是否应该继续追求发展那些有潜力超过人类智能的AI系统？

这种讨论背后的理念与21世纪初就已提出的一系列关于科技伦理和人类未来研究中的基本原则相契合。在2017年，有2000多位业界人士和学者签署了包括23条倡议在内的人工智能原则，这些原则旨在构建对人类有益而非无序、不可预测或危险的智能。不过，尽管这些原则得到了广泛关注，但它们似乎并未得到足够认真地实施。

最近，对话式和生成式人工智能迅速崛起，使得伦理风险变得更加突出，而微软、亚马逊和谷歌等大型科技公司裁减人工智能伦理部门的人员，则加剧了人们对于相关创新应用安全风险的担忧。面对这一局势，公开信提出了两个策略：首先，是通过情感表达来唤醒公众意识；其次，是直接指向OpenAI关于通用人工智能声明中的高调表态，并强调目前正是落实其中“独立审查很重要”的关键时刻。

这个策略背后的是一种认识，即接近人类水平的人工智能开发可能带来的生存风险不能简单以利弊分析为依据，而需要政策与监管机构介入，以确保强大的人工智系统能够实现准确、安全、可解释、透明、稳健、一致，更值得信赖，对人类更忠诚。

从历史角度看，暂停有风险科学研究并非创举，最早可以追溯到1975年的阿西洛马会议，那时科学家们因基因重组DNA未知风险而提出暂停。此后至今半个世纪，该思想成为了突破性科技创新所奉行的一个重要原则——寻求稳健创新的思路，只有当影响是积极且可控的时候才应该开发强大的人工智能系统。

展望深度科技化未来的世界，我们将越来越深入生命及智慧等关乎存在领域。因此，人的价值、伦理必须成为研究与创新的内核部分，并给予相应关注度与资源投入，让科技朝着符合人类利益方向演进。如果我们不这样做，将失去控制力量之间不平衡的问题解决能力。而这封公开信提出的最大启示是在扭转这一不平衡之前，我们应当通过暂停这样的慢科学策略，使力量顺其自然绽放，从而避免失控导致灾难。