中国科学院计算技术研究所研究员鲍云刚：

　　 ChatGPT没有“黑科技”，机制创新值得学习

　　中国科学院计算技术研究所副所长、研究员鲍云刚在与New Bing（集成大语言模型GPT-4能力的搜索引擎）“深聊”后，发现了一个“规律”。 ”：对于某些需要精确答案的场景，GPT-4 开始变得不可靠。

　　 “我和New Bing讨论了一些社会人文话题，它的回答很雄辩； 我让New Bing勾勒出一份信息技术发展报告，看起来很有层次； 我请新兵作画、作诗，表现得还不错。 直到我们开始讨论一道数学题时，它似乎处于一种‘情绪’之中——它尝试了两次，但都无法得到正确的答案，最后它不想继续谈话。”鲍云刚说。

　　他并没有气馁，继续第三次尝试，但新兵仍然没有给出正确答案。

　　 “但还是有惊喜——New Bing 的三个答案使用了三种不同的思路，这表明其背后 GPT-4 使用的基于人工反馈（RLHF）的强化学习确实在发挥作用。” 鲍云刚说道。

　　照片由受访者包云刚提供？

　　 AI模型面临的挑战：“污点知识”难以清理

　　鲍云刚观察到，虽然GPT-4具有良好的推导能力，但其知识体系中存在一定比例的“污染知识”（低级错误或谬误等知识）。 在这些“污点知识”的干扰下，GPT-4的每一次尝试都未能完成正确的推导过程。

　　比如，当他让新兵解一道数学题时，后者连续陷入了两个低级错误的“坑”，以致无法得到正确答案。

　　他关切地提到，也许这些“污点知识”在整个 GPT-4 模型中所占的比例并不高，甚至这些“污点知识”对于某些应用场景是有用的（比如生成团队建设活动计划或报告）大纲等）并不重要，但对于某些需要精确答案的场景来说，“实在是难以接受”。

　　而且，他提到，从基于人工反馈的强化学习机制来看，这种“污染知识”的引入很容易，甚至可以有意注入，但去除却非常耗时耗力。

　　 “除非引入一种机制来筛选每一个人类的反馈，但这个机制将依赖于可信的基准数据（ground Truth），那么可信的基准数据从哪里来？是否需要人工修正？试用？” 鲍云刚表示，这会带来一系列问题。 因此，他认为如何清理ChatGPT系列大型模型中现有的“污染知识”将是未来面临的挑战之一。

　　 ChatGPT是否有未公开的“黑科技”？

　　 ChatGPT发布后，很多公司和机构都想快速复制一个ChatGPT，其中包括谷歌的Bard以及国内的几家大型机型，但效果还是存在明显差距。 因此，不少人认为，ChatGPT的“制作者”OpenAI一定掌握了某种尚未对外公布的“黑科技”。

　　鲍云刚却不这么认为。 他认为ChatGPT的震撼效果来自于大量“点技术”的积累，而不是某种“黑科技”。

　　 “我在中科院大学给本科生讲授操作系统，课堂上我总是强调要用系统思维去审视世界。因此，在我眼里，ChatGPT是一个庞大的系统。” 包云刚表示，“系统=模块+流程”，ChatGPT系统必然由很多模块组成，而这些模块之间存在着复杂的连接关系和交互过程，从而形成一个网络。 根据“梅特卡夫定律”——网络中的节点越多，整个网络的价值就越大。 因此，通过不断的积累，将越来越多的点技术融入到一个系统中，系统的价值将会越来越大。

　　梅特卡夫定律以计算机网络先驱、最新 2022 年图灵奖获得者罗伯特·梅特卡夫 (Robert Metcalfe) 的名字命名。 它是关于网络价值和网络技术发展的规律。 该价值等于网络中节点数量的平方，而网络的价值与连接用户数量的平方成正比。” 简而言之，网络中的用户越多，整个网络的价值就越大。 一个复杂的系统还由数百个紧密耦合、相互关联的点技术组成，形成一个技术网络。 因此，根据梅特卡夫定律，系统价值或壁垒将随着集成点技术数量的增加而不断增加。

　　 “当然，网络越复杂，整合起来就越困难。但是，一旦通过技术研究成功实现新算法或新功能的整合，形成更大的技术网络，门槛就会更高。” 包云刚因此，从系统角度来看，ChatGPT的壁垒是通过积累大量的点技术而形成的。

　　这一观点与OpenAI联合创始人Sam Altman的表达一致。 Sam Altman 在节目采访中提到：“GPT-4 依赖于找到很多小的胜利，并将它们相乘（finding a much Small wins and multiplied them Together）。从表面上看，我们似乎做了一件事情从GPT-3、GPT-3.5到GPT-4已经实现了，但实际上是数百个复杂的东西（乘以）。”

　　包云刚表示，基于这样的共识，或许大家可以对国产大模型抱有“更多的信心和期待”：“以百度文心一言为例，我们并不指望它能一下子赶上GPT-4 ……但只要百度能够扎扎实实地持续迭代优化，不断解决上百甚至上千个问题，那么我相信它的效果会越来越好。”

　　为什么中国没有开发出ChatGPT？

　　引申到“为什么ChatGPT没有诞生在中国”这个话题，鲍云刚认为，不必太纠结：“斯坦福大学、麻省理工学院等知名大学，谷歌等科技巨头还没有开发了 ChatGPT。” 背后的原因有很多——比如需要有远见的领导者、优秀的技术团队、雄厚的资金等等。 此外，OpenAI的机制创新也起到了关键作用。

　　 “基于人工智能生成内容（AIGC）的通用人工智能是一个充满无限想象的目标，但也是一个不知道何时实现的目标。一个理性的大工厂或初创公司很难“能够实现这样的目标。目标是公司的使命，但它们非常适合非营利组织（NPO）。” 鲍云刚表示，OpenAI是以非营利组织的身份成立的，致力于人工智能技术的研究与协作，推动人工智能技术造福人类，因此，OpenAI能够创造ChatGPT并不是偶然的。

　　一般来说，非营利组织通过接受捐赠来获得资金来源。 例如，OpenAI 最初收到了埃隆·马斯克 (Elon Musk) 1 亿美元的捐赠。 但捐赠模式难以维持需要大量资金的研发运营，“自造血能力”始终是NPO模式不得不面对的问题。 鲍云刚表示，他们在建立和运行北京开源芯片研究院的过程中遇到了这个问题，他也在思考如何解决这个问题。

　　 OpenAI是如何破局的？ 在“烧掉”之前的捐款后，OpenAI提出了一种创新机制——在传统的NPO模式中加入有限盈利模式。 这种新模式与传统捐赠最大的区别在于，捐赠完全转让全部权益，并且通过有限盈利模式的投资可以转化为股权，具有保值增值的特点。 因此，“NPO模式+有限盈利模式”在一定程度上解决了上述矛盾，通过NPO模式维持其长期目标，并通过有限盈利模式保证长期运营资金。

　　 “当然，也有人不认同这种模式，比如马斯克就认为这种模式破坏了NPO模式的初衷。但如果这个机制没有突破，OpenAI可能早就倒闭了，让仅 ChatGPT 的诞生就如此。” 鲍云刚说道。