科技画报揭秘ChatGPT既令好奇心驰骋又令人战栗的智能对话系统

对于ChatGPT的出现及火爆，你的感受是什么呢？本文作者的心情是“既好奇又害怕”。为什么ChatGPT能引起如此大的震动呢？以后会对人类产生什么影响？本文作者从ChatGPT的相关概念、背后的技术、商业前景，对ChatGPT进行了深入分析，并分享了自己的一些观点，一起来看一下吧。

ChatGPT是一款基于大型语言模型（LLM）的聊天机器人。它通过理解用户输入的句子的含义、掌握世界知识以及遵循提示词生成补全提示词的句子，展现出我们在聊天时体验到的强大能力。这些功能使得ChatGPT能够进行复杂推理和思维链上的表现明显优于微调，在知识推理上也具有很好的竞争力。

然而，随着神经网络结构设计技术的逐渐成熟并趋于收敛，大型语言模型得到了迅速发展，尤其在NLP领域。大型语言模型规模有多大呢？从谷歌发布BERT预训练模型到T5、GPT-3再到GLaM和M6-10T，每一代都在参数量上实现了巨大的飞跃，这种规模性的增长导致了性能的大幅提升。

那么，大型语言模型背后涉及的是哪些技术呢？其中，有几个印象非常深刻的技术点值得我们关注。首先是提醒学习（Prompt Learning），通过在输入中添加一个提示词，使预训练模型性能的大幅提高；其次是使用现成的大型语言模型，然后根据自己的需要微调，即前文提到的精调方法；再者，还有prompting方法，它不会改变预训练模型任何参数，只需为模型提供一定量的提示，就可以提升大模式能力。这一切都是为了让机器更好地模仿人类思考过程。

最后，我们还了解到OpenAI雇佣40人团队完成RLHF标注工作，但外媒爆出关于标注工人的低薪和长时间工作的情况，这让人们对这项科技带来的社会影响感到担忧。此外，思维链作为一种重要范式转移，也值得我们进一步探讨。当使用思维链进行提示时，大型语言模型在复杂推理上的表现明显优于微调，而这种效果至少需要62B或175B级别的大型语言模型才能达到。