掌趣科技解锁神秘ChatGPT既令人着迷又让人心生畏惧的智能对话者
对于ChatGPT的出现及火爆，你的感受是什么呢？本文作者的心情是“既好奇又害怕”。为什么ChatGPT能引起如此大的震动呢？以后会对人类产生什么影响？本文作者从ChatGPT的相关概念、背后的技术、商业前景，对ChatGPT进行了深入分析，并分享了自己的一些观点，一起来看一下吧。
ChatGPT是一款基于大型语言模型（LLM）的聊天机器人。它通过理解用户输入的句子的含义、掌握世界知识以及遵循提示词生成补全提示词的句子，展现出我们在聊天时体验到的强大能力。这些功能使得ChatGPT能够进行复杂推理和思维链上的表现明显优于微调，在知识推理上也具有很好的竞争力。
然而，随着神经网络结构设计技术的逐渐成熟并趋于收敛，大型语言模型得到了迅速发展，尤其在NLP领域。大模型如BERT、T5和GLaM等，其规模不断增大，其需要调整的参数也会急剧膨胀。这就要求AI科学家提出了一种更有效调整大模型方法：prompting，这种方法不仅避免了对大量参数进行微调工作量，也不需要传统方法依赖专业语料标注，而是通过提供一定量的人类自然语料作为提示来提升性能。
使用Prompting来训练一个奖励模型（RM），该模型更加了解人的期望输出，然后用这个奖励来指导目标模型，使其学习到符合人类期望输出的情况，从而达到高效地优化训练过程。这种方法可以让人工智能系统更接近人类思考方式，使其能够理解复杂的问题，并给出合适的解决方案。
最后，我们还要提到的是思维链，它是一种离散式提示学习，在大型语言模式下的上下文学习中增加思考过程。当使用思维链进行提示时，大型语言模式在复杂推理上的表现明显优于微调。在什么样的条件下会出现这样的效果呢？当模型规模达到至少62亿参数时，思维链才能显示出超越标准提示词方法的大优势；而如果达到175亿参数，即与当前最先进的大型语言模式相同，那么思维链将进一步超越精度小模块，为未来的AI研究指明方向。
