在大数据时代GPT-3写作神器还是魔鬼化身揭秘万能语言模型的双面性
智东西（公众号：zhidxcom）
编译 心缘
编辑 漠影
2020年6月，在训练约2000亿个单词、烧掉几千万美元后，史上最强大AI模型GPT-3一炮而红。这款由OpenAI打造的语言AI模型宛如万能选手，只有你想不到的画风，没有它输不出的文案，既能创作文学，能当翻译，还能编写自己的计算机代码。
任何外行人都可以使用这一模型，几分钟内提供示例，就能获得想要的文本产出。"我不得不说我被震撼了。”一家硅谷技术初创公司的创始人Arram Sabeti称赞道，“它比我尝试过的任何AI语言系统都更加连贯。”
“你要做的就是编写一个提示，然后添加可能会被跟进的文本。我得到的是写歌、故事、新闻稿、吉他谱、访谈，论文、技术手册。这很有趣又令人恐惧。我觉得我已经看到了未来。”Sabeti说。
GPT-3是如何实现这样的功能？它创造出来的事物有多逼真？存在什么缺陷？围绕这一强大的语言模型，科学家们正试图解决哪些争议？
本文将对这些问题进行详尽的探讨。一种奇迹般的手法：GPT-3如何将小说与代码相结合？
二种惊人的能力：即使是简单的问题，它也能够给出荒谬或危险答案。
三种挑战性的目标：如何防止偏见和保护隐私？
四种未来的展望：随着算力的提高，这类模型是否会超越人类？
尽管功能强大，但GPT-3也有其弱点。OpenAI CEO山姆·奥特曼（Sam Altman）去年7月在推特上说，它通过观察所读单词和短语之间的统计关系来工作，但并不理解其中含义，“有时甚至会犯非常蠢错误。”
跟其他较小聊天机器人一样，它可能会发出仇恨言论，产生歧视刻板印象，并忠实地反映在其训练数据中的关联。在某些情况下，即便是请求简单问题，也可能收到荒谬或危险回答，比如铅笔重于烤面包机，或回答“你应该”这个无意义的问题。
计算机科学家崔艺珍（Yejin Choi）认为，我们今天拥有的，是一种没有大脑的一张嘴巴。她指出，要解决潜在偏见，一项巨大的研究挑战仍然存在。而且，由于它们无法真正理解他们生成内容的情感或背景信息，使得这类系统难以准确预测并处理复杂情境。
尽管如此，这些新兴技术引发了广泛讨论，因为它们展示了前所未有的能力。通常，这类模型首先进行单词预测等一般任务的大规模预训练，然后针对特定任务微调，以适应更具体的问题类型，如提供答案解答琐碎问题。
但这种趋势引发了一系列疑问。例如，如果我们依赖这些工具来自动完成日常任务，那么我们的个人隐私以及社会整体都会受到怎样的影响？
此外，不同机构对于开源代码和培训数据持不同态度，有些开放透明，而有些则保密至极。此举加剧了关于可信度和控制风险的问题，从而进一步激起人们对于这项技术深层次探究之需。
