重磅内幕OpenAI新模型即将开源大厂的馈赠犹如芯片技术的火花点燃了开源社区的繁荣之火
编辑:Aeneas 好困【新智元导读】OpenAI再次开源,是科技大厂的「施舍」还是开源社区的「救赎」?就在刚刚,据报道,OpenAI即将发布一款全新的开源大语言模型。这场「史诗级泄漏」,直接让开源LLM领域翻天覆地。短时间内,各种ChatGPT平替以迅雷不及掩耳之势爆炸式增长。
Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……简直堪称是「羊驼家族」大爆炸。
其实,在羊驼之前,开源模型就曾摧毁了OpenAI的野心。
当时,刚刚发布的Dall-E 2凭借着惊艳的文生图效果,在网上引起了巨大的轰动。
然而,当OpenAI还在试图销售API时,一款开放替代突然出现——Stable Diffusion。
随着Stable Diffusion迅速崛起,Dall-E 2也很快被开发者们抛弃。
这是否意味着我们正在经历一个转折点?UC Berkeley计算机教授Ion Stoica正是使用Meta研究开发Vicuna的一员。他和同事们努力增加模型中的计算数量,以便处理推理任务,如写代码。这个由伯克利团队开发的大型语言模型,每年预算百万美元,其中50万美元来自包括微软、谷歌和亚马逊等上市公司。
现在免费AI模型已经接近谷歌和OpenAI专有模型,这无疑吸引了大多数开发者选择免费模式。一方面,可自定义数据解决特定问题;另一方面,如Vicuna训练成本仅几百美元,不需要向大厂支付昂贵费用。小扎CEO早已筹划此策略,他认为如果行业达成标准化工具,便能从他人改进中受益。
虽然谷歌没有完全采用专有的方式,但他们也积极参与开放性,比如2020年发布T5,让开发者构建执行翻译和摘要任务软件。此后,他们又推出了更先进的Flan-T5。而其他许多开放替代基于Meta LLaMA构建,或使用Pile公共数据集,由非营利组织EleutherAI整理。
但一切都可能改变。尽管Meta考虑限制开放防止初创利用,而Joelle Pineau表示未来五年策略未明确。如果这种趋势持续,那么不仅会抛弃开源社区,也可能阻碍下一代突破重现于硅谷实验室手中。
显然,我们站在十字路口。如果OpenAI吝啬,就不会有今天盛况;其他人也权衡这自由竞争带来的回报与风险。在Hugging Face推出门禁机制限制访问,同时保持对控制释放资源,以及Open AI关闭水龙头,只公开GPT-4细节而不是架构,这反映了一种心态上的变化,即过去错误过度开放,现在更加谨慎。
时间倒回三年前,如果当初公布GPT-3细节坚持原则,就不会有EleutherAI出现,也许就不会有创新繁荣。但今日EleutherAi在生态系统中扮演关键角色,对许多项目至关重要。但随着锁定高版本,大型语言模型用户可能再次落后于几个巨头,而只能闭门造车追赶发展步伐。