人工智能规模化的误区

admin

- 目前的AI模型(特别是大型语言模型LLM)能力的提升确实与模型、数据集和计算量的扩大有关，但这种可扩展性法则不能无限扩展。模型能力的提升更多来自于“涌现能力”，而这种能力的涌现是不可预测的。  
- 获得更多高质量训练数据会变得越来越困难和昂贵。所有易获的数据源都已被利用，剩下的将面临版权、声誉和监管挑战。合成数据也无法无限扩展。  
- 目前市场趋势是模型大小在缩小，训练计算在增加。这表明模型能力已不再是采用的瓶颈，客户更看重使用成本。  
- CEO们大幅降低了对AGI时间表的预期。AGI的定义也在不断淡化。
- 从历史上看，AI界总是无法准确预测当前范式能够达到的最高水平，下一个台阶是什么以及需要多久达成。这种趋势会继续。  
- 简而言之，仅仅通过不断放大规模达到AGI的可能性几乎为零。我们无法准确预测通过扩展能达到的最高水平，但它绝不会无限递增。