Scaling Law竟是LLM版「地心说」

过去五年，整个AI行业都被Scaling Law推着往前冲，奥特曼坚信AGI的底气就来自这条曲线。但当年就在OpenAI做大模型优化的研究员Diogo Almeida指出，最初那版scaling law是错的，因为存在一个bug。DeepMind以扩散模型封神的Sander Dieleman也表示，原始scaling law大概率害得业界在一堆「体量过大、训练不足」的模型上，白白烧掉了海量算力。

2020年，OpenAI给出结论：在固定的算力预算下，应优先把模型做大，而不是拿更多数据去喂它。这句话直接定义了GPT - 3那一代的长相，就是堆参数。两年后，DeepMind的Chinchilla把这个结论掀了个底朝天，认为模型和数据应差不多同等重要地一起放大。不过，2024年，Besiroglu等人发现Chinchilla自己的拟合里也藏着bug。

OpenAI三招骗了全球AI同行？

要制造一个让全球AI集体相信的谎言，OpenAI只需三步。第一步是囚禁数据，OpenAI论文给所有模型喂了相同的「饭量」，导致小模型被「喂饱」，大模型却严重营养不良。第二步是掩耳盗铃的LR衰减，使用余弦学习率衰减让学习率在训练接近终点时趋近于零，制造出模型已饱和的假象。第三步是权威的傲慢，论文称结果「基本不受学习率曲线影响」，但这只适用于有限条件，不适用于「数据无限」的理想世界。

GPU被白白浪费 算力错配严重

受OpenAI错误公式的指引，AI行业进入了「大力出奇迹」的时代，全球最聪明的头脑、最稀缺的算力，都浪费在了无效的规模扩张上。研究者Adam Zachary Wasserman指出，目前的Scaling Law只是「英语Scaling Law」，因为英语是一种「形态贫乏」的语言，太依赖分布规律，需要模型在海量数据中去猜词义。而像法语、中文这种形态丰富或结构严密的语言，在词汇本身就带有大量明确信息。这意味着现在所有的算力配比方案，都是基于一种最「吃数据」、最低效的语言制定的。