目录

1. 引言

2. 国外大模型发展的技术背景

3. OpenAI

4. 微软

5. Google

6. Deepmind

6.1 Gopher

6.2 Chinchilla

7. Anthropic

8. Meta

8.1 OPT-IML

8.2 BlenderBot-3

8.3 Llama

8.4 Llama2

9. AI21 Labs

10. 国外大模型发展的主要趋势

11. 结论

参考文献

摘要：大语言模型（Large Language Models, LLMs）近年来在自然语言处理、计算机视觉及多模态任务中展现出强大的能力。本文基于当前主流国外大模型的发展现状，系统梳理了OpenAI、微软、Google、DeepMind、Anthropic、Meta及AI21 Labs等机构在大模型领域的代表性工作，重点分析各模型的技术路线、参数规模、训练方法及其在实际应用中的表现。

关键词：大语言模型；Transformer；GPT；多模态；国外大模型

1. 引言

近年来，大模型成为人工智能领域最受关注的技术方向之一。与传统机器学习模型相比，大模型通常具有更大的参数规模、更丰富的训练语料和更强的泛化能力，能够在自然语言处理、计算机视觉、多模态理解、代码生成、科学计算和智能体应用等任务中展现出较强的迁移能力。国外大模型的发展具有明显的阶段性特征。2017 年，Google 提出的 Transformer 架构为后续大规模预训练模型奠定了基础；随后 BERT、GPT、T5 等模型推动自然语言处理进入预训练范式；GPT-3、PaLM、GLaM、MT-NLG 等模型进一步验证了规模化训练的有效性；ChatGPT、Claude、LLaMA 等模型则推动大模型从实验室研究走向广泛的公众应用和开发者生态。

本文第2至第8节将分别介绍OpenAI、微软、Google、DeepMind、Anthropic、Meta及AI21 Labs等机构的大模型发展现状，最后在小结部分总结国外大模型的技术特点与发展趋势。

2. 国外大模型发展的技术背景

国外大模型研究的核心基础是 Transformer。Transformer 通过自注意力机制建模序列内部的长距离依赖关系，相比循环神经网络更适合并行训练，也更适合在大规模语料上进行预训练。以 Transformer 为基础，国外大模型形成了三类典型技术路线。

第一类是 “Decoder-only 自回归生成路线”，以 GPT 系列、LLaMA、Claude 等模型为代表。这类模型通过预测下一个 token 进行训练，天然适合文本生成、对话、代码生成和复杂推理。

第二类是 “Encoder-only 表征学习路线”，以 BERT 为代表。这类模型通过双向上下文建模提升文本理解能力，适合分类、检索、问答、语义匹配等理解型任务。

第三类是 “Encoder-Decoder 或统一文本到文本路线”，以 T5 等模型为代表。这类方法将翻译、摘要、分类、问答等任务统一为文本输入到文本输出问题，有利于任务范式统一和迁移学习。

随着模型规模扩大，研究重点也从“模型能否变大”逐渐转向“如何更高效、更安全、更可控地使用大模型”。因此，稀疏激活、混合专家模型、指令微调、人类反馈强化学习、多模态融合和开源模型生态，成为国外大模型发展的重要方向。

3. OpenAI

OpenAI正是基于Transformer基础模型推出了GPT系列大模型。GPT（Generative Pre-trained Transformer）即生成式预训练Transformer模型，模型被设计为对输入的单词进行理解和响应并生成新单词，能够生产连贯的文本段落。预训练代表着GPT通过填空方法来对文本进行训练。在机器学习里，存在判别式模式和生成式模式两种类型，相比之下，生成式模型更适合大数据学习，判别式模型更适合人工标注的有效数据集，因而，生成式模型更适合实现预训练。

GPT模型依托于Transformer解除了顺序关联和对监督学习的依赖性的前提。在自然语言处理（NLP）领域，基于原始文本进行有效学习的能力能够大幅降低对于监督学习的依赖，而很多深度学习算法要求大量手动标注数据，该过程极大限制了其在诸多特定领域的适配性。在考虑以上局限性的前提下，通过对未标记文本的不同语料库进行语言模型的生成式预训练，然后对每个特定任务进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输，同时对基础模型架构的更改最小。

图1：GPT模型对基础模型架构的更改

GPT相比于Transformer等模型进行了显著简化。相比于Transformer，GPT训练了一个12层仅decoder的解码器，原Transformer模型中包含编码器和解码器两部分（编码器和解码器作用在于对输入和输出的内容进行操作，成为模型能够认识的语言或格式）。同时，相比于Google的BERT，GPT仅采用上文预测单词，而BERT采用了基于上下文双向的预测手段。

图2：GPT在Transformer基础上进行简化

GPT-1采用无监督预训练和有监督微调，证明了transformer对学习词向量的强大能力，在GPT-1得到的词向量基础上进行下游任务的学习，能够让下游任务取得更好的泛化能力。不足也较为明显，该模型在未经微调的任务上虽然有一定效果，但是其泛化能力远远低于经过微调的有监督任务，说明了GPT-1只是一个简单的领域专家，而非通用的语言学家。
GPT-2实现执行任务多样性，开始学习在不需要明确监督的情况下执行数量惊人的任务。GPT-2在GPT的基础上进行诸多改进，在GPT-2阶段，OpenAI去掉了GPT第一阶段的有监督微调（fine-tuning），成为了无监督模型。GPT-2大模型是一个1.5B参数的Transformer，在其论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。GPT-2模型中，Transfomer堆叠至48层，数据集增加到8百万量级的网页、大小为40GB的文本。
GPT-2通过调整原模型和采用多任务方式来让AI更贴近“通才”水平。机器学习系统通过使用大型数据集、高容量模型和监督学习的组合，在训练任务方面表现出色，然而这些系统较为脆弱，对数据分布和任务规范的轻微变化非常敏感，因而使得AI表现更像狭义专家，并非通才。考虑到这些局限性，GPT-2要实现的目标是转向更通用的系统，使其可以执行许多任务，最终无需为每个任务手动创建和标记训练数据集。而GPT-2的核心手段是采用多任务模型（Multi-task），其跟传统机器学习需要专门的标注数据集不同（从而训练出专业AI），多任务模型不采用专门AI手段，而是在海量数据喂养训练的基础上，适配任何任务形式。

图3：GPT-3规模及包含tokens数据集

GPT-3取得突破性进展，任务结果难以与人类作品区分开来。GPT-2训练结果也有不达预期之处，所存在的问题也亟待优化。相比于GPT-2采用零次学习（zero-shot），GPT-3采用了少量样本（few-shot）加入训练。GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍，GPT-3在许多NLP数据集上都有很强的性能（包括翻译、问题解答和完形填空任务），以及一些需要动态推理或领域适应的任务（如解译单词、在句子中使用一个新单词或执行三位数算术），GPT-3也可以实现新闻文章样本生成等。GPT-3论文中论述到，虽然少量样本学习（few-shot）稍逊色于人工微调，但在无监督下是最优的，证明了GPT-3相比于GPT-2的优越性。

图4：无监督模式的对比

InstructGPT（GPT-3.5）模型在GPT-3基础上进一步强化。使语言模型更大并不意味着它们能够更好地遵循用户的意图，例如大型语言模型可以生成不真实、有毒或对用户毫无帮助的输出，即这些模型与其用户不一致。另外，GPT-3虽然选择了少样本学习（few-shot）和继续坚持了GPT-2的无监督学习，但基于few-shot的效果也稍逊于监督微调（finetuning）的方式，仍有改良空间。基于以上背景，OpenAI在GPT-3基础上根据人类反馈的强化学习方案RLHF（reinforcement learning from human feedback），训练出奖励模型（reward model）去训练学习模型（即：用AI训练AI的思路）。InstructGPT使用来自人类反馈的强化学习方案RLHF，通过对大语言模型进行微调，从而能够在参数减少的情况下，实现优于GPT-3的功能。

图5：基于人类反馈强化的训练核心流程

InstructGPT与ChatGPT属于相同代际模型，ChatGPT的发布率先引爆市场。GPT-3只解决了知识存储问题，尚未很好解决“知识怎么调用”的问题，而ChatGPT解决了这一部分，所以GPT-3问世两年所得到的关注远不及ChatGPT。ChatGPT是在InstructGPT的基础上增加了Chat属性，且开放了公众测试，ChatGPT提升了理解人类思维的准确性的原因也在于利用了基于人类反馈数据的系统进行模型训练。

GPT-4是OpenAI在深度学习扩展方面的最新里程碑。根据微软发布的GPT-4论文，GPT-4已经可被视为一个通用人工智能的早期版本。GPT-4是一个大型多模态模型（接受图像和文本输入、输出），虽然在许多现实场景中的能力不如人类，但在各种专业和学术基准测试中表现出人类水平的性能。例如，它在模拟律师资格考试中的成绩位于前10％的考生，而GPT-3.5的成绩在后10％。GPT-4不仅在文学、医学、法律、数学、物理科学和程序设计等不同领域表现出高度熟练程度，而且它还能够将多个领域的技能和概念统一起来，并能理解其复杂概念。

除了生成能力，GPT-4还具有解释性、组合性和空间性能力。在视觉范畴内，虽然GPT-4只接受文本训练，但GPT-4不仅从训练数据中的类似示例中复制代码，而且能够处理真正的视觉任务，充分证明了该模型操作图像的强大能力。另外，GPT-4在草图生成方面，能够结合运用Stable Difusion的能力，同时GPT-4针对音乐以及编程的学习创造能力也得到了验证。

小结：GPT-1 证明了“无监督预训练 + 有监督微调”的有效性。该模型表明，先在大规模文本上学习通用语言表示，再针对下游任务进行微调，可以显著提升模型泛化能力。但 GPT-1 仍更接近特定任务专家，在未经微调的任务上表现有限。GPT-2 进一步弱化了对人工标注数据的依赖，开始探索更通用的多任务学习能力。它通过更大规模的模型和网页语料，使模型能够在不针对每个任务单独构建标注数据集的情况下完成多类任务。GPT-2 的重要意义在于，它让研究界看到：当模型、数据和计算资源持续扩大时，语言模型可能获得更强的泛化能力。GPT-3 是大模型规模化发展的标志性节点。GPT-3 拥有 1750 亿参数，并展示了 zero-shot、one-shot 和 few-shot 等提示学习能力。相比传统微调范式，GPT-3 说明模型可以通过自然语言提示和少量示例完成多种任务，这极大改变了人们对模型使用方式的理解。在 GPT-3 之后，OpenAI 进一步通过 InstructGPT 和 ChatGPT 推动模型对齐。InstructGPT 引入基于人类反馈的强化学习机制，即 RLHF，使模型更符合用户意图，减少无用、有害或不真实输出。ChatGPT 则在对话交互层面释放了大模型能力，使大模型真正进入大众视野。GPT-4 则进一步体现了多模态和复杂推理能力。它能够处理文本和图像输入，在法律、医学、数学、编程等多类基准任务中表现出较强能力。与早期 GPT 模型相比，GPT-4 的意义不只在于规模扩大，更在于综合能力、对齐能力和应用适配能力的提升。

4. 微软

微软陪跑OpenAI，双方各取所需。本质上，OpenAI的做法是将公司出租给微软，租期取决于OpenAI的盈利速度。2019年微软首次注资OpenAI后，双方开始在微软的Azure云计算服务上合作开发人工智能超级计算技术，同时OpenAI逐渐将云计算服务从谷歌云迁移到Azure。微软与OpenAI合作符合双方各自需求点，一方面OpenAI亟需算力投入和商业化背书。另一方面，微软也需要OpenAI，微软2015年推出Tay聊天机器人十分受挫，在AI技术商业化应用方面日渐式微，当时在基础研究层面也尚无具备广泛影响力的产出，而AI能力，尤其大模型AI对于每一个大厂来均是防御性质的刚需领域，因而微软可通过OpenAI重获AI竞争力。

微软与OpenAI战略合作深入，占得行业先机。2020年，微软买断GPT3基础技术许可，并获得了技术集成的优先授权。2021年微软再次投资，双方合作关系正式进入第二阶段，从合作探索期进入蜜月期。一方面，作为OpenAI的云提供商，在Azure中集中部署OpenAI开发的GPT、DALLE、Codex等各类工具，这也形成了OpenAI最早的收入来源——通过Azure向企业提供付费API和AI工具。与此同时，拥有OpenAI新技术商业化授权，微软开始将OpenAI工具与自有产品进行深度集成，并推出相应产品。例如，2021年6月基于Codex，微软联合OpenAI、GitHub推出了AI代码补全工具GitHub Copilot，以月付费10美元或年付费100美元的形式提供服务。2022年，微软开始通过Edge浏览器和Bing搜索引擎在部分国家和地区提供基于AI图像生成工具DALLE开发的Image creator新功能。同年10月，微软宣布将推出视觉设计工具Microsoft designer。微软也正将ChatGPT用于Office和搜索引擎Bing等产品中，以优化现有工具，改进产品功能。

图6：T-NLG预训练模型参数量

2020年微软发布当时最大语言模型Turing-NLG，为更流畅的人机对话打下基础。在自然语言模型日趋大型的背景下，微软图灵项目推出了图灵自然语言生成（T-NLG）技术，该模型包含170亿参数量，是此前最大的语言模型英伟达“威震天”（Megatron）的两倍，是OpenAI模型GPT2的10多倍，在预测准确度性能上也打破了已有的最好纪录。当时OpenAI使用了额外的处理技术（停用词过滤）来获得比独立模型更好的成绩，而Megatron和T-NLG都不使用停用词过滤技术。同时，在直接回答问题和零次回答能力上，T-NLG会直接用完整的句子回答问题，且无需上下文环境。为了使T-NLG尽可能通用，从而为各种类型的文本生成摘要，该项目在几乎所有公开可用的摘要数据集中以多任务方式调整了T-NLG模型，总计约有400万个训练实例。总之，T-NLG为对话更流畅的聊天机器人和数字助理等应用铺平了道路。

图7：T-NLG的准确率

汲取“两家”所长，再次刷新模型规模纪录。微软联手英伟达进一步打造的Megatron Turing-NLG（MT-NLG）模型容纳5300亿参数，训练过程一共使用了4480块英伟达A100GPU，最终使该模型在一系列自然语言任务中，包括文本预测、阅读理解、常识推理、自然语言推理、词义消歧，都获得了前所未有的准确率。MT-NLG融合英伟达最先进的GPU加速训练设备，以及微软最先进的分布式学习系统，来提高训练速度，并用上千亿个token构建语料库，共同开发训练方法来优化效率和稳定性。具体实现上，通过借鉴英伟达Megatron-LM模型的GPU并行处理，以及微软开源的分布式训练框架DeepSpeed，创建3D并行系统，对于5300亿个参数的模型，每个模型副本跨越280个A100 GPU，节点内采用Megatron-LM的8路张量切片，节点间采用35路管道并行，然后再使用DeepSpeed的数据并行性进一步扩展到数千个GPU，最终在基于DGX SuperPOD的Selene超级计算机上完成混合精度训练。该模型在PiQA开发集和LAMBADA测试集上的零样本、单样本和少样本三种设置中都获得了最高的成绩。

图8：MT-NLG规模

打造不同AI领域功能融合的多模态基础模型，AI技术和模型大一统渐露曙光。2022年8月，微软亚洲研究院联合微软图灵团队推出了最新升级的BEiT-3预训练模型，在广泛的视觉及视觉-语言任务上，包括目标检测、实例分割、语义分割、图像分类、视觉推理、视觉问答、图片描述生成和跨模态检索等，实现了SOTA的迁移性能。BEiT-3创新的设计和出色的表现为多模态研究打开了新思路，也预示着AI大一统趋势渐露曙光。

图9：BEiT-3优势

5. Google

谷歌最早在2017年提出Transformer网络结构，成为了过去数年该领域大多数行业进展的基础。随后在2018年，谷歌提出的BERT模型，在11个NLP领域的任务上都刷新了以往的记录。和GPT相比，BERT最大的区别就是使用文本的上下文来训练模型，而GPT专注于文本生成，使用的是上文。BERT使用了Transformer的Encoder和Masked LM预训练方法，因此可以进行双向预测；而OpenAI GPT使用了Transformer的Decoder结构，利用了Decoder中的Mask，只能顺序预测。BERT无需调整结构就可以在不同的任务上进行微调，在当时是NLP领域最具有突破性的一项技术。

图10：BERT训练方式

基于Transformer结构，T5明确了大模型性能提升路径。鉴于各个机构不断提出预训练目标函数，并不断收集更多训练语料，很难分析比较这些工作的有效贡献量，因此谷歌于2019年推出大模型——T5（Text-to Text Transfer Transformer），将各种NLP任务（翻译、分类、回归、摘要生成等）都视为Text-to-Text任务，从而使得这些任务在训练（预训练和微调）时能够使用相同的目标函数，在测试时也能使用相同的解码过程，由此可以方便地评估在阅读理解、摘要生成、文本分类等一系列NLP任务上，不同的模型结构、预训练目标函数、无标签数据集等的影响。本质上T5提出的目的不是提出一个新方法，而是对NLP领域的技术支撑点提供较为全面的分析视角，分析各种训练技巧对模型性能提升的实际影响，从而采用合适的技巧预训练出一个好的模型。

谷歌LaMDA实现自然对话突破，释放与技术互动的更自然方式。在ChatGPT取得突破性成功之后，谷歌宣布了自己的聊天机器人谷歌Bard，而Bard这个技术形象背后是LaMDA在提供后端支撑。LaMDA是继BERT之后，谷歌于2021年推出的一款自然对话应用的语言模型。LaMDA建立在谷歌2020年发表的早期研究之上，该研究表明，基于Transformer的语言模型经过对话训练，可以学会谈论几乎任何事情。此后，谷歌还发现，一旦经过训练，LaMDA可以进行微调，从而大幅提高其反应的合理性和特异性。与其他大多数语言模型不同，LaMDA是在对话中训练的，在训练过程中它发现了一些区别于其他语言形式的开放式对话的细微差别。总之，LaMDA的推出虽然在技术上没有新突破，但却提供了很有价值的落地方案参考。

图11：LaMDA拟物化交谈

Switch Transformer模型进一步提升大模型参数，实现简单且高效计算。Switch Transformer的设计原则是以一种简单且高效计算的方式来最大化Transformer模型的参数数量。Switch Transformer拥有1.6万亿参数，超越了GPT-3的规模，成为史上首个万亿级语言模型。Switch Transformer是由混合专家（Mix of Expert，MoE）AI模型范式发展而来的，MoE模型是指将多个专家或专门从事不同任务的模型放在一个较大的模型中，并有一个“门控网络（Gating Network）”来选择为任何给定数据要咨询哪些专家。其论文中指出，Switch Transformer使用了稀疏激活技术，该技术只使用了神经网络权重的子集，或者是转换模型内输入数据的参数，在相同计算资源下，其训练速度上比谷歌之前研发的最大模型T5-XXL还要快4倍。

谷歌通用稀疏语言模型GLaM在小样本学习上打败GPT-3。虽然大型语言模型可以通过简单地使用更多参数来获得更好的性能，但更有效地训练和使用这些模型也十分必要。鉴于此，谷歌在Switch Transformer推出的同年，研发出GLaM模型架构，GLaM也是混合专家模型（MoE），其在多个小样本学习任务上取得有竞争力的性能。谷歌首先构建了一个高质量、具有1.6万亿token的数据集以及开发文本质量过滤器，谷歌应用这个过滤器来生成Web网页的最终子集，并将其与书籍和维基百科数据相结合来创建最终的训练数据集。完整的GLaM总共有1.2T参数，每个MoE包含64个专家，总共32个MoE层，但在推理期间，模型只会激活97B的参数，占总参数的8%。最终谷歌证明了稀疏激活模型在达到与密集模型相似的zero-shot和one-shot性能时，训练时使用的数据显著减少。如果使用的数据量相同，稀疏型模型的表现明显更好。并且，GLaM训练时耗能要少于其他模型。

图12：GLaM与GPT-3对比

图13：GLaM与GPT-3耗时对比

融合传感器模态与语言模型，相较于ChatGPT新增了视觉功能。2023年3月，谷歌和柏林工业大学AI研究团队推出了迄今最大视觉语言模型——PaLM-E多模态视觉语言模型（VLM），该模型具有5620亿个参数，集成了可控制机器人的视觉和语言能力，将真实世界的连续传感器模态直接纳入语言模型，从而建立单词和感知之间的联系，且该模型能够执行各种任务且无需重新训练，其相较于ChatGPT新增了视觉功能。PaLM-E的主要架构思想是将连续的、具体化的观察（如图像、状态估计或其他传感器模态）注入预先训练的语言模型的语言嵌入空间，这是通过将连续观测编码为与语言标记的嵌入空间具有相同维度的向量序列来实现的，因此，以类似于语言标记的方式将连续信息注入到语言模型中。PaLM-E是一种仅限解码器的LLM，它在给定前缀或提示的情况下自回归地生成文本完成。

基于大模型积累，实现视觉语言与机器人高水平实时互联。基于语言模型，PaLM-E会进行连续观察，例如接收图像或传感器数据，并将其编码为一系列与语言令牌大小相同的向量。因此，模型就能继续以处理语言的方式“理解”感官信息。而且，同一套PaLM-E模型能够达到实时控制机器人的水准。PaLM-E还展现出随机应变的能力，例如尽管只接受过单图像提示训练，仍可实现多模态思维链推理（允许模型对包含语言和视觉信息在内的一系列输入进行分析）和多图像推理（同时使用多张输入图像进行推理或预测）。但谷歌展示的Demo中的空间范围、物品种类、任务规划复杂度等条件还比较有限，随着深度学习模型愈发复杂，PaLME也将打开更多可行性应用空间。

6. Deepmind

6.1 Gopher

DeepMind的语言模型Gopher在回答关于科学、人文等专业主题的问题等任务上比现有的大型语言模型更准确，而在逻辑推理和数学等其他任务上与它们相当。Gopher拥有2800亿个参数可供调整，使其比OpenAI的GPT-3更大，后者只有1750亿个参数。

6.2 Chinchilla

Chinchilla使用与Gopher相同的计算预算，但只有700亿个参数和四倍的数据。在许多下游评估任务中，它胜过了Gopher、GPT-3、Jurassic-1和Megatron-Turing NLG等模型。它在微调和推理方面使用的计算资源明显较少，极大地促进了下游应用的使用。

6.3 Sparrow

Sparrow是由DeepMind开发的聊天机器人，旨在正确回答用户的问题，同时减少不安全和不适当回答的风险。Sparrow的动机是解决语言模型产生不正确、带偏见或潜在有害输出的问题。Sparrow通过使用人类判断进行训练，使其比基线预训练语言模型更有帮助、更正确和更无害。

7. Anthropic

2023 年推出Claude，采用宪法 AI（Constitutional AI），通过自我监督与安全约束训练，强调无害、诚实、可控，成为安全大模型代表。Anthropic 的代表性模型是 Claude。与单纯追求参数规模不同，Claude 更强调“有益、无害、诚实”的助手定位。其训练中引入 Constitutional AI 思想，即通过一组原则约束模型行为，并结合自我监督和安全训练方法，减少有害输出。

Claude 的出现说明，大模型竞争已经进入对齐能力竞争阶段。用户不仅需要模型会回答问题，还需要模型在复杂场景中保持可靠、稳定和可控。尤其在企业应用、专业服务和高风险场景中，模型安全性、可解释性和一致性会成为重要评价指标。

8. Meta

Meta 以开源为核心，2022 年发布OPT、Llama系列；2023 年推出Llama2（7B-70B），开源可商用，性能接近 GPT-3，推动全球开源大模型生态繁荣。

8.1 OPT-IML

OPT-IML是基于Meta的OPT模型的预训练语言模型，拥有1750亿个参数。OPT-IML经过微调，以在自然语言任务（如问答、文本摘要和翻译）中获得更好的性能，使用了约2000个自然语言任务进行训练。它在训练过程中更高效，并且比OpenAI的GPT-3具有更低的CO₂排放量。

8.2 BlenderBot-3

BlenderBot 3是一个可以与人交互并接收反馈以提高对话能力的对话代理。BlenderBot 3是基于Meta AI公开提供的OPT-175B语言模型构建的，该模型的规模大约是其前身BlenderBot 2的58倍。该模型融合了人格、共情和知识等对话技能，并通过利用长期记忆和搜索互联网来进行有意义的对话。

8.3 Llama

LLaMA是拥有7B到65B参数的基础语言模型。作者在数万亿令牌上进行了训练，并展示了使用公开可用数据集训练最先进的模型是可能的，而不必依赖于专有和不可访问的数据集。其中，LLaMA-13B在大多数基准测试中优于GPT-3（175B），而LLaMA-65B与最佳模型，Chinchilla-70B和PaLM-540B，具有竞争力。

8.4 Llama2

Llama 2，一个包括从 70 亿到 700 亿个参数的预训练和优化的大型语言模型 (LLM) 集合。其中的 Llama 2-Chat 是针对对话场景优化的 LLM，并在大多数测试的基准上表现优于开源聊天模型。

9. AI21 Labs

AI21 Labs推出的Jurassic-1平台提供Jumbo等大规模语言模型，支持文本生成、问答、分类等任务，强调灵活性与商业化部署。Jurassic-1是AI21 Labs推出的开发者平台，为构建应用程序和服务提供最先进的语言模型。它提供了两个模型，其中包括Jumbo版本，是迄今为止发布的最大、最复杂的通用语言模型。这些模型非常灵活，能够生成类似于人类的文本，并解决诸如问答和文本分类等复杂任务。

10. 国外大模型发展的主要趋势

综合上述机构和模型，可以看到国外大模型发展呈现以下趋势。

第一，模型能力从单一语言任务走向综合智能。早期模型主要聚焦文本理解或生成，后续模型逐渐扩展到代码、图像、语音、机器人和多模态推理。

第二，竞争重点从参数规模转向效率优化。Chinchilla、Switch Transformer、GLaM 等模型说明，训练数据、稀疏激活、计算预算和推理成本同样决定模型价值。

第三，模型对齐成为核心能力。InstructGPT、ChatGPT、Claude、Sparrow 等模型都在解决同一个问题：如何让大模型更符合人类意图，并减少虚假、有害和不可控输出。

第四，闭源能力与开源生态并行发展。OpenAI、Anthropic 等机构依托闭源模型提供强能力服务；Meta 的 LLaMA 系列则推动开源生态快速发展，为本地部署和行业微调提供基础。

第五，大模型正在与产业产品深度融合。微软将 OpenAI 能力接入 Office、Bing、GitHub Copilot 和 Azure，说明大模型的商业价值不只在模型本身，更在于与办公、搜索、开发、设计和企业服务等场景结合。

11. 结论

国外大模型的发展，本质上是算法架构、数据规模、算力基础设施、训练工程、模型对齐和商业生态共同演进的结果。从 Transformer 到 BERT，从 GPT-3 到 ChatGPT，从 Chinchilla 到 Claude，再到 LLaMA 开源生态，大模型已经从单一技术突破发展为覆盖研究、平台、产品和产业应用的系统工程。

未来，国外大模型的竞争将不再只是“谁的参数更多”，而是“谁能在更低成本下提供更强、更安全、更可控、更容易落地的智能能力”。对于国内研究者和开发者而言，理解国外大模型的发展脉络，有助于判断技术趋势、选择研究方向，并在垂直领域应用中找到更具现实价值的突破口。

参考文献

[1] Achiam J, Adler S, Agarwal S, et al. Gpt-4 technical report[J]. arXiv preprint arXiv:2303.08774, 2023.

[2] Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models[J]. arXiv preprint arXiv:2108.07258, 2021.

[3] Zhao W X, Zhou K, Li J, et al. A survey of large language models[J]. Frontiers of Computer Science, 2026, 20(12): 2012627.

[4] Driess D, Xia F, Sajjadi M S M, et al. Palm-e: An embodied multimodal language model[J]. arXiv preprint arXiv:2303.03378, 2023.

[5] Hoffmann J, Borgeaud S, Mensch A, et al. Training compute-optimal large language models[J]. arXiv preprint arXiv:2203.15556, 2022, 10.

[6] Touvron H, Lavril T, Izacard G, et al. Llama: Open and efficient foundation language models[J]. arXiv preprint arXiv:2302.13971, 2023.

[7] Bai Y, Kadavath S, Kundu S, et al. Constitutional ai: Harmlessness from ai feedback[J]. arXiv preprint arXiv:2212.08073, 2022.

[8] Lieber O, Sharir O, Lenz B, et al. Jurassic-1: Technical details and evaluation[J]. White Paper. AI21 Labs, 2021, 1(9): 1-17.

Tips：下一讲，我们将进一步探讨，脑电信号分析的其他内容。

以上就是国外大模型发展综述的全部内容啦~

我们下期再见，拜拜(⭐v⭐) ~

（Ps：有代码实现需求，请见下列【微信名片】或【主页信息】，谢谢支持！~）