TeleChat-52B-pt中文能力深度评测：在CMMLU和AGIEval上的领先表现

【免费下载链接】TeleChat-52B-pt项目地址: https://ai.gitcode.com/hf_mirrors/TeleAI/TeleChat-52B-pt

TeleChat-52B-pt（星辰大模型52B）是一款开源多语言大模型，其模型基座使用高质量中英文数据、更优数据配比，采用课程学习方式进行训练。该模型在中文能力评测中表现卓越，尤其在CMMLU和AGIEval等权威基准测试中展现出领先水平，与Qwen-72B-chat等知名模型可比，通用对话性能甚至超过GPT-3.5-Turbo。

中文能力评测基准介绍

CMMLU：全面的中文评估测试集

CMMLU数据集是一个全面的中文评估测试集，涵盖了从基础学科到高级专业水平的67个主题。它不仅考察模型的语言理解能力，还涉及广泛的知识领域，是衡量中文大模型综合能力的重要标准。

AGIEval：高难度标准化考试基准

AGIEval数据集专门为评估基础模型在难度较高的标准化考试（如大学入学考试、法学院入学考试、数学竞赛和律师资格考试）的语境中而设计，包含中文试题和英文试题。该基准能有效测试模型的高级推理和问题解决能力。

TeleChat-52B-pt在中文评测中的卓越表现

星辰52B模型相比同规模模型在评测效果方面表现出色，评测集涵盖了包括MMLU、AGIEval、CMMLU、GSM8K、MATH、HumanEval等数据集，全面评估了自然语言理解、知识、数学计算和推理、代码生成等能力。

核心中文能力评测结果

从表格数据可以看出，TeleChat-52B-pt（星辰52B-chat）在AGIEval数据集上以61.1的分数超过了Qwen-72B-chat的58.5，展现出在高难度中文考试场景下的优异推理能力。在CMMLU数据集上，星辰52B-chat也取得了73.79的良好成绩，体现了其全面的中文知识掌握和理解能力。

整体能力评测表现

除了中文能力外，星辰52B-chat在其他评测维度也表现出色：

这些结果表明，TeleChat-52B-pt不仅在中文能力上表现突出，在多语言理解、数学推理和代码生成等方面也具备强大实力，是一款全面发展的大模型。

对话能力评测

为了评价模型的对话能力，研发团队建立了包含2500+单轮、多轮对话交互的内部评测系统，涵盖闲聊问答、专业知识、翻译、逻辑思维、长文写作、幻觉测试、安全测试、角色扮演、任务执行、数学能力等多个维度，并使用Judge模型基于详细的评价指标文档进行自动打分。

在当前评测数据上，星辰52B模型的综合平均得分为83.8，高于GPT-3.5-Turbo的82.3。这一结果表明，星辰52B模型能较好地支持下游任务应用，在实际对话场景中具有出色的表现。

模型结构与技术特点

TeleChat采用标准的Decoder-only结构，并在模型维度做了多项改进，这些技术创新为其卓越的中文能力提供了坚实基础：

• 位置编码：使用Rotary Embedding位置编码方法，将相对位置信息依赖集成到self-attention中，具有较好的位置外推性，并能与Flash-Attention v2配合使用，提升训练速度约20%。
• 激活函数：使用SwiGLU激活函数替代GELU激活函数。
• 层标准化：基于RMSNorm的Pre-Normalization。
• 词嵌入层与输出层解耦：将词嵌入层和输出lm head层参数分开，增强训练稳定性和收敛性。

模型具体参数如下：

模型推理和部署

当前模型支持fp16精度推理，适配4卡40G A100进行推理。具体推理操作可参考项目中的infer.py文件，该文件包含单轮和多轮的推理示例。

如需使用TeleChat-52B-pt模型，可通过以下仓库地址获取：https://gitcode.com/hf_mirrors/TeleAI/TeleChat-52B-pt

总结

TeleChat-52B-pt（星辰大模型52B）在CMMLU和AGIEval等中文能力评测中展现出领先水平，特别是在高难度推理任务上表现突出。其全面的能力、优秀的对话性能以及创新的模型结构，使其成为中文大模型领域的重要参与者。无论是学术研究还是商业应用，TeleChat-52B-pt都具有广阔的应用前景。

我们相信，随着技术的不断迭代和优化，TeleChat系列模型将在中文理解和生成领域持续发挥重要作用，为用户提供更优质的AI服务。

【免费下载链接】TeleChat-52B-pt项目地址: https://ai.gitcode.com/hf_mirrors/TeleAI/TeleChat-52B-pt