本文来自DataLearnerAI官方网站:阿里巴巴的第二代通义千问可能即将发布:Qwen2相关信息已经提交HuggingFace官方的transformers库 | 数据学习者官方网站(Datalearner)
通义千问是阿里巴巴开源的一系列大语言模型。Qwen系列大模型最高参数量720亿,最低18亿,覆盖了非常多的范围,其各项评测效果也非常好。而昨天,Qwen团队的开发人员向HuggingFace的transformers库上提交了一段代码,包含了Qwen2的相关信息,这意味着Qwen2模型即将到来。
从提交的代码信息看,Qwen2系列模型包含了很多不同的尺寸,每一个参数规模的模型都包含基座模型和聊天对齐的chat版本。而目前md文件透露的信息看,70亿参数规模的Qwen2-7B-beta和Qwen-7B-Chat-beta是最早发布的第二代Qwen模型。
此外,配置文件透露的信息还包括:词汇表大小151936,这个和第一代模型一样。模型支持的上下文大小4K。最重要的这个模型开源协议依然是Apache 2.0,免费可商用。不过,目前什么时候发布还不确定。但是,Qwen模型的质量值得期待。
更多关于Qwen2模型的详情参考:阿里巴巴的第二代通义千问可能即将发布:Qwen2相关信息已经提交HuggingFace官方的transformers库 | 数据学习者官方网站(Datalearner)