Qwythos-9B-v2：终极无循环推理AI模型的完整指南

【免费下载链接】Qwythos-9B-v2项目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-v2

Qwythos-9B-v2是一款由Empero AI开发的新一代无循环推理AI模型，它在保留Qwythos-9B强大推理能力的基础上，彻底解决了循环行为问题，为用户提供更稳定、高效的AI推理体验。

🌟 Qwythos-9B-v2的核心改进

🔁 循环行为彻底消除

在贪婪或低温解码下，重复/退化现象从6.7%降至0%。现在无需依赖repetition_penalty作为权宜之计，即可稳定使用该模型。

🧠 推理能力完全保留

MMLU、GSM8K、GPQA、ARC和HumanEval等各项指标均保持或高于v1水平。这是一次模型优化升级，而非能力降级。

🧩 MTP头部恢复

之前版本中缺失的原生多令牌预测模块现已恢复，确保配置和权重一致，使推测性解码设置能够正常工作。

🪪 更清晰的身份标识

模型不再在无关回答前添加身份信息，仅在被明确询问时才会进行自我介绍。

🔓 保持无审查特性

专为研究、网络安全、红队测试、生物学、化学、药理学和临床工作设计，可自由探讨各类敏感技术和研究话题。

📜 100万令牌上下文窗口

依然采用YaRN技术，支持100万令牌的超长上下文，并且基于原生多模态Qwen3.5架构。

📊 评估结果对比

以下是Qwythos-9B-v2与相关模型的评估结果对比：

注意：在MMLU测试中，v2在允许推理（CoT）时得分83.8%，而在5-shot loglikelihood设置下为69.6%——Qwythos是一个推理模型，在思考时表现更强。请根据您的比较基准选择相应的报告方式。

🛠️ 推荐的采样参数

temperature=0.6, top_p=0.95, top_k=20, repetition_penalty=1.05, max_new_tokens=16384

由于循环问题已通过训练解决，repetition_penalty现在是可选的，而非必需的——贪婪/低温解码仍能保持连贯性。对于数学/代码/分析任务，请为模型提供足够的推理空间（max_new_tokens）。

🚀 快速开始使用

安装依赖

首先确保安装了transformers库：

pip install transformers

基本使用代码

from transformers import AutoModelForImageTextToText, AutoTokenizer model_id = "empero-ai/Qwythos-9B-v2" tok = AutoTokenizer.from_pretrained(model_id) model = AutoModelForImageTextToText.from_pretrained(model_id, dtype="bfloat16", device_map="auto") messages = [{"role": "user", "content": "证明存在无限多个质数。"}] text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tok(text, return_tensors="pt").to(model.device) out = model.generate(**inputs, max_new_tokens=16384, do_sample=True, temperature=0.6, top_p=0.95, top_k=20, repetition_penalty=1.05) print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

服务部署

vLLM可以直接用于部署（使用--trust-remote-code；多模态架构实际上是文本专用的，因此--limit-mm-per-prompt '{"image":0,"video":0}'可以简化启动）。

📝 模型详细信息

⚠️ 注意事项

• 这是一次模型优化/稳健性发布，而非能力飞跃。v2在知识/推理基准测试上与基础Qwythos大致相当；其优势在于消除循环、恢复MTP和改进行为，而非更高的原始分数。
• HumanEval分数比Qwen3.5-9B基础版低几个百分点（77.4 vs 81.7）——这是推理/循环修复微调的一个已知小代价。
• MTP从基础模型保留，未与微调权重共同训练，因此推测性解码的接受度可能适中。
• 基准测试来自我们的内部测试工具（CoT，pass@1，样本量如注）；请将它们用于相对比较，并添加您自己的官方测试工具数据以与其他模型进行严格的横向比较。
• 有意保持无审查——它将涉及敏感的技术/研究主题；请负责任地部署并遵守适用法律。

📚 相关文件

• 配置文件：config.json
• 生成配置：generation_config.json
• 分词器配置：tokenizer_config.json
• 聊天模板：chat_template.jinja

要获取完整的模型和代码，请克隆仓库：

git clone https://gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-v2

Qwythos-9B-v2为AI推理任务提供了强大而稳定的解决方案，无论是学术研究、技术开发还是其他需要深度推理的场景，都是一个值得尝试的优秀选择。

【免费下载链接】Qwythos-9B-v2项目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-v2