Unsloth 是一款专注于大语言模型高效运行与训练的开源框架，核心目标是降低LLM微调门槛，让普通用户也能在消费级硬件上完成模型训练任务。

官网：Unsloth - Train and Run Models Locally

repo：https://github.com/unslothai/unsloth

一、核心性能优势

• ‌训练效率‌：相比传统训练方式，训练速度可提升‌2倍‌，同时显存占用降低‌70%‌，部分模型显存节省幅度可达80%。
• ‌硬件适配‌：支持在消费级GPU（如T4、3090、4090）上完成7B甚至70B参数模型的微调，无需依赖昂贵的H100集群。
• ‌精度保障‌：优化过程无精度损失，训练出的模型效果和原生PyTorch训练结果完全一致。

二、核心功能特性

• ‌多模型支持‌：兼容Llama、Qwen、Gemma、DeepSeek、Mistral、GPT-OSS等500+主流开源模型，同时支持文本、视觉、TTS音频、嵌入类模型的训练与运行。
• ‌全流程能力‌：覆盖LoRA微调、全参数微调、多卡训练、最长500K上下文微调，还支持DPO、GRPO等强化学习训练方式。
• ‌无代码UI‌：配套开源的Unsloth Studio界面，无需编写复杂代码，即可在本地完成模型训练、运行、导出全流程操作。
• ‌自动数据集生成‌：支持从PDF、CSV、DOCX、TXT等文件中自动生成训练数据集，无需手动预处理数据。
• ‌生态兼容‌：训练后的模型可直接导出为GGUF、safetensors格式，无缝对接Ollama、vLLM、Hugging Face等主流生态工具。

三、底层优化技术

• ‌自定义内核‌：针对NVIDIA GPU深度定制高效计算内核，大幅优化大模型训练中的矩阵乘法运算效率。
• ‌显存优化机制‌：搭载Unsloth专属梯度检查点技术，自动启用序列缓存、双缓冲检查点等策略，进一步压缩显存占用。
• ‌量化支持‌：原生支持4位动态量化加载模型，在几乎不损失效果的前提下进一步降低硬件门槛。

四、适配场景

• 个人开发者在本地消费级显卡上快速迭代微调自定义LLM。
• 中小团队低成本完成领域专属模型的适配训练，降低算力投入成本。
• 新手入门大模型微调，通过自带的开箱即用Notebook快速上手，无需复杂环境配置。

该框架的官方文档可参考 Unsloth 官方文档，开源项目地址可查看 Unsloth GitHub 仓库。

实践

Google Colab 笔记本

我们创建了一个 免费的 Google Colab 笔记本 让你可以在 Colab 的 T4 GPU 上探索 Unsloth 的全部功能。你可以训练并运行参数规模最高达 22B 的大多数模型，并在更大的模型上切换到更强的 GPU。只需点击“Run all”，安装完成后 UI 应该会弹出。

在谷歌Colab,查找github里面的Unsloth例子文档。

启动后，出现

点开之后：

开始训练

训练进度

效果相当不错！