书生·浦语大模型全链路开源体系-第4课

书生·浦语大模型全链路开源体系-第4课

  • 书生·浦语大模型全链路开源体系-第4课
    • 相关资源
    • XTuner 微调 LLM
    • XTuner 微调小助手认知
      • 环境安装
      • 前期准备
      • 启动微调
      • 模型格式转换
      • 模型合并
      • 微调结果验证
    • 将认知助手上传至OpenXLab
    • 将认知助手应用部署到OpenXLab
    • 使用XTuner微调多模态LLM
      • 前期准备
      • 启动微调
      • 结果验证
        • 微调前的模型验证
        • 微调后的模型验证

书生·浦语大模型全链路开源体系-第4课

为了推动大模型在更多行业落地应用，让开发人员更高效地学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为开发人员提供大模型学习和开发实践的平台。
本文是书生·浦语大模型全链路开源体系-第4课的课程实战。

相关资源

  • InternLM项目地址

https://github.com/InternLM/InternLM

https://github.com/InternLM/XTuner

  • InternLM2技术报告

https://arxiv.org/pdf/2403.17297.pdf

  • 书生·万卷 数据

https://opendatalab.org.cn/

  • 课程链接

https://www.bilibili.com/video/BV15m421j78d/

XTuner 微调 LLM

XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。

  • 🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。
  • 🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅

使用 XTuner 进行大模型微调的步骤：

  1. 环境安装：假如我们想要用 XTuner 这款简单易上手的微调工具包来对模型进行微调的话，那我们最最最先开始的第一步必然就是安装XTuner！安装基础的工具是一切的前提，只有安装了 XTuner 在我们本地后我们才能够去思考说具体怎么操作。

  2. 前期准备：那在完成了安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，那我为了做到这个事情我有哪些硬件的资源和数据呢？假如我们有对于一件事情相关的数据集，并且我们还有足够的算力资源，那当然微调就是一件水到渠成的事情。就像 OpenAI 不就是如此吗？但是对于普通的开发者而言，在资源有限的情况下，我们可能就需要考虑怎么采集数据，用什么样的手段和方式来让模型有更好的效果。

  3. 启动微调：在确定了自己的微调目标后，我们就可以在 XTuner 的配置库中找到合适的配置文件并进行对应的修改。修改完成后即可一键启动训练！训练好的模型也可以仅仅通过在终端输入一行指令来完成转换和部署工作！

XTuner 微调小助手认知

环境安装

执行以下命令，创建一个新的conda虚拟环境。

/root/share/install_conda_env_internlm_base.sh xtuner0.1.17

image-20240416112612680.png

新的虚拟环境创建完成。

image-20240416113279601.png

执行以下命令，安装 xtuner。

conda activate xtuner0.1.17
mkdir -p /root/xtuner && cd /root/xtuner
git clone -b v0.1.17  https://github.com/InternLM/xtuner
cd xtuner
pip install -e '.[all]'

image-20240416113420902.png

xtuner安装完成。

image-20240416113823003.png

前期准备

执行以下命令，创建微调的工作目录、准备微调用的数据集。

mkdir -p /root/xtuner/xtuner0117/ft-sales && cd /root/xtuner/xtuner0117/ft-sales
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b ./internlm2-chat-1_8b
mkdir sales
touch sales/sales.json
vi sales/sales.json

image-20240416114704104.png

执行以下命令，复制微调需要用到的配置文件。

xtuner list-cfg -p internlm2_chat
xtuner copy-cfg internlm2_chat_1_8b_qlora_alpaca_e3 .
mv internlm2_chat_1_8b_qlora_alpaca_e3_copy.py internlm2_chat_1_8b_qlora_sales_e3.py

image-20240416120118805.png

修改配置文件internlm2_chat_1_8b_qlora_sales_e3.py，主要指定模型路径和数据集路径。

image-20240416120299906.png

启动微调

当所有准备工作的完成后，可以执行以下命令开始启动微调。

xtuner train ./internlm2_chat_1_8b_qlora_sales_e3.py

image-20240416124025986.png

模型加载。

image-20240416124233175.png

数据集加载。

image-20240416124345655.png

开始微调，并评估微调结果。

image-20240416124806337.png

微调完成后，会得到work_dirs目录，该目录下的*.pth文件就是微调的结果。

image-20240416131448195.png

模型格式转换

模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 Huggingface 格式文件，那么我们可以通过以下指令来实现一键转换。

mkdir hf
export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU
xtuner convert pth_to_hf ./internlm2_chat_1_8b_qlora_sales_e3.py ./work_dirs/internlm2_chat_1_8b_qlora_sales_e3/iter_684.pth ./hf

image-20240416132010837.png

转换完成后，会得到Huggingface格式的文件，在hf目录下。

image-20240416132117605.png

模型合并

对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（adapter）。那么训练完的这个层最终还是要与原模型进行组合才能被正常的使用。

而对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 adapter ，因此是不需要进行模型整合的。

在 XTuner 中也是提供了一键整合的指令。

xtuner convert merge ./internlm2-chat-1_8b ./hf ./merged --max-shard-size 2GB

整合完成后的模型在merged目录下，这是一个具有完整结构的模型目录。

image-20240416132630425.png

微调结果验证

整合完成后，可以对微调结果进行验证。

在 XTuner 中也直接的提供了一套基于 transformers 的对话代码，让我们可以直接在终端与 Huggingface 格式的模型进行对话操作。我们只需要准备我们刚刚转换好的模型路径并选择对应的提示词模版（prompt-template）即可进行对话。假如 prompt-template 选择有误，很有可能导致模型无法正确的进行回复。

在命令行模式下，执行以下命令即可进行结果验证。

xtuner chat ./merged --prompt-template internlm2_chat

image-20240416133014362.png

我们也可以创建streamlit应用，通过Web端进行验证。

image-20240416134652630.png

通过命令启动streamlit应用。

streamlit run sreamlit_demo.py

image-20240416134747544.png

建立SSH隧道，实现端口转发之后，打开浏览器，访问应用。

image-20240416142416878.png

输入对话内容，可以看到微调效果。

image-20240416142510974.png

将认知助手上传至OpenXLab

在OpenXLab，点击创建，创建模型，进入创建模型界面。

image-20240416144053975.png

在模型配置界面输入模型的详细信息，点击立即创建，创建一个空的模型仓库。

image-20240416144149394.png

通过模型文件页的下载按钮，可以获取到模型仓库的地址。

image-20240416144343993.png

通过密钥管理菜单，创建一个Git访问令牌，权限设置为可写。

image-20240416145202975.png

通过带密钥的仓库地址，克隆模型仓库到开发机，将本地合并后的merged目录下的所有文件复制到克隆的仓库目录sales-chat-1_8b下，并使用git命令添加所有文件并进行提交。

image-20240416145310424.png

提交以后，OpenXLab中模型仓库的模型文件如下。

image-20240416145355847.png

将认知助手应用部署到OpenXLab

首先，在Github上创建一个项目仓库，将项目文件上传到仓库中，文件包含：

├─OpenXLab-IntelligentSalesAssistant
│  ├─app.py                 # 应用默认启动文件为app.py，应用代码相关的文件包含模型推理、前端配置代码
│  ├─requirements.txt       # 安装运行所需要的 Python 库依赖（pip 安装）
│  ├─packages.txt           # 安装运行所需要的 Debian 依赖项（ apt-get 安装）
|  ├─README.md              # 编写应用相关的介绍性的文档
│  └─...

image-20240416153854044.png

在OpenXLab，点击创建，创建应用。

image-20240416145850688.png

在弹出的对话框中，选择应用类型是Streamlit。

image-20240416145910731.png

在详情页面，输入应用的详细信息、指定Github仓库地址、选择应用协议和硬件资源等信息，点击立即创建。

image-20240416155707161.png

接下来，等待代码拉取、构建、应用启动。

image-20240416161539947.png

应用启动完成后，即可正常访问使用。

应用地址：https://openxlab.org.cn/apps/detail/AI-Labs/IntelligentSalesAssistant

image-20240416161639747.png

使用XTuner微调多模态LLM

前期准备

激活用于微调的虚拟环境，创建一个新的目录，复制官方提供的多模态微调配置脚本，用于进行多模态微调。

image-20240417100313019.png

准备一幅用于微调的图片。

image-20240417092628750.png

准备对于该图片的微调数据集。

image-20240417095633039.png

对微调配置脚本进行修改，主要修改其中的模型路径、数据集路径、图片路径等信息。

image-20240417100214671.png

启动微调

执行命令启动微调。

xtuner train llava_internlm2_chat_1_8b_qlora_finetune.py

image-20240417100658429.png

加载模型。

image-20240417100742480.png

加载数据集。

image-20240417101531776.png

执行微调并进行评估。

image-20240417102048184.png

微调完成后，在work_dirs目录下会生成一个*.pth文件，这个就是微调的结果文件。

image-20240417102347739.png

结果验证

微调前的模型验证

执行命令，将微调前的*.pth文件转换成HuggingFace格式的文件。

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU

xtuner convert pth_to_hf llava_internlm2_chat_1_8b_clip_vit_large_p14_336_e1_gpu8_pretrain /root/share/new_models/xtuner/iter_2181.pth iter_2181_hf

image-20240417110352349.png

转换完成。

image-20240417110753580.png

通过xtuner chat命令可以与微调前的模型进行对话。

xtuner chat /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --visual-encoder /root/share/new_models/openai/clip-vit-large-patch14-336 --llava iter_2181_hf --prompt-template internlm2_chat --image images/image.jpg

可以看到，微调前的模型只会标注图片。

image-20240417111707801.png

微调后的模型验证

执行命令，将微调后的*.pth文件转换成HuggingFace格式的文件。

export MKL_SERVICE_FORCE_INTEL=1
export MKL_THREADING_LAYER=GNU

xtuner convert pth_to_hf llava_internlm2_chat_1_8b_qlora_finetune.py work_dirs/llava_internlm2_chat_1_8b_qlora_finetune/iter_212.pth iter_212_hf

image-20240417112636725.png

转换完成。

image-20240417112814574.png

通过xtuner chat命令可以与微调前的模型进行对话。

xtuner chat /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --visual-encoder /root/share/new_models/openai/clip-vit-large-patch14-336 --llava iter_2181_hf --prompt-template internlm2_chat --image images/image.jpg

可以看到，，微调后的模型认识了该图片，并且能够描述、回答关于该图片的信息。

image-20240417113330650.png

至此，使用XTuner微调大模型、多模态的内容完成。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/551710.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

连锁服装卖场进销存一般怎么管理

连锁服装卖场进销存一般怎么管理

连锁服装卖场的进销存管理是保证业务顺畅运作和最大化利润的关键之一。随着市场竞争的加剧和消费者需求的变化，良好的进销存管理能够帮助企业及时调整库存，减少滞销品，提高资金周转率，从而增强市场竞争力。本文将探讨连锁服装卖场…
阅读更多...
单独设置浏览器滚动条上下箭头

单独设置浏览器滚动条上下箭头

解决方法 重点 ::-webkit-scrollbar-button:vertical 给垂直方向的滚动条设置样式 ::-webkit-scrollbar-button:vertical:start 上方向的按钮 ::-webkit-scrollbar-button:vertical:start:decrement 上方向单个按钮 下方向同理 不知道为啥搜索出来的single-button不生效&#…
阅读更多...
制造业的数字化转型如何做？

制造业的数字化转型如何做？

随着科技的迅速发展，数字化转型已经成为制造型企业提高竞争力的关键因素。它可以帮助制造型企业，在产品优化设计、材料采购、生产流程方面实现精细化管理；提升上下游协同生产能力，提高生产效率、降低生产成本、优化产品质量&#…
阅读更多...
华为的AI战略地图上，才不是只有大模型

华为的AI战略地图上，才不是只有大模型

大模型火热了一年，现在还没做AI化改造的企业，就像是工业革命浪潮伊始与火车赛跑的那辆马车。 最早的蒸汽火车缓慢又笨重，甚至铁轨上还预留了马匹行走的空间，以便随时用马拉火车来替代蒸汽火车，一辆华丽的马车试图和火…
阅读更多...
浮点数的存储方式、bf16和fp16的区别

浮点数的存储方式、bf16和fp16的区别

目录 1. 小数的二进制转换2. 浮点数的二进制转换3. 浮点数的存储3.1 以fp32为例3.2 规约形式与非规约形式 4. 各种类型的浮点数5. BF16和FP16的区别Ref 1. 小数的二进制转换 十进制小数转换成二进制小数采用「乘2取整，顺序排列」法。具体做法是：用 2 2…
阅读更多...
C++语言·类和对象

C++语言·类和对象

1. 类的引入 C语言结构体中只能定义变量，但在C中，结构体内不仅可以定义变量，也可以定义函数，同时C中struct的名称就可以代表类型，不用像C那样为了方便还要typedef一下。 在C中我们管定义的结构体类型叫做类(student)&a…
阅读更多...
idea 将项目上传到gitee远程仓库具体操作

idea 将项目上传到gitee远程仓库具体操作

目录标题 一、新建仓库二、初始化项目三、addcommit四、配置远程仓库五、拉取远程仓库内容六、push代码到仓库 一、新建仓库 新建仓库教程 注意：远程仓库的初始文件不要与本地存在名字一样的文件，不然拉取会因为冲突而失败。可以把远程一样的初始文件删…
阅读更多...
汇舟问卷：推荐一个挣外国人钱项目

汇舟问卷：推荐一个挣外国人钱项目

在海外，问卷调查作为一种普遍的市场研究手段，它们能够为企业下一季度的营销策略调整提供有力的数据支撑。 每份问卷的报酬金额各不相同，最低为1美元，最高可以达到10几美元。大多数问卷的报酬在3到5美元之间。 然而，在…
阅读更多...
JS-42-Node.js01-Node.js介绍

JS-42-Node.js01-Node.js介绍

一、浏览器大战 众所周知，在Netscape设计出JavaScript后的短短几个月，JavaScript事实上已经是前端开发的唯一标准。 后来，微软通过IE击败了Netscape后一统桌面，结果几年时间，浏览器毫无进步。（2001年推出…
阅读更多...
HDFS详解(Hadoop)

HDFS详解(Hadoop)

Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）是 Apache Hadoop 生态系统的核心组件之一，它是设计用于存储大规模数据集并运行在廉价硬件上的分布式文件系统。 1. 分布式存储： HDFS 将文件分割成若干块…
阅读更多...
【游戏云服务器推荐】幻兽帕鲁 我的世界 雾锁王国 饥荒联机版 英灵神殿通用云服务器 2-64G随意选 附最新价格对比

【游戏云服务器推荐】幻兽帕鲁 我的世界 雾锁王国 饥荒联机版 英灵神殿通用云服务器 2-64G随意选 附最新价格对比

更新日期：4月17日（京东云采购季持续进行） 本文纯原创，侵权必究 《最新对比表》已更新在文章头部—腾讯云文档，文章具有时效性，请以腾讯文档为准！ 【腾讯文档实时更新】2024年-幻兽帕鲁服务器专…
阅读更多...
李飞飞团队发布《2024年人工智能指数报告》，预测人工智能未来发展趋势

李飞飞团队发布《2024年人工智能指数报告》，预测人工智能未来发展趋势

昨天，斯坦福大学 Human-Center Artificial Intelligence (HAI)研究中心发布了《2024年人工智能指数报告》。 由斯坦福大学发起的人工智能指数（AI Index）是一个追踪 AI 动态和进展的非营利性项目，旨在全面研究 AI 行业状况&#xf…
阅读更多...
不同质量图在卡尔曼滤波相位解缠中应用探讨

不同质量图在卡尔曼滤波相位解缠中应用探讨

文献来源：不同质量图在卡尔曼滤波相位解缠中应用探讨 闫 满，郭春华 测绘科学技术, 2019, 7(2), 65-73 卡尔曼滤波将相位解缠转化为状态估计问题，实现相位解缠与噪声消除的一并处理。通过建立相位的动 态方程和观测方程来求解真实相位&#x…
阅读更多...
The O-one：开源语言模型计算机的革命

The O-one：开源语言模型计算机的革命

在人工智能的浪潮中，The O-one作为一个创新的开源项目，正以其独特的功能和开放性吸引着全球开发者和科技爱好者的目光。这个项目不仅仅是一个简单的语言模型，它是一个能够通过语音交互与计算机进行对话的智能系统，极大地提升了人机…
阅读更多...
Java面试题笔记（持续更新）

Java面试题笔记（持续更新）

Java基础 java中的Math.round(-1.5)等于多少？ Math的round方法是四舍五入,如果参数是负数,则往大的数如,Math.round(-1.5)-1，如果是Math.round(1.5)则结果为2 JDK和JRE的区别？ JDK 是 Java Development ToolKit 的简称，也就是…
阅读更多...
Java——代码块

Java——代码块

目录 一.代码块概念以及分类 二.普通代码块 三.构造代码块 四.静态代码块 一.代码块概念以及分类 使用 {} 定义的一段代码称为代码块。根据代码块定义的位置以及关键字，又可分为以下四种： 普通代码块构造块静态块同步代码块（后续讲解多…
阅读更多...
MySQL数据库第二天

MySQL数据库第二天

如何授权和撤销 已经给客户授权： GRANT all on *.* to "用户名""获取IP地址" identified by "密码" 如果想撤销可以使用： revoke all on 数据库.表 form "用户名""获取的IP地址" 补充&#xff1…
阅读更多...
基于云的内部威胁该如何应对，基础设施策略该如何部署

基于云的内部威胁该如何应对，基础设施策略该如何部署

德迅云安全发现云的内部威胁对基于云的基础设施的安全性和完整性构成威胁，因此需要采取主动的风险缓解策略。组织可以通过在云中采用访问控制、用户监控、加密、员工培训和事件响应协议的组合来增强对内部威胁的防御能力。 在当今瞬息万变的网络安全世界中&#xff…
阅读更多...
安卓官方例程

安卓官方例程

https://learn.microsoft.com/zh-cn/shows/connecton-demand/202?sourcerecommendations https://learn.microsoft.com/zh-cn/visualstudio/cross-platform/cross-platform-mobile-development-in-visual-studio?viewvs-2022 https://learn.microsoft.com/zh-cn/shows/xamari…
阅读更多...
短信防刷之滑动验证码

短信防刷之滑动验证码

前言：最近想写一个滑动验证码，前台的样式虽然很好看，但是并不安全，网上也都是一些demo，不是前后台分离的，然后就自己查资料，自己来完成了 滑动验证码 一、为什么要使用滑动验证码 首先&#x…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站