XTuner微调LLM：1.8B、多模态和Agent

article2024/5/20 7:54:05/文章来源:https://blog.csdn.net/han____shuai/article/details/138481946

XTuner微调大语言模型，我们的介绍主要分为以下六个方面。

首先我们讲一下Finetune：分为两种Finetune范式和一条数据的一生来讲解。

为什么要微调？我们的大语言模型为基座模型，要应用到某种特定的场景，需要微调做相应适配才能效果更好。

下面介绍两种微调的范式：

训练时要添加起始符和结束符，来证明一段话的结束。

两种微调方式如下：

下面介绍微调技术 XTuner

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/604956.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

STC8增强型单片机开发——C51版本Keil环境搭建

一、目标了解C51版本Keil开发环境的概念和用途掌握C51版本Keil环境的安装和配置方法熟悉C51版本Keil开发环境的使用二、准备工作 Windows 操作系统Keil C51 安装包（可以从Keil官网下载）一款8051单片机开发板三、搭建流程环境搭建的基本流程&#xf…

做外贸用什么邮箱比较好？

外贸公司在推进公司业务时需要频繁进行跨国沟通，选择一款专业且功能强大的企业邮箱作为业务沟通工具至关重要。外贸企业邮箱需要满足5个基本内容，国际收发能力、安全稳定性、专业形象展示、功能完备性、客户服务与技术支持。本文将探讨做外贸时适合使用的…

C++语法｜如何写出高效的C++代码（一）｜对象使用过程中背后调用了哪些方法(构造和析构过程)？

文章目录再探拷贝构造函数和重载复制运算符实例化新对象和赋值操作强转为类类型指针和引用时临时对象的构造和析构过程考考你问题答案再探拷贝构造函数和重载复制运算符实例化新对象和赋值操作首先我们写一个类，实现它的拷贝构造并重载赋值运算符。 class T…

封装Springboot基础框架功能-03

在些模块中汇总了一些web开发常用的配置和功能。模块源码结构 Restful API常用定义 QueryParam请求参数 Data public class QueryParam {private String key;private String value; }RestfulController实现 RestfulController.java，主要汇总一些常用的restful的…

【C++】C++11--- 列表初始化|关键字

目录前言列表初始化创建对象时的列表初始化单参数隐式类型转换多参数的隐式类型转换 new表达式中使用列表初始化列表初始化适用于STL 容器模板类initializer_list 关键字auto 关键字decltype 关键字nullptr 前言 C标准10年磨一剑，第二个真正意义上…

探索网站支付系统的奥秘，从Vue3和Spring Boot开始（入门级项目实战+在线教程）附赠项目源码！

你是否曾经在购物时，对着电脑屏幕前的“支付成功”四个字感到好奇？这背后的秘密究竟是什么？ 今天，让我们一起揭开支付系统的神秘面纱，探索其背后的技术实现。在这个基于Vue3和Spring Boot的支付项目实战中&#xff…

ChatGLM-Math：强化数学能力

大型语言模型（LLM）在文本摘要、问答和角色扮演对话等语言任务上表现出色，在数学推理等复杂问题上也具有应用潜力。但目前提高 LLM 数学问题解决能力的方法，往往会导致其他方面能力的下降。例如RLHF的方法，虽然可以提…

Linux的虚拟机操作

一、linux系统我们知道的系统用到的大多数是Windows系统。 Windows个人用到的有：win7 win10 win11 winxp 服务器用到的有：windows server 2003、2008、2013...........等等 linux也有系统。 centos 7 有5、6、8等等 redhat ubuntu kail 二、了…

Apple强大功能:在新款 iPad Pro 和 iPad Air 中释放 M4 芯片潜力

Apple 的最新强大功能：在新款 iPad Pro 和 iPad Air 中释放 M4 芯片的潜力概述 Apple 推出配备强大 M4 芯片的最新 iPad Pro 和 iPad Air 型号，再次突破创新界限。新一代 iPad 有望彻底改变我们的工作、创造和娱乐方式。凭借无与伦比的处理能力、令人惊…

kubebuilder（6）webhook

operator中的webhook也是很重要的一块功能。也是相对比较独立的模块，所以放在后面讲。 webhook是一个callback，注册到k8s的api-server上。当某个特定的时间发生时，api server就会查询注册的webhook，并根据一些逻辑确认转发消息给…

练习题（2024/5/8）

1 二叉树的最近公共祖先给定一个二叉树, 找到该树中两个指定节点的最近公共祖先。百度百科中最近公共祖先的定义为：“对于有根树 T 的两个节点 p、q，最近公共祖先表示为一个节点 x，满足 x 是 p、q 的祖先且 x 的深度尽可能大（…

第2章.STM32开发C语言常用知识点

目录 0. 《STM32单片机自学教程》专栏总纲 2.1. STM32嵌入式开发C语言编程的不同 2.2. C语言常用知识点 2.2.1 位操作 2.2.2 define 宏定义 2.2.3 条件编译 2.2.3.1 #ifdef 2.2.3.2 #ifndef 2.2.3.3 #if !defined 2.2.4 extern 变量声明 2.2.5 typedef 类型别名 …

微信用户可以通过哪些渠道查找和关注到公众号

什么是公众号公众号，作为微信生态中不可或缺的一部分，已经成为连接用户与品牌、企业与个人的重要桥梁。它不仅是一个信息发布平台，更是一个集互动、服务、营销于一体的综合性工具。公众号通过发布高质量的内容，吸引用户关注&…

Leetcode—976. 三角形的最大周长【简单】（ranges::sort函数）

2024每日刷题（122） Leetcode—976. 三角形的最大周长实现代码 class Solution { public:int largestPerimeter(vector<int>& nums) {ranges::sort(nums);for(int i nums.size() - 1; i > 1; i--) {if(nums[i - 1] nums[i - 2] > nu…

项目经理【过程】原则

系列文章目录【引论一】项目管理的意义【引论二】项目管理的逻辑【环境】概述【环境】原则【环境】任务【环境】绩效【人】概述【人】原则【人】任务【人】绩效【过程】概念【过程】原则一、质量管理水平、质量管理的发展 1.1 质量管理水平 1.2 质量管理的发展 …

亲测快捷高效的编写测试用例方法

前言测试用例是任何测试周期的第一步，对任何项目都非常重要。如果在此步骤中出现任何问题，则在整个软件测试过程中都会扩大影响。如果测试人员在创建测试用例模板时使用正确的过程和准则，则可以避免这种情况。在本篇文章中将分享一些简单而…

【大学物理】双语合集听课笔记

7.5 angular momentu(角动量)_哔哩哔哩_bilibili 6.4Energy in Rotation Motion 有质量有速度的物体有动能，是不是很有道理 international system（from French systeme international，acronym，SI）of ineria kg*m^2 转…

[笔试训练](十六)

目录 046:字符串替换 047:神奇数 048:DNA序列 046:字符串替换字符串替换_牛客题霸_牛客网 (nowcoder.com) 题目： 题解： 简单模拟题~ class StringFormat { public:string formatString(string str, int n, vector<char> arg, int m) {strin…

PPP点对点协议

概述 Point-to-Point Protocol，点到点协议，工作于数据链路层，在链路层上传输网络层协议前验证链路的对端，主要用于在全双工的同异步链路上进行点到点的数据传输。 PPP主要是用来通过拨号或专线方式在两个网络节点之间建立连接、…

牛客二叉树 NB1 牛群的最大高度

原题链接就不采用, 递归的方式来做了, 自己弄个栈来做用栈来保存路径, curr 表示当前的节点, pre 保留往回走时的上一步如果是用递归来做它的栈链路是这样的, 可以做下参考黄色表示返回用栈模拟的话, 不可能模拟得一摸一样, 递归的话一个栈会经过3次, 第三次后就不…

XTuner微调LLM：1.8B、多模态和Agent

相关文章