[算法前沿]--018-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜下＞

article2024/4/27 14:31:10/文章来源:https://blog.csdn.net/weixin_32393347/article/details/130880775

文章目录

1.模型部署
- 使用自己的数据集
- 对话数据集

1.模型部署

首先载入Tokenizer：

from transformers import AutoConfig, AutoModel, AutoTokenizer

# 载入Tokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)

如果需要加载的是新 Checkpo

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/23954.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

嵌入式软件测试笔记2 |TEmb方法概述

2 |TEmb方法概述 1 TEmb简介2 TEmb工作原理3 系统特性4 TEmb通用元素4.1 生命周期4.2 技术4.3 基础设施4.3.1 测试环境4.3.2 工具和测试自动化4.3.3 办公环境 4.4 组织 5 组合专用测试方法的机制5.1 常用系统特性5.2 特定方法5.3 LITO矩阵 1 TEmb简介 TEmb是一种方法&#xff…

Rocksdb相关学习

1 Basic Operations 先介绍一些 RocksDB 的基本操作和基本架构。 1.1 LSM 与 WriteBatch 参考文档5提到RocksDB 是一个快速存储系统，它会充分挖掘 Flash or RAM 硬件的读写特性，支持单个 KV 的读写以及批量读写。RocksDB 自身采用的一些数据结构如 LSM/…

picoctf_2018_rop chain

小白垃圾笔记，不建议阅读。这道题目其实我是瞎做的. 本地调试需要写一个文件名为flag.txt的文件。先检查下保护：（我把文件名改成pwn了），32位仅仅开启了nx 然后放到32位ida里： main函数如下&#xff1a…

全网最火爆，从接口测试到接口自动化测试总结，卷王进阶高级...

目录：导读前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结（尾部小惊喜） 前言 Python接口自动化测…

element-ui菜单el-menu的使用

效果演示先给大家看一下效果吧 el-menu详解 Menu Attributes# 属性名说明类型可选值默认值mode菜单展示模式stringhorizontal / verticalverticalcollapse是否水平折叠收起菜单（仅在 mode 为 vertical 时可用）boolean—falseellipsis是否省略多余的子项…

软件测试之自动化测试详解

文章目录一.前言二.selenium介绍三.selenium的组成部分四.Selenium的环境搭建下载浏览器配置环境变量验证环境是否搭建成功五.Selenium的API打开浏览器元素的定位操作测试对象等待操作信息获取鼠标操作键盘操作选项操作浏览器操作六.需要用到的包一.前言自动化测试指软件…

SQL面试必备：100道高频考题解析

前言在众多IT职场中，SQL技术一直是一个非常重要的技能点。如果你正在准备SQL相关的面试，那么这份“SQL面试 100 问”绝对是你不能错过的宝藏！ 这份清单涵盖了100道高频考题，从基础知识到复杂应用都有所涉及，帮助你全…

树莓派485转USB串口调试教程

步骤1：接线方式：485转USB 注意接线口是否对应：A1B1 步骤2：查看串口配置—映射关系是否正确命令：ls -l /dev serial0即GPIO映射的串口，默认是ttyS0，即mini串口 serial1即板载蓝牙映射的串口&am…

关于原生feign发起请求时，参数注解的相关问题

先说结论： POST请求必须指定请求头，body参数用RequestBody或者Param（需要一个一个写）。 GET请求，传参只能用QueryMap，后边变量是Map形式，哪怕是一个参数也必须放到map里边。如果是路径变量&…

Java 集合中 ArrayList 的扩容机制原理（面试+读源码）

在 Java 中，ArrayList 内部是通过一个数组来存储元素的，是一个数组结构的存储容器。当向一个 ArrayList 中添加元素时，如果当前数组已经满了，就需要扩容。集合的继承关系图一、面试回答 ( ArrayList 的扩容机制原理 ) 面试…

Solidity基础六

生活本来就是平凡琐碎的，哪有那么多惊天动地的大事，快乐的秘诀就是不管对大事小事都要保持热情目录一、Solidity的特殊变量(全局) 二、Solidity的不可变量 immutable的赋值方式三、Solidity的事件与日志事件和日志加深理解四、Solidity的异常…

ChatGPT1论文解读《Improving Language Understanding by Generative Pre-Training》

论文总结以下是我阅读完整篇论文做的个人总结，基本包含了chatGPT1设计的完整框架思路，可以仅看【论文总结】章节。在GPT1实现的核心架构中，包含两个阶段。第一阶段在第一阶段基于一个包含7000本书籍内容的海量未标注文本数据集进行无…

注解-反射-XML配置原理

java刚开始原本是直接在方法中创建对象执行程序等，部分代码重复率高，后来就发展成方法封装调用，再后来出现的像spring框架等，引入了XML配置，使得程序更加简洁，方便等，其中XML配置也是基于java反…

java+iClientOpenlayers实现污水排放扩散模拟（湖库污染排放扩散模拟）

软件实现效果一、应用背景湖库污染是一个日益严峻的环境问题。随着城市化和工业化的加速发展，越来越多的有害物质被排放入湖库中，导致湖库污染加剧并扩散到周围地区。本文将探讨湖库污染扩散的原因、影响和解决方法。首先，湖库污染扩散的…

堆排序之——TopK问题

思维导图： 一，TopK算法的运用 TopK的算法在我们的日常生活中可谓是大有用处，比如你在点外卖时外卖榜单上的销量前几名的筛选，富豪排行榜的榜单人物的筛选，游戏排位……等等领域都会有TopK算法的涉及。TopK问题的用处可…

github创建仓库和拉取代码

目录一、git创建仓库第一步：首先登录github 第二步：进入建立的仓库(或者新建仓库) 第三步：创建成功第四步：在本地新建一个文件夹，然后在文件夹下打开git bash 第五步：在git bash命令框执行git init…

专业解读财务共享实现财务数智化转型的有效路径

近年来，随着数字经济的飞速发展，各大企业全面开启数智化转型之路，作为企业数智化转型的重要内容，财务数智化转型始于财务共享服务。然而，财务共享建设并不是一蹴而就的，如何通过财务共享实现财务数智化转型…

什么是分布式软件系统

:什么是分布式软件系统？分布式软件系统是什么意思？ 分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分…

阻抗板是否高可靠，华秋有话说

随着高频高速电子产品的快速发展，信号传输过程更容易出现反射、串扰等信号完整性问题，且频率越高、传输速率越快，信号损耗越严重，如何降低信号在传输过程中的损耗、保证信号完整性是高频高速PCB发展中的巨大挑战。在高速PCB设计…

Spring源码（一） — 序言

序言 Java程序员的日常开发一定都离不开Spring的框架，从Spring、SpringMVC、SpringBoot、SpringCloud… 而Spring框架就是Spring家族中最基础也是最重要的一个框架。 Spring 我们常说的Spring往往都绕不开IOC（控制反转）和AOP（切…

[算法前沿]--018-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜下＞

文章目录

1.模型部署

相关文章