llama.cpp 编译安装@Ubuntu

在Kylin 和Ubuntu编译llama.cpp ,具体参考:llama模型c语言推理@FreeBSD-CSDN博客

现在代码并编译:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

# 可选安装
make install 

# 或可选添加路径
export PATH=/home/skywalk/github/llama.cpp/build/bin:$PAT

下载llama 模型文件 1.3G 百度网盘 请输入提取码

转换模型

转换前先安装python库:

pip install sentencepiece

转换

python convert.py ~/work/model/chinesellama/

 执行:

main -m ~/work/model/chinesellama/ggml-model-f16.gguf  -p "请写一个简单的python hello world例子"

效果,至少速度是很快的:

纯cpu的ubuntu:

 你好,在不同领域中,相互之间的合作和交流。,实现共同目标。" 。 [end of text]

llama_print_timings:        load time =   11357.71 ms
llama_print_timings:      sample time =       1.53 ms /    21 runs   (    0.07 ms per token, 13734.47 tokens per second)
llama_print_timings: prompt eval time =      94.89 ms /     3 tokens (   31.63 ms per token,    31.62 tokens per second)
llama_print_timings:        eval time =    1215.98 ms /    20 runs   (   60.80 ms per token,    16.45 tokens per second)
llama_print_timings:       total time =    1327.15 ms /    23 tokens

有些问题回答的还挺不错:

 hello ,can you write a python hello world demo program? 程序。(注意:在编写程序时需要注意代码的可读性和可维护性)。

在编写代码时,需要注意代码的可读性、可维护性、可扩展性等方面。在编写代码时,可以使用以下方法来提高代码的可读性、可维护性、可扩展性:

1. 使用有意义的变量名和函数名。
2. 避免使用过长的代码和重复的代码,尽量使用简洁的表达。
3. 使用注释来解释代码的逻辑和实现方式,以便于他人理解。
4. 使用测试用例来验证代码的正确性,并及时修复错误。
5. 使用适当的编程技巧和方法来提高代码的可读性和可维护性。
6. 在代码中加入一定的代码规范和风格指南,以提高代码的可读性和可维护性。
7. 使用版本控制工具来管理代码,如Git等。

代码的可读性和可维护性对于代码的长期维护和可扩展性非常重要。代码的可读性、可维护性和可扩展性决定了代码的可读性、可理解性、可维护性和可扩展性。因此,在编写代码时,我们应该尽可能地使代码易于阅读、易于维护和易于扩展。 [end of text]

llama_print_timings:        load time =     224.27 ms
llama_print_timings:      sample time =      20.63 ms /   283 runs   (    0.07 ms per token, 13715.23 tokens per second)
llama_print_timings: prompt eval time =     242.40 ms /    13 tokens (   18.65 ms per token,    53.63 tokens per second)
llama_print_timings:        eval time =   17749.69 ms /   282 runs   (   62.94 ms per token,    15.89 tokens per second)
llama_print_timings:       total time =   18198.66 ms /   295 tokens

riscv Kylin下是因为sentencepiece这个库没装上,没法本地转换模型,就把amd64 ubuntu离得模型拷贝过来了,测试下来速度缺失慢,不过怎么自己聊起天来了? 还是挺有趣的:

太慢了,没有输出全:

 hello ,can you write a python hello world demo program? ?。」

In order to generate a Python hello world, you need to follow these steps:
1. Start by selecting the desired language.
2. Construct the sentence by creating a sentence that includes all the original thoughts and ideas.

In order to generate a Python hello world, you need to follow these steps:

1. Choose the language - Python, as the language it's most popular and widely used.
2. Construct the sentence by creating a sentence that includes all the original thoughts and ideas.

Here's an example:

Original sentence:
"Hello, my name is John, and I'm a little boy. I want to go to school every day.

Constructing the sentence:
"Hello, my name is John, and I'm a little boy. I want to go to school every day.

3. Create a sentence that

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/498139.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

增强现实(AR)和虚拟现实(VR)营销的未来:沉浸式体验和品牌参与

--- 如何将AR和VR技术应用于营销,以提高品牌知名度、客户参与度 增强现实(AR)和虚拟现实(VR)不再只是游戏。这些技术为品牌与受众互动提供了创新的方式。营销人员可以创造更好的客户体验,并为身临其境的故…

hadoop-3.1.1分布式搭建与常用命令

一、准备工作 1.首先需要三台虚拟机: master 、 node1 、 node2 2.时间同步 ntpdate ntp.aliyun.com 3.调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 4.jdk1.8 java -version 5.修改主机名 三台分别执行 vim /etc/hostname 并将内容指定为…

电脑突然死机怎么办?

死机是电脑常见的故障问题,尤其是对于老式电脑来说,一言不合电脑画面就静止了,最后只能强制关机重启。那么你一定想知道是什么原因造成的吧,一般散热不良最容易让电脑死机,还有系统故障,比如不小心误删了系…

【实现报告】学生信息管理系统(顺序表)

目录 实验一 线性表的基本操作 一、实验目的 二、实验内容 三、实验提示 四、实验要求 五、实验代码如下: (一)顺序表的构建及初始化 (二)检查顺序表是否需要扩容 (三)根据指定学生个…

企业网站建设的方法的相关问题的解决办法的问题

现在市场上比较大的公司都建立了自己的企业网站,比如华为、小米等,在他们的企业网站中,可以充分展示自己产品的优势,介绍公司的优质服务。 这都是让顾客改变购买想法的重要因素。 现在互联网发达了,很多人在购买产品的…

详细分析axios.js:72 Uncaught (in promise) Error: 未知错误 的解决方法(图文)

目录 1. 问题所示2. 原理分析3. 解决方法1. 问题所示 调试接口的时候,打开一个网页,在终端出现如下错误: axios.js:72 Uncaught (in promise) Error: 未知错误at __webpack_exports__.default (axios.js:72:1)截图如下所示: 2. 原理分析 点击浏览器的Bug出错: // 如果…

C/C++语言学习路线: 嵌入式开发、底层软件、操作系统方向(持续更新)

初级:用好手上的锤子 1 【感性】认识 C 系编程语言开发调试过程 1.1 视频教程点到为止 1.2 炫技视频看看就行 1.3 编程游戏不玩也罢 有些游戏的主题任务就是编程,游戏和实际应用环境有一定差异(工具、操作流程),在…

进程知识点

引用的文章:操作系统——进程通信(IPC)_系统ipc-CSDN博客 面试汇总(五):操作系统常见面试总结(一):进程与线程的相关知识点 - 知乎 (zhihu.com) 二、进程的定义、组成、组成方式及特征_进程的组成部分必须包含-CSDN博…

2024年北京事业单位报名照片要求,注意格式

2024年北京事业单位报名照片要求,注意格式

【C语言】预处理常见知识详解(宏详解)

文章目录 1、预定义符号2、define2.1 define 定义常量2.2 define 定义宏 3、#和##3.1 **#**3.2 **##** 4、条件编译(开关) 1、预定义符号 在C语言中内置了一些预定义符号,可以直接使用,这些符号实在预处理期间处理的,…

工控安全双评合规:等保测评与商用密码共铸新篇章

01.双评合规概述 2017年《中华人民共和国网络安全法》开始正式施行,网络安全等级测评工作也在全国范围内按照相关法律法规和技术标准要求全面落实实施。2020年1月《中华人民共和国密码法》开始正式施行,商用密码应用安全性评估也在有序推广和逐步推进。…

信息安全之网络安全防护

先来看看计算机网络通信面临的威胁: 截获——从网络上窃听他人的通信内容中断——有意中断他人在网络上的通信篡改——故意篡改网络上传送的报文伪造——伪造信息在网络上传送 截获信息的攻击称为被动攻击,而更改信息和拒绝用户使用资源的攻击称为主动…

深入了解高压电阻器的世界,探索其操作、类型和在各种高压应用中的关键作用

高压电阻器是高压条件下的专用元件,对于管理电压和散热至关重要 它们的工作原理是欧姆定律 类型包括线绕电阻、碳复合电阻、金属氧化物膜电阻、厚膜电阻和薄膜电阻这些电阻器在电力系统、医疗设备、汽车电子和电信设备中是必不可少的。 额定电压从600V到48KV 80p…

fastadmin学习04-一键crud

FastAdmin 默认内置一个 test 表,可根据表字段名、字段类型和字段注释通过一键 CRUD 自动生成。 create table fa_test (id int unsigned auto_increment comment ID primary key,user_id int(10) default 0 null…

基础算法-去重字符串,辗转相除法,非递归前序遍历二叉树题型分析

目录 不同子串 辗转相除法-求最大公约数 二叉树非递归前序遍历 不同子串 从a开始,截取 a aa aaa aaab 从第二个下标开始a aa aab 从第三个 a ab 从第四个 b 使用set的唯一性,然后暴力遍历来去去重,从第一个下标开始截取aaab a aa aaa aaab…

代码随想录算法训练营第36天|738.单调递增的数字|968.监控二叉树|总结

代码随想录算法训练营第36天|738.单调递增的数字|968.监控二叉树|总结 738.单调递增的数字 https://programmercarl.com/0738.%E5%8D%95%E8%B0%83%E9%80%92%E5%A2%9E%E7%9A%84%E6%95%B0%E5%AD%97.html class Solution { public:int monotoneIncreasingDigits(int n) {string s…

R语言批量计算t检验,输出pvalue和均值

1.输入数据如下&#xff1a; 2.代码如下 setwd("E:/R/Rscripts/rG4相关绘图") # 读取CSV文件 data <- read.csv("box-cds-ABD-不同类型rg4-2.csv", stringsAsFactors FALSE)# 筛选出Type2列为指定五种类型的数据 filtered_data <- subset(data, …

【分类评估指标,精确率,召回率,】from sklearn.metrics import classification_report

from&#xff1a; https://zhuanlan.zhihu.com/p/368196647 多分类 from sklearn.metrics import classification_report y_true [0, 1, 2, 2, 2] y_pred [0, 0, 2, 2, 1] target_names [class 0, class 1, class 2] # print(classification_report(y_true, y_pred, targe…

学浪m3u8视频解密

学浪视频在网页上并不是mp4&#xff0c;而是以m3u8进行传输&#xff0c;使用m3u8可以有效解决服务器的压力&#xff0c;而且不仅仅是m3u8&#xff0c;还加密了key&#xff0c;需要逆向key算法得到真实key 下面是学浪m3u8视频解密的工具&#xff0c;全程自动化&#xff0c;不需…

MobileSAM 项目排坑

MobileSAM 项目排坑 任务过程记录创建环境交互式测试notebookV2测试 任务 把MobileSAM这个项目跑通&#xff0c;明天就可以集中学习SAM、MobileSAM、EfficientSAM和Segformer的论文和代码了。 过程记录 创建环境 老样子&#xff1a; git clone https://github.com/Chaonin…