如何快速上手LFM2.5-Embedding-350M-8bit：5分钟完成多语言文本相似度计算

【免费下载链接】LFM2.5-Embedding-350M-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-Embedding-350M-8bit

LFM2.5-Embedding-350M-8bit是一款基于MLX框架的高效8位量化多语言嵌入模型，能够在Apple Silicon设备上实现快速的文本相似度计算。该模型支持英语、西班牙语、德语、法语、意大利语、葡萄牙语、阿拉伯语、瑞典语、挪威语、日语和韩语等多种语言，特别适合需要本地部署的开发者和研究人员使用。

🚀 为什么选择LFM2.5-Embedding-350M-8bit？

这款模型具有以下显著优势：

• 高效量化：采用8位量化技术，模型大小仅为377MB，相比原始bf16版本减少47%存储空间，同时保持几乎相同的性能（NDCG@10保留率100.1%）
• 多语言支持：支持11种语言的文本嵌入和相似度计算
• 本地部署：专为Apple Silicon优化，可在本地设备高效运行，保护数据隐私
• 高精度：在MIRACL和NanoBEIR等标准数据集上表现优异，8位量化版本性能甚至略优于原始模型

📋 准备工作

系统要求

• Apple Silicon设备（M系列芯片）
• macOS系统
• Python 3.8或更高版本
• MLX框架

安装步骤

首先克隆项目仓库：

git clone https://gitcode.com/hf_mirrors/mlx-community/LFM2.5-Embedding-350M-8bit cd LFM2.5-Embedding-350M-8bit

然后安装所需依赖：

pip install mlx sentence-transformers transformers

🔍 快速开始：文本相似度计算

基本使用方法

以下是使用LFM2.5-Embedding-350M-8bit计算文本相似度的简单示例：

import mlx.core as mx from sentence_transformers import SentenceTransformer from lfm2_bidirectional import EmbeddingModel # 加载模型 model = SentenceTransformer( model_name_or_path="./", local_files_only=True, model_kwargs={"device": "mps"} ) # 示例文本 sentences = [ "The quick brown fox jumps over the lazy dog", "Un renard brun rapide saute par-dessus un chien paresseux", # 法语翻译 "Ein schneller brauner Fuchs springt über den faulen Hund", # 德语翻译 "The sun is shining brightly today" ] # 生成嵌入向量 embeddings = model.encode(sentences) # 计算相似度 from sklearn.metrics.pairwise import cosine_similarity similarity_matrix = cosine_similarity(embeddings) # 打印结果 print("相似度矩阵:") for i in range(len(sentences)): for j in range(len(sentences)): print(f"句子 {i+1} 和句子 {j+1} 的相似度: {similarity_matrix[i][j]:.4f}")

输出解释

上述代码将生成一个4x4的相似度矩阵，其中值越接近1表示两个句子的语义相似度越高。你会发现前三个句子（同一句子的不同语言版本）之间的相似度明显高于它们与第四个句子的相似度。

⚙️ 模型配置详解

LFM2.5-Embedding-350M-8bit的核心配置信息可以在config.json和config_sentence_transformers.json文件中找到。主要参数包括：

• 模型类型：SentenceTransformer
• 池化方式：CLS token池化（取第一个token的输出）
• 向量维度：1024维
• 相似度计算：余弦相似度
• 量化方式：8位仿射量化（group size 64）

📊 性能评估

根据项目README.md中的评估数据，8位量化版本在多个数据集上表现优异：

• NDCG@10：0.729（相对于bf16版本保留率100.1%）
• Recall@10：0.775（相对于bf16版本保留率100.0%）
• 模型大小：377MB（相比bf16版本的709MB减少47%）

多语言性能在MIRACL数据集上尤为突出，对西班牙语、德语、日语和阿拉伯语的NDCG@10评分均保持在0.89以上。

📝 许可证信息

本项目采用LFM Open License v1.0许可，详细信息请参阅LICENSE文件。使用前请确保符合许可条款，特别是商业使用的相关规定。

💡 使用提示

1. 输入格式：模型对输入文本有特定的提示格式，查询使用"query: "前缀，文档使用"document: "前缀
2. 批量处理：对于大量文本，建议进行批量处理以提高效率
3. 结果归一化：默认情况下，模型输出会进行L2归一化，便于直接计算余弦相似度
4. 长文本处理：对于过长的文本，建议先进行分段处理再计算嵌入

通过以上步骤，你可以在5分钟内完成LFM2.5-Embedding-350M-8bit的部署和使用，实现高效准确的多语言文本相似度计算。无论是构建搜索引擎、推荐系统还是多语言文本分析工具，这款模型都能提供强大的支持。

【免费下载链接】LFM2.5-Embedding-350M-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-Embedding-350M-8bit