论文题目：ChatLaw: Open-Source Legal Large Language Model with Integrated External Knowledge Bases
  论文日期：2023/06/28
  官网地址：https://www.chatlaw.cloud
  论文地址：https://arxiv.org/abs/2306.16092
  GitHub地址：https://github.com/PKU-YuanGroup/ChatLaw

Abstract

  LLM已经展现出在各个领域彻底改变自然语言处理任务的潜力，引发了人们对特定于垂直领域的大模型的极大兴趣。然而，与BloombergGPT和FinGPT等专有模型利用其独特的数据积累在金融领域取得进展不同，在中国法律领域并没有太多类似的大语言模型来促进其数字化转型。
  这篇论文提出了一个开源的法律大型语言模型----ChatLaw。由于数据质量的重要性，作者精心设计了一个法律领域微调数据集。此外，针对参考数据检索时法律数据筛选出现的模型幻觉问题，提出了向量库检索与关键词检索相结合的方法，有效降低了单纯依靠向量库检索的不准确性。此外，提出一种自注意力方法来增强大模型克服参考数据中存在的错误的能力，在模型层面进一步优化模型幻觉问题，提高大模型解决问题的能力。

  将大模型应用于垂直领域的第一步：需要一个质量较高的垂直领域数据集来微调LLM。

1. Introduction

  人工智能的不断拓展和发展，为大规模语言模型的扩散提供了肥沃的土壤。ChatGPT、GPT4、LLaMA、Falcon 、Vicuna、ChatGLM等模型在各种常规任务中表现出了卓越的性能，为法律领域释放了巨大的潜力。然而，很明显，获取高质量、相关和最新的数据是开发大型语言模型的一个关键因素。因此，开发有效和高效的开源法律语言模型变得至关重要。
  在人工智能领域，大模型的发展已经渗透到医疗保健、教育和金融等各个领域：BloombergGPT、FinGPT、Huatuo、ChatMed，这些模型已经证明了它们在处理复杂任务和产生有价值的见解方面的作用和影响。然而，法律领域由于其固有的重要性和对准确性的要求，成为一个需要专门研究和发展专门法律模式的领域。
  法律在塑造社会、规范人类交往和维护正义方面发挥着关键作用。法律专业人士依靠准确和最新的信息作出明智的决定，解释法律，并提供法律顾问。法律语言的复杂性、微妙的解释以及不断变化的立法性质提出了独特的挑战，需要有针对性的解决方案。
  然而，当涉及到法律问题时，即使是像GPT4这样最先进的模型，也经常会出现幻觉和荒谬输出的现象。人们倾向于相信使用特定的领域知识对模型进行微调会产生令人满意的结果。然而，在现实中，早期的法律LLM(LawGPT)并非如此，因为仍然存在许多幻觉和不可靠输出的实例。
  作者最初认识到中文法律LLM的必要性。然而，在当时，还没有商业上可用的中文模型参数规模超过130亿。因此，在商业上可行的OpenLLAMA模型的基础上，通过扩展中文词汇并合并来自MOSS等来源的训练数据，这些能够创建一个基础的中文语言模型。随后，结合法律相关数据来训练法律模型----ChatLaw。
  这篇论文的主要贡献如下：
  (1) 减轻幻觉的有效方法(Effective Approach to Mitigate Hallucination)：提出一种解决幻觉的方法，通过增强模型的训练过程并在推理过程中纳入四个模块：“咨询(consult)”、“参考(reference)”、“自我暗示(self-suggestion)” 和 “响应(response)”。通过参考模块集成垂直模型和知识库，将特定领域的知识注入到模型中，并利用知识库中的准确信息，减少幻觉的发生。
  (2) 基于LLM的法律特征词提取模型：训练一个从用户日常语言中提取法律特征词的模型。该模型识别出具有法律意义的词语，能够有效识别和分析用户输入中的法律语境。
  (3) 基于BERT的法律文本相似度计算模型：训练一个模型来衡量用户日常语言与由93万篇相关法律案件文本组成的数据集之间的相似度。这样就可以建立一个矢量数据库，以便有效地检索类似的法律文本，促进进一步的分析和参考。
  (4) 中文法律考试测试数据集的构建：策划了一个专门用于测试中文法律领域知识的数据集。此外，设计了一个ELO竞技场评分机制来比较不同模型在法律选择题中的表现。
  此外，作者观察到单个通用法律LLM可能无法在该领域的所有任务中发挥最佳性能。因此，针对多项选择题、关键提取、问答等不同场景，训练了不同的模型。为了处理这些模型的选择和部署，使用了HuggingGPT提供的方法，使用一个大型LLM作为控制器。该控制器模型根据每个用户的请求动态地确定调用哪个特定的模型，确保给定的任务使用最合适的模型。

2. Dataset

  在构建数据集的过程中，采用了多种方法来保证数据集的全面性和多样性。数据集组合方法如下：
  收集大量原始法律数据(Collection of a vast amount of original legal data)：包括收集法律新闻、社交媒体内容和法律行业论坛的讨论。这些来源提供了各种各样的现实世界的法律文本，提供了各种法律主题和讨论的见解。

  基于法律法规和司法解释构建(Construction based on legal regulations and judicial interpretations)：为确保法律知识的全面覆盖，将相关法律法规和司法解释纳入数据集。这确保了数据集反映了法律框架，并提供了准确和最新的信息。

  爬取真实的法律咨询数据(Crawling real legal consultation data)：检索真实的法律咨询数据，利用现有的法律咨询数据集。这使得包含用户经常遇到的现实世界的法律场景和问题，用实际的法律例子丰富数据集。

  司法考试多项选择题的构建(Construction of multiple-choice questions for the bar exam)：创建了一套专门为司法考试设计的多项选择题。这些问题涵盖了各种法律主题，测试用户对法律原则的理解和应用。

  通过合并来自这些不同来源和构建方法的数据，该数据集包含了广泛的法律背景，确保所开发的模型能够有效地理解和处理各种法律场景。
  一旦这些数据组件被收集起来，数据集将经历一个严格的清洗过程。这包括过滤短的和不连贯的回复，确保只包含高质量和有意义的文本。此外，为了增强数据集，利用ChatGPT API进行辅助构造，使其能基于现有数据集生成补充数据。

3. Training Process

  关键词LLM是从用户提出的抽象咨询问题中提取关键词的语言模型。另一方面，LawLLM提取可能涉及用户咨询的法律术语。ChatLaw LLM是向用户输出响应的最终语言模型。它参考相关法律条款，利用自身的摘要和问答功能，为用户在咨询中提供建议。

3.1 ChatLaw LLM

  为了训练ChatLAW，作者在Ziya-LLaMA-13B的基础上使用低秩自适应(LORA)对其进行了微调。此外，引入了自我暗示角色来进一步缓解模型幻觉问题。训练过程在多个A100 GPU上进行，并借助deepspeed进一步降低训练成本。

3.2 Keyword LLM

  通过将特定于垂直领域的LLM与知识库相结合来创建ChatLaw产品，根据用户查询从知识库中检索相关信息至关重要。作者最初尝试了传统的软件开发方法，如MySQL和Elasticsearch进行检索，但效果并不理想。因此，作者尝试了使用预训练的BERT模型进行embedding，然后使用Faiss等方法计算余弦相似度并提取与用户查询相关的前k个法律法规。然而，当用户的问题比较模糊时，这种方法往往会产生次优的结果。因此，本文旨在从用户查询中提取关键信息，并利用这些信息的向量嵌入设计算法来提高匹配精度。
  由于大型模型在理解用户查询方面的显著优势，作者对LLM进行了微调，以从用户查询中提取关键字。在获取多个关键词后，采用如下算法来检索相关法律条文：

3.3 Law LLM

  使用937k条国家案例的数据集训练BERT模型，从用户查询中提取相应的法律条款和司法解释。这个Law LLM模型构成了ChatLaw产品的重要组成部分。

4. Experiment and Analysis

  评估大型语言模型(LLM)的性能一直是一个挑战。为此，收集了十多年来的国家司法考试试题，并编制了一个包含2000个问题及其标准答案的测试数据集，以衡量模型处理法律多项选择题的能力。
  然而，作者发现这些模型的准确率通常都很低。在这种情况下，简单地比较准确率似平没有什么意义。因此，受电子竟技中的撮合机制和聊天机器人Arena 的设计启发，建立了ELO积分模型竞赛的评估机制，以更有效地评估模型处理合法多项选择题的能力。
  通过对上述实验结果的分析，可以得出以下结论：
  (1) 引入法律相关问答和法规数据，可以在一定程度上提高模型在多项选择题上的表现；
  (2) 添加用于训练的特定任务类型显著提高了模型在此类任务上的性能。例如，ChatLaw模型优于GPT-4的原因是作者使用了大量的多项选择题作为训练数据；
  (3) 法律选择题需要复杂的逻辑推理，因此参数数量较多的模型通常表现更好。

5. Conclusions

  这篇论文提出ChatLaw，一个利用法律领域知识开发的大型法律语言模型。具体地，提出了一种将LLM与向量知识库相结合的新方法，显著缓解了LLM中常见的幻觉问题。稳定的模型处理策略使各种法律领域问题的解决成为可能。发布了一个法律类多项选择题数据集，并设计了ELO模型排序机制。
  然而，由于基本模型的规模较大，作者模型的局限性出现了：在逻辑推理和演绎等任务中的表现不是最佳的。此外，在加入大量领域数据后，还需要进一步研究以提高ChatLaw对通用任务的泛化能力。ChatLaw存在潜在的社会风险，作者建议用户将这个方法用于适当的目的。