面向西班牙语易读文本生成的治理型多智能体简化系统

📅 2026/7/7 11:01:31 👁️ 阅读次数 📝 编程学习
面向西班牙语易读文本生成的治理型多智能体简化系统

面向西班牙语易读文本生成的治理型多智能体简化系统

摘要

本文介绍了 HULAT2-UC3M 团队参与 MER-TRANS 2026 西班牙语赛道的情况,该任务旨在进行多语言易读(Easy-to-Read, E2R)翻译。团队提交了三个全自动的西班牙语运行版本(runs)。RUN1 和 RUN2 采用了基于 LangGraph 的多智能体工作流,结合了 Gemini 2.5 Flash 和 RigoChat-7B-v2 模型、并行生成策略、内部质量信号、事件-条件-动作(Event–Condition–Action, ECA)路由、受控编辑和可追溯的决策。RUN1 使用了基础工作流,而 RUN2 则激活了一个基于术语表和词汇资源的额外词汇支持层。RUN3 是一个基于 RigoChat 的“生成-评估-再生成”基线系统,采用了提示工程和 LoRA 微调。

官方排行榜报告了 BLEU-Orig、BLEU-Gold、SARI 和 BERTScore 等指标。在开发阶段,还检查了额外的内部信号,包括语义保真度、可读性、词汇简洁性、句法清晰度和事实一致性。根据官方 SARI 分数,RUN1 是 HULAT2 表现最佳的运行版本,得分为 44.0543,其次是 RUN2(43.1049)和 RUN3(38.5136)。结果表明,在此任务设置下,信号引导的多智能体路由优于线性再生成基线。同时,增加词汇支持并未自动提升基于参考的分数。需要进一步的片段级和文档级分析来评估可读性、事实一致性和面向用户的充分性。

关键词:易读文本、文本简化、多智能体系统、西班牙语、无障碍、以人为本的自然语言处理

1. 引言

获取易于理解的信息对于参与社会、实现自主和获得公共服务至关重要。这对于有认知无障碍需求、阅读理解困难、识字率低、老年人、非母语人士以及面对不熟悉或专业内容的用户尤其重要。认知无障碍旨在减少理解、沟通和交互方面的障碍,并已在 ISO 21801-1:2020 等标准中得到规范化。在基于文本的沟通中,这些障碍通过“简明语言”(Plain Language, PL)、“易读”(Easy-to-Read, E2R)和自动文本简化等方法来解决。

PL 和 E2R 相关但不等同。PL 侧重于使信息对其目标受众清晰、易找、易懂和可用,如 ISO 24495-1:2023 所定义。E2R 通常对词汇、句法、布局和验证施加更严格的约束,尤其面向有阅读理解困难的人群。在西班牙,E2R 实践得到 UNE 153101:2018 EX 标准的支持,该标准为易读文档的制作和验证提供了建议。国际指南,如国际图联(IFLA)指南和欧洲包容组织(Inclusion Europe)的建议,也强调了清晰语言、简单结构和以读者为中心的验证的必要性。因此,面向无障碍的简化不应简化为词汇替换或句子缩短;它还涉及内容选择、思想间的明确关系、文档结构、术语控制以及保留相关信息。

自动文本简化已从基于规则和统计的方法发展到神经模型,最近则是大语言模型(LLMs)。LLMs 可以执行词汇替换、句子拆分、释义、删除次要信息和解释性重写。然而,基于 LLM 的简化也带来了风险:输出可能流畅且看似简单,但会遗漏相关信息、添加未经支持的解释、更改数字信息或改变源文本的含义。这在面向无障碍的设置中尤为重要,因为输出不仅要更简单,还必须可靠、可用且适合目标读者。在西班牙语方面,先前的工作探索了使用并行 E2R 资源、微调和专家定性评估的基于解码器的 LLM 进行易读文本生成。这些结果展示了基于 LLM 的简化的潜力,同时强调了术语支持和人工验证的必要性。

评估仍然是一个核心挑战。BLEU、SARI 和 BERTScore 等指标对于基准测试很有用,但它们只能捕捉到质量的部分方面。BLEU 奖励与参考文本的表面重叠,SARI 评估添加、保留和删除操作,而 BERTScore 通过上下文嵌入估计语义相似性。先前的研究表明,自动指标可能会惩罚有效的改写,并且不能完全捕捉改编后的文本是否更清晰、组织更好或对目标受众更有用。其他工作也指出,句子级评估对于文档级简化来说可能过于狭隘,并且应将简洁性和意义保留作为不同维度进行评估。以人为中心的评估研究进一步表明,专家判断、自动分数和实际读者理解可能存在差异。

最近的研讨会和共享任务为简化、可读性和无障碍性提供了更系统的评估环境。TSAR 系列巩固了文本简化、无障碍性和可读性的研究。TSAR 2025 包含一个关于可读性控制文本简化的共享任务,要求系统将文本改编到指定的欧洲共同语言参考框架(CEFR)水平,同时保留意义和流畅性。READI 2024 则针对有阅读困难人群的工具和资源,包括文档级简化和超越孤立句子的评估工作。在西班牙语背景下,CLEARS 2025 在 IberLEF 框架内处理了 PL 和 E2R 改编,使用语义相似性和 Fernández-Huerta 可读性指数作为官方指标。这些倡议表明,研究正从通用简化转向受控的、多语言的、特定语言的、面向无障碍的评估环境。它们也凸显了在语义保留、可读性、面向用户的充分性和参考对齐之间取得平衡的难度。

MER-TRANS 2026 将这一研究方向扩展到多语言易读翻译。该任务要求参与系统生成面向 E2R 的复杂文本改编版本,官方结果使用 BLEU-Orig、BLEU-Gold、SARI 和 BERTScore 报告。本文的贡献在于描述了 HULAT2-UC3M 团队提交给 MER-TRANS 2026 的西班牙语系统,该系统采用信号引导的多智能体架构进行受控的 E2R 生成,并分析了官方结果。

2. 任务与数据

MER-TRANS 2026 是 IberLEF 2026 的一部分。该共享任务使用了涵盖多语言易读改编和句子难度评估的数据资源。iDEM 语料库提供了人工标注的原始文本和易读文本,旨在支持民主参与过程。共享任务文档还包括 Khallaf 和 Sharoff 介绍的阿拉伯语句子难度分类数据集。

MER-TRANS 2026 评估用于从原始复杂文本生成易读(E2R)改编的自动系统。HULAT2-UC3M 仅提交了西班牙语运行版本,并且在官方推理期间未使用任何人工干预。

MER-TRANS 评估材料描述了共享任务的几个指标族,包括表面相似性指标、简化导向指标、语义相似性指标、可读性指标和复杂性分类器。然而,用于共享任务的官方评估器仓库计算的是 BLEU、SARI 和 BERTScore,发布的排行榜也报告了针对原始文本的 BLEU(BLEU-Orig)、针对黄金 E2R 参考的 BLEU(BLEU-Gold)、SARI 和 BERTScore。因此,本文使用这些排行榜指标报告官方结果。

SARI 对于简化尤其重要,因为它评估了相对于源文本和参考文本的添加、保留和删除操作。BLEU 提供了表面重叠信号,而 BERTScore 则提供了基于上下文嵌入的互补语义相似性信号。这些指标为任务提供了共享基准,但它们并不能完全捕捉面向无障碍的质量维度,如事实一致性、术语支持、可读性、文档连贯性或面向用户的充分性。

在开发阶段的评估中,HULAT2 系统的配置并非仅仅为了最大化官方分数。SARI、BLEU 和 BERTScore 被用作外部基准指标,而候选生成、路由和重试决策则由更广泛的内部质量信号指导,包括简化、语义相似性、事实一致性和可读性指标。在 MER-TRANS 实验中,这些开发阶段的信号被用于支持提示校准、事件-条件-动作(ECA)路由、重试条件和定性错误分析。

3. 系统描述

本节描述了 HULAT2-UC3M 团队提交给 MER-TRANS 2026 西班牙语赛道所使用的资源、实证证据基础和系统配置。本节首先介绍开发期间使用的资源,然后总结提交的运行版本,最后描述多智能体工作流和基线系统。

3.1 资源与证据基础

为了进行系统校准、提示微调和术语表构建,使用了与机构、公民和公共信息背景相关的公开西班牙语 E2R 材料。这些资源支持了对句子分段模式、解释性表述、词汇选择和重复出现的 E2R 惯例的分析。它们包括《西班牙宪法易读版》、公民参与指南、选举参与材料以及由 Plena Inclusión 和公共行政部门发布的备考材料。附录 A 提供了用于校准和词汇支持的公共资源的详细列表。

部分材料被用于构建 HULAT-UC3M 内部的学习词汇和简短解释形式术语表。该术语表在 RUN2 中用作词汇支持。RUN2 还纳入了西班牙语医学词汇简化资源。尽管 MER-TRANS 的主要领域不是医学,但这些资源作为困难术语的额外词汇简化材料和解释性释义很有用。这些资源并非官方 MER-TRANS 测试集的一部分。

除了这些文本资源外,系统设计还借鉴了先前为无障碍文本生成编译的实证证据基础。该证据基础包括用户研究、标注资源和面向无障碍的评估结果,并被操作化为质量信号、清单、ECA 规则和无障碍简化的审查标准。在 MER-TRANS 运行中,此证据并未在官方推理期间用作人工干预,而是作为提示调整、路由规则、重试条件和定性分析的开发阶段支持。

3.2 提交的运行版本

共提交了三个西班牙语运行版本。RUN1 使用了基于 LangGraph 的多智能体基础工作流,包含并行生成、候选评估、ECA 风格的路由和受控编辑。RUN2 使用了相同的工作流,但在生成前激活了词汇智能体,以测试基于术语表和词汇资源的支持是否能改善基础配置。RUN3 是一个独立的基于 RigoChat 的“生成-评估-再生成”基线,旨在将多智能体路由策略与更线性的简化流水线进行比较。

表 1 在流水线级别总结了提交的配置。该表区分了 RUN1 和 RUN2 使用的多智能体工作流与 RUN3 使用的线性基线工作流,并指明了哪些阶段是共享的、可选的或每个运行版本独有的。

表 1:HULAT2-UC3M 提交配置的流水线级描述

流水线阶段阶段或模块主要资源或模型功能运行版本
RUN1 和 RUN2 使用的多智能体工作流
可选词汇支持词汇智能体术语表和词汇资源在生成前检测困难术语并提出词汇支持。当词汇智能体被禁用时,此阶段被跳过。RUN2
预分析预分析模块基于规则的特征提取检测结构、词汇和事实风险特征,包括句子长度、标点复杂性、数字、日期、否定、条件和术语表术语。RUN1, RUN2
并行生成生成器 AGemini 2.5 Flash生成一个保守的、面向简明语言的候选,优先考虑意义保留和最小化改写。RUN1, RUN2
并行生成生成器 BRigoChat-7B-v2生成一个结构简化的候选,优先考虑句子拆分、直接性和降低词汇难度。RUN1, RUN2
并行生成生成器 CGemini 2.5 Flash生成一个面向易读的候选,以短句、常用词汇、明确结构和可操作的 CEFR A2 级目标为指导。RUN1, RUN2
候选评估候选评估器内部质量信号使用语义、事实、句法、词汇、可读性和鲁棒性信号评估候选。RUN1, RUN2
路由与控制ECA 路由事件-条件-动作规则根据检测到的质量概况和风险信号,选择、编辑、合并或重试候选。RUN1, RUN2
受控编辑合并编辑器受限编辑提示仅当检测到互补改进且无语义风险信号时,才应用最小受控编辑或融合候选。RUN1, RUN2
最终验证最终评估器内部验证信号在生成最终输出前,重新检查事实一致性、语义保留和鲁棒性。RUN1, RUN2
RUN3 使用的线性基线工作流
生成基线生成器RigoChat-7B-v2 (提示工程和 LoRA 微调)使用受控的基线配置生成面向易读的输出。RUN3
质量控制基线评估器内部可读性和语义保留检查使用内部质量标准评估生成的输出,包括可读性、语义保留和关键错误检查。RUN3
再生成再生成循环再生成提示当内部质量标准未满足时,尝试再生成。RUN3
3.3 多智能体工作流

RUN1 和 RUN2 使用相同的基于 LangGraph 的多智能体架构生成。LangGraph 用于实现一个有状态的、具有专用节点、条件路由、重试循环和可追溯中间决策的工作流。该系统结合了 Gemini 2.5 Flash 和 RigoChat-7B-v2。RigoChat-7B-v2 是一个基于 Qwen2.5-7B-Instruct 并针对西班牙语查询进一步调整的西班牙语导向模型。

  • 工作流概览

  • 图 1 总结了用于 MER-TRANS 2026 西班牙语提交的工作流。一个演示工作流执行和可追溯决策的视频可在线获取。词汇智能体是可选的:在 RUN1 中被禁用,在 RUN2 中被启用。该图还显示了基于规则的监督者的角色、自动评估信号的使用以及从候选生成到最终输出的受控路径。

  • 证据驱动的信号和控制规则
    其中一些信号、规则和阈值范围由实证证据基础提供信息。特别是,该证据支持了质量优先级、清单、ECA 风格规则以及无障碍简化的接受、警告、重试和拒绝标准的定义。其他信号被定义为操作启发式方法,以在 MER-TRANS 配置期间控制生成鲁棒性、词汇难度、句子结构和不受支持的内容。

    在此配置中,高风险的语义和事实信号被视为更严格的约束,而句法、词汇和 E2R 格式信号则被视为开发期间的可校准标准。信号分类法、ECA 规则规范和阈值配置在 Zenodo 归档的随附材料中有详细说明。在本文中,操作信号类别和决策逻辑在解释提交运行所需的级别上进行报告,而扩展的技术规范则作为补充材料提供。

  • 并行生成策略
    三个候选生成器并行启动。生成器 A 使用 Gemini 2.5 Flash,采用保守的、面向简明语言的策略,优先考虑意义保留、清晰度和最小化改写。生成器 B 使用 RigoChat-7B-v2,采用更积极的、面向简明语言的策略,旨在简化句子结构、降低词汇难度并提高直接性,同时保留源文本含义。

    生成器 C 使用 Gemini 2.5 Flash,采用面向易读的策略,以西班牙 UNE 153101 建议为指导,并以接近 CEFR A2 的目标语言概况为目标。CEFR A2 标准被用作操作性语言复杂性目标,而非实际阅读理解能力的证据。因此,第三种策略结合了 E2R 导向的约束、短句、常用词汇、明确结构、适当时的视觉分段,以及用于意义保留和事实一致性的内部检查。

    候选多样化旨在在选择或完善最终输出之前,比较保守的、面向简明语言的和面向易读的重写行为。

  • 候选评估与路由
    每个候选都由候选评估器进行评估。评估器不依赖单一的质量分数,而是依赖于与语义和事实保留、句法清晰度、词汇简洁性、可读性和鲁棒性相关的内部信号组。这些信号包括对数字、日期、否定和条件的保留检查;句子长度和拆分指标;困难词和术语表相关指标;可读性支持信号;不受支持内容的启发式检查;以及重复或意外脚本更改的鲁棒性检查。

    路由组件对这些信号应用 ECA 风格的规则。有三种主要的路由策略可用。在 V1 中,选择最佳候选而不作修改。在 V2 中,选择一个候选作为基础,并使用另一个候选作为支持进行最小化编辑。在 V3 中,仅当两个候选提供互补改进且未检测到语义风险信号时,才将它们合并。当语义保留、句法清晰度、词汇简化或 E2R 格式不足时,路由也可能触发有针对性的重试。

  • 受控编辑与最终验证
    合并编辑器仅在受控条件下使用。它接收原始文本、选定的基础候选、替代候选和一组允许的改进。其作用不是自由重写文本,而是在保留相关信息、数字、日期、否定、条件和领域特定术语的同时,进行最小化编辑或受控融合。

    最终评估器在提交前验证选定或编辑后的输出。与事实一致性、语义保留和生成鲁棒性相关的关键信号在此阶段被重新计算。最终决策与所选策略、操作和跟踪信息一起被记录。这些跟踪信息在开发期间用于定性检查和规则校准,但在官方推理期间未使用人工干预。

    此工作流用于 RUN1 和 RUN2。两个提交配置之间唯一的架构差异是 RUN2 中激活了词汇智能体,在生成前引入了基于术语表和词汇资源的支持。

    本节描述的工作流对应于 MER-TRANS 2026 西班牙语提交所遵循的策略。它不应被解释为更广泛的 HULAT-UC3M 无障碍文本生成基础设施的唯一可能策略。其他配置、提示、路由规则、验证标准和人工监督机制可能会根据领域、目标用户、可用参考和部署约束在非竞争场景中使用。

    信号分类法、ECA 规则规范和阈值配置在随附的补充材料中有详细说明。

3.4 基线系统

RUN3 被实现为一个线性的“生成-评估-再生成”基线。它使用了带有提示工程策略、后处理和 LoRA 微调的 RigoChat-7B-v2,LoRA 是一种参数高效的微调技术,它冻结基础模型并在模型层中注入可训练的低秩矩阵。

LoRA 适配器使用公开的西班牙语 E2R 材料进行训练,主要是西班牙宪法的原始版和易读版。内部拆分包含 169 篇对齐的文章:126 篇用于训练,43 篇用于内部测试。在开发期间,在相同的 LoRA、提示和质量控制条件下比较了 RigoChat-7B-v2 和 Latxa-Qwen3-VL-8B-Instruct。尽管 Latxa 在某些配置中获得了更高的内部 SARI 和 MeaningBERT 分数,但 RigoChat-7B-v2 因其产生更稳定的输出、更少的重复和截断而被选为 RUN3。

最终的 RUN3 配置使用了带有 LoRA 适配器的 RigoChat-7B-v2、明确的 A2/E2R 导向提示、受控的生成参数,以及当内部质量标准未满足时激活的再生成提示。生成参数被设置为有利于受控输出:max_new_tokens=512,temperature=0.3,top_p=0.85,top_k=10,repetition_penalty=1.25,no_repeat_ngram_size=3length_penalty=0.8。质量控制模块使用 Fernández-Huerta 和 MeaningBERT 检查可读性和语义保留,并检测关键错误,如重复、截断、语言混合、数字或日期丢失以及过度信息丢失。最多尝试两次再生成。

4. 实验设置

在开发期间,系统的配置并非仅仅为了最大化官方的 MER-TRANS 分数。官方风格的指标被用作外部基准指标,但没有单一指标被视为 E2R 质量的完整代理。面向无障碍的简化还需要检查输出是否保留意义、避免不受支持的添加、简化句法和词汇,并且对目标受众仍然可读。

为了支持这种更广泛的观点,HULAT-UC3M 的bilingual_simplification_metrics框架被用作开发阶段的支持工具。在校准期间,当有配对的源-参考数据可用时,使用 SARI、BLEU 和 BERTScore 等基于参考的指标来比较候选行为并调整提示、路由规则和重试条件。这些指标在官方测试推理期间不可用,因为黄金参考未提供给参与者。

在官方推理期间,路由决策主要由从源文本和候选输出计算的无参考内部信号指导。这些信号也受到第 3.1 节中描述的实证证据基础的影响,该基础支持了质量优先级、清单和 ECA 风格控制规则的定义。在开发和校准期间,当所需的输入和模型配置可用时,还检查了bilingual_simplification_metrics框架中可用的其他语义和事实一致性指标,包括 MeaningBERT、AlignScore、QuestEval 和 SummaC。

对于 MER-TRANS 官方推理设置,用于路由的内部信号被分为五个操作类别:

  • 语义和事实保留:语义保留支持信号以及对数字、日期、否定、条件和源支持内容的检查。
  • 可读性:Fernández-Huerta 可读性和相关句子级指标。
  • 句法清晰度:句子长度、标点复杂性和拆分行为。
  • 词汇简洁性:困难词比例、术语表命中、未解决的困难术语和词汇替换行为。
  • 鲁棒性:重复片段、意外脚本和其他生成错误。

这些开发阶段的指标和推理阶段的信号被用于校准提示、定义重试条件并通过 ECA 风格规则路由候选输出。例如,一个具有足够意义保留但句子过长的候选可能会触发结构简化操作;一个具有未解决术语表术语的候选可能会激活词汇支持;一个具有事实风险信号的候选可能会被拒绝或发送到保守的重试。

因此,内部信号被用于配置和控制系统的,而不是作为替代的官方分数。第 5 节中报告的官方结果仅对应于由组织者计算的排行榜指标。

5. 结果

表 2 隔离了三个 HULAT2-UC3M 运行的官方结果,以便直接比较提交的配置。表 3 然后将这些运行置于完整的西班牙语排行榜中。

表 2:三个 HULAT2-UC3M 配置的官方 MER-TRANS 西班牙语结果

运行版本BLEU-OrigBLEU-GoldSARIBERTScore
RUN154.3238.2144.050.912
RUN253.8737.9543.100.909
RUN348.1532.4038.510.895

根据官方 SARI 分数,RUN1 是 HULAT2 表现最佳的运行版本,得分为 44.0543,其次是 RUN2(43.1049)和 RUN3(38.5136)。结果表明,在此任务设置下,信号引导的多智能体路由优于线性再生成基线。同时,增加词汇支持(RUN2)并未自动提升基于参考的分数。需要进一步的片段级和文档级分析来评估可读性、事实一致性和面向用户的充分性。

6. 讨论与分析

本次实验揭示了几个关于面向无障碍的自动文本简化的关键发现:

  1. 多智能体路由的有效性:RUN1 的成功表明,将生成任务分解为并行策略(保守改写、结构简化、E2R 导向重写),并通过 ECA 规则进行动态路由和评估,能够比单一的线性生成(RUN3)更好地平衡语义保留与可读性。
  2. 词汇支持的边际效应:尽管 RUN2 引入了术语表和词汇资源,但其官方分数并未超越 RUN1。这可能是因为自动指标(如 BLEU 和 SARI)难以完全捕捉词汇替换在特定上下文中的有效性,或者是因为额外的词汇干预在某些情况下引入了轻微的句法复杂性。
  3. 指标与真实无障碍需求的差距:虽然 BERTScore 和 SARI 提供了有用的基准,但真正的 E2R 文本需要满足严格的认知无障碍标准(如 UNE 153101:2018)。未来的工作必须将自动指标与面向目标受众的人工评估(如认知障碍用户的理解度测试)相结合。
7. 结论

本文介绍了 HULAT2-UC3M 团队在 MER-TRANS 2026 西班牙语赛道中的系统设计与实验结果。我们提出并验证了一个治理型多智能体简化系统,该系统通过并行生成、内部质量信号评估和受控编辑,有效提升了复杂文本向易读文本转换的质量。

实验结果表明,信号引导的多智能体工作流在官方排行榜上优于传统的线性“生成-评估-再生成”基线。尽管在开发阶段引入了多种语义和事实一致性检查,未来的研究仍需进一步探索如何更好地将自动评估指标与真实用户的无障碍阅读体验对齐。