三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

Can large audio language models understand child stuttering speech? speech summarization, and sou...

Can large audio language models understand child stuttering speech? speech summarization, and sou...

文章核心总结与创新点

一、主要内容

本文聚焦大型音频语言模型(LALMs)在口吃儿童语音处理中的表现,围绕两个核心任务展开研究:一是单通道源分离(从儿童-成人混合语音中分离儿童语音),二是儿童专属摘要生成(保留临床相关不流畅特征、避免成人语音泄露)。研究采用两种场景(儿童朗读任务、儿童-成人访谈任务),评估了5种音频优先LALMs(Qwen2-Audio、SALMONN等)和1种文本优先基线模型,通过自动指标(BERTScore、ROUGE)、LLM作为评判者(Qwen2-7B等)及人类专家评分的三重评估框架,分析模型在内容准确性、说话人纯度、临床实用性等维度的表现。结果显示,Audio Flamingo 3(AF3)整体表现最优,Kimi Audio在访谈场景、SALMONN在朗读场景分别展现优势,而GAMA表现持续滞后;LLM评判者中Llama 3.2与人类评估一致性最高。

二、创新点

  1. 首次系统探索LALMs在口吃/流畅性障碍儿童语音中的应用,填补了该领域研究空白。
  2. 提出带说话人纯度约束的儿童专属摘要生成任务,设计了文本优先和音频优先两种可复现流程。
  3. 构建多维度评估框架,融合自动指标、LLM评判与人类专家评分,涵盖内容覆盖度、说话人纯度、临床实用性等核心维度,并验证了LLM评判者的可靠性。
  4. 公开了提示词、评估脚本等复现资源,为临床和教育场景中LALMs工具的部署提供实用指导(如模型选择、提示词设计、源分离质量优先级等)。

文章关键部分翻译(Markd

← 返回列表