三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

MeanFlow-TSE 论文复现指南:单步生成式目标说话人提取

MeanFlow-TSE 论文复现指南:单步生成式目标说话人提取

MeanFlow-TSE 论文复现指南:单步生成式目标说话人提取

摘要

MeanFlow-TSE 是一种基于均值流(Mean Flow)目标的新型单步生成式目标说话人提取框架。该方法在 AD-FlowTSE 的混合比感知轨迹的基础上,引入 α-Flow 课程学习策略,实现了从混合语音到目标说话人语音的单步高质量生成。本文对 MeanFlow-TSE 的核心原理进行系统解析,提供完整的 PyTorch 复现代码实现,并详细阐述数据处理、模型构建、训练策略和评估指标等关键环节。

一、引言

1.1 目标说话人提取任务定义

目标说话人提取(Target Speaker Extraction, TSE)旨在从多说话人混合音频中分离出特定目标说话人的语音,利用辅助信息如注册语音片段进行身份识别。给定一个单通道混合语音 y∈R^L,其数学表示为:

y = s + b

其中 s 为目标语音,b 为干扰成分(包括非目标说话人和背景噪声),L 为音频长度。TSE 系统利用参考提示 e(通常为预录制的注册语音)来识别目标说话人,估计出目标语音 ŝ = f_θ(y, e)。

1.2 从判别式到生成式的演进

传统 TSE 方法以判别式模型为主,通过学习时频掩码来提取目标语音。基于 Conv-TasNet 或 SepFormer 等主干网络,这些方法在信号级指标上取得了不错的效果,但往往引入伪影,并且泛化能力有限。

近年来,扩散模型和

← 返回列表