运动想象 (MI) 分类学习系列 (8) :IFNet

运动想象分类学习系列:IFNet

0. 引言
1. 主要贡献
2. 提出的方法
- 2.1 交互式频率卷积神经网络
- - 2.1.1 光谱空间特征表示
  - 2.1.2 跨频交互
  - 2.1.3 分类（一个池化+分类层）
- 2.2 重复试验增强
3. 实验
- 3.1 基线比较
- 3.2 消融实验
- - 3.2.1 数据增强消融
  - 3.2.2 条带分割消融
  - 3.2.3 交互算子的烧蚀
4. 总结
欢迎来稿

论文地址：https://ieeexplore.ieee.org/abstract/document/10070810
论文题目：IFNet： An Interactive Frequency Convolutional Neural Network for Enhancing Motor Imagery Decoding from EEG
论文代码：https://github.com/Jiaheng-Wang/IFNet

0. 引言

基于脑电图（EEG）的脑机接口（BCI）的运动意象（MI）解码的关键原理是联合高效地从频谱、空间和时间域中提取任务判别特征，而有限、噪声和非平稳的脑电图样本对解码算法的先进设计提出了挑战。方法：受跨频耦合概念及其与不同行为任务的相关性的启发，该文提出一种轻量级交互式频率卷积神经网络（IFNet）来探索跨频交互以增强MI特征的表示。IFNet首先分别提取低频段和高频段的光谱空间特征。然后，使用逐个元素加法操作学习两个波段之间的相互作用，然后进行时间平均池化。结合作为正则化器的重复试验增强，IFNet为最终的MI分类提供了光谱-时空-鲁棒的特征。

总得来说，有一定的借鉴价值，包括频带分成了两个而不是如FBCSP那样区分，另外特征增强方法有点意思，基础框架还是EEGNet！所以EEGNet永远的神！！！

另外，对于模型这里频带的选择可能是参考FBCSP的，但是又跟节律扯上关系，我是觉得有点难以理解的，mu节律和beta节律被分割开了，所以很难解释清楚，有兴趣的同学可以按照节律的思路测试一下。。。。

1. 主要贡献

我们提出了一种轻量级交互式频率卷积神经网络（IFNet） 来探索跨频相互作用，以增强 MI 任务的频谱-时空鲁棒表示。
我们引入了重复试验增强作为正则化器，以缓解网络训练期间由有限和嘈杂的脑电图样本引起的过拟合。
我们在两个基准数据集上对最先进的MI解码算法进行了广泛的实验，证明了所提出的IFNet的有效性和优越性。此外，它在解码速度和准确性之间实现了最佳权衡。最后但并非最不重要的一点是，我们验证了IFNet学习神经生理学上可解释的特征。

2. 提出的方法

2.1 交互式频率卷积神经网络

受跨频耦合(CFC)概念和EEGNet高效设计的启发，我们提出了IFNet来有效和高效地捕获光谱-时空-时间判别特征。IFNet由三个阶段组成：光谱空间特征表示、跨频交互和分类。IFNet的架构如下图所示。
在这里插入图片描述
具体参数如下：

注意：这里平均池化层的stride也设置为125。

2.1.1 光谱空间特征表示

为了实现显式频带相互作用，我们将脑电图信号分为两个特征频带。由于脑振荡通常被归类为特定频段（delta：<4 Hz、θ：4-7 Hz、alpha：8-12 Hz、beta：12-30 Hz、γ：>30 Hz），脑电信号首先分别滤波为低频（4-16 Hz）和高频（16-40 Hz）频段。这两个波段的选择涵盖了与 MI 特征最相关的 mu 和 beta 节奏。我们采用空间滤波，然后采用时间滤波来学习光谱空间判别模式。具体来说，在我们的实现中，X 被视为具有多通道的时间维度的一维图像。然后，通过以下方式产生光谱空间特征：
$\begin{align*} U_{l} &= \widehat { \mathcal {F}_{t} } \left ({ \widehat { \mathcal {F}_{s} } (X_{l}) }\right ) \\ U_{h} &= \widetilde { \mathcal {F}_{t} } \left ({ \widetilde { \mathcal {F}_{s} } (X_{h}) }\right ) \tag{1}\end{align*}$
其中， $X_{l}$ 表示低频信号， $X_{h}$ 表示高频信号, $\widehat {\mathcal {F}_{s}}$ 和 $\widehat {\mathcal {F}_{t}}$ 分别表示一维逐点空间卷积和一维深度时间卷积。它们之后都跟着批量归一化（BN）层。

2.1.2 跨频交互

为了增强光谱空间特征的表示能力，我们对不同频段之间的相互作用进行了建模。具体来说，我们研究了各种交互算子。

Summation（求和）： $I(U_l,U_h)=U_l+U_h$
Concatenation（串联）： $I(U_l,U_h)=[U_l,U_h]$
Hadamard product（Hadamard 算子）： $I(U_l,U_h)=U_l⊙U_h$
Linear projection（线性投影）： $I(U_l,U_h)=W_lU_l+W_hU_h$
Split attention（分散注意力）：采用 Fuse 和 Select 算子。

2.1.3 分类（一个池化+分类层）

虽然传统的 MI 解码方法通常使用方差作为时间特征，但池化广泛用于 CNN 中的信息聚合。因此，我们采用非重叠窗口大小W 以提取稳健的时间表示。由于脑电图的振荡节律可以在短时间内假设为静止信号，因此在这项工作中，W 在 250 Hz 采样率下设置为 125，表示 0.5 秒长的 EEG 特征。
注意：这里池化层的stride也设置为125。