小样本学习的实例可信度推理
- 作者
- 摘要
- 1. Introduction
- 2. Related Work
作者
摘要
小样本学习（FSL）旨在识别每个类别极其有限的训练数据的新对象。以前的努力是通过利用元学习范式或数据增强中的新原理来缓解这个极其缺乏数据的问题。相比之下，本文提出了一种简单的统计方法，称为实例可信度推断（ICI），以利用未标记实例的分布支持进行小样本学习。具体来说，我们首先用标记的少量样本训练线性分类器，并使用它来推断未标记数据的伪标记。为了衡量每个伪标记实例的可信度，我们提出通过增加附带参数的稀疏度来解决另一个线性回归假设，并根据其稀疏度对伪标记实例进行排名。我们选择最值得信赖的伪标记实例与标记实例一起重新训练线性分类器。该过程被迭代，直到所有未标记的样本被包括在扩展的训练集中，即，伪标记对于未标记的数据池是收敛的。在两个小样本设置下的大量实验表明，我们的简单方法可以在四个广泛使用的小样本学习基准数据集上建立新的最先进的技术，包括 miniImageNet, tieredImageNet, CIFAR-FS和CUB。我们的代码可从以下网址获得：https://github.com/Yikai-Wang/ICI-FSL
1. Introduction
从一个或几个例子中学习是人类的一种重要能力。例如，孩子们只要看一眼书中的图片，或者听到它看起来像一只长脖子的鹿的描述，就可以毫无问题地形成“长颈鹿”的概念。相比之下，最成功的识别系统[20，42，14，16]仍然高度依赖于大量的标记训练数据。因此，这增加了稀有数据收集（例如，自动驾驶场景中的事故数据）和昂贵的数据注释（例如，用于医疗诊断的疾病数据）的负担，并且更根本地限制了它们对现实世界中的长尾类别的开放式学习的可扩展性。
受这些观察结果的启发，最近对小样本学习的研究兴趣重新抬头[10，43，46，53]。它的目标是识别每个类别的训练数据极其有限的新对象。基本上，小样本学习模型有机会访问具有许多标记训练实例的源/基础数据集进行模型训练，然后能够泛化到仅具有稀缺标记数据的不相交但相关的目标/新数据集。将学习到的知识转移到新集合的最简单基线是微调（fine-tuning）[57]。然而，这将导致严重的过拟合，因为一个或几个实例不足以对新类的数据分布进行建模。数据增强和正则化技术可以减轻这种有限数据状态下的过拟合，但它们不能解决它。最近的几项努力是通过模拟训练过程中的小样本场景来利用学习来学习或元学习范式[24]。然而，Chen等人。[7]根据经验认为，与具有与深度特征提取器耦合的线性分类器的简单基线相比，这种学习范式通常导致较差的性能。
给定这样一个有限的数据制度（每个类别一个或几个标记的例子），小样本学习的基本问题之一是，人们很难估计数据分布，而不引入归纳偏差。为了解决这个问题，两种类型的策略诉诸于超越传统归纳小样本学习的新类别的数据分布建模：(i)半监督少量学习（SSFSL）[28，37，45]假设我们可以利用未标记数据（大约是标记数据的十倍）来帮助学习模型;此外，(ii)用于小样本学习（TFSL）[28，34]的转导推理[18]假设我们可以访问所有测试数据，而不是在推理过程中逐个评估它们。换句话说，小样本学习模型可以利用测试示例的数据分布。
自学[35]是利用未标记数据信息的最直接方法之一。通常，经训练的分类器推断未标记数据的标签，其被进一步采取以更新分类器。然而，推断的伪标签可能并不总是可信的;错误标记的实例可能危害分类器的性能。因此，调查每个未标记实例的标记置信度是至关重要的。
为此，我们提出了一个简单的统计方法，被称为实例可信度推断（ICI），利用分布支持的未标记的实例小样本学习。具体地，我们首先训练线性分类器（例如，逻辑回归），并使用它来推断未标记数据的伪标记。我们的模型的目的是迭代地选择最值得信赖的伪标记的实例，根据他们的可信度所提出的ICI增加训练集。因此，分类器可以逐步更新并进一步推断未标记的数据。我们迭代这个过程，直到所有未标记的样本都包含在扩展的训练集中，即伪标签对于未标记的数据池收敛。示意图如图1所示。
图1. 我们提出的框架的示意图。在N-way-m-shot FSL任务的推理过程中，我们嵌入每个实例，推理每个未标记数据，并使用ICI选择最值得信赖的子集来扩展支持集。重复该过程，直到所有未标记的数据都包括在支持集中。
基本上，我们通过ICI算法重新使用标准的自学学习算法。如何选择伪标记数据以排除错误预测的样本，即，排除由自学学习策略引入的噪声？我们的直觉是，样本选择算法既不能仅依赖于标签空间（例如，基于分类器给出的每个类别的概率），也不能仅依赖于特征空间（例如，选择与训练数据最相似的样本）。相反，我们通过将每个实例（标记和伪标记）从特征回归到标签空间来引入线性回归假设，并增加附带参数[9]的稀疏性，直到它消失。因此，我们可以排名的伪标记的实例与稀疏度作为其可信度。我们进行了大量的实验，主要的小样本拍摄学习数据集，以验证我们所提出的算法的有效性。
这项工作的贡献如下：（i）我们提出了一种简单的统计方法，称为实例可信度推断（ICI），以利用未标记实例的分布支持进行小样本学习。具体来说，我们的模型迭代地选择伪标记的实例，根据其可信度所衡量的建议ICI分类器训练。(ii)我们通过我们提出的ICI重新使用标准自学学习算法[35]。为了测量每个伪标记实例的可信度，我们通过增加附带参数[9]的稀疏度来解决另一个线性回归假设，并将稀疏度排名为每个伪标记实例的可信度。(iii)在两个小样本设置下的大量实验表明，我们的简单方法可以在四个广泛使用的小样本学习基准数据集上建立新的最先进的技术，包括miniImageNet，tieredImageNet，CIFARFS和CUB。
