PU-Learning 两阶段实战：间谍技术与1-DNF识别可靠负样本的3步代码实现

金融风控场景中常遇到这样的困境：我们只能确认少量欺诈用户（正样本），而海量未标记用户中既包含正常用户也隐藏着潜在欺诈者。传统方法将所有未标记样本视为负样本训练模型，结果往往因样本不平衡和噪声干扰导致效果不佳。这正是PU-Learning（Positive-Unlabeled Learning）大显身手的领域——它能在仅有正样本和未标记样本的情况下，构建高性能分类器。

1. 核心挑战与解决方案设计

1.1 PU-Learning的特殊性

与监督学习不同，PU-Learning面临三个独特挑战：

• 样本不对称：正样本占比通常不足5%（金融欺诈场景甚至低于0.1%）
• 标记机制未知：我们不清楚正样本是如何被标记的（随机选取？基于特定规则？）
• 负样本污染：未标记集合实际包含潜在正样本

关键假设对比表：

1.2 两阶段技术框架

本文重点介绍的间谍技术(Spy Technique)和1-DNF技术属于Two-step PU Learning范式：

# 伪代码框架 def two_step_pu_learning(P, U): # 第一阶段：识别可靠负样本(RN) RN = identify_reliable_negatives(P, U) # 第二阶段：使用P和RN训练分类器 model = train_classifier(P, RN) return model

2. 间谍技术实战实现

2.1 算法原理

间谍技术的核心思想是"安插内线"——从正样本中随机抽取部分样本混入未标记集，通过观察这些"间谍"样本在分类中的表现来确定负样本边界。

操作步骤：

1. 从正样本集P中随机选取15%作为间谍样本S
2. 用P-S作为训练正样本，U∪S作为训练负样本
3. 训练初始分类器并预测所有样本概率
4. 将U中预测概率低于间谍样本最小概率的样本标记为RN

2.2 Python实现

import numpy as np from sklearn.ensemble import RandomForestClassifier def spy_technique(P, U, spy_ratio=0.15): # Step 1: 选择间谍样本 spy_indices = np.random.choice(len(P), int(len(P)*spy_ratio), replace=False) S = P[spy_indices] P_train = np.delete(P, spy_indices, axis=0) # Step 2: 构建训练集 X_train = np.vstack([P_train, U, S]) y_train = np.array([1]*len(P_train) + [0]*(len(U)+len(S))) # Step 3: 训练初始分类器 clf = RandomForestClassifier(n_estimators=100) clf.fit(X_train, y_train) # Step 4: 识别可靠负样本 spy_probs = clf.predict_proba(S)[:, 1] threshold = np.min(spy_probs) U_probs = clf.predict_proba(U)[:, 1] RN = U[U_probs < threshold] return RN, threshold

提示：间谍样本比例不宜超过20%，否则会降低正样本训练质量。实践中建议进行多次随机采样取结果并集。

3. 1-DNF技术深度解析

3.1 技术原理

1-DNF（单范式）方法通过特征频率分析识别负样本：

• 正特征(PF)：在正样本中出现频率高于未标记集的特征
• 负样本判定：不包含任何PF的未标记样本

特征选择示例表：

3.2 代码实现

from sklearn.feature_extraction import DictVectorizer def dnf_technique(P, U, feature_names, threshold_ratio=1.5): # 特征频率统计 def get_freq(data): return {feat: (data[:,i]>0).mean() for i, feat in enumerate(feature_names)} freq_P = get_freq(P) freq_U = get_freq(U) # 识别正特征 PF = [feat for feat in feature_names if freq_P[feat] > threshold_ratio * freq_U.get(feat, 1e-6)] # 筛选可靠负样本 RN_indices = [i for i, x in enumerate(U) if not any(x[feature_names.index(feat)] > 0 for feat in PF)] return U[RN_indices], PF

4. 综合应用与效果对比

4.1 完整工作流

# 数据准备 P = ... # 正样本特征矩阵 U = ... # 未标记样本特征矩阵 feature_names = [...] # 特征名称列表 # 两阶段处理 RN_spy, _ = spy_technique(P, U) RN_dnf, _ = dnf_technique(P, U, feature_names) # 合并可靠负样本 RN_combined = np.unique(np.vstack([RN_spy, RN_dnf]), axis=0) # 最终模型训练 X_train = np.vstack([P, RN_combined]) y_train = np.array([1]*len(P) + [0]*len(RN_combined)) final_model = RandomForestClassifier(n_estimators=200).fit(X_train, y_train)

4.2 性能对比实验

我们在模拟金融交易数据集上测试两种方法：

评估指标对比：

实验显示组合方法在保持较高召回率的同时提升了精确率，这是因为：

• 间谍技术擅长捕捉概率边界附近的负样本
• 1-DNF擅长识别特征差异明显的负样本

5. 工程实践建议

5.1 参数调优经验

• 间谍比例：金融数据建议10-15%，医疗数据可放宽至20%
• 1-DNF阈值：通常1.5-3.0之间，可通过下式动态确定：

  optimal_ratio = np.median([freq_P[f]/max(freq_U[f], 1e-6) for f in feature_names])

5.2 常见陷阱规避

1. 特征泄漏：确保正样本标记过程不使用模型将要预测的特征
2. 样本污染：定期清洗正样本集，移除可能的错误标记
3. 概念漂移：建立动态更新机制，当检测到以下情况时重新训练模型：

   \frac{||P_{new} - P_{old}||}{||P_{old}||} > 0.3

在实际金融风控系统中，我们结合业务规则对PU-Learning结果进行二次校验。例如，将模型预测的高风险用户与交易频率、设备指纹等规则进行交叉验证，最终确认的欺诈用户会反馈到正样本集形成闭环学习。