基于t-SNE的Digits数据集降维与可视化
描述
t-SNE(t-分布随机邻域嵌入)是一种基于流形学习的非线性降维算法，非常适用于将高维数据降维到2维或者3维，进行可视化观察。t-SNE被认为是效果最好的数据降维算法之一，缺点是计算复杂度高、占用内存大、降维速度比较慢。
本任务的实践内容包括：
1、 基于t-SNE算法实现Digits手写数字数据集的降维与可视化
2、 对比PCA/LCA与t-SNE降维前后手写数字识别模型的性能
源码下载
环境
-
操作系统：Windows 10、Ubuntu18.04
-
工具软件：Anaconda3 2019、Python3.7
-
硬件环境：无特殊要求
-
依赖库列表
matplotlib 3.3.4 scikit-learn 0.24.2
分析
Digits手写数字数据集包括1797张手写数字图片，每张图片代表0~9之间的1个数字，图片大小为8*8，即特征维度为64。任务中我们分别使用PCA、LDA和t-SNE三种算法将数据集降为2维，并可视化观察其数据分布情况，之后通过K-最近邻算法（K-NN）对三种算法降维后的数据集进行分类，对比其准确性。
本任务涉及以下几个环节：
a）加载Digits数据集
b）分别使用PCA、LDA、t-SNE算法进行降维（由64维降2维）
c）使用K-NN分类器分别在三种算法降维后的数据上建模
d）对比评估模型的准确性
实施
1、加载Digits数据集
import matplotlib.pyplot as plt
from time import time
from sklearn.datasets import load_digits
from sklearn.manifold import TSNE
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
# 加载Digits数据集
digits = load_digits()
data = digits.data
target = digits.target
print(data.shape) # 查看数据维度（64）
# 可视化降维后的数据
def show_pic(new_data, target, label):
plt.title(label)
plt.scatter(new_data[:, 0], new_data[:, 1], c=target)
plt.show()
结果如下：
(1797, 64)
Digits数据集包括1797张图片样本，特征维度为64（图片大小8×8）。
2、使用不同算法将数据降为2维，并可视化
首先，分别使用PCA、LDA、t-SNE三种算法将Digits数据集由64维降为2维，然后调用上面自定义的show_pic方法将降维后的数据可视化。
# 使用不同的算法将数据降为2维
# 1、PCA降维可视化
pca = PCA(n_components=2).fit(data)
pca_data = pca.transform(data) # 降维转换
show_pic(pca_data, target, 'PCA')
# 2、LDA降维可视化
lda = LinearDiscriminantAnalysis(n_components=2).fit(data, target)
lda_data = lda.transform(data) # 降维转换
show_pic(lda_data, target, 'LDA')
# 3、TSNE降维可视化（计算复杂度高，较慢）
print(' t-SNE降维中，请耐心等待......')
start = time() # 开始时间
tsne = TSNE(n_components=2, init='pca', random_state=0)
tsne_data = tsne.fit_transform(data)
end = time() # 完成时间
show_pic(tsne_data, target, 't-SNE (cost {:.1f} seconds)'.format(end-start))
输出结果：
可以看到，将数据由64维降成2维后，PCA的数据已经混在一起，LDA数据可分性稍好一些，t-SNE的数据可分性最高，数据集中10种手写数字的样本彼此独立。t-SNE的降维效果十分出色，但算法的时间复杂度高。
3、评估三种算法降维后的分类准确性
接下来，使用K-NN分类器分别在上面三种算法降维后的数据上建立分类模型，并对比评估模型的准确性。
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
# 评估三种算法降维后（均降成2维）的分类准确性（基于KNN算法）
def eval_model(new_data, target, label):
X_train, X_test, y_train, y_test = train_test_split(new_data, target, random_state=0) # 拆分数据集
model = KNeighborsClassifier(3).fit(X_train, y_train)
score = model.score(X_test, y_test) # 在测试集上评估模型成绩
print(label, score) # 打印模型成绩
print('Digits数据集由64维降成2维后，使用K-NN分类准确性对比：')
eval_model(pca_data, target, 'PCA accuracy:')
eval_model(lda_data, target, 'PDA accuracy:')
eval_model(tsne_data, target, 't-SNE accuracy:')
结果如下：
Digits数据集由64维降成2维后，使用K-NN分类准确性对比：
PCA accuracy: 0.5888888888888889
PDA accuracy: 0.6422222222222222
t-SNE accuracy: 0.9955555555555555
可以看到，在三种降维算法中，t-SNE降维后的数据分类准确性最高，该算法是目前效果最好的降维算法之一，Digits数据集即便被降成2维，依然保持了良好的可分性。
