三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

深度学习生成模型(四)—— 自编码器与表征学习(五十二)

深度学习生成模型(四)—— 自编码器与表征学习(五十二)

1. 定位导航

第 49-51 篇我们看完了生成模型三巨头(VAE/GAN/扩散)。本篇回到基础——自编码器(Autoencoder, AE)。

自编码器 = 表征学习的"心脏":

  • VAE 是它的"生成版本"
  • 现代对比学习、BERT、GPT 都借用了 AE 的思想

Goodfellow 第 14 章开篇:

自编码器是神经网络的一种,经过训练后能尝试将输入复制到输出。

听起来很无聊?但通过精心设计约束,AE 能学到有意义的表征——这是整章的精华。

1.1 5 大自编码器流派

流派关键约束
欠完备 AEh 维度 < x 维度(强制压缩)
稀疏 AE大部分 h 接近 0
去噪 AE输入加噪
← 返回列表