- 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
- 🍖 原作者:K同学啊
一、总结:seq2seq详解
1. seq2seq是什么
seq2seq(sequence to sequence)是一种常见的NLP模型架构,即:从一个文本序列得到一个新的文本序列。常用来处理:机器翻译任务,文本摘要任务。
2. seq2seq模型处理长文本序列有哪些难点
- 基于RNN的seq2seq模型编码器所有信息都编码到了一个context向量中,单个向量难以所有文本序列信息
- RNN递归地编码文本序列,处理长文本时难以包含所有已处理地文本信息
3. 基于RNN的seq2seq模型如何结合attention来解决seq2seq模型处理长文本序列的难点
- attention注意力机制,使得seq2seq模型可以有区分度、有重点地关注输入序列