用什么方法对encoderdecoder模型进行训练

更新时间2018-07-21 00:44:10

文本并不像图像那样有天然的格子结构，它更倾向于多个词构成序列来组成句子，以及多个句子构成序列组成一个段落。因此基于序列的模型诸如 recurrent neural network, LSTM 等比较适合。

如果是考虑使用 Stanford Parser 这样的句法树来生成句子表示，可以使用 recursive neural network 或者 tree-structure RNN/LSTM.

而具体到各种文本的任务诸如情感/词性分类，机器翻译或者 语言生成模型，常见的模式有下面几种：

使用 RNN/LSTM 等去 model 一个词序列组成的句子，从最后一个词得出的隐状态来表示整个句子的信息，然后用 softmax 可以做分类任务。

如果是机器翻译任务，则是训练两个 RNN/LSTM, 一个作为 encoder, 另一个做 decoder。大体思想是根据编码好的源语料的句子表示，在解码时，每次根据上次出现的词来预测接下来会出现的词概率分布，然后每次都取那个概率最大的词作为翻译出的当前词，最后直到预测出了停止符（句号）为止。根据已有的大量预料去训练这样一个 encoder-decoder， 就可以得到一个翻译模型。

 

语言生成的方法与上文类似。

 

根据需要，再去添加 Bi-RNN/LSTM, stack-LSTM, 以及取每次产生的隐状态均值作为句子表示，或者加入 attention-based model 等改进方法。