迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！
（一）ELMO：Deep contextualized word representations
（二）Universal Language Model Fine-tuning for Text Classification
（三）openAI GPT：Improving Language Understanding by Generative Pre-Training
（四）BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
1. 问题描述
这是NAACL 2018的最佳论文。本笔记结合原文使用更佳哦。
以前的词向量都是与上下文无关的词向量，比如用word2vec训练的时候，使用单层神经网络，通过几个周围单词预测中心单词，但是这几个周围单词的顺序并不重要，而且生成的词向量只是代表一种统计意义上最大概率上的语义，即生成的词向量与句法、放入某个特定环境的语义等没有太多关联。
本文采用多层、双向LSTM结构，采用上述词向量，subword向量（使用cnn生成character的上下文无关向量）作为输入，输出和上下文有关的词向量，因为LSTM会结合上下文，提取句法特征，并且多层结构更能提取出语义特征，因此生成的词向量引入了句法、语义等要素。并且对多层结构的hidden state做一个线性组合，不同的线性组合可以适用于不同的task。
2. 双向语言模型
训练语料是单语哦！不需要双语哦！因为它和word2vec一样都是在单语上建立语言模型哦！怎么建立呢！类似于最大似然估计！
前向语言模型如下图所示，反向语言模型就是把下图方向反一下即可，相当于两个方向的decoder啦。
目标函数为
3. ELMO词向量
L层LSTM，对于每个token来说，前向有L个hidden state，反向有L个hidden state，加上输入语言模型的原始词向量，总共2L+1个向量的线性组合，就是ELMO词向量。有的只采用最上层的hidden state（cove就是）。一般情况就如下式：
是对生成的ELMO词向量整体放大或者缩小，一方面平衡加权平均形成的ELMO词向量的大小，一方面更适合某个task。
也可以对每一层的LSTM 的hidden state做normalization，类似于batch normalization的作用啦。
4. ELMO词向量于nlp task结合
先用其他大型语料pretrain好ELMO词向量，再用该task的语料fine tuningELMO词向量，然后固定该ELMO词向量的参数，将ELMO词向量 concat 原始词向量后作为task model的输入，在这个过程中不断的学习这个线性权重参数。部分task中是将ELMO词向量用在输出那部分的，是将ELMO词向量 concat task model最后的hidden state，其实就是作为最后全连接层的输入，也是不断的学习这个线性权重参数。
在实验中还会对ELMO做了dropout、对线性权重参数做正则化。
5. 实验
本文使用双层LSTM，hidden state是4096维，hidden state到output的全连接为4096*512，两层之间加residual network，character embedding是通过cnn+highway network做的，cnn是2048卷积核，卷积核到output的全连接映射为2048*512。这些网络改编自2016年Jo ́zefowicz的CNN-BIG-LSTM。character embedding可以解决OOV问题。
1. 本文在Question answering、Textual entailment、Semantic role labeling、Coreference resolution、Named entity extraction、Sentiment analysis六个方向都做了实验。
可以看到使用ELMO词向量提升很大。
2. 正则化项，=1时，因为比较大，对线性权重限制较大，所以线性权重比较均匀，=0.001时， 因为比较小，对线性权重限制较小，所以线性权重变化比较大，因此线性权重起的作用比较大，因此效果相对好一点。
3. 多层双向LSTM结构，低层更能提取句法特征，高层更能提取出语义特征，可以将LSTM相应层的hidden state直接应用在pos tagging和word sense disambiguation上对比的。
4. 训练效率问题，使用ELMO词向量可以少98%epoch就能训练好，对于数据量越少的情况，使用ELMO效果好的越多。
代码 http://allennlp.org/elmo
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/222475.html原文链接：https://javaforall.net
