机器学习入门0005 tensorflow_NMT模型

机器学习入门0005 tensorflow_NMT模型

1.简介

nmt（Neural Machine Translation）是一个序列到序列的模型。可以用来做【聊天机器人】，【翻译】，【关键词提取】，【文章摘要】，【图像描述】等功能。用法简单，只需要安装Tensorflow1.4+ 版本即可运行。这个地址是Tensorflow 官方github https://github.com/tensorflow/nmt，里面内容很全面。

2.运行官网github的例子

下面内容是从斯坦福大学下载英语到越南语的平行语料库，然后通过nmt模型使用语料库训练一个 英语-越南语 或者 越南语-英语 的翻译模型。

2.1  下载平行语料库

在控制台输入这个命令nmt/scripts/download_iwslt15.sh /tmp/nmt_data，就可以下载小的平行语料库了。这个命令需要在nmt目录外边执行，会把数据下载到/tmp/nmt_data/下，其实是8个文件。在国内，由于网络原因，这个命令下载总是会中止，很蛋疼。可以借助其他下载工具来下载（比如某雷，某度云盘，某旋风等），这些文件的地址是：

下载完成后放在/tmp/nmt_data/下，也可以下载到自己喜欢的位置，但是需要修改之后的命令，会造成不必要的麻烦。

2.2 训练模型(英语-越南语模型)

在控制台中输入下面命令：

mkdir /tmp/nmt_model python -m nmt.nmt --src=en --tgt=vi --vocab_prefix=/tmp/nmt_data/vocab --train_prefix=/tmp/nmt_data/train 

--dev_prefix=/tmp/nmt_data/tst2012 --test_prefix=/tmp/nmt_data/tst2013 --out_dir=/tmp/nmt_model --num_train_steps=12000 

--steps_per_stats=100 --num_layers=2 --num_units=128 --dropout=0.2 --metrics=bleu

命令共有两行，第一行创建一个文件夹，用于存放训练的模型（若干个矩阵）

第二行很长只有一行，使用来进行训练的。其中的参数用来指明数据的位置，模型存放的位置，训练时的参数：总共训练12000步 每次训练100组 rnn共2层128个单元等。

注意：这个训练时间和机器性能有关可能达到1周时间 python 3.X的用户执行第二条命令，要这样写python3 -m nmt.nmt –src=en –tgt=v…

2.3 使用训练好的模型

在/tmp/下创建一个文件，名字是my_infer_file.en 里面写上几行英语：

i am a student how are you .... i want to be a super programer

然后执行下面命令

python -m nmt.nmt --out_dir=/tmp/nmt_model --inference_input_file=/tmp/my_infer_file.en --inference_output_file=/tmp/nmt_model/output_infer

很快可以执行完毕，然后到/tmp/nmt_model/目录下看这个文件output_infer,里面是对应的越南语翻译。

3.怎么用nmt

3.1 数据格式

仿照着之前下载的8个文件，做好数据对应，其中三个文件是英文的一句一行单词之间通过空格分隔，还有三个是越南语，格式和英语一样。vocab.vi 是越南语的词汇表取了常用的5000个词,vocab.en 是英语词汇表取了最常用的前5000个词语，但是它们前三个词语是

代表不认识的词语
开始 结束
，这三个词必须在词汇表中否则nmt模型不能工作，具体原因官方github上有解释。

3.2 模型参数

这条命令中只是使用了个别的参数，还有一些其他有用的参数，如下：

forget_bias=1.0 这个是lstm的记忆力参数,取值范围在[0.0,1.0]越大代表记性越好

batch_size=128 这个代表每次训练128条数据，取值是正整数，如果太大，需要的内存会增大

learning_rate=1 学习率，正常情况下设置成小于等于1的值，默认值 1

num_gpus=1 机器中gpu个数，默认值是1

eos=” 结束符配置成,参考3.1 数据格式

sos=’‘ 同上，这两个参数没有配置的必要

src_max_len=50 源输入最大长度，针对我们训练的英语-越南语模型中，意思是每行最长接受50个英语单词，其余忽略

tgt_max_len=50 目标输出最大长度，默认值50.这个和上面的参数有时很有用，假设我们要做文章摘要，参数可以这样写–src_max_len=800 –tgt_max_len=150，这两个参数都会影响训练和预测速度，他们越大，模型跑的越慢。

share_vocab=False 这个意思是是否公用词汇表，假设做文章摘要，把这个设置成True。因为不是做翻译，输入和输出是同一种语言。

还有一些其他参数，不再列举，可以去源代码中nmt.py文件中查看。

3.3 训练一个聊天机器人（汉语）

3.3.1 准备好训练数据，开发数据，测试数据，汉语常用汉字表（前5000个）即可

仿照3.1中的数据，来准备训练数据。这次不是翻译数据，而是对话数据。比如：

train.src

你 好 ！ 很 高 兴 认 识 你 。 当 然 很 激 动 了。 ....

train.tgt

你 好 呀 ！ 我 也 是 呢 ， 你 有 没 有 很 激 动 。 激 动 你 妹 啊 。 ....

vocab.src

                         ， 的 。                         一 0 是 1 、 在 有 不 了 2 人 中 大 国 年 ...                       

3.3.2 接下来进行训练

经过漫长的训练，聊天模型训练完毕

3.3.3 集成到项目

有三种方案将训练的模型集成到项目中：

（1）对nmt进行部分修改，在项目代码中调用预测，使结果以文件形式展示，然后去文件中提取结果。优点：改动少，可以快速集成。 缺点：运行速度很慢

（2）对nmt进行部分修改，在项目代码中调用预测，只是要给nmt的源代码添加参数和返回值，返回值就是结果。 优点：改动少，可以快速集成。缺点：运行速度慢

（3）把nmt重构，写成一个对象，不要释放session，这样调用的速度会快一些。优点：运行速度快。 缺点：需要对nmt进行深入了解，开发周期长

前两种速度慢的原因是，每次运行都要加载大量的参数，加载词汇。第一种方案还多进行了两次io操作。

4.其他

4.1 数据问题

数据是比较难得到的，可以用自己聊天的数据，把聊天数据导出，然后做成nmt需要的数据格式。至于数据量，10万条以上吧，这个还没有详细的研究过。数据质量一定要好。很多公司是自己手动标注数据，这会耗费大量的时间，数据很难得。假设要做关键词抽取，可以通过爬虫爬取某浪新闻的带标签的文章。train_prefix dev_prefix这两个参数所指定的文件的数据量100-500条即可，不要太多了

4.2 内存问题

词汇表越大，消耗的内存也越大，训练速度也会越慢。

4.3 训练问题

如果训练好久，控制台还没有一点反应，说明参数调的不好，机器性能跟不上，可以适当的降低参数。训练时间可能会很长，要有耐心。

nmt模型可以中断训练，下次输入和上次相同的参数，会接着继续执行。