moses(mosesdecoder)数据预处理&BPE分词&moses用法总结

moses数据预处理

源码链接：

https://github.com/moses-smt/mosesdecoder

做机器翻译的小伙伴应该会moses很熟悉，这是一个很强大的数据预处理工具，虽然已经用了很多年了，但现在依然非常流行。

很多人做数据预处理都会用到BPE算法，bpe算法太强大，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。

中文的预处理好做很多，除了分词，可做的就不多了，相比之下，英文的预处理就变得繁琐了很多，比如在bpe的子词词典中，我们可以看到American’s 和american’s同时存在于词典，并且英文的标点符号和单词之间是没空格分隔的，所以如果直接对英文按照空格进行分词，cat和cat.就可能占据词典中两个词的位置，这些都是不合理的，会浪费词典的位置。所以对英文的处理是及其有必要的。

mosesdecoder作为统计机器翻译工具，常用的预处理方法如下：

normalize：对标点符号进行规范化。

perl dir_name/mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < data/train.en > data/train.norm.en 

其中-l en是选择语言，de类似

tokenisation：分词

perl dir_name/mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < data/train.norm.en > data/train.norm.tok.en 

de类似

cleaning：长句和空语句可引起训练过程中的问题，因此将其删除，同时删除明显不对齐的句子。–将句子长度控制在1-80。

perl path/to/mosesdecoder/scripts/training/clean-corpus-n.perl data/train.norm.tok en de data/train.norm.tok.clean 1 80 

这样会同时将双语语料进行操作，生成两个处理后的文件train.norm.tok.clean.en和train.norm.tok.clean.de。

truecasing：Truecase不同于lowercase，lowercase相当于把数据中所有的字母小写，而truecase则会学习训练数据，判断句子中的名字、地点等需要大写的内容并将其保留，其余则小写，提升翻译时候的准确性，这有助于减少数据稀疏性问题。

1. 需要训练一个truecase模型。注意：只能使用训练集训练truecase模型。

perl path/to/mosesdecoder/scripts/recaser/train-truecaser.perl -corpus data/train.norm.tok.clean.en -model path/to/truecase-model.en 

2. 应用apply：将训练得到的英语truecase模型应用到训练集、校验集和测试集的英文上。

perl dir_name/mosesdecoder/scripts/recaser/truecase.perl -model path/to/truecase-model.en < data/train.norm.tok.clean.en > data/train.norm.tok.clean.tc.en 

同样德语也需要训练一个truecase模型。

BPE分词

如果想按子词来分词，则要用到BPE算法，在使用BPE算法之前最好先使用moses做数据预处理，然后将moses处理好的数据输入到BPE算法中。

项目链接：

https://github.com/glample/fastBPE

BPE分词一般有以下四个步骤：

learnbpe nCodes input1 [input2] 从1到2个文件中学习 BPE codes applybpe output input codes [vocab] 应用 BPE codes 对输入文件做分词 getvocab input1 [input2] 从1到2个文件中抽取词汇 applybpe_stream codes [vocab] apply BPE codes to stdin and outputs to stdout 

1. Learn codes

./fast learnbpe 40000 train.de train.en > codes 

从train.de 、train.en两个文件中学习BPE codes并输出到codes文件中，40000为BPE codes的个数（取排名前40000的子词）。

对于使用子词作为基本单位进行训练的神经机器翻译模型，训练的第一步就是根据语料生成bpe的codes资源，以英文为例，该资源会将训练语料以字符为单位进行拆分，按照字符对进行组合，并对所有组合的结果根据出现的频率进行排序，出现频次越高的排名越靠前，排在第一位的是出现频率最高的子词。如图所示：a n为出现频率最高的子词，出现了次，e s< /w>出现了次，其中 < /w> 表示这个s是作为单词结尾的字符。训练过程结束，会生成codes文件。BPE codes的个数为40000，所以codes文件中总共有40000行。codes文件内容如下：

2. Apply codes to train

./fast applybpe train.de.40000 train.de codes ./fast applybpe train.en.40000 train.en codes 

3. Get train vocabulary

./fast getvocab train.de.40000 > vocab.de.40000 ./fast getvocab train.en.40000 > vocab.en.40000 ./fast getvocab train.de.40000 train.en.40000 > vocab.de-en.40000 

除了上面的方法，还有另外一个开源框架也可以做BPE处理，链接如下：

https://blog.csdn.net/Elenore1997/article/details/

moses用法总结

官网链接：

http://www.statmt.org/moses/?n=Development.GetStarted

1. Tokenisation 分词工具：

1.  ~/mosesdecoder-master/scripts/tokenizer/tokenizer.perl 

2.  命令： 

3.  perl ./tokenizer.perl -no-escape -l zh <./test.zh >. /test.seq.zh 

4.  说明：zh表示中文 

5.  输入文件：./test.zh 

6.  输出文件：. /test.seq.zh 

2.Truecasing 格式转换

1.  ~/mosesdecoder-master/scripts/recaser/train-truecaser.perl 

2.  命令: 

3.  ./ train-truecaser.perl –model ./truecase_model.SRC –corpus . /test.seq.zh 

4.  模型保存文件: ./truecase_model.SRC 

5.  分词后的文本的路径: . /test.seq.zh 

6.  使用上一步生成的模型和分词的文本进行格式转换 

7.  ~/mosesdecoder-master/scripts/recaser/truecase.perl 

8.  ./truecase.perl --model ./truecase_model.SRC < . /test.seq.zh > . /test.seq.mx.zh 

9.  说明：./truecase_model.SRC 以上训练的模型路径 

10.  说明：. /test.seq.zh 以上分词后的文本 

11.  说明：. /test.seq.mx.zh以上转换后的输出文本 

3.Cleaning 处理语句长度+该命令可以一次性处理完双向的两个文件(1-100)

1.  ~/mosesdecoder-master/scripts/training/clean-corpus-n.perl 

2.  命令: 

3.  ./clean-corpus-n.perl . /test.seq.mx zh en . /test.seq.mx.clean 1 100 

4.  说明: 

5.  以上格式化的文本（源端+目标）的文件名（去除扩展名）:. /test.seq.mx 

6.  文件的扩展名（源端+目标）:zh en 

7.  输出端的文件（源端+目标）名称: . /test.seq.mx.clean 

8.  句子的长度范围:1 100 

4.语言模型训练

1.  mkdir ~/lm 

2.  cd ~/lm 

5.使用KenLM的构建N-gram的语言模型

1.  评估并生成模型 

2.  ~/mosesdecoder/bin/lmplz 

3.  命令： 

4.  ./lmplz –o 3 <. /test.seq.mx.clean > . /test.seq.mx.clean.arpa 

5.  处理后的输出文本:. /test.seq.mx.clean 

6.  语言模型生成的文件: . /test.seq.mx.clean.arpa 

6.二进制化语言模型文件

1.  ~/mosesdecoder/bin/build_binary 

2.  命令： 

3.  ./ build_binary . /test.seq.mx.clean.arpa . /test.seq.mx.clean. blm 

4.  说明： 

5.  上一步生成的语言模型:. /test.seq.mx.clean.arpa 

6.  转化为二进制的模型文件: . /test.seq.mx.clean. blm 

7.查询测试

1.  ~ /mosesdecoder/bin/query 

2.  命令: 

3.  echo “is this an DeST sentence?” | ./query . /test.seq.mx.clean. blm 

4.  说明: 

5.  对应的脚本: ./query 

6.  以上生成的二进制语言模型. /test.seq.mx.clean. blm 

8.翻译系统训练

1.  ~/mosesdecoder-master/scripts/training/ 

2.  运行的脚本:train-model.perl 

3.  完成九个步骤 

9.脚本的参数设置

1.  可以选择使用mgiza++替换giza++来加速训练速度 

2.  mkdir ~/working 

3.  cd ~/working 

4.  命令: nohup nice~/mosesdecoder/scripts/training/train-model.perl \ -root-dir train \ #指明生成目录 -corpus~/corpus/news-commentary-v8.fr-en.clean \ #指明clean语料库文件名（但不包括语言的extension） -f fr -e en \ #指明SRC和 DEST 语言，即语料库文件对应的后缀。 Fr->en的情况下。 -alignment grow-diag-final-and \ #指明单词对齐的启发方法 -reorderingmsd-bidirectional-fe \ #指明specifies which reordering models totrain using a comma-separated list of config-strings -lm0:3:$HOME/lm/news-commentary-v8.fr-en.blm.en:8 \ #语言模型， factory：order：filename -external-bin-dir~/mosesdecoder/tools \ #指明word alignment tools的可执行文件路径 -mgiza \ #从默认的giza++切换成mgiza++ -cores N \ #指明训练过程可以使用的多核数量。加快训练过程。 >& training.out & #log输出 经过训练之后，moses.ini会在 ~/working/train/models下面生成。 

10.Tuning ：模型调整

1.  生成的moses.ini通过有以下两个问题 

2.  加载速度比较慢， 可以用二进制化来解决 

3.  moses采用的权值不是最优的 

4.  因此需要对模型进行调整，这也是整个过程中最慢的一步。tuning需要一些跟训练数据无关的并行数据 

11.准备tuning数据

1.  下载相应的数据 

2.  命令： 

3.  cd ~/corpus 

4.  wget http:www.statmt.org/wmt12/dev.tgz 

5.  tar xvzf dev.tgz 

6.  根据SRC&DEST 选择相应的数据包，然后对数据进行分词和格式统一化，例如选择de->en， 找到并选择对应的文件newtest2011.de &newtest2011.en 

12.执行tokenize—–(目标语和源语言都要进行)—–分词

1.  ~/mosesdecoder-master/scripts/tokenizer/ tokenizer.perl 

2.  命令: 

3.  ./tokenizer.perl -l zh <. /3.sq.zh > ./3.dv.zh 

4.  说明: 

5.  为刚才以上下载的数据通过分词、格式统一化后的文本: . /3.sq.zh 

6. 输出的文本: ./3.dv.zh 

13.执行格式化统一（源端与目标端）

1.  truecase.perl 

2.  命令： 

3.  ./truecase.perl --model ./truecase_model.SRC <./3.dv.zh >./3.dv._zh 

4.  说明： 

5.  第二步生成的语言模型: ./truecase_model.SRC 

6.  上一步分词后的文本文件: ./3.dv.zh 

7.  格式化后的文本文件: ./3.dv._zh 

14.进行调整（源端与目标端）

1.  进入目录:cd ~/working 

2.  脚本: mert-moses.pl 

3.  ~/mosesdecoder-master/scripts/training/ mert-moses.pl 

4.  命令： nohup nice ./mert-moses.pl \ ./ 3.dv._zh ./3.dv._en \ ~/mosesdecoder/bin/mosestrain/model/moses.ini --mertdir ~/mosesdecoder/bin/ \ &> mert.out & 

5.  说明: 

6.  分别为第13步格式化后的文本文件: ./ 3.dv._zh ./3.dv._en 

15.二进制化加速（源端与目标端）

1.  对phrase-tableand lexicalised reordering models进行二进制化，加速模型文件的加载 

2.  脚本: processPhraseTableMin 

3.  路径: ~/mosesdecoder/processPhraseTableMin 

4.  创建文件夹: mkdir~/working/binarised-model 

5.  进入文件中:cd ~/working 

6.  ~/mosesdecoder/bin/processPhraseTableMin \ -in train/model/phrase-table.gz -nscores 4 \ -out binarised-model/phrase-table 

7.  说明: 

8.  第九步中第四个时生成的训练文件:train/model/phrase-table.gz -nscores 4 

9.  刚创建的文件夹用来存储二进制化后的文件:binarised-model/phrase-table 

10. ~/mosesdecoder/bin/processLexicalTableMin \ -intrain/model/reordering-table.wbe-msd-bidirectional-fe.gz \ -out binarised-model/reordering-table 

11. 说明:跟以上一样的 

16.然后将mert-work/moses.ini 文件拷贝到binarised-model 文件夹，并phrase & reordering tables 修改指向二进制的文件：:

1.  Change PhraseDictionaryMemory to PhraseDictionaryCompact 

2.  Set the path of the PhraseDictionary feature to point to $HOME/working/binarised-model/phrase-table.minphr 

3.  Set the path of the LexicalReordering feature to point to $HOME/working/binarised-model/reordering-table 

17.https://blog.csdn.net/chrissata/article/details/

18.使用GIZA++进行词对齐

1.  下载: git clone https://github.com/moses-smt/giza-pp.git 

2.  进入文件中:cd giza-pp 

3.  编辑:make 

4.  编译完会在GIZA++-v2/和mkcls-v2/目录下生成以下可执行文件： 

5.  plain2snt.out、snt2cooc.out、GIZA++、mkcls 

6.  将这四个程序移动到工作目录workspace（自己创建的工作文件夹中）下： 

7.  文本单词编号： 

8.  命令: ./plain2snt.out zh.txt en.txt 

9.  说明：zh.txt和en.txt分别为分词后的标准的平行语料、必须放在workspace目录下 

10. 得到en.vcb、zh.vcb、en_zh.snt、zh_en.snt四个文件 

11. 说明: 

12. en.vcb / zh.vcb：字典文件，id : token : count 

13. 格式为: 2 海洋 1 3 是 6 4 一个 2 5 非常 2 6 复杂 4 7 的 12 8 事物 1 9 。 7 10 人类 1 ... 

14. en_zh.snt / zh_en.snt：编号表示句对，第一行表示句对出现次数 1 2 3 4 5 6 7 8 9 2 3 4 5 6 7 8 9 10 11 12 13 1 10 7 11 12 3 13 14 5 6 7 15 9 14 15 4 5 6 7 8 9 10 16 17 18 19 13 说明:第一行表示句对出现的次数 第二行为源端/目标端词语的id 第三行为目标端/源端词语的id 

19.生成共现文件

1.  命令：（中文-à英文为例） 

2.  ./snt2cooc.out zh.vcb en.vcb zh_en.snt > zh_en.cooc 

3.  说明: zh.vcb 和en.vcb分别为以上生成的字典 

4.  说明:zh_en.snt为以上生成的中文编号 

5.  说明：zh_en.cooc为生成的英文编号 

6.  zh_en.cooc / en_zh.cooc 0 33 0 34 0 35 0 36 0 37 0 38 0 39 0 40 

20.生成词类

1.  命令： 

2.  ./mkcls –pzh.txt –Vzh.vcb.classes opt 

3.  ./mkcls -pen.txt -Ven.vcb.classes opt 

4.  说明： zh.txt和en.txt为中英文平行语料 zh.vcb.classes和en.vcb.classes分别为中英文输出 注意：文件的名称跟前面的参数连接在一起不能有空 * 1 runs. (algorithm:TA)* ;KategProblem:cats: 100 words: 68 start-costs: MEAN: 262.907 (262.907-262.907) SIGMA:0 end-costs: MEAN: 190.591 (190.591-190.591) SIGMA:0 start-pp: MEAN: 3.52623 (3.52623-3.52623) SIGMA:0 end-pp: MEAN: 1.95873 (1.95873-1.95873) SIGMA:0 iterations: MEAN: 50117 (50117-50117) SIGMA:0 time: MEAN: 1.468 (1.468-1.468) SIGMA:0 

5.  参数说明： -c 词类数目 -n 优化次数，默认是1，越大越好 -p 输入文件 -V 输出文件 opt 优化输出 

6.  en.vcb.classes / zh.vcb.classes：单词所属类别编号 , 26 . 28 : 64 And 29 I 13 If 52 It 49 a 34 about 22 ... 

7.  en.vcb.classes.cats / zh.vcb.classes.cats：类别所拥有的一组单词 0:$, 1: 2:science, 3:seem, 4:things, 5:some, 6:start, 7:task, ... 

21.GIZA++

1.  先在当前目录新建两个输出文件夹z2e、e2z，否则下面的程序会出错，没有输出。 

2.  命令： 

3.  $ ./GIZA++ -S zh.vcb -T en.vcb -C zh_en.snt -CoocurrenceFile zh_en.cooc -o z2e -OutputPath z2e 

4.  $ ./GIZA++ -S en.vcb -T zh.vcb -C en_zh.snt -CoocurrenceFile en_zh.cooc -o e2z -OutputPath e2z 

5.  说明： 

6.  z2e.perp 困惑度 

7.  z2e.A3.final：i j l m p(i/j, l, m)：i代表源语言Token位置；j代表目标语言Token位置；l代表源语言句子长度；m代表目标语言句子长度；p(i/j, l, m)代表在一对长度为l和m的句子中，位置i的源单词移动到位置j的概率. 0 2 100 8 0.0 0 6 100 8 0. 

9.  z2e.d3.final：类似于z2e.a3.final文件，只是交换了i 和 j 的位置 2 0 100 8 0.0 6 0 100 8 0. 

10. z2e.n3.final：source_id p0 p1 p2 … pn；源语言Token的Fertility分别为0,1,…,n时的概率表，比如p0是Fertility为0时的概率。 2 1.22234e-05 0. 0. 0 0 0 0 0 0 0 3 0. 0. 0 0.053068 0 0 0 0 0 0 

11. z2e.t3.final：s_id t_id p(t_id/s_id)； IBM Model 3训练后的翻译表；p(t_id/s_id)表示源语言Token翻译为目标语言Token的概率 0 3 0. 0 7 0.74039 0 33 0.0 

12. z2e.A3.final 单向对齐文件，数字代表Token所在句子位置（1为起点） # Sentence pair (1) source length 8 target length 11 alignment score : 8.99868e-08 It can be a very complicated thing , the ocean . NULL ({ 8 }) 海洋 ({ 1 }) 是 ({ 4 }) 一个 ({ 9 }) 非常 ({ 3 6 7 }) 复杂 ({ 2 5 }) 的 ({ }) 事物 ({ 10 }) 。 ({ 11 }) # Sentence pair (2) source length 12 target length 14 alignment score : 9.55938e-12 And it can be a very complicated thing , what human health is . NULL ({ 9 }) 人类 ({ 2 11 }) 的 ({ }) 健康 ({ 12 }) 也 ({ }) 是 ({ 5 }) 一 ({ }) 件 ({ 13 }) 非常 ({ 4 7 8 }) 复杂 ({ 3 6 }) 的 ({ }) 事情 ({ 1 10 }) 。 ({ 14 }) ... 

13. z2e.d4.final：IBM Model 4 翻译表 # Translation tables for Model 4 . # Table for head of cept. F: 20 E: 26 SUM: 0. 9 0. F: 20 E: 15 SUM: 0.0 -2 0.0 F: 20 E: 24 SUM: 0.0 21 0.0 ... 

14. z2e.D4.final：IBM Model 4的Distortion表 26 20 9 1 15 20 -2 1 24 20 21 1 2 20 -2 1 40 20 -4 1 22 20 -3 0.0 22 20 9 0. 32 20 28 1 21 20 24 1 29 2 -3 0. 29 2 1 0. 5 2 1 0. ... 

15. z2e.gizacfg：GIZA++配置文件，超参数 adbackoff 0 c zh_en.snt compactadtable 1 compactalignmentformat 0 

16. z2e.Decoder.config：用于ISI Rewrite Decoder解码器 

22.词对齐对称化

1.  下载python脚本: https://github.com/Lynten/smt 

2.  或者在working目录下: git clone https://github.com/Lynten/smt.git 

3.  上面的得到的*.A3.final文件是单向对齐的，我们这里需要对称化，对称化方法有很多，我们这里使用最流行的“grow-diag-final-and”方法 

4.  命令(以下脚本在smt中)—运行在working文件夹下: 

5.  python align_sym.py e2z.A3.final z2e.A3.final > aligned.grow-diag-final-and 

6.  说明： 

7.  在e2z目录下生成的文件: e2z.A3.final 

8.  在z2e目录下生成的文件: z2e.A3.final 

23.Bleu值打分

1.  ~/mosesdecoder-master/scripts/generic/ multi-bleu.perl 

2.  命令： 

3.  perl ./multi-bleu.perl -lc ./ref.en < ./mbt.en > ./mbt2.score 

4.  ./ref.en < 参考文件 

5.  ./mbt.en > 文件预处理文件（去除等）） 

6.  ./mbt2.score具体的结果（获取）结果只有一行 

24.TER值

1.  ~/tercom-0.7.25 

2.  java -jar ./tercom.7.25.jar -r referencefile -h testfile > resultfile 

3.  Referencefile（参考文路径）（表示：原始数据 结果1） 

4.  testfile （翻译预处理后的测试文件路径）（表示：结果2） 

5.  resultfile （结果文件）（获取：） （倒数第4行的数据） 

25.训练

1.  ~/mosesdecoder-master/scripts/training 

2.  train-model.perl 

3.  运行培训脚本： 

4.  train-model.perl -root-dir。--corpus corpus / euro --f de - en 

5.  在corpus目录中存在两个文件分别为：euro.de和euro.en的平行语料文件。de表示德语、en表示英语 

26.小写

1.  lowercase.perl 

27.清理语料库

1.  clean-corpus-n.perl