MOSES的高级特征和功能

添加时间:2016-8-28 16:10:42 编辑:罗建东 阅读:314



一、Binary Phrase Tables with On-demand Loading

       顾名思义,就是moses具有这样一个功能:将词表(phrase table)二值化并按所需(所需要翻译的内容)载入需要的部分。这是因为一个实际的翻译系统,其phrase table通常会非常大,大到很难一次性将其载入内存。

       首先需要将标准ascii编码的phrase tables转化成二值化的格式,以下是其一个例子(标准phrase-table,有5个得分的那种):

        export LC_ALL=C

        cat phrase-table | sort | bin/processPhraseTable \

         -ttable 0 0 - -nscores 5 -out phrase-table

其中参数:

· -ttable int int string -- 最后的string表示的是要转换的phrase table名称, 如果从标准输入读取,该参数设为 '-' ,如上例所示

· -out string -- 自己设定的输出的二值化ttable前缀名

· -nscores int --ttable中打分的个数(例如这里是5)

       注意,若你的数据是UTF-8格式编码的,你需要先设定一下你的系统环境变量,即export LC_ALL=C,之后再sort(排序),当然如果你输入的phrase table是已经排序好的,可略过这一步。得到的二值化phrase table如下所示:

        phrase-table.binphr.idx 

        phrase-table.binphr.srctree

        phrase-table.binphr.srcvoc

        phrase-table.binphr.tgtdata

        phrase-table.binphr.tgtvoc

二、词对词对齐输出(Word-to-word alignment)

       在做解码的时候,有两个参数可以帮助输出最后的短语对齐信息。这两个参数分别是:

                -alignment-output-file [file]

       这个将在做完翻译(解码)之后将对其信息写入file中。

                 -print-alignment-info-in-n-best

       这个将在生成的n-best文件中,每一个结果之后都另起一行标明其对齐信息。

       在这里又要提一下上面二值化得到的5个文件了,如果在对phrase table二值化的时候,其中.scrtree和.tgtdata的两个文件将以.wa后缀结尾。

三、产生n-Best文件

       Moses自然也支持产生n-Best结果(前n个解码时搜索算法搜索到的路径)。你只需要在解码的时候指定生产的n-Best结果存储文件即可。

       例如以下是一个示例命令:

               moses -f moses.ini -n-best-list listfile 100 < in

       执行命令之后,解码后的前100最佳结果将存储在listfile中。

       打开n-best文件,可以看到起内部结构如下所示:

               0 ||| we must discuss on greater vision .  ||| d: 0 -5.56438 0 0 -7.07376 0 0 \

                 lm: -36.0974 -13.3428 tm: -39.6927 -47.8438 -15.4766 -20.5003 4.99948 w: -7 ||| -9.2298

               0 ||| we must also discuss on a vision .  ||| d: -10 -2.3455 0 -1.92155 -3.21888 0 -1.51918 \

                 lm: -31.5841 -9.96547 tm: -42.3438 -48.4311 -18.913 -20.0086 5.99938 w: -8 ||| -9.26197

               0 ||| it is also discuss a vision .  ||| d: -10 -1.63574 -1.60944 -2.70802 -1.60944 -1.94589 -1.08417 \

                 lm: -31.9699 -12.155 tm: -40.4555 -46.8605 -14.3549 -13.2247 4.99948 w: -7 ||| -9.31777

       N-best文件中的每一行都是由以下内容组成的(它们之间用|||分隔开):

              Ø 翻译原句编码,例如以上的0表示这些结果都是第一个句子的n-best结果。

              Ø 翻译结果。

              Ø 单独成分打分

              Ø 加权后总得分

       这里需要注意的一点是,生成的n-best句子并非每一个都是不一样的,里面可能会完全一样的句子,但是得分不一样,这是因为他们有不同的短语组合方式。

       当然,你完全可以只看不同的n-best翻译结果,这个只需要添加关键词distinct就可以完成。如下:

              moses -f moses.ini -n-best-list listfile 100 < in

       这样,在有相同的句子出现的时候,只出现概率最高的那句。

四、Minimum Bayes Risk Decoding

       最小贝叶斯风险解码由Shankar KumarBill Byrne在04年提出的HLT/NAACL上提出。大致说来,选择这种方法decoding(翻译)的时候,我们并不选择最大概率的翻译结果,此时我们输出最可能是正确结果的翻译(the translation that is most similar to the most likely translations),这需要一个相似度准则来估测相似性,Moses中使用到的是BLEU打分。

       使用MBR做decoding非常简单,只需要在解码时添加参数-mbr即可。

              moses -f moses.ini -mbr < in

       MBR解码默认对top 200的翻译结果进行选择,选出其中满足最小贝叶斯风险的结果,当然这个数值是可以修改的,方法是通过参数-mbr-size指定,例如:

              moses -f moses.ini -decoder-type 1 -mbr-size 100 < in

       MBR解码需要翻译分数转换成为概率。默认的是使用log概率,但是通过scaling scores你可能可以得到更好地结果。例如可使用以下指令:

              moses -f moses.ini -decoder-type 1 -mbr-scale 0.5 < in

五、Lattice MBR and Consensus Decoding

       事实上,在EMR解码被提出后一些年内,研究人员对其进行扩展优化,使得翻译解码速度可以更快同时我们也可以得到更好的翻译结果。具体的论文可参见Tromble et al (2008), Kumar et al (2009) De Nero et al (2009) ,而ngram后验(ngram posteriors,是Lattice MBR解码所需的)和ngram期望(ngram expectations,是Consensus解码所需的)都是使用论文De Nero et al (2010)中所描述的一个算法计算得到的。现在moses所作的lattice MBR和consensus解码都是基于n-best重排序来完成的。话句话说,我们假设最佳的翻译结果一定在我们的n-best结果中。

       下面介绍一下影响lattice mbr和consensus解码结果的一些可设定参数:

              · -lmbr -- 使用Lattice MBR解码

              · -con -- 使用Consensus 解码

              · -mbr-size -- 后接数字,指明MBR解码时的n-best list取值大小

              · -mbr-scale -- 后接数字,指明MBR解码时的幅度基准因子

              · -lmbr-pruning-factor -- mean words per node in pruned lattice, 如论文Tromble et al (2008) 所述,默认值为30

       而lattice MBR有更多的参数可以设定,也都是论文Tromble et al (2008) 所提到的,可通过以下参数设定:

              · -lmbr-p -- 后接数值表明unigram精度(缺省情况下默认值为0.8)

              · -lmbr-r -- 后接数值表明ngram准确比率(precision ratio , 默认值为0.6)

              · -lmbr-                                  thetas THETAS Instead of specifying p and r, lattice MBR can be configured by specifying all the ngram weights and the length penalty (5 numbers). This is described fully in the references.

· -lmbr-map-weight WEIGHT The weight given to the map hypothesis (default 0)

       从上述介绍可以发现,lattice MBR有非常多的参数需要设置,moses提供了一个字格搜索(grid search)的可执行文件。编译成功过后,你可以找到一个lmbrgrid存放在bin下面。一条典型的指令如下所示:

              ./lmbrgrid -lmbr-p 0.4,0.6,0.8 -lmbr-r 0.4,0.6,0.8 -mbr-scale 0.1,0.2,0.5,1 -lmbr-pruning-factor   \

                    30 -mbr-size 1000 -f moses.ini -i input.txt

       运行之后得到的结果每一行的格式如下所示:

               <sentence-id> ||| <p> <r> <pruning-factor> <scale> ||| <translation>

       就目前的moses Lattice MBR实验结果看来,当以上参数挑选合适的时候,lattice MBR能使得系统得到的翻译结果有一个小程度的提高(阿拉伯语数据集上提高了0.4)。以下是moses团队对一定数量的句子实验得到的一个优化参数设置:

              -lmbr-p 0.8 -lmbr-r 0.8 -mbr-scale 5 -lmbr-pruning-factor 50

六、处理不认识的短语

       在moses解码的时候,有可能会遇到phrase table中没有的短语,而在默认的情况下,moses会将这未翻译的短语也放置在其余翻译好的短语中进行排序,结果可能会影响最后翻译出来的句子的短语顺序。这时候你可以选择放弃未翻译的短语(不将其放入翻译结果中)。

       可以通过解码时加入参数-drop-unknown来实现该功能。

       当我们实际完成翻译任务时,放弃未知的短语可以让最后的BLEU得分提高一些,但是人们对该句话的理解程度变化未知,有可能人们反而因缺失成分而更加不理解。

七、Early Discarding of Hypotheses

       在束搜索(Beam Search)中,许多假说被创建,但其中一些太不合理以至于甚至无法进入堆中。对于它们中的许多,甚至在建立假设之前就可以明确它是没有用的。去掉它们会对速度的提升也有帮助,当然也有可能丢掉了一种合理的翻译可能性,我们一般将阈值设在0.5和1之间。用法如下指令所示:

-early-discarding-threshold THRESHOLD-- 使用提前丢弃一部分假设信息,设定的阈值为 THRESHOLD (default: 0 = not used)。

八、多翻译表和备选模型

       Moses 允许使用多个翻译表,一共有两种方法可以使用它们。

       1)两个翻译短语表(translation tables)用于评分的:这意味着,每一个翻译选项在每个表中都选一次,并各自打分。同时这样的做法,也要求对于翻译的内容,两张表中都要有对应的翻译结果:如果其中一个表中没有,则这种情况下没办法得到结果。

       2)其中一个翻译短语表用于评分:翻译选项先从一个表中选,再从另一张表中收集其它选项。如果相同的翻译选项在多个表中发现,则每次遇见这种情况,一个新的不同的翻译结果都会被创建,但它们的分数是不同的。

       在任何情况下,每一个翻译表有它自己的一组权重。

       首先,你需要的指定moses.ini配置文件的[ttable-file]选项,例如:

        [ttable-file]

        0 0 5 /my-dir/table1

        0 0 5 /my-dir/table2

       第二步,你需要在配置文件中[weight-t]设置适当数量的权重,在我们的例子中,总共是10个参数(每个表5个)。

       第三,你需要在配置文件[mapping]下指定这些表是如何使用的。像上文提到的,有两种使用方法:

       使用两个表进行打分:

        [mapping]

        T 0

        T 1

       任一表的得分:

        [mapping]

        0 T 0

        1 T 1

       注:这里我们使用的其实是moses使用不同解码路径的能力。“T”前面的数字定义一条解码路径,因此,在第二个例子中是两个不同的指定的路径进行解码。解码路径也可能包含额外的映射的步骤,例如使用不同的因素(factors)的生成步骤和翻译的步骤。

       另外请注意,有没有办法做到让系统“在翻译选项同时出现在两张表中时,使用两张表的结果。而当结果只出现在一张表时,只使用出现的这张表”。为了有效地使用这个选项,你可能会创建第三个表,其包含的上述两个翻译短语表的交集,并从每个表中删除共享短语对。

       退避模型(Backoff Models):您可能想更倾向于使用第一个表,而只在没有翻译选项在第一个表时使用第二个翻译短语表。换句话说,第二个表仅仅是回退的表格可用于未知的第一个表中的单词和短语。

       例如,如果你有两个翻译表,你想使用第二个未知词,你应该指定:

       [decoding-graph-backoff]

        0

        1

       0表示对第一个表,使用全部内容,1表示,第二个表用于对未知的大小为1的n-gram,进行使用。