基于 Moses 的文言文统计机器翻译系统

2.1   平行语料

本项目使用了大量网络上可获得的平行语料，包括各个文言文翻译网站以及古代书籍的译注版本。对于这些来源，都分别按照其格式特点进行了半自动半人工的处理，从而丰富了平行语料的来源，减少了大量无效数据。根据处理后平行语料的质量和对齐程度不同，可分为极少量的按句对齐、一些按段落对齐和其他大部分按篇章对齐的语料。Moses 统计机器翻译系统主要针对的是按句翻译，也就需要将平行语料按句对齐。

已按句对齐的语料无需处理即可直接使用。按段落对齐和按篇章对齐的处理步骤相似，首先都要将其进行断句处理。断句规则为，在分号、句号、感叹号、问号后断句；如果有下引号，则在其之后断句；在冒号和上引号之间断句。在实际翻译时也必须采用相同的断句规则。之后，采用机器翻译辅助句对齐的方法 [3]，使用之前的训练的模型粗略翻译一遍原文，保证原文和机翻译文能按句对齐，以修改后的 BLEU 得分比较机翻译文和参考译文的相似度，最后使原文和参考译文能按句对齐。最后，统一过滤无效句对并去重，得到按句对齐、可供 Moses 直接使用的平行语料，称为训练集，约有八十五万句对；从上述平行语料中另外人工抽取并校对一千对左右翻译质量较高的句子作为调优集和评估集。

2.2   单一语言语料

除了平行语料，单一语言语料的作用在统计机器翻译中也是十分重要的。现代白话文语料除了上述平行语料之外，主要包括新闻 [*]、小说、字幕 [†]和维基媒体项目 [‡] [§] （除中文维基文库）等 [¶]。文言文语料除了平行语料之外，主要包括中文维基文库中筛选出的古代和近代的文献。最终得到的单一语言语料数量较大，约为上述平行语料的二十倍，作为语言模型的训练材料，能更好地保证输出语言的通顺流畅。

2.3   文字的选择

本项目对于上述所有语料，统一转换成简化字 [#]，即训练的模型使用的文字为简体字。中华人民共和国自 1956 年后施行汉字简化制度，所以在此之前的文献应以传统汉字（繁体字）保存。然而，由于网络上使用繁体中文的平行语料资源严重缺乏；繁体中文语料来源质量参差不齐，有些是使用机器从简体简单转换而来，鱼龙混杂 [♠]；校对原文需要极大的人力；而且无法确保能将用户输入的简体中文输入正确转换为对应繁体，正确处理文言文的简繁转换比对白话文的简繁转换更为困难 [♥]，所以经过考虑，语料和用户输入将统一转换为简化字之后再进行处理。 [♦]

3.1   中文分词

在训练翻译模型和语言模型之前，需要先对文言文和白话文进行针对性的分词处理以提高翻译质量。[4] 对于现代白话文，使用了 “结巴”中文分词软件，禁用了默认的隐马尔可夫新词发现模型，防止产生模型外词汇。

对于文言文，不能简单使用白话文的分词模型，所以首先构建了文言文分词所需要使用的词汇表。词汇表来源有“结巴”包含的默认词典（按词性筛选出部分实词），台湾教育部《重编国语词典修订本》（按词汇类别筛选） [♣] 以及各种关于历史人物、地名、朝代、官职等输入法词库 [**]，再加上用程序生成的数字、方位、干支等词汇，共计约三万八千条。 [††]

鉴于文言文大部分为单音节词汇，少有分词歧义，所以在训练分词模型时简单采用了首先进行最大正向匹配，再统计每个词汇出现次数的方法，即最大似然估计，最后筛选掉极低频词汇。在文言文分词时，运用此字典即可获得较好的分词效果。

3.2   语言模型

在训练语言模型时采用上述在数量上更多的单一语言语料。语言模型采用 KenLM 语言模型工具估算生成四元语言模型，其使用 Modified Kneser-Ney 算法 [5] 平滑 n 元组数据。生成 ARPA 文本格式的语言模型之后，转换成 KenLM [6] 的 Trie 数据结构二进制文件。使用这种数据结构的文件相比其实现的另外一种 Probing（散列表）数据结构，文件更小、占用内存更少，但速度稍慢。因为这些语言模型所用的语料更新次数相对较少且模型生成速度慢，所以不在下述“实验管理系统”中生成。

3.3   实验管理系统

通过使用 Moses 附带的“实验管理系统”[7] [‡‡]，编写一个配置文件，就可自动完成模型训练的各个过程。训练步骤为：分词、过滤、词对齐、建立翻译及调序模型、过滤模型、权重调优、评估。

图 1 实验管理系统生成的模型训练步骤

首先系统按照配置，将训练集、调优集和评估集使用上述分词方法进行分词，并筛选掉超过 100 词的句子，因为长句通常可靠性不高，而且会减慢词对齐速度。然后，系统将分词后的平行语料进行预处理，准备进行词对齐。在本项目中，使用基于 IBM Model 2 的 fast_align [8] 工具进行词对齐。该工具比常用的基于 IBM Model 4 的词对齐工具约快十倍，且在源语言和目标语言语序相似的情况下质量相当。

词对齐之后，系统提取词组表，合并预先准备的文言文词典的释义作为附加词组表，限定词组的最大长度为 4，并同时生成词汇调序表。按照对词组在平行语料中共同出现的显著性检验，可以删减掉大部分词组表而不影响、甚至提高翻译得分 [9]，从而节省大量空间。同时，使用压缩词汇表和调序表技术 [10] 能进一步减少磁盘占用而不影响翻译速度。

在调优时不仅考虑翻译模型、语言模型等特征，还加入了目标词汇插入、源词汇删除、词汇直接翻译、词汇长度四种稀疏特征，这可以使 BLEU 得分提高约 20%。因为特征数目较多，调优采用 k-best MIRA 算法 [11]。得到最佳特征参数后，对模型进行整体评估，计算 BLEU [12] 评分，从而可以对翻译质量进行量化比较。上述过程所产生的最终模型文件较小 [§§]，翻译时内存占用适中 [¶¶]，适合在云端服务部署。

因为将文言文和白话对调再训练模型即可获得反向翻译功能，所以每次均进行双向训练，得到文言文到白话文和白话文到文言文两个翻译模型。这两个模型互相独立，因此不能保证它们有相同的翻译质量。

3.4   语言判定

在设计用户界面过程中，自动判定翻译方向可以简化用户操作。通过建立朴素贝叶斯分类器，可以比较准确地判断出源语言。该模型使用 Unicode“中日韩统一表意文字”U+4E00 到 U+9FCC 区段共 20941 个汉字作为识别文本的特征，并认为白话文和文言文出现概率相同。忽略 Unicode 中其他汉字区段是因为其中绝大部分汉字过于生僻，在实际文本中几乎不会出现。

训练语料采用前述白话文和文言文两个单一语言语料库。在训练模型时使用最大似然估计，并使用 Simple Good-Turing [13] 算法平滑数据，防止有零概率出现。计算之后将概率值取对数储存为 JSON 数据文件。

该模型的数据文件比较大，为了在网页客户端脚本中使用，将每个值量化，用 ASCII 中的可打印字符表示成字符串。计算时可直接取字符编码相加，比较结果。如果计算结果为零，则说明其中不包含模型中的汉字，无法确定翻译方向。

4.1   软件结构

软件获得的用户输入为待翻译字符串和翻译方向。如果前端没有指定翻译方向，则在服务器端由上述朴素贝叶斯分类器进行自动选择。如果无法确定翻译方向，例如输入文本为其他语言，认为该文本无法翻译，所以按原样输出。之后服务端判断，如果用户短时间内请求太多，则生成验证码验证是否为人工操作；如果文本太长，则要求用户切分文本再提交，防止服务过载。

网页服务器将收到的文本通过 TCP 接口提交给后台翻译服务进程。该服务进程可以响应包括翻译、分词、简繁转换等命令，通过将这些服务集中在一个服务进程，可以提高稳定性，避免网页服务器重复加载词典。该服务进程同时管理两个后台 Moses 进程，分别负责两个方向的翻译。

在收到翻译请求后，先去除特殊字符，分行并按标点分句。其中在分句时，如果一句太长，则按逗号等标点切分，若还是太长，则直接按字数切分，防止一句翻译产生过多候选，占用内存过多或耗时过长。对于切分后的每一句话，检查是否包含上述“语言判定”中所使用区段范围内的汉字，如果没有则直接进入输出队列；将输入规范标点、统一转换为简体后，如果该句包含在缓存中，也直接输出。之后，程序为待翻译语句进行分词、XML 转义并在标点符号前后添加调序限制，通过标准输入调用 Moses 进程翻译。当 Moses 结束翻译，翻译服务进程解析其标准输出，XML 反向转义、解析词对齐，将结果加入输出队列，并加入缓存。最后，程序收集上述翻译结果，并按照调用参数格式化输出。网页服务器收到其回应后，按照用户浏览器设定中偏好的语言（简体或繁体） [♠♠] 转换输出文字，最后生成网页呈现给用户。

图 2 软件结构和翻译过程

在之后的开发中，该服务后端将实现翻译应用程序接口，从而实现即时翻译功能，并为相关开发者提供更简便的服务。

4.2   用户界面

本项目实现了基于网页的用户界面，使该文言文翻译系统成为一个网络服务。

图 3 基于网页的用户界面

该界面除实现了基本的输入、输出功能之外，还可以自动判别翻译方向，并可在结果中显示原文和译文中词语的对应关系。翻译方向的判别由上述语言判定模型完成，如果判定错误，用户可按“切换”按钮更正。鼠标移动，或触摸屏触摸到译文上的词汇时，在相应位置会高亮标出词汇的对应关系，用户从而能更好地评估翻译结果。在屏幕小的设备上，网页会自动适配为上下排版，方便用户操作。