2.1评估MT质量所面临的挑战

人们经常把机器翻译（MT）系统和翻译记忆系统（TMs）混淆。从某种角度来看，MT可以被视为TM技术的延伸。然而，TMs只能检索现有的人工翻译，MT却可以根据现有的翻译生成新的翻译。

一个最大的实际问题就是，很难估计某一特定的MT的实用性和‘目标适用性’。因此，译后编辑经常会遇到无用的MT结果，这就降低了生产力和效率。为了挽救这种局面，人们正在开发一个叫“质量估算”的研究方法，它正是用来评估MT的作品的质量的（详见第四部分）。

有趣的是，尽管视听译者拥有相对较高水平的技术支持（例如专业字幕软件和为了准备与录制配音脚本的软件），但是这个领域中实际的翻译工作基本上没有获得MT的支持。虽然TMs在文本翻译中用得很普遍，但是视听译者并不常使用它。

2.2机器翻译的擅长领域及原因

和其他科学技术一样，MT在使用中得到提高。如果工作流程设置得当，专业译员对MT所提供的建议的采纳或者摈弃，以及相应的后期编辑作为反馈，为系统的发展与改进提供源源不断的支持。

机器翻译尤其适用于源语言和目标语言在结构、形态、概念等方面非常相似的情况。例如，一个把西班牙语翻译成葡萄牙语的系统和一个把斯瓦西里语翻译成日语的系统相比，前者开发难度较低，并且会提供更高质量的翻译。另一个决定性因素是大量的平行双语文本的可用性，这些文本要与被翻译的材料在语域、文本类型等方面非常相似，这样系统才可以提取所有相关信息。

从本质上讲，MT可以更成功地处理语句中相距较近的语法和句法现象（例如英语中的名词—动词的一致性），而当处理像德语中的动词短语这种句子成分可以横跨整个从句的语法现象时则胜算不大。同样，需要用语言学之外的知识，例如语篇和世界知识（如抽像代词），来处理的现象，也超出了目前的MT的技术水平。

有趣的是，较短的距离并不能提高使用MT做的AVT的结果，因为口头表达常常依赖推断和上下文语境，且包含许多缩略和不完整的短语及表达方式，如（2）所示：

虽然这两个德语的MT都不完美，但是根据较短的视听转录的翻译根本无法理解，然而根据稍显“啰嗦”的原句翻译出来的句子意思却非常达意。一个相似的例子如（3）所示：

3.1领域和体裁

在AVT中使用MT所面临的一个问题是，AVT是一个“开放的”领域，视听内容在这里覆盖了一个最广的范围，包括从一个非常精确、词汇复杂的科技纪录片到小报上的明星花边，应有尽有。因此，由于包括语法、结构和词汇在内的各级内容的性质不一致，即使是有大量的现存内容，对于计算可预测性来说也是不够的。

3.2缺少视觉背景

合格的AVT需要掌握嵌入源文本的视觉背景（Díaz Cintas and Remael 2007Díaz-Cintas, Jorge, and Aline Remael 2007 Audiovisual Translation, Subtitling. Manchester: St. Jerome., 51），对于MT来说这类信息是不可及的。举一个简单的例子，如果把英文的“你好”翻译成意大利语，在大多数情况下，会被译作ciao，这个词通常是非正式场合的问候语，可是在打电话时则得用pronto问候。在这个例子中，前者的表达方式可以提供一些有关相应场景的上下文线索，但是在翻译时采用这种句间上下文线索的MT技术仍然处于初级发展阶段。例（4）是来自SUMAT项目的另一个例子，是关于瑞典语字幕的：

在这里，由于缺少上下文语境，摊位(stall)一词被错误地翻译成了厕所(toilet)，而专业翻译人员则能利用相应的语境避免这样的错误。

3.3口语风格

据详细记载(Rubin等人，1978Rubin, Ann D. 1978 “A Theoretical Taxonomy of the Differences between Oral and Written Language.” Center for the Study of Reading Technical Report 35.)，口语和书面文本存在许多差异。例如，在口语中语法不完整的短语所占比例要高得多，理解它们需要依赖实际情况和语境（如用that这类代词来指代一个名词），一般来说这样的用法也更不正式。此外，一般情况下口语中所使用的词汇也和书面用语中的不同，口语中会使用非常多的口头话语标记（像你知道的，嗯-啊哈 或 对吧？），这些标记以及俚语和俗语通常不会在书面用语中出现。参看用在线MT系统翻译的例（5）：

如果我们把句中省略的代词补充完整，如例（6），再用在线MT系统翻译，即使得到的结果不是完全正确的，但是对于后期编辑来说只要把“一个”去掉就可以得到一个正确的字幕：

与此紧密相关的是俗语，如（7）所示：

一个可行的办法是用一个字幕组成的语料库，其中包含各种不流畅、口语化和有其他口语特征的用法。这些用法和特征对通过一般书面文本进行训练的系统存在不少问题。虽然这种语料库目前还不普遍，但当它们普及时，通过这种语料库进行训练的翻译系统是有希望的，如下面来自SUMAT的例（8）：

如果有足够的训练数据，统计机器翻译系统实际上非常适合处理这些问题。

3.4语境的缺失

与上一点密切相关的是，口头文本往往由短片段组成。虽然其本身没有问题（较短的片段长度通常与较好的翻译质量相关），但口语片段更可能依赖于从单个片段中无法理解的上下文。由于MT引擎通常不会考虑单个片段之外的因素，所以它们无法访问这一重要语境。例如，参看例（9）中的口语式文本：

口语示例的最后一句中的 “it” 在单个片段中没有上下文，系统将其翻译为es（中性），而不是正确的ihn或den（阳性）。当一个词的翻译取决于上下文语境，而上下文可能是在翻译中被删除的一些句子时，这种结果是常见的。出于类似的原因，它也部分地将 “Big fellow（大块头）” 翻译成 “Big Kollegen”，这可能意味着这两个人是同事，即使上下文清楚地表明说话人不认识这个人。更合适的翻译应该是像großer Kerl [大家伙]之类的词。相比之下，书面描述可能更像例（10）所示：

虽然例（10）显示了其他的问题，如使用女性的关系代词die，而不是阳性代词来指代文中的男人，以及关系从句中缺失的主动词（“看到” vs.“看到了”），但它通常比（9）更容易理解。

同样，英语中的 “you (你)” 可以被翻为德语的sie（正式）、du（非正式单数）、ihr（非正式复数）或man（非人称代词），而词形的选择通常取决于宏观层面的语境（例如，了解谁与谁在交谈），而这些语境不能简单地从源文本中派生出来。如例（11）所示，德语代词sie可以指代 “她” 或 “他们”，而MT系统选择了错误的代词（尽管这里的动词hat清楚地表明了应该选择哪个代词）：

4.1机器翻译研究中的质量评估

在研究中的MT质量评估，几乎总是基于专业翻译或后期编辑的各种形式的输入。以下是目前最常用的评估形式：

1. 基于MT输出与（专业）人工参考翻译算法比较的MT输出自动评估（Papineni等人，2002Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu 2002 “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311–318. http://​dl​.acm​.org​/citation​.cfm​?id​=1073083​&picked​=prox. Accessed December 22, 2015.；Banerijee和Lavie 2005）。该方法具有快速、可重复性等特点，并且能使用以前的结果对自动测量进行应用和改进。

2. 对给定的MT输出进行的、没有人工的参考翻译的自动评估，通常称为质量评估（Shah等人，2013Shah, Kashif, Eleftherios Avramidis, Ergun Biçicic, and Lucia Specia 2013 “QuEst – Design, Implementation and Extensions of a Framework for Machine Translation Quality Estimation.” The Prague Bulletin of Mathematical Linguistics 100: 19–30. ）。这种方法需要一个受过调试的系统（基于人工翻译），并使用专业译员(为之前的其他翻译)指定的等级或分数标准来改进质量评估指标。

3. 评估人员对不同系统的MT输出进行排名。例如，排名是由NLP研究人员在统计机器翻译研讨会（以下简称WMT）的一些共享任务1515. http://​www​.statmt​.org​/wmt15/ 中进行的。Avramidis等人（2012Avramidis, Eleftherios, Aljoscha Burchardt, Christian, Federmann, Maja Popovićs, Cindy Tscherwinka, and David Vilar 2012 “Involving Language Professionals in the Evaluation of Machine Translation.” In Proceedings of LREC 2012, 1127–1130. http://​www​.lrec​-conf​.org​/proceedings​/lrec2012​/index​.html. Accessed December 12, 2015.）报告了一项由专业翻译进行排名的研究。此方法可提供有关某些系统或系统变体的相对性能的信息。

4. 评估人员对MT输出的后期编辑。例如，后期编辑是由NLP研究人员在WMT的某些共享任务中执行的。Avramidis等人（2012Avramidis, Eleftherios, Aljoscha Burchardt, Christian, Federmann, Maja Popovićs, Cindy Tscherwinka, and David Vilar 2012 “Involving Language Professionals in the Evaluation of Machine Translation.” In Proceedings of LREC 2012, 1127–1130. http://​www​.lrec​-conf​.org​/proceedings​/lrec2012​/index​.html. Accessed December 12, 2015.）报告了一项由专业翻译人员进行后期编辑的研究。这种方法衡量后期编辑效率的不同层面（时间、编辑次数等），并处理采集的数据，例如，分析最频繁的编辑类型（例如，词序、形态、插入等）。

5. 评估人员对MT输出错误的注释（参见，Vilar等2006Vilar, David, Jia Xu, Luis Fernando d’Haro, and Hermann Ney 2006 “Error Analysis of Statistical Machine Translation Output.” In Proceedings of LREC 2006, 697–702. file://​​/Users​/SRP​/Downloads​/2lrec06​_errorAnalysis​.pdf. Accessed December 22, 2015.，NLP研究人员作的注释；Lommel等2014Lommel, Arle, Aljoscha Burchardt, and Hans Uszkoreit 2014 “Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics.” In Tradumàtica: tecnologies de la traducció 0 (12): 455–463.，由专业翻译人员进行的注释）。该方法可以对MT输出进行详细的误差分析，包括特定的精准度和流畅性误差，以及词序和词距误差。这一信息可随之用于改进MT系统。

所有方法都已经并将继续应用于字幕的MT。如上所述，获取包含视听材料的平行语料库不太容易。因为存在字幕和配音脚本的所有权问题，这使得任何规模的高质量语料库的收集都存在问题，且公司不愿与研究人员分享材料。因此，使用参考翻译对MT进行评估可能是一个挑战。质量评估已经成功地应用于SUMAT项目中，在该项目中，先前的注释字幕用于调试系统，以选出质量差的字幕并将其丢弃，仅为后期编辑提供一个包含“FILT”文本的方框（Etchegoyen等人，2014Etchegoyhen, Thierry, Lindsay Bywood, Mark Fishel, Panayota Georgakopoulou, Jie Jiang, Gerard van Loenhout, Arantza del Pozo, Mirjam Sepesy Maucec, Anja Turner, and Martin Volk 2014 “Machine Translation for Subtitling: A Large-Scale Evaluation.” In Proceedings of LREC 2014, 46–53. http://​www​.lrec​-conf​.org​/proceedings​/lrec2014​/index​.html. Accessed December 22, 2015.）。上述所有其他评估形式也用于此项目，此项目对字幕翻译进行了迄今为止最大规模的MT评估。然而，AVT面临的一个特殊问题是，缺乏为各自的指标提供输入的后期编辑人员。尽管调试计划正在进行，并且研究（De Sousa等人，2011De Sousa, Sheila C. M., Wilker Aziz, and Lucia Specia 2011 “Assessing the Post-Editing Effort for Automatic and Semi-Automatic Translations of DVD Subtitles.” In Proceedings of the International Conference on Recent Advances in Natural Language Processing, ed. by Galia Angelova, Kalina Bontcheva, Ruslan Mitkov, and Nikolai Nikolov, 97–103. http://​www​.aclweb​.org​/anthology​/R11​-1014​.pdf. Accessed December 22, 2015.年）在整合MT、人类翻译技术和后期编辑方面已经表现出相当大的潜力，但由于MT在AVT中不常用，因此缺乏受过培训的、可以处理视听文本的后期编辑人员。

上述的前两类评估方法用于评价和估计特定系统和语言对的总体性能，通常用于特定领域，以及对不同的系统进行比较。属于这些类别的自动评估指标包括BLEU得分（Papineni等人，2002Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu 2002 “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311–318. http://​dl​.acm​.org​/citation​.cfm​?id​=1073083​&picked​=prox. Accessed December 22, 2015.年）、F得分（Popović 2011bPopović, Maja 2011b “Morphemes and POS Tags for N-gram Based Evaluation Metrics.” In Proceedings of the Sixth Workshop on Statistical Machine Translation, 104–107. file://​​/Users​/SRP​/Downloads​/ngrams​.pdf. Accessed December 22, 2015.）、Meteor（Banerjee和Lavie，2005Banerjee, Satanjeev, and Alon Lavie 2005 “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments.” In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, ed. by Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, 65–72. Michigan, MI: University of Michigan.）、TER和其他类似指标。这些指标也可用于特定质量层面的估量。没有专业翻译参考的质量评估是一种相对较新、具有挑战性的MT质量评估方法（Shah等人，2013Shah, Kashif, Eleftherios Avramidis, Ergun Biçicic, and Lucia Specia 2013 “QuEst – Design, Implementation and Extensions of a Framework for Machine Translation Quality Estimation.” The Prague Bulletin of Mathematical Linguistics 100: 19–30. ）。大致来说，这个想法就是建立一个系统，使用不同于MT引擎本身使用的方法（例如算法、语言工具、培训数据等）来评估MT输出。这些系统是为不同的任务而设计的，例如对于几个备选的MT输出的自动排名，或者估测后期编辑的工作，亦或某个给定MT输出的总体质量。通常情况下，系统是在人工生成的数据上进行调试的，如现有的人工排名、系统输出的分级等。后期编辑的自动分析也被采用(详见Popović 2011aPopović, Maja 2011a “Hjerson: An Open Source Tool for Automatic Error Classification of Machine Translation Output.” The Prague Bulletin of Mathematical Linguistics 96: 59–68. )并可以提供见解。

在NERstar工具中执行的NER模型（Romero Fresco和Martinez 2015Romero-Fresco, Pablo, and Juan Martínez Pérez 2015 “Accuracy Rate in Live Subtitling – the NER Model.” In Audiovisual Translation in a Global Context: Mapping an Ever-changing Landscape, ed. by Jorge Díaz Cintas, and Rocío Baños Pinero, 28–50. London: Palgrave Macmillan. http://​hdl​.handle​.net​/10142​/141892(draft). Accessed November 4, 2015. ）是第一批具体的AVT指标之一。该模型不是为评估MT而设计的，而是为了评估与原始口头文本相比重述字幕的准确性。这个模型很有吸引力，因为它只考虑了两种错误：一种是由重述者引起的，另一种是由语音到文本的转换系统引起的。附加的权重表明各自错误的严重性。虽然该工具是计算机辅助字幕日常质量保证的一个很好的候选工具，但该模型不适用于评估MT质量以改进MT引擎的目标。为此，我们需要对MT的错误进行更细致的分析。

4.2多维质量度量（MQM）

多维质量度量(MQM)框架（Lommel等人，2014Lommel, Arle, Aljoscha Burchardt, and Hans Uszkoreit 2014 “Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics.” In Tradumàtica: tecnologies de la traducció 0 (12): 455–463.），来自文本翻译，是对AVT的错误进行仔细分析的一种有前图的方法。1616. http://​www​.qt21​.eu​/launchpad​/content​/multidimensional​-quality​-metrics 最初是在欧盟资助的QTLaunchPad项目中开发出来的，它基于对现有翻译质量指标的检验。创建MQM的目的是为了满足客观描述翻译错误的需要，这种方法也足够灵活，能够满足特定的需要。MQM包含100多种翻译质量问题，可用于描述翻译文本中的特定问题。这些问题类型按层次结构排列，这种排列方式允许用不同等级的粒度级别描述在文本中发现的问题。

图 1显示了相对复杂的MQM度量，这个度量用于对MT的错误进行详细的分析。用 粗斜体 标明的问题不在基本的MQM集中，而是代表自定义用户扩展。它们并不与MQM矛盾，只是提供了额外的粒度，且可视为其母问题的子类。在这种情况下，它们提供有关 “功能词” 问题的附加信息，如介词、冠词和助动词。这个度量标准着重强调语法特征和特定类型的准确性问题。

相比之下，图 2展示了一个更简单的度量，它可能适合评估用于视听的MT：

此指标一般用于AVT（不仅用于MT）。它添加了与AVT密切相关的类型（一种基本的MQM类型），并删除了一些不太可能特别相关的类别。它对语法的强调也要少得多，但添加了两种自定义类型：

1. 语境，从语境上讲是错误的翻译。

2. 时机，针对翻译内容出现在错误的时间点的情况。

可以看出，MQM的优势在于它提供了用于描述错误的标准化词汇表，这允许用户创建特定任务的指标（例如，用于评估新闻标题的指标可能与用于评价法律翻译的指标大不相同）。此外，MQM可以扩展，以支持主词汇表中没有呈现的问题。MQM是在开源translate51717. http://​www​.translate5​.net/ 编辑器中实施的，正用于QT21项目中，并进一步发展。目前关于MQM的工作旨在将其扩展到其他翻译类型，包括AVT。