2.1El reto de evaluar la calidad de la traducción automática

Es habitual confundir los sistemas de TA con las memorias de traducción (MT), ya que, en cierto modo, la TA se puede considerar una prolongación de la tecnología de las MT. Sin embargo, mientras que las MT solo recuperan traducciones existentes realizadas previamente por personas, la TA tiene la capacidad de generar de forma flexible nuevas traducciones basadas en las anteriormente mencionadas.

Uno de los mayores inconvenientes prácticos se encuentra en la dificultad de determinar el grado de utilidad de las traducciones automáticas o si “cumplen su finalidad” con suficiente calidad. En consecuencia, los poseditores se suelen encontrar con traducciones automáticas inservibles, lo que provoca un descenso de la productividad y la eficiencia. Para remediar este problema, se está desarrollando un enfoque de investigación denominado estimación de la calidad, que se ocupa de evaluar la calidad de las traducciones realizadas con TA (véase el apartado 4).

Es importante tener en cuenta que, pese a las numerosas ayudas tecnológicas de las que disfruta el traductor audiovisual (p. ej., programas especializados para la subtitulación o para la preparación y grabación de doblajes), el proceso de traducción en sí apenas recibe sustento tecnológico en este campo. Los traductores audiovisuales no suelen usar las MT a pesar de su uso generalizado en la traducción de textos.

2.2Lo que mejor hace la traducción automática y por qué

Al igual que el resto de la tecnología, la TA mejora con el uso. Si el flujo de trabajo está bien organizado, la selección o el rechazo de las sugerencias de la TA por los traductores profesionales y las correspondientes posediciones se emplean como retroalimentación para el constante desarrollo y mejora del sistema.

La traducción automática funciona bastante bien en contextos en los que las lenguas origen y meta son muy similares en lo que respecta a la estructura, morfología, conceptos, etc. Por ejemplo, un sistema que traduce del español al portugués será más fácil de crear y producirá mejores traducciones que un sistema que traduce del suajili al japonés. Otro factor decisivo es la disponibilidad de grandes cantidades de textos bilingües paralelos que sean suficientemente similares al texto por traducir en lo relativo al dominio, tipo de texto, etc., de manera que los sistemas puedan extraer toda la información relevante.

Por naturaleza, la TA tiene una mayor probabilidad de éxito a la hora de procesar fenómenos gramaticales y sintácticos que se encuentran a una corta distancia entre sí en la oración (como es el caso de la concordancia sujeto-verbo en inglés) que aquellos que están más alejados, como los sintagmas verbales en alemán, cuyos componentes pueden quedar separados dentro de la oración. Asimismo, los fenómenos que requieren saberes extralingüísticos al traducir, por ejemplo de tipo discursivo o de conocimiento del mundo (como en el caso de los pronombres ambiguos), sobrepasan las capacidades de los actuales sistemas.

No obstante, es interesante reconocer que las distancias cortas no implican unos mejores resultados para la TAV si se usa la traducción automática, dado que el texto hablado con frecuencia depende de inferencias y del contexto. También puede contener muchas locuciones y expresiones condensadas e incompletas, como se observa en (2):

Aunque ninguna de las traducciones automáticas alemanas es perfecta, la que se basa en la breve transcripción audiovisual es incomprensible, mientras que la basada en la oración original más explícita mantiene el significado bastante bien. Se aprecia una situación similar en (3):

3.1Género y dominio

Uno de los problemas que surgen a la hora de usar la TA en la traducción audiovisual es que la TAV es un dominio “abierto”, en el sentido de que el contenido audiovisual cubre un espectro temático todo lo amplio que sea imaginable, desde un documental técnico, preciso y con un léxico de gran complejidad, hasta noticias de la prensa rosa acerca de famosos. Como consecuencia, no se puede establecer un mínimo satisfactorio de predictibilidad, ni siquiera con grandes cantidades de datos, debido a la naturaleza heterogénea del contenido en todos los planos, incluido el léxico, gramatical y estructural.

3.2Falta de contexto visual

Una traducción audiovisual competente exige el conocimiento del contexto visual en el que está inmerso el texto de origen (Díaz Cintas & Remael 2007Díaz-Cintas, Jorge, and Aline Remael 2007 Audiovisual Translation, Subtitling. Manchester: St. Jerome., 51), un tipo de información que resulta inaccesible para los sistemas de TA. Un ejemplo sencillo podría ser la traducción de la palabra inglesa hello al italiano. En la mayoría de los casos, se traduciría por ciao como saludo en un encuentro informal; mientras que pronto sería la traducción correcta si se tratase de una conversación telefónica. En estos ejemplos, las expresiones que las preceden podrían proporcionar suficientes pistas acerca del contexto situacional. Sin embargo, la tecnología de TA que hace uso de tales indicios interoracionales se encuentra en un estadio de desarrollo muy incipiente. El ejemplo (4) también se ha extraído del proyecto SUMAT, en este caso a partir de subtítulos suecos:

En este caso, el sistema ha traducido la palabra stall erróneamente como aseos por la falta de contexto al que el traductor profesional tiene acceso.

3.3Estilo oral

Tal y como se ha documentado extensamente (p. ej., Rubin 1978Rubin, Ann D. 1978 “A Theoretical Taxonomy of the Differences between Oral and Written Language.” Center for the Study of Reading Technical Report 35.), entre el lenguaje hablado y el texto escrito existen muchas diferencias. Por ejemplo, el lenguaje oral tiene un porcentaje mayor de oraciones gramaticalmente incompletas, es más propenso a depender del contexto físico (p. ej., a usar el pronombre “este/esta” para referirse a un sustantivo), y, por lo general, es más informal. En cuanto al léxico, el texto hablado (en general) hace un mayor uso de marcadores verbales del discurso (como you know [ya sabes, pues], uh-huh [ajá], o right? [¿verdad?, ¿no?]) que no suelen encontrarse en un texto escrito, además de jerga y expresiones coloquiales. Veamos el ejemplo (5), donde la traducción se ha realizado mediante un sistema online de TA:

Si el pronombre condensado 'n vuelve a su forma gramatical completa, como en el ejemplo (6), el sistema de TA online creará una traducción que, aunque no sea correcta, se puede editar posteriormente con facilidad para formar un subtítulo adecuado, eliminando el artículo indefinido a [una].

Algo parecido ocurre con los coloquialismos que se muestran en el ejemplo (7):

Una posible solución es el uso de corpus elaborados con subtítulos, para así conservar muchas de las formas entrecortadas del habla, coloquialismos y rasgos orales que pueden ocasionar problemas a los sistemas que se han entrenado con textos escritos. Aunque no hay mucha disponibilidad de tales corpus, cuando se emplean, los sistemas elaborados con subtítulos resultan prometedores, tal y como se muestra en el ejemplo (8), procedente del proyecto SUMAT:

Si se elabora con el suficiente material de entrenamiento, la traducción automática estadística resulta una herramienta adecuada para lidiar con estos problemas.

3.4Falta de contexto

En relación con lo que veíamos en el punto anterior, el lenguaje hablado suele consistir en segmentos breves. Aunque no es problemático por sí mismo (la brevedad de los segmentos normalmente se correlaciona con una mejor calidad de la traducción), los enunciados orales son más propensos a depender de un contexto externo al propio segmento para que sean inteligibles. Dado que los motores de TA no suelen analizar más de un segmento cada vez, no contarán con acceso a este contexto tan importante. Por ejemplo, tengamos en cuenta el texto de estilo oral del ejemplo (9):

El it en la oración final del texto oral del ejemplo carece de contexto dentro del segmento, por lo que el sistema lo traduce como es (pronombre de género neutro en alemán), en lugar de ihn o den (masculino). Este tipo de resultados son normales cuando la traducción de una palabra depende de un contexto situado a varias oraciones de distancia de dicha palabra. Por razones similares, también se traduce parcialmente Big Fellow como Big Kollegen, lo que implica que los individuos en cuestión son compañeros de trabajo, a pesar de que el contexto deja claro que el hablante no conoce a ese hombre. Una traducción más adecuada habría sido algo como: großer Kerl [tipo grande]. En contraste, una descripción escrita se parecería más al siguiente ejemplo (10):

Aunque el ejemplo (10) muestra otros problemas, como usar el pronombre relativo femenino alemán die en lugar del masculino der para referirse al hombre al que hace referencia, y la falta de un verbo auxiliar en la proposición relativa ("visto" en vez de “ha visto”), es en general más inteligible que (9).

Del mismo modo, el pronombre personal you en inglés puede traducirse al alemán como Sie (formal), du (informal singular), ihr (informal plural) o man (pronombre impersonal). La forma en la que se traduce, con frecuencia depende del contexto macroestructural (p. ej. de quién está hablando y con quién), que no siempre se deriva fácilmente del texto de origen. Se encuentra otro ejemplo en (11), donde el pronombre alemán sie puede significar ella o ellos, y el sistema de TA elige la opción equivocada (a pesar de que el verbo hat deja claro cuál sería la correcta):

4.1Evaluación de la calidad en la investigación sobre TA

La evaluación de la calidad de la TA dentro del ámbito de la investigación se basa casi siempre en datos, de distinto tipo, aportados por traductores o poseditores profesionales. Las formas de evaluación más comunes en la actualidad son las siguientes:

1. Evaluación automática de la TA a partir de comparaciones algorítmicas de los resultados de la TA con traducciones de referencia realizadas por traductores humanos (profesionales) (p. ej., Papieni et al. 2002Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu 2002 “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311–318. http://​dl​.acm​.org​/citation​.cfm​?id​=1073083​&picked​=prox. Accessed December 22, 2015.; Banerjee y Lavie 2005Banerjee, Satanjeev, and Alon Lavie 2005 “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments.” In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, ed. by Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, 65–72. Michigan, MI: University of Michigan.). Es un método rápido que puede repetirse fácilmente y mejorarse en función de resultados anteriores.

2. Evaluación automática de la TA sin traducciones humanas de referencia, también conocida como estimación de la calidad (p. ej., Shah et al. 2013Shah, Kashif, Eleftherios Avramidis, Ergun Biçicic, and Lucia Specia 2013 “QuEst – Design, Implementation and Extensions of a Framework for Machine Translation Quality Estimation.” The Prague Bulletin of Mathematical Linguistics 100: 19–30. ). Este método requiere un sistema entrenado (con traducciones humanas), y emplea clasificaciones y puntuaciones asignadas por traductores profesionales (a traducciones alternativas anteriores) para mejorar la calidad de las métricas de estimación.

3. Clasificación por parte de evaluadores humanos de los resultados de la TA procedentes de diferentes sistemas. La clasificación la realizan, por ejemplo, los investigadores en PLN en algunas de las tareas compartidas1515. http://​www​.statmt​.org​/wmt15/ de la WMT (Workshop of Statistical Machine Translation). Avramidis et al. (2012)Avramidis, Eleftherios, Aljoscha Burchardt, Christian, Federmann, Maja Popovićs, Cindy Tscherwinka, and David Vilar 2012 “Involving Language Professionals in the Evaluation of Machine Translation.” In Proceedings of LREC 2012, 1127–1130. http://​www​.lrec​-conf​.org​/proceedings​/lrec2012​/index​.html. Accessed December 12, 2015. presentan un estudio en el que la clasificación la realizan traductores profesionales. Este método proporciona datos sobre el rendimiento relativo de determinados sistemas o variantes del sistema.

4. Posedición de los resultados de la TA por evaluadores humanos. La posedición la realizan, por ejemplo, los investigadores en PLN en algunas de las tareas compartidas de la WMT. Avramidis et al. (2012)Avramidis, Eleftherios, Aljoscha Burchardt, Christian, Federmann, Maja Popovićs, Cindy Tscherwinka, and David Vilar 2012 “Involving Language Professionals in the Evaluation of Machine Translation.” In Proceedings of LREC 2012, 1127–1130. http://​www​.lrec​-conf​.org​/proceedings​/lrec2012​/index​.html. Accessed December 12, 2015. presentan un estudio en el que son traductores profesionales los que llevan a cabo la tarea de posedición. Este método permite medir diferentes aspectos de eficiencia en la posedición (tiempo, cantidad de modificaciones, etc.), y procesa la información adquirida, por ejemplo, para analizar los tipos de modificaciones más frecuentes (p. ej., orden de palabras, morfología, inserciones, etc.).

5. Anotación, por parte de evaluadores humanos, de errores en los resultados de la TA (p. ej., véase Vilar et al. 2006Vilar, David, Jia Xu, Luis Fernando d’Haro, and Hermann Ney 2006 “Error Analysis of Statistical Machine Translation Output.” In Proceedings of LREC 2006, 697–702. file://​​/Users​/SRP​/Downloads​/2lrec06​_errorAnalysis​.pdf. Accessed December 22, 2015., donde las anotaciones las realizan los investigadores en PLN; mientras que en Lommel et al. 2014Lommel, Arle, Aljoscha Burchardt, and Hans Uszkoreit 2014 “Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics.” In Tradumàtica: tecnologies de la traducció 0 (12): 455–463., las realizan traductores profesionales). Este método proporciona un análisis detallado de errores de los resultados de la TA, incluyendo algunos específicos de adecuación y fluidez, así como el orden y la distancia de las palabras. Esta información puede usarse con posterioridad para mejorar los sistemas de TA.

Todos los métodos han sido y siguen siendo aplicados a la TA para la subtitulación. Como se ha comentado con anterioridad, no es fácil adquirir corpus paralelos que contengan material audiovisual. Surgen muchos problemas derivados de la propiedad de los guiones de subtitulado y doblaje, lo que dificulta la recopilación de un corpus de calidad suficientemente amplio, a lo que se suma la reticencia de las empresas a la hora de compartir material con los investigadores. De ahí que la evaluación de la TA mediante traducciones de referencia pueda resultar complicada. La estimación de la calidad se ha usado con éxito en el proyecto SUMAT, en el que los subtítulos previamente anotados se empleaban para entrenar al sistema para aislar subtítulos de escasa calidad y eliminarlos, de modo que a los poseditores solo les aparecía una caja en la que se lee “FILT” (Etchegoyhen et al. 2014Etchegoyhen, Thierry, Lindsay Bywood, Mark Fishel, Panayota Georgakopoulou, Jie Jiang, Gerard van Loenhout, Arantza del Pozo, Mirjam Sepesy Maucec, Anja Turner, and Martin Volk 2014 “Machine Translation for Subtitling: A Large-Scale Evaluation.” In Proceedings of LREC 2014, 46–53. http://​www​.lrec​-conf​.org​/proceedings​/lrec2014​/index​.html. Accessed December 22, 2015.). Todas las demás técnicas de evaluación anteriormente descritas se utilizaron también en este proyecto, que supone el caso de evaluación de la TA para subtítulos de mayor magnitud hasta la fecha. Sin embargo, un problema en particular en el ámbito de la TAV es la falta de poseditores que proporcionen datos para las distintas métricas. Como la TA no se usa mucho en la traducción audiovisual, hay pocos poseditores formados que puedan trabajar con textos audiovisuales, aunque se vislumbran en el horizonte programas de formación, y la investigación (De Sousa et al. 2011De Sousa, Sheila C. M., Wilker Aziz, and Lucia Specia 2011 “Assessing the Post-Editing Effort for Automatic and Semi-Automatic Translations of DVD Subtitles.” In Proceedings of the International Conference on Recent Advances in Natural Language Processing, ed. by Galia Angelova, Kalina Bontcheva, Ruslan Mitkov, and Nikolai Nikolov, 97–103. http://​www​.aclweb​.org​/anthology​/R11​-1014​.pdf. Accessed December 22, 2015.) ha demostrado que se pueden obtener resultados muy prometedores al integrar la TA, las tecnologías del traductor (humano) y la posedición.

Los dos primeros métodos de evaluación explicados con anterioridad se emplean para evaluar y estimar el rendimiento general de un sistema y una combinación lingüística en particular, con frecuencia de un dominio determinado, así como para comparar distintos sistemas. Entre las métricas de evaluación automática que se encuentran dentro de estas categorías, pero que también se pueden usar para realizar una estimación de determinados aspectos de la calidad de la TA, podemos destacar BLEU (Papineni et al. 2002Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu 2002 “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311–318. http://​dl​.acm​.org​/citation​.cfm​?id​=1073083​&picked​=prox. Accessed December 22, 2015.), los valores F (Popović 2011bPopović, Maja 2011b “Morphemes and POS Tags for N-gram Based Evaluation Metrics.” In Proceedings of the Sixth Workshop on Statistical Machine Translation, 104–107. file://​​/Users​/SRP​/Downloads​/ngrams​.pdf. Accessed December 22, 2015.), METEOR (Banerjee and Lavie 2005Banerjee, Satanjeev, and Alon Lavie 2005 “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments.” In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, ed. by Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, 65–72. Michigan, MI: University of Michigan.), TER y otras similares. La estimación de la calidad sin una traducción de referencia hecha por profesionales es un enfoque de evaluación de la calidad de la TA relativamente nuevo que supone un reto significativo (p. ej., Shah et al. 2013Shah, Kashif, Eleftherios Avramidis, Ergun Biçicic, and Lucia Specia 2013 “QuEst – Design, Implementation and Extensions of a Framework for Machine Translation Quality Estimation.” The Prague Bulletin of Mathematical Linguistics 100: 19–30. ). Simplificando, la idea es construir un sistema que emplee métodos (p. ej., algoritmos, herramientas lingüísticas, datos de entrenamiento, etc.) para evaluar el resultado de la TA que sean distintos a los que utiliza el motor de la TA. Los sistemas están diseñados para varios propósitos, como la clasificación automática de traducciones automáticas alternativas o la estimación del esfuerzo de posedición o de la calidad global de una traducción automática. Normalmente, se entrenan mediante datos generados por traductores humanos, que pueden ser clasificaciones o calificaciones de traducciones automáticas, por ejemplo, aunque también se emplea el análisis automático de acciones de posedición (véase Popović 2011aPopović, Maja 2011a “Hjerson: An Open Source Tool for Automatic Error Classification of Machine Translation Output.” The Prague Bulletin of Mathematical Linguistics 96: 59–68. ), lo que puede ofrecer nuevos hallazgos interesantes.

El modelo NER (Romero-Fresco y Martínez 2015Romero-Fresco, Pablo, and Juan Martínez Pérez 2015 “Accuracy Rate in Live Subtitling – the NER Model.” In Audiovisual Translation in a Global Context: Mapping an Ever-changing Landscape, ed. by Jorge Díaz Cintas, and Rocío Baños Pinero, 28–50. London: Palgrave Macmillan. http://​hdl​.handle​.net​/10142​/141892(draft). Accessed November 4, 2015. ) que se puso en práctica en la herramienta NERstar es una de las primeras métricas específicas para la TAV. No se diseñó para evaluar la TA sino la correspondencia de los subtítulos rehablados con respecto al texto hablado original. Este modelo resulta interesante porque solo tiene en cuenta dos tipos de errores: aquellos que comete el rehablante y los generados por el sistema de voz a texto. Se emplea un sistema de pesos adicionales para indicar la gravedad de los errores respectivos. Aunque esta herramienta es una buena candidata para la evaluación cotidiana de la calidad en la subtitulación asistida por ordenador, no permite aprovechar la evaluación con el objetivo de mejorar los motores de TA. Para ello, necesitamos unos análisis más detallados de los errores de la TA.

4.2Métricas de Calidad Multidimensionales (MQM, por sus siglas inglesas)

Un enfoque prometedor para el análisis detallado de errores en la traducción audiovisual que surge de la traducción de textos es el que ofrece el sistema de Métricas de Calidad Multidimensionales (MQM) (Lommel et al. 2014Lommel, Arle, Aljoscha Burchardt, and Hans Uszkoreit 2014 “Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics.” In Tradumàtica: tecnologies de la traducció 0 (12): 455–463.).1616. http://​www​.qt21​.eu​/launchpad​/content​/multidimensional​-quality​-metrics Inicialmente, se desarrolló en el proyecto financiado por la UE QTLaunchPad y partió del análisis de las métricas de evaluación de la calidad de la traducción ya existentes; su objetivo era responder a la necesidad de encontrar una forma de describir con objetividad los errores de traducción que también fuera lo suficientemente flexible para responder a requisitos específicos. MQM consiste en más de cien aspectos de calidad en traducción que se pueden usar para describir problemas específicos en textos traducidos. Estos aspectos se organizan jerárquicamente, de modo que puedan describirse los problemas encontrados en el texto con diferentes granularidades.

En la ilustración 1 se muestra una métrica MQM relativamente compleja que se empleó para realizar análisis detallados de los errores de traducción automática. Los problemas que aparecen en negrita y cursiva son aquellos que no se encuentran en el conjunto de aspectos básicos de MQM, sino que son extensiones personalizadas aportadas por los usuarios. No contradicen el sistema MQM porque simplemente aportan mayor granularidad y se los puede considerar subtipos de la categoría jerárquicamente superior. En este caso, proporcionan información adicional sobre problemas relacionados con “palabras funcionales” (Function words), como son las preposiciones, los artículos, y los verbos auxiliares. Esta métrica se centra principalmente en aspectos gramaticales y en problemas específicos relacionados con el aspecto de la “exactitud” (Accuracy).

En contraste, la ilustración 2 muestra una métrica más simple que posiblemente sea más adecuada para la evaluación de la TA usada con contenido audiovisual:

Esta métrica está planteada para la traducción audiovisual en general (no solo para la realizada con TA). Se añade la categoría “estilo” (Style) (un aspecto del modelo MQM básico), lo que tiene una gran relevancia en el campo de la TAV, y elimina una serie de elementos probablemente poco pertinentes. Además, pone mucho menos énfasis en la gramática (Grammar), dentro del aspecto de “fluidez” (Fluency), y añade dos categorías personalizadas:

1. Contextual, para traducciones que son contextualmente incorrectas (en la categoría Mistranslation), dentro del aspecto de “exactitud” (Accuracy).

2. El aspecto Timing ("tiempos"), para aquellos casos en los que las traducciones se muestran en el momento equivocado.

Como se puede apreciar, las ventajas de MQM consisten en que proporciona un vocabulario estandarizado para describir errores y permite que los usuarios creen métricas específicas para determinadas tareas (p.ej. una métrica para evaluar los subtítulos de noticias será bastante distinta de la que se emplee para la traducción jurídica). Además, este modelo se puede ampliar para dar cabida a problemas que no se encuentran presentes dentro del vocabulario principal. El modelo MQM se ha puesto en práctica dentro del editor de código abierto translate5 1717. http://​www​.translate5​.net/ y continúa en uso y en desarrollo dentro del proyecto QT21. Los trabajos actuales sobre MQM pretenden ampliarlo para incluir más tipos de traducción, entre los que se incluye la TAV.