Traducción
La psicolingüística y la traducción audiovisual

Jan-Louis Kruger
Universidad de Macquarie, Australia | Universidad North-West, Sudáfrica

Traducción por Ana Isabel Platero Orejudo, y Ana Lagoa Carvallo bajo la supervisión de Jorge Juan Sánchez Iglesias
University of Salamanca

Resumen

Desde los años 80 se vienen realizando investigaciones psicolingüísticas en relación con productos audiovisuales traducidos. Se han centrado fundamentalmente en estudiar el papel que cumplían los subtítulos en el procesamiento del lenguaje dentro del contexto del aprendizaje de una lengua, en la alfabetización y en la educación. Este artículo proporciona una visión general de algunas de las líneas de investigación más productivas desde la perspectiva de la psicolingüística en cuanto a la traducción audiovisual (TAV). Se centra en los estudios que investigan los efectos positivos de los subtítulos en el desarrollo de la actuación lingüística, así como en el creciente número de trabajos de investigación conductuales que versan sobre el procesamiento cognitivo del lenguaje de los subtítulos. En este artículo se evalúan las metodologías empleadas en algunos de los estudios más destacados sobre el procesamiento de los subtítulos, especialmente los que hacen uso del eye-tracking. Además, se aportan algunas reflexiones sobre futuras orientaciones de los estudios psicolingüísticos relacionados con el procesamiento del lenguaje en la TAV.

Palabras clave:
Tabla de contenidos

1.Introducción

La relación que existe entre la traducción audiovisual (TAV) y la psicolingüística gira en torno a las distintas formas en las que el lenguaje pasa a un primer plano en la TAV, lo que hace que esta modalidad nos proporcione un contexto muy útil para estudiar la manera en la que los individuos procesamos el lenguaje. En la TAV, el procesamiento del lenguaje se complica por el hecho de que se produce junto con el procesamiento de otros códigos debido a la naturaleza multimodal del texto audiovisual.

Podría decirse que la TAV se preocupa por representar lingüísticamente canales que no son accesibles para los diferentes usuarios del texto audiovisual, de tal modo que este se vuelva accesible. Ello incluye la representación de:

  • diálogos destinados a una audiencia que no puede entender la lengua original: visualmente se manifiesta en un subtitulado interlingüístico; o auditivamente, a través del doblaje o las voces superpuestas (voice-over);

  • diálogos y sonidos para aquellos espectadores con pérdida de la capacidad auditiva: se manifiesta visualmente a través del subtitulado (subtítulos intralingüísticos o interlingüísticos);

  • signos visuales y sonidos ambiguos en el caso de una audiencia con pérdida de la capacidad visual: se manifiesta auditivamente a través de la audiodescripción (AD) y la audionarración.

Los productos resultantes de la TAV también son utilizados por una audiencia que tiene acceso a todos los canales, pero que necesita un apoyo en términos de variación, competencia lingüística o comprensión, que pueden proporcionar los subtítulos (en la misma lengua u otra). También puede necesitar apoyo para la comprensión de escenas visuales, un apoyo que le puede proporcionar la AD.

Por consiguiente, la TAV requiere que los usuarios procesen el lenguaje que se añade a un texto audiovisual existente para así adquirir o mejorar su acceso a ese texto en particular. Al darle importancia al lenguaje resultante de la TAV, se ha producido una gran cantidad de material apto en contextos relacionados con el aprendizaje y la comprensión del lenguaje, así como en otros ámbitos educativos.

El ámbito principal en el que se centra la psicolingüística incluye cuestiones relacionadas con la adquisición, la comprensión, la producción y el procesamiento del lenguaje en la mente o el cerebro (VanPatten 2014VanPatten, Bill 2014 “The Psycholinguistics of SLA.” In Research Methods in Second Language Psycholinguistics (Second Language Acquisition Research Series), ed. by Jill Jegerski, and Bill VanPatten, 1–19. New York: Routledge.Google Scholar). VanPatten lo formula de forma más concisa al decir que “whereas linguistic theory is centred on representation, psycholinguistics is centred on processes and processing” [Mientras que la teoría lingüística se centra en la representación, la psicolingüística se centra en los procesos y y el procesamiento] (2).

En su extensa historia (que se remonta a la primera mitad del siglo XX), la psicolingüística ha desarrollado metodologías extremadamente útiles para investigar la manera en la que se procesa el lenguaje: desde estudios conductuales utilizados para deducir cómo se procesa el lenguaje en del cerebro hasta los avances más recientes del eye-tracking y la neuroimagen, que hacen posible la obtención de mediciones más directas e inmediatas del procesamiento del lenguaje. En palabras de Pulvermüller (2009Pulvermüller, Friedemann 2009 “Word Processing in the Brain as Revealed by Neurophysiological Imaging.” In The Oxford Handbook of Psycholinguistics, ed. by M. Gareth Gaskell, 119–139. Oxford: Oxford University Press.Google Scholar, 119), “studies of brain correlates of psycholinguistic processes can complement behavioral results, and in some cases […] can lead to direct information about the basis of psycholinguistic processes” [los estudios de los correlatos cerebrales de los procesos psicolingüísticos pueden complementar los resultados conductuales, y en algunos casos […] pueden proporcionarnos información directa sobre los fundamentos de los procesos psicolingüísticos].

Por un lado, las investigaciones realizadas en el ámbito de la TAV han estado estrechamente ligadas a los estudios de la psicolingüística. Una prueba de ello es la sólida línea de investigación sobre el papel que desempeñan los subtítulos en la comprensión, adquisición y procesamiento del lenguaje. Por otro lado, todavía hay mucho margen de aplicación en cuanto a la metodología que ya está bien asentada en algunas áreas de la psicolingüística en lo que respecta a la investigación de la TAV. Un ejemplo de ello es el sólido campo de la investigación sobre la lectura con la ayuda de la técnica del eye-tracking, que se enfrenta a muchos obstáculos cuando se aplica al estudio de los subtítulos. Ello es consecuencia de la naturaleza dinámica del texto audiovisual, la cual hace que la mayoría de los métodos que se usan en la lectura estática sean difíciles de aplicar.

El nutrido volumen de investigaciones centradas en la actuación al que nos referiremos en este artículo, así como los estudios conductuales o fisiológicos relacionados con el eye-tracking, que ha producido un conjunto de trabajos igual de impresionantes, pueden complementarse con mediciones exactas y objetivas del procesamiento cognitivo a través de la técnica de neuroimagen (EEG) y con el desarrollo de métodos fiables para aplicar las estadísticas de lectura a textos dinámicos. Por lo tanto, el artículo comenzará con un panorama general de los estudios centrados en la actuación y la recepción, para después continuar con los estudios fisiológicos conductuales antes de sugerir algunas líneas metodológicas para el estudio del procesamiento del lenguaje en la TAV.

2.Estudios de actuación y recepción

Los beneficios de los subtítulos en diversos contextos están más que documentados. La mayoría de estos estudios se centran en la comprensión lectora y auditiva, la adquisición de vocabulario, la alfabetización y la alfabetización académica. Todas estas áreas son relevantes desde una perspectiva psicolingüística y, de hecho, algunas han proporcionado resultados muy apreciables a lo largo de los años.

Vanderplank (1988Vanderplank, Robert 1988 “The Value of Teletext Sub-titles in Language Learning.” ELT Journal 42 (4): 272–281. CrossrefGoogle Scholar, 1990 1990 “Paying Attention to the Words: Practical and Theoretical Problems in Watching Television Programmes with Uni-lingual (CEEFAX) Sub-titles.” System 18 (2): 221–234. CrossrefGoogle Scholar), Markham (1993Markham, Peter L. 1993 “Captioned Television Videotapes: Effects of Visual Support on Second Language Comprehension.” Journal of Educational Technology Systems 21: 183–191. CrossrefGoogle Scholar, 1999Markham Peter, L. 1999 “Captioned Video-Tapes and Second Language Listening Word Recognition.” Foreign Language Annals 32 (3): 321–328. CrossrefGoogle Scholar) y Danan (2004)Danan, Martine 2004 “Captioning and Subtitling: Undervalued Language Learning Strategies.” Meta 49 (1): 67–77. CrossrefGoogle Scholar descubrieron que existía un aumento de la comprensión como resultado de la visualización de vídeos subtitulados. Se obtuvieron resultados también positivos en cuanto al uso de los subtítulos en los trabajos de Garza (1991)Garza, Thomas J. 1991 “Evaluating the Use of Captioned Video Materials in Advanced Foreign Language Learning.” Foreign Language Annuals 24 (3): 239–258. CrossrefGoogle Scholar y de Bird y Williams (2002)Bird, Stephen A., and John Williams 2002 “The Effect of Bimodal Input on Implicit and Explicit Memory: An Investigation into the Benefits of Within-Language Subtitling.” Applied Psycholinguistics 23 (4): 509–533. CrossrefGoogle Scholar, quienes descubrieron que los subtítulos ayudan a salvar las distancias entre la lectura y la audición, a la vez que ayudan a los estudiantes a adquirir vocabulario en contexto. Todos estos estudios parecen apoyar la idea de que los subtítulos contribuyen a la comprensión y la adquisición de vocabulario.

Asimismo, en otros campos de la psicología educativa, los investigadores también calificaban de positivos estos descubrimientos. Por ejemplo, Diao et al. (2007)Diao, Yali, Paul Chandler, and John Sweller 2007 “The Effect of Written Text on Comprehension of Spoken English as a Foreign Language.” The American Journal of Psychology 120 (2): 237–261.Google Scholar descubrieron que “listening with the presence of a script and subtitles led to better understanding of the scripted and subtitled passage but poorer performance on a subsequent auditory passage than listening with the auditory material only” (2007Diao, Yali, Paul Chandler, and John Sweller 2007 “The Effect of Written Text on Comprehension of Spoken English as a Foreign Language.” The American Journal of Psychology 120 (2): 237–261.Google Scholar, 237) [escuchar junto con la presencia de un guion o subtítulos da lugar a una mejor comprensión del pasaje que se acompaña de estos, pero empeora el rendimiento en una secuencia posterior donde solo hay audición frente a la audición solo con material oral]. Asimismo, el impacto de los subtítulos durante el aprendizaje muestra una correlación directa con los niveles académicos y de alfabetización de los participantes, lo que lo hace más útil para los estudiantes más avanzados.

En un resumen general de las investigaciones sobre el papel de los subtítulos en el aprendizaje de lenguas, Vanderplank (2013 2013 “ ‘Effects of ’ and ‘Effects with’ Captions: How Exactly Does Watching a TV Programme with Same-Language Subtitles Make a Difference to Language Learners?Language Teaching 1–16.Google Scholar, 5) contrasta los hallazgos positivos en algunos contextos con otros que indican que los subtítulos no son necesaria ni abrumadoramente útiles en el aprendizaje de lenguas: “in general, and rather to my disappointment, there was no ‘free ride’ for learners. Tasks, strategies and focused viewing were required to extract language and content […] Those who ‘sat back’ and watched programmes retained and recalled little or nothing of the language.” [por lo general, y más bien a mi pesar, no supone una ventaja para los que aprenden una lengua. Se requerían tareas, estrategias y visualizaciones atentas para extraer la lengua y el contenido […] Aquellos que simplemente se relajaban y se dedicaban a ver el programa retenían y recordaban menos o nada de la lengua].

El principal interés en la mayoría de los estudios de recepción y actuación relacionados con los subtítulos es el hecho de que resulta prácticamente imposible controlar la variable de lectura (si los participantes leen o no los subtítulos cuando aparecen y con qué detenimiento los leen) o la variable de la fuente de información (si los sujetos reciben la información a través de los subtítulos, mediante el canal auditivo u otros signos visuales cuando está disponible más de una fuente de información). Este hecho significa que poco se puede añadir a la investigación sobre la TAV por más estudios que intenten determinar el impacto o el efecto que tienen los subtítulos en la comprensión o el aprendizaje de la lengua, a menos que puedan estar directamente relacionados con el procesamiento de lenguas específicas. Esto nos lleva al fértil campo de los estudios fisiológicos, donde principalmente nos centraremos en el procesamiento de los subtítulos mediante la técnica de eye-tracking, una vía que le confiere una mayor profundidad al estudio psicolingüístico sobre el procesamiento de la lengua de los subtítulos.

3.Estudios fisiológicos

En contraste con los estudios en cuanto a la actuación como los que hemos mencionado anteriormente, los estudios conductuales o, más concretamente, fisiológicos, pasan de centrarse en el impacto que tienen los subtítulos en diversos aspectos relacionados con el lenguaje y la comprensión a centrarse en investigar lo que ocurre durante el procesamiento de los subtítulos. Es decir, ¿cómo afectan los subtítulos a la conducta de los espectadores? Debido a las limitaciones de los estudios de la actuación en cuanto a precisar la forma en la que los subtítulos afectan al procesamiento del lenguaje, esta dirección resulta especialmente útil a la hora de proponer futuras metodologías para la investigación de la TAV. Sobre todo, las investigaciones psicolingüísticas que hacen uso de electroencefalografía (EEG) para estudiar los potenciales cerebrales relacionados a eventos (PRE), las imágenes por resonancia magnética funcional (IRMf), y ciertas mediciones obtenidas por medio del eye-tracking (especialmente pupilométricas) proporcionan maneras de obtener mediciones directas y objetivas del procesamiento cognitivo del lenguaje, con la ventaja adicional de obtenerlas en tiempo real. Otras mediciones de rastreo ocular, como el movimiento de los ojos a medida que se va leyendo (hacia dónde y por cuanto tiempo miran los lectores), proporciona información en tiempo real y datos objetivos, pero estas mediciones solo nos dan datos indirectos sobre el procesamiento cognitivo.

El eye-tracking es la única técnica de las mencionadas anteriormente que se ha utilizado con frecuencia en la investigación sobre TAV, y después principalmente como una medición indirecta objetiva sobre la actividad cognitiva. Sin embargo, todas las mediciones objetivas directas señaladas añadirían, sin duda, un valor significativo a nuestro entendimiento sobre cómo se procesa el lenguaje de los productos obtenidos con la TAV (también la AD, el doblaje y otras modalidades de la TAV). Muchos de los estudios de eye-tracking dentro de este campo solo tienen en cuenta la medición indirecta de la actividad cognitiva basada en el supuesto ojo-mente, es decir, que la mente centra su atención en la parte donde se fija el ojo (Just y Carpenter 1980Just, Marcel Adam, and Patricia A. Carpenter 1980 “A Theory of Reading: From Eye Fixations to Comprehension.” Psychological Review 87 (4): 329–354. CrossrefGoogle Scholar).

4.Eye-tracking

El eye-tracking comenzó a emplearse como método experimental con el fin de investigar el procesamiento cognitivo visual ya hacia 1870, y esta modalidad se ha utilizado mucho en las investigaciones psicolingüísticas durante más de 40 años con la finalidad de estudiar la comprensión lectora (Keating 2014Keating, Gregory D. 2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.Google Scholar, 69). Uno de los nombres clave en este campo de investigación es Keith Rayner y sus colaboradores (Rayner 1998Rayner, Keith 1998 “Eye Movements in Reading and Information Processing: 20 Years of Research.” Psychological Bulletin 124: 372–422. CrossrefGoogle Scholar para una visión general de los primeros 20 años del eye-tracking aplicado a la investigación sobre la lectura). A pesar de la profundidad con la que se ha estudiado y la amplitud de toda la información que se ha acumulado a lo largo de este periodo en lo referido a la lectura estática, los estudios con eye-tracking aplicados al campo del aprendizaje de una segunda lengua tan solo surgieron a finales de los años 90, y de manera especialmente destacada en los últimos cinco años (Keating 2014Keating, Gregory D. 2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.Google Scholar ofrece una revisión de los estudios de eye-tracking más significativos en el ámbito de la adquisición de segundas lenguas). Como ha señalado Keating (2014Keating, Gregory D. 2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.Google Scholar, 70) “given that eye-tracking provides a fine-grained measure of real-time language processing and is capable of detecting subtle differences between native and non-native language processing, it is likely that this method will continue to gain momentum in L2 psycholinguistic research” [puesto que el eye-trackng ofrece unos valores muy precisos en tiempo real en cuanto al procesamiento de la lengua y es capaz de detectar diferencias muy sutiles entre el procesamiento de la lengua materna y la lengua extranjera, es probable que este método siga cobrando fuerza en la investigación psicolingüística sobre la adquisición de segundas lenguas (L2)]. Sin duda, este también es el caso que se da en TAV, sobre todo si el procesamiento del lenguaje se puede investigar con mayor rigurosidad].

En el ámbito de la TAV, Géry d’Ydewalle y algunos de sus colaboradores de investigación en Bélgica se han encargado del estudio psicolingüístico en el procesamiento de los subtítulos desde finales de los 80 para lo que han hecho uso del eye-tracking. Hasta la fecha, se han publicado numerosos estudios en los que se ha analizado el movimiento ocular en un intento de comprender cómo se procesan los subtítulos. Entre ellos se incluyen los trabajos de d’Ydewalle y Gielen (1992)d’Ydewalle, Géry, and Ingrid Gielen 1992 “Attention Allocation with Overlapping Sound, Image, and Text.” In Eye Movements and Visual Cognition: Scene Perception and Reading, ed. by Keith Rayner, 415–427. New York: Springer- Verlag. CrossrefGoogle Scholar, d’Ydewalle y De Bruycker (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. CrossrefGoogle Scholar, Specker (2008)Specker, Elizabeth A. 2008L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona.Google Scholar, Perego et al. (2010)Perego, Elisa, Fabio Del Missier, Marco Porta, and Mauro Mosconi 2010 “The Cognitive Effectiveness of Subtitle Processing.” Media Psychology 13 (3): 243–272. CrossrefGoogle Scholar, Bisson et al. (2012)Bisson, Marie-Josée, Walter Van Heuven, Kathy Conklin, and Richard Tunney 2012 “Processing of Native and Foreign Language Subtitles in Films: An Eye Tracking Study.” Applied Psycholinguistics 35: 399–418. CrossrefGoogle Scholar, Ghia (2012)Ghia, Elisa 2012 “The Impact of Translation Strategies on Subtitle Reading.” In Eye Tracking in Audiovisual Translation, ed. by Elisa Perego, 155–182. Roma: Aracne Editrice.Google Scholar, Rajendran et al. (2013)Rajendran, Dhevi, Andrew Duchowski, Pilar Orero, Juan Martínez, and Pablo Romero-Fresco 2013 “Effects of Text Chunking on Subtitling: A Quantitative and Qualitative Examination.” Perspectives: Studies in Translatology 21 (1): 5–31. CrossrefGoogle Scholar, Krejtz et al. (2013)Krejtz, Izabela, Agnieszka Szarkowska, and Krzysztof Krejtz 2013 “The Effects of Shot Changes on Eye Movements in Subtitling.” Journal of Eye Movement Research 6 (5): 1–12.Google Scholar, Kruger (2013)Kruger, Jan-Louis 2013 “Subtitles in the Classroom: Balancing the Benefits of Dual Coding with the Cost of Increased Cognitive Load.” Journal for Language Teaching 47 (1): 29–53.Google Scholar, Kruger et al. (2013)Kruger, Jan-Louis, Esté Hefer, and Gordon Matthew 2013 “Measuring the Impact of Subtitles on Cognitive Load: Eye Tracking and Dynamic Audiovisual Texts.” Proceedings of the 2013 Conference on Eye Tracking South Africa, 62–66. New York: ACM. CrossrefGoogle Scholar, Winke et al. (2013)Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275. CrossrefGoogle Scholar, y Kruger y Steyn (2014)Kruger, Jan-Louis, and Faans Steyn 2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120.Google Scholar. Algunos de los temas predominantes en estos estudios son las diferencias entre cómo se leen subtítulos de una línea o de dos, cómo se distribuye la atención entre los subtítulos y el resto de la en pantalla y qué esfuerzo entraña la lectura de subtítulos (para tener una visión más general sobre algunos de estos estudios, Kuger y Steyn 2014Kruger, Jan-Louis, and Faans Steyn 2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120.Google Scholar y Winke et al. 2013Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275. CrossrefGoogle Scholar). Entre estos estudios, muy pocos van más allá de la mera cuantificación de la atención para estudiar el procesamiento de elementos específicos contenidos en el lenguaje de los subtítulos, aunque se han obtenido algunos datos relevantes.

En su estudio de 2007d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. CrossrefGoogle Scholar, d’Ydewalle y De Bruycker llevaron a cabo una investigación en la que estudiaban el movimiento ocular de los niños y los adultos mientras visualizaban subtítulos en la televisión. En concreto, el estudio fue mucho más allá que otros estudios realizados con anterioridad que usaban el eye-tracking para estudiar el procesamiento de los subtítulos, ya que no se basaba simplemente en comparar la atención que se le presta a los subtítulos con la atención dedicada a la imagen. En este estudio, se intentó determinar si los participantes leían los subtítulos de forma regular, palabra por palabra. Para ello, se calculó “the number of fixations in the subtitle, the fixation duration, the saccade amplitude, the number of regressive eye movements in the subtitle as well as how often the subtitles were completely skipped” [el número de movimientos de fijación en el subtítulo, la duración de la fijación, la amplitud del movimiento sacádico, el número de movimientos oculares regresivos en el subtítulo, así como la frecuencia con la que los participantes se saltaban los subtítulos] (197). Incluso contaron también el número de veces que la mirada iba de la imagen al subtitulo y viceversa. Al hacerlo, este estudio distinguía por primera vez entre leer los subtítulos y mirar los subtítulos, aunque todavía de una manera bastante rudimentaria y nada cercana al nivel de precisión que se ha conseguido en los estudios de lectura en lo referido a los textos estáticos.

Para determinar si había habido lectura, se analizaron los resultados de las respuestas de atención (obtenidos del porcentaje de subtítulos que el espectador se había saltado, el periodo de latencia hasta la primera fijación, y el porcentaje de tiempo empleado dentro del área donde se encontraba el subtítulo); las características de la fijación en el subtítulo (el número y la duración de la fijación así como la probabilidad que tiene una palabra de ser objeto de fijación, basada en fijaciones por palabras); y las características de los movimientos sacádicos (amplitud, cambios de dirección en horizontal o en vertical que se dan entre la imagen y el texto). Esto les permitió determinar si los dos grupos leían los subtítulos en ambas condiciones. Por ello, este estudio supone un paso significativo para conseguir información útil sobre cómo se procesan los subtítulos, pero todavía faltan interpretaciones más matizadas, puesto que estos hallazgos están basados en medidas de lectura regular bastante amplias y aún en bruto.

Sin embargo, el estudio realizado por d’Ydewalle y De Bruycker (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. CrossrefGoogle Scholar aporta unos cimientos sólidos sobre los que asentar futuras investigaciones en TAV, debido al hecho de que proporcionan pruebas adicionales a sus observaciones anteriores de que los subtítulos se leen automáticamente (d’Ydewalle et al. 1991d’Ydewalle, Géry, Caroline Praet, Karl Verfaillie, and Johan van Rensbergen 1991 “Watching Subtitled Television: Automatic Reading Behavior.” Communication Research 18: 650–665. CrossrefGoogle Scholar). Llegaron a la conclusión de que existe poca diferencia en cuanto a la conducta lectora entre adultos y niños, pero que los subtítulos inversos (es decir, traducidos a una lengua extranjera) no se leían en igual medida que los subtítulos estándar (los participantes solían saltárselos con mayor frecuencia, se fijaban en ellos menos veces y durante periodos más cortos). Un resultado que no se obtuvo en este estudio fue correlacionar la lectura con otras mediciones como el comportamiento.

Specker (2008)Specker, Elizabeth A. 2008L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona.Google Scholar investigó sobre la lectura en movimiento, concretamente sobre el desplazamiento de subtítulos de tres líneas producidos mediante la técnica del rehablado o respeaking. Se centró en el número de fijaciones oculares y en la duración media de cada una de estas, así como en las fijaciones sucesivas y, posteriormente, examinó el trazado de las fijaciones por cada subtítulo individual, aportando muy buenas interpretaciones cualitativas sobre la lectura de subtítulos tras realizar rigurosos análisis multimodales apoyados en datos sobre la comprensión. Utilizando dichos métodos, dio un paso más hacia la descripción de cómo se leen los subtítulos; aunque el reducido número tanto de sujetos estudiados como de tipos de subtítulos (desplazamiento de la pantalla, tres líneas en vez de subtítulos de dos líneas) sugiere que su metodología puede no resultar adecuada para estudios sobre subtítulos más convencionales.

Tanto d’Ydewalle y De Bruycker (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. CrossrefGoogle Scholar, como Bisson et al. (2012)Bisson, Marie-Josée, Walter Van Heuven, Kathy Conklin, and Richard Tunney 2012 “Processing of Native and Foreign Language Subtitles in Films: An Eye Tracking Study.” Applied Psycholinguistics 35: 399–418. CrossrefGoogle Scholar investigaron el procesamiento de subtítulos en la lengua nativa (LN) y en la lengua extranjera (LE). Compararon subtítulos estándar (audio en LE y subtítulos en LN), inversos (audio en LN y subtítulos en LE) e intralingüísticos (audio y subtítulos en LE). Se centraron en el número de fijaciones oculares, la duración total y la duración media de estas, la cantidad de subtítulos sin leer y la proporción de fijaciones sucesivas (es decir, el número de fijaciones sucesivas dividido por el número de fijaciones total). Estos diversos modos de análisis indican que -como d’Ydewalle y De Bruycker (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. CrossrefGoogle Scholar y Specker (2008)Specker, Elizabeth A. 2008L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona.Google Scholar – se intenta medir no solo la atención puesta en los subtítulos, sino también el modo de lectura, aunque a un nivel muy básico. No se encontraron diferencias significativas entre el procesamiento de subtítulos estándar (de LE a LN) y subtítulos intralingüísticos (de LE a LE). Eso sí, se comprobó que los participantes pasaban más tiempo centrados en la imagen en el modo intralingüístico, y que pasaban menos tiempo leyendo los subtítulos en el modo inverso (de LN a LE). Hay algunos indicios que indican que existen factores exógenos (bottom-up), como puede ser la prominencia del texto, que atrae la atención visual por razones distintas al procesamiento cognitivo endógeno (top-down). Sin embargo, es evidente que se necesitan más estudios para conocer con más exactitud qué información se extrae de los subtítulos en comparación con otras fuentes de información.

Varios estudios sobre el eye-tracking se centraron en cómo los movimientos oculares se ven afectados por aspectos como la división de las líneas, las estrategias de traducción y los cambios de escena. Perego et al. (2010)Perego, Elisa, Fabio Del Missier, Marco Porta, and Mauro Mosconi 2010 “The Cognitive Effectiveness of Subtitle Processing.” Media Psychology 13 (3): 243–272. CrossrefGoogle Scholar investigaron el impacto de la división de un texto a la hora de procesar los subtítulos dividiendo la pantalla en dos áreas, la de subtítulos y la de imagen, mediante una línea divisoria. Ulteriormente, estudiaron el número de fijaciones oculares, el tiempo total de las mismas, la duración media por cada fijación, la duración del movimiento ocular sacádico y los cambios entre los subtítulos y las áreas de imagen. En un principio, determinaron que el procesamiento de una película con subtítulos resulta cognitivamente efectivo a pesar de la carga cognitiva que añaden. Además, comprobaron que la división del texto no impacta de manera negativa en el procesamiento de subtítulos, lo que contradice la mayoría de las guías de subtitulado. No obstante, hay que reconocer que solo manipularon la división dentro de un mismo subtítulo y no entre subtítulos, y que solo se centraron en un total de 28 subtítulos, hecho que limita la generalización de sus conclusiones. Aun así, no deja de ser un estudio psicolingüístico muy minucioso.

De manera similar, Rajendran et al. (2013)Rajendran, Dhevi, Andrew Duchowski, Pilar Orero, Juan Martínez, and Pablo Romero-Fresco 2013 “Effects of Text Chunking on Subtitling: A Quantitative and Qualitative Examination.” Perspectives: Studies in Translatology 21 (1): 5–31. CrossrefGoogle Scholar investigaron el impacto de la división del texto en la lectura de subtítulos mediante el estudio de las duraciones de fijación más significativas, la proporción de los puntos de atención de la mirada y de la fijación en los subtítulos, así como el número de veces que la mirada del espectador iba de la imagen al subtítulo y viceversa (cruces de movimientos oculares sacádicos o número de miradas o relecturas) en el contexto de subtítulos en directo. Mediante la comparación de diferentes estilos de segmentación (más en concreto, no-segmentación, palabra por palabra, división por frase y división por oración), llegaron a la conclusión de que la división del texto por frase o por oración daba lugar a un procesamiento más efectivo, ya que había una reducción de la cantidad de tiempo utilizado para cada subtítulo y para el número de cambios entre texto e imagen. Aunque expongan unos argumentos muy convincentes, se necesitan análisis psicolingüísticos más detallados realizados a partir de textos más extensos para comprender mejor el procesamiento lingüístico de subtítulos de diferente extensión.

El trabajo realizado por Ghia (2012)Ghia, Elisa 2012 “The Impact of Translation Strategies on Subtitle Reading.” In Eye Tracking in Audiovisual Translation, ed. by Elisa Perego, 155–182. Roma: Aracne Editrice.Google Scholar es un buen ejemplo de la combinación de modos de análisis cuantitativos y cualitativos en eye-tracking. Comparó la intensidad de la actividad visual en la lectura de subtítulos entre traducciones literales y no literales al inglés de un audio en italiano leídos por participantes de nacionalidad italiana. Se analizaron los patrones de mirada con el fin de establecer desviaciones entre subtítulos e imagen, así como fijaciones oculares en determinadas palabras y regresiones. Se dieron más desviaciones en las traducciones no literales. Tras observar la influencia de la información tanto en el diálogo como en los subtítulos, su estudio arroja algo de luz en el ámbito del procesamiento cognitivo cuando están presentes dos fuentes de información que los propios espectadores funden en una. Puesto que extrajo la información a partir de la reproducción de las miradas de cada participante, su estudio se vio limitado necesariamente en cuanto al número de participantes y a la duración del clip. Aun así, proporciona información muy útil como punto de partida para futuros estudios cuantitativos que investiguen estos mismos aspectos.

Winke et al. (2013)Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275. CrossrefGoogle Scholar investigaron la lectura de subtítulos por parte de estudiantes ingleses con diferentes segundas lenguas con la finalidad de determinar hasta qué punto la relación entre L1 y L2 afecta a la lectura. Con esta finalidad, compararon los movimientos oculares de estudiantes de árabe, español, ruso y chino al leer subtítulos en dichas segundas lenguas. Resulta un estudio muy interesante, ya que representa el primer intento de examinar el impacto de diferentes lenguas en el procesamiento de subtítulos. De acuerdo con Winke et al., “the cognitive effort involved in attending to and parsing language may affect the learner’s ability to use and benefit from captions” [el esfuerzo cognitivo que supone prestar atención y analizar un idioma puede influir en la capacidad del estudiante a la hora de usar y de sacar provecho de los subtítulos] (255). En ese sentido, determinaron que los estudiantes de árabe empleaban más tiempo en los subtítulos que los estudiantes de español o de ruso. Asimismo, los estudiantes de chino empleaban menos tiempo en subtítulos cuando el contenido no les era familiar. A partir de los resultados de su estudio, sugieren que las diferencias entre las lenguas que se estudian pueden limitar los beneficios de los subtítulos a la hora de aprender un idioma, principalmente debido a la carga cognitiva. Su estudio, una vez más, considera principalmente la cantidad de tiempo que se emplea leyendo los subtítulos en oposición al tiempo empleado mirando el resto de la pantalla y no da respuesta a ese otro tipo de cuestiones. Por tanto, aunque también señala áreas importantes de investigación dentro de la TAV, este estudio presenta un amplio abanico de variables que pueden provocar confusión, por lo que no va mucho más allá de indicar que la ortografía y la proximidad entre L1 y L2 influyen mucho en el tiempo dedicado a los subtítulos, y por lo tanto en la carga cognitiva.

Kruger et al. (2013)Kruger, Jan-Louis, Esté Hefer, and Gordon Matthew 2013 “Measuring the Impact of Subtitles on Cognitive Load: Eye Tracking and Dynamic Audiovisual Texts.” Proceedings of the 2013 Conference on Eye Tracking South Africa, 62–66. New York: ACM. CrossrefGoogle Scholar dan un paso más en la medición de la carga cognitiva en presencia de subtítulos al comparar diferentes formas de medida de la carga cognitiva. En su estudio sobre el procesamiento de subtítulos en vídeos educativos en inglés con subtítulos en el mismo idioma por parte de estudiantes de inglés como segunda lengua (ESL), se mide la carga cognitiva a través de la pupilometría, las auto-evaluaciones individuales y los niveles de compromiso y frustración utilizando electroencefalogramas (EEG). Descubrieron que aquellos participantes que veían el vídeo subtitulado experimentaban menor carga cognitiva que quienes venían la versión sin subtítulos. Además, la situación de no tener subtítulos provocó niveles significativamente más altos de frustración como se pudo observar en los EEG, lo que tenía una correlación significativa con los niveles de frustración expresados en sus auto-evaluaciones por los participantes en la visualización con subtítulos. Al combinar formas de análisis directas e indirectas de la carga cognitiva, su estudio nos acerca a una mejor comprensión de las posibles razones de los beneficios demostrados en anteriores estudios, aunque el uso tanto de la pupilometría como de la evaluación de las respuestas afectivas mediante EEG sea cuestionable en este estudio. En el caso de la dilatación de las pupilas, el cambio constante de los niveles de luminosidad provoca cambios en su diámetro que no están relacionados con la carga cognitiva. En el caso del análisis de la frustración a través de EEG, su eficacia no ha sido probada para su uso en relación con la lectura.

Krejtz et al. (2013)Krejtz, Izabela, Agnieszka Szarkowska, and Krzysztof Krejtz 2013 “The Effects of Shot Changes on Eye Movements in Subtitling.” Journal of Eye Movement Research 6 (5): 1–12.Google Scholar utilizan el eye-tracking para investigar una de las suposiciones centrales del subtitulado, que se encuentra en la mayoría de manuales y guías: que los subtítulos no deben permanecer en pantalla después de un cambio de escena, ya que el cambio visual confundirá a los espectadores, que pensarán que el subtítulo también ha cambiado y lo releerán. Además de las mediciones empleadas en la mayoría de los demás estudios con eye-tracking sobre la lectura de subtítulos (como el número de fijaciones), examinaron también la duración de la primera fijación ocular, el número de consultas y la transición de matrices antes, durante y después de los cambios de escena en subtítulos que permanecen tras un cambio. Aunque percibieron que algunos de los espectadores centraban su mirada en el principio del subtítulo tras el cambio de escena, la mayoría no releían el subtítulo, sino que simplemente reanudaban su lectura por donde lo habían dejado. En su estudio, solo una tercera parte miraba el principio del subtítulo tras un cambio de escena, y de esta, solo alrededor de un 10% releía el subtítulo. Algo que hace aún más interesante este estudio exhaustivo es la comparación que hacen entre personas sordas, personas con dificultades auditivas y personas sin problemas auditivos. Los resultados mostraron que no había una gran diferencia entre los diferentes grupos en términos de relectura de subtítulos tras un cambio de escena. Otro hallazgo interesante es que la duración de la primera fijación tras un cambio de escena era bastante mayor que antes del cambio de escena, lo que parece indicar la existencia de un aumento de la carga cognitiva con la presencia de subtítulos que permanecen tras un cambio de escena, aunque no sean releídos. El estudio proporciona una metodología muy útil para la investigación de ciertos procesos psicolingüísticos en relación con las normas de subtitulado y podría ser el primero de muchos estudios que ponen en duda la validez de las reglas utilizadas en diversos contextos. La metodología podría, no obstante, mejorarse si la lectura pudiera cuantificarse de una manera más precisa.

Kruger y Steyn (2014)Kruger, Jan-Louis, and Faans Steyn 2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120.Google Scholar presentan un índice de lectura para textos dinámicos (reading index for dynamic texts, RIDT,) en un intento de cuantificar la lectura de subtítulos. Este índice utiliza las fijaciones oculares por palabra, elimina las regresiones y tiene en cuenta el rango medio perceptual durante la lectura (cuántos caracteres puede leer un lector medio de izquierda a derecha en cualquier fijación). Además, hace posible el cálculo no solo de hasta qué punto el subtítulo es leído por el espectador, sino que también correlaciona la lectura de subtítulos con la medición de la actuación. Pese a que no se pudo detectar (en un test a posteriori) ninguna diferencia significativa en la actuación entre los participantes que observaron los vídeos con subtítulos al mostrado y quienes los vieron sin subtítulos, sí que encontraron una correlación positiva a tener en cuenta entre el rendimiento y la lectura tal y como se calcula en el índice. Mediante este desarrollo de la metodología, es posible investigar el procesamiento de subtítulos en textos extensos con mayor precisión que en muchos estudios anteriores.

5.Conclusión: futuras metodologías psicolingüísticas para la TAV

El número de estudios experimentales dentro del campo de la TAV, incluyendo áreas periféricas como la psicolingüística del procesamiento del lenguaje en la lectura de subtítulos, ha crecido durante la última década, especialmente en los últimos cinco años. Este hecho es una clara señal de que este campo se ha desarrollado dentro de los Estudios de Traducción. El alto nivel de muchos estudios conductuales recientes, publicados en revistas destacadas dentro de ámbitos relacionados con el movimiento de los ojos, la psicología de los medios de comunicación, la investigación sobre la lectura, la educación y la psicología educacional también muestran que este campo está experimentando un desarrollo interdisciplinar, y ya no solo toma prestados aspectos de disciplinas cercanas, sino que contribuye a ellas activamente.

El hecho de que la lengua de productos resultantes de la TAV, como el subtitulado y la audiodescripción, compita inevitablemente con otras fuentes de información, a menudo primarias, en diferentes canales semióticos muestra que la investigación psicolingüística tiene mucho que aportar a este campo. Algo que ha quedado claro durante estos últimos años es que todavía tenemos una idea muy básica de cómo las personas procesan el lenguaje de la TAV; una comprensión mucho menor que, por ejemplo, sobre el procesamiento de un texto estático o del material educativo multimodal. Sin embargo, tal y como han mostrado muchos estudios recientes, nos encontramos a las puertas de una comprensión más nítida de la manera en la que se leen los subtítulos, también en contextos multilingües complejos o con relaciones complejas entre el lenguaje de los subtítulos y la lengua materna de los espectadores.

Con respecto al subtitulado, se deben seguir unas pautas de investigación sistemáticas con el fin de poner en duda las presunciones y de utilizar una gran variedad de formas de análisis directas y objetivas de los procesamientos cognitivos y de la carga cognitiva, como la pupilometría, los EEG o las IRMf. No obstante, debemos continuar utilizando formas de análisis indirectas del procesamiento cognitivo que pueden obtenerse (tal y como se ha mostrado en algunos estudios revisados en este artículo) de la información sobre el movimiento ocular. Esta información incluye datos de primer orden como las fijaciones (número y duración) y el movimiento ocular sacádico (entre subtítulos e imagen, por ejemplo, pero también dentro de cada subtítulo), así como de información de segundo nivel como la transición de matrices y una combinación de dichas mediciones en índices de lectura desarrollados específicamente para la obtención de datos sobre la lectura de textos extensos. Estas metodologías cuantitativas en expansión, también cuando se utilizan junto con modos de análisis firmemente establecidos en la psicolingüística de los productos de la TAV, tienen mucho que ofrecer en el campo de la investigación de la TAV y sirven de sólido enlace entre este campo dentro de los Estudios de Traducción y varias disciplinas de la lingüística teórica y aplicada.

Bibliografía

Bird, Stephen A., and John Williams
2002 “The Effect of Bimodal Input on Implicit and Explicit Memory: An Investigation into the Benefits of Within-Language Subtitling.” Applied Psycholinguistics 23 (4): 509–533. CrossrefGoogle Scholar
Bisson, Marie-Josée, Walter Van Heuven, Kathy Conklin, and Richard Tunney
2012 “Processing of Native and Foreign Language Subtitles in Films: An Eye Tracking Study.” Applied Psycholinguistics 35: 399–418. CrossrefGoogle Scholar
Danan, Martine
2004 “Captioning and Subtitling: Undervalued Language Learning Strategies.” Meta 49 (1): 67–77. CrossrefGoogle Scholar
Diao, Yali, Paul Chandler, and John Sweller
2007 “The Effect of Written Text on Comprehension of Spoken English as a Foreign Language.” The American Journal of Psychology 120 (2): 237–261.Google Scholar
d’Ydewalle, Géry, and Wim De Bruycker
2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. CrossrefGoogle Scholar
d’Ydewalle, Géry, and Ingrid Gielen
1992 “Attention Allocation with Overlapping Sound, Image, and Text.” In Eye Movements and Visual Cognition: Scene Perception and Reading, ed. by Keith Rayner, 415–427. New York: Springer- Verlag. CrossrefGoogle Scholar
d’Ydewalle, Géry, Caroline Praet, Karl Verfaillie, and Johan van Rensbergen
1991 “Watching Subtitled Television: Automatic Reading Behavior.” Communication Research 18: 650–665. CrossrefGoogle Scholar
Garza, Thomas J.
1991 “Evaluating the Use of Captioned Video Materials in Advanced Foreign Language Learning.” Foreign Language Annuals 24 (3): 239–258. CrossrefGoogle Scholar
Ghia, Elisa
2012 “The Impact of Translation Strategies on Subtitle Reading.” In Eye Tracking in Audiovisual Translation, ed. by Elisa Perego, 155–182. Roma: Aracne Editrice.Google Scholar
Just, Marcel Adam, and Patricia A. Carpenter
1980 “A Theory of Reading: From Eye Fixations to Comprehension.” Psychological Review 87 (4): 329–354. CrossrefGoogle Scholar
Keating, Gregory D.
2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.Google Scholar
Krejtz, Izabela, Agnieszka Szarkowska, and Krzysztof Krejtz
2013 “The Effects of Shot Changes on Eye Movements in Subtitling.” Journal of Eye Movement Research 6 (5): 1–12.Google Scholar
Kruger, Jan-Louis
2013 “Subtitles in the Classroom: Balancing the Benefits of Dual Coding with the Cost of Increased Cognitive Load.” Journal for Language Teaching 47 (1): 29–53.Google Scholar
Kruger, Jan-Louis, and Faans Steyn
2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120.Google Scholar
Kruger, Jan-Louis, Esté Hefer, and Gordon Matthew
2013 “Measuring the Impact of Subtitles on Cognitive Load: Eye Tracking and Dynamic Audiovisual Texts.” Proceedings of the 2013 Conference on Eye Tracking South Africa, 62–66. New York: ACM. CrossrefGoogle Scholar
Markham, Peter L.
1993 “Captioned Television Videotapes: Effects of Visual Support on Second Language Comprehension.” Journal of Educational Technology Systems 21: 183–191. CrossrefGoogle Scholar
Markham Peter, L.
1999 “Captioned Video-Tapes and Second Language Listening Word Recognition.” Foreign Language Annals 32 (3): 321–328. CrossrefGoogle Scholar
Perego, Elisa, Fabio Del Missier, Marco Porta, and Mauro Mosconi
2010 “The Cognitive Effectiveness of Subtitle Processing.” Media Psychology 13 (3): 243–272. CrossrefGoogle Scholar
Pulvermüller, Friedemann
2009 “Word Processing in the Brain as Revealed by Neurophysiological Imaging.” In The Oxford Handbook of Psycholinguistics, ed. by M. Gareth Gaskell, 119–139. Oxford: Oxford University Press.Google Scholar
Rajendran, Dhevi, Andrew Duchowski, Pilar Orero, Juan Martínez, and Pablo Romero-Fresco
2013 “Effects of Text Chunking on Subtitling: A Quantitative and Qualitative Examination.” Perspectives: Studies in Translatology 21 (1): 5–31. CrossrefGoogle Scholar
Rayner, Keith
1998 “Eye Movements in Reading and Information Processing: 20 Years of Research.” Psychological Bulletin 124: 372–422. CrossrefGoogle Scholar
Specker, Elizabeth A.
2008L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona.Google Scholar
Vanderplank, Robert
1988 “The Value of Teletext Sub-titles in Language Learning.” ELT Journal 42 (4): 272–281. CrossrefGoogle Scholar
1990 “Paying Attention to the Words: Practical and Theoretical Problems in Watching Television Programmes with Uni-lingual (CEEFAX) Sub-titles.” System 18 (2): 221–234. CrossrefGoogle Scholar
2013 “ ‘Effects of ’ and ‘Effects with’ Captions: How Exactly Does Watching a TV Programme with Same-Language Subtitles Make a Difference to Language Learners?Language Teaching 1–16.Google Scholar
VanPatten, Bill
2014 “The Psycholinguistics of SLA.” In Research Methods in Second Language Psycholinguistics (Second Language Acquisition Research Series), ed. by Jill Jegerski, and Bill VanPatten, 1–19. New York: Routledge.Google Scholar
Winke, Paula, Susan Gass, and Tetyana Syderenko
2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275. CrossrefGoogle Scholar

Dirección para la correspondencia

Jan-Louis Kruger

Departamento de lingüística

C5A Building

Macquarie University

NSW 2109 Sydney

Australia

Janlouis.kruger@mq.edu.au
Australia
Sudáfrica