1.Introducción

Multimodality and multimodal texts have been described in the literature as, respectively, “the use of several semiotic modes in the design of a semiotic product or event” (Kress and Van Leeuwen 2001Kress, Gunther, and Theo van Leeuwen 2001 Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold., 20) or “texts which combine and integrate the meaning-making resources of more than one semiotic modality – for example, language, gesture, movement, visual images, sound and so on – in order to produce a text-specific meaning” (Thibault 2000Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385., 311). This is not a new field of study in that everything is to some extent multimodal, but in the modern world, archetypal multimodal texts such as films, television programmes and websites, have greatly broadened the scope of such studies. The concept of multimodality cuts across every discipline, and as every discipline can be subject to translation from one language to another, its importance in Translation Studies is now recognised.(Taylor 2013Taylor, Christopher 2013 “Multimodality and Audiovisual Translation.” In Handbook of Translation Studies, ed. by Yves Gambier, and Luc van Doorslaer, vol. 4, 98–104. Amsterdam: John Benjamins. , 98)

[Los estudios publicados han definido la multimodalidad y los textos multimodales, respectivamente, como « el uso de varios modos semióticos para diseñar un producto o evento semiótico » (Kress y van Leeuwen 2001Kress, Gunther, and Theo van Leeuwen 2001 Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold., 20) y « textos que combinan e integran recursos que crean significado provenientes de más de un modo semiótico (por ejemplo, el lenguaje, los gestos, el movimiento, las imágenes, el sonido, etc.) para producir un significado específico en el texto » (Thibault 2000Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385., 311). No estamos ante una nueva área de estudio, ya que todo es multimodal hasta cierto punto. Sin embargo, en el mundo moderno, los textos multimodales arquetípicos, como las películas, los programas de televisión y las páginas web, han ampliado considerablemente el ámbito de tales estudios. El concepto de multimodalidad trasciende a todas las disciplinas, ya que cualquiera de ellas puede ser objeto de traducción de una lengua a otra. Por esta razón en la actualidad se reconoce su importancia en los estudios de traducción.](Taylor 2013Taylor, Christopher 2013 “Multimodality and Audiovisual Translation.” In Handbook of Translation Studies, ed. by Yves Gambier, and Luc van Doorslaer, vol. 4, 98–104. Amsterdam: John Benjamins. , 98)

El párrafo anterior establece las bases para la investigación del enfoque multimodal de la traducción audiovisual (TAV). Aunque la mayoría de los académicos especializados en estudios multimodales no se han adentrado aún en el campo de la traducción, tal y como se puede observar en los temas que aborda, por ejemplo, The Routledge Handbook of Multimodal Analysis (Jewitt 2009Jewitt, Carey ed. 2009 The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.), algunos estudiosos sí lo han hecho (Baldry 2000Baldry, Anthony ed. 2000 Multimodality and Multimediality in the Distance Learning Age. Campobasso: Palladino Editore.; Taylor 2003Taylor, Christopher 2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. y 2004Taylor, Christopher 2004 “Multimodal Text Analysis and Subtitling.” In Perspectives on Multimodality, ed. by Eija Ventola, Cassily Charles, and Martin Kaltenbacher, 153–172. Amsterdam: John Benjamins. ; Gambier 2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun GerzymischArbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.; Perego 2009Perego, Elisa 2009 “The Codification of Non-Verbal Information in Subtitled Texts.” In New Trends in Audiovisual Translation, ed. by Jorge D. Cintas, 58–69. Bristol: Multilingual Matters.; Burczynska 2012Burczynska, Paulina 2012 Subtitling Humor. Saarbrücken: Lambert Academic Publishing.). En efecto, se han desarrollado ideas para explotar los análisis multimodales en el área de la TAV siguiendo los pasos de una serie de trabajos fundamentales sobre la comprensión de las interrelaciones de los recursos semióticos, como las palabras habladas o escritas, las imágenes, los gestos, la mirada, rasgos paralingüísticos como la entonación y el volumen, la música, la luz, la perspectiva y otras técnicas cinematográficas como el fundido, el flashback, etc. (véase O’Toole 1994O’Toole, Michael 1994 The Language of Displayed Art. London: Leicester University Press.; Kress y Van Leeuwen 1996Kress, Gunther, and Theo van Leeuwen 1996 Reading Images: the Grammar of Visual Design. London: Routledge., 2001Kress, Gunther, and Theo van Leeuwen 2001 Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold.; Martinec 2000Martinec, Radan 2000 “Rhythm in Multimodal Texts.” LEONARDO 33 (4): 289–297.; Unsworth 2001Unsworth, Len 2001 Teaching Multiliteracies across the Curriculum: Changing Contexts of Text and Image in Classroom Practice. Buckingham: Open University Press., Baldry y Thibault 2006Baldry, Anthony, and Paul Thibault 2006 Multimodal Transcription and Text Analysis. London: Equinox.; O’Halloran 2008O’Halloran, Kay 2008 Mathematical Discourse: Language, Symbolism and Visual Images. London: Continuum.; Bednarek 2010Bednarek, Monica 2010 The Language of Fictional Television: Drama and Identity. London: Continuum., por mencionar algunos). El efecto de los estudios de multimodalidad en la TAV se ha demostrado también en diversos congresos celebrados en los últimos diez años aproximadamente,11.Por ejemplo, MuTra 2006, “Languages and the Media”, Media4All, InATra 2014. una tendencia destinada a continuar.

Este artículo examinará primero cómo los textos multimodales se pueden analizar desde una perspectiva narrativa, lingüística, semiótica y cultural, para después estudiar las diversas formas en que se ha intentado aprovechar los distintos modos semióticos que intervienen en un texto multimodal, tales como el uso de la transcripción multimodal, el análisis de la audiodescripción y la comprensión cognitiva, por ejemplo. Posteriormente se debatirán las limitaciones de dichos enfoques, principalmente a la luz de la posible orientación futura de los estudios multimodales y la TAV.

2.Análisis de textos multimodales

El análisis textual debería preceder a todo trabajo de traducción que se precie y, en el caso de los textos multimodales, dicho análisis no debería centrarse de forma exclusiva en palabras, proposiciones y oraciones: debería reconocer otras unidades creadoras de significado bien establecidas, que forman parte de lo que en la actualidad llamamos lenguaje cinematográfico o lenguaje fílmico (Pettit 2013Pettit, Zoe 2013 “Language and Image: Translating the Audiovisual Text in Subtitling and Dubbing.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 213–232. Pavia: Como.). Sin embargo, el principal mensaje que hay que destacar desde el principio es que en un texto multimodal, la integración de todos los modos semióticos es lo que crea significado, y aunque el significado se traduzca en palabras, es tarea del traductor audiovisual encontrar las expresiones que mejor representen esa integración de las fuerzas semióticas en su lengua. Identificar los diferentes recursos semióticos es un paso primordial, pero no se pueden enumerar ni clasificar de forma significativa sin realizar referencias cruzadas entre ellos. Aún no se ha perfeccionado una metodología basada en tal referencialidad, aunque se están haciendo progresos (véase el Apartado 4). Mientras tanto, es posible debatir una serie de ideas útiles.

2.1Consideraciones narrativas

El cine y las series de televisión suelen contar historias, y lo hacen de forma multimodal (Remael 2008Remael, Aline 2008 “Screenwriting, Scripted and Unscripted Language: What do Subtitlers Need to Know?” In The Didactics of Audiovisual Translation, ed. by Jorge Díaz Cintas, 57–67. Amsterdam: John Benjamins. ). Sin profundizar en la teoría de la narrativa, las historias muestran personajes con todas sus características individuales, los actos que llevan a cabo, y cambios en el marco espaciotemporal. A través de la activación de esquemas mentales, los espectadores, (como expone Fillmore 1982 [2006]Fillmore, Charles 1982 (2006) “Frame Semantics.” In Cognitive Linguistics: Basic Readings, ed. by Dirk Geeraerts, 373–400. Berlin: Mouton de Gruyter., Minsky 1986Minsky, Marvin 1986 The Society of Mind. New York: Simon and Schuster., y muchos otros desde entonces), se crean expectativas acerca de cómo se va a desarrollar la narrativa a medida que ven las diferentes escenas de una película. Esas expectativas se cumplen (o no) por medio de una combinación de pistas semióticas. Por consiguiente, el conjunto de herramientas del traductor audiovisual debería incluir una comprensión del fenómeno de la creación de historias y del modo en que el público meta espera que se desarrolle la historia. Toda traducción requiere un cierto nivel de reformulación del texto origen, y el traductor audiovisual debe tomar decisiones para asegurarse de encontrar las palabras adecuadas para expresar con éxito todo el contenido del hecho semiótico en la lengua y cultura de llegada.

Guiones

A diferencia de la mera transcripción del diálogo, un guión de cine puede ser esclarecedor a la hora de captar el espíritu de un texto cinematográfico. Esto se debe a que el guionista tiene una imagen mental de lo que desea representar, y esta imagen aparece de forma más vívida en la « acotación escénica » y en las descripciones. Tomemos como ejemplo el siguiente fragmento de la desgarradora secuencia inicial de la película Inglourious Basterds [Malditos Bastardos], del director Quentin Tarantino:

(1)

GRANJERO

(a Julie)

Julie, saca un poco de agua con la bomba para lavarme y luego entra en casa con tu madre.

La jovencita corre hasta la bomba de agua, que está al lado de la casa. Coge un cuenco y empieza a bombear. Tras bombear unas cuantas veces el agua empieza a salir y cae en el cuenco, salpicándolo. El granjero francés se sienta en el tocón que poco antes estaba talando, saca un pañuelo del bolsillo, se limpia el sudor de la frente y espera la llegada de la caravana Nazi. Tras un año de vida con la espada de Damocles sobre la cabeza, este podría muy bien ser el fin.

Tarantino ha querido recrear la angustia que sufre un hombre que esconde en su casa a una familia entera de judíos en la Francia ocupada por los Nazis. El diálogo que sigue con el oficial Nazi está lleno de miedo y desprecio de sí mismo por parte del hombre y de ironía malévola por parte del oficial nazi, hecho que en ambos casos se pone de manifiesto a través de las palabras y el lenguaje corporal. En los distintos idiomas se usan patrones discursivos diferentes para expresar estas características y el traductor audiovisual debe adaptar su estilo y redacción para así evitar caer en el error de seguir demasiado de cerca el patrón del texto original. Además, deberá prestar atención al lenguaje corporal y a las expresiones faciales. Gambier (2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun GerzymischArbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015., 7) sugiere incluso que la práctica de escritura de guiones puede conducir a una mayor comprensión del género y a una evaluación más sensible del lenguaje que se debe usar (véase también Cattryse y Gambier 2008Cattrysse, Patrick, and Yves Gambier 2008 “Screenwriting and Translating Screenplays.” In The Didactics of Audiovisual Translation, ed. by Jorge Díz-Cintas, 39–55. New York: Routledge. ).

2.2Consideraciones lingüísticas

Hasta ahora, muchos de los enfoques de la TAV se han concentrado en estrategias diseñadas para afrontar las diversas áreas problemáticas que un traductor podría tener que abordar, pero todas ellas centradas en soluciones lingüísticas. Una serie de especialistas ha categorizado taxonómicamente las variaciones en los temas de condensación, paráfrasis, equivalencia, expansión, etc. (Ivarsson 1992Ivarsson, Jan 1992 Subtitling for the Media. A Handbook of an Art. Stockholm: Transedit.; Gottlieb 1992Gottlieb, Henrik 1992 “Subtitling: A New University Discipline.” In Teaching Translation and Interpreting: Training Talent and Experience. Papers from the First Language International Conference, Elsinore, Denmark 1991, ed. by Cay Dollerup, and Anne Loddegaard, 161–170. Amsterdam: John Benjamins. ; Lomheim 1999Lomheim, Sylfest 1999 “The Writing on the Screen. Subtitling: A Case Study from Norwegian Broadcasting (NRK), Oslo.” In Word, Text, Translation, ed. by Gunilla Anderman, and Margaret Rogers, 190–207. Clevedon: Multilingual Matters.), categorizaciones que han ganado una merecida reputación. Sin embargo, estos enfoques no profundizan, al menos en apariencia, en el sinfín de aspectos del texto multimodal. Las teorías lingüísticas en las que se ha basado la traducción deben ampliarse de forma más completa para abordar el ámbito multimodal. Por ejemplo, los conceptos de coherencia y cohesión, que hacen referencia la comunicación oral y escrita, son cruciales para poder entender los textos multimodales. Una película se considera coherente si el contenido semántico de los elementos auditivos y visuales se combina para ofrecer una comprensión más clara del argumento o la trama. Bordwell (2008Bordwell, David 2008 “Three Dimensions of Film Narrative.” In Poetics of Cinema, 85–134. London: Routledge., 98) hace alusión a « the process by which the film prompts the viewer to construct the ongoing fabula […] the equivalent of the tourist’s guided path through a building. » [« el proceso por el cual la película insta al espectador a construir el relato en curso […] el equivalente a una visita guiada de un turista por un edificio ».

Habitualmente se ha estudiado la cohesión en relación con las conexiones internas del texto, como la técnica lingüística que se utiliza para reforzar la coherencia. Sin embargo, el texto que se va a traducir debe analizarse teniendo en cuenta todos sus vínculos cohesivos, no solo entre palabras, sino también entre palabras e imágenes, así como otras partes de la banda sonora. Si se altera esa cohesión multimodal en un texto traducido, la comprensión también se ve afectada. A modo de ejemplo, en un episodio de la serie de televisión Friends (temporada 1, episodio 4) los personajes de Chandler y Joey están tratando de convencer a su amigo Ross, que está deprimido, para que vaya con ellos a un partido de hockey sobre hielo. Al final, este último accede a ir, con la condición de que los otros dos le compren « un dedo gigante de gomaespuma ». Este objeto, muy vinculado a la cultura estadounidense, se puede describir como un guante gigante de gomaespuma con los colores de un equipo. En la traducción al italiano de este elemento, que sigue la lógica de la « equivalencia de efecto », se cambió por una birra gigante (una cerveza grande). Pero al ser este un texto multimodal, en la escena siguiente, considerada icónica, vemos a los chicos entrar al estadio y la audiencia ríe mientras Ross agita ‘su dedo de gomaespuma’ (y no una cerveza). En este caso, la relación entre las palabras, la imagen (el gesto) y el otro elemento de sonido (la risa) debería haber sugerido una solución diferente.

2.3Consideraciones semióticas

Por lo tanto, el concepto clave para los traductores audiovisuales es que hay otros recursos semióticos, además de las palabras, que se pueden considerar un complemento del mensaje verbal, y que incluso lo enfatizan. El espectro completo de emociones humanas puede expresarse a través de gestos, movimientos y expresiones faciales, que a veces se realzan por medio de palabras. En otras ocasiones estos recursos semióticos se utilizan para mejorar el efecto del componente verbal. La rabia expresada por Jack Nicholson en The Shining [El Resplandor] (Kubrick, 1980) cobra mayor fuerza con su gesticulación facial. La felicidad que expresan los bailarines en la escena final de Slumdog Millionaire (Boyle, 2008) trasciende las propias palabras. Estas expresiones de emoción involucran al espectador en lo que Fryer y Freeman (2013, 15) denominan ‘presencia’, un factor fundamental para la implicación de la audiencia en un producto audiovisual. Este término hace referencia a una sensación de presencia física y participación del espectador, la confirmación de que todos los recursos semióticos se han percibido. En el caso de la traducción de subtítulos, comprender la carga cognitiva que soportan otros modos semióticos facilita la opción de la reducción. En cambio, el doblador debe tener en cuenta la sincronización labial, especialmente en primeros planos, como los ya mencionados en los que aparece Jack Nicholson. A veces el doblador tiene que añadir o cambiar ciertas expresiones para mantener la sincronía. Sin embargo, tanto en doblaje como en subtitulado, la capacidad para identificar todos los aspectos del significado ofrecidos a través de los distintos modos, así como el respeto a la atmósfera, la tensión y la emoción que los textos multimodales pueden generar, son requisitos esenciales. Como señala Gambier (2013Gambier, Yves 2013 “Moves towards Multimodality and Language Representation in Movies.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 1–10. Pavia: Como., 8), « once the functions of the verbal aspect in the audiovisual flow […] and the interplay between what is said and what is shown have been understood, only then can the translator decide what strategies to employ” [« el traductor solo podrá decidir qué estrategias debe emplear una vez que haya comprendido la función del elemento verbal en el flujo audiovisual […], así como la interacción entre lo que se dice y lo que aparece en la imagen »]. El traductor, que traduce hacia su lengua materna, necesita adquirir cierta experiencia de trabajo con textos multimodales y ser capaz de absorber todos estos elementos en su búsqueda de la redacción adecuada en el texto meta.

Audiodescripción

Retomando el tema de las ideas que se extraen de la lectura (y escritura) de guiones, esta metodología podría perfeccionarse aún más si se considerase el estudio de las transcripciones de audiodescripción. La audiodescripción (AD) consiste en proporcionar una versión oral de un texto visual para las personas ciegas y con discapacidad visual. Snyder (2005Snyder, Joel 2005 “Audio Description. The Visual made Verbal across Arts Disciplines across the Globe.” Translating Today 4: 15–17., 15) lo describió como « the visual made verbal » [« la imagen hecha palabra »]. Se facilita una descripción de los componentes visuales de una película o un producto similar en los silencios que hay entre los turnos de diálogo y entre el diálogo y cualquier otro sonido importante, como la música. Evidentemente, la atención del audiodescriptor se centrará principalmente en los rasgos no verbales del texto audiovisual. Por limitaciones de tiempo, el audiodescriptor debe identificar los elementos más importantes para la descripción. En este ámbito han sido de gran ayuda los estudios de rastreo ocular (eye-tracking) que han logrado identificar dónde se centra la atención cuando vemos un texto audiovisual (véase Kruger, en el presente volumen, para una bibliografía amplia). También han servido a este propósito los estudios de recepción diseñados para evaluar las preferencias del usuario final (véase Mazur 2014Mazur, Iwona 2014 “Gestures and Facial Expressions in Audio Description.” In Audio Description: New Perspectives Illustrated, ed. by Anna Maszerowska, Anna Matamala, and Pilar Orero, 179–198. Amsterdam: John Benjamins.). El traductor puede beneficiarse de estos hallazgos para determinar qué recursos no verbales son importantes y hasta qué punto puede servirse de ellos para encontrar la solución traductológica más efectiva.

2.4Consideraciones culturales

Como ocurre con todos los tipos de traducción, y como ya se ha mencionado previamente en relación con el lenguaje corporal, el traductor audiovisual debe ser cuidadoso a la hora de abordar las diferencias culturales entre naciones/lenguas/comunidades. Por ejemplo, el cine a menudo representa (o falsea) la cultura de una nación, incluso cuando se hace uso de vaqueros e indios para reflejar la cultura norteamericana, por tanto se puede considerar un microcosmos de la sociedad. Se ha escrito mucho sobre el tema en general, y se ha publicado un buen número de estudios sobre TAV y problemas culturales (Bruti 2006Bruti, Silvia 2006 “Cross-cultural Pragmatics: The Translation of Implicit Compliments in Subtitles.” Jostrans 6: 185–197., Ramière 2006Ramière, Nathalie 2006 “Reaching a Foreign Audience: Cultural Transfers in Audiovisual Translation.” Jostrans 6: 152–166. y Gambier 2008Gambier, Yves 2008 “Recent Developments and Challenges in Audiovisual Translation Research.” In Between Text and Image: Updating Research in Screen Translation, ed. by Delia Chiaro, Christine Heiss, and Chiara Bucaria, 11–33. Amsterdam: John Benjamins. , por mencionar alguno). Pedersen (2011)Pedersen, Jan 2011 Subtitling Norms for Television: An Exploration Focussing on Extralinguistic Cultural References. Amsterdam: John Benjamins. habla de « referencias culturales extralingüísticas » y « puntos críticos en una traducción » y estos términos sirven para cubrir el tipo de dificultades que afrontan los traductores audiovisuales. Podemos tomar como ejemplo la serie de televisión estadounidense The West Wing [El ala oeste de la Casa Blanca], ya que este texto multimodal está lleno de « referencias culturales extralingüísticas ». Algunas de ellas aluden verbalmente a particularidades nacionales como el sistema métrico y el nombre de las calles, pero otras aparecen a través de otros modos semióticos. Por ejemplo, el episodio 10 (temporada 1) comienza mostrando a cámara lenta el monumento conmemorativo a los veteranos de la guerra de Corea, en Washington D.C., que es un elemento esencial para la historia que se cuenta en este capítulo. Un subtítulo puede mostrar esta información, o un inserto en la versión doblada. Pero para poder superar con éxito estas diferencias culturales, el traductor deberá ampararse en su conocimiento enciclopédico y en su conciencia cultural. Además, deberá tener en cuenta las limitaciones culturales de una audiencia (potencialmente grande). Así que, además de proporcionar información denotativa en un inserto, el traductor tiene que decidir en qué medida ha de domesticar o extranjerizar todos los diálogos posteriores que tratan del tema de Corea, que culminan al final del capítulo con un entierro militar de un veterano de la guerra de Corea. Este texto multimodal proporciona todos los ingredientes de patriotismo, precisión militar, patetismo y sentimentalismo propios de los Estados Unidos que emanan del conjunto de modos semióticos. El traductor audiovisual necesita la habilidad de transferir todos estos signos semióticos a su idioma. Es cierto que las situaciones aisladas y puntuales se pueden reconocer, debatir y solucionar, pero se necesitará de un enfoque holístico si se pretende realizar una aportación válida a la TAV desde la multimodalidad.

3.Transcripción multimodal

Para enfrentarse a los textos multimodales, es especialmente importante el desarrollo de la transcripción multimodal, diseñada por Thibault (2000)Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385.. Esta fue adaptada para la investigación en TAV (Taylor 2003Taylor, Christopher 2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. ), y ha demostrado ser efectiva, puesto que ha conseguido sensibilizar a los estudiantes sobre las complejidades de traducir el texto mostrado en pantalla. La transcripción consta de una tabla dividida en filas y columnas y contiene una descripción organizada a través de una sucesión de capturas de pantalla (a intervalos predeterminados), de lo que se puede ver en el desarrollo de una secuencia cinematográfica, lo que está pasando y qué sonidos se pueden escuchar. La Figura 1 muestra un ejemplo muy sencillo extraído de la película italiana La vita è bella [La vida es Bella] (Benigni, 1997).

La información proporcionada puede indicar al traductor si el significado se transmite por modos semióticos distintos de las palabras, lo que le permite economizar en los subtítulos, por ejemplo, y así reducir la carga cognitiva que soporta el espectador. En el caso anterior, el tiempo transcurrido entre las tres capturas de pantalla, impresas a intervalos de un segundo, permite ofrecer una versión más completa que la del original y proporcionar así información extra potencialmente útil. Si el tiempo hubiera sido un elemento crucial, el subtítulo podría decir simplemente « ¿A dónde va? » ya que la persona en cuestión aparece en el plano, y la respuesta podría ser « A otro equipo ». Los movimientos de Guido indican el momento exacto en el que debería aparecer el siguiente subtítulo.

4.Limitaciones y orientación futura

La conclusión general que se puede extraer actualmente es que muchas de las metodologías aplicadas a la TAV, aunque resultan útiles, no han aprovechado al máximo la naturaleza multimodal de los textos en pantalla. Sin embargo, surgen nuevos enfoques a medida que los académicos hacen balance de la situación. Por ejemplo, un artículo de Wilken y Kruger (de próxima aparición) investiga el « modo » en que se muestran los elementos visuales, y no solo aquello que se ve. Además, en este artículo los autores debaten la cuestión de la inmersión, por ejemplo, en lo relativo a la identificación con los personajes, y el efecto de tales consideraciones estilísticas en los espectadores. Bateman (2009Bateman, John 2009 “Film and Representation: Making Filmic Meaning.” In Metarepresentation, Self-Organisation and Art, ed. by Wolfgang Wildgen, and Barend van Heusden, 137–162. Bern: Peter Lang., 158) reivindica la idea de que « there are re-occurring, structurally recognizable filmic articulations that appear to serve re-occurring communicative functions » [« hay articulaciones fílmicas recurrentes y estructuralmente reconocibles que parecen servir a funciones comunicativas recurrentes »]. Por tanto, tal vez es posible rastrear el despliegue conjunto de los recursos semióticos a medida que reaparecen película tras película para comprender mejor cómo funciona la representación fílmica.

En cuanto a la transcripción multimodal, considerada como un intento de poner orden en la comprensión del conjunto de los recursos semióticos, es evidente que este método, aunque muy útil como introducción a las propiedades multimodales, carece de todo sentido práctico en la descripción de toda una película o de cualquier texto audiovisual de más de unos pocos minutos de duración. Por esta razón, el concepto de análisis de fase (Gregory 2002Gregory, Michael 2002 “Phasal Analysis within Communication Linguistics: Two Contrastive Discourses.” In Relations and Functions within and around Language, ed. by Peter H. Fries, Michael Cumming, David Lockwood, and William Spruiell, 316–345. London: Continuum.; Malcolm 2010Malcolm, Karen 2010 Phasal Analysis: Analysing Discourse through Communication Linguistics. London: Continuum.) podría resultar un complemento útil a la teoría de la transcripción multimodal y proporcionar una herramienta de análisis más adecuada. Este enfoque permite al traductor y al investigador identificar « fases » homogéneas, tanto continuas como discontinuas, dentro de un texto multimodal, además de reconocer cambios en el registro, rasgos de carácter y elementos de cohesión y coherencia que, de ser ignorados, podrían provocar inconsistencias en la traducción. Gregory en primer lugar, y Malcolm posteriormente, se refirieron sobre todo a textos escritos, o transcripciones escritas de textos orales, pero los principios teóricos básicos son igualmente pertinentes para los textos multimodales. Si se toma como ejemplo una telenovela, se puede observar la presencia de varias subtramas al mismo tiempo, o dentro del mismo episodio. Por lo general, se escriben y ensayan como historias individuales continuas y luego se dividen en cada episodio y se muestran de forma discontinua. De esta manera, se puede identificar una serie de modalidades semióticas que forman cada trama: los mismos personajes con la misma ropa, el mismo tipo de discurso, los mismos escenarios, tal vez la misma música de fondo, etc. Del mismo modo, en un solo largometraje la acción puede retroceder y avanzar entre escenas que son reconocibles por la unión de varios modos semióticos (personajes, acción, música, acentos, tipo de discurso, etc.). El reconocimiento de estas características por parte del traductor debe garantizar que la traducción sea cohesiva y coherente, dentro de cada « fase » y entre las diversas « fases ». Cuando se trata de series que constan de, literalmente, cientos de episodios, y el mercado del DVD muestra lo comunes que son estos productos, es de vital importancia llevar a cabo la técnica del « análisis de fase » en cada episodio de la serie. Aunque se requiere investigación adicional, los avances tecnológicos que han fomentado el crecimiento de la investigación multimodal, proporcionándonos corpus multimodales y bases de datos relacionales, sin duda ayudarán en este proceso.

Baldry (2002)Baldry, Anthony 2002 “Subtitling Dynamic Multimodal Texts: The Development of Interactive Self-access Tools.” In The Economy Principle in English: Linguistic, Literary and Cultural Perspectives, ed. by Giovanni Iamartino, Maria L. Bignami, and Carlo Pagetti, 54–62. Milan: Edizioni Unicopi. explicó las posibilidades futuras que ofrece la creación de bases de datos relacionales que permiten la formación de alineaciones de palabras y otros modos semióticos basados en corpus, siguiendo el modelo de las concordancias puramente lingüísticas. El sistema « Multimodal Corpus Authoring » (MCA por sus siglas en inglés) fue su primer intento de incorporar una base de datos relacional a un sistema de corpus que permite a los usuarios buscar en los corpus y encontrar alineaciones de texto con otros recursos semióticos como el gesto. Esta técnica de concordancia se aplicó después a los subtítulos, lo que condujo a un debate sobre « new relationships between subtitles, source texts and the process of translating the source text » [« nuevas relaciones entre los subtítulos, el texto origen y el proceso de traducción del texto de origen »] (Baldry 2005Baldry, Anthony 2005 A Multimodal Approach to Text Studies in English. Campobasso: Palladino Editore., 112). Hoy en día, el interés se ha centrado en los sistemas de referencia y en la interrelación entre guiones, guiones gráficos y transcripciones de películas como guías para la comprensión de la naturaleza multimodal de tales productos (cf. Gambier 2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun GerzymischArbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.).

Un proyecto en preparación, que se expondrá en un volumen de próxima aparición (Taylor) y se centra de manera exclusiva en el episodio In Excelsis Deo de The West Wing [El ala oeste de la Casa Blanca], es un sistema de referencia multisemiótico en el que una cuadrícula con filas y columnas (al ritmo de la transcripción multimodal) traza actos y escenas (por tomar prestada cierta terminología teatral) en un eje, mientras que los personajes, los temas y las circunstancias se encuentran representados en el otro. La figura 2 presenta una sección muy sencilla en la que se muestra a los personajes, las acciones que llevan a cabo, cuándo y con quién, y en qué circunstancias: un primer paso en el camino hacia los sistemas de referenciación interactivos gestionados por ordenador.

Se espera que avances como los descritos con anterioridad puedan mostrar cómo la multimodalidad puede ayudar al traductor, que necesita ser consciente de las múltiples propiedades de los textos multimodales, también puede ayudar al estudiante, al proporcionarle herramientas de apoyo para la comprensión de dichos textos, y puede ayudar al investigador a realizar análisis del material audiovisual cada vez más eficaces.

5.Conclusión

El hecho de que tanto los Estudios de Traducción Audiovisual como los Estudios Multimodales se hayan multiplicado en los últimos años aún no ha dado como resultado una integración consolidada de las dos disciplinas, aunque sí se han sentado las bases. Los análisis multimodales de texto señalan la importancia de la interrelación de los recursos semióticos en los productos audiovisuales, y una serie de expertos han intentado ir más allá de la traducción del elemento puramente verbal de un texto en pantalla. Aunque los investigadores reconocen que es clave ser conscientes de la importancia de todos los modos semióticos que están en juego, esta percepción no ha llegado necesariamente a los profesionales de este campo. Las traducciones audiovisuales todavía se basan en el guión escrito, y en muchos textos traducidos, como los mencionados en este artículo, hay una evidente falta de atención a todas las fuentes de significado. Pero se ha avanzado mucho, al menos en el plano teórico. Este artículo ha planteado los efectos y beneficios del análisis multimodal de textos, los esfuerzos por representar las características multimodales en transcripción multimodal, la contribución del análisis de fase, la consideración de cuestiones culturales, la aportación de la lectura y escritura de guiones, y la importancia de la audiodescripción y el rastreo ocular (eye-tracking) a la hora de establecer relevancia en el momento de traducir. A medida que la enseñanza teórica y práctica de estas áreas en la educación superior comience a preparar profesionales plenamente formados y capacitados, la TAV se beneficiará de ser llevada a cabo por personas que cuentan con una comprensión más completa de la multimodalidad. Al mismo tiempo, los avances tecnológicos y las herramientas de traducción asistida por ordenador desempeñarán su papel en la TAV. Como ya se ha dicho, se está avanzando en la creación de bases de datos relacionales y sistemas de referencia. Cuando estas técnicas nos permitan alinear todos los recursos semióticos de un texto y observar cómo se relacionan entre sí, calcular con precisión hasta qué punto esas interrelaciones se repiten y son predecibles, y cómo las diferentes combinaciones afectan al significado, estaremos en el camino correcto para aprovechar nuestra comprensión de la multimodalidad y, por consiguiente, para saber cómo emplearla a la hora de traducir. Sin embargo, aún será especialmente relevante la sensibilidad hacia la lengua y la cultura del traductor, así como conocer en qué medida es necesario adaptar o no el texto origen para poder reflejar toda la experiencia multimodal.

Para terminar, es preciso considerar este pasaje de la novela superventas de Gillian Flynn, Gone Girl [Perdida] (2013Flynn, Gillian 2013 Gone Girl. London: Phoenix.), donde el protagonista masculino, Nick, se encuentra al límite de sus fuerzas cuando pierde por completo el control sobre su matrimonio y su situación legal:

I poured a drink. I took a slug, tightened my fingers around the curves of the tumbler, then hurled it at the wall, watched the glass burst into fireworks, heard the tremendous shatter, smelled the cloud of bourbon. Rage in all five senses.(399)

[Me serví una copa. Le di un trago, apreté los dedos alrededor de las curvas del vaso, después lo arrojé contra la pared, vi el cristal explotar como fuegos artificiales, oí el tremendo impacto, olí la nube de bourbon. Rabia en los cinco sentidos.](399)

El libro hoy se ha convertido en una película taquillera y será traducida a muchos idiomas, especialmente en su versión en DVD. Sería interesante comprobar hasta qué punto el traductor al francés o al islandés o al tagalo ha considerado la manera en que los efectos transmitidos a través de los distintos modos semióticos afectarían a lo que podría decir un francés, un islandés o un filipino en ese diálogo, y cómo lo diría cuando « los cinco sentidos » sean bombardeados en la versión multimodal de Perdida.

Películas como esta, y otros productos audiovisuales, se producen y traducen de manera constante a los numerosos idiomas mencionados con anterioridad, y a un ritmo cada vez más rápido. Si la traducción solo se basa en la transcripción de diálogos, es muy posible que se esté privando al espectador de una experiencia fílmica total. Se espera conseguir que los resultados de la investigación sobre los componentes multimodales del material fílmico lleguen a los responsables de los productos traducidos, con el fin de que estos puedan proporcionar una representación más completa de todos los significados incluidos en un texto multimodal. No cabe duda de que los autores de las contribuciones a este volumen trabajan en esta dirección.