Multimodaalisuus tai ”useiden eri merkitystä rakentavien moodien käyttö semioottisen tuotteen tai tapahtuman muotoiluun” (Kress ja Van Leeuwen 2001: 20, oma käännös) ei ole uusi tutkimusala siinä mielessä, että kaikki on jossain määrin multimodaalista. Nykyaikana kuitenkin perinteiset multimodaaliset tekstit kuten elokuvat, televisio-ohjelmat ja nettisivustot ovat laajentaneet suuresti alan tutkimusta. Eri tutkijat ovat käyttäneet semioottisesta moodista eri nimityksiä kuten semioottinen modaalisuus, semioottinen resurssi ja niin edelleen. Selvyyden vuoksi tässä artikkelissa käytetään termiä ”moodi”. Multimodaalisuuden kasvava merkitys koskettaa käytännössä kaikkia tieteenaloja ja siten myös käännöstiedettä. Etenkin audiovisuaalisen kääntämisen (Audiovisual translation) tutkimus vaikuttaisi olevan luonteensa vuoksi erityisen riippuvainen multimodaalisuuden tutkimuksesta ja joukko tutkijoita onkin jo luonut tietä tälle tutkimusalalle (Baldry 2000; Taylor 2003, 2004; Gambier 2006; Perego 2009; Burczynska 2012). Sen sijaan vastakkainen näkökulma, eli kääntämisen rooli multimodaalisuustutkimuksessa, on herättänyt vain vähäistä kiinnostusta. The Routledge Handbook of Multimodal Analysis (2009), arvovaltainen 340-sivuinen multimodaalisuustutkimuksen käsikirja, ei edes mainitse kääntämistä sisällysluettelossaan. Täten vaikuttaisi siltä, että av-kääntäjien vastuulle jää ratkaista, miten valjastaa multimodaalisen analyysin potentiaali ruutuun tulevien käännösten palvelukseen.
Lähteet
Araújo, Vera L. S.
2007 “Subtitling for the deaf and hard-of-hearing in Brazil.” In Media for All: Subtitling for the Deaf, Audio Description and Sign Language, Jorge Diaz Cintas, Pilar Orero & Aline Remael (eds), 99–107. Kenilworth, NJ: Rodopi.
Baldry, Anthony
(ed.)2000Multimodality and Multimediality in the distance learning age. Campobasso: Palladino Editore.
Baldry, Anthony
(ed.)2005A Multimodal Approach to Text Studies in English. Campobasso: Palladino Editore.
Baldry, Anthony & Thibault, Paul
2006Multimodal Transcription and Text Analysis. London: Equinox.
Burczynska, Paulina
2012Multimodality and Audiovisual Translation: Subtitling Humo. Saarbrücken: Lambert Academic Publishing.
Gambier, Yves
2006 “Multimodality and audiovisual translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Mary Carroll, Heidrun Gerzymisch-Arbogast & Sandra Nauert (eds). Copenhagen1–5May 2006 TSB
Halliday, Michael A. K.
1978Language as Social Semiotic, the Social Interpretation of Language and Meaning. London: Edward Arnold.
Halliday, Michael A. K.
1994An Introduction to Functional Grammar [2nd edition]. London: Edward Arnold.
Jewitt, Carey
(ed.)2009The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.
Jones, Rodney H.
2009 “Technology and sites of display.” In The Routledge Handbook of Multimodal Analysis, Carey Jewitt (ed.) 114–126. Abingdon: Routledge.
Kress, Gunther
2009Multimodality. A Social Semiotic Approach to Communication. London: -Routledge Falmer.
Kress, Gunther & Leeuwen, Theo Van
2001Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold. BoP
Kress, Gunther & Leeuwen, Theo Van
2006Reading Images: The Grammar of Visual Design. -London: Routledge Falmer. BoP
Martinec, Radan & Salway, Andrew
2005 “A system for image-text relations in new (and old) media.” Visual Communication 4 (3): 337–371.
O’Hagan, Minako
2009 “Putting pleasure first: Localizing Japanese video games.” The Translator 22 (1): 147–166. TSB
O’Halloran, Kay
2004 “Visual semiosis in films.” In Multimodal Discourse Analysis: Systemic Functional Perspectives, Kay O’Halloran (ed.), 109–130. London: Continuum.
O’Toole, Michael
1994The Language of Displayed Art. London: Leicester University Press.
Perego, Elisa
2009 “The codification of non-verbal information in subtitled texts.” In New Trends in Audiovisual Translation, Jorge D. Cintas (ed.). 58–69. Bristol: Multilingual Matters. TSB
Taylor, Christopher
2003 “Multimodal transcription in the analysis: Translation and subtitling of Italian films.” The Translator (9) 2: 191–206. TSB
Taylor, Christopher
2004 “Multimodal text analysis and subtitling.” In Perspectives on Multimodality, Eija Ventola, Cassily Charles & Martin Kaltenbacher (eds), 153–172. Amsterdam: John Benjamins.
Thibault, Paul
2000 “The multimodal transcription of a television advertisement: Theory and practice.” In Multimodality and Multimediality in the Distance Learning Age, Anthony Baldry (ed.), 311–385. Campobasso: Palladino Editore.
Tomaszkiewicz, Teresa
2010 “Areas of untranslatability in audiovisual transfers.” In Perspectives on Audiovisual Translation, Łukasz Bogucki & Krzysztof Kredens (eds), 93–106. Frankfurt: Peter Lang.