Мультимодальність, або «використання декількох семіотичних ресурсів у моделюванні семіотичного продукту або діяльності» (Kress & van Leeuwen 2001: 20), не є новою сферою досліджень, оскільки все, тією чи іншою мірою, є мультимодальним. Проте, сьогодні такі архетипні мультимодальні тексти, як кінофільми, телевізійні програми чи веб-сайти, значно розширили сферу вивчення мультимодальності. Різні автори використовують такі словосполучення як, наприклад, «семіотична модальність», «семіотичний модус» та інші як синоніми терміна «семіотичний ресурс». Однак у цій статті, щоб забезпечити прозорість викладу, вживається лише термін «ресурс». Важливість мультимодальності постійно зростає, охоплюючи практично всі дисциплін, включаючи й переклад. Зокрема, видається, що вивчення аудіовізуального перекладу(Audiovisual translation) за самою своєю природою залежить від досліджень мультимодальності. Виходячи з цього, деякі автори (Baldry 2000; Taylor 2003, 2004; Gambier 2006; Perego 2009; Burczynska 2012) почали вивчати цей напрямок. З іншого боку, варто зазначити, що роль перекладу в дослідженнях мультимодальності, м’яко кажучи, не викликає особливого зацікавлення. Прикметним є те, що на 340 сторінках, присвячених мультимодальності в авторитетній праці видавництва Рутледж «Енциклопедичний довідник з мультимодального аналізу» (Routledge Handbook of Multimodal Analysis) (2009), переклад не зазначено навіть у покажчику. Таким чином, на плечі перекладачів аудіовізуальних текстів лягає відповідальне завдання: шукати й знайти потенціал мультимодального аналізу для його застосування у сфері перекладу аудіовізуальної продукції.
Література
Araújo, Vera L. S.
2007 “Subtitling for the deaf and hard-of-hearing in Brazil.” In Media for All: Subtitling for the Deaf, Audio Description and Sign Language, Jorge Diaz Cintas, Pilar Orero & Aline Remael (eds), 99–107. Kenilworth, NJ: Rodopi.
Baldry, Anthony
(ed.)2000Multimodality and Multimediality in the distance learning age. Campobasso: Palladino Editore 2005 A Multimodal Approach to Text Studies in English. Campobasso: Palladino Editore.
Baldry, Anthony & Thibault, Paul
2006Multimodal Transcription and Text Analysis. London: Equinox.
Burczynska, Paulina
2012Multimodality and Audiovisual Translation: Subtitling Humo. Saarbrücken: Lambert Academic Publishing.
Gambier, Yves
2006 “Multimodality and audiovisual translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Mary Carroll, Heidrun Gerzymisch-Arbogast & Sandra Nauert (eds). Copenhagen1–5May 2006.
Halliday, Michael A. K.
1978Language as Social Semiotic, the Social Interpretation of Language and Meaning. London: Edward Arnold 1994 An Introduction to Functional Grammar [2nd edition]. London: Edward Arnold.
Jewitt, Carey
(ed.)2009The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.
Jones, Rodney H.
2009 “Technology and sites of display.” In The Routledge Handbook of Multimodal Analysis, Carey Jewitt (ed.) 114–126. Abingdon: Routledge.
Kress, Gunther
2009Multimodality. A Social Semiotic Approach to Communication. London: -Routledge Falmer.
Kress, Gunther & Leeuwen, Theo Van
2001Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold. BoP 2006 Reading Images: The Grammar of Visual Design. -London: Routledge Falmer.
Martinec, Radan & Salway, Andrew
2005 “A system for image-text relations in new (and old) media.” Visual Communication 4 (3): 337–371.
O’Hagan, Minako
2009 “Putting pleasure first: Localizing Japanese video games.” The Translator 22 (1): 147–166.
O’Halloran, Kay
2004 “Visual semiosis in films.” In Multimodal Discourse Analysis: Systemic Functional Perspectives, Kay O’Halloran (ed.), 109–130. London: Continuum.
O’Toole, Michael
1994The Language of Displayed Art. London: Leicester University Press.
Perego, Elisa
2009 “The codification of non-verbal information in subtitled texts.” In New Trends in Audiovisual Translation, Jorge D. Cintas (ed.),. 58–69. Bristol: Multilingual Matters.
Taylor, Christopher
2003 “Multimodal transcription in the analysis: Translation and subtitling of Italian films.” The Translator (9) 2: 191–206. TSB
Taylor, Christopher
2004 “Multimodal text analysis and subtitling.” In Perspectives on Multimodality, Eija Ventola, Cassily Charles & Martin Kaltenbacher (eds), 153–172. Amsterdam: John Benjamins.
Thibault, Paul
2000 “The multimodal transcription of a television advertisement: Theory and practice.” In Multimodality and Multimediality in the Distance Learning Age, Anthony Baldry (ed.), 311–385. Campobasso: Palladino Editore.
Tomaszkiewicz, Teresa
2010 “Areas of untranslatability in audiovisual transfers.” In Perspectives on Audiovisual Translation, Łukasz Bogucki & Krzysztof Kredens (eds), 93–106. Frankfurt: Peter Lang.