1.Bevezetés

Az audiovizuális fordítás és a pszicholingvisztika közötti kapcsolat abban összpontosul, hogy milyen módokon kerül előtérbe a nyelv az audiovizuális fordítás során, hiszen ez a fajta fordítási közeg hasznos kontextusnak bizonyul az egyének nyelvi feldolgozását tanulmányozók számára. Az audiovizuális fordítás során történő nyelvi feldolgozást az teszi bonyolulttá, hogy a folyamat az audiovizuális szöveg multimodális természeténél fogva egy sor másik kód feldolgozásával párhuzamosan zajlik.

Az audiovizuális fordítás mondhatni olyan csatornák nyelvi reprezentációjával foglalkozik, amelyek nem hozzáférhetőek az audiovizuális szövegek bizonyos felhasználói számára, de az audiovizuális fordítás számukra is elérhetővé teszi a szöveget. Ilyen nyelvi reprezentációk fókuszában állhatnak például:

• a dialógusok egy olyan közönség számára, amely nem érti a szöveg eredeti nyelvét: vizuálisan interlingvális feliratozással vagy hallás útján szinkronizálás és hangalámondás segítségével;

• a dialógusok és a hanghatások a hallássérült nézők számára: vizuálisan feliratozás (intralingvális vagy interlingvális feliratok) segítségével;

• vizuális jelzések és kétértelmű hanghatások látássérültek számára: hallás útján hangos leírás vagy audionarráció segítségével.

Audiovizuális tartalmakat olyan közönségek is használnak, amelyek hozzáférnek mindezekhez a csatornákhoz, de (intralingvális vagy interlingvális) feliratok segítségére szorulnak egy adott nyelvváltozat megértési nehézségei, a nyelvtudásuk, vagy szövegértési készségeik miatt, vagy esetleg audionarrációra támaszkodnak a vizuális jelenetek megértéséhez.

Lényegében tehát az audiovizuális fordítás egy eleve adott audiovizuális szöveg mellett még további nyelvi feldolgozást igényel a befogadó részéről az adott szöveghez való hozzáférés vagy a befogadói élmény javítása érdekében. Az audiovizuális fordítás miatt a nyelv ilyetén előtérbe kerülése rengeteg nyelvelsajátítási, nyelvmegértési és más oktatási kontextusokban is felhasználható anyagot eredményezett.

A pszicholingvisztika fő hatáskörébe a nyelvelsajátítással, nyelvi megértéssel, nyelvhasználattal és az elme nyelvfeldolgozásával kapcsolatos problémák tartoznak (VanPatten, 2014VanPatten, Bill 2014 “The Psycholinguistics of SLA.” In Research Methods in Second Language Psycholinguistics (Second Language Acquisition Research Series), ed. by Jill Jegerski, and Bill VanPatten, 1–19. New York: Routledge.). VanPatten ezt ennél még tömörebben is megfogalmazza: „míg a nyelvelmélet középpontjában a reprezentáció áll, a pszicholingvisztika a folyamatokra és a feldolgozásra fókuszál”.

Hosszú, egészen a huszadik század első feléig visszanyúló múltjának köszönhetően a pszicholingvisztika kidolgozott néhány rendkívül hasznos kutatási módszert a nyelvi feldolgozás vizsgálatára, az agy nyelvfeldolgozó képességére következtető viselkedéskutatási módszerektől kezdve egészen a fejlettebb szemmozgáskövető és agyi képalkotási vizsgálatokig, amelyek lehetővé teszik, hogy közvetlenebb nyelvfeldolgozási adatokat kaphassunk. Pulvermüller (2009Pulvermüller, Friedemann 2009 “Word Processing in the Brain as Revealed by Neurophysiological Imaging.” In The Oxford Handbook of Psycholinguistics, ed. by M. Gareth Gaskell, 119–139. Oxford: Oxford University Press.: 119) szavaival élve „a pszicholingvisztikai folyamatok agyi korrelációinak tanulmányozása kiegészítheti a viselkedéskutatási eredményeket és néhány esetben […] közvetlen információkkal szolgálhat a pszicholingvisztikai folyamatok alapjait illetően.”

Egyfelől tehát az audiovizuális fordítás területén végzett kutatások már egy ideje szorosan kapcsolódnak a pszicholingvisztikához; ezt támasztja alá a filmfeliratok nyelvi megértésben, nyelvelsajátításban és nyelvfeldolgozásban betöltött szerepével foglalkozó nagy mennyiségű kutatási anyag. Másfelől azonban bőven van még hely olyan módszerek számára az audiovizuális fordítás kutatásában, amelyek már biztos alapokon állnak a pszicholingvisztika berkein belül. Ezek egyike a már kitaposott ösvényen haladó, szemmozgáskövetés segítségével végzett olvasáskutatás, azonban számos akadályba ütközünk, ha megpróbáljuk filmfeliratokra is alkalmazni. Ennek oka az audiovizuális szöveg dinamikus természete, amely megnehezíti a statikus olvasáshoz használt módszerek többségének alkalmazását.

A jelen tanulmányban említésre kerülő tekintélyes mennyiségű performanciakutatás, illetve a hasonló mennyiségű eredményt felhalmozó viselkedéskutatási és fiziológiai szemmozgáskövetési kutatások még kiegészülhetnek további, neurális képalkotás (EEG) segítségével kinyert közvetlen, objektív kognitív feldolgozási adatokkal és olyan megbízható módszerek kidolgozásával, amelyek lehetővé tennék az olvasási statisztikák dinamikus szövegekre való alkalmazását. A cikk tehát performancia- és befogadásközpontú kutatások áttekintésével kezdődik, majd viselkedési és fiziológiai kutatásokkal folytatódik, végül módszertani útmutatással szolgál az audiovizuális fordítás nyelvezetének feldolgozásával kapcsolatos kutatásokhoz.

2.Performancia- és befogadásközpontú kutatások

A filmfeliratok jótékony hatását több kontextusban is elegendő dokumentáció igazolja. Az effajta kutatások többsége olvasás- és hallásértésre, a szókincs bővítésére, általános műveltségre és tudományos műveltségre fókuszál. Pszicholingvisztikai szempontból nézve ezek mindegyike fontos, és az évek során rendkívül jó eredmények kerültek napvilágra.

Vanderplank (1988)Vanderplank, Robert 1988 “The Value of Teletext Sub-titles in Language Learning.” ELT Journal 42 (4): 272–281., Markham (1993Markham, Peter L. 1993 “Captioned Television Videotapes: Effects of Visual Support on Second Language Comprehension.” Journal of Educational Technology Systems 21: 183–191., 1999Markham Peter, L. 1999 “Captioned Video-Tapes and Second Language Listening Word Recognition.” Foreign Language Annals 32 (3): 321–328.) és Danan (2004)Danan, Martine 2004 “Captioning and Subtitling: Undervalued Language Learning Strategies.” Meta 49 (1): 67–77. arra az eredményre jutott, hogy a feliratos videók jobb megértési készségeket eredményeznek. Hasonlóan pozitív eredményekkel szolgált Garza (1991)Garza, Thomas J. 1991 “Evaluating the Use of Captioned Video Materials in Advanced Foreign Language Learning.” Foreign Language Annuals 24 (3): 239–258., illetve Bird és Williams (2002)Bird, Stephen A., and John Williams 2002 “The Effect of Bimodal Input on Implicit and Explicit Memory: An Investigation into the Benefits of Within-Language Subtitling.” Applied Psycholinguistics 23 (4): 509–533. feliratokkal kapcsolatos munkássága, akik szerint a filmfeliratok segítenek áthidalni az olvasás és hallgatás közötti szakadékot, ez által segítve a diákokat egy adott szókincs kontextusban való elsajátításakor. Ezek a kutatások mind megerősítik azt az elképzelést, miszerint a filmfeliratok segítik a szövegértést és a szókincs elsajátítását.

Az oktatáspszichológia más területein a kutatók mindemellett minősítették is a pozitív eredményeket. Diao et al. (2007)Diao, Yali, Paul Chandler, and John Sweller 2007 “The Effect of Written Text on Comprehension of Spoken English as a Foreign Language.” The American Journal of Psychology 120 (2): 237–261. például arra az eredményre jutott, hogy „a szövegkönyvvel vagy feliratokkal történő hallgatás az írott szöveggel támogatott rész jobb megértését eredményezte, de a rákövetkező hanganyag megértése gyengébbnek bizonyult, mint amikor csak a hang állt rendelkezésre” (2007Diao, Yali, Paul Chandler, and John Sweller 2007 “The Effect of Written Text on Comprehension of Spoken English as a Foreign Language.” The American Journal of Psychology 120 (2): 237–261.: 237). Ezen kívül a filmfeliratoknak a tanulásra gyakorolt hatása közvetlen összefüggést mutat a résztvevők képzettségével és műveltségével: a feliratok azok számára bizonyultak hasznosabbnak, akik eleve tanultabbak voltak.

A filmfeliratok nyelvtanulásra gyakorolt hatásának kutatásait összefoglalva Vanderplank (2013Vanderplank, Robert 2013 “ ‘Effects of’ and ‘effects with’ captions: How exactly does watching a TV programme with same-language subtitles make a difference to language learners?.” Language Teaching: 1–16.: 5) a néhány kontextusban elért pozitív eredményeket minősíti, és olyan eredményekre is utalást tesz, amelyek szerint a filmfeliratok haszna a nyelvtanulásban nem automatikus, sőt nem is kiemelkedő: „némi csalódással tapasztaltam, hogy a tanulók számára nem volt jellemző a »potyalecke«. Feladatokra, stratégiára és fókuszált figyelemre volt szükség a nyelvi és tartalmi tudás megszerzéséhez […]. Akik pusztán »hátradőltek« és nézték a műsort, nyelvileg rendkívül keveset, vagy egyáltalán semmit nem jegyeztek meg.”

A feliratokkal kapcsolatos, performanciára és befogadásra irányuló kutatások többsége esetében a legtöbb aggodalmat kiváltó tényező az, hogy gyakorlatilag képtelenség kontrollálni az olvasás változóját (hogy a résztvevők olvassák-e megjelenésükkor a feliratokat, mennyire figyelmesen olvassák el őket), illetve az információ forrásának változóját (hogy az alanyok a feliratokból jutottak-e információhoz, illetve több különböző információforrás esetén inkább hallás vagy vizuális jelek útján). Ez a tény maga azt jelenti, hogy az audiovizuális fordítás kutatásához kevéssé járulna hozzá még több olyan tanulmány, amely a filmfeliratok nyelvi megértésre vagy nyelvtanulásra gyakorolt hatását próbálja feltárni, kivéve, ha közvetlen összefüggést sikerül kimutatni egy konkrét nyelv feldolgozásával. Ezért ideje továbblépnünk a fiziológiai kutatások gazdag területére, amelyen belül is főként a filmfeliratok szemmozgáskövetéses feldolgozására fókuszálunk. Ez a kutatási terület még jobban elmélyíti a filmfeliratok nyelvezetének pszicholingvisztikai megközelítésű tanulmányozását.

3.Fiziológiai kutatások

A fent említettekhez hasonló peformanciaközpontú kutatásokkal ellentétben a viselkedési vagy pontosabban fiziológiai kutatások érdeklődésének középpontjában az a kérdés áll – a filmfeliratoknak a nyelvek és szövegértés különféle aspektusaira gyakorolt hatása helyett –, hogy mi történik a feliratok befogadása közben. Más szavakkal, miként befolyásolják a filmfeliratok a nézők viselkedését? Mivel a teljesítményközpontú kutatások csak korlátozott mértékben képesek kimutatni a feliratok nyelvfeldolgozásra gyakorolt hatását, ez az új irány kifejezetten hasznos módszernek bizonyulhat az audiovizuális fordítás jövőbeli kutatásához. Különösen az eseményfüggő potenciálokat (ERP) vizsgáló elektroenkefalográfos (EEG) pszicholingvisztikai kutatások, a funkcionális mágneses rezonanciavizsgálat (fMRI) és a szemmozgáskövetés (főként pupillometria) útján szerzett eredmények segítségével juthatunk közvetlen, objektív adatokhoz a kognitív nyelvfeldolgozás terén, ráadásul valós időben. Az olyan egyéb szemmozgást követő mérések, mint például az olvasás közbeni szemmozgás rögzítése (hova és mennyi ideig figyelnek a nézők) szintén valós idejű, objektív adatokkal szolgálnak, de a kognitív feldolgozást illetően csak közvetett adatokat eredményeznek.

A fent említett módszerek közül a szemmozgáskövetés az egyetlen, amelyet már korábban is széles körben alkalmaztak az audiovizuális fordítások kutatása során, a kognitív tevékenységek mérésének közvetett, objektív módjaként. Mindazonáltal az itt említett közvetlen, objektív mérések mindegyike kétségkívül jelentős értéktöbblettel szolgálna annak a megértését illetően, miként zajlik az audiovizuális fordítás tartalmának nyelvi feldolgozása (a hangos leírást, szinkronizálást és az audiovizuális fordítás egyéb módjait is beleértve). A területen végzett szemmozgáskövetéses kutatások többsége a kognitív tevékenységek közvetett mérését arra a szem-elme feltételezésre alapozza, miszerint az elme oda figyel, ahova a szem fókuszál (Just és Carpenter, 1980Just, Marcel Adam, and Patricia A. Carpenter 1980 “A Theory of Reading: From Eye Fixations to Comprehension.” Psychological Review 87 (4): 329–354.).

4.Szemmozgáskövetés

A szemmozgáskövetés már az 1870-es években is használatos volt a vizuális kognitív feldolgozás kísérleti metódusaként, emellett pszicholingvisztikai kutatások során az olvasásértés tanulmányozásában is széles körben alkalmazzák már több mint 40 éve (Keating 2014Keating, Gregory D. 2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.: 69). Az effajta kutatás egyik kulcsfigurája Keith Rayner és munkatársai (lásd Rayner 1998Rayner, Keith 1998 “Eye Movements in Reading and Information Processing: 20 Years of Research.” Psychological Bulletin 124: 372–422.-as művét az olvasáskutatásban alkalmazott szemmozgáskövetés első 20 évének áttekintéséről). Annak ellenére, hogy az említett időszakban milyen nagy mennyiségű tudást sikerült felhalmozni a statikus olvasásról, a második nyelv elsajátításának területén végzett szemmozgáskövetéses kutatások az 1990-es évek végén kezdtek csak megjelenni, az elmúlt öt évet pedig különösen élénk érdeklődés jellemzi (lásd Keating 2014Keating, Gregory D. 2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.-es művét a második nyelv elsajátításának terén végzett legjelentősebb szemmozgáskövetéses kutatásokról). Ahogy Keating (2014Keating, Gregory D. 2014 “Eye Tracking with Text.” In Research Methods in Second Language Psycholinguistics, ed. by Jill Jegerski, and Bill VanPatten, 69–92. New York: Routledge.: 70) fogalmazott „mivel a szemmozgáskövetés igazán finoman képes mérni a valós idejű nyelvfeldolgozást, valamint képes kimutatni az anyanyelvi és nem anyanyelvi beszélők közötti leheletnyi különbségeket, nagyon valószínű, hogy a módszer további lendületet ad majd a pszicholingvisztikai idegennyelv-kutatásoknak”. Kétségkívül ugyanez vonatkozik az audiovizuális fordításra is, főként akkor, ha még pontosabb kutatásokat sikerül végezni a nyelvfeldolgozás terén.

Az audiovizuális fordítás terén Géry d’Ydewalle és belgiumi kollégái az 1980-as évek vége óta végeznek pszicholingvisztikai kutatásokat a filmfeliratok feldolgozásának szemmozgáskövetéses vizsgálatával kapcsolatban. Napjainkig számos olyan tanulmány született, amelyben a szem mozgásának elemzése útján próbálták a kutatók megérteni, miként zajlik a filmfeliratok feldolgozása. Ide tartozik többek között d’Ydewalle és Gielen (1992)d’Ydewalle, Géry, and Ingrid Gielen 1992 “Attention Allocation with Overlapping Sound, Image, and Text.” In Eye Movements and Visual Cognition: Scene Perception and Reading, ed. by Keith Rayner, 415–427. New York: Springer-Verlag., d’Ydewalle és De Bruycker (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205., Specker (2008)Specker, Elizabeth A. 2008 L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona., Perego et al. (2010)Perego, Elisa, Fabio Del Missier, Marco Porta, and Mauro Mosconi 2010 “The Cognitive Effectiveness of Subtitle Processing.” Media Psychology 13 (3): 243–272., Bisson et al. (2012)Bisson, Marie-Josée, Walter Van Heuven, Kathy Conklin, and Richard Tunney 2012 “Processing of Native and Foreign Language Subtitles in Films: An Eye Tracking Study.” Applied Psycholinguistics 35: 399–418., Ghia (2012)Ghia, Elisa 2012 “The Impact of Translation Strategies on Subtitle Reading.” In Eye Tracking in Audiovisual Translation, ed. by Elisa Perego, 155–182. Roma: Aracne Editrice., Rajendran et al. (2013)Rajendran, Dhevi, Andrew Duchowski, Pilar Orero, Juan Martínez, and Pablo Romero-Fresco 2013 “Effects of Text Chunking on Subtitling: A Quantitative and Qualitative Examination.” Perspectives: Studies in Translatology 21 (1): 5–31., Krejtz et al. (2013)Krejtz, Izabela, Agnieszka Szarkowska, and Krzysztof Krejtz 2013 “The Effects of Shot Changes on Eye Movements in Subtitling.” Journal of Eye Movement Research 6 (5): 1–12., Kruger (2013)Kruger, Jan-Louis 2013 “Subtitles in the Classroom: Balancing the Benefits of Dual Coding with the Cost of Increased Cognitive Load.” Journal for Language Teaching 47 (1): 29–53., Kruger et al. (2013)Kruger, Jan-Louis, Esté Hefer, and Gordon Matthew. “Measuring the impact of subtitles on cognitive load: Eye tracking and dynamic audiovisual texts.” Proceedings of the 2013 Conference on Eye Tracking South Africa. ACM 2013., Winke et al. (2013)Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275., valamint Kruger és Steyn (2014)Kruger, Jan-Louis, and Faans Steyn 2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120. munkássága. Ezeknek a kutatásoknak a legfőbb célja általában annak megállapítása volt, hogy mi a különbség az egy- és kétsoros feliratok olvasásának módja között, hogyan oszlik meg a néző figyelme a feliratok és a képernyő többi része között, illetve a filmfeliratok olvasásába fektetett energia mennyisége (lásd Kruger és Steyn 2014Kruger, Jan-Louis, and Faans Steyn 2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120.-es, valamint Winke et al. 2013Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275.-as művét ezeknek a tanulmányoknak az áttekintéséhez). Kevés kutatás lépi túl a figyelem egyszerű kvantifikációját a filmfeliratok egyedi nyelvi elemeinek feldolgozását vizsgáló kutatások felé, mégis számos jelentős konklúziót sikerült levonni.

2007-es kutatásuk során d’Ydewalle és De Bruycke televíziós feliratokat néző gyermekek és felnőttek szemmozgását vizsgálta. Pontosabban, ez a kutatás messzebbre ment számos korábbi, a feliratok feldolgozásához szemmozgáskövetést alkalmazó tanulmánynál abból a szempontból, hogy nem pusztán összehasonlították a feliratokra és a képre irányuló figyelem hosszát. Annak megállapítására tettek kísérletet, hogy a résztvevők szokványos módon, szóról szóra olvasták-e a feliratokat. Ehhez számba vették „a feliratokra irányuló fixációk mennyiségét, a fixációk időtartamát, a szakkádok amplitúdóját, a feliraton belül visszafelé haladó szemmozgásokat, valamint azt, milyen gyakran ugrották át teljesen a feliratot a résztvevők” (2007: 197). A feliratok és a kép közötti váltásokat is megszámolták. Ezzel a módszerrel ez a tanulmány volt az első, amely megkülönböztette a feliratokra nézést a feliratok olvasásától, bár meglehetősen kezdetleges és a statikus olvasás kutatásához képest közel sem elég részletes módon.

Annak megállapításához, hogy olvasás történt-e, megfigyelték a figyelmi allokációs méréseket (ennek indikátorai a figyelmen kívül hagyott feliratok százalékos aránya, az első fixáció latenciaideje és a felirat területén töltött idő százalékos aránya); a feliratokra való fixáció jellemzőit (a fixációk számát és időtartamát, valamint a szavakra irányuló fixációk valószínűségét az egy szóra jutó fixáció alapján), illetve a szakkádok jellemzőit (amplitúdó, horizontális irány és vertikális irány a kép és a szöveg közötti mozgáskor). Mindez lehetővé tette számukra, hogy megállapítsák, valóban elolvasta-e a feliratokat a két különböző csoport. Ez a kutatás jelentős előrelépés a filmfeliratok feldolgozásáról való hasznos adatgyűjtés felé, de a kifinomultabb következtetések elé akadályt állít az, hogy az eredmények az általános olvasás elnagyolt és meglehetősen kezdetleges mérésein alapulnak.

D’Ydewalle és De Bruycker tanulmánya (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. azonban biztos alapokat állít a jövőbeni audiovizuális fordítással foglalkozó kutatásoknak, mert további bizonyítékokkal támasztja alá a kutatók korábbi eredményeit arról, hogy a feliratok olvasása automatikusan történik (lásd d’Ydewalle et al. 1991d’Ydewalle, Géry, Caroline Praet, Karl Verfaillie, and Johan van Rensbergen 1991 “Watching Subtitled Television: Automatic Reading Behavior.” Communication Research 18: 650–665.). Arra a következtetésre jutottak, hogy kevés a különbség a felnőttek és a gyermekek olvasási magatartása között, de a reverz feliratokat (idegen nyelven) nem ugyanolyan mértékben olvasták végig, mint a hagyományos feliratokat (többször hagyták őket figyelmen kívül, kevesebb és rövidebb időtartamú fixációk voltak jellemzőek). Ami azonban nem volt kielégítően kidolgozva a tanulmányukban, az az olvasás összefüggésbe hozatala más mérésekkel, például a performanciával.

Specker (2008)Specker, Elizabeth A. 2008 L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona. a hallássérülteknek szóló, gördülő vagy felfelé kúszó háromsoros, valós időben készült feliratok olvasását tanulmányozta. Megvizsgálta a fixációk számát és átlagos időtartamát, valamint az egymást követő fixációkat is, majd szemügyre vette az egyes feliratokhoz tartozó fixációs térképeket, ezáltal rendkívül jó kvalitatív eredményekhez jutott a feliratok olvasására vonatkozóan, amelyeket szövegértési adatokkal alátámasztott multimodális elemzés útján ért el. Ezekkel a módszerekkel ő már közelebb került a feliratok olvasásakor jellemző magatartás leírásához, azonban a kutatás alanyainak alacsony száma, illetve a feliratok jellemzői miatt (gördülő, háromsoros a tömbösített kétsoros feliratok helyett) ez a módszertan nem feltétlenül alkalmas a hagyományosabb feliratok tanulmányozásához.

D’Ydewalle-hoz és De Bruyckerhez (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205. hasonlóan Bisson et al. (2012)Bisson, Marie-Josée, Walter Van Heuven, Kathy Conklin, and Richard Tunney 2012 “Processing of Native and Foreign Language Subtitles in Films: An Eye Tracking Study.” Applied Psycholinguistics 35: 399–418. az anyanyelvű (ANY) és idegen nyelvű (INY) feliratok feldolgozását vizsgálta. Összehasonlította a hagyományos (INY hangsáv ANY felirattal), a reverz (ANY hangsáv INY felirattal) és az intralingvális feliratokat (INY hangsáv INY felirattal). Megfigyelte a fixációk számát, a fixációk összesített időtartamát, a fixációk átlagos időtartamát, a figyelmen kívül hagyott feliratok számát és az egymást követő fixációk arányát (más szóval az egymást követő fixációk számát elosztotta a fixációk számával). Ezek a mérések arra engednek következtetni, hogy – d’Ydewalle-hoz és De Bruyckerhez (2007)d’Ydewalle, Géry, and Wim De Bruycker 2007 “Eye Movements of Children and Adults While Reading Television Subtitles.” European Psychologist 12: 196–205., valamint Speckerhez (2008)Specker, Elizabeth A. 2008 L1/L2 Eye Movement Reading of Closed Captioning: A Multimodal Analysis of Multimodal Use. PhD diss. University of Arizona. hasonlóan – megkísérelte megmérni nem pusztán a feliratokra fordított figyelmet, de az olvasási magatartást is, bár meglehetősen kezdetlegesen. Nem talált jelentős különbséget a hagyományos (INY-ről ANY-re) és az intralingvális (INY-ről INY-re) feliratok között a mérések során, de a résztvevők több időt töltöttek a kép nézésével az intralingvális módban, és kevesebb időt töltöttek a feliratok olvasásával reverz (ANY-ről INY-re) kontextusban. Akad néhány utalás arra vonatkozóan, hogy lehetnek olyan induktív faktorok, például a kiemelt szöveg, amelyek vizuális figyelmet vonnak magukra a deduktív kognitív feldolgozástól eltérő okok miatt, mégis nyilvánvaló, hogy több munkát igényel annak kiderítése, hogy más forrásoktól eltérően a filmfeliratokból pontosan milyen információ nyerhető ki.

Számos szemmozgáskövetéses kutatás vizsgálta azt, ahogy a szem mozgását olyan tényezők befolyásolják, mint a sortörés, a fordítási stratégiák és a vágások. Perego et al. (2010)Perego, Elisa, Fabio Del Missier, Marco Porta, and Mauro Mosconi 2010 “The Cognitive Effectiveness of Subtitle Processing.” Media Psychology 13 (3): 243–272. úgy vizsgálta a szöveg tömbösítésének a feliratok feldolgozására gyakorolt hatását, hogy egy küszöbvonal segítségével felosztotta a képernyőt a felirat területére és a kép területére, majd kielemezte a fixációk számát, a fixációk összesített idejét, a fixációk átlagos időtartamát, a szakkádok hosszát, valamint a felirat és a kép területe közötti váltásokat. Első körben azt sikerült megállapítania, hogy a feliratos filmek feldolgozása annak ellenére is hatékony, hogy a feliratok kognitív többletterhet jelentenek. Azt is megállapította, hogy a szöveg tömbösítésének nincs negatív hatása a feliratok feldolgozására, ami ellentmond a filmfeliratozás legtöbb irányelvének. El kell ismerni, hogy a tömbösítést csak egy adott feliraton belül manipulálta, nem különböző feliratok között, emellett pedig mindössze 28 felirattal végezte el a kutatást, ami némileg rontja az eredmények általánosíthatóságát, de a tanulmány ezzel együtt is egy igazán alapos pszicholingvisztikai kutatás.

Hasonlóképpen Rajendran et al. (2013)Rajendran, Dhevi, Andrew Duchowski, Pilar Orero, Juan Martínez, and Pablo Romero-Fresco 2013 “Effects of Text Chunking on Subtitling: A Quantitative and Qualitative Examination.” Perspectives: Studies in Translatology 21 (1): 5–31. a szövegtömbösítés feliratolvasásra gyakorolt hatását vizsgálta azzal, hogy az élő feliratok kontextusában számba vette a fixációk átlagos időtartamát, a feliratokra irányuló tekintetek és fixációk arányát, valamint hogy egy néző tekintete hányszor ugrott a jelenetről a feliratra, és fordítva (egymást keresztező szakkádok vagy pillantások/visszatekintések száma). Különböző szegmentációs stílusok összehasonlításával (nincs szegmentálás, szóról szóra, tagmondatonként tömbösítve, mondatonként tömbösítve) megállapította, hogy a szöveg tagmondatonként vagy mondatonként való tömbösítése hatékonyabb feldolgozást eredményezett, amelynek jeleként a résztvevők rövidebb ideig néztek a feliratra, és kevesebbszer váltakozott a tekintetük a szöveg és a kép között. Bár az érvelése igazán meggyőző, hosszabb szövegeken végzett részletesebb pszicholingvisztikai elemzések szükségesek ahhoz, hogy jobban megérthessük az eltérően tömbösített feliratok nyelvi feldolgozását.

Ghia kutatása (2012Ghia, Elisa 2012 “The Impact of Translation Strategies on Subtitle Reading.” In Eye Tracking in Audiovisual Translation, ed. by Elisa Perego, 155–182. Roma: Aracne Editrice.) jó példája a szemmozgáskövetés kombinált, kvantitatív és kvalitatív alkalmazásának. A feliratolvasás vizuális aktivitásának intenzitását hasonlította össze olaszról angolra fordított szó szerinti és nem szó szerinti fordítások esetében, olasz résztvevők segítségével. A tekintetük vonalát elemezte a felirat és a szöveg közötti kilengések, az egyes szavakra irányuló fixációk és a regressziók megállapításához. A nem szó szerinti fordítások esetében több kilengést tapasztalt. Azáltal, hogy megvizsgálta a dialógusból és a feliratokból származó információt, kutatásával némileg rávilágított arra, miként zajlik a kognitív feldolgozás két olyan információforrás jelenlétében, amelyeket a nézők egymásra vetítenek. Mivel az adatokat minden egyes résztvevő tekintetének visszajátszásával nyerte ki, a kutatásának értelemszerűen voltak korlátai a résztvevők számát és a klip hosszát illetően, mégis rendkívül hasznos információkkal szolgál és a jövőben kiindulópontja lehet hasonló szempontú kvantitatív kutatásoknak.

Winke et al. (2013)Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275. eltérő idegen nyelvű angol diákok feliratolvasását tanulmányozta, hogy megállapítsa, milyen mértékű hatást gyakorol az olvasásra az anyanyelvük és az idegen nyelvük közötti viszony. Ehhez összehasonlította arabul, spanyolul, oroszul és kínaiul tanuló diákok szemmozgását miközben ezeken a nyelveken olvastak feliratokat. A kutatás érdekessége, hogy elsőként vizsgálja a különböző nyelvek feliratfeldolgozásra gyakorolt hatását. Winke et al. szerint „a nyelvek gondozásába és elemzésébe fektetett kognitív erőfeszítés hatással lehet arra, hogy a nyelvtanuló képes-e hasznát venni a hallássérülteknek készült feliratoknak” (2013Winke, Paula, Susan Gass, and Tetyana Syderenko 2013 “Factors Influencing the Use of Captions by Foreign Language Learners: An Eye Tracking Study.” The Modern Language Journal 97 (1): 254–275.: 255). Ezt igazolandó, az eredmények szerint az arabul tanulók több időt töltöttek a feliratok olvasásával, mint a spanyolul vagy oroszul tanulók. Továbbá a kínaiul tanulók kevesebb időt töltöttek a feliratok olvasásával ismeretlen tartalom esetén. Az eredmények alapján a kutatók azt feltételezik, hogy a tanult idegen nyelvek közötti különbségek korlátozhatják az azonos nyelvű feliratok hasznát nyelvtanuláskor, elsősorban a kognitív teher miatt. Ez a tanulmány is főként a feliratok olvasásával töltött időt vizsgálja, ellentétben a képernyő többi részével, és nem visz sokkal közelebb a válaszokhoz. Ennélfogva, bár fontos területeket jelöl ki az audiovizuális fordítás kutatásában, ez a tanulmány túl széles körben vizsgál potenciálisan zavart keltő változókat ahhoz, hogy többet mutasson fel annál, mint az írásrendszer, valamint az idegen nyelv és anyanyelv hasonlósága, amelyek különbséget jelenthetnek a feliratok olvasásával töltött időre és következésképp a kognitív teherre nézve.

Kruger et al. (2013)Kruger, Jan-Louis, Esté Hefer, and Gordon Matthew. “Measuring the impact of subtitles on cognitive load: Eye tracking and dynamic audiovisual texts.” Proceedings of the 2013 Conference on Eye Tracking South Africa. ACM 2013. még egy lépéssel tovább viszi a feliratokkal járó kognitív teher vizsgálatát azzal, hogy különböző kutatási módszereket hasonlít össze. Angol nyelvű, angolul feliratozott oktatóvideók feldolgozását vizsgáló tanulmányában az angolt második nyelvükként tanulók kognitív terhét mérte pupillometriával és önértékelő skálákkal, valamint a figyelmük és frusztráltságuk szintjét EEG használatával. Arra az eredményre jutott, hogy a feliratozott videó kisebb kognitív terhet jelentett a nézőknek, mint a felirat nélküli változat. A felirat nélküli helyzetben emellett jelentősen magasabb szintű frusztrációt mért az EEG, amely nagyban összefüggött a résztvevők által jelzett frusztráció szintjével a feliratos helyzetben. A kognitív teher közvetlen és közvetett mérésének kombinálásával ez a kutatás közelebb visz minket az előző tanulmányok során jelzett haszon lehetséges okainak megértéséhez, bár a pupillometriás és affektív EEG mérések használata némi problémát okoz. A pupilla kitágulásának esetében az állandóan változó fényviszonyok okozhatnak olyan változást a pupilla átmérőjében, aminek nincs köze a kognitív teherhez. Ami pedig az EEG-s frusztrációmérést illeti, ezt a módszert olvasásnál még nem igazolták.

Krejtz et al. (2013)Krejtz, Izabela, Agnieszka Szarkowska, and Krzysztof Krejtz 2013 “The Effects of Shot Changes on Eye Movements in Subtitling.” Journal of Eye Movement Research 6 (5): 1–12. arra használta a szemmozgáskövetést, hogy megvizsgálja a feliratozás egyik legelterjedtebb feltételezését, amely a legtöbb normába vagy útmutatóba is bekerült: jelesül, hogy a feliratnak nem szabad vágás után a képernyőn maradnia, mert a kép megváltozása abba a hitbe ringatja a nézőket, hogy a felirat is megváltozott, ezért újra elolvassák azt. A legtöbb hasonló, feliratolvasást szemmozgáskövetéssel vizsgáló tanulmányban látott mérésen túl (például a fixációk számán kívül) megvizsgálta az első fixáció időtartamát, az alany találatainak számát és az átmeneti mátrixot a vágások előtt, alatt és után olyan feliratok esetében, amelyek vágás után is a képernyőn maradtak. Ugyan az eredmények azt mutatták, hogy néhány résztvevő a vágást követően visszanézett a felirat elejére, a legtöbbjük nem olvasta végig újra a feliratot, hanem ott folytatta az olvasást, ahol abbahagyta. A tanulmányban részt vevőknek mindössze egyharmada nézett vissza a felirat elejére, és közülük is megközelítőleg csupán 10% olvasta el újra a feliratot. Az teszi még érdekesebbé ezt az igazán alapos kutatást, hogy összehasonlították a siket és nagyothalló nézőket az ép hallású nézőkkel, és arra az eredményre jutottak, hogy nincs jelentős különbség a két csoport között abból a szempontból, hogy vágás után újraolvassák-e a feliratokat. Egy másik érdekes eredmény szerint a vágás utáni első fixáció időtartama jelentősen hosszabb volt, mint a vágás előtti, ami annak a jele lehet, hogy a kognitív teher megnövekedett az olyan feliratok jelenlétében, amelyek vágás után is a képernyőn maradnak, még akkor is, ha nem olvasták végig őket újra. Ez a tanulmány igazán hasznos módszertannal szolgál számos olyan pszicholingvisztikai folyamat kutatásához, amelynek középpontjában a feliratozási normák állnak, és nagy eséllyel elsőként foglalkozik különböző kontextusokban a szabályok érvényességével. A módszertanon azonban még lehetne fejleszteni azzal, ha az olvasás kvantifikácója pontosabb lenne.

Kruger és Steyn (2014)Kruger, Jan-Louis, and Faans Steyn 2014 “Subtitles and Eye Tracking: Reading and Performance.” Reading Research Quarterly 49 (1): 105–120. a feliratolvasás pontosan efféle kvantifikációjának céljára mutatott be egy dinamikus szövegekhez készített olvasási indexet (reading index for dynamic texts, RIDT). Az index kihasználja a hagyományos, szavankénti fixációkat, korrigálja a regressziókat, és figyelembe veszi az olvasás közbeni átlagos látómezőt (hány karaktert tud elolvasni egy átlagos néző egy adott fixációtól balra és jobbra). Az index nem csupán annak kiszámítását teszi lehetővé, hogy a nézők milyen mértékben olvasták végig az adott feliratot, de összefüggésbe hozza a feliratolvasást a performanciára vonatkozó mérésekkel is. Bár nem találtak jelentős különbségeket az olyan résztvevők performanciájában (a tesztelés után), akik felirattal és akik felirat nélkül látták a videókat, jelentős pozitív összefüggést fedeztek fel az index által mért performancia és olvasás között. Ezzel a fejlettebb módszertannal már lehetővé válik a feliratok feldolgozásának hosszabb szövegeken végzett, számos korábbi tanulmánynál megbízhatóbb kutatása.

5.Konklúzió: jövőbeli pszicholingvisztikai módszerek az audiovizuális fordításban

Az audiovizuális fordítás terén az elmúlt évtizedben, de főként az utóbbi öt év során publikált jelentős számú kísérleti kutatás, még ha olyan periférikus területeken végezték is, mint a feliratolvasás nyelvi feldolgozásának pszicholingvisztikája, egyértelmű jele annak, hogy sokat fejlődött ez a terület a fordítástudományon belül. A szemmozgás-tudomány, médiapszichológia, olvasáskutatás, oktatás és oktatáspszichológia területeivel foglalkozó neves szakfolyóiratokban megjelenő friss viselkedéskutatási tanulmányok magas színvonala is fémjelzi, hogy a szakterület kezdi befogadni az interdiszciplináris fejleményeket, és nem pusztán kölcsönöz a szomszédos diszciplínáktól, hanem aktívan segíti is őket.

Mivel az audiovizuális tartalmak, például a filmfeliratok és a hangos leírás nyelvezetének óhatatlanul versenyeznie kell más, gyakran elsődleges, eltérő szemiotikai csatornákon futó információforrásokkal, a pszicholingvisztikai kutatásoknak sok hasznát veheti ez a tudományterület. Egyetlen dolgot sikerült tisztáznunk az elmúlt években: továbbra is csak nagyon kezdetleges fogalmaink vannak arról, hogyan zajlik az egyénekben az audiovizuális fordítások nyelvezetének feldolgozása; jóval kevesebbet értünk belőle, mint például a statikus szövegek vagy multimodális oktatóanyagok feldolgozásából. Azonban, ahogy azt számos friss kutatás is szemlélteti, lassan elérkezünk ahhoz, hogy tisztábban lássuk, miként zajlik a feliratok olvasása akár egy összetett, többnyelvű kontextusban, illetve olyan helyzetben, ahol összetett kapcsolat áll fenn a felirat nyelve és a nézők anyanyelve között.

Ami a feliratokat illeti, szisztematikus kutatási tervet kell követni a fenti feltételezések vizsgálatában a kognitív feldolgozás és kognitív teher olyan közvetlen és objektív mérőeszközeit alkalmazva, mint a pupillometria, az EEG és az fMRI. Továbbra is használnunk kellene azonban a kognitív feldolgozás olyan közvetett adatait is, amelyek (ahogy azt több fent említett kutatásban is láthattuk) a szemmozgásból nyerhetők ki, beleértve az elsőrendű adatokat, például a fixációkat (szám, időtartam) és szakkádokat (felirat és kép között, de akár feliraton belül is), valamint az olyan másodrendű adatokat, mint az átmeneti mátrixok, illetve mindezek kombinálása egy olyan olvasási indexen belül, amelyet kifejezetten nagy méretű olvasási adatok kivonatolására fejlesztettek ki. Ezek az egyre szilárdabb kvantitatív módszerek, az audiovizuális tartalmak pszicholingvisztikájának jól megalapozott kvalitatív méréseivel együtt sokat tehetnek hozzá az audiovizuális fordítás kutatásához, erős kapcsokat hozhatnak létre a fordítástudományon belül, valamint számos elméleti és alkalmazott nyelvészeti diszciplínával is.