翻译
视听翻译的多模态策略 [The multimodal approach in audiovisual translation]

Christopher Taylor
Translated by 李懿 李晨曦蔡虹
摘要

本文探讨视听翻译(AVT)的多模态策略。首先要强调的是,大多数关于多模态的研究都没有关注翻译问题。《劳特利奇多模态分析手册》(The Routledge Handbook of Multimodal Analysis)(Jewitt 2009Jewitt, Carey ed. 2009The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.Google Scholar)代表了多模态研究的一次重大进展,它收录了本领域内众多知名学者的文章,但并没有直接研究翻译问题。“翻译”一词甚至没有出现在其索引中。在相对较短的时期内,该领域的大多数重要贡献更多地基于纯语言学,并致力于提供关键信息以帮助理解符号学资源(如词汇、图像、手势、音乐、灯光等)之间的相互作用(详见O’Toole 1994O’Toole, Michael 1994The Language of Displayed Art. London: Leicester University Press.Google ScholarKress and van Leeuwen 1996Kress, Gunther, and Theo van Leeuwen 1996Reading Images: the Grammar of Visual Design. London: Routledge.Google ScholarMartinec 2000Martinec, Radan 2000 “Rhythm in Multimodal Texts.” LEONARDO 33 (4): 289–297.Google ScholarUnsworth 2001Unsworth, Len 2001Teaching Multiliteracies across the Curriculum: Changing Contexts of Text and Image in Classroom Practice. Buckingham: Open University Press.Google ScholarBaldry and Thibault 2006Baldry, Anthony, and Paul Thibault 2006Multimodal Transcription and Text Analysis. London: Equinox. 234 Christopher Taylor.Google Scholar等)。不过,这些学者的工作促进了如何在AVT领域进行多模态分析的发展。例如,Thibault在“多模态转录”方面的研究,为本文奠定了基础——本文调查电影文本中的符号学模态集合,是如何协助字幕译员在面对时间限制时作出重要的取舍决定的。其他学者,在讨论不同模态如何实现社交功能并传达意义时,研究了词语和图像的协同构音(O’Halloran 2008O’Halloran, Kay 2008Mathematical Discourse: Language, Symbolism and Visual Images. London: Continuum.Google ScholarBednarek 2010Bednarek, Monica 2010The Language of Fictional Television: Drama and Identity. London: Continuum.Google Scholar),强调了用研究构成多模态文本的其它各种符号资源来补充纯语言学分析的重要性。调查结果以文字形式汇报出来——这不可避免,但是在分析过程中,需要探究整合概念以及其他资源如何能够与语言互动,关键的是,要探讨如何能使译者对多模态文本的整体符号学效果敏感。

关键词:
目录

1.引言

多模态在文献中被描述为“多种符号模式在设计一个符号学产物或者活动时的运用”(Kress and Van Leeuwen 2001 2001Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold.Google Scholar,20),多模态文本则是 “组合与集成了一种以上表达意义的符号学模态资源的文本,如语言、手势、动作、视觉图像、声音等,以生成在特定文本中的含义”(Thibault 2000Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385.Google Scholar,311)。这并不是一个新的研究领域,因为任何事物都在一定程度上呈现出多模态属性,但现代社会中,诸如电影、电视节目和网站等典型的多模态文本极大地拓展了此类研究的范围。多模态的概念横跨了所有学科,因为每个学科都可以从一种语言翻译到另一种,所以它在翻译研究中的重要性如今也得到了认可。Taylor 2013 2013 “Multimodality and Audiovisual Translation.” In Handbook of Translation Studies, ed. by Yves Gambier, and Luc van Doorslaer, vol. 4, 98–104. Amsterdam: John Benjamins. DOI logoGoogle Scholar,98)

上文为探索视听翻译(AVT)领域的多模态策略奠定了基础。从现有文献,如《劳特利奇多模态分析手册》(Jewitt 2009Jewitt, Carey ed. 2009The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.Google Scholar),所囊括的主题中便能看出,虽然大多数参与多模态研究的学者还未涉足翻译领域,但是有些人实际上已经在该领域进行探索了(Baldry 2000Baldry, Anthony ed. 2000Multimodality and Multimediality in the Distance Learning Age. Campobasso: Palladino Editore.Google ScholarTaylor 2003Taylor, Christopher 2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. DOI logoGoogle Scholar and 2004 2004 “Multimodal Text Analysis and Subtitling.” In Perspectives on Multimodality, ed. by Eija Ventola, Cassily Charles, and Martin Kaltenbacher, 153–172. Amsterdam: John Benjamins. DOI logoGoogle ScholarGambier 2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.Perego 2009Perego, Elisa 2009 “The Codification of Non-Verbal Information in Subtitled Texts.” In New Trends in Audiovisual Translation, ed. by Jorge D. Cintas, 58–69. Bristol: Multilingual Matters.Google ScholarBurczynska 2012Burczynska, Paulina 2012Subtitling Humor. Saarbrucken: Lambert Academic Publishing.Google Scholar)。确实,随着一些探索符号资源(口头或书面语言、图像、手势、眼神,诸如语调和音量、音乐、光线、视角等副语言特征,以及淡出、闪回等其他电影技巧)之间相互作用的开创性研究的展开(参见O’Toole 1994O’Toole, Michael 1994The Language of Displayed Art. London: Leicester University Press.Google ScholarKress and van Leeuwen 1996Kress, Gunther, and Theo van Leeuwen 1996Reading Images: the Grammar of Visual Design. London: Routledge.Google ScholarMartinec 2000Martinec, Radan 2000 “Rhythm in Multimodal Texts.” LEONARDO 33 (4): 289–297.Google ScholarUnsworth 2001Unsworth, Len 2001Teaching Multiliteracies across the Curriculum: Changing Contexts of Text and Image in Classroom Practice. Buckingham: Open University Press.Google ScholarBaldry and Thibault 2006Baldry, Anthony, and Paul Thibault 2006Multimodal Transcription and Text Analysis. London: Equinox. 234 Christopher Taylor.Google ScholarO’Halloran 2008O’Halloran, Kay 2008Mathematical Discourse: Language, Symbolism and Visual Images. London: Continuum.Google ScholarBednarek 2010Bednarek, Monica 2010The Language of Fictional Television: Drama and Identity. London: Continuum.Google Scholar——仅此为例),如何在AVT领域利用多模态分析的理念也得到了发展。多模态研究对AVT的影响也在过去十余年的一些学术会议11.例如2016年多维翻译峰会(MuTra),语言与媒体(Languages and the Media),媒体服务大众(Media4All),2014年国际应用翻译峰会(InATra)。中得到了证实。这个趋势必将持续下去。

本文首先探究如何从叙事、语言学、符号学和文化角度对多模态文本进行分析,然后讨论为驾驭多模态文本中的各种符号模式所做的尝试。已尝试过的方法有多模态转录,声频描述分析,以及通过认知洞察。下文将讨论这些方法的局限性——特别是考虑到多模态研究和AVT未来可能的发展方向的情况下来进行讨论。

2.多模态文本分析

文本分析应当是所有正式翻译工作的前奏。至于多模态文本,此类分析不应当仅考虑词语、小句和句子,还应该包括其它固定下来的表意单位——那些构成如今被称为电影语言或镜头语言的内容(Pettit 2013Pettit, Zoe 2013 “Language and Image: Translating the Audiovisual Text in Subtitling and Dubbing.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 213–232. Pavia: Como.Google Scholar)。然而,在此需要强调的最重要的一点是,是多模态文本中所有符号模式的集合生成的意义,而且尽管意义被译成了文字,但AV译者的任务是在其母语中寻求那些符号集合的最佳表达方式。识别各种符号资源是很重要的一步,但若没有互相参照,这些资源无法以有意义的方式列出或者归类。尽管取得了一定进展(详见第四部分),但是基于这一参照系统的研究方法目前尚不完善。同时,本文还会讨论一些有用的概念。

2.1叙事考量

电影与电视剧通常是要讲故事的,而且是以多模态的形式讲故事(Remael 2008Remael, Aline 2008 “Screenwriting, Scripted and Unscripted Language: What do Subtitlers Need to Know?” In The Didactics of Audiovisual Translation, ed. by Jorge Diaz Cintas, 57–67. Amsterdam: John Benjamins. DOI logoGoogle Scholar)。若不深究叙事理论,这些故事通常包含了带有各种个体特征的角色、角色的恶行,以及变换的时空设置。通过心理框架的激活(正如Fillmore 1982 [2006]Fillmore, Charles 1982 (2006) “Frame Semantics.” In Cognitive Linguistics: Basic Readings, ed. by Dirk Geeraerts, 373–400. Berlin: Mouton de Gruyter.Google ScholarMinsky 1986Minsky, Marvin 1986The Society of Mind. New York: Simon and Schuster.Google Scholar和之后很多人探讨过的),观众在观看一部电影的各个片段时,会对故事如何发展有所期待,并借助符号学线索的组合来达到(或达不到)这些预期。因此,理解故事的创作和译制版的目标受众对故事发展的预期应当成为影视译者的工具的重要一部分。所有的翻译都包含对源文本一定程度上的重构,且视听译者必须做出决定,以确保他们所找到的词汇能够在目的语和目的语文化中成功译出整个符号事件的效果。

剧本

剧本,或者称为电影脚本,可以对领会电影文本的精髓有指导意义,不应当仅仅是对话的简单记录。这是因为编剧对他/她希望塑造的东西在脑海中有个影像,这个影像在“舞台说明”和描述里最清晰。以昆汀∙塔伦蒂诺(Quentin Tarantino)的电影《无耻混蛋》(Inglourious Basterds)的悲伤开场中的一小段为例:

(1)
农夫

(对朱莉说)

朱莉,从水泵那儿给我打些洗脸水来,然后和你妈妈进去。 22.译者注:此处作者转录的内容有误,应为“和你的姐妹们进去”

这个年轻女子跑向了屋旁的水泵。她拿起一个脸盆,开始泵水,几泵之后水流了出来洒进盆里。这个法国农夫坐在他之前削砍过的树桩上,从衣兜里拿出手绢,擦掉脸上的汗水,等待着纳粹车队的到来。过了一年提心吊胆的生活,这一切很可能就要结束了。

塔伦蒂诺希望能够创造出那种侵扰着一名居住于被纳粹占领的法国、在自己家中藏匿了一整个犹太家庭的男子的痛苦。在接下来与纳粹军官的整段对话中,该男子的话语和肢体语言里弥漫着恐惧与自我厌恶的情绪,而纳粹军官的话语和肢体语言则都透露出恶意的嘲讽。不同语言利用不同的话语模式表现出这些特点,而视听译者必须调整他/她的语言风格与措辞,以避免为维持源语言的文本模式而陷入固有的陷阱,还要顾及肢体语言与面部表情。Gambier(2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.,7)甚至提出,剧本写作的练习能够使人对题材有更好理解,和对所用的语言有更敏感的估量(也见Cattrysse and Gambier 2008Cattrysse, Patrick, and Yves Gambier 2008 “Screenwriting and Translating Screenplays.” In The Didactics of Audiovisual Translation, ed. by Jorge Diz-Cintas, 39–55. New York: Routledge. DOI logoGoogle Scholar)。

2.2语言学考量

目前许多研究AVT的方法专注于应对译者可能面临的各种问题的策略,但解决方法却侧重于语言学。缩略、释义、对等、扩展等主题上的变化已经由多名学者进行了非常系统的分类(Ivarsson 1992Ivarsson, Jan 1992Subtitling for the Media. A Handbook of an Art. Stockholm: Transedit.Google ScholarGottlieb 1992Gottlieb, Henrik 1992 “Subtitling: A New University Discipline.” In Teaching Translation and Interpreting: Training Talent and Experience. Papers from the First Language International Conference, Elsinore, Denmark 1991, ed. by Cay Dollerup, and Anne Loddegaard, 161–170. Amsterdam: John Benjamins. DOI logoGoogle ScholarLomheim 1999Lomheim, Sylfest 1999 “The Writing on the Screen. Subtitling: A Case Study from Norwegian Broadcasting (NRK), Oslo.” In Word, Text, Translation, ed. by Gunilla Anderman, and Margaret Rogers, 190–207. Clevedon: Multilingual Matters. The multimodal approach in audiovisual translation 235.Google Scholar),且得到了认可。然而这些方法并没有深入钻研多模态文本的诸多方面,至少表面上看起来没有。翻译的语言学理论基础需要向多模态领域进行更全面地拓展。例如,关于书面与口语词汇的衔接与连贯这两个概念,对于理解多模态文本极为重要。如果一部电影中听觉与视觉元素的语义内涵相结合能使故事或情节被清晰解读,就可以判定这部电影是连贯的。Bordwell(2008Bordwell, David 2008 “Three Dimensions of Film Narrative.” In Poetics of Cinema, 85–134. London: Routledge.Google Scholar,98)提到“电影提示观众不断地去构建故事的过程……等同于一个建筑中指引游客通过的道路。”

对衔接的研究通常是从文本内部衔接的角度进行的,作为加强衔接的语言学技巧。但是要对需翻译的文本中所有的衔接手段进行分析,不仅是词汇间的衔接,还要分析词汇与图像以及音轨的其他部分的衔接。如果译文中的多模态衔接被打乱,对文本的理解就会受到影响。比如《老友记》(Friends)中的一集(第一季第四集),钱德勒(Chandler)和乔伊(Joey)试图说服他们情绪低落的朋友罗斯(Ross)去看一场冰球赛。后者最终同意去了,前提是另外二位要给他买一个“大泡沫手指”,即涂有一个运动队代表色的大号泡沫塑料手套,是一件带有特定文化含义的物品。因遵循对等逻辑,这件物品在意大利语中被译为birra gigante(大杯啤酒)。然而因为这是个多模态文本,在下一幕中就看到这几个小伙子走进体育场,观众纷纷嘲笑罗斯挥舞着他的“大泡沫手指”(而非一杯啤酒)。在这个案例中,译者应当结合词汇、图像(手势)和其他声音元素(笑声)来寻求别的译法。

2.3符号学考量

对于视听译者来说,一个关键的概念是语言以外的符号资源可以用来补充甚至强调口头信息。以手势、动作和面部表情为例,人类所有的情绪都可以通过这些方式表达,同时通过口头表达加强,或者反过来加强口头表达。在《闪灵》(The Shining)(Kubrick, 1980)中杰克∙尼克尔森(Jack Nicholson)的愤怒主要是通过他的面部扭曲强有力地表现了出来。《贫民窟的百万富翁》(Slumdog Millionaire)(Boyle, 2008)中的最后一幕里中舞者们所传达出的幸福感也非语言所能够表达的。这样的情绪表达可让观众参与到Fryer and Freeman(2003,15)所指的“呈现(presence)”中去,是让观众融入到视听产品中的关键。从观众的角度来讲,这个术语指的是物理空间感和参与感。这一感觉是在所有的符号资源都被感知的情况下产生的符号资源。就字幕的翻译而言,意识到其他的符号学模态承载了认知信息会致使译者选择省译法;至于配音翻译,译者需要到考虑到时长与唇动,尤其是在特写镜头里,如上文提到的杰克∙尼克尔森的例子。配音演员有时为了保持同步率需要增加或者更改措辞。但是,无论是配音还是做字幕,能够鉴别不同模态下意义的不同方面,以及具备对多模态文本所能营造的氛围、紧张感和情绪敏感的能力,都是极其必要的。正如Gambier(2013 2013 “Moves towards Multimodality and Language Representation in Movies.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 1–10. Pavia: Como.Google Scholar,8)指出的,“只有当译者理顺了视听产品中的口头表达方面[…]并理解了所言与所示之间的互动,才能决定要运用何种翻译策略。”在译成他/她的母语并获得了一定的处理多模态文本的经验的前提下,译者在寻找目的语文本中恰当的用语时需要理解所有这些要素。

口述影像

让我们回到来自对剧本阅读(和写作)的深入了解上来,这种研究方法可以通过考虑对口述影像剧本的研究而更进一步。口述影像(AD)在于为盲人和视障群体提供视觉文本的口述版本,Snyder(2005Snyder, Joel 2005 “Audio Description. The Visual made Verbal across Arts Disciplines across the Globe.” Translating Today 4: 15–17.Google Scholar,15)把它简明的描述为“视觉口语化”,即对电影或者类似产品中的视觉成分的描述穿插在对话轮换之间以及对话与其他重要的声音(比如音乐)之间。显然,影像口述者的注意力主要集中在视听文本的非语言特征上。由于时间限制,影像口述者必须找出一些最突出的东西来进行描述。现有的眼动跟踪研究(详见本卷中Kruger的文章,其中有大量的参考书目)和接受研究可以为口述影像提供帮助:眼动跟踪研究精确地指出了在观看视听文本时注意力会集中在哪里,而接受研究旨在判定终端用户的偏好(详见Mazur 2014Mazur, Iwona 2014 “Gestures and Facial Expressions in Audio Description.” In Audio Description: New Perspectives Illustrated, ed. by Anna Maszerowska, Anna Matamala, and Pilar Orero, 179–198. Amsterdam: John Benjamins.Google Scholar)。译者无疑可以得益于这些研究成果,以此确定哪些非语言资源起重要作用,以及在多大程度上可以为译者寻求最有效的翻译方案提供帮助。

2.4文化考量

和其他各种类型的翻译以及上文提到的有关肢体语言的翻译一样,视听译者在处理国家/语言/社会团体之间的文化差异时要十分谨慎。以电影为例,通常都表现(或者歪曲)一个国家的文化——即使是从牛仔和印第安人的层面来看,它都可以视为美国社会的一个缩影。已有诸多论著讨论了AVT和文化问题的一般话题,也有不少资料出版(Bruti 2006Bruti, Silvia 2006 “Cross-cultural Pragmatics: The Translation of Implicit Compliments in Subtitles.” Jostrans 6: 185–197.Google ScholarRamière 2006Ramière, Nathalie 2006 “Reaching a Foreign Audience: Cultural Transfers in Audiovisual Translation.” Jostrans 6: 152–166.Google ScholarGambier 2008 2008 “Recent Developments and Challenges in Audiovisual Translation Research.” In Between Text and Image: Updating Research in Screen Translation, ed. by Delia Chiaro, Christine Heiss, and Chiara Bucaria, 11–33. Amsterdam: John Benjamins. DOI logoGoogle Scholar,仅举几个例子)。Pedersen(2011Pedersen, Jan 2011Subtitling Norms for Television: An Exploration Focussing on Extralinguistic Cultural References. Amsterdam: John Benjamins. DOI logoGoogle Scholar)提出了“超语言文化参照”和“翻译危机点”,这些概念很好地涵盖了视听译者面临的种种陷阱。举个例子,美剧《白宫风云》(The West Wing)这个多模态文本包含了大量的“超语言文化参照”,有些是可口头表述的国家特色,如重量、长度单位和街道名称等,但另外的要引用其他符号模式。比如第十集(第一季),以华盛顿的朝鲜战争纪念碑园全貌的慢镜开场,这是本集所讲述的故事中不可或缺的一部分。字幕或者配音版中的说明可以传达这一信息。但是要成功地处理这种受限于文化的场景,译者必须依赖于他/她的文化意识与个人的渊博学识的融合,还有对(广大潜在的)观众的知识的限度的理解。因此,除了要在说明中提供注释信息,译者还必须决定在多大程度上本土化或者异化随后出现的对话,这些对话的主题是“朝鲜”,其高潮是本集末尾的一名朝鲜战争老兵的官方军队葬礼。该多模态文本提供了美国爱国主义的所有元素:军人的整齐划一、悲凉与感伤——这些都从一系列符号学模态中传达出来。此处视听译者需要的技巧是如何将所有的符号翻译成自己的语言。尽管个别情况可以得到认可、评论和解决方法,但若要让多模态为视听翻译提供有效的信息,就需要一种更全方位的研究方法。

3.多模态转录

作为掌握多模态文本的一种方式,一项最先由Thibault(2000)Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385.Google Scholar设计的多模态转录法已经用于AVT研究(Taylor 2003Taylor, Christopher 2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. DOI logoGoogle Scholar),并且已被证明有助于提高学生对译制影视文本的复杂性的敏感度。该转录法以行列表格为载体,记下对电影剧情展开——以屏幕截图(以预定间隔截取)的方式——的描述、正在发生的情节以及可以听到的声音。表1展示了节选自意大利电影《美丽人生(La vita è bella)》(Benigni, 1997)中的一个简单例子。

Figure 1.《美丽人生(La vita è bella)》的多模态转录
可视框架 可视画面+身体动作 音轨 字幕
fig1a.svg

圭多(Guido)、儿子和另外几名囚犯着便装和警卫走在一起。

圭多拉着儿子的手。

对多和一名囚犯都看着儿子。

警卫盯着几人的举动。

圭多的儿子问“Dove va lo zio?”

走路的声音。

轻柔的背景音乐。

“Where is Uncle Eliseo going?”

(“埃利希奥叔叔要去哪里?”)

fig1b.svg

可以看到另一名囚犯。

圭多转头看向埃利希奥叔叔。

圭多的儿子问“Dove va lo zio?”

走路的声音。

轻柔的背景音乐。

“Where is Uncle Eliseo going?”

(“埃利希奥叔叔要去哪里?”)

fig1c.svg

第四名囚犯走进画面。

圭多转向儿子。

警卫继续行走。

圭多回答儿子“Altra squadra. Tutto organizzato, no?”

走路的声音。

轻柔的背景音乐。

“He’s on another team. It’s all organised.”

(“他去另一队,都是安排好的。”)

转录表提供的信息可以向译者说明除语言之外的符号模式是否传达了意义,这样就可以,例如,在减少字幕内容,从而减轻观众的认知负担。在上述例子中,三张屏幕截图(每隔一秒截取一张)所展示的内容实际上比原片更加全面,给出了额外的潜在有用的信息。如果时间是限制因素,字幕可以简单地写作“他要去哪里?”,因为观众可以看到被问到的人,回答也可以是简单的“去另一队”。圭多的动作表明了暗示下一条字幕出现的准确时间点。

4.局限性与未来研究方向

在此能得出的大致结论是,许多应用于AVT的方法论尽管实用,但是都没有充分利用影视文本的多模态属性。不过,随着学者们对此形势的察觉,新的研究方法也渐渐出现。例如,最近一篇由Wilken and Kruger(即将发表)所写的文章的主题是视觉元素呈现的“方式(way)”,而不仅仅是看到的内容。该文探讨了沉浸的问题,例如观者与角色的共鸣,以及风格考量对观众的影响。Bateman(2009Bateman, John 2009 “Film and Representation: Making Filmic Meaning.” In Metarepresentation, Self-Organisation and Art, ed. by Wolfgang Wildgen, and Barend van Heusden, 137–162. Bern: Peter Lang.Google Scholar,158)贯彻这样一种理念,即“有这样一些重复出现的、从布局上可以识别的电影表述手段,它们起到重现的交际功能的作用。”因此,当符号资源一遍又一遍地出现在电影中时,我们就可能监测其协同部署,以便更好地理解电影呈现是如何运作的。

至于多模态转录,作为一种对理解混合的符号资源进行的尝试,虽然作为对多模态属性的介绍非常实用,但很显然这种方法对于描述整部电影或任何超过几分钟的视听文本来说,是完全不可行的。因此,研究证明阶段分析法(phasal analysis)的概念(Gregory 2002Gregory, Michael 2002 “Phasal Analysis within Communication Linguistics: Two Contrastive Discourses.” In Relations and Functions within and around Language, ed. by Peter H. Fries, Michael Cumming, David Lockwood, and William Spruiell, 316–345. London: Continuum.Google ScholarMalcolm 2010Malcolm, Karen 2010Phasal Analysis: Analysing Discourse through Communication Linguistics. London: Continuum.Google Scholar)是多模态转录理论的一种有用的辅助工具,它提供了更易于操作的分析工具。这种方法使译者和研究人员能够识别出多模态文本中的同质“阶段(phase)”(既有连续的也有不连续的),并能确认语域的变化、性格特征以及衔接与连贯的要素——如果忽略这些要素,则可能导致翻译中的前后矛盾。Gregory最初以及Malcolm后来主要针对书面文本或口头文本的书面转录,但基本的理论原则与多模态文本同样相关。以电视肥皂剧为例,多条支线剧情同时或在同一集中出现。这些支线通常会被编排进一个连续进行的故事中,然后以不连续的方式在每集中分开讲述。因此,可以看出一系列构成单个情节的符号学模态——穿着相同的衣服的同一个角色,相同的基本话语模式,相同的舞台背景,可能还有相同的音乐背景等等。类似地,在单个故事片中,表演便可以在场景之间来回转换,而这些场景可以通过各种符号模式(角色、行为、音乐、口音、话语类型等)的结合而识别出来。译者对这些特征的认知应该能确保各个“阶段”中的译文是衔接且连贯的。在处理长达数百集的连续剧(DVD套装市场体现了这类影视作品是多么的流行)时,将“阶段分析法”这一技巧运用到连续剧中的每一集是至关重要的。虽然还需进一步的大量的研究,但伴随着多模态研究的发展的技术进步为我们提供了多模态语料库和关系数据库,这无疑将协助这一进程。

Baldry(2002) 2002 “Subtitling Dynamic Multimodal Texts: The Development of Interactive Self-access Tools.” In The Economy Principle in English: Linguistic, Literary and Cultural Perspectives, ed. by Giovanni Iamartino, Maria L. Bignami, and Carlo Pagetti, 54–62. Milan: Edizioni Unicopi.Google Scholar解释了创建关系数据库对未来所提供的可能性,这些数据库能够以纯语言索引的形式形成基于语料库的词汇对齐和其他符号模式对齐。MCA系统是他第一次尝试将关系数据库纳入语料库系统,允许用户搜索语料并找到词汇与其他符号资源(如手势)的对齐。这种索引技术后来被应用于字幕制作,随后引起了对“字幕、源文本和源文本翻译过程之间的新关系”的讨论(Baldry 2005 2005A Multimodal Approach to Text Studies in English. Campobasso: Palladino Editore.Google Scholar,112)。如今,学者们的目光转向了参考系统以及剧本、故事板和电影转录之间的相互作用,以此作为理解这些影视作品多模态属性的指南(参见Gambier 2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.)。目前正在准备阶段并即将发表的一项研究(Taylor,即将发表),在集中分析《白宫风云》的《荣归与主》(In Excelsis Deo)一集的过程中展示了一个由一个行列表格组成的多符号的参考系统(以多模态转录的节奏):横轴展示幕和场(借用一些戏剧术语),而纵轴显示人物、主题和环境。

Figure 2.多符号参考系统节选
人物 主题 开场 第一幕 第二幕 第三幕 第四幕
场景 场景 场景 场景 场厚
1 2 3 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 1 2 3 4 1 2 3
总统(巴恃利) 圣诞庆典 ✓小画廊 ✓小画廊
托比 策划葬礼 ✓走廊 ✓纪念园 ✓托比的房间

表2只展示了非常简单的一部分,它显示了各个角色及其行为、什么时候、跟谁,以及什么样的场景——这是建立一个交互式计算机辅助性参考系的第一步。

希望上面描述的新方法可以展示多模态如何能够帮助译者(译者需要了解多模态文本的种种属性),如何能够通过提供分析工具来帮助学生理解这些文本,以及如何能够帮助研究人员对视听材料进行更有效的分析。

5.结语

视听翻译研究和多模态研究近年来蓬勃发展,尽管正在朝着两个学科整合的方向前进,但现在两者仍然相互独立。多模态文本分析指出了视听产品中符号资源间相互作用的重要性,一些学者已经试图超越翻译影视文本的语言元素的局限。虽然学者们已经认识到所有符号学模态在戏剧中的重要性,但该领域的专业人士未必意识到了这一点。视听翻译仍然以书面形式出现,并且许多翻译文本(例如本文中提到的翻译文本)都缺乏对所有表意的资源的关注。但是,至少在理论层面上取得了很大进展。本文了分析了多模态文本分析的效果和益处,在多模态转录中表现多个多模态特征的尝试,阶段分析法的贡献,对文化问题的考虑量,剧本阅读和写作的贡献,以及口述影像与眼动跟踪在确立显性特征的相关性。随着高等教育在这些领域的理论和实践教学开始培养出受过充分教育和培训的专业人员,AVT将受益于由对多模态有更全面了解的人进行指导。与此同时,技术发展和计算机辅助翻译方法也将发挥作用。如上所述,关于创建关系数据库和参考系统的工作正在展开。当这些技术可以让我们将文本中的所有符号资源罗列出来,观察它们如何相互作用,准确计算这种互动在多大程度上是重复且可预测的,以及不同的组合如何影响意思的表达时,我们应该就是在利用对多模态的理解以及如何做出相应翻译的道路上前行了。然而,仍然需要对译者的语言和文化的敏感度,以及对需在何种程度上对源文本进行改编与否的认知,才能捕获整个多模态的特征。

最后,请看吉莉安∙芙琳(Gillian Flynn)(2013)Flynn, Gillian 2013Gone Girl. London: Phoenix.Google Scholar创作的目前最畅销的小说《消失的爱人》(Gone Girl)中的这段节选。由于对婚姻和法律状况失控,男主角尼克(Nick)束手无策了:

I poured a drink. I took a slug, tightened my fingers around the curves of the tumbler, then hurled it at the wall, watched the glass burst into fireworks, heard the tremendous shatter, smelled the cloud of bourbon. Rage in all five senses.(399)

(我倒了一杯酒,灌了一大口,抓紧了那只平底玻璃杯,接着狠狠地朝墙上扔去,眼瞧着那杯子像烟花一样崩裂,随着一声巨响,我闻到了一股波旁威士忌的味道。我怒火中烧。)

这本书现被改编为一部热卖电影,并将被翻译成多种语言,特别是在DVD碟片版中有许多的译制版。查阅翻译成法语或冰岛语或塔加拉族语的文本,看看译者在多大程度上考虑了通过各种符号模式传达的效果如何影响法国人、冰岛人或菲律宾人可能在此对白环境中的表述,以及他们在多模态的《消失的爱人》会如何表达 “所有感官(all five senses)”被怒火轰炸,会很有趣的。

诸如此类的电影和其他视听产品在以越来越快的速度不断地被制作出来,并翻译成上述的多种语言。如果翻译仅仅基于对话的转录,那么观众的完整观影体验很可能被偷工减料。希望对电影素材的多模态成分的研究结果能为对翻译产品负责的人所用,并使他们更全面地表达多模态文本中包含的所有含义。毫无疑问,本期文章的作者们正在朝着这个方向努力。

笔记

1.例如2016年多维翻译峰会(MuTra),语言与媒体(Languages and the Media),媒体服务大众(Media4All),2014年国际应用翻译峰会(InATra)。
2.译者注:此处作者转录的内容有误,应为“和你的姐妹们进去”

参考文献

Baldry, Anthony
ed. 2000Multimodality and Multimediality in the Distance Learning Age. Campobasso: Palladino Editore.Google Scholar
2002 “Subtitling Dynamic Multimodal Texts: The Development of Interactive Self-access Tools.” In The Economy Principle in English: Linguistic, Literary and Cultural Perspectives, ed. by Giovanni Iamartino, Maria L. Bignami, and Carlo Pagetti, 54–62. Milan: Edizioni Unicopi.Google Scholar
2005A Multimodal Approach to Text Studies in English. Campobasso: Palladino Editore.Google Scholar
Baldry, Anthony, and Paul Thibault
2006Multimodal Transcription and Text Analysis. London: Equinox. 234 Christopher Taylor.Google Scholar
Bateman, John
2009 “Film and Representation: Making Filmic Meaning.” In Metarepresentation, Self-Organisation and Art, ed. by Wolfgang Wildgen, and Barend van Heusden, 137–162. Bern: Peter Lang.Google Scholar
Bednarek, Monica
2010The Language of Fictional Television: Drama and Identity. London: Continuum.Google Scholar
Bordwell, David
2008 “Three Dimensions of Film Narrative.” In Poetics of Cinema, 85–134. London: Routledge.Google Scholar
Bruti, Silvia
2006 “Cross-cultural Pragmatics: The Translation of Implicit Compliments in Subtitles.” Jostrans 6: 185–197.Google Scholar
Burczynska, Paulina
2012Subtitling Humor. Saarbrucken: Lambert Academic Publishing.Google Scholar
Cattrysse, Patrick, and Yves Gambier
2008 “Screenwriting and Translating Screenplays.” In The Didactics of Audiovisual Translation, ed. by Jorge Diz-Cintas, 39–55. New York: Routledge. DOI logoGoogle Scholar
Fillmore, Charles
1982 (2006) “Frame Semantics.” In Cognitive Linguistics: Basic Readings, ed. by Dirk Geeraerts, 373–400. Berlin: Mouton de Gruyter.Google Scholar
Flynn, Gillian
2013Gone Girl. London: Phoenix.Google Scholar
Fryer, Louise, and Jonathan Freeman
2012 “Presence in Those with and without Sight: Audio Description and its Potential for Visual Reality Applications.” Journal of CyberTherapy and Rehabilitation 5 (1): 15–23.Google Scholar
Gambier, Yves
2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.
2008 “Recent Developments and Challenges in Audiovisual Translation Research.” In Between Text and Image: Updating Research in Screen Translation, ed. by Delia Chiaro, Christine Heiss, and Chiara Bucaria, 11–33. Amsterdam: John Benjamins. DOI logoGoogle Scholar
2013 “Moves towards Multimodality and Language Representation in Movies.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 1–10. Pavia: Como.Google Scholar
Gottlieb, Henrik
1992 “Subtitling: A New University Discipline.” In Teaching Translation and Interpreting: Training Talent and Experience. Papers from the First Language International Conference, Elsinore, Denmark 1991, ed. by Cay Dollerup, and Anne Loddegaard, 161–170. Amsterdam: John Benjamins. DOI logoGoogle Scholar
Gregory, Michael
2002 “Phasal Analysis within Communication Linguistics: Two Contrastive Discourses.” In Relations and Functions within and around Language, ed. by Peter H. Fries, Michael Cumming, David Lockwood, and William Spruiell, 316–345. London: Continuum.Google Scholar
Ivarsson, Jan
1992Subtitling for the Media. A Handbook of an Art. Stockholm: Transedit.Google Scholar
Jewitt, Carey
ed. 2009The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.Google Scholar
Kress, Gunther, and Theo van Leeuwen
1996Reading Images: the Grammar of Visual Design. London: Routledge.Google Scholar
2001Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold.Google Scholar
Lomheim, Sylfest
1999 “The Writing on the Screen. Subtitling: A Case Study from Norwegian Broadcasting (NRK), Oslo.” In Word, Text, Translation, ed. by Gunilla Anderman, and Margaret Rogers, 190–207. Clevedon: Multilingual Matters. The multimodal approach in audiovisual translation 235.Google Scholar
Malcolm, Karen
2010Phasal Analysis: Analysing Discourse through Communication Linguistics. London: Continuum.Google Scholar
Martinec, Radan
2000 “Rhythm in Multimodal Texts.” LEONARDO 33 (4): 289–297.Google Scholar
Mazur, Iwona
2014 “Gestures and Facial Expressions in Audio Description.” In Audio Description: New Perspectives Illustrated, ed. by Anna Maszerowska, Anna Matamala, and Pilar Orero, 179–198. Amsterdam: John Benjamins.Google Scholar
Minsky, Marvin
1986The Society of Mind. New York: Simon and Schuster.Google Scholar
O’Halloran, Kay
2008Mathematical Discourse: Language, Symbolism and Visual Images. London: Continuum.Google Scholar
O’Toole, Michael
1994The Language of Displayed Art. London: Leicester University Press.Google Scholar
Pedersen, Jan
2011Subtitling Norms for Television: An Exploration Focussing on Extralinguistic Cultural References. Amsterdam: John Benjamins. DOI logoGoogle Scholar
Perego, Elisa
2009 “The Codification of Non-Verbal Information in Subtitled Texts.” In New Trends in Audiovisual Translation, ed. by Jorge D. Cintas, 58–69. Bristol: Multilingual Matters.Google Scholar
Pettit, Zoe
2013 “Language and Image: Translating the Audiovisual Text in Subtitling and Dubbing.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 213–232. Pavia: Como.Google Scholar
Ramière, Nathalie
2006 “Reaching a Foreign Audience: Cultural Transfers in Audiovisual Translation.” Jostrans 6: 152–166.Google Scholar
Remael, Aline
2008 “Screenwriting, Scripted and Unscripted Language: What do Subtitlers Need to Know?” In The Didactics of Audiovisual Translation, ed. by Jorge Diaz Cintas, 57–67. Amsterdam: John Benjamins. DOI logoGoogle Scholar
Snyder, Joel
2005 “Audio Description. The Visual made Verbal across Arts Disciplines across the Globe.” Translating Today 4: 15–17.Google Scholar
Taylor, Christopher
2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. DOI logoGoogle Scholar
2004 “Multimodal Text Analysis and Subtitling.” In Perspectives on Multimodality, ed. by Eija Ventola, Cassily Charles, and Martin Kaltenbacher, 153–172. Amsterdam: John Benjamins. DOI logoGoogle Scholar
2013 “Multimodality and Audiovisual Translation.” In Handbook of Translation Studies, ed. by Yves Gambier, and Luc van Doorslaer, vol. 4, 98–104. Amsterdam: John Benjamins. DOI logoGoogle Scholar
ed. Forthcoming (2016) A Text of Many Colours – Translating the Television Series ‘The West Wing’. Special issue of Intralinea 18.Google Scholar
Thibault, Paul
2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385.Google Scholar
Unsworth, Len
2001Teaching Multiliteracies across the Curriculum: Changing Contexts of Text and Image in Classroom Practice. Buckingham: Open University Press.Google Scholar
Wilken, Nicole, and Jan-Louis Kruger
. Forthcoming (2016) “Putting the Audience in the Picture: Mise-en-shot and Psychological Immersion in Audio Described Film.” In Empirical Approaches to Audiovisual Translation, ed. by Elisa Perego, special issue of Across Languages and Cultures 17(2).Google Scholar

Translators’ note:

《视听翻译的多模态策略》翻译评论

本文通过考察相关领域的现有研究对多模态翻译进行分析,并为从事视听翻译的译者处理各类多模态文本提供理论和实例参考。翻译过程中既要注意“semeiotic(符号学)”、“multimodality(多模态)”等重要术语的准确性、一致性,也要保证论述过程简明易懂。例如多次出现了影视作品中的几个重要符号学元素(language, gesture, movement, visual images, sound等),其中“gesture”被提及的次数最多,且可用于概括多种肢体动作,易与“movement”产生分歧。在修正过程中,曾尝试过用“姿态”、“动作”(相应的“movement”译为“动态 ”)释义“gesture”,但通过反复对比其他元素,此处应当是某种具体的视听符号,即“手势”这一词义。

作者为再现本文论述的准确性,在描述场景或概念的时候使用了大量的长定语和复杂的从句。这样的语用习惯通常会与译入语(中文)的常见语序发生冲突,因此译者在翻译过程中先分析了这些句子间从句的逻辑关系,以此为依据进行断句和语序变动,如:

Here there has been assistance from eye-tracking studies (see Kruger, in the present volume, for an ample bibliography) which have succeeded in pinpointing where attention is focused while watching audiovisual texts, and reception studies designed to gauge the preferences of end users.(see Mazur 2014Mazur, Iwona 2014 “Gestures and Facial Expressions in Audio Description.” In Audio Description: New Perspectives Illustrated, ed. by Anna Maszerowska, Anna Matamala, and Pilar Orero, 179–198. Amsterdam: John Benjamins.Google Scholar)

“eye-tracking studies”和“reception studies”之后虽然均伴随了很长的描述性文字,但两者其实属于并列关系。若按照源文本的断句方法进行翻译,既难突出两个术语本身,也容易弱化它们的并列关系(即两项研究对AD制作的辅助作用并列)。

本文作者为了说明多模态策略在翻译中的应用,举出了几部影视剧为例。初稿中这几部作品的标题和相关人物的姓名译者都采用了大陆媒体常见的译法。但经过商议,考虑到中文语境中的各地差异,选择在正文中保留原名。如Jack Nicholson,因发音差异,粤语文化圈多称他为积∙尼高逊;又如《消失的爱人》这部作品,作为电影在台湾地区上映时采用的标题为《控制》。文中还有部分术语(“presence”和“phase”等)也采用了一样的标注方法,这些词汇在英文和中文语境中都属于常见词汇,保留原文利于目标读者从双语角度体会文中学者想表达的概念。另外关于示例中的《消失的爱人》引文,译者原本选取了已出版的胡晓梅译本,但经商议和阅读其他章节后认为,胡版有明显的直译特征,不够本土化和语言对等,最终选择了自译。

在译文的定稿过程中,两位审稿人提出了一些非常好的意见,在此表示诚挚的谢意。由于原文的第一个小节和第二小节的2.1部分句式比较复杂,为了保持译文的准确性,译者选择牺牲了一点流畅性,这是为了符合学术文章的严谨性。对于译文中可以改善之处,还请读者不吝赐教。 

通讯地址

Christopher Taylor

Dip. IUSLIT

Universita di Trieste via Filzi 14

34132 TRIESTE

Italy

[email protected]