1.引言

多模态在文献中被描述为“多种符号模式在设计一个符号学产物或者活动时的运用”（Kress and Van Leeuwen 2001Kress, Gunther, and Theo van Leeuwen 2001 Multimodal Discourse: the Modes and Media of Contemporary Communication. London: Edward Arnold.，20），多模态文本则是 “组合与集成了一种以上表达意义的符号学模态资源的文本，如语言、手势、动作、视觉图像、声音等，以生成在特定文本中的含义”（Thibault 2000Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385.，311）。这并不是一个新的研究领域，因为任何事物都在一定程度上呈现出多模态属性，但现代社会中，诸如电影、电视节目和网站等典型的多模态文本极大地拓展了此类研究的范围。多模态的概念横跨了所有学科，因为每个学科都可以从一种语言翻译到另一种，所以它在翻译研究中的重要性如今也得到了认可。（Taylor 2013Taylor, Christopher 2013 “Multimodality and Audiovisual Translation.” In Handbook of Translation Studies, ed. by Yves Gambier, and Luc van Doorslaer, vol. 4, 98–104. Amsterdam: John Benjamins. ，98）

上文为探索视听翻译（AVT）领域的多模态策略奠定了基础。从现有文献，如《劳特利奇多模态分析手册》（Jewitt 2009Jewitt, Carey ed. 2009 The Routledge Handbook of Multimodal Analysis. Abingdon: Routledge.），所囊括的主题中便能看出，虽然大多数参与多模态研究的学者还未涉足翻译领域，但是有些人实际上已经在该领域进行探索了（Baldry 2000Baldry, Anthony ed. 2000 Multimodality and Multimediality in the Distance Learning Age. Campobasso: Palladino Editore.；Taylor 2003Taylor, Christopher 2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. and 2004Taylor, Christopher 2004 “Multimodal Text Analysis and Subtitling.” In Perspectives on Multimodality, ed. by Eija Ventola, Cassily Charles, and Martin Kaltenbacher, 153–172. Amsterdam: John Benjamins. ；Gambier 2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.；Perego 2009Perego, Elisa 2009 “The Codification of Non-Verbal Information in Subtitled Texts.” In New Trends in Audiovisual Translation, ed. by Jorge D. Cintas, 58–69. Bristol: Multilingual Matters.；Burczynska 2012Burczynska, Paulina 2012 Subtitling Humor. Saarbrucken: Lambert Academic Publishing.）。确实，随着一些探索符号资源（口头或书面语言、图像、手势、眼神，诸如语调和音量、音乐、光线、视角等副语言特征，以及淡出、闪回等其他电影技巧）之间相互作用的开创性研究的展开（参见O’Toole 1994O’Toole, Michael 1994 The Language of Displayed Art. London: Leicester University Press.；Kress and van Leeuwen 1996Kress, Gunther, and Theo van Leeuwen 1996 Reading Images: the Grammar of Visual Design. London: Routledge.；Martinec 2000Martinec, Radan 2000 “Rhythm in Multimodal Texts.” LEONARDO 33 (4): 289–297.；Unsworth 2001Unsworth, Len 2001 Teaching Multiliteracies across the Curriculum: Changing Contexts of Text and Image in Classroom Practice. Buckingham: Open University Press.；Baldry and Thibault 2006Baldry, Anthony, and Paul Thibault 2006 Multimodal Transcription and Text Analysis. London: Equinox. 234 Christopher Taylor.；O’Halloran 2008O’Halloran, Kay 2008 Mathematical Discourse: Language, Symbolism and Visual Images. London: Continuum.；Bednarek 2010Bednarek, Monica 2010 The Language of Fictional Television: Drama and Identity. London: Continuum.——仅此为例），如何在AVT领域利用多模态分析的理念也得到了发展。多模态研究对AVT的影响也在过去十余年的一些学术会议11.例如2016年多维翻译峰会（MuTra），语言与媒体（Languages and the Media），媒体服务大众（Media4All），2014年国际应用翻译峰会（InATra）。中得到了证实。这个趋势必将持续下去。

本文首先探究如何从叙事、语言学、符号学和文化角度对多模态文本进行分析，然后讨论为驾驭多模态文本中的各种符号模式所做的尝试。已尝试过的方法有多模态转录，声频描述分析，以及通过认知洞察。下文将讨论这些方法的局限性——特别是考虑到多模态研究和AVT未来可能的发展方向的情况下来进行讨论。

2.多模态文本分析

文本分析应当是所有正式翻译工作的前奏。至于多模态文本，此类分析不应当仅考虑词语、小句和句子，还应该包括其它固定下来的表意单位——那些构成如今被称为电影语言或镜头语言的内容（Pettit 2013Pettit, Zoe 2013 “Language and Image: Translating the Audiovisual Text in Subtitling and Dubbing.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 213–232. Pavia: Como.）。然而，在此需要强调的最重要的一点是，是多模态文本中所有符号模式的集合生成的意义，而且尽管意义被译成了文字，但AV译者的任务是在其母语中寻求那些符号集合的最佳表达方式。识别各种符号资源是很重要的一步，但若没有互相参照，这些资源无法以有意义的方式列出或者归类。尽管取得了一定进展（详见第四部分），但是基于这一参照系统的研究方法目前尚不完善。同时，本文还会讨论一些有用的概念。

2.1叙事考量

电影与电视剧通常是要讲故事的，而且是以多模态的形式讲故事（Remael 2008Remael, Aline 2008 “Screenwriting, Scripted and Unscripted Language: What do Subtitlers Need to Know?” In The Didactics of Audiovisual Translation, ed. by Jorge Diaz Cintas, 57–67. Amsterdam: John Benjamins. ）。若不深究叙事理论，这些故事通常包含了带有各种个体特征的角色、角色的恶行，以及变换的时空设置。通过心理框架的激活（正如Fillmore 1982 [2006]Fillmore, Charles 1982 (2006) “Frame Semantics.” In Cognitive Linguistics: Basic Readings, ed. by Dirk Geeraerts, 373–400. Berlin: Mouton de Gruyter.， Minsky 1986Minsky, Marvin 1986 The Society of Mind. New York: Simon and Schuster.和之后很多人探讨过的），观众在观看一部电影的各个片段时，会对故事如何发展有所期待，并借助符号学线索的组合来达到（或达不到）这些预期。因此，理解故事的创作和译制版的目标受众对故事发展的预期应当成为影视译者的工具的重要一部分。所有的翻译都包含对源文本一定程度上的重构，且视听译者必须做出决定，以确保他们所找到的词汇能够在目的语和目的语文化中成功译出整个符号事件的效果。

剧本

剧本，或者称为电影脚本，可以对领会电影文本的精髓有指导意义，不应当仅仅是对话的简单记录。这是因为编剧对他/她希望塑造的东西在脑海中有个影像，这个影像在“舞台说明”和描述里最清晰。以昆汀∙塔伦蒂诺（Quentin Tarantino）的电影《无耻混蛋》（Inglourious Basterds）的悲伤开场中的一小段为例：

(1)

农夫

（对朱莉说）

朱莉，从水泵那儿给我打些洗脸水来，然后和你妈妈进去。 22.译者注：此处作者转录的内容有误，应为“和你的姐妹们进去”

这个年轻女子跑向了屋旁的水泵。她拿起一个脸盆，开始泵水，几泵之后水流了出来洒进盆里。这个法国农夫坐在他之前削砍过的树桩上，从衣兜里拿出手绢，擦掉脸上的汗水，等待着纳粹车队的到来。过了一年提心吊胆的生活，这一切很可能就要结束了。

塔伦蒂诺希望能够创造出那种侵扰着一名居住于被纳粹占领的法国、在自己家中藏匿了一整个犹太家庭的男子的痛苦。在接下来与纳粹军官的整段对话中，该男子的话语和肢体语言里弥漫着恐惧与自我厌恶的情绪，而纳粹军官的话语和肢体语言则都透露出恶意的嘲讽。不同语言利用不同的话语模式表现出这些特点，而视听译者必须调整他/她的语言风格与措辞，以避免为维持源语言的文本模式而陷入固有的陷阱，还要顾及肢体语言与面部表情。Gambier（2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.，7）甚至提出，剧本写作的练习能够使人对题材有更好理解，和对所用的语言有更敏感的估量（也见Cattrysse and Gambier 2008Cattrysse, Patrick, and Yves Gambier 2008 “Screenwriting and Translating Screenplays.” In The Didactics of Audiovisual Translation, ed. by Jorge Diz-Cintas, 39–55. New York: Routledge. ）。

2.2语言学考量

目前许多研究AVT的方法专注于应对译者可能面临的各种问题的策略，但解决方法却侧重于语言学。缩略、释义、对等、扩展等主题上的变化已经由多名学者进行了非常系统的分类（Ivarsson 1992Ivarsson, Jan 1992 Subtitling for the Media. A Handbook of an Art. Stockholm: Transedit.；Gottlieb 1992Gottlieb, Henrik 1992 “Subtitling: A New University Discipline.” In Teaching Translation and Interpreting: Training Talent and Experience. Papers from the First Language International Conference, Elsinore, Denmark 1991, ed. by Cay Dollerup, and Anne Loddegaard, 161–170. Amsterdam: John Benjamins. ；Lomheim 1999Lomheim, Sylfest 1999 “The Writing on the Screen. Subtitling: A Case Study from Norwegian Broadcasting (NRK), Oslo.” In Word, Text, Translation, ed. by Gunilla Anderman, and Margaret Rogers, 190–207. Clevedon: Multilingual Matters. The multimodal approach in audiovisual translation 235.），且得到了认可。然而这些方法并没有深入钻研多模态文本的诸多方面，至少表面上看起来没有。翻译的语言学理论基础需要向多模态领域进行更全面地拓展。例如，关于书面与口语词汇的衔接与连贯这两个概念，对于理解多模态文本极为重要。如果一部电影中听觉与视觉元素的语义内涵相结合能使故事或情节被清晰解读，就可以判定这部电影是连贯的。Bordwell（2008Bordwell, David 2008 “Three Dimensions of Film Narrative.” In Poetics of Cinema, 85–134. London: Routledge.，98）提到“电影提示观众不断地去构建故事的过程……等同于一个建筑中指引游客通过的道路。”

对衔接的研究通常是从文本内部衔接的角度进行的，作为加强衔接的语言学技巧。但是要对需翻译的文本中所有的衔接手段进行分析，不仅是词汇间的衔接，还要分析词汇与图像以及音轨的其他部分的衔接。如果译文中的多模态衔接被打乱，对文本的理解就会受到影响。比如《老友记》（Friends）中的一集（第一季第四集），钱德勒（Chandler）和乔伊（Joey）试图说服他们情绪低落的朋友罗斯（Ross）去看一场冰球赛。后者最终同意去了，前提是另外二位要给他买一个“大泡沫手指”，即涂有一个运动队代表色的大号泡沫塑料手套，是一件带有特定文化含义的物品。因遵循对等逻辑，这件物品在意大利语中被译为birra gigante（大杯啤酒）。然而因为这是个多模态文本，在下一幕中就看到这几个小伙子走进体育场，观众纷纷嘲笑罗斯挥舞着他的“大泡沫手指”（而非一杯啤酒）。在这个案例中，译者应当结合词汇、图像（手势）和其他声音元素（笑声）来寻求别的译法。

2.3符号学考量

对于视听译者来说，一个关键的概念是语言以外的符号资源可以用来补充甚至强调口头信息。以手势、动作和面部表情为例，人类所有的情绪都可以通过这些方式表达，同时通过口头表达加强，或者反过来加强口头表达。在《闪灵》（The Shining）（Kubrick, 1980）中杰克∙尼克尔森（Jack Nicholson）的愤怒主要是通过他的面部扭曲强有力地表现了出来。《贫民窟的百万富翁》（Slumdog Millionaire）（Boyle, 2008）中的最后一幕里中舞者们所传达出的幸福感也非语言所能够表达的。这样的情绪表达可让观众参与到Fryer and Freeman（2003，15）所指的“呈现（presence）”中去，是让观众融入到视听产品中的关键。从观众的角度来讲，这个术语指的是物理空间感和参与感。这一感觉是在所有的符号资源都被感知的情况下产生的符号资源。就字幕的翻译而言，意识到其他的符号学模态承载了认知信息会致使译者选择省译法；至于配音翻译，译者需要到考虑到时长与唇动，尤其是在特写镜头里，如上文提到的杰克∙尼克尔森的例子。配音演员有时为了保持同步率需要增加或者更改措辞。但是，无论是配音还是做字幕，能够鉴别不同模态下意义的不同方面，以及具备对多模态文本所能营造的氛围、紧张感和情绪敏感的能力，都是极其必要的。正如Gambier（2013Gambier, Yves 2013 “Moves towards Multimodality and Language Representation in Movies.” In Readings in Intersemiosis and Multimedia. Proceedings of the 3rd TICOM, Pavia, May 2006, ed. by Elena Montagna, 1–10. Pavia: Como.，8）指出的，“只有当译者理顺了视听产品中的口头表达方面[…]并理解了所言与所示之间的互动，才能决定要运用何种翻译策略。”在译成他/她的母语并获得了一定的处理多模态文本的经验的前提下，译者在寻找目的语文本中恰当的用语时需要理解所有这些要素。

口述影像

让我们回到来自对剧本阅读（和写作）的深入了解上来，这种研究方法可以通过考虑对口述影像剧本的研究而更进一步。口述影像（AD）在于为盲人和视障群体提供视觉文本的口述版本，Snyder（2005Snyder, Joel 2005 “Audio Description. The Visual made Verbal across Arts Disciplines across the Globe.” Translating Today 4: 15–17.，15）把它简明的描述为“视觉口语化”，即对电影或者类似产品中的视觉成分的描述穿插在对话轮换之间以及对话与其他重要的声音（比如音乐）之间。显然，影像口述者的注意力主要集中在视听文本的非语言特征上。由于时间限制，影像口述者必须找出一些最突出的东西来进行描述。现有的眼动跟踪研究（详见本卷中Kruger的文章，其中有大量的参考书目）和接受研究可以为口述影像提供帮助：眼动跟踪研究精确地指出了在观看视听文本时注意力会集中在哪里，而接受研究旨在判定终端用户的偏好（详见Mazur 2014Mazur, Iwona 2014 “Gestures and Facial Expressions in Audio Description.” In Audio Description: New Perspectives Illustrated, ed. by Anna Maszerowska, Anna Matamala, and Pilar Orero, 179–198. Amsterdam: John Benjamins.）。译者无疑可以得益于这些研究成果，以此确定哪些非语言资源起重要作用，以及在多大程度上可以为译者寻求最有效的翻译方案提供帮助。

2.4文化考量

和其他各种类型的翻译以及上文提到的有关肢体语言的翻译一样，视听译者在处理国家/语言/社会团体之间的文化差异时要十分谨慎。以电影为例，通常都表现（或者歪曲）一个国家的文化——即使是从牛仔和印第安人的层面来看，它都可以视为美国社会的一个缩影。已有诸多论著讨论了AVT和文化问题的一般话题，也有不少资料出版（Bruti 2006Bruti, Silvia 2006 “Cross-cultural Pragmatics: The Translation of Implicit Compliments in Subtitles.” Jostrans 6: 185–197.，Ramière 2006Ramière, Nathalie 2006 “Reaching a Foreign Audience: Cultural Transfers in Audiovisual Translation.” Jostrans 6: 152–166.及Gambier 2008Gambier, Yves 2008 “Recent Developments and Challenges in Audiovisual Translation Research.” In Between Text and Image: Updating Research in Screen Translation, ed. by Delia Chiaro, Christine Heiss, and Chiara Bucaria, 11–33. Amsterdam: John Benjamins. ，仅举几个例子）。Pedersen（2011Pedersen, Jan 2011 Subtitling Norms for Television: An Exploration Focussing on Extralinguistic Cultural References. Amsterdam: John Benjamins. ）提出了“超语言文化参照”和“翻译危机点”，这些概念很好地涵盖了视听译者面临的种种陷阱。举个例子，美剧《白宫风云》（The West Wing）这个多模态文本包含了大量的“超语言文化参照”，有些是可口头表述的国家特色，如重量、长度单位和街道名称等，但另外的要引用其他符号模式。比如第十集（第一季），以华盛顿的朝鲜战争纪念碑园全貌的慢镜开场，这是本集所讲述的故事中不可或缺的一部分。字幕或者配音版中的说明可以传达这一信息。但是要成功地处理这种受限于文化的场景，译者必须依赖于他/她的文化意识与个人的渊博学识的融合，还有对（广大潜在的）观众的知识的限度的理解。因此，除了要在说明中提供注释信息，译者还必须决定在多大程度上本土化或者异化随后出现的对话，这些对话的主题是“朝鲜”，其高潮是本集末尾的一名朝鲜战争老兵的官方军队葬礼。该多模态文本提供了美国爱国主义的所有元素：军人的整齐划一、悲凉与感伤——这些都从一系列符号学模态中传达出来。此处视听译者需要的技巧是如何将所有的符号翻译成自己的语言。尽管个别情况可以得到认可、评论和解决方法，但若要让多模态为视听翻译提供有效的信息，就需要一种更全方位的研究方法。

3.多模态转录

作为掌握多模态文本的一种方式，一项最先由Thibault（2000）Thibault, Paul 2000 “The Multimodal Transcription of a Television Advertisement: Theory and Practice.” In Baldry 2000, 311–385.设计的多模态转录法已经用于AVT研究（Taylor 2003Taylor, Christopher 2003 “Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films.” The Translator 9 (2): 191–206. ），并且已被证明有助于提高学生对译制影视文本的复杂性的敏感度。该转录法以行列表格为载体，记下对电影剧情展开——以屏幕截图（以预定间隔截取）的方式——的描述、正在发生的情节以及可以听到的声音。表1展示了节选自意大利电影《美丽人生（La vita è bella）》（Benigni, 1997）中的一个简单例子。

转录表提供的信息可以向译者说明除语言之外的符号模式是否传达了意义，这样就可以，例如，在减少字幕内容，从而减轻观众的认知负担。在上述例子中，三张屏幕截图（每隔一秒截取一张）所展示的内容实际上比原片更加全面，给出了额外的潜在有用的信息。如果时间是限制因素，字幕可以简单地写作“他要去哪里？”，因为观众可以看到被问到的人，回答也可以是简单的“去另一队”。圭多的动作表明了暗示下一条字幕出现的准确时间点。

4.局限性与未来研究方向

在此能得出的大致结论是，许多应用于AVT的方法论尽管实用，但是都没有充分利用影视文本的多模态属性。不过，随着学者们对此形势的察觉，新的研究方法也渐渐出现。例如，最近一篇由Wilken and Kruger（即将发表）所写的文章的主题是视觉元素呈现的“方式（way）”，而不仅仅是看到的内容。该文探讨了沉浸的问题，例如观者与角色的共鸣，以及风格考量对观众的影响。Bateman（2009Bateman, John 2009 “Film and Representation: Making Filmic Meaning.” In Metarepresentation, Self-Organisation and Art, ed. by Wolfgang Wildgen, and Barend van Heusden, 137–162. Bern: Peter Lang.，158）贯彻这样一种理念，即“有这样一些重复出现的、从布局上可以识别的电影表述手段，它们起到重现的交际功能的作用。”因此，当符号资源一遍又一遍地出现在电影中时，我们就可能监测其协同部署，以便更好地理解电影呈现是如何运作的。

至于多模态转录，作为一种对理解混合的符号资源进行的尝试，虽然作为对多模态属性的介绍非常实用，但很显然这种方法对于描述整部电影或任何超过几分钟的视听文本来说，是完全不可行的。因此，研究证明阶段分析法（phasal analysis）的概念（Gregory 2002Gregory, Michael 2002 “Phasal Analysis within Communication Linguistics: Two Contrastive Discourses.” In Relations and Functions within and around Language, ed. by Peter H. Fries, Michael Cumming, David Lockwood, and William Spruiell, 316–345. London: Continuum.；Malcolm 2010Malcolm, Karen 2010 Phasal Analysis: Analysing Discourse through Communication Linguistics. London: Continuum.）是多模态转录理论的一种有用的辅助工具，它提供了更易于操作的分析工具。这种方法使译者和研究人员能够识别出多模态文本中的同质“阶段（phase）”（既有连续的也有不连续的），并能确认语域的变化、性格特征以及衔接与连贯的要素——如果忽略这些要素，则可能导致翻译中的前后矛盾。Gregory最初以及Malcolm后来主要针对书面文本或口头文本的书面转录，但基本的理论原则与多模态文本同样相关。以电视肥皂剧为例，多条支线剧情同时或在同一集中出现。这些支线通常会被编排进一个连续进行的故事中，然后以不连续的方式在每集中分开讲述。因此，可以看出一系列构成单个情节的符号学模态——穿着相同的衣服的同一个角色，相同的基本话语模式，相同的舞台背景，可能还有相同的音乐背景等等。类似地，在单个故事片中，表演便可以在场景之间来回转换，而这些场景可以通过各种符号模式（角色、行为、音乐、口音、话语类型等）的结合而识别出来。译者对这些特征的认知应该能确保各个“阶段”中的译文是衔接且连贯的。在处理长达数百集的连续剧（DVD套装市场体现了这类影视作品是多么的流行）时，将“阶段分析法”这一技巧运用到连续剧中的每一集是至关重要的。虽然还需进一步的大量的研究，但伴随着多模态研究的发展的技术进步为我们提供了多模态语料库和关系数据库，这无疑将协助这一进程。

Baldry（2002）Baldry, Anthony 2002 “Subtitling Dynamic Multimodal Texts: The Development of Interactive Self-access Tools.” In The Economy Principle in English: Linguistic, Literary and Cultural Perspectives, ed. by Giovanni Iamartino, Maria L. Bignami, and Carlo Pagetti, 54–62. Milan: Edizioni Unicopi.解释了创建关系数据库对未来所提供的可能性，这些数据库能够以纯语言索引的形式形成基于语料库的词汇对齐和其他符号模式对齐。MCA系统是他第一次尝试将关系数据库纳入语料库系统，允许用户搜索语料并找到词汇与其他符号资源（如手势）的对齐。这种索引技术后来被应用于字幕制作，随后引起了对“字幕、源文本和源文本翻译过程之间的新关系”的讨论（Baldry 2005Baldry, Anthony 2005 A Multimodal Approach to Text Studies in English. Campobasso: Palladino Editore.，112）。如今，学者们的目光转向了参考系统以及剧本、故事板和电影转录之间的相互作用，以此作为理解这些影视作品多模态属性的指南（参见Gambier 2006Gambier, Yves 2006 “Multimodality and Audiovisual Translation.” In Audiovisual Translation Scenarios: Proceedings of the Marie Curie Euroconferences MuTra: Audiovisual Translation Scenarios, Copenhagen 1–5 May 2006, ed. by Mary Carroll, Heidrun Gerzymisch-Arbogast, and Sandra Nauert. http://​www​.euroconferences​.info​/proceedings​/2006​_Proceedings​/2006​_proceedings​.html. Accessed December 22, 2015.）。目前正在准备阶段并即将发表的一项研究（Taylor，即将发表），在集中分析《白宫风云》的《荣归与主》（In Excelsis Deo）一集的过程中展示了一个由一个行列表格组成的多符号的参考系统（以多模态转录的节奏）：横轴展示幕和场（借用一些戏剧术语），而纵轴显示人物、主题和环境。

表2只展示了非常简单的一部分，它显示了各个角色及其行为、什么时候、跟谁，以及什么样的场景——这是建立一个交互式计算机辅助性参考系的第一步。

希望上面描述的新方法可以展示多模态如何能够帮助译者（译者需要了解多模态文本的种种属性），如何能够通过提供分析工具来帮助学生理解这些文本，以及如何能够帮助研究人员对视听材料进行更有效的分析。

5.结语

视听翻译研究和多模态研究近年来蓬勃发展，尽管正在朝着两个学科整合的方向前进，但现在两者仍然相互独立。多模态文本分析指出了视听产品中符号资源间相互作用的重要性，一些学者已经试图超越翻译影视文本的语言元素的局限。虽然学者们已经认识到所有符号学模态在戏剧中的重要性，但该领域的专业人士未必意识到了这一点。视听翻译仍然以书面形式出现，并且许多翻译文本（例如本文中提到的翻译文本）都缺乏对所有表意的资源的关注。但是，至少在理论层面上取得了很大进展。本文了分析了多模态文本分析的效果和益处，在多模态转录中表现多个多模态特征的尝试，阶段分析法的贡献，对文化问题的考虑量，剧本阅读和写作的贡献，以及口述影像与眼动跟踪在确立显性特征的相关性。随着高等教育在这些领域的理论和实践教学开始培养出受过充分教育和培训的专业人员，AVT将受益于由对多模态有更全面了解的人进行指导。与此同时，技术发展和计算机辅助翻译方法也将发挥作用。如上所述，关于创建关系数据库和参考系统的工作正在展开。当这些技术可以让我们将文本中的所有符号资源罗列出来，观察它们如何相互作用，准确计算这种互动在多大程度上是重复且可预测的，以及不同的组合如何影响意思的表达时，我们应该就是在利用对多模态的理解以及如何做出相应翻译的道路上前行了。然而，仍然需要对译者的语言和文化的敏感度，以及对需在何种程度上对源文本进行改编与否的认知，才能捕获整个多模态的特征。

最后，请看吉莉安∙芙琳（Gillian Flynn）（2013）Flynn, Gillian 2013 Gone Girl. London: Phoenix.创作的目前最畅销的小说《消失的爱人》（Gone Girl）中的这段节选。由于对婚姻和法律状况失控，男主角尼克（Nick）束手无策了：

I poured a drink. I took a slug, tightened my fingers around the curves of the tumbler, then hurled it at the wall, watched the glass burst into fireworks, heard the tremendous shatter, smelled the cloud of bourbon. Rage in all five senses.(399)

(我倒了一杯酒，灌了一大口，抓紧了那只平底玻璃杯，接着狠狠地朝墙上扔去，眼瞧着那杯子像烟花一样崩裂，随着一声巨响，我闻到了一股波旁威士忌的味道。我怒火中烧。)

这本书现被改编为一部热卖电影，并将被翻译成多种语言，特别是在DVD碟片版中有许多的译制版。查阅翻译成法语或冰岛语或塔加拉族语的文本，看看译者在多大程度上考虑了通过各种符号模式传达的效果如何影响法国人、冰岛人或菲律宾人可能在此对白环境中的表述，以及他们在多模态的《消失的爱人》会如何表达 “所有感官（all five senses）”被怒火轰炸，会很有趣的。

诸如此类的电影和其他视听产品在以越来越快的速度不断地被制作出来，并翻译成上述的多种语言。如果翻译仅仅基于对话的转录，那么观众的完整观影体验很可能被偷工减料。希望对电影素材的多模态成分的研究结果能为对翻译产品负责的人所用，并使他们更全面地表达多模态文本中包含的所有含义。毫无疑问，本期文章的作者们正在朝着这个方向努力。