2.1A gépi fordítási minőség felmérésének nehézsége

A gépi fordítórendszereket gyakran összekeverik a fordítómemória-rendszerekkel. Bizonyos értelemben a gépi fordítás tekinthető a fordítómemória-technológia kibővítésének. Azonban míg a fordítómemóriák csak létező, ember által már korábban megalkotott fordításokat tudnak előhívni, a gépi fordítás képes ezen fordítások alapján rugalmasan új fordításokat is létrehozni.

A gépi fordítás egyik nagy hátránya az a tény, hogy nehéz felmérni egy adott gépi fordítás használhatóságát vagy a célnak való megfelelőségét. Következésképpen az utószerkesztők gyakran olyan MT-kimenetekkel találkoznak, amelyek nem használhatók, ez pedig csökkenti a produktivitást és a hatékonyságot. A helyzet orvoslására jelenleg fejlesztés alatt áll egy minőségbecslésként ismert kutatási módszer, amelynek célja az MT-kimenet minőségének felmérése (lásd 4. fejezet).

Érdekes megjegyezni, hogy az audiovizuális fordítók rendelkezésére álló viszonylag magas szintű technológiai támogatás (például speciális feliratozószoftverek és a szinkronok forgatókönyveinek előkészítésére és felvételére létrehozott szoftverek) ellenére maga a fordítás művelete meglehetősen kevés támogatást kap ezen a téren. Az audiovizuális fordítók nem használnak rutinszerűen fordítómemóriákat, bár a szövegfordításban elterjedt a használatuk.

2.2Miben a legjobb a gépi fordítás és miért?

Más technológiákhoz hasonlóan a gépi fordítás is a használattal javul. Ha a munkafolyamatok jól vannak beállítva, a gépi fordítási javaslatok hivatásos fordítók általi kiválasztása vagy elvetése, valamint a fordítás utószerkesztése visszajelzésként szolgál a rendszer folyamatos fejlődéséhez és javulásához.

A gépi fordítás különösen jól működik olyan esetekben, ahol a forrás- és célnyelv meglehetősen hasonlít egymásra többek között a szerkezet, morfológia, fogalmak tekintetében. Például egy, a spanyol és portugál nyelv között fordító rendszer kifejlesztése általánosságban könnyebb, és jobb minőségű fordítást fog létrehozni, mint egy szuahéli nyelvről japánra fordító gépi rendszer. Egy másik döntő tényező, hogy rendelkezésre állnak-e nagy mennyiségben párhuzamos kétnyelvű szövegek, amelyek például a tárgykör vagy szövegtípus tekintetében elég hasonlók a lefordítandó anyaghoz, hogy a gépi rendszerek kinyerhessék belőlük az összes lényeges információt.

A gépi fordítómotor jellegéből adódóan nagyobb eséllyel képes feldolgozni olyan nyelvtani és mondattani jelenségeket, amelyek kis távolságra vannak egymástól a mondaton belül (például a főnév és ige egyeztetése az angolban), mint azokat a jelenségeket, amelyek távolabb vannak egymástól, mint például a német igei csoportok, amelyek alkotóelemei között akár egész tagmondatok is lehetnek. Hasonlóképpen azok a jelenségek, amelyek fordításához extralingvális ismeretekre, például társalgási és világismeretre van szükség (ilyenek például a kétértelmű névmások) meghaladják a technológia jelenlegi állását.

Érdekes módon azonban a gépi fordítással készülő audiovizuális fordítás eredményén általában nem javít a kisebb távolság, mivel a beszélt nyelvi szövegek gyakran kontextus- és inferencia-függők, valamint számos rövidített és hiányos mondat, kifejezés szerepel bennük, ahogyan ezt az alábbi 2 példa is mutatja:

Habár egyik német gépi fordítás sem tökéletes, a rövid audiovizuális átirat alapján készült fordítás érthetetlen, míg a több szóval megfogalmazott eredeti mondat fordítása viszonylag jól átadja a mondat értelmét. Hasonló eredmény látható a következő 3 példában is:

3.1Tárgykör és műfaj

A gépi fordítás audiovizuális fordításban történő alkalmazása során az audiovizuális fordítás „nyitott” tárgyköre jelenti az egyik problémát, abban az értelemben, hogy az audiovizuális tartalmak a témák lehető legszélesebb körét érintik, a nagyon egzakt és a szókincs tekintetében kihívást jelentő szakdokumentumfilmektől kezdve a hírességekről szóló bulvárhírekig. Ennek eredményeképpen gyakran még a bőséges tartalom sem elegendő a kiszámíthatóság megfelelő felbecsléséhez, mivel a tartalom minden szinten következetlen, beleértve a nyelvtant, a szerkezetet és a szókészletet is.

3.2A vizuális kontextus hiánya

A megfelelő audiovizuális fordításhoz szükség van a vizuális kontextus ismeretére, amelybe a forrásszöveg be van ágyazva (Díaz Cintas és Remael 2007Díaz-Cintas, Jorge, and Aline Remael 2007 Audiovisual Translation, Subtitling. Manchester: St. Jerome., 51), ehhez az információhoz egy gépi fordítórendszernek nincsen hozzáférése. A probléma illusztrálására egyszerű példaként szolgál az angol hello szó olasz nyelvű fordítása. A legtöbb esetben a szó fordítása a ciao olasz megfelelővel történne, például üdvözletként egy informális találkozás alkalmával, míg egy telefonos üdvözlés esetében a pronto volna a helyes fordítás. Ebben a példában a köszöntést megelőző megnyilvánulás adhat ugyan némi kontextusbeli utalást az adott jelenetről, azonban még gyerekcipőben jár az a gépi fordítási technológia, amely efféle mondatok közötti kontextuális jelzéseket használ fel a fordításhoz. A negyedik példa szintén egy, a SUMAT-projektből, ezúttal svéd feliratokból származik:

A 4 példában a rendszer a stall szót hibásan a toilet megfelelővel fordította le a kontextus hiányában, amely a hivatásos fordító számára viszont elérhető.

3.3Szóbeli stílus

Ahogyan azt már sokan leírták (pl. Rubin 1978), a beszélt nyelv és az írott szöveg sokban különbözik egymástól. Például a beszélt nyelv sokkal nagyobb százalékban tartalmaz nyelvtanilag hiányos mondatokat, sokkal inkább támaszkodik a valóságos fizikai kontextusra (például egy főnévre való utaláskor az az névmás használata), és általánosságban informálisabb. Ezen felül a beszélt szöveg szókincse (általában) abban is különbözik az írott szövegétől, hogy a szleng és a köznyelvi beszéd mellett sokkal gyakoribb a verbális diskurzusjelölők használata is (például tudod, aha vagy igaz?), amelyek nem gyakran fordulnak elő írott szövegekben. Vegyük példaként az alábbi mondatot 5, amelyet egy online gépi fordítórendszer ültetett át a célnyelvre:

Ha az összevont névmást visszaállítjuk a teljes nyelvtani alakjába, ahogyan az a lenti 6 példában látható, akkor az online gépi fordítórendszer olyan fordítást állít elő, amely, habár nem helyes, könnyedén utószerkeszthető, hogy a határozatlan névelő egyszerű eltávolításával a felirat hibátlanná váljon.

Hasonló a helyzet a köznyelvi szófordulatokkal is, ahogyan a következő 7 példában látható:

A fenti problémára megoldást jelenthet egy feliratokból összeállított korpusz alkalmazása, és ezáltal számos olyan megakadásjelenség, köznyelvi szófordulat és szóbeli jellemző rögzítése, amelyek problematikusnak bizonyulhatnak az általános írott szövegekkel betanított gépi fordítórendszerek számára. Ilyen korpuszok egyelőre nem érhetők el széles körben, amikor viszont rendelkezésre állnak, a felhasználásukkal betanított rendszerek ígéretesnek tűnnek, ahogyan ezt a SUMAT-projektből vett alábbi 8 példa is mutatja:

A statisztikai gépi fordítórendszer valójában jól használható ezeknek a problémáknak a kezelésére, amennyiben elegendő tanítóadat áll rendelkezésre.

3.4A kontextus hiánya

Az előző ponthoz szorosan kapcsolódik az a megfigyelés, miszerint a beszélt nyelvi szövegek általában rövidebb szegmensekből állnak. Ez a tény önmagában még nem jelent problémát (a rövidebb szegmenshossz általában egyet jelent a jobb fordítási minőséggel), ugyanakkor a kimondott szegmensek nagyobb valószínűséggel támaszkodnak a kontextusra, amely egyetlen szegmensen belül nem feltétlenül értelmezhető. Mivel a gépi fordítómotorok többnyire nem tekintenek túl egy-egy szegmensen, ez a fontos kontextus nem lesz elérhető számukra. Vegyük például a következő élőbeszédszerű szöveget a 9 példában:

A szóbeli példa utolsó mondatában szereplő it névmáshoz nem szerepel kontextus az adott szegmensen belül, és a rendszer így a semleges nemű es használatával fordítja le a helyes ihn vagy den hímnemű alak helyett. Az ilyen eredmények gyakoriak, amikor egy szó fordítása olyan kontextustól függ, amely a fordítandó szótól akár többmondatnyira is lehet. Hasonló okokból a rendszer szintén részlegesen a Big Kollegen [Big kolléga] megfelelővel fordítja a Big fellow [Nagydarab fickó] szókapcsolatot, amely megoldás azt sugallhatja, hogy a szóban forgó egyének munkatársak, bár a kontextus világossá teszi, hogy a beszélő nem ismeri a másikat. Megfelelőbb lenne például a großer Kerl [nagydarab fickó] fordítás. Ezzel szemben a fenti megszólalás írott formában valahogyan így nézne ki:

Habár a 10 példában más problémák tűnnek fel – például a férfira való utalásnál a nőnemű die vonatkozó névmás használata a hímnemű der helyett, valamint egy hiányzó főige a vonatkozó mellékmondatban (csupán a gesehen szerepel a hat gesehen helyett) –, általánosságban jobban értelmezhető, mint a 9 példa.

Hasonlóképpen az angol you személyes névmás fordítható a német Sie (formális), du (informális egyes szám), ihr (informális többes szám) vagy a man (személytelen névmás) megfelelővel is, és a választás gyakran a makroszintű kontextustól függ (például annak az ismeretétől, hogy ki kivel beszél), amely nem könnyen következtethető ki egyszerűen csak a forrásszöveg alapján. Ezt láthatjuk a következő 11 példában is, ahol a német sie névmás megfelelője lehet ő és ők is, és a gépi fordítórendszer a rossz megoldást választja (habár ebben a mondatban a hat ige egyértelművé teszi, melyik jelentés a helyes):

4.1Minőségértékelés a gépi fordítás kutatásában

A kutatásokban a gépi fordítás minőségének értékelése csaknem mindig hivatásos fordítóktól és utószerkesztőktől különböző módokon kapott visszajelzéseken alapul. A jelenleg leggyakrabban alkalmazott értékelési formák a következők:

1. Az MT-kimenet automatikus értékelése az MT-kimenet és (professzionális) emberi referenciafordítások algoritmusokkal történő összehasonlítása alapján (pl. Papineni et al. 2002Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu 2002 “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311–318. http://​dl​.acm​.org​/citation​.cfm​?id​=1073083​&picked​=prox. Accessed December 22, 2015.; Banerjee és Lavie 2005Banerjee, Satanjeev, and Alon Lavie 2005 “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments.” In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, ed. by Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, 65–72. Michigan, MI: University of Michigan.). Ez a módszer gyors és megismételhető, valamint a korábbi eredmények felhasználásával képes az automatikus metrikák általi fejlődésre.

2. Az MT-kimenet automatikus értékelése emberi referenciafordítások nélkül, közismert nevén minőségbecslés (pl. Shah et al. 2013). Ennél a módszernél egy (emberek által készített fordításokon alapuló) betanított rendszerre van szükség, a minőségbecslő metrikák fejlesztéséhez pedig hivatásos fordítók által (korábbi alternatív fordításokhoz) készített rangsorolásokat és pontozásokat használnak.

3. A különböző rendszerekből származó MT-kimenetek rangsorolása emberi értékelők által. A rangsorolást például a természetesnyelv-feldolgozás (natural language processing, NLP) kutatói végzik a Workshop of Statistical Machine Translation (WMT) verseny néhány megosztott feladata során.1515. http://​www​.statmt​.org​/wmt15/ Avramidis és munkatársai (2012)Avramidis, Eleftherios, Aljoscha Burchardt, Christian, Federmann, Maja Popovićs, Cindy Tscherwinka, and David Vilar 2012 “Involving Language Professionals in the Evaluation of Machine Translation.” In Proceedings of LREC 2012, 1127–1130. http://​www​.lrec​-conf​.org​/proceedings​/lrec2012​/index​.html. Accessed December 12, 2015. egy olyan kutatásról számolnak be, ahol hivatásos fordítók végezték a rangsorolást. Ez a módszer információt nyújt az egyes rendszerek vagy rendszerváltozatok relatív teljesítményéről.

4. Az MT-kimenet utószerkesztése emberi értékelők által. Az utószerkesztést például az NLP kutatói végzik a WMT verseny néhány megosztott feladata során. Avramidis és munkatársai (2012)Avramidis, Eleftherios, Aljoscha Burchardt, Christian, Federmann, Maja Popovićs, Cindy Tscherwinka, and David Vilar 2012 “Involving Language Professionals in the Evaluation of Machine Translation.” In Proceedings of LREC 2012, 1127–1130. http://​www​.lrec​-conf​.org​/proceedings​/lrec2012​/index​.html. Accessed December 12, 2015. olyan tanulmányról számolnak be, ahol hivatásos fordítók végezték az utószerkesztést. Ezzel a módszerrel az utószerkesztés hatékonyságának különböző aspektusait lehet felmérni (idő, szerkesztések száma stb.), a megszerzett adatokat pedig feldolgozzák, többek között annak vizsgálatára, milyen típusú szerkesztések fordulnak elő leggyakrabban (pl. szórend, morfológia, beszúrás stb.).

5. Az MT-kimenet hibáinak annotációja emberi értékelők által (lásd pl. Vilar et al. 2006, ahol az annotációt az NLP kutatói végzik; Lommel és munkatársai 2014Lommel, Arle, Aljoscha Burchardt, and Hans Uszkoreit 2014 “Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics.” In Tradumàtica: tecnologies de la traducció 0 (12): 455–463.-es tanulmányában az annotációt hivatásos fordítók végezték.) Ezzel a módszerrel részletes hibaanalízis készíthető az MT-kimenetről, beleértve a pontosságot és gördülékenységet érintő specifikus hibákat is, a szórendet és a távolságot érintő problémák mellett. A kapott információ azután felhasználható a gépi fordítórendszerek fejlesztésére.

Mindezeket a módszereket a feliratozáshoz használt gépi fordítás esetében alkalmazták, és alkalmazzák továbbra is. Ahogyan korábban kifejtettük, nem feltétlenül könnyű audiovizuális anyagokat tartalmazó párhuzamos korpuszokhoz hozzájutni. Problémák merülnek fel a feliratok és a szinkronforgatókönyvek tulajdonjogával kapcsolatban, ami megnehezíti egy bármilyen méretű minőségi korpusz összeállítását, a cégek pedig vonakodnak anyagokat megosztani a kutatókkal. Ezért a gépi fordítás referenciafordítások használatával történő kiértékelése kihívást jelenthet. A SUMAT-projektben sikeresen alkalmazták a minőségbecslés módszerét, ahol előzőleg már annotált feliratokat használtak a rendszer betanítására, hogy az elkülönítse és kiselejtezze a rossz minőségű feliratokat; az utószerkesztőknek ehelyett csupán egy „FILT” szöveget tartalmazó mappát bocsátva rendelkezésükre (Etchegoyhen et al. 2014Etchegoyhen, Thierry, Lindsay Bywood, Mark Fishel, Panayota Georgakopoulou, Jie Jiang, Gerard van Loenhout, Arantza del Pozo, Mirjam Sepesy Maucec, Anja Turner, and Martin Volk 2014 “Machine Translation for Subtitling: A Large-Scale Evaluation.” In Proceedings of LREC 2014, 46–53. http://​www​.lrec​-conf​.org​/proceedings​/lrec2014​/index​.html. Accessed December 22, 2015.). Ebben a projektben a fentiekben ismertetett többi értékelési forma használatára is sor került, megvalósítva a feliratozáshoz alkalmazott gépi fordítás eddigi legkiterjedtebb értékelését. Azonban az audiovizuális fordítás esetében szembe kell nézni azzal a speciális problémával, hogy kevés olyan utószerkesztő akad, aki betáplálandó anyagot tudna szolgáltatni a szóban forgó metrikákhoz. Mivel a gépi fordítást nem használják gyakran az audiovizuális fordításhoz, hiány van olyan képzett utószerkesztőkből, akik audiovizuális szövegekkel tudnak dolgozni, habár képzési programok már fel-felbukkannak a láthatáron, és egy kutatás (De Sousa et al. 2011De Sousa, Sheila C. M., Wilker Aziz, and Lucia Specia 2011 “Assessing the Post-Editing Effort for Automatic and Semi-Automatic Translations of DVD Subtitles.” In Proceedings of the International Conference on Recent Advances in Natural Language Processing, ed. by Galia Angelova, Kalina Bontcheva, Ruslan Mitkov, and Nikolai Nikolov, 97–103. http://​www​.aclweb​.org​/anthology​/R11​-1014​.pdf. Accessed December 22, 2015.) bemutatta, hogy a gépi fordítás összevonása az emberi fordítók és utószerkesztők munkájával meglehetősen ígéretes módszer.

A fentebb leírt első két értékelő módszert egy bizonyos rendszer és nyelvpár összesített teljesítményének értékelésére és felbecslésére használják, gyakran egy-egy konkrét tárgykörre vonatkozóan, valamint különböző rendszerek összehasonlítására. Ezekbe a kategóriákba tartoznak az olyan automatikus értékelést végző metrikák, mint a BLEU-pontszámok (Papineni et al. 2002Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu 2002 “BLEU: A Method for Automatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 311–318. http://​dl​.acm​.org​/citation​.cfm​?id​=1073083​&picked​=prox. Accessed December 22, 2015.), az F-pontszámok (Popović 2011bPopović, Maja 2011b “Morphemes and POS Tags for N-gram Based Evaluation Metrics.” In Proceedings of the Sixth Workshop on Statistical Machine Translation, 104–107. file://​​/Users​/SRP​/Downloads​/ngrams​.pdf. Accessed December 22, 2015.), a METEOR, (Banerjee és Lavie 2005Banerjee, Satanjeev, and Alon Lavie 2005 “METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments.” In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, ed. by Jade Goldstein, Alon Lavie, Chin-Yew Lin, and Clare Voss, 65–72. Michigan, MI: University of Michigan.), a TER és más hasonló metrikák. Ezek a mérőeszközök használhatók a minőség egyes aspektusainak becslésére is. A professzionálisan lefordított referenciaanyag nélküli minőségbecslés egy viszonylag új és kihívást jelentő módszer a gépi fordítás értékelésének terén (pl. Shah et al. 2013). Az elképzelés nagyjából egy olyan rendszer felépítése, amely más módszereket (vagyis algoritmusokat, nyelvi eszközöket, tanítóadatokat stb.) használ a gépi fordítás kimenetének értékelésére, mint amilyeneket maga a gépi fordítómotor használt. A rendszereket különböző feladatok elvégzésére tervezték, például alternatív MT-kimenetek automatikus rangsorolására, illetve az utószerkesztéshez szükséges erőfeszítés vagy az adott MT-kimenet összességében vett minőségének felbecslésére. Ezeket a rendszereket általában emberek által létrehozott adatokkal tanítják be, többek között a rendszerek kimenetének korábbi, emberek által végzett rangsorolásainak, osztályozásainak segítségével. Továbbá az utószerkesztésekről is végeznek automatikus elemzést (lásd Popović 2011aPopović, Maja 2011a “Hjerson: An Open Source Tool for Automatic Error Classification of Machine Translation Output.” The Prague Bulletin of Mathematical Linguistics 96: 59–68. ), ami szintén információkkal szolgálhat.

A NERstar-eszközbe integrált NER-modell (Romero-Fresco és Martinez 2015Romero-Fresco, Pablo, and Juan Martínez Pérez 2015 “Accuracy Rate in Live Subtitling – the NER Model.” In Audiovisual Translation in a Global Context: Mapping an Ever-changing Landscape, ed. by Jorge Díaz Cintas, and Rocío Baños Pinero, 28–50. London: Palgrave Macmillan. http://​hdl​.handle​.net​/10142​/141892(draft). Accessed November 4, 2015. ) az egyik első kifejezetten audiovizuális fordításhoz készült metrika. Eredetileg nem a gépi fordítás értékelésére tervezték, hanem az eredetileg elhangzott szöveghez hasonlított újrabeszélt feliratok pontosságának felmérésére. A modell alkalmazása vonzó lehetőséget kínál, mivel csak kétféle hibát vesz figyelembe: az emberi újrabeszélő és a beszédet szöveggé alakító rendszer által elkövetett hibákat. Az adott hibák súlyosságát kiegészítő súlyok jelzik. Bár ez az eszköz remek jelölt a számítógéppel támogatott feliratozás mindennapi minőségbiztosításához, nem alkalmas arra, hogy a gépi fordítómotorok fejlesztése céljából mérje fel az MT-kimenet minőségét. Ehhez a gépi fordítás hibáinak aprólékosabb elemzésére van szükség.

4.2Multidimenzionális Minőségmetrika

Ígéretes módszer az audiovizuális fordítás hibáinak alapos elemzésére a szövegfordításoknál alkalmazott Multidimenzionális Minőségmetrika (Multidimensional Quality Metrics, MQM) keretrendszer (Lommel et al. 2014Lommel, Arle, Aljoscha Burchardt, and Hans Uszkoreit 2014 “Multidimensional Quality Metrics (MQM): A Framework for Declaring and Describing Translation Quality Metrics.” In Tradumàtica: tecnologies de la traducció 0 (12): 455–463.).1616. http://​www​.qt21​.eu​/launchpad​/content​/multidimensional​-quality​-metrics Az MQM-rendszer már meglévő, a fordítás minőségét mérő metrikák vizsgálatán alapul, és eredetileg az Európai Unió által támogatott QTLaunchPad projekt keretében fejlesztették ki azzal a céllal, hogy olyan megoldást kínáljon, amely objektívan írja le a fordítási hibákat, és amely elég rugalmas ahhoz, hogy speciális igényeket is figyelembe vegyen. Az MQM több mint 100, a fordítás minőségét érintő hibatípust tartalmaz, amelyek a fordított szövegekben előforduló konkrét problémák leírására használhatók. Ezek a hibatípusok hierarchikusan vannak felállítva, hogy különböző részletességi szinteket tegyenek lehetővé a szövegben előforduló problémák leírásánál.

Az első ábrán egy viszonylag bonyolult, a gépi fordítás hibáinak mélyreható elemzésére használható MQM-metrika látható. A félkövér dőlt betűvel jelölt hibák nem tartoznak az MQM alapvető hibatípusai közé, csupán egyénileg választható felhasználói bővítményül szolgálnak. Nem mondanak ellent az MQM rendszerének, mivel egyszerűen csak további részletességet biztosítanak az elemzéshez, és a fő hibatípusok altípusainak tekinthetők. Ebben az esetben kiegészítő információt nyújtanak a „funkciószavakkal”, például elöljárószavakkal, névelőkkel vagy segédigékkel kapcsolatban felmerülő problémákról. Ez a metrika nagy hangsúlyt fektet a nyelvtani jellemzőkre és a pontossággal kapcsolatos hibákra.

Ezzel szemben a második ábrán egy sokkal egyszerűbb metrika látható, amely alkalmas lehet az audiovizuális fordításhoz használt gépi fordítás értékelésére.

Ez a metrika általánosságban az audiovizuális (nem kizárólag gépi) fordítások értékelésére készült. Tartalmazza a Stílus kategóriáját (egy alapvető MQM-hibatípust), amely meglehetősen releváns az audiovizuális fordítást tekintve, ugyanakkor hiányzik belőle számos valószínűleg nem kifejezetten releváns kategória. Ebben a metrikában sokkal kisebb hangsúly helyeződik a Nyelvtan kategóriájára, és két egyéni hibatípust is tartalmaz:

1. Kontextuális hiba, kontextuálisan helytelen fordításokra.

2. Időzítés, olyan esetekre, amikor a fordítás rossz időben tűnik fel.

Amint látható, az MQM előnyei közé tartozik, hogy szabványosított szókészletet kínál a hibák leírására, valamint lehetővé teszi a felhasználók számára, hogy feladatspecifikus metrikákat hozzanak létre (például egy hírekhez készült feliratot értékelő metrika valószínűleg igencsak különbözni fog egy jogi fordítás értékelésére használt metrikától). Emellett az MQM-rendszer bővíthető is, hogy kiterjedjen fő szókészletben nem szereplő hibákra is. Az MQM integráltan használható a nyílt forráskódú translate5 1717. http://​www​.translate5​.net/ szerkesztőben, illetve továbbra is fejlesztik a QT21 projekt keretein belül. Az MQM jelenleg is zajló fejlesztésének célja, hogy a metrika további fordítástípusokra is kibővíthető legyen, többek között az audiovizuális fordításra is.