Estudio piloto y percepciones
sobre la introducción de la traducción automática
en el aula de subtitulación

Universitat de València

https://orcid.org/0000-0002-2955-5590

Abstract

Machine translation (MT) has gained in importance in the digital age and, despite sensitivities about the quality of the output it produces, many translation sectors are benefiting from its use (Sánchez Ramos & Rico Pérez, 2020). This is largely because it optimises the time and effort spent on the process. One discipline that has long been far removed from MT is audiovisual translation (AVT). However, in recent decades, MT and AVT have found common ground, especially in the area of subtitling (Mejías-Climent & de los Reyes Lozano, 2021). This article presents the findings of a teaching experience aimed at investigating the use of MT and post-editing (PE) in the subtitling classroom. The study involved 27 students enrolled in a course titled Specialised Translation 3 English–Spanish/Catalan towards a Degree in Translation and Interlinguistic Mediation at the Universitat de València (Spain). The students performed two translation tasks: one using different MT engines and PE; the other using PE without MT. The text chosen for translation was a documentary and the language combination was English–Spanish. The students measured the time spent on PE and human translation (HT) tasks, identified the errors generated by the different MT engines according to the subject’s subtitling evaluation criteria, and then, in written reports, reflected on the advantages and risks of using MT in subtitling. The findings indicated an improvement in productivity as measured by the time taken when PE was used compared to when HT was done from scratch, although the quality of the translated text was slightly higher when HT was employed. The students’ reflections also pointed to an improvement in their productivity when MT was used. However, they highlighted the difficulty of applying MT in subtitling due to the fact that it is an AVT mode with many technical conventions that are unfamiliar to MT engines. These conventions include the maximum number of characters per subtitle line, the maximum reading speed of the subtitles, and the synchronization of the subtitles with images and the characters’ speech. We conclude this article by expressing the belief that the advantages and disadvantages of MT and, above all, those of PE practice experienced in the training of future subtitlers should be explored further.

Keywords: Machine translation, MT, post-editing, PE, audiovisual translation, AVT, subtitling, translator training, experimental study

Resumen

La traducción automática (TA) ha adquirido una importancia extraordinaria en la era digital en la que vivimos y, pese a las susceptibilidades que genera la calidad que ofrece, son muchos los sectores de la traducción que se benefician de su empleo (Sánchez Ramos & Rico Pérez, 2020), ya que permite optimizar el proceso traductor en términos de tiempo y esfuerzo. Una disciplina que ha permanecido durante mucho tiempo alejada de la TA es la traducción audiovisual (TAV). No obstante, en las últimas décadas la TA y la TAV han encontrado espacios comunes, especialmente en el área de la subtitulación (Mejías-Climent & de los Reyes Lozano, 2021). En esta contribución se presentan los resultados de una experiencia docente en la que se buscó indagar en el terreno de la TA y la posedición (PE) en el aula de subtitulación. En ella participaron 27 estudiantes matriculados en la asignatura Traducción especializada 3 inglés-español/catalán del Grado en Traducción y Mediación Interlingüística de la Universitat de València (España), quienes realizaron dos tareas de traducción, una mediante TA y PE, usando distintos motores de TA, y otra sin usar la TA. El texto elegido para la traducción fue un documental y la combinación lingüística fue inglés-español. Los estudiantes midieron el tiempo empleado en las tareas de PE y de traducción humana (TH), evaluaron los errores generados por los distintos motores de TA según el baremo de corrección de subtitulaciones de la asignatura y reflexionaron sobre las ventajas y los riesgos del empleo de la TA en subtitulación a través de informes escritos. Los resultados de este estudio de caso mostraron una mejora de la productividad en términos de tiempo cuando se utilizó la PE frente a cuando se hizo una TH desde cero, si bien es cierto que la calidad del texto traducido fue ligeramente superior con TH. Las reflexiones de los alumnos también apuntaron hacia una mejora de la productividad cuando se empleó la TA, aunque pusieron de manifiesto la dificultad de aplicar la TA en subtitulación, debido a que se trata de una modalidad de TAV con muchas convenciones técnicas (como las relativas al número máximo de caracteres por línea de subtítulo, la velocidad de lectura máxima de los subtítulos o la sincronización de los subtítulos con la imagen y los diálogos de los personajes) que los motores de TA desconocen. No obstante, consideramos que cabría seguir explorando las ventajas y desventajas de la TA y, sobre todo, de la práctica de la PE en la formación de futuros subtituladores.

Palabras clave: Traducción automática (TA), posedición (PE), traducción audiovisual (AVT), subtitulación, formación de traductores, estudio experimental

1. Introducción

La traducción automática (TA) se podría definir como “la aplicación de la tecnología informática a la traducción de textos de una lengua a otra sin intervención humana” (Sánchez Ramos & Rico Pérez, 2020, p. 1). Sus objetivos principales son conseguir que la TA alcance una calidad lo más similar posible a la traducción realizada por un traductor humano experto, así como reducir el tiempo y el esfuerzo invertidos en su producción. Cumplir estos objetivos a través de la automatización de la traducción ha sido, en palabras de Hutchins y Somers (1992), “one of humanity’s oldest dreams” (p. 1). Este sueño ha hecho posible que, desde su origen en la década de 1950, la TA mejore constantemente gracias, entre otros factores, al uso y la evolución de distintos métodos de TA. Tal y como describe Garcés Díaz-Munío (2020), el primero de estos métodos fue la TA basada en reglas (que consiste en la codificación de reglas lingüísticas para la traducción a partir del conocimiento de expertos), que dio paso a la TA estadística (basada en el aprendizaje automático y el cálculo de probabilidades de traducción a partir de corpus de textos multilingües). Dentro de la TA estadística, primero se empleó la TA basada en frases, mientras que, desde mediados de 2010, se han empleado métodos de TA basados en redes neuronales artificiales, que son los que están ofreciendo mejores resultados actualmente. Para garantizar el nivel de calidad exigido y su aplicación en distintos grados en función del uso final que se le vaya a dar (Aranberri, 2014), el texto traducido automáticamente suele pasar por un proceso posterior denominado posedición (PE), consistente en su corrección por parte de un profesional experto (TAUS, 2012).

Aproximadamente desde la década de 1990, el cambio que se ha producido en los procesos de traducción ha sido radical. Los traductores, que antes trabajaban con diccionarios, enciclopedias o glosarios como principales recursos de ayuda, han pasado a tener a su alcance multitud de herramientas de traducción complejas, como los sistemas de extracción terminológica, los programas de traducción asistida por ordenador (TAO) o los motores de TA, entre otros. La TA ha adquirido una enorme importancia en los tiempos que corren y las empresas de traducción ya integran la TA como recurso imprescindible en contextos profesionales (Koponen, 2016). Los datos recabados en la European Language Industry Survey (ELIS) (Comisión Europea, Dirección General de Traducción [DGT], 2022), confirman que los principales agentes del sector emplean la TA en más del 20 % de sus proyectos de traducción (DGT, 2022), un porcentaje en absoluto desdeñable si tenemos en cuenta que la industria generó en 2022 un volumen de trabajo a nivel mundial equivalente a 57,7 mil millones de dólares estadounidenses, el doble con respecto a 2009 (Statista Research Department, 2022). En el caso concreto de España, un estudio que también ha confirmado esta tendencia en 2022 es el proyecto DITAPE (financiado por la Generalitat Valenciana y desarrollado entre 2021 y 2022), que a través de una encuesta a 68 traductores autónomos y a 50 agencias de traducción del país encontró que los proyectos de TA, PE y revisión de PE representaban el 25,6 % de los ingresos anuales de los traductores y el 31,5 % de los ingresos anuales de las empresas (Martínez Carrasco, en prensa).

Una disciplina que ha permanecido durante mucho tiempo alejada de la TA por su carácter creativo y por las restricciones inherentes a ella, principalmente de tipo formal y semiótico (Martí Ferriol, 2010), es la traducción audiovisual (TAV). En los últimos tiempos, los proveedores de servicios lingüísticos han debido dar respuesta a una demanda de traducciones de textos audiovisuales sin precedentes, fundamentalmente derivada del incremento de la oferta de producciones audiovisuales por parte de plataformas de reproducción por streaming, la petición del público de tenerlas traducidas a su idioma en el menor tiempo posible y la lucha contra la piratería. Los reducidos plazos de entrega y la búsqueda de soluciones que agilicen el trabajo de los traductores (Bywood et al., 2017) han llevado a muchas empresas a emplear la PE de subtitulaciones automáticas, una práctica cada vez más extendida, pero no exenta de polémica (como demuestra la controversia que se generó en España a raíz de la subtitulación automática y PE de la serie de Netflix El juego del calamar [Llanos Martínez, 2021]).

En el ámbito de la investigación, esta intersección entre la TA y la subtitulación se produjo hace un par de décadas, a partir de varios proyectos de investigación que diseñaron y pusieron en práctica motores de TA para la optimización del proceso de subtitulación (Athanasiadi, 2016). Tres de los proyectos más importantes en esta área, que se explicarán con mayor detalle en el epígrafe 2.2, son los proyectos MUSA, eTITLE y SUMAT. La producción científica dedicada a la TAV y a la TA es incipiente, y entre los estudios más importantes que se han realizado hasta la fecha en subtitulación y TA, Díaz Cintas y Remael (2021) mencionanaquellos que se centran en los retos generales que plantea la TA en subtitulación (Bywood et al., 2017), en la calidad de la TA en subtitulación (Armstrong et al., 2006; Burchardt et al., 2016; Popowich et al., 2000), en el papel de la PE (De Sousa et al., 2011; Georgakopoulou & Bywood, 2014) y en la posible mayor productividad de los subtituladores que emplean la TA frente a los que no la usan (Volk, 2008; Volk et al., 2010).

En vista de la reciente incursión de la TA en el sector profesional e investigador de la subtitulación, resulta indispensable estudiar a fondo el papel que la TA puede tener como instrumento en la formación de futuros subtituladores. En este sentido, en la Universitat de València (España) surge una iniciativa docente: el proyecto de innovación educativa POSEDITrad, desarrollado entre 2019 y 2021, cuyo objetivo fue explorar las posibilidades didácticas de la TA en distintas asignaturas de traducción del Grado en Traducción y Mediación Interlingüística. Como parte del proyecto, y con la intención de explorar el uso de la TA y la PE en el aula de subtitulación, así como de hacer conscientes a los estudiantes de sus beneficios y limitaciones, se realizó la experiencia de innovación docente que presentamos en este artículo.

En el presente trabajo, en primer lugar, abordamos el impacto que ha tenido la TA en la subtitulación desde el punto de vista técnico, lingüístico y profesional; revisamos brevemente algunos de los principales proyectos e iniciativas de investigación sobre TA y subtitulación que se han llevado a cabo hasta la fecha, y ofrecemos algunas pinceladas del papel que desempeña actualmente la TA en la formación de traductores, en general, y de subtituladores, en particular. En segundo lugar, en la parte más práctica del trabajo, describimos la experimentación desarrollada en el aula de subtitulación y exponemos sus resultados cuantitativos y cualitativos. Por último, este capítulo cierra con unas conclusiones sobre el estudio realizado.

2. TA y subtitulación

2.1. El impacto de la TA en subtitulación

En las últimas décadas, tal y como señala Díaz Cintas (2015), el impacto de la tecnología ha sido muy evidente en la dimensión técnica de la práctica subtituladora. Hemos asistido, por ejemplo, al nacimiento de los sistemas de reconocimiento automático del habla (conocidos como ASR, del inglés Automatic Speech Recognition) para realizar la subtitulación de programas en directo mediante rehablado o para la transcripción de diálogos en un texto audiovisual; o la inclusión, en los editores de subtítulos, de la onda de sonido o la detección automática de cambios de plano para facilitar el pautado, entre otros muchos avances. Los últimos desarrollos tecnológicos van un paso más allá y proponen soluciones que integran la TA en los editores de subtítulos y ofrecen pautado y segmentación automáticos, entre otras funciones. A día de hoy, existen numerosos programas de subtítulos (como Ooona, Subtitle Edit o Matesub) que integran herramientas de TA, así como herramientas TAO (como SDL Trados Studio) que incorporan complementos o plugins que permiten traducir subtítulos. Hablaremos de estos programas con más detalle en el siguiente epígrafe.

No obstante, pese a estos avances en el sector, aún existe recelo a la hora de emplear la TA en subtitulación. Uno de los principales motivos para rechazar su empleo ha sido y es que, en muchas ocasiones, esta actividad se lleva a cabo con textos de ficción, donde la creatividad del traductor desempeña un papel clave. Sin embargo, este argumento es fácil de rebatir, ya que no es menos cierto que también se subtitulan textos audiovisuales de no ficción (como muchos documentales, vídeos corporativos y educativos), en los que la función del lenguaje es denotativa y en los que predomina el léxico especializado. Tampoco debemos olvidar que determinados vídeos que precisan traducción pueden ser para uso interno de la empresa o el cliente y, por tanto, quizá la calidad lingüística y técnica o el nivel de creatividad no sean prioritarios. En estos casos en particular es donde las herramientas de TA y de TAO podrían resultar de más ayuda para los subtituladores. Por ello, y aunque aún queda mucho camino por recorrer para mejorar la calidad lingüística y técnica de los subtítulos automáticos, consideramos que la TA tiene mucho futuro en el terreno de la subtitulación, particularmente ante textos audiovisuales en los que predomine la función del lenguaje denotativa.

Cuestión aparte es el tema de las tarifas, también motivo de polémica y rechazo de la TA, ya que, a medida que mejoran los sistemas de TA, el precio que se paga a los traductores por la PE se reduce (Akhulkova et al., 2021). No obstante, y pese a que la PE se paga a un precio inferior a la tarifa de traducción estándar, esta suele ser superior a la tarifa de revisión (Inglada Florensa, 2021), ya que se entiende que la PE requiere más tiempo y esfuerzo que una revisión, pero menos que traducción, y permite alcanzar un mayor volumen de palabras al día. De cualquier manera, tal y como apuntan Cabañes y Parra López (2022), se requieren más estudios que demuestren el aumento de la productividad para los poseditores que trabajan en el ámbito audiovisual, así como el impacto de esta forma de trabajo en la calidad del producto que se ofrece al espectador.

A continuación, pasamos a abordar algunos de los principales proyectos e iniciativas de investigación que se han llevado a cabo hasta la fecha en el terreno de la TA y la subtitulación, lo que nos permitirá conocer mejor los inicios y la situación actual de la investigación en este ámbito en concreto.

2.2. Subtitulación y TA: proyectos e iniciativas previos

Como mencionábamos en la introducción de este trabajo, en las últimas dos décadas se han desarrollado varios proyectos importantes que han combinado la subtitulación con la TA y han explorado la optimización del proceso de traducción. Dos proyectos pioneros en este ámbito fueron MUSA (MUltilingual Subtitling of multimedia content, 2002–2005, http://sifnos.ilsp.gr/musa) e eTITLE (2004–2006, https://cordis.europa.eu/project/id/22160), que crearon sistemas que incorporaban software de reconocimiento automático del habla para convertir el audio de un vídeo en una transcripción; sistemas de análisis y condensación de frases para generar subtítulos a partir de la transcripción, y motores de traducción multilingüe para traducir los subtítulos a otras lenguas mediante la combinación de TA estadística, memorias de traducción y sistemas de sustitución terminológica. A pesar de las grandes expectativas que generaron estos proyectos, tal y como apunta Díaz Cintas (2015), ambos fracasaron en la consecución de sus metas al apostar demasiado por el componente técnico y demasiado poco por el lingüístico. De cualquier modo, es justo reconocer su enorme valor, ya que demostraron que era posible crear la infraestructura de un sistema de subtitulación automática multilingüe.

El tercer gran proyecto fue SUMAT (SUbtitling by Machine Translation, http://www.fp7-sumat-project.eu/about-us/index.html), desarrollado entre 2011 y 2014, que buscaba mejorar la eficiencia de la labor profesional de la subtitulación a través de la creación de un sistema de subtitulación en línea que emplease la TA estadística basada en frases (a diferencia de los dos anteriores, que empleaban la TA basada en reglas), pero también aumentar la calidad de las traducciones. En él participaron diferentes empresas de subtitulación y socios técnicos, que aportaron tanto el componente humano para la evaluación como el material para entrenar el motor automático estadístico (Bywood et al., 2017). Todos los subtítulos generados mediante TA en el seno del proyecto se evaluaron con métricas automáticas y manuales (aplicadas por traductores profesionales). Los resultados del estudio mostraron que, aunque la impresión global de los traductores sobre la calidad de los subtítulos era bastante negativa (del Pozo, 2014), su evaluación indicaba que el 56,79 % de los subtítulos que habían analizado podían publicarse con poca o ninguna PE (Bywood et al., 2017). De cualquier forma, los resultados del proyecto no fueron los esperados, pero sería interesante realizar más investigaciones de este tipo en la actualidad para clarificar qué papel puede tener la TA estadística basada en redes neuronales en la subtitulación.

En el ámbito de la educación también encontramos proyectos que vinculan la TA y la subtitulación. Uno de ellos fue el pionero transLectures (https://www.mllp.upv.es/projects/translectures/), liderado por la Universitat Politècnica de València y desarrollado entre 2012 y 2014. Este proyecto tuvo como objetivo desarrollar tecnologías innovadoras y económicas para la transcripción y traducción intra e interlingüística de vídeos pedagógicos. Su actuación se concretó en la creación de la transLectures-UPV Platform (TLP), un software de código abierto que permite integrar tecnologías de transcripción, traducción y síntesis del discurso en grandes repositorios de vídeos, plataformas de cursos online masivos en abierto o MOOC (por sus siglas en inglés) o páginas web.

Al término de transLectures, el proyecto europeo EMMA (European Multiple MOOC aggregator, 2014–2016, https://project.europeanmoocs.eu/about/) continuó trabajando en esta tecnología y permitió la introducción de más lenguas y la mejora de las traducciones, en parte, gracias a la inclusión de un corpus que contenía temáticas generales y específicas de los MOOC disponibles. Más recientemente, la Universitat Politècnica de València ha creado la plataforma comercial MLLP transcription and translation platform (https://www.mllp.upv.es/transcription-and-translation-platform/) para la transcripción y traducción de MOOC. Como novedad, esta plataforma abarca hasta diez lenguas europeas e incluye un sistema de síntesis vocal para generar audiosubtítulos en varios idiomas y una opción de transcripción simultánea de discurso en directo mediante un sistema speech-to-text.

Otro proyecto educativo fue TraMOOC (Translation for Massive Open Online Courses, https://cordis.europa.eu/project/id/644333/es), vigente entre 2015 y 2018, que constituyó el primer servicio de traducción gratuito y abierto que empleaba un sistema de TA neuronal para traducir contenido educativo de la plataforma MOOC de universidades europeas (Iversity), y de videolectures.net (una biblioteca digital de clases en vídeo).

Por otra parte, desde el sector privado, gigantes de Internet como Amazon, Apple, Google, Facebook o Microsoft también han desarrollado importantes proyectos en el terreno del reconocimiento del habla y de la TA neuronal. En el campo de la subtitulación, Google ofrece, por ejemplo, un sistema de reconocimiento automático del habla para su integración en aplicaciones a través de la herramienta Cloud Speech-to-Text, así como un sistema de subtitulación automática intra e interlingüística para los vídeos subidos a Youtube. Por su parte, Microsoft también cuenta con un sistema de reconocimiento automático del habla y con otro de TA que se pueden integrar en aplicaciones a través de su herramienta Speech Translator API.

En el ámbito concreto de los editores de subtítulos, como mencionábamos en la introducción, cada vez son más los programas que están integrando la TA. Entre otros, podemos citar el software Ooona, que cuenta con los sistemas de Amazon y de AppTek, o Subtitle Edit, que permite trabajar con los motores de Google y de Microsoft. E incluso, otros como Omniscien o Matesub, que contienen sistemas ASR para transcribir el audio y crear automáticamente subtítulos que posteriormente se pueden traducir mediante TA, y que además incorporan otras funciones de subtitulación aumentada como la detección automática de cambios de plano y el pautado y la segmentación automáticos. Además, muchas herramientas TAO incorporan complementos o plugins que permiten traducir subtítulos; un ejemplo de ello es SDL Trados Studio, a través de su complemento Trados Studio Subtitling, que posibilita importar archivos de subtítulos en distintos formatos y traducirlos en un entorno muy similar al de un editor de subtítulos con la ayuda de memorias de traducción, glosarios y TA.

En este epígrafe hemos visto una muestra de los esfuerzos que se han hecho en los últimos años para conseguir resultados más fructíferos en la automatización de los procesos de subtitulación. Resulta evidente que, pese a estos esfuerzos, aún queda camino por recorrer, pero es innegable que la TA es una tecnología que ha llegado para quedarse y que la industria no va a cesar en su empeño de que la TA funcione cada vez mejor en el ámbito de la subtitulación. En este sentido, la formación de subtituladores no puede dar la espalda a una herramienta que ya está presente en el sector y cuyo uso se incrementará en el futuro; es imprescindible ofrecer a los futuros subtituladores una formación completa e integradora que incluya el dominio de las tecnologías de la traducción y, en particular, de la TA. Dedicamos el siguiente epígrafe a abordar el papel de la TA en la formación de traductores, en general, y de subtituladores, en particular.

3. El papel de la TA en la formación de subtituladores

En la línea que señalábamos anteriormente de dotar a los futuros profesionales del perfil tecnológico que el sector demanda, documentos referenciales para el diseño de títulos de grado y posgrado en España y Europa, como el Libro Blanco de Traducción en España (Muñoz Raya, 2004) y el marco de competencias de la red European Master’s in Translation (EMT), sugieren una serie de competencias tecnológicas que los estudiantes deberían desarrollar en su formación. Concretamente, el Libro Blanco establece que la formación debería posibilitar que los alumnos conozcan el proceso real de la traducción, alcancen la excelencia en el manejo de las herramientas de apoyo a la traducción y dominen las técnicas de traducción asistida (Muñoz Raya, 2004). Por su parte, la EMT apunta, entre otros requisitos de tipo tecnológico, que el alumnado debería: ser capaz de utilizar las aplicaciones y herramientas TIC más importantes y adaptarse a las nuevas herramientas que vayan surgiendo; tener un conocimiento básico de la TA y de su impacto en el proceso traductor, y evaluar la pertinencia de los sistemas de TA en el flujo de proceso e implementar el sistema de TA adecuado cuando sea pertinente (EMT, 2017). Asimismo, expertos en didáctica de la traducción, como Hurtado Albir (2019), señalan la necesidad de formar a los futuros traductores en el uso eficaz de herramientas TAO y de TA y PE, entre otras, como uno de los desafíos curriculares más importantes en la actualidad. Consideramos que estas recomendaciones generales aplican de igual modo en el caso de la subtitulación, al ser esta una actividad con un elevado componente tecnológico en la que el uso de la TA está cada vez más extendido.

La formación en PE está cada vez más presente en las universidades en la actualidad, principalmente como parte de asignaturas de tecnologías de la traducción y traducción técnica o, de modo transversal, en otras asignaturas de los últimos cursos de sus titulaciones (Guerberof Arenas & Moorkens, 2019). En el ámbito concreto de la TAV, apenas encontramos, en la bibliografía existente, experiencias en las que se haya empleado en la TA en la formación. Un par de ejemplos de estas escasas experiencias educativas son la llevada a cabo por Mejías-Climent y de los Reyes Lozano (2021), centrada en la introducción de la TA y la PE en el aula de doblaje, y la que presentan Bolaños García-Escribano y Díaz-Cintas (2023) en este mismo volumen, centrada en la subtitulación y con un enfoque similar al de nuestra propuesta. Sin embargo, según datos del proyecto DITAPE (Cerezo Merchán & Artusi, 2023), en el que se realizó una encuesta a 19 profesores de TAV (que formaban parte de un grupo muestral de 74 profesores de Traducción e Interpretación en España), los docentes de TAV en España son conscientes del cambio de paradigma que está teniendo lugar en el sector profesional en la actualidad gracias a la implementación de estas tecnologías, ya que más del 60 % estiman que la TA y la PE deberían cobrar bastante o mucha importancia en la formación de traductores y algo más del 40 % integran hoy en día la TA en el aula de TAV, principalmente a través de tareas de PE y de evaluación manual o automática de la TA.

Tras haber abordado brevemente el papel de la TA en la formación de subtituladores, pasamos a continuación a presentar el proyecto de innovación educativa POSEDITrad y nuestra propuesta didáctica en el aula de subtitulación.

4. El proyecto POSEDITrad y nuestra propuesta didáctica

4.1. POSEDITrad

POSEDITrad (ref. UV-SFPIE_PID19-1096107) fue un proyecto de innovación educativa financiado por la Universitat de València y desarrollado entre 2019 y 2021. Tal y como recogen González Pastor y Rico (2021), este proyecto se planteó:

[...] con la finalidad de concienciar al alumnado universitario de traducción de la Universitat de València sobre la necesidad de mantener el mayor grado posible de control sobre los procesos de traducción de los encargos de los que formarán parte en los que la TA y la PE estén presentes. (p. 5)

De estas palabras se desprende la necesidad de que el alumnado desarrolle competencias instrumentales, pero también de que tenga un espíritu crítico ante el uso de esta tecnología. Es decir, que conozca cómo funcionan los motores de TA, qué aciertos y errores ofrecen, y cómo se realiza una PE, pero que también sea capaz de reflexionar sobre las preocupaciones que genera el uso de la TA y sus usos profesionales (confidencialidad, calidad del texto traducido por la máquina, esfuerzo para llevar a cabo la PE y dimensión emocional que acompaña a esta tarea[i], tarifas y condiciones de trabajo, etc.).

El proyecto se implementó en cuatro asignaturas del Grado en Traducción y Mediación Interlingüística de la Universitat de València. Dos de estas asignaturas eran de carácter introductorio: Traducción general 1 (inglés>español/catalán) y Traducción inversa 1 (español/catalán>inglés). Las dos restantes se centraban en la traducción de textos científico-técnicos (Traducción especializada 2 inglés>español/catalán) y de textos audiovisuales y literarios (Traducción especializada 3 inglés>español/catalán). En cuanto a las actividades planteadas en las asignaturas, con el fin de que la innovación no interfiriera en el proceso de desarrollo de competencias y técnicas básicas de traducción humana (TH), en las dos asignaturas de naturaleza introductoria (de segundo curso de carrera), las tareas se centraron en la identificación, análisis, comparación y reflexión sobre las herramientas de TA y su manejo básico. Por el contrario, en las dos asignaturas de traducción especializada (de tercer y cuarto curso de carrera) se diseñaron tareas que simularan la práctica habitual de la profesión, y se integraron actividades de PE, evaluación automática o manual de la calidad de la TA y debates sobre cuestiones éticas y profesionales (González Pastor & Rico, 2021).

4.2. Nuestra propuesta didáctica: introducción de la TA en el aula de subtitulación

4.2.1. Descripción de la propuesta pedagógica y objetivos

Nuestra acción docente se desarrolló en la asignatura Traducción especializada 3 inglés>español/catalán, de cuarto curso del Grado en Traducción y Mediación Interlingüística, y se materializó en un proyecto final de asignatura titulado “Subtitulación, traducción automática y posedición”. En él participaron 27 alumnos, todos con el español como lengua materna y el inglés como primera lengua extranjera, y con formación universitaria previa tanto en subtitulación como en PE. Distribuimos a los estudiantes en nueve grupos de tres miembros, ya que queríamos que los estudiantes compararan el funcionamiento de tres motores de TA distintos en pequeños grupos.

Los objetivos generales de nuestra propuesta fueron:

• Saber emplear los recursos informáticos propios de la traducción profesional, especialmente los relativos a motores de TA y herramientas de PE, al servicio de la tarea de subtitulación.

• Ser conscientes de que la TA es una herramienta más que pueden emplear en su labor como subtituladores.

• Desarrollar una visión crítica acerca del uso de la TA y la PE en subtitulación.

También contamos con los siguientes tres objetivos específicos:

• Comparar el funcionamiento de tres de los motores de TA neuronal de acceso gratuito más conocidos en la actualidad (Google Translate, DeepL y Microsoft Translator[ii]).

• Reflexionar sobre la productividad y el esfuerzo de utilizar la TA y la PE frente a la TH.

• Reflexionar sobre el funcionamiento de la TA y la PE en subtitulación.

En nuestra acción docente nos decantamos por trabajar con un género de no ficción. Concretamente, con el documental divulgativo Super Size me (Spurlock, 2004), cuya función principal del lenguaje es la divulgativa, aunque también esté presente, en menor medida, la expresiva, y en el que se incluye léxico semiespecializado. El alumnado trabajó con una plantilla del DVD del documental que contenía los primeros 54 subtítulos en inglés, correspondientes a las dos primeras escenas y a los tres primeros minutos, ya con sus tiempos de entrada y salida establecidos, de manera que no tuvieran que hacer el pautado y se centrasen en la PE y la traducción.

4.2.2. Tareas

El trabajo se dividió en tres tareas principales:

1) En la primera tarea, cada alumno del grupo trabajaba con una traducción distinta del inglés al español de los 27 primeros subtítulos del documental. Cada una de estas traducciones había sido generada previamente por un motor de TA distinto (DeepL, Microsoft Translator o Google Translator). Los alumnos debían realizar una PE completa de la traducción que les correspondía y medir el tiempo invertido en la PE. A continuación, debían traducir sin ningún motor de TA los siguientes 27 subtítulos y calcular también el tiempo invertido en dicha tarea.

2) En la segunda tarea, los estudiantes debían cuantificar el número y el tipo de errores que habían encontrado y corregido en la tarea de PE de los primeros 27 subtítulos del documental. Para ello, se les pidió que crearan una tabla con los subtítulos originales, los traducidos por el motor de TA y los poseditados, y que utilizaran la clasificación de errores de traducción del baremo de corrección de subtitulaciones de clase (inédito) para identificar dichos errores[iii]. Con ello se pretendía, fundamentalmente, que reflexionaran sobre la calidad de la traducción dada por su motor de TA y que conocieran mejor cómo funcionan los motores, qué errores generan y cómo solucionarlos, lo que resulta crucial de cara a mejorar la productividad en tareas de PE.

La clasificación de errores empleada se basa, por una parte, en el baremo de corrección de traducciones de textos escritos de la Universitat Jaume I (publicado en Íñiguez Rodríguez, 2017)[iv] y, por otra, en el baremo inédito para la subtitulación interlingüística del grupo de investigación TRAMA (Traducción para los medios audiovisuales y accesibilidad), de la Universitat Jaume I. La clasificación propuesta tiene en consideración cuatro pilares básicos de errores referentes a: 1) formulación del sentido del original, 2) redacción en lengua meta, 3) nivel comunicativo global del texto traducido y 4) parámetros técnicos y convenciones específicas de subtitulación.

En cuanto a errores de formulación de los tres primeros tipos (basada en el baremo de corrección de traducciones de textos escritos de la Universitat Jaume I), la clasificación de posibles errores incluye los siguientes:

Tabla 1

Clasificación de errores que afectan al sentido del original, a la expresión en lengua meta y al nivel comunicativo global del texto traducido (basada en el baremo de correcciones de la Universitat Jaume I)

1) Errores que afectan al sentido del texto original
Abreviatura	Tipos de error
NMS	No Mismo Sentido Ambigüedad, error dentro del mismo campo semántico.
FS	Falso Sentido No dice lo mismo que el original por desconocimiento lingüístico o extralingüístico.
SS	Sin Sentido Incomprensible, falta de claridad, comprensión deficiente.
CS	Contrasentido Dice lo contrario que el original por desconocimiento lingüístico o extralingüístico
DIAL	Dialecto Geográfico, temporal, social, estándar, idiolecto.
REG	Registro Campo, modo, tenor.
PRA	Pragmático Intencionalidad, ironía, inferencia, presuposiciones, actos ilocutivos.
SEM	Semiótico Microsignos: alusiones extralingüísticas no solucionadas, referencias o implícitos culturales. Macrosignos: géneros y discursos, referencias intertextuales.
2) Errores que afectan a la expresión en lengua meta
Abreviatura	Tipos de error
ORT	Ortográfico Faltas de ortografía
LEX	Léxico Barbarismos, usos inadecuados y poco precisos, elección de léxico erróneo.
GR	Gramática Errores sintácticos y morfológicos.
TEX	Textual Incoherencia, falta de lógica, mal encadenamiento discursivo, uso inadecuado de conectores.
EST	Estilo Falta de eufonía, estilo pesado, telegráfico, pleonasmos, repeticiones innecesarias, estilo pobre, falta de riqueza expresiva.
3) Errores que afectan al nivel comunicativo global del texto traducido
Abreviatura	Tipo de error
NFT	Inadecuación a la función textual prioritaria del texto original.
NFTR	Inadecuación a la función de la traducción.

Por lo que respecta a los errores sobre parámetros técnicos y convenciones específicas de subtitulación (proveniente del baremo del grupo TRAMA), el baremo incluye los que siguen[v]:

Tabla 2

Clasificación de errores relativos a parámetros técnicos y convenciones específicas de la subtitulación interlingüística (basada en el baremo para la corrección de subtitulaciones interlingüísticas del grupo de investigación TRAMA)

4) Errores relativos a parámetros técnicos y convenciones específicas de la subtitulación interlingüística
Abreviatura	Tipos de error
TIP	Tipográfico Error en el uso de los criterios tipográficos de la subtitulación.
P	Pautado No correspondencia entre tiempo en pantalla y caracteres del subtítulo. Mala sincronía con la imagen. Subtítulo inferior a 1 segundo o superior a 6.
F	Formato Error en el corte de línea o de subtítulo. Error en el formato de presentación del texto (espacios de más, signos innecesarios, línea superior al n.º de caracteres indicado en el encargo).
VEL	Velocidad de lectura Velocidad de lectura superior a la especificada en el encargo.

3) En la tercera tarea, los estudiantes debían hacer las siguientes actividades:

a) Individualmente, cada estudiante redactaba un informe de unas 300 palabras sobre:

· El número y tipo de errores localizados en la traducción de los 27 primeros subtítulos dada por su motor de TA, así como sobre el tiempo y el esfuerzo subjetivo invertidos en la PE de esos subtítulos.

· El tiempo y esfuerzo subjetivo invertidos en la traducción desde cero (es decir, sin ningún motor de TA) de los siguientes 27 subtítulos del documental.

b) A continuación, cada alumno compartía esta información con sus otros dos compañeros de grupo. Seguidamente, debían decidir cuál de los tres motores de TA había funcionado mejor y por qué.

c) Por último, también de manera conjunta, debían escribir una reflexión final de unas 300 palabras sobre el trabajo y sobre el uso de la TA y la PE en subtitulación que respondiera, al menos, a las siguientes dos cuestiones: 1) ¿Qué hemos aprendido en este trabajo? y 2) ¿Cuáles podrían ser las principales ventajas y desventajas del empleo de la TA en subtitulación?

4.2.3. Resultados cuantitativos

1) Tiempo medio en la realización de la tarea: PE frente a TH

El análisis de los datos de los 27 estudiantes reveló que el tiempo medio de PE de los primeros 27 subtítulos fue de 18,58 minutos (18 minutos y 35 segundos) y que el de TH fue de 36,14 (36 minutos y 8 segundos) (véase Gráfico 1). Esto quiere decir que en aproximadamente el 50 % del tiempo de la TH, los estudiantes ya tenían el resultado a partir de la PE.

Gráfico 1

Tiempo medio en PE y TH

2) Calidad de los subtítulos entregados: PE frente a TH

A simple vista, en el Gráfico 1 podemos apreciar que los estudiantes estaban mejorando mucho la productividad al trabajar a partir de la traducción de un motor de TA. A raíz de ello, cabía preguntarse si la calidad de los subtítulos poseditados y los traducidos desde cero era la misma, por lo que la profesora de la asignatura corrigió con nota todas las tareas de los alumnos y se apreció que la calidad era muy similar (9,05 en PE frente a 8,90 en TH, sobre 10), como podemos ver en el Gráfico 2. Además, aunque con TH se alcanzaron niveles de calidad ligeramente más elevados, la PE les permitió alcanzar unos niveles de calidad promedio más estables (ya que había menos varianza de valores). De estos resultados se desprende también la necesidad de formar a los alumnos en técnicas de PE que les permitan identificar aquellos errores que casi todos pasaron por alto.

Como se ha mencionado anteriormente, las traducciones se corrigieron con un baremo adaptado del grupo TRAMA, asignando una puntuación determinada a cada tipo de error. Este baremo incluye, en su versión extendida, un margen para puntos extra por soluciones especialmente buenas o creativas. En este caso concreto, al trabajar con un documental de no ficción con lenguaje esencialmente denotativo, no hubo lugar para premiar soluciones especialmente creativas.

Gráfico 2

Calidad de los subtítulos: PE frente a TH

Para averiguar si las diferencias en los valores de las calificaciones obtenidas mediante PE y TH eran significativas se realizó un tipo de análisis de varianza (ANOVA) denominado F-test. La diferencia de ambas poblaciones (en este caso, PE y TH) se muestra visualmente en el boxplot que tenemos en el Gráfico 2. Para hallar la significatividad se calculó del p-valor y se obtuvo un resultado de 0,00663731, un valor considerado significativo. Por tanto, podemos afirmar que las diferencias de notas en las tareas de PE y TH fueron significativas.

3) Tiempo invertido en PE según motor de TA y mejor motor

En los gráficos 3 y 4 podemos observar que la traducción arrojada por Google fue la que más tiempo de PE exigió a los estudiantes (22,56 minutos, es decir, 22 minutos y 34 segundos), seguida de cerca por la de Deep L (18,67 minutos o 18 minutos y 40 segundos). La traducción generada por Microsoft fue la que registró tiempos inferiores en el proceso de PE (15,22 minutos o 15 minutos y 13 segundos). Sin embargo, cuando se les preguntó qué motor consideraban mejor, la mayoría de los estudiantes (el 67 %) afirmó este era Deep L, ya que su traducción contenía menos errores que las traducciones generadas por los otros dos sistemas de TA.

Gráfico 3

Tiempo medio en PE según el motor de TA empleado

Gráfico 4

El “mejor motor” de TA, según los estudiantes

4) Número y tipo de errores según motor de TA

Los resultados de los dos gráficos anteriores nos llevaron a pensar, en una primera aproximación, que la variable “tiempo” y la variable “calidad” tenían aquí un comportamiento inversamente proporcional, porque la calidad normalmente exige tiempo. Sin embargo, en una segunda aproximación consideramos que existía la posibilidad de que la percepción de la calidad de la traducción ofrecida por un motor de TA y el tiempo invertido en su PE no estuvieran directamente relacionadas, por ejemplo, si la traducción de un motor de TA se hubiera considerado “mala” (por contener errores de gravedad), pero su PE no hubiese exigido demasiado tiempo (porque el número total de errores no fuera muy elevado). Esto podría explicar por qué tardaban menos en poseditar con Microsoft, pero consideraban mejor motor DeepL. Para realizar esta comprobación, se cuantificaron el número y el tipo de errores de cada motor:

Gráfico 5

Número de errores según motor de TA

Como podemos ver en este gráfico, el motor que menos errores de traducción cometía era DeepL (23), seguido de Microsoft (36) y de Google (63). El peor motor fue Google, y no solo porque el número de errores fuese significativamente mayor, sino porque introdujo muchos errores de formato, además de errores de convenciones de subtitulación, de léxico, textuales y semióticos. La diferencia registrada entre DeepL y Microsoft no fue muy acusada, y el tipo de errores coincidía: la mayoría de los errores eran de convenciones de subtitulación (longitud de la línea, segmentación, tipografía o velocidad de lectura), seguidos de errores léxicos y textuales. En vista de los resultados, no podíamos afirmar que la reducción del tiempo al trabajar con Microsoft se debiera a que cometía menos errores que los demás sistemas de TA (al menos, que Deep L).

5) Notas medias según motor de TA empleado

Para intentar buscar una explicación a esta incógnita, estudiamos las notas medias en las traducciones poseditadas y en las traducciones humanas desde cero de los estudiantes por motor de TA (véase Gráfico 6) y descubrimos que, precisamente, los estudiantes que habían usado Microsoft habían tardado menos, pero también habían obtenido notas significativamente más bajas. Podemos concluir de esto que un motor de TA con un menor número de errores de partida supone un tiempo menor de PE para conseguir una traducción de la calidad exigida, siempre y cuando el traductor tenga claro el nivel de calidad requerido y se aplique para conseguirlo.

Gráfico 6

Notas medias en PE y TH según motor de TA

4.2.4. Resultados cualitativos

De las percepciones que los estudiantes reflejaron en sus informes se desprende que el proyecto les resultó enriquecedor y les sirvió para seguir practicando la subtitulación y para mejorar sus habilidades en PE. Además, pese a que la mayoría prefería traducir a poseditar, todos entendían la necesidad de formarse en TA y PE. Citamos una de sus reflexiones a continuación:

“A modo de conclusión, podemos destacar que el presente trabajo nos ha servido, por una parte, para mejorar nuestras habilidades de traducción y de posedición al mismo tiempo que poníamos en práctica todo lo aprendido respecto a la subtitulación.” (Grupo 3)

Otras de las opiniones reflejan que la TA les había permitido alcanzar una mayor productividad, y que ganarían más productividad aún si hicieran más prácticas de PE, si bien es cierto que el mayor escollo encontrado fue que los motores de TA no conocen las convenciones técnicas de la subtitulación y ello suponía que tenían que corregir demasiados errores de este tipo:

“[…] hemos concluido en que es mucho más productivo invertir nuestro tiempo en la posedición, ya que, si nos descargamos del tiempo que invertimos en la búsqueda de léxico o la redistribución sintáctica de las oraciones, podemos dedicar este tiempo a darle más estilo al texto, haciéndolo más legible y elaborando un resultado final de mayor calidad.” (Grupo 7)

“Creemos que la traducción automática puede resultar más útil en otras especialidades de traducción debido a que en subtitulación no basta con poseditar el contenido del texto, sino que resulta necesario poseditar y adaptar este texto a las convenciones técnicas y tipográficas de la subtitulación, aunque quizá con más práctica de posedición seríamos más productivas”. (Grupo 6)

Por último, algunos grupos también apuntaron la incompatibilidad entre la TA y la subtitulación de otros géneros audiovisuales más creativos:

“Creemos que si se realiza una posedición completa, la TA puede ser una buena herramienta para ayudarnos a ahorrar tiempo en la traducción de subtítulos, siempre que estos no requieran mucha creatividad.” (Grupo 9)

5. Conclusiones

Como hemos visto a lo largo de este artículo, la incursión de la TA y la PE en el quehacer diario de los profesionales de la traducción es una realidad incontestable. En el terreno de la formación, la adquisición de las destrezas necesarias para emplear estas herramientas emergentes constituye un desafío curricular al que los docentes de traducción se enfrentan en la actualidad. Poco a poco, conscientes de la importancia de la TA en el sector, cada vez son más los docentes de traducción (incluidos los de subtitulación) que buscan una formación en tecnologías actual y transversal que incluya la TA y la PE.

Este trabajo presenta una experiencia pedagógica piloto que parece apuntar que la TA (siempre acompañada de la revisión humana mediante PE) puede ser prometedora en subtitulación, especialmente a la hora de traducir textos audiovisuales de no ficción del inglés al español a partir de plantillas. En las tareas realizadas se observaron, por una parte, un ahorro sustancial de tiempo en la PE y, por otra, calidades similares entre la PE completa y la TH. Asimismo, podemos destacar que el baremo empleado resultó de gran utilidad para que los alumnos detectaran el tipo de errores más frecuentes que ofrece la TA y aprendieran a corregirlos. La retroalimentación posterior por parte de la profesora sobre los errores que se habían pasado por alto en PE también constituyó un elemento esencial en el aprendizaje del alumnado.

De cualquier modo, es necesario destacar que se trata de un estudio exploratorio, en el que paso a paso tratábamos de encontrar respuestas a las preguntas que se nos planteaban, y en el que lo que más nos interesaba era que los alumnos tuvieran la oportunidad de realizar prácticas de TA y PE en subtitulación, entender sus beneficios y limitaciones, y reflexionar sobre cuestiones como la productividad y el esfuerzo de utilizar la TA y la PE frente a la TH. Todo ello, a su vez, resulta fundamental para que los futuros egresados puedan tomar decisiones informadas sobre qué encargos aceptar y sobre cómo negociar tarifas o fechas de entrega con los clientes, por ejemplo.

En futuros estudios dentro de esta modalidad, nos plantearemos realizar otras tareas relacionadas con la TA y la PE en el aula, como la aplicación de la TA en géneros de ficción; la PE de subtítulos intra o interlingüísticos traducidos, pautados y segmentados automáticamente, o el debate crítico sobre cuestiones como la merma de la creatividad en las subtitulaciones hechas mediante TA, la confidencialidad de los textos que se cargan en un sistema de la TA, la comunicación traductor-cliente, etc.

Para terminar, y aunque estemos ante un estudio que se ha realizado a pequeña escala y en un contexto educativo específico, esperamos que este suponga un punto de partida sobre el que continuar explorando las posibilidades de aplicación de la TA a la subtitulación en investigaciones de mayor envergadura. Con todo, el trabajo puede servir de inspiración a aquellos profesores que quieran explorar el uso de la TA y la PE en esta u otras modalidades de TAV.

Bibliografía

Akhulkova, Y., Hickey, S., & Agulló, B. (2021). The Nimdzi Language Technology Atlas. https://www.nimdzi.com/language-technology-atlas/

Aranberri, N. (2014). Posedición, productividad y calidad. Revista Tradumàtica, 12, 471–477. https://doi.org/10.5565/rev/tradumatica.62

Armstrong, S., Way, A., Caffrey, C., Flanagan, M., Kenny, D., & O’Hagan, M. (2006). Improving the quality of automated DVD subtitles via example-based machine translation. En Proceedings of Translating and the Computer, 28. Aslib. https://aclanthology.org/2006.tc-1.9.pdf

Athanasiadi, R. (2016). The applications of MT and TM tools in AV translation: A new era? LAP Lambert Academic.

Bolaños-García Escribano, A., & Díaz Cintas, J. (2023). Integrating post-editing into the subtitling classroom: What do subtitlers-to-be think? Linguistica Antverpiensia, New Series: Themes in Translation Studies, 22, 115–137.

Burchardt, A., Lommel. A., Bywood, L., Harris, K., & Popović, M. (2016). Machine translation quality in an audiovisual context. Target, 28(2), 206–221. https://doi.org/10.1075/target.28.2.03bur

Bywood, L., Panayota G., & Etchegoyhen, T. (2017). Embracing the threat: Machine translation as a solution for subtitling. Perspectives, 25(3), 492–508. https://doi.org/10.1080/0907676X.2017.1291695

Cerezo Merchán, B., & Artusi, A. (2023). Percepciones y usos de la traducción automática por parte de los docentes de traducción audiovisual en España: Resultados del proyecto DITAPE. En L. Mejías-Climent & J. de los Reyes Lozano (Eds.), La traducción audiovisual a través de la traducción automática y la posedición: Prácticas actuales y futuras (pp. 129–150). Comares.

Cabañes, E., & Parra López, G. (2022). Mitos y realidades de la posedición en traducción audiovisual. La linterna del traductor, 25. https://lalinternadeltraductor.org/n25/posedicion-traduccion-audiovisual.html

Comisión Europea, Dirección General de Traducción (DGT). (2022). European Language Industry Survey.https://fit-europe-rc.org/wp-content/uploads/2022/03/ELIS-2022_survey_results_final_report.pdf?x85225

De Sousa, S. C. M., Aziz, W., & Specia, L. (2011). Assessing the post-editing effort for automatic and semi-automatic translations of DVD subtitles. En R. Mitkov, G. Angelova, & K. Bontcheva (Eds.), Proceedings of Recent Advances in Natural Language Processing (pp. 97–103). INCOMA. Shoumen. https://aclanthology.org/R11-1014.pdf

Del Pozo, A. (coord.) (2014). SUMAT Final Report. Vicomtech-IK4.

Díaz Cintas, J. (2015). Technological strides in subtitling. En S. W. Chan (Ed.), Routledge encyclopedia of translation technology (pp. 632–643). Routledge.

Díaz Cintas, J., & Remael, A. (2021). Subtitling: Concepts and practices. Routledge. https://doi.org/10.4324/9781315674278

EMT (2017). European Master’s in Translation competence framework 2017. https://commission.europa.eu/system/files/2018-2/emt_competence_fwk_2017_en_web.pdf

Garcés Díaz-Munío, G. V. (2020). Machine translation of open educational resources: Evaluating translation quality and the transition to neural machine translation. Universitat Politècnica de València. http://hdl.handle.net/10251/149416

Georgakopoulou, P., & Bywood, L. (2014). MT in subtitling and the rising profile of the post-editor. Multilingual, 25(1), 24–28. https://multilingual.com/articles/mt-in-subtitling-and-the-rising-profile-of-the-post-editor/

González Pastor, D., & Rico, C. (2021). POSEDITrad: La traducción automática y la posedición para la formación de traductores e intérpretes. Revista Digital de Investigación en Docencia Universitaria, 15(1), 1–14. https://doi.org/10.19083/10.19083/ridu.2021.1213

Guerberof Arenas, A., & Moorkens, J. (2019). Machine translation and post-editing training as part of a master’s programme. JoSTrans, 31, 217–238. https://jostrans.org/issue31/art_guerberof.php

Hurtado Albir, A. (2019). La investigación en didáctica de la traducción: Evolución, enfoques y perspectivas. MonTi: Monografías de Traducción e Interpretación, 11, 47–76. https://doi.org/10.6035/MonTI.2019.11.2

Hutchins, J. & Somers, H. (1992). An introduction to machine translation. ‎Academic Press.

Inglada Florensa, R. (2021). Traducción automática y tarifas: La eterna incógnita. Punto y Coma: Boletín de los traductores españoles en las instituciones de la Unión Europea (Bruselas y Luxemburgo), 170, 16–19. https://ec.europa.eu/translation/spanish/magazine/documents/pyc_170_es.pdf

Íñiguez Rodríguez, E. (2017). Un modelo de evaluación de la calidad en traducción poética: Estudio sobre cuatro traducciones españolas de dos poemas de Constantino Cavafis. [Tesis doctoral. Universitat Jaume I]. https://www.tdx.cat/bitstream/handle/10803/430853/2017_Tesis_Iniguez%20Rodriguez_Enrique.pdf?sequence=1

Koponen, M. (2016). Is machine translation post-editing worth the effort?: A survey of research into post-editing and effort. The Journal of Specialised Translation, 25, 131–148. https://www.jostrans.org/issue25/art_koponen.pdf

Llanos Martínez, H. (2021, 14 de octubre). Los traductores españoles protestan por los “mediocres” subtítulos de ‘El juego del calamar’, hechos por una máquina. El País. https://elpais.com/television/2021-10-14/los-traductores-espanoles-protestan-por-los-mediocres-subtitulos-de-el-juego-del-calamar-hechos-por-una-maquina.html

Martí Ferriol, J. L. (2010). Cine independiente y traducción. Tirant lo Blanch.

Martínez Carrasco, R. (en prensa). El sector de la traducción en España ante la TA: Un análisis cuantitativo de las percepciones de traductores autónomos y agencias de traducción. En D. González Pastor (Ed.), El impacto de la traducción automática en la traducción profesional en España: tendencias, retos y aspectos socioprofesionales: El proyecto DITAPE. Peter Lang.

Mejías-Climent. L., & de los Reyes Lozano, J. (2021). Traducción automática y posedición en el aula de doblaje: Resultados de una experiencia docente. Hikma: Estudios de traducción, 20(2), 203–227. https://doi.org/10.21071/hikma.v20i2.13383

Muñoz Raya, E. (2004). Libro Blanco. Título de Grado en Traducción e Interpretación. Aneca. https://www.aneca.es/documents/20123/63950/libroblanco_traduc_def.pdf/c597839f-973e-5e7c-86b1-e61dea66c628?t=1654601712731

Popowich, F., McFetridge, P., Turcato, D., & Toole, J. (2000). Machine translation of closed captions. Machine Translation, 15(4), 311–341. https://doi.org/10.1023/A:1012244918183

Rico Pérez, C. (2017). La formación de traductores en traducción automática. Revista Tradumàtica, 15, 75–96. https://doi.org/10.5565/rev/tradumatica.200

Samson, R. (2013). El aprendizaje de las herramientas informáticas en la formación del traductor. Revista Tradumàtica, 11, 247–256. https://doi.org/10.5565/rev/tradumatica.54

Sánchez Ramos, M. M., & Rico Pérez, C. (2020). Traducción automática: Conceptos clave, procesos de evaluación y técnicas de posedición. Comares.

Spurlock, M. (Director). (2004). Super Size Me [Documental]. The Con.

Statista Research Department. (6 de julio de 2022). Language services industry in the U.S. – statistics & facts. Recuperado de: https://www.statista.com/statistics/257656/size-of-the-global-language-services-market/

TAUS (2012). Machine translation post-editing guidelines. http://taus-website-media.s3.amazonaws.com/images/stories/guidelines/taus-cngl-machine-translation-postediting-guidelines.pdf

Volk, M. (2008). The automatic translation of film subtitles: A machine translation success story? En A. Sagvall Hein, J. Nivre, M. Dahllof, & B. Megyesi (Eds.), Resourceful language technology: Festschrift in Honor of Anna Sågvall Hein (pp. 202–214). Uppsala University.

Volk, M., Sennrich, R., Hardmeier, C., & Tidstrom, F. (2010). Machine translation of TV subtitles for large-scale production. En V. Zhechev (Ed.), Proceedings of the Second Joint EM+/CNGL Workshop “Bringing MT to the User: Research on Integrating MT in the Translation Industry” (pp. 53–62). Association for Machine Translation in the Americas. http://uu.diva-portal.org/smash/get/diva2:420760/FULLTEXT01.pdf