Abstract

English:

What effects can the availability of a tool such as DeepL Translator have on the teaching of translation from Italian into German? This paper examines the most relevant factors to be taken into account, beyond simple standardised measurements. Starting from samples contained in two theses of Bachelor and Master's degree courses in translation, we explore quality levels of DeepL Translator’s raw output (with some reflections on BLEU scores) and successive improvements achievable with a simple kind of post-editing (without formal check-lists). Our findings confirm that this application provides quite promising results even without domain-related adaptation. Although some residual failures to be addressed in post-editing are insidious and challenging, DeepL Translator is likely to become an invaluable tool for more advanced and efficient practices in teaching and training. Accordingly, post-editing should become an essential training activity.

Italian:

Quali effetti può avere la disponibilità di uno strumento come DeepL Translator sull'insegnamento della traduzione dall'italiano al tedesco? Questo articolo esamina i fattori più rilevanti da prendere in considerazione, al di là delle semplici misure standardizzate. Sulla base di due tesi (svolte in corsi di laurea e master in traduzione), esploriamo i livelli di qualità dell'output grezzo di DeepL Translator (con alcune riflessioni sui punteggi BLEU) e i successivi miglioramenti ottenibili con un primo intervento di post-editing (senza check-list formali). I riscontri ottenuti confermano che questa applicazione fornisce risultati piuttosto promettenti anche senza adattamenti relativi agli ambiti di specialità. Sebbene alcuni residui difetti richiedano attenti interventi di post-editing, è probabile che DeepL Translator diventi uno strumento insostituibile per pratiche più avanzate ed efficienti nell'insegnamento e nella formazione. Di conseguenza, il post-editing dovrebbe diventare un'attività di formazione essenziale.

Keywords: Machine Translation, translator training, formazione traduttori, traduzione automatica, post-editing

1. Introduzione – una risorsa efficiente e inaspettata

L’apparizione di DeepL Traduttore all’inizio di settembre 2017 ha colto di sorpresa gli operatori professionali e i docenti di traduzione. Sia gli uni che gli altri si sono trovati improvvisamente alle prese con uno strumento liberamente accessibile e molto più promettente di quanto si sarebbe ritenuto possibile fino a quel momento. Il prodotto mostrava infatti una chiara competitività rispetto ad altre applicazioni disponibili per la traduzione automatica, e in particolare rispetto a quelle finora rilasciate da Google, che almeno in teoria dispone di risorse finanziarie e quantità di dati ben superiori. Presentiamo di seguito alcune considerazioni sull’impatto di DeepL Traduttore nella didattica universitaria della traduzione, sia specializzata sia per il web. Cercheremo in particolare di chiarire con quali vantaggi DeepL Traduttore sia integrabile come componente stabile nella didattica, e in che modo si configurino corrispondenti attività di post-editing. Come per molti prodotti tecnologici, queste considerazioni sono provvisorie, e potrebbero presto rivelarsi inadeguate, ad esempio in seguito a reazioni della concorrenza, a ulteriori riscontri sistematici e dettagliati sulle prestazioni dell’applicazione in ambito professionale o con determinate combinazioni linguistiche, a imprevisti nel percorso commerciale del prodotto e molto altro. Tutti i riscontri qui discussi rispecchiano il comportamento dell’applicazione al 31 gennaio 2018.

2. Le caratteristiche principali di DeepL Traduttore

Non è solo il livello di competitività che può creare perplessità e indecisione. Fra i ricercatori impegnati nello sviluppo di applicazioni di traduzione automatica (MT) e nelle relative verifiche di qualità, la curiosità sulle caratteristiche della nuova applicazione rimane ancora insoddisfatta. I produttori hanno esplicitamente comunicato che per il momento non daranno alcuna informazione specifica sull’architettura della rete neurale utilizzata[1]. Allo stesso tempo riportano tabelle comparative per illustrare la superiorità di DeepL Traduttore rispetto a 5 applicazioni precedentemente disponibili. Vengono svolti due tipi di confronto. Il primo riguarda 6 combinazioni linguistiche (3 dall’inglese e 3 verso l’inglese), ed è presentato come segue:

sono state tradotte 100 frasi da DeepL Traduttore e da Google, Microsoft e Facebook. Alcuni traduttori professionisti hanno poi valutato i risultati, senza sapere da quali sistemi provenissero le traduzioni. Le traduzioni di DeepL sono state scelte come appropriate tre volte più spesso rispetto a quelle tradotte dai sistemi della concorrenza.

Il secondo confronto viene svolto sulla base di punteggi BLEU[2] ricavati da una serie di pubblicazioni. In queste si riferiscono e discutono i risultati raggiunti dai sistemi concorrenti (https://www.deepl.com/press.html ) ”su specifici set predefiniti di test[3]”, riferiti alle combinazioni fra inglese e tedesco. Questi punteggi vengono incorporati in tabelle contenenti anche i valori raggiunti da DeepL per le stesse combinazioni linguistiche. Vale la pena riprodurre qui di seguito le tabelle (fig. 1), perché i valori BLEU sull’asse verticale sono rappresentati con notevole disinvoltura. In termini numerici il distacco massimo (riscontrato sulla scala BLEU da 0 a 100) non supera i 6 punti BLEU (a fronte di un totale di 31 punti raggiunti da DeepL nel primo caso e di 44,7 circa nel secondo caso). La lunghezza delle barre colorate non è quindi per nulla proporzionale ai valori numerici. È fino a 25 volte più lunga delle altre, e suggerisce differenze ben superiori a quelle tra i valori percentuali effettivamente raggiunti:

Fig. 1: Valori BLEU (fonte: https://www.deepl.com/press.html ).

Questo tipo di visualizzazione corrisponde quindi alle finalità di una presentazione promozionale per il grande pubblico, ma non può certo soddisfare le esigenze di una comparazione scientificamente accettabile. Si può riconoscere, tuttavia, che scarti di 5 punti BLEU vengono considerati nella letteratura già molto significativi (cfr. ad es. Bentivogli et al., 2016; Junczys-Dowmunt et al., 2016). Dalle indicazioni riportate sulla pagina di accesso si desume poi che da un lato il sistema riesamina (in tempo reale) la qualità della traduzione fornita alla luce di eventuali modifiche apportate dall’utente al testo proposto, e dall’altro almeno una parte di queste modifiche viene utilizzata anche per riaggiustare il sistema stesso. Queste caratteristiche si accordano ovviamente con la natura neurale dell’applicazione, messa in rilievo come fattore principale dell’incremento di precisione ed efficienza. Per gli operatori commerciali e gli sviluppatori di applicazioni è disponibile un’application programming interface (API), che:

allows you to incorporate the DeepL Translator into your own products and services. Besides using it in your favourite CAT tools or integrating it into your intranet services, our API lends itself to many more of your in-house software applications.

Ai clienti che utilizzano l’API si assicura invece un diverso trattamento dei testi elaborati:

Your privacy and confidentiality are important to us - we don't save any texts sent to the DeepL Translator API, and we don't use them to improve the quality of the service. https://www.deepl.com/api-contact.html

Conseguentemente, il sistema potrà utilizzare per le dinamiche di riaggiustamento “dal basso” solo i dati provenienti da utilizzatori non paganti, vale a dire utenti non sempre qualificati a livello professionale e non sempre disposti a svolgere (e a condividere) un editing che effettivamente migliori la proposta ricevuta.

3. La misura della qualità dei sistemi NMT– criteri e metodi in uso

Facendo un piccolo passo indietro, bisogna ricordare brevemente che fino a settembre 2017 l’applicazione più usata era senz’altro Google Traduttore, reimpostata su un’architettura neurale (NMT) già dall’aprile dello stesso anno. Ad oggi, non tutte le comparazioni svolte hanno confermato pienamente la superiorità di questa architettura. Se da un lato, secondo gli esperti di MateCat (www.matecat.com), i sistemi NMT sembrano sopravanzare nella qualità tutti i sistemi di Statistical Machine Translation (SMT), tranne forse per quanto riguarda l’accuratezza nell’uso della terminologia, dall’altro pesano invece le considerazioni espresse da Castilho et al. (2017), che mettono in rilievo le discrepanze tra la valutazione automatica, basata sulle misure BLEU e simili, e quella ottenuta con la partecipazione di valutatori umani, basata sulla rilevazione di specifiche categorie di errori e sull'esito di diverse modalità di post-editing. Tenendo conto di queste considerazioni contrastanti, risulta quindi più difficile sostenere la superiorità dei sistemi NMT sugli altri, a meno che la comparsa sul mercato di DeepL non cambi significativamente la situazione. Nel complesso, le misurazioni finora pubblicate in questi ed altri studi sono tappe importanti ma ancora parziali di un procedimento collettivo di valutazione, estremamente denso di variabili e tutt’altro che concluso, su cui influiscono, insieme a interessi commerciali, numerosi condizionamenti tecnici e probabilmente anche pressioni settoriali di diversa natura. Rimangono in ogni caso da verificare, ed eventualmente da affrontare, alcune importanti inadeguatezze strutturali determinate dall’architettura stessa dei nuovi sistemi neurali:

[...] there are still problems and challenges of NMT need to be tackled: The training and decoding process is quite slow; the style of translation can be inconsistent for the same word; there exists an “out-of-vocabulary” problem on the translation results; the “black-box” neural network mechanism leads to poor interpretability; thus the parameters for training are mostly picked based on experience. (Zhang, 2017)

Per contro, viene in genere riconosciuta una certa superiorità dei sistemi NMT nel generare segmenti d’arrivo più scorrevoli (cfr. ad es, Waswani et al., 2017).

4. Alcune misure della qualità di DeepL

Tornando al tema della qualità di DeepL Traduttore, ed in particolare alle valutazioni automatiche in modalità BLEU, non risultano ancora disponibili indagini indipendenti atte a verificare se l’incremento qualitativo (fino a 5,5 punti nel confronto con la concorrenza) dichiarato dai produttori sia riproducibile in condizioni realistiche d’uso. Anche la valutazione umana indicata nella pagina web di descrizione del prodotto – citata più sopra – non è del tutto circostanziata, e non risulta che siano state svolte verifiche sperimentali indipendenti. Certamente una preferenza di tre volte superiore su un set di 100 frasi merita, se confermata, di essere presa sul serio, per quanto in questa modalità di rilevazione gli spunti impressionistici siano talvolta difficili da eliminare. Per questo discuteremo ora alcuni riscontri provvisori sui punteggi BLEU in contesti rilevanti per la traduzione dall’italiano in tedesco nella didattica universitaria, una prospettiva praticamente assente dagli esperimenti finora condotti. I tre settori tematici coinvolti (testi giuridici normativi, istruzione universitaria e istruzioni tecniche) sono conformi ai programmi e agli obiettivi formativi degli insegnamenti di traduzione specializzata dall’italiano in tedesco nel Corso di Laurea Magistrale in Specialized Translation presso il Dipartimento di Interpretazione e Traduzione dell’Università di Bologna. Trattandosi di settori tematici specializzati, la traduzione automatica trova qui le migliori prospettive di applicazione. In prospettiva didattica va tenuto presente anche il fatto che gli studenti di questo Corso di Laurea Magistrale usufruiscono già da alcuni anni di un modulo specifico di traduzione automatica e post-editing.

Ricordiamo che per calcolare il punteggio BLEU la misurazione della corrispondenza (nel nostro caso condotta con l’applicazione del sito Tilde Custom Machine Translation, disponibile all’indirizzo https://www.letsmt.eu/Bleu.aspx ) avviene sulla base di segmenti allineati (in genere paragrafi o frasi), oltre che ovviamente in base alla percentuale di n-gram (di estensione 1-4) condivisi dai due testi nei segmenti allineati. Il punteggio è quindi direttamente proporzionale al numero delle corrispondenze lessicali/fraseologiche, e crolla se i segmenti non sono allineabili. Conseguentemente ci sono ben poche corrispondenze tra questi parametri di qualità e quelli in uso nella didattica universitaria, soprattutto se si pensa alla traduzione non tecnico-scientifica e alle situazioni in cui si devono operare rielaborazioni complesse della struttura sintattica.

Come testi ottimali di riferimento utilizziamo testi prodotti senza l’utilizzo di sistemi MT e ufficialmente approvati per l’uso[4].

4.1 Riscontro n. 1 – Traduzione giuridica

Si tratta di un campione di 9 segmenti (520 parole circa) contenuti nella Legge Provinciale 17 settembre 2013, n. 18 della Provincia Autonoma di Bolzano, tradotta dall’italiano in tedesco e pubblicata nel portale ufficiale della stessa provincia[5]. Il punteggio BLEU ottenuto da DeepL Traduttore (senza post-editing), calcolato con l’aiuto dell’applicazione https://www.letsmt.eu/Bleu.aspx, è 31,3, cioè quasi pari al valore raggiunto nel test (dall’inglese al tedesco) WMT 14 citato dai produttori in occasione del lancio del prodotto. Il punteggio raggiunto da Google Traduttore è 31,37. Consideriamo a mo’ di esempio la versione tedesca ufficiale e quella di DeepL Traduttore dell’art. 1 quinquies, comma 1:

È evidente l’inadeguatezza della soluzione ”Verteilung der Natur-, Landschafts- und Landentwicklung”, conseguente al fatto che non è stata riconosciuta la specificità semantica di Ripartizione come termine riferito a un ufficio pubblico dell’amministrazione provinciale (Landesabteilung). Per il resto le discrepanze riguardano solo la terminologia idiosincratica dell’amministrazione altoatesina, e non compromettono la comprensione dei dettagli da parte di qualsiasi lettore di lingua tedesca. La morfologia e la sintassi sono del tutto corrette, eppure la discrepanza tra il punteggio ottenuto automaticamente e una possibile valutazione didattica è rilevante. In un contesto didattico, infatti, la versione di DeepL Traduttore potrebbe essere considerata ancora sufficiente. Il punteggio BLEU riferito a questo singolo segmento, per contro, è un modesto 23,69, con una penalizzazione dovuta in gran parte al mancato utilizzo di una terminologia peculiare in uso esclusivamente in Alto Adige. Naturalmente anche questa discrepanza ha una sua rilevanza didattica, ma per il momento non è possibile tarare i sistemi di traduzione automatica verso il tedesco in base a parametri diatopici, e l’integrazione di corrispondenze terminologiche determinate dal singolo utente non è ancora consentita nella versione gratuita di DeepL Traduttore. In una progressione didattica, quindi, la traduzione così realizzata sarebbe sostanzialmente accettabile se si richiedesse di rendere genericamente comprensibile il testo a un lettore di lingua tedesca, ma senza precisare il vincolo dell’utilizzabilità per la popolazione dell’Alto Adige.

4.2 Riscontro n. 2 – Informazione istituzionale universitaria

Il secondo riscontro deriva da un campione di 58 segmenti (561 parole) tratti dalla pagina web di presentazione del Corso di Laurea in Servizio Sociale della Facoltà di scienze della Formazione della Libera Università di Bolzano (https://www.unibz.it/it/faculties/education/bachelor-social-work/ ). A norma di statuto, questa Università utilizza su base paritetica come lingue di lavoro l’italiano, l’inglese e il tedesco. Nel caso della presentazione del Corso di Studio, il testo di partenza è con ogni probabilità redatto in italiano, dovendosi basare sulla terminologia istituzionale delle università italiane. La pagina tedesca ufficiale è di impeccabile qualità linguistica e stilistica, malgrado le difficoltà che ancora permangono nella scelta (o nella creazione) di corrispondenze per i termini amministrativi italiani. Il punteggio raggiunto da DeepL Traduttore è in questo caso un modesto 22,83, molto lontano non solo da quello dichiarato in occasione del lancio del prodotto, ma anche da quello ottenuto nel riscontro precedente. Anche il punteggio ottenuto usando la versione di Google Traduttore è più alto: 25,63. Ecco un breve esempio:

Questo quadro suggerisce alcune ulteriori osservazioni. La versione ufficiale è chiaramente ‘condensata’ a livello testuale, con alcuni allontanamenti rispetto alla microstruttura proposizionale del testo di partenza: un intervento di raffinamento stilistico, che può variare in base alla strategia e alla sensibilità di chi traduce. In ogni caso, è stata modificata in maniera sensibile la lunghezza e la struttura dei segmenti in cui le versioni tedesche vengono divise nella fase di calcolo del punteggio BLEU. Le due versioni prodotte automaticamente si presentano senza imperfezioni morfologiche o sintattiche, mentre lasciano a desiderare nell’ultima frase finale (Il termine Auswirkungen non è adeguato in riferimento ad un soggetto semantico “umano”). Malgrado il puntegggio BLEU parli diversamente, due soluzioni di DeepL Traduttore sono decisamente migliori di quelle di Google Traduttore: “der Bürgerinnen und Bürger” (conforme a norme di correttezza di genere) e la collocazione Fertigkeiten erwerben. Si ripresenta qui una situazione analoga a quella discussa precedentemente: a un inferiore punteggio BLEU non corrisponde sempre un calo assoluto del livello di correttezza o di adeguatezza.

4.3 Riscontro n. 3 – Istruzioni tecniche

Per questo riscontro è stato utilizzato un campione di 56 segmenti (1022 parole) tratti da un manuale di istruzioni per il montaggio e l’uso di un apparecchio per la produzione di acqua calda industriale. Il manuale è stato tradotto dall’italiano in tedesco con l’aiuto di una translation memory, ripetutamente revisionato e verificato anche dal punto di vista terminologico, e presentato nell’ambito di una tesi di Laurea Magistrale (Pagin, 2018). Questa versione è stata utilizzata come riferimento per le misurazioni. Il punteggio BLEU ottenuto da una versione grezza prodotta da DeepL Traduttore è 30,29, molto vicino a quello dichiarato per la traduzione dall’inglese al tedesco nel test WMT 14 in occasione del lancio del prodotto. Il corrispondente punteggio ottenuto da Google Traduttore è 31,55. Nell’ambito di questa tesi di laurea l’output di DeepL Traduttore è stato anche sottoposto a post-editing. Il punteggio BLEU ottenuto dalla versione post-editata è 43,31. Riportiamo di seguito un breve campione:

Il post-editing sull’output di DeepL Traduttore, condotto peraltro senza rigorose istruzioni formali, determina quindi per questo campione un incremento di circa 13 punti BLEU. Lo sforzo richiesto dal post-editing è stato significativo, e si è concentrato in particolare su diverse lacune terminologiche (in questo brano la sostituzione di Geruchsverschluss con Siphon) da colmare con ricerche ad hoc. L’incremento di 13 punti ottenuto nelle condizioni specifiche di questa prova sembra indicare che i sistemi NMT richiedono ancora addestramenti relativi al dominio da affrontare, malgrado raggiungano già buone prestazioni di base. La qualità del testo emendato e regolarizzato si percepisce come discreta, ma il divario stilistico rispetto alla versione di riferimento rimane avvertibile. In complesso, la qualità dell’output di DeepL Traduttore nella traduzione dall’italiano in tedesco sembra aumentare solo moderatamente se si passa da un testo di legge a un manuale di istruzioni.

5.Post-editing e verifiche della qualità in ambito didattico

Malgrado la relativa frammentarietà dei riscontri ottenuti su campioni di testi specialistici, è abbastanza chiaro che i punteggi BLEU dichiarati dai produttori di DeepL Traduttore al momento del lancio del prodotto non trovano sempre conferma. È anche da notare che Google Traduttore sembra avere colmato (almeno nella combinazione linguistica dei nostri esempi) il distacco indicato dalle tabelle dell’autunno 2017. Va ribadito tuttavia che le verifiche comunemente in uso negli studi sulla traduzione automatica illuminano solo alcuni degli aspetti rilevanti. Queste verifiche impongono infatti di mantenere il confronto entro un quadro di corrispondenze fra singoli segmenti allineati di due versioni, di cui una è prodotta dal sistema MT e l’altra funge da standard di riferimento[6]. Verificare la qualità in termini più generali e inclusivi dell’attività didattica - soprattutto nei casi in cui non sia usata una memoria di traduzione - comporta invece strategie diverse: non sempre è sensato attenersi strettamente ad una corrispondenza tra frasi e segmenti, e inoltre non sempre è sensato o possibile individuare un'unica versione “perfetta” da usare come modello. Qualora lo si faccia, eventuali deviazioni rispetto al modello non significano automaticamente una perdita di qualità, pur determinando una diminuzione del punteggio BLEU.

Fatta salva questa prospettiva, si può certamente riconoscere che nel passaggio dall’italiano al tedesco DeepL Traduttore, Google Traduttore (e probabilmente anche le altre applicazioni NMT) hanno risolto in gran parte i problemi di gestione della morfologia e della sintassi del tedesco, e sembrano avere fatto notevoli progressi nel governare collocazioni, fraseologismi e stilemi di uso comune. Come già accennato, ne deriva in genere un effetto di sostanziale scorrevolezza e naturalezza, che può influenzare favorevolmente il giudizio di un utente che si concentri particolarmente sull’accettabilità del testo d’arrivo, distraendolo forse da altri difetti: “Even though the neural model demonstrates gains in fluency, it also shows a greater number of errors of omission, addition and mistranslation.” (Castilho et al., 2017: 118). Ma altrettanto importante è un’altra conseguenza: un testo grammaticalmente corretto e accattivante suscita molto probabilmente nell’operatore umano una maggiore propensione a percorrere la strada del post-editing, piuttosto che rigettarlo in toto – sebbene di fatto rimangano diversi interventi da compiere. Prima di passare all’esame di ulteriori casi specifici, è opportuno esaminare alcuni dei principali presupposti che riguardano questa fase del processo.

5.1 Criteri per il post-editing a confronto

Il post-editing è una componente essenziale sia nel processo di raffinamento, sia in quello di valutazione della qualità del prodotto. In questa seconda funzione esso serve soprattutto a generare dati per una valutazione più differenziata dell’output MT. La ricerca recente ha introdotto per questo tipo di post-editing numerosi pacchetti di criteri, ha proposto diversissime varianti operative, e ha individuato svariate priorità riferibili a diversi livelli della valutazione da compiere, con divergenze significative e incertezze non ancora risolte in maniera soddisfacente (per una discussione approfondita cfr. ad es. Flanagan & Paulsen Christensen, 2014). Tralasciamo, in questa sede, le opzioni di post-editing incluse direttamente nell’interfaccia delle applicazioni, e limitiamo la discussione ad alcuni aspetti del post-editing condotto in una tappa successiva e separata. Sia in ambito professionale, sia nella didattica della traduzione specializzata la revisione del testo prodotto da un programma di traduzione automatica viene condotta sulla base di criteri predeterminati, a loro volta correlati o ad uno standard “good enough” o ad uno standard “publishable”. Flanagan & Paulsen Christensen (2014: 261-270) discutono in una serie di sperimentazioni l’adeguatezza delle tabelle elaborate dall’organizzazione TAUS per i casi in cui si miri ad una qualità rispettivamente ‘sufficiente’ e ‘professionale’, e per quest’ultima elaborano un modello perfezionato[7]. Ecco una sinossi dei modelli TAUS:

Ed ecco il modello professionale perfezionato:

Le priorità tra i criteri e il livello di dettaglio sono ancora difficili da gestire in maniera concorde fra i soggetti che propongono e valutano le liste. Per un confronto vale la pena di considerare anche la seguente tabella, in cui le categorie fondamentali sono più o meno le stesse, anche se combinate in maniera diversa:

(da: Cattelan, 2017)

Queste tabelle globali rimangono tuttavia ancora generiche. Nella prassi professionale e nella didattica quotidiana, invece, si opera necessariamente con ulteriori differenziazioni, che dipendono anche dalla combinazione linguistica e dalle priorità connesse con specifiche forme testuali o comunicative. Per l’utilizzo concreto dei singoli criteri, ad esempio il G5 della seconda tabella, è più difficile elaborare formule condivise.

6. La dimensione didattica

Per la prassi dell’insegnamento la disponibilità di applicazioni MT sempre più raffinate impone di verificare regolarmente fino a che punto sia necessario o opportuno servirsene. Inoltre, anche nell’insegnamento della traduzione non specializzata si dovrà sempre più spesso decidere se a fronte di un determinato compito di traduzione convenga o no adottare una determinata applicazione MT da sottoporre successivamente a post-editing. Le valutazioni finora espresse sembrano indicare che la soglia per una giustificabile emendabilità di traduzioni grezze si aggira intorno a 30 punti BLEU (cfr. Parra Escartín & Arcedillo, 2015: 134 in riferimento a situazioni professionali). Nel caso di DeepL Traduttore, e se ci limitiamo a considerare la situazione di traduzione verso il tedesco, i punteggi raggiunti si collocherebbero ragionevolmente vicino a questa soglia, che, ricordiamo, è calcolata soprattutto in riferimento a criteri di produttività in ambito professionale. Ma questo parametro è da utilizzare con molta cautela, e comunque non è possibile calcolare un punteggio BLEU per un output grezzo in assenza di un testo di riferimento precedentemente elaborato. Conseguentemente, nella maggior parte dei casi affrontati insieme agli studenti, la decisione pro o contro il post-editing viene presa in base ad altre valutazioni. In aggiunta, e in particolare con traduzioni generalmente verso la prima o la seconda lingua straniera, già questa decisione risulta rischiosa se affidata esclusivamente allo studente. Le sue incertezze sulla correttezza e la qualità stilistica del testo grezzo possono infatti condurre ad una valutazione errata sulla sua emendabilità, oltre, ovviamente, a interventi impropri in fase di esecuzione. Qualora si proceda con il post-editing, è quindi in genere necessario ricorrere ad ulteriori risorse per la verifica delle proprie ipotesi di miglioramento (cfr. ad es. Zanettin 2009: 217-218). In linea più generale, vanno sempre messe in conto le differenze tra i risultati di una valutazione automatica e quelli di una valutazione data da revisori umani (Castilho et al., 2017: 114):

Technical post-editing effort was reduced for NMT in all language pairs using measures of actual keystrokes […] or the minimum number of edits required to go from pre- to post-edited text […]. Feedback from the participants indicated that they found NMT errors more difficult to identify, whereas word order errors and disfluencies requiring revision were detected faster in SMT output (ibid. 117).

Di conseguenza il fattore della leggibilità diventa cruciale per il giudizio dato dai revisori umani. Le nozioni di scorrevolezza e adeguatezza da applicare alle traduzioni svolte in ambito didattico, cioè sia come riferimento per la valutazione, sia come orientamento che lo studente deve tenere presente quando traduce, vanno adeguatamente chiarite ed esemplificate. In particolare si concretizzano nei livelli di qualità riguardanti: problemi di coerenza transfrastica, risoluzione delle ambiguità, corrispondenza dei contenuti informativi, adeguatezza culturale e specificità dello skopos. Questi ambiti, essenziali per la maggior parte delle attuali teorie della traduzione, non sono affrontabili con procedimenti che prendano in considerazione segmenti isolati del testo da tradurre. Anche i nuovi sistemi MT sono soggetti a questa limitazione. È quindi lecito ipotizzare che le sacche residue di inadeguatezze (non meramente occasionali) da affrontare nel post-editing risiedano proprio in questi ambiti, per i quali si richiede competenza testuale, disciplinare, comunicativa e interculturale.

6.1 Strategie generali, traduzione non specializzata e utilizzo nella didattica

Malgrado queste note limitazioni strutturali, DeepL Traduttore ha destato, come si è detto, un’impressione sorprendentemente favorevole nel corso di alcune prove svolte fin dal momento della sua commercializzazione per la combinazione linguistica italiano-tedesco anche in ambito non specialistico. Di conseguenza si è ritenuto indispensabile verificare tempestivamente se e fino a che punto si dovesse tenere conto di questa applicazione, che appariva in grado di svolgere compiti di traduzione a un livello molto vicino alle soglie di accettabilità richieste dai corsi di traduzione nel corso di laurea triennale. Queste verifiche non sono ancora concluse, ma siamo tuttavia in grado di illustrare ora con alcuni esempi concreti il livello di utilizzabilità e adattabilità di DeepL Traduttore nell’insegnamento della traduzione dall’italiano al tedesco nell’ambito di una laurea triennale, con tipi di testo non specialistici.

I testi tradotti rientrano nella tematica generale del turismo (particolarmente rilevante per la preparazione dei futuri traduttori con questa combinazione linguistica). Dal punto di vista della qualità del prodotto entrano in gioco criteri di adeguatezza al pubblico dei fruitori e di efficacia funzionale rispetto alle finalità informative e promozionali del messaggio. Dal punto di vista della situazione didattica sono coinvolte traduttrici (o traduttori) in formazione, che traducono verso la lingua straniera. Si tratta di pagine web di siti turistici italiani, tradotte in elaborati finali (tesine), con la possibilità di riprendere e rielaborare anche le versioni prodotte da DeepL Traduttore. Nell’ambito di questo contributo ci limiteremo a discutere le soluzioni linguistiche, senza prendere in considerazione la dimensione multimodale dei testi affrontati. Fin dall’inizio, nei casi esaminati si sono delineati per il post-editing i seguenti principali punti di attenzione:

• il trattamento di vincoli e convenzioni testuali e culturali per il testo da realizzare;
• il trattamento della successione tema/rema;
• il trattamento delle implicazioni dell’interpunzione a livello sintattico;
• il trattamento dei nomi propri e dei realia;
• il trattamento dei termini specialistici nei brani non specialistici;
• il trattamento degli elementi di coesione e coerenza in porzioni di testo particolarmente lunghe
• la resa dei menu nelle pagine web;
• il cambio di prospettiva nella deissi e nei riferimenti da realizzare nel testo d’arrivo.

6.1.1 Riscontro n. 4

Si tratta di un brano contenuto nel sito ”Cantina di Cesena“ http://www.cantinacesena.it/, caratterizzato da funzioni informative e promozionali, con elementi di specializzazione terminologica nella denominazione dei vini.

Nella versione fornita da DeepL Traduttore i difetti principali compaiono nel trattamento letterale del titolo, del cognome del poeta, e soprattutto della citazione (come del resto era facile prevedere). Quest’ultimo problema è stato eluso dalla laureanda, che nel post-editing ha ripristinato la versione italiana della strofa.

6.1.2 Riscontro n. 5

Anche in questo raffronto risaltano nella resa di DeepL Traduttore una collocazione impropria (“Eine Geschichte, die weit weg schaut”) e alcuni passaggi troppo letterali. Gli interventi della laureanda nel post-editing migliorano in parte la scorrevolezza del testo con l’eliminazione di ridondanze a livello informativo. È importante sottolineare che la collocazione errata costituisce un fallimento di DeepL Traduttore all’interno dei confini di frase e in un contesto non particolarmente metaforico, cioè in un ambito in cui dovrebbe incontrare minori difficoltà.

6.1.3 Riscontro n. 6

Le modifiche al testo introdotte in fase di post-editing sono in questo caso significative. Al di là della semplificazione di una metafora di sapore problematico per un lettore tedesco (le dolci colline che ‘accolgono’ i vigneti), è stato necessario emendare collocazioni errate (lose e verpackt in combinazione con Weine; geklettert in combinazione con Thron). Compare inoltre una fatale e inspiegabile sostituzione di parole (Castiglioni al posto di una traduzione per Le Tavolozze), che deriva probabilmente da fattori non attinenti al training del sistema. È infine dubbio se il termine italiano Cesenati, mantenuto inalterato in tedesco, rientri ancora nei limiti di comprensibilità per i lettori tedeschi non filologicamente preparati. Nel post-editing questo potenziale ostacolo è stato semplicemente rimosso, ma sarebbero ovviamente possibili anche soluzioni esplicative meno drastiche di questa. Si avverte poi il bisogno di una resa più informativa (per il lettore tedesco) delle sigle di qualità che accompagnano i nomi dei vini, che la laureanda ha cercato di realizzare nel post-editing.

7. Conclusioni

Le verifiche qui esposte poggiano su un numero ridotto di campioni, e si concentrano solo su aspetti della traduzione dall’italiano in tedesco. Entro questi confini, ci siamo limitati a considerare i prodotti grezzi di DeepL Traduttore, senza includere le modalità di editing in linea incorporate nell’interfaccia e senza verificare gli auto-aggiustamenti che ne potrebbero conseguire in tempo reale. È quindi scontato che stiamo presentando risultati parziali e indicazioni bisognose di ulteriori riscontri a diversi livelli.

Verificare la qualità di un’applicazione MT come DeepL Traduttore al di fuori delle metriche e delle procedure standardizzate, in una combinazione linguistica (dall’italiano in tedesco) non ancora sistematicamente esplorata dai valutatori, e per di più in contesti didattici reali (con le priorità specifiche della didattica) è un compito molto complesso. Si ripresentano infatti alcune delle difficoltà già riscontrate nei procedimenti automatizzati in uso nei settori dello sviluppo informatico e/o dell’impiego professionale, e in aggiunta compaiono difficoltà particolari riguardanti la didattica della traduzione generalistica e/o specialistica.

In primo luogo, i punteggi BLEU sono un punto di partenza utile, ma solo parzialmente idoneo per determinare la qualità di un’applicazione MT integrata nella didattica. Da un lato questi punteggi vengono calcolati di preferenza per alcuni campi tematico-funzionali fissati per convenzione e sulla base di campioni più o meno rappresentativi. Dall’altro derivano da livelli ancora molto semplificati di aderenza a versioni modello, con parametri probabilmente troppo livellanti. Nelle nostre prove, in particolare, i punteggi ottenuti hanno presentato oscillazioni difficili da mettere in relazione con specifiche differenze fra i testi (ad es. il passaggio da un dominio all’altro, il livello di specializzazione terminologica, la complicazione sintattica, ecc.). Anche le impressioni sulla leggibilità e la scorrevolezza dei testi grezzi proposti dall’applicazione sembrano distaccarsi dai valori rilevati e considerati caso per caso, e in generale le traduzioni di DeepL Traduttore si sono rivelate compatibili con una ragionevole soglia di emendabilità tramite post-editing, sia in ambito didattico, sia in un certo numero di situazioni professionali. È tuttavia inevitabile rimarcare che i punteggi BLEU calcolati per il nostro ciclo di verifiche di traduzioni specialistiche ottenute con DeepL Traduttore non hanno in nessun caso sopravanzato quelli ottenuti nelle stesse prove da Google Traduttore. Questo dato indica che la superiorità di DeepL Traduttore dichiarata al momento del lancio potrebbe essere nel frattempo sfumata. Appare quindi necessario allargare il quadro dell’indagine e condurre appena possibile un confronto sistematico tra le due applicazioni, in particolare dal punto di vista della rispettiva rilevanza e adattabilità per la formazione dei traduttori.

In secondo luogo, le priorità, i criteri e le modalità del post-editing necessitano ancora di raffinamenti significativi e contemporaneamente di una maggiore uniformità, in modo da ottenere risultati precisi, confrontabili e rilevanti per diversi ambienti (didattici, scientifici e professionali). Nelle nostre verifiche abbiamo constatato che studenti e studentesse con una buona formazione sulle priorità operative della traduzione funzionale riescono a ottenere buoni risultati ai fini della valutazione didattica anche senza applicare tabelle o check-list parametrizzate. D’altro canto è emerso chiaramente che le traduzioni così elaborate possono essere ancora sensibilmente distanti da versioni ufficiali di riferimento.

Riconoscere e sanare fino in fondo le imperfezioni della versione di DeepL Traduttore ha messo seriamente alla prova la competenza delle persone coinvolte, che peraltro non avevano ancora concluso il percorso accademico di formazione. Alcune di queste imperfezioni, in particolare collocazioni errate o inadeguate, si annidano all’interno dei confini di frase, cioè per così dire sul terreno in cui i sistemi MT danno il meglio di sé stessi. Si tratta evidentemente di combinazioni non reperibili (o non correttamente elaborabili) sulla base dei repertori allineati di cui si serve l’applicazione, e si può supporre che la loro peculiarità le renda particolarmente difficili da trattare anche per esperti umani. Queste imperfezioni sono probabilmente destinate a diminuire progressivamente, con il progredire del feedback, il raffinamento del training e il perfezionamento degli algoritmi. Per eliminare altri tipi di imperfezione, invece, sono richieste potenzialità di per sé non (ancora) alla portata dell’architettura neurale, che si collocano al di là dei meccanismi di ottimizzazione attualmente in uso. Nel trattamento di casi attinenti alla sfera interculturale, ai riferimenti interdisciplinari e ad altri condizionamenti di diversa natura, l’applicazione è probabilmente destinata a fornire soluzioni solo occasionalmente adeguate. La didattica della traduzione universitaria deve quindi incorporare al più presto, come componente strategica e prioritaria, metodi e pratiche avanzate di post-editing: un traguardo problematico, se si considera che nella maggior parte dei corsi la competenza traduttiva viene perfezionata insieme a quella linguistica e comunicativa, oltre alla padronanza di tecniche avanzate di documentazione. Per arrivare a formule illuminate di post-editing è necessario colmare la distanza che ancora separa i criteri attualmente in uso (legati a protocolli applicabili solo a specifici ambiti della traduzione professionale) da criteri più complessi e articolati di revisione e valutazione derivanti dalle teorie di impostazione funzionale (in particolare Vermeer 1983; Nord, 1993), fino agli approcci integrati degli ultimi anni.

About the author(s)

Christine Heiss is Professore Associato in German Language, Translation and Linguistics at the University of Bologna’s Advanced School of Modern Languages for Interpreters and Translators (Forlí campus). She is the author of numerous essays on the German adaptation of Italian films, particularly the commedia all’italiana genre. She was the director of the Master’s programme in The Multilingual Translation of Audiovisual and Multimedia Texts of the University of Bologna at Forlí for the academic year 2002/2003, and has coordinated several post-graduate courses in the same field. In 2008 she edited Between Text and Image. Updating Research in Screen Translation (together with Delia Chiaro and Chiara Bucaria). Since 2000 she is working on the Multimedia Database Forlixt 1 (together with Marcello Soffritti and Cristina Valentini).

Marcello Soffritti is Full Professor in German Language, Translation and Linguistics at the University of Bologna’s Advanced School of Modern Languages for Interpreters and Translators (Forlì campus). He is coordinator of the PhD-Programme in Translation, Interpreting and Intercultural Studies and head of the Institute for Specialised Communication and Multilingualism (Eurac Research) in Bolzano. He has published books and essays in the following fields: German descriptive linguistics, comparative linguistics, translation analysis and methodology, multimedia translation, terminology and languages for special purposes (German and Italian legal texts). He has participated into several software application concerning German and Italian lexicography and language learning. Since 2000 he is working on the Multimedia Database Forlixt 1 (together with Christine Heiss and Cristina Valentini).

Email: [please login or register to view author's email address]

•  Previous article
• Next article