Come valutare la qualità della traduzione automatica

Soprattutto se da un po' di tempo avete un processo di traduzione guidato dall'uomo, potreste chiedervi se la traduzione automatica (MT) sia in grado di produrre risultati comparabili in termini di qualità. Parliamo dell'accuratezza complessiva della traduzione automatica, del modo in cui viene valutata la qualità della traduzione automatica e della direzione finale e della stima della qualità della traduzione automatica.

Qual è l'accuratezza della traduzione automatica?

La traduzione automatica è abbastanza accurata grazie all'avvento delle reti neurali, un metodo di intelligenza artificiale. Invece di tradurre quasi parola per parola, queste reti considerano il contesto per produrre traduzioni più accurate. Ma si avvicinano all'equivalente umano? La risposta dipende spesso da diversi fattori:

• Il suo software di traduzione automatica. Alcuni motori di traduzione automatica sono più affidabili di altri in termini di qualità della traduzione, quindi quello che sceglie è importante.
• Dominio. Alcuni sistemi di traduzione automatica sono per uso generale, mentre altri sono formati in settori specifici. Quando si traduce una terminologia complessa, ad esempio per contenuti scientifici o legali, avere un motore di traduzione automatica addestrato sul proprio dominio può fare la differenza.
• Tipo di contenuto. La traduzione automatica potrebbe non essere altrettanto accurata per cose come campagne di marketing, slogan o slogan. Questi spesso richiedono di catturare la personalità o un'emozione di un marchio piuttosto che renderne una traduzione esatta.
• Combinazione linguistica. Anche i punteggi di qualità dei migliori fornitori di traduzione automatica variano a seconda della combinazione linguistica. Una varietà di fattori può causare questo, tra cui la mancanza di parole o frasi equivalenti nella lingua di destinazione e di origine.

Tutto sommato, la traduzione automatica può spesso farti arrivare fino in fondo a una traduzione. I traduttori umani possono quindi eseguire il post-editing della traduzione automatica (MTPE) per garantire l'accuratezza e portare i contenuti a uno stato pubblicabile.

Cos'è la valutazione della qualità della traduzione automatica?

La valutazione della qualità della traduzione automatica è il modo tradizionale per valutare se il testo tradotto automaticamente è alla pari con il modo in cui un essere umano tradurrebbe il testo di partenza. Esistono diverse metriche di valutazione, tra cui BLEU, NIST e TER. Questi vengono utilizzati per assegnare un punteggio ai segmenti tradotti automaticamente in base alla loro somiglianza con le traduzioni di riferimento.

Le traduzioni di riferimento sono traduzioni di alta qualità del testo di partenza generate da traduttori umani. Questi riferimenti sono utili, ovviamente. Tuttavia, non sono sempre disponibili: fare affidamento su di essi durante i progetti di traduzione non è l'ideale. Qual è il modo più efficace per valutare la qualità, allora? Noi di Smartling utilizziamo una combinazione di due metodi.

Il primo è costituito da valutazioni mensili di metriche di qualità multidimensionali (MQM) di terze parti in otto aree locali. Queste valutazioni sono il gold standard del settore per la valutazione di HT, MT e MTPE. Per assegnare punteggi di qualità appropriati, MQM esamina il tipo e la gravità degli errori riscontrati nel testo tradotto.

In secondo luogo, sfruttiamo valutazioni della qualità continue, in tempo reale e automatizzate. Questi misurano la distanza finale o il tasso di errore di traslazione in HT, MT e MTPE. In definitiva, questi due tipi di valutazione ci consentono di offrire una qualità di traduzione garantita.

Qual è l'importanza della valutazione della traduzione automatica?

La valutazione mira a determinare se una traduzione soddisfa i seguenti criteri:

1. Accurata. Il contenuto deve trasmettere fedelmente il messaggio e il sentimento del testo originale nella lingua di destinazione.
2. Chiaro. Il messaggio deve essere facilmente comprensibile e tutte le istruzioni devono essere attuabili e facili da seguire.
3. Appropriato. Alcuni tipi di pubblico richiedono determinati livelli di formalità, ad esempio. Garantire che i segmenti tradotti mostrino il dovuto rispetto al pubblico e non lo allontanino o lo offendano è fondamentale.

Un segmento tradotto che non è all'altezza di una di queste aree richiederà il post-editing da parte di un traduttore umano.

Per quanto riguarda i vantaggi della valutazione della traduzione automatica, ce ne sono diversi. È possibile utilizzarlo per stimare i costi e i risparmi di traduzione e per determinare un compenso adeguato per i linguisti. I traduttori possono anche vedere a colpo d'occhio quanto sforzo di post-editing richiederà un contenuto.

Due metodi per valutare la qualità della traduzione automatica

Ci sono due opzioni per valutare la traduzione automatica:

1. Valutazione manuale: I traduttori umani esaminano fattori come la fluidità, l'adeguatezza e gli errori di traduzione, come le parole mancanti e l'ordine errato delle parole. Lo svantaggio di questo metodo è che ogni linguista può definire la "qualità" in modo soggettivo.
2. Valutazione automatica: Questo metodo prevede il punteggio tramite algoritmi. Gli algoritmi utilizzano traduzioni di riferimento umane e metriche automatiche come BLEU e METEOR per giudicare la qualità. Mentre la valutazione umana è più accurata a livello di frase, questo metodo offre una visione a volo d'uccello ed è più scalabile ed economico.

Le differenze: stima della qualità della traduzione automatica vs. valutazione

A differenza della valutazione della qualità, la stima della qualità della traduzione automatica (MTQE) non si basa su traduzioni di riferimento umane. Utilizza metodi di apprendimento automatico (ML) per imparare dalle correlazioni tra i segmenti di origine e di destinazione. Queste correlazioni informano le stime, che possono essere create a livello di parola, frase, frase o documento.

Per cosa usare la stima della qualità MT

Nel nostro episodio della Reality Series sulla stima della qualità della traduzione automatica, Mei Zheng, Senior Data Scientist di Smartling, ha dato questo consiglio:

"Se hai le risorse per fare il punteggio automatico su tutti i tuoi contenuti, fallo sicuramente. Quindi, campiona alcune di quelle stringhe per la valutazione da parte degli esseri umani. In questo modo, si ottiene una linea di base di ciò a cui corrisponde il punteggio automatico quando un linguista lo vede".

Qual è il valore di impostare queste linee di base basate su stime di qualità per un'ampia gamma di contenuti? Quando si identificano anche i modelli tra stringhe tradotte in modo non corretto, è possibile valutare in modo rapido e affidabile se il contenuto tradotto automaticamente è pubblicabile così com'è.

Fattori che influenzano i punteggi di stima della qualità della traduzione automatica

La stima automatica della qualità è rapida ed economica. Tuttavia, come afferma Alex Yanishevsky, direttore delle soluzioni di traduzione automatica e intelligenza artificiale di Smartling, "Non ti darà la stessa visione di un essere umano". Come discusso nel webinar MTQE, ci sono diverse ragioni per questo.

La fonte e la sua qualità

Esistono diversi algoritmi per la stima della qualità, ma la maggior parte non tiene conto del contesto circostante, come il genere. Considerate, ad esempio, il seguente testo: "Il dott. Smith è stato dichiarato colpevole di detenzione di un animale protetto dalla Atherton Magistrates Court dopo essere stato accusato di aver rimosso un pitone dalla proprietà di un residente. Ha poi affrontato il processo legale per appellarsi alla sentenza del tribunale".

Per precisione, in una lingua come lo spagnolo, "Doctor" dovrebbe essere tradotto nella forma femminile (cioè "Doctora"). Tuttavia, la maggior parte dei motori di traduzione automatica non è addestrata a rilevare questo tipo di pregiudizio di genere. Senza l'applicazione di una progettazione tempestiva alla lingua di origine, l'output potrebbe essere errato e influire sul punteggio di qualità.

Descrizione dell'immagine: Considerazioni sulle fonti per la stima della qualità della traduzione automatica

Un altro fattore che può influenzare le stime di qualità è la mancanza di chiarezza o la possibilità di diverse interpretazioni del testo di partenza. Mei l'ha messa semplicemente: "Quando la fonte è ambigua e noi come esseri umani non sappiamo come interpretarla, non possiamo aspettarci che la traduzione automatica faccia un lavoro migliore del nostro".

Inoltre, poiché i modelli MTQE sono addestrati su set di dati puliti, non sempre gestiscono bene i dati più complicati. Le parolacce sono un buon esempio. Mei ha spiegato: «Quando usa parolacce, i modelli [di stima della qualità] prevedono una sanzione molto alta. Le dicono: «Ehi, questa è una cattiva traduzione; non dovrebbe pubblicarla». Quando ha casi d'uso per [parolacce], non può usare questi meccanismi automatici di punteggio per questo».

Il tuo dominio o settore

Diversi algoritmi di punteggio possono fornire stime diverse in base alla loro familiarità con la terminologia di un settore. Quindi, Alex ha sottolineato che "non esiste un algoritmo di punteggio onnicomprensivo". Ha continuato: "Affinché un algoritmo sia efficace, avremmo bisogno di dati specifici per quel dominio o quel settore". Così come i sistemi di traduzione automatica possono essere personalizzati in base a un particolare settore per produrre traduzioni più accurate, anche gli algoritmi di punteggio possono essere addestrati su domini specifici.

Questi dati specifici del dominio possono spesso essere critici. Alex ha spiegato: "Se si dispone di un settore regolamentato come quello delle scienze della vita, medico o farmaceutico, il 90% [di precisione], nella maggior parte dei casi, probabilmente non è sufficiente. Se, ad esempio, la virgola è nel posto sbagliato e stiamo parlando dell'uso di un coltello chirurgico, potrebbe letteralmente fare la differenza tra la vita e la morte". La posta in gioco è alta anche in altri settori, come la finanza e il legale.

Il pubblico a cui è destinato

Le stime possono anche variare in base alla comprensione da parte di un algoritmo delle soglie di qualità per una determinata lingua. Mei ha detto: "La formalità, la scelta delle parole e la voce dei tuoi contenuti, rientra nelle tue preferenze stilistiche. Ma a volte è più di una preferenza. È come, 'Devo trasmettere questo in modo formale; altrimenti, perderò il mio cliente'". Ecco perché la valutazione manuale può essere così vantaggiosa per la garanzia della qualità.

Mei ha continuato: «Nel caso dello spagnolo, dove non è solo formale o informale, la scelta delle parole dipende davvero dal livello di rispetto che deve riservare alla persona con cui sta parlando. E questo dipende dal rapporto che ha con la persona, se quella persona è di rango più alto di Lei o è più giovane di Lei».

Il futuro della qualità della traduzione automatica e dell'MTQE

La qualità della traduzione automatica continuerà a migliorare, soprattutto perché sempre più persone utilizzano modelli linguistici di grandi dimensioni (LLM) come GPT-4 per integrarla. Mei ha osservato che "questi LLM sono molto potenti nell'apportare correzioni alle MT, come [garantire] l'accuratezza del genere, la formalità, le guide di stile, ecc." Tuttavia, hanno carenze che richiedono ai linguisti di prendere il gioco. Le allucinazioni LLM, in cui i modelli presentano informazioni imprecise come fatti, sono un buon esempio di questo.

In definitiva, MT e LLM consentiranno di completare i progetti di traduzione in modo più rapido e accurato. Ma i linguisti rimarranno al posto di guida, apportando le modifiche necessarie per migliorare le traduzioni. Alex condivide un sentimento simile, prevedendo che i traduttori potrebbero prima o poi assumere più compiti di un ingegnere dei prompt. "Inizieranno a imparare a scrivere effettivamente i suggerimenti in modo tale che l'LLM sia in grado di correggere l'output e di adattarlo a uno stile particolare di cui hanno bisogno, che si tratti di genere, sia che si tratti di formalità".

E per quanto riguarda il futuro della stima della qualità della traduzione automatica? Un grande passo avanti sarà la creazione di algoritmi che considerino la fonte e il target. Idealmente, saranno in grado di ponderare correttamente i punteggi per tenere conto di fattori come l'ambiguità e la complessità dell'argomento. O, almeno, migliorare il processo di segnalazione dei problemi che potrebbero avere un impatto negativo sull'obiettivo.

Nel frattempo, però, hai già accesso a motori di traduzione automatica all'avanguardia tramite il Neural Machine Translation Hub di Smartling. Ci sono anche funzioni integrate di valutazione della qualità, come la selezione automatica Smartling. La selezione automatica considera le ultime modifiche apportate a ciascun motore di traduzione automatica disponibile e identifica il miglior provider corrente per una specifica coppia di impostazioni locali.

Descrizione dell'immagine: Motori MT integrati nell'hub Smartling NMT

Quali sono i risultati di questo approccio basato su un motore multi-MT basato sulla stima della qualità? Traduzioni automatiche di qualità fino al 350% superiore e una minore necessità di post-editing, con conseguente riduzione dei costi e tempi di commercializzazione più rapidi.

Per ulteriori informazioni su come Smartling può aiutarti a raggiungere questi risultati, guarda la nostra demo di Neural Machine Translation Hub. Saremo lieti di rispondere a tutte le vostre domande!