Évaluer la traduction automatique : les indicateurs du succès

métriques pour la traduction automatique

Les entreprises internationales ont besoin d'une communication fiable entre les collaborateurs, les fournisseurs, les équipes commerciales et les clients. De plus, les entreprises en croissance veulent pouvoir s'implanter dans de nouveaux territoires. Enfin, les services clients internationaux doivent pouvoir fournir des ressources et des réponses aux consommateurs du monde entier.

La traduction automatique (MT) offre une vitesse et une précision de traduction incroyables. Sa capacité à apprendre à partir des données signifie que les fonctionnalités s'améliorent avec le temps. Il n'est donc pas surprenant que le marché mondial de la traduction automatique ait été évalué à 812,6 millions de dollars en 2021 et qu'il soit estimé à 4 069,5 millions de dollars d'ici 2030.

La traduction automatique aide les entreprises à économiser du temps et de l'argent, réduit les problèmes liés aux barrières linguistiques et améliore l'expérience client.

L'exactitude des communications est essentielle, notamment lorsqu'il s'agit de contenu juridique, médical ou technique. Mais comment mesurer cette exactitude ? La qualité de la traduction est-elle suffisante pour l'usage auquel elle est destinée ? En évaluant la qualité de la traduction à l'aide d'indicateurs reconnus, il est plus simple de répondre aux attentes des destinataires. En outre, cette évaluation permet de fournir des retours aux développeurs de ces solutions de traduction automatique et donc d'offrir une meilleure traduction automatique au global.

Une traduction automatique efficace dans tous les secteurs

La traduction automatique est en train de prendre une place importante dans tous les secteurs, des entreprises de jeux vidéos aux agences gouvernementales, de la médecine à l'industrie. Les entreprises se doivent aujourd'hui de communiquer au-delà des barrières linguistiques.

En effet, et par exemple, dans le secteur du commerce électronique, 80 % des acheteurs préfèrent acheter sur des sites traduits dans leur langue maternelle. Cela signifie des ventes plus importantes pour les entreprises qui traduisent correctement les descriptions de leurs produits.

Les entreprises pharmaceutiques doivent traduire avec précision des documents complexes.

Les organismes gouvernementaux doivent souvent fournir et/ou comprendre des documents et du matériel de référence dans plusieurs langues.

Les entreprises tech se basent sur des systèmes de traduction automatique pour suivre l'évolution de leurs industries au niveau global.

Les indicateurs d'évaluation donc donc très importants pour s'assurer que la qualité de la traduction réponde aux besoins des entreprises mais aussi à signaler les difficultés qui peuvent nécessiter une intervention humaine.

Quels indicateurs les entreprises peuvent-elles utiliser pour évaluer leurs systèmes de traduction automatique ?

Quelle que soit l'industrie, l'évaluation de la production de traduction automatique est essentielle. Les entreprises peuvent évaluer leurs systèmes de traduction automatique à l'aide d'outils d'évaluation humaine ou d'Intelligence Artificielle.

L'évaluation humaine manuelle par des traducteurs professionnels est la référence en matière d'évaluation de la production des solutions de traduction automatique. L'évaluation humaine peut saisir les nuances liées au contexte par exemple. Toutefois, les évaluations peuvent varier d'un évaluateur à l'autre, et comme le processus prend beaucoup de temps, l'évaluation humaine n'est peut-être pas l'option la plus rentable pour toutes les entreprises.

Les mesures d'évaluation automatisées fournissent des scores numériques reflétant la qualité de la donnée cible par rapport à une traduction générée par l'homme. Les entreprises peuvent les utiliser pour évaluer rapidement la traduction automatique et gérer de grandes quantités de données. Plusieurs indicateurs sont disponibles. Chacun utilise des calculs différents pour mesurer la précision de la traduction automatique et donne des pondérations différentes selon les types d'erreurs.

Les trois indicateurs les plus couramment utilisés sont les suivants :

Bilingual Evaluation Understudy (BLEU)

Le score BLEU est l'indicateur le plus largement accepté et celui qui qui correspond le plus étroitement à la traduction humaine. Cette mesure analyse un texte, compare le texte de sortie au texte source, et attribue un score de 0-1 ou 0-100 en fonction de la comparaison de n-grammes (morceaux de phrases) et de la précision de la traduction. Plus le score est élevé, plus la corrélation est élevée avec le texte source. Les avantages du score BLEU sont sa vitesse et sa facilité d'utilisation.

Translation Edit Rate (TER)

Egalement appelée taux d'erreurs de conversion, le score TER attribue un score basé sur le nombre de modifications nécessaires pour faire correspondre exactement la sortie cible au texte source. Cela permet de déterminer la quantité de post-édition qui doit être effectuée une fois que la traduction automatique est terminée. Un score inférieur signifie que moins de post-édition sera nécessaire.

Mesure de l'évaluation de la traduction avec commande explicite (METEOR)

Ce score calcule la précision et le rappel des unigrammes. Il utilise des fonctionnalités telles que la terminaison, la correspondance de synonymes et la correspondance exacte de mots pour analyser le texte au niveau de la phrase. Le score obtenu indique la corrélation entre la sortie cible et le texte source de référence traduite par l'utilisateur.

D'autres indicateurs sont disponibles, notamment le NIST, le LEPOR, le COMET et le PRIS. Bien que les indicateurs automatiques soient imparfaits et n'atteignent peut-être pas les normes humaines, ce sont des outils puissants et rentables. En outre, ils sont rapides, simples à utiliser et ne nécessitent aucune intervention humaine.

Comment les entreprises peuvent-elles utiliser des indicateurs pour améliorer l'efficacité de leurs systèmes de traduction automatique ?

Chaque méthode d'évaluation des systèmes de traduction automatique comporte des points forts et des points faibles. Les entreprises choisiront la mesure ou la combinaison qui répond le mieux à leurs objectifs et à leur budget. Cependant, un suivi et une évaluation cohérents sont essentiels pour suivre l’évolution de la langue, de la terminologie spécifique au secteur et des capacités de la solution de traduction automatique.

Les entreprises peuvent ensuite utiliser ces résultats :

Identification des points à améliorer

Si le système de traduction automatique fait systématiquement une erreur grammaticale spécifique ou rencontre des problèmes avec une langue particulière, l'entreprise peut prioriser les améliorations en fonction des modèles d'entraînement.

Établissement d'objectifs en fonction des indicateurs

Certains publics peuvent exiger plus d'attention aux détails que d'autres. Par conséquent, une entreprise peut souhaiter définir un indicateur cible à atteindre dans un délai précis.

Comparaison de plusieurs systèmes de traduction automatique

Les entreprises qui évaluent différents systèmes ou qui travaillent avec plusieurs fournisseurs peuvent prendre des décisions d'achat éclairées en fonction de leur secteur d'activité et de leurs exemples d'utilisation.

En fixant des objectifs réalistes, en analysant les indicateurs d'évaluation et en suivant les progrès accomplis dans la réalisation de ces objectifs au fil du temps, les entreprises peuvent s'assurer que leur système de traduction automatique réponde à leurs besoins spécifiques et fournit les traductions de haute qualité dont elles ont besoin. Lorsqu'elles tiennent compte de ces indicateurs, ainsi que des commentaires et des préférences des utilisateurs, elles peuvent atteindre leurs objectifs commerciaux et répondre aux attentes des clients.

Auteur
Caroline - Linguiste
Temps
Lecture : 4 min.
S'inscrire à la newsletter
Retrouvez toute l'actu et les dernières technos. Un magazine conçu par SYSTRAN