Langues peu dotées : pourquoi la qualité d’une traduction automatique décroche

Le bengali n’est pas une langue marginale. Elle compte pourtant parmi celles que les systèmes de traduction automatique servent le moins bien, loin derrière des langues bien plus confidentielles. Ce qui fait qu’une langue est dite peu dotée ne tient pas à son nombre de locuteurs : cela tient à la quantité de texte déjà numérisé, et surtout déjà traduit, disponible pour entraîner un système à la manipuler.

Un écart mesurable, pas une impression

Mozilla publie, pour chaque paire de langues de son registre de modèles de traduction, un score de qualité appelé COMET22, mesuré sur un jeu de test partagé nommé FLORES200-plus. Ce score permet de comparer des paires entre elles sur la même échelle. Il montre, par exemple, un écart net selon le sens de la traduction pour une même langue : traduire du hindi vers l’anglais obtient un score sensiblement plus élevé que traduire de l’anglais vers le hindi. Produire une langue en sortie, avec sa morphologie propre et ses accords, est un exercice différent de la comprendre en entrée, et les deux sens ne disposent pas des mêmes quantités de texte d’entraînement.

Le même écart existe pour le bengali : le score mesuré depuis le bengali vers l’anglais dépasse celui mesuré de l’anglais vers le bengali. Ce n’est pas une anomalie isolée, c’est un motif qui revient dès qu’une langue dispose de moins de texte cible déjà produit par des traducteurs humains, la matière dont un système statistique a besoin pour apprendre à écrire correctement dans cette langue plutôt qu’à la reconnaître.

Cet écart ne va cependant pas toujours dans le même sens. Pour le chinois, c’est l’inverse qui se produit dans ce même registre : le score mesuré de l’anglais vers le chinois dépasse celui mesuré du chinois vers l’anglais. La rareté ne pénalise donc pas systématiquement la même direction : elle dépend de la quantité de texte disponible pour chaque sens précis, propre à chaque paire de langues, et aucune règle générale ne permet de deviner à l’avance quel sens en pâtira le plus.

Ce que change un jeu d’évaluation commun

Pendant longtemps, une partie du problème est restée invisible faute d’un instrument pour la mesurer : sans jeu de test comparable d’une langue à l’autre, une langue mal servie pouvait rester mal servie sans que personne ne le constate clairement. Le jeu FLORES-200, construit par une équipe de Meta AI dans le cadre du projet No Language Left Behind, a étendu cette mesure à environ deux cents langues, dont plus de cent cinquante considérées comme peu dotées, en faisant traduire les mêmes textes par des traducteurs professionnels dans chacune. Pour la première fois, la qualité d’une traduction vers des langues jusque-là ignorées des systèmes commerciaux pouvait se comparer, sur le même étalon, à celle vers le français ou l’espagnol.

Le projet ne s’est pas arrêté à la mesure. Pour entraîner des modèles sur des langues disposant de peu de texte parallèle, l’équipe a construit une architecture à experts, qui redirige les langues les moins dotées vers une capacité de calcul partagée plutôt que de leur réserver une capacité propre insuffisante, évitant ainsi un surapprentissage sur trop peu de données. Combinée à des techniques de constitution de corpus à grande échelle portant sur dix-huit milliards de phrases parallèles, cette approche revendique un gain de qualité de quarante-quatre pour cent, mesuré en score BLEU, par rapport aux systèmes précédents, et une couverture de soixante-quinze langues qu’aucun système commercial de traduction ne proposait jusque-là.

Une rareté qui recule, pas qui disparaît

Ces avancées ne comblent pas l’écart d’un coup. Elles changent surtout sa nature : d’un manque invisible, faute d’instrument pour le mesurer, il devient un écart documenté, chiffré, et donc une cible pour le travail suivant. L’écart de score entre traduire vers une langue et traduire depuis elle, déjà mesurable dans un registre de taille modeste, rappelle qu’une langue peu dotée ne l’est pas de la même manière dans les deux sens : un rappel utile dès qu’on choisit une langue cible plutôt qu’une langue source pour un projet donné.

La leçon dépasse le seul bengali. Une langue parlée par des millions de personnes peut rester peu dotée aussi longtemps que le texte qu’elle produit n’est pas numérisé, traduit et rendu disponible pour l’entraînement, quel que soit par ailleurs son poids démographique.