Les limites, dites franchement

Ce que la machine rate, concrètement

Sept familles d’erreurs reviennent sans cesse dans la traduction automatique, quel que soit le moteur. Les connaître ne dispense pas de relire ; cela dit au moins où regarder en premier.

1. Les négations

   Une négation oubliée ou ajoutée reste un échec documenté des systèmes de traduction neuronale en général, et rien dans l’architecture de cette boîte ne le prévient particulièrement. Une consigne comme « ne prenez pas ce médicament à jeun » peut ressortir sans son « pas », et dire l’inverse de ce qu’elle voulait dire. La phrase produite reste grammaticalement correcte des deux côtés : seul le sens a changé, et rien dans sa forme ne le signale.

2. Les noms propres

   Un nom de personne, de rue ou d’institution n’a normalement pas de traduction : il se recopie. Une machine qui traite le texte mot à mot peut pourtant le confondre avec un mot ordinaire de la langue et le traduire quand même. Une avocate travaillant sur des dossiers d’asile a ainsi décrit des traductions automatiques de pièces administratives où le nom de la ville et celui de l’État étaient faux, et où l’ordre des phrases se trouvait inversé (Context, Thomson Reuters Foundation, 18 septembre 2023). Sur un document d’identité ou une pièce administrative, ce genre d’erreur n’est pas cosmétique.

3. Les chiffres et les unités

   Une virgule et un point ne veulent pas dire la même chose selon la langue : « 3,5 » écrit à la française peut, mal reconnu, se lire 3 500 en anglais, et un « 3,500 » anglais peut à l’inverse se lire 3,5 en français. Une machine qui traduit un texte ne convertit pas non plus les unités : un poids donné en kilogrammes reste en kilogrammes après traduction, jamais recalculé en livres, même si le public visé attend l’inverse. Traduire une langue et convertir un système de mesure sont deux gestes différents ; la boîte ne fait que le premier.

4. Les ambiguïtés de genre

   L’anglais, qui sert de pivot à presque toutes les traductions de cette boîte (voir plus bas), ne marque grammaticalement le genre que sur les pronoms, bien moins que le français, l’arabe ou l’hindi. Quand une phrase anglaise ne porte aucun signal de genre, un moteur doit pourtant choisir pour la langue cible, souvent en s’appuyant sur les régularités statistiques de son corpus d’entraînement. Google a documenté ce mécanisme sur son propre service en 2018 : traduit depuis le turc, qui n’a qu’un seul pronom de troisième personne pour « il » et « elle », Google Traduction assignait systématiquement le masculin à « médecin » et le féminin à « infirmière », quelle que soit la phrase d’origine (Google, blogue de recherche, 6 décembre 2018). Le mécanisme qui produit cette erreur, deviner une information absente du texte de départ, est celui de tout système de ce type, y compris celui-ci lorsqu’il traduit depuis l’anglais vers une langue qui marque le genre.

5. Les registres de politesse

   Le français distingue le tutoiement du vouvoiement ; le japonais et le coréen distinguent plusieurs niveaux de politesse, portés par la forme même du verbe. Rien de tout cela n’existe en anglais, qui sert de pivot à la boîte : une lettre professionnelle traduite vers le japonais peut ressortir dans un registre neutre ou familier là où l’usage professionnel attend un registre soutenu, sans qu’aucune erreur ne saute aux yeux dans le texte produit, qui reste grammaticalement correct.

6. Les termes métier

   Un mot du langage courant change parfois entièrement de sens dans un domaine précis, et une machine entraînée sur du texte général retient souvent le sens le plus fréquent, pas le bon. L’anglais juridique « consideration », la contrepartie qui rend un contrat valable, se traduit couramment à tort en français par « considération », l’estime que l’on porte à quelqu’un : les deux mots se ressemblent, ils ne veulent rien dire de commun. Un glossaire métier vérifié tranche ce genre de cas une fois pour toutes ; une traduction à la volée ne le sait pas d’avance.

7. Les textes longs, sur plusieurs phrases

   Le moteur découpe un texte en phrases et traduit chaque phrase pour elle-même : rien, dans son fonctionnement, ne relie une phrase à celle qui la précède ou la suit. Un même terme technique peut donc recevoir deux traductions différentes dans le même document, ou un pronom perdre l’accord de genre porté par le nom auquel il renvoyait deux phrases plus haut, sans qu’aucune des deux phrases prise isolément ne soit fausse. C’est très exactement ce que nos glossaires humains existent pour résoudre dans la mémoire de traduction déjà relue : la boîte, elle, ne porte aucune mémoire d’une phrase à l’autre.

Une qualité qui n’est pas la même pour toutes les langues

Chaque paire de langues embarquée dans la boîte vient avec un score de qualité publié par Mozilla elle-même, le COMET22, mesuré sur son propre jeu de test, flores200-plus. Ce n’est pas un chiffre que nous calculons : il vit dans le registre des modèles, à la même adresse que les fichiers eux-mêmes, et il varie fortement d’une paire à l’autre.

Aujourd’hui, la boîte embarque 112 paires de modèles pour 59 langues. Les mieux servies dépassent 0,90 ; d’autres restent nettement en dessous, y compris parmi les sept langues de cette maison : le hindi, l’une des sept, ne monte qu’à 0,7902 depuis l’anglais.

Le marathi (en-mr) est la paire la plus faible de tout le registre ; le hindi (en-hi) vient juste derrière, alors que c’est l’une des sept langues de cette maison, pas une langue marginale pour nous. Une paire, le bosniaque-croate-serbe vers l’anglais, n’a même aucun score COMET22 publié : le modèle existe et se télécharge, le chiffre qui dirait sa qualité, non.

Quatre langues, enfin, ne vont que dans un sens : l’afrikaans, le biélorusse, le bosniaque-croate-serbe et le norvégien nynorsk se traduisent vers l’anglais, jamais depuis l’anglais. Ce n’est pas un oubli de notre part, c’est ce que Mozilla publie, et nous ne comblons pas ce trou par un modèle qui n’existerait pas vraiment.

Ce que mesure au juste un score COMET22, et ce qu’il ne mesure pas, est expliqué sur Ce que vaut une traduction machine : nous ne le répétons pas ici, pour ne pas en donner une version qui diverge.

La perte du pivot

Le registre de modèles ne contient aucune paire directe entre deux langues qui ne sont pas l’anglais : ni français-arabe, ni arabe-japonais, ni hindi-chinois. Chaque fois que ni la langue de départ ni la langue d’arrivée n’est l’anglais, la boîte enchaîne deux traductions, d’abord vers l’anglais, puis de l’anglais vers la langue voulue. Le moteur expose ce pivot comme un geste unique, pas comme deux appels recollés à la main derrière : le découpage en phrases ne s’en trouve pas cassé, et la sortie garde une forme correcte.

Ce que le pivot ne répare pas, c’est la perte d’information au passage par l’anglais. Une information que le français, l’arabe ou le coréen portent grammaticalement (le genre d’un nom, le niveau de politesse d’une phrase) et que l’anglais ne porte pas du tout doit être reconstruite une seconde fois, à la seconde traduction, sans le secours de ce que la première langue avait dit. Traduire du coréen vers le français en passant par l’anglais, par exemple, peut faire disparaître un niveau de politesse pourtant marqué dans la phrase coréenne de départ, parce que l’anglais qui sert d’étape intermédiaire ne l’a jamais porté. Deux traductions ne valent pas mieux qu’une : chacune ajoute ses propres erreurs, elle n’annule pas celles de l’autre.

Ce que vous devez faire d’une traduction machine

Trois gestes, dans cet ordre, avant qu’une sortie de cette boîte serve à quoi que ce soit qui compte.

• Relue par vous-même, entièrement, avant tout usage : une sortie non relue est un brouillon, jamais un texte fini.
• Relue par une autre personne que vous si elle doit servir à quelqu’un d’autre que vous, si possible une personne qui connaît la langue d’arrivée ou le domaine du texte.
• Jamais publiée telle quelle sous le nom d’une institution, d’une association ou d’une administration : une signature engage, une machine ne signe rien.

C’est exactement l’exigence que cette maison s’impose à elle-même pour ses propres contenus : aucune entrée de sa mémoire de traduction n’est publiée sans relecture humaine, et son atelier interne refuse même de pré-traduire le médical, le juridique et le financier avant qu’une personne y touche. Nous ne demandons pas au visiteur un soin que nous ne nous imposons pas d’abord.

Pourquoi la publier quand même

Une traduction automatique qui rate en silence n’est pas moins fausse qu’une traduction automatique qui rate en le disant : elle est seulement plus dangereuse, parce que personne ne s’en méfie.

Ne pas proposer cette boîte n’aurait empêché personne d’en utiliser une autre ailleurs, sans cette page à côté. Nous avons choisi de l’embarquer ici, bornée par ce qu’il faut savoir avant de s’en servir, plutôt que de laisser cette même personne s’en servir ailleurs sans qu’aucune de ces limites ne lui soit jamais dite.