Le dictionnaire de phrases humaines

Une machine propose, une personne a déjà dit

Une traduction automatique calcule ce qu’un texte de cette forme donne le plus souvent dans l’autre langue. Elle ne sait pas si quelqu’un a déjà dit cette phrase, ni comment. Un dictionnaire de phrases humaines répond à l’autre question, et c’est une question différente : cette phrase, telle qu’on la dit vraiment, quelqu’un l’a-t-il déjà écrite dans ma langue, et comment l’a-t-il rendue dans une autre.

Les deux réponses ne se mélangent jamais sur ce site, et elles ne s’affichent jamais dans le même cadre. Ce que rend la boîte est étiqueté machine, sans détour. Ce que rend cette page est étiqueté humain, avec un nom et un numéro que n’importe qui peut aller vérifier à la source. Confondre les deux, c’est perdre la seule chose qui fait la valeur de l’une comme de l’autre : savoir d’où vient ce qu’on lit.

Le dictionnaire compte aujourd’hui 29872 fiches, soit 120935 phrases réparties sur 7 langues, écrites par 2906 personnes différentes.

Trois fiches, telles qu’elles sont servies

Une fiche réunit une phrase et ses traductions. Ces trois-là sont recopiées à l’identique de ce que sert le dictionnaire : mêmes textes, mêmes noms, mêmes numéros. Elles restent lisibles sans JavaScript, et chaque numéro mène à la phrase chez Tatoeba.

L’arabe s’affiche de droite à gauche parce qu’il s’écrit ainsi, et pas seulement dans son propre paragraphe : au milieu d’un tableau français, sa ponctuation et ses chiffres se rangent du bon côté. Aucun drapeau ne désigne une langue, ici ni ailleurs sur ce site : une langue n’appartient à aucun pays.

Ce que porte chaque phrase

Trois choses, toujours les trois ensemble : le texte, le nom de la personne qui l’a déposée, et le numéro qui mène à la phrase chez Tatoeba. Une phrase dont l’auteur ne peut pas être nommé n’est pas servie du tout. Ce n’est pas une politesse, c’est la condition de la licence : citer l’auteur est la seule obligation qu’elle pose, et une phrase orpheline ne peut donc pas être republiée. Elles sont écartées à la construction, et le nombre d’écartées est au rapport de l’outil.

Le nom affiché est celui du compte qui a déposé la phrase sur Tatoeba, pas une identité civile. C’est ce que la source publie, et c’est ce que la licence demande de citer.

D’où viennent ces phrases, et sous quelle licence

De Tatoeba, une collection de phrases et de traductions constituée depuis 2006 par des bénévoles, dans plus de quatre cents langues. Nous prenons les exports hebdomadaires publiés sur downloads.tatoeba.org : le fichier des phrases détaillées, qui porte pour chaque phrase son identifiant, sa langue, son texte et le nom de son auteur, et les fichiers de liens de traduction.

La licence a été lue au fichier, pas sur une page de présentation. La page de téléchargement de Tatoeba énonce, pour ces exports : These files are released under CC BY 2.0 FR. Les conditions d’utilisation, à leur section 6.2, disent ce que cette mention implique : The BY mention implies a single restriction on the use, reuse, modification and distribution of the sentence: a condition of attribution. That is, using, reusing, modifying and distributing the sentence is only allowed if the name of the author is cited.

C’est de là que vient la règle d’attribution par phrase appliquée ici. Les deux adresses de preuve, la phrase exacte qui établit la licence et la date à laquelle elle a été lue sont consignées dans le dossier de licences du projet et republiées dans le manifeste servi avec les données, pour que personne n’ait à nous croire sur parole. Voir aussi les crédits et sources.

Comment les fiches sont choisies

Tatoeba porte plusieurs millions de phrases. Un dépotoir n’aurait servi personne : le choix a été de resserrer, et les seuils sont publiés avec les données pour pouvoir être contestés.

• Une fiche s’articule sur une phrase anglaise. Chaque autre phrase de la fiche lui est reliée par un lien de traduction direct, déposé par un contributeur. Aucun alignement n’est déduit en passant par une troisième langue : ce serait fabriquer une donnée que personne n’a affirmée.
• Une fiche doit relier au moins quatre des sept langues. Le seuil descend à trois quand le bengali ou le hindi est de la partie : ce sont les deux langues les moins fournies du corpus, et un seuil uniforme les aurait fait disparaître à cause de leur propre rareté.
• La phrase anglaise fait de huit à soixante-quatre caractères, douze mots au plus, et se termine par une ponctuation forte. Une phrase courte et complète s’apprend et se réemploie ; un paragraphe, non.
• Quand plusieurs traductions existent dans une même langue, la plus courte est retenue, et à longueur égale la plus ancienne, celle qui a été relue le plus longtemps.
• Chaque phrase doit être écrite dans l’écriture de sa langue. Un corpus tenu par des bénévoles porte inévitablement des phrases déposées sous la mauvaise étiquette, et une phrase latine servie comme du bengali ferait lire du français avec une voix bengalie.
• Les phrases qui emploient les prénoms de convention de Tatoeba sont plafonnées à un quart des fiches. Elles sont légitimes et elles sont partout ; un dictionnaire où trois phrases sur quatre parlent du même personnage n’apprend plus grand-chose.

Ce que le dictionnaire ne contient pas

Les sept langues ne sont pas servies également, et cela se voit. L’anglais est présent dans chaque fiche puisque c’est autour de lui qu’elles se construisent ; le bengali est la langue la moins fournie, parce que le corpus d’origine en contient peu et que nous n’en inventons pas.

Trois autres limites, qui se disent plutôt qu’elles ne se découvrent.

• Tatoeba étiquette le mandarin sans distinguer le sinogramme simplifié du traditionnel. La maison sert le chinois simplifié : les phrases portant une forme traditionnelle courante sont donc écartées. C’est un filtre, pas une preuve, et une phrase traditionnelle écrite sans aucune de ces formes passerait à travers.
• Une phrase de Tatoeba est déposée par un bénévole, pas validée par une autorité linguistique. Elle est humaine et attribuée ; elle n’est pas certifiée exacte. Pour du vocabulaire vérifié terme à terme, avec sa nuance d’usage et son piège, voir les glossaires.
• Un mot très courant relie des milliers de fiches. Au-delà de cinq cents, la liste est tronquée à la construction : la recherche annonce alors « au moins », jamais un compte qu’elle ne tiendrait pas.

Prendre les fichiers

Le dictionnaire est servi en fichiers statiques, sans compte et sans clé. Le manifeste, à /dictionnaire/manifeste.json, décrit tout le reste : les langues, les critères de sélection, la licence avec ses adresses de preuve, le nombre de fragments et le modèle d’adresse d’une phrase à la source. Les fiches vivent sous /dictionnaire/fiches/, l’index sous /dictionnaire/index/, une langue par dossier.

L’ensemble pèse 10635 ko, répartis en 96 fragments. Personne ne télécharge ce total : une recherche ne prend que les fragments qu’elle désigne, en général deux ou trois. C’est ce découpage qui permet de chercher dans un corpus entier sans serveur, et c’est aussi ce qui garde le premier affichage rapide.

Le format servi est décrit dans le manifeste lui-même : chaque phrase d’une fiche est un quadruplet, rang de langue, identifiant Tatoeba, texte, auteur. Une réutilisation doit reconduire l’attribution par phrase, comme nous le faisons ici. Ce que nous ajoutons de notre côté, la sélection, le découpage et l’index, est publié en CC BY 4.0.

Aller plus loin

• La traduction machine, dans la page d’à côté et étiquetée comme telle : la boîte de traduction.
• Ce qu’une machine rate et qu’une phrase humaine montre : ce que vaut une traduction machine.
• Ce qui fait rater une publication au-delà du vocabulaire, langue par langue : les pièges de traduction.
• Un terme, sa nuance d’usage et son piège, vérifiés à la source : les glossaires.
• Une phrase fausse, mal alignée ou mal étiquetée : signalez-la, cela se corrige. Une correction de fond se fait aussi directement chez Tatoeba, où la phrase vit.