Les données ouvertes

Ce qui est publié, et sous quelle licence

La mémoire de traduction, les packs des 7 langues de la maison, les glossaires, les pièges par langue et leurs deux exports TMX et CSV sont publiés sous licence Creative Commons Attribution 4.0 (CC BY 4.0). N’importe qui peut copier ces fichiers, les traduire, les republier, les croiser avec d’autres données, y compris dans un usage commercial, à trois conditions que pose la licence : citer l’ODERSA, indiquer si le contenu a été modifié, et joindre le lien vers la licence.

C’est ce choix qui fait de ce projet une infrastructure, et pas un outil de maison. Une mémoire ou un glossaire réservés à l’ODERSA resteraient un outil interne parmi d’autres ; publiés, mesurés et ouverts, ils deviennent une pièce que n’importe quelle association ou n’importe quel site peut venir prendre sans rien demander à personne, plutôt que de tenir seul, dans son coin, le même registre.

Deux autres familles vivent à côté de ce corpus, servies par ce même site, et elles ne portent PAS cette licence : le registre des modèles de traduction est à Mozilla, sous MPL-2.0 ; le dictionnaire de phrases humaines est à Tatoeba, sous CC BY 2.0 FR, avec une attribution qui se fait phrase par phrase et jamais en bloc. Les mélanger sous une seule étiquette « CC BY 4.0 » serait faux. Le tableau ci-dessous dit, famille par famille, qui détient quoi et comment le citer ; chacune est détaillée plus bas.

Aujourd’hui, la mémoire porte 674 entrées pour un poids de 1576 Ko, répartie en 256 fichiers, et les packs des sept langues comptent ensemble 4718 chaînes prêtes à embarquer.

Cette mémoire a sa page propre : la mémoire de traduction. Elle y détaille sa normalisation en sept étapes, ses quatre niveaux de provenance, et la règle qui la protège : une sortie de la boîte n’entre jamais dans ce registre. Cette page-ci reste le catalogue : l’adresse de chaque fichier, son format, sa licence.

Un premier appel, en quelques lignes

Le fichier client se charge une fois, sans compte ni clé, et sert ensuite tout le reste : le manifeste, un pack, la mémoire, les exports.

<script src="https://translate.odersa.org/api/v2/client/odersa-translate.js"></script>
<script>
  const T = OdersaTranslate.ouvrir({ base: "https://translate.odersa.org/api/v2" });
  T.pack("en").then(p => document.querySelector("#titre").textContent = p.chaines["1559fa981f455d17"]);
</script>

Ce que fait chaque fonction est détaillé sur le fichier client, et l’adresse de chaque ressource sur l’API. Cette page-ci reste le catalogue : quoi, à quelle adresse, sous quelle licence, avec quelle attribution.

Les fichiers à télécharger

Les adresses réelles, sous /api/v2/, telles que le manifeste de l’API les déclare.

Le découpage en 256 seaux (deux caractères hexadécimaux, de 00 à ff) a remplacé, dans cette version de l’API, les seize seaux de la précédente : un fichier de mémoire ne contient plus, en moyenne, qu’une poignée d’entrées — le seau médian en porte 2, le plus chargé 8, et 27 seaux sont entièrement vides aujourd’hui. Ce que ce découpage coûte en confidentialité, chiffré, vit sur l’API ; pour qui réutilise ces données, il suffit de savoir que l’adresse d’un fichier de mémoire suit toujours ce format à deux caractères, jamais un seul.

Les exports TMX et CSV

Deux fichiers statiques, dérivés de la même mémoire au même passage du build, pour sortir de ce site sans écrire une ligne de code contre notre format JSON.

/api/v2/exports/memoire.tmx sert qui traduit avec un outil professionnel : TMX 1.4 est le format d’échange que lisent nativement la plupart des mémoires de traduction du marché. Une tu par entrée, une tuv par langue ayant un rendu ; srclang vaut *all* parce que cette mémoire n’a pas une langue source, chaque entrée porte ses rendus à égalité.

/api/v2/exports/memoire.csv sert qui veut ouvrir ces données dans un tableur, les charger dans une base, ou les lire avec n’importe quel langage sans toucher au JSON : une ligne d’en-tête, puis une ligne par couple entrée-langue, RFC 4180, fins de ligne CRLF.

La licence voyage DANS le fichier, jamais seulement sur cette page ou dans un en-tête de réponse : un fichier téléchargé se détache le jour même de la page qui l’annonçait. Le TMX la porte dans son en-tête, le CSV sur CHAQUE ligne, dans deux colonnes répétées : une seule ligne recopiée dans un autre tableur emporte encore son attribution.

<header creationtool="ODERSA Translate" srclang="*all*" segtype="phrase">
  <prop type="licence">CC-BY-4.0</prop>
  <prop type="attribution">ODERSA, translate.odersa.org, CC BY 4.0</prop>
</header>

cle,contexte,source,langue,traduction,provenance_source,provenance_date,provenance_niveau,licence,attribution

Un verrou du build refuse la publication si le manifeste annonce un compte, un poids ou une empreinte que le fichier écrit ne porte pas, ou si la licence a disparu de l’un des deux. Les prendre, en ligne de commande :

curl -O https://translate.odersa.org/api/v2/exports/memoire.tmx
curl -O https://translate.odersa.org/api/v2/exports/memoire.csv

Le registre des modèles de traduction

Une deuxième famille de données vit sous /modeles/, à côté du corpus : le registre qui décrit, fichier par fichier, ce que la boîte de traduction télécharge dans le navigateur d’un visiteur au moment de traduire. Ce n’est pas la mémoire : la mémoire ne contient que des phrases déjà vérifiées par une personne, tandis que ce registre décrit des modèles neuronaux, et ce qu’ils rendent est du texte de machine, étiqueté comme tel.

Adresse : /modeles/registre.json. Pour chaque paire — une direction, par exemple en-fr, jamais fusionnée avec fr-en — il porte la langue source et la langue cible, l’architecture du modèle (base-memory ou tiny), son statut de publication chez Mozilla (Release, Nightly, Release Android, ou l’absence de statut quand Mozilla ne l’a pas encore classé), le score de qualité COMET22 tel que Mozilla le publie sur flores200-plus, et le nom, le poids et — quand Mozilla le fournit — l’empreinte du contenu décompressé de chaque fichier du modèle : le vocabulaire et les poids du réseau.

"en-fr": {
  "source": "en", "cible": "fr",
  "architecture": "base-memory", "statut": "Release", "comet22": 0.8653,
  "fichiers": {
    "model": { "nom": "model.enfr.intgemm.alphas.bin.gz", "octets": 23045432 },
    "vocab": { "nom": "vocab.enfr.spm.gz", "octets": 409706 }
  }
}

Le fichier lexical de la paire (lex.*.s2t.bin.gz) est coupé ici pour la lecture ; le registre réel le porte aussi. Ces valeurs sont mesurées sur le fichier servi : c’est lui qui fait foi, jamais cet extrait.

L’anglais est le pivot : aucune paire directe n’existe entre deux langues tierces. Traduire du bengali vers l’arabe, par exemple, passe donc par deux modèles l’un après l’autre — bengali vers anglais, puis anglais vers arabe — et la qualité s’en ressent. Quatre langues ne vont que vers l’anglais et jamais dans l’autre sens : af, be, hbs, nn. Ce n’est pas un oubli de notre part, c’est ce que Mozilla publie ; le registre porte, pour chacune des langues couvertes, lequel des deux sens existe réellement. Le japonais et le coréen, entre autres, ont leur fichier de modèle coupé en deux tranches numérotées parce qu’un seul fichier dépassait la limite d’un asset : le navigateur les recolle avant de vérifier l’empreinte du contenu reconstitué.

Aujourd’hui, le registre décrit 112 paires sur 59 langues, en 346 fichiers pour un poids total de 2290 Mo — personne ne télécharge cet ensemble, un visiteur ne prend que la paire dont il se sert, en moyenne 20 Mo. 10 fichiers sont ainsi découpés en tranches.

Licence : Mozilla Public License 2.0, dépôt mozilla/translations, prouvée au fichier LICENSE du dépôt et redite au README. C’est un copyleft par fichier, de la même famille que les sources en module séparé plus bas : il ne se mélange jamais à notre CC BY 4.0, et une reprise garde les notices MPL telles quelles plutôt que la formule d’attribution CC BY de ce site.

const registre = await fetch("https://translate.odersa.org/modeles/registre.json").then(r => r.json());

registre.modeles["en-fr"].comet22;   // 0.8653, mesuré par Mozilla sur flores200-plus
registre.langues["bn"];              // { versPivot: true, depuisPivot: true }

Le dictionnaire de phrases humaines

Une troisième famille, sous /dictionnaire/ : des phrases écrites par des personnes et reliées entre elles par des personnes, jamais produites par une machine. La page dédiée propose de les chercher directement dans le navigateur ; voici l’adresse des fichiers pour qui veut les reprendre ailleurs.

Chaque phrase d’une fiche porte quatre choses, toujours ensemble : la langue, l’identifiant Tatoeba, le texte, l’auteur. Une phrase dont l’auteur ne peut pas être nommé n’est pas servie du tout. Le détail interne d’une fiche ou d’un fragment d’index n’est pas un contrat versionné comme l’est /api/v2 : un script qui les lit devrait repartir des champs documentés du manifeste plutôt que de figer une forme observée une fois.

Licence : les phrases viennent de Tatoeba, sous CC BY 2.0 FR — une attribution seule, sans partage à l’identique, donc juridiquement mélangeable à notre CC BY 4.0. Ce qui la garde à part n’est pas la licence mais son GRAIN : l’obligation porte sur la phrase, pas sur le fichier entier. La formule à porter en cas de reprise, telle que le manifeste la déclare : « Phrases issues de Tatoeba (https://tatoeba.org), sous licence CC BY 2.0 FR », plus le nom de l’auteur et l’identifiant de CHAQUE phrase reprise — par exemple, une phrase déjà publique sur le dictionnaire : « Es-tu marié ? », Pharamp, nº 503306. Ce que l’ODERSA ajoute par-dessus — la sélection, le découpage en fiches, l’index — est sa propre contribution, publiée en CC BY 4.0.

const manifeste = await fetch("https://translate.odersa.org/dictionnaire/manifeste.json").then(r => r.json());

manifeste.langues.map(l => `${l.code} : ${l.phrases}`);
// ["fr : 27179", "en : 29872", "es : 26205", "ar : 10089", "hi : 6800", "bn : 5062", "zh : 15728"]

manifeste.licence.attribution;
// "Phrases issues de Tatoeba (https://tatoeba.org), sous licence CC BY 2.0 FR. Chaque phrase porte son identifiant et le nom de son auteur."

Depuis une page de ce site, cet appel fonctionne déjà : c’est ce que fait le dictionnaire. Depuis un autre domaine, voir la section suivante : cette famille n’a pas encore l’en-tête qui le permettrait.

Aujourd’hui, le dictionnaire compte 29872 fiches, soit 120935 phrases écrites par 2906 personnes différentes, réparties en 96 fragments pour 10635 Ko. Les sept langues ne sont pas servies également : l’anglais, pivot de chaque fiche, en porte 29872, le bengali 5062 seulement. Le détail par langue, les critères de sélection et ce que ce dictionnaire ne contient pas sont sur la page dédiée.

Appelable depuis n’importe quel domaine

« Lisible depuis n’importe quel domaine » n’est vrai que là où le serveur envoie l’en-tête Access-Control-Allow-Origin: *. Sans elle, le navigateur d’un site tiers refuse de lire la réponse, même si le fichier est public et se télécharge très bien en dehors d’un navigateur — curl, un outil de build, une visite directe.

Portent aujourd’hui cet en-tête : /api/* (le corpus, ses exports, le fichier client), /data/* (impact.json), /modeles/* (les modèles de traduction et leur registre), ainsi que /sitemap.xml et /feed.xml.

Cette ouverture ne donne rien d’autre : il n’y a ni session, ni cookie, ni compte, sur aucune des familles servies par ce site.

Comment citer

Les trois formules qui suivent valent pour le corpus CC BY 4.0 — mémoire, packs, glossaires, pièges, exports, et impact.json. Le registre des modèles et le dictionnaire de phrases ont leur propre formule, donnée dans leur section plus haut : ne recopiez pas « ODERSA » sur une phrase qui vient de Tatoeba, ni sur un modèle qui vient de Mozilla.

D’où viennent les données

Chaque source du corpus est vérifiée au fichier de licence ou à la page de droits de son dépôt réel, jamais à sa page d’accueil, avec la date à laquelle elle a été lue et l’adresse qui en fait la preuve. Une source dont la licence n’a pas pu être lue ce jour-là n’entre pas dans le projet, quelle que soit par ailleurs sa qualité.

Le dossier de licences a examiné 44 sources linguistiques : 18 remplissaient les conditions pour rejoindre le socle CC BY 4.0, 9 valent d’être servies mais seulement à part, en module séparé, et 17 ont été rejetées, chacune avec son motif écrit noir sur blanc : une clause non commerciale, une licence introuvable à la date de vérification, ou une redistribution explicitement interdite. Ce dossier est propre au corpus : le registre des modèles et le dictionnaire ont chacun leur propre manifeste de licence, décrits plus haut.

Ce dossier retient à ce jour 27 sources, dont 18 au socle et 9 en module séparé. Retenue ne veut pas dire moissonnée : ce chiffre compte les licences vérifiées et jugées utilisables, pas les valeurs déjà servies. Les sources que l’API cite RÉELLEMENT aujourd’hui dans ses provenances sont celles, moins nombreuses, que déclare /api/v2/sources.json : c’est ce fichier qui fait foi, et la liste s’allonge à mesure que chaque source du dossier est effectivement moissonnée, adaptée et vérifiée.

Le détail complet, source par source, avec chaque adresse de preuve et chaque date de vérification : crédits.

Le module séparé

Une licence en partage à l’identique oblige à republier tout ce qu’on en tire sous cette même licence. La mélanger au socle CC BY 4.0 ferait l’une des deux fautes : soit elle contaminerait tout ce que la maison publie, qui devrait alors passer en partage à l’identique lui aussi, soit elle romprait silencieusement la condition posée par la source. Aucune des deux n’est acceptable, donc aucune ne se choisit : une source en partage à l’identique vit dans son propre module, servi à part, avec sa licence affichée aussi bien sur la page qui la sert que dans le manifeste de l’API.

C’est le régime prévu, par exemple, pour FLORES-200 (CC BY-SA 4.0, la seule ressource traduite par des humains qui couvre nos sept langues d’un seul tenant, bengali compris), le Thésaurus de l’UNESCO (CC BY-SA 3.0 IGO), les chaînes d’interface de Firefox, LibreOffice, KDE et GNOME (MPL 2.0 ou GPL/LGPL selon le fichier), iso-codes (LGPL-2.1 ou ultérieure), et les polices Noto retenues pour couvrir nos écritures (SIL Open Font License). Aucune de ces sources n’est moissonnée à ce jour pour le corpus : le module séparé est décidé, ses licences sont vérifiées, et l’API n’en sert encore aucun fichier. Le jour où il en servira, chacun portera sa licence, sur la page qui le sert comme au manifeste.

C’est une subtilité juridique que peu de projets tiennent, et elle se dit simplement : une source généreuse mais à condition n’entre jamais dans un pack qui se prétend simplement CC BY 4.0. C’est le même principe, exactement, qui garde le registre des modèles Mozilla hors du socle : voir plus haut.

Ce qui n’est pas sous CC BY 4.0

Le registre des modèles de traduction (MPL-2.0, Mozilla) et le dictionnaire de phrases (CC BY 2.0 FR, Tatoeba) ont chacun leur propre licence, détaillée plus haut. Ce qui suit ne parle que des polices embarquées par ce site : elles ont leur propre licence, distincte de celle des contenus. Le détail, police par police, est sur crédits.

La qualité, honnêtement

Ce système de niveaux est propre à la mémoire de traduction : le registre des modèles mesure sa qualité autrement, par le score COMET22 vu plus haut, et le dictionnaire de phrases n’a qu’un seul niveau, humain et nommé, ou rien du tout. Pour la mémoire, chaque entrée porte, par langue, l’un de quatre niveaux de provenance.

Aujourd’hui, aucune entrée servie n’est de niveau import : la liste des chaînes à relire de chacun des sept packs est vide. Rien de non relu n’est donc distribué par cette API en ce moment.

Si cela changeait, si une entrée moissonnée mais pas encore relue rejoignait un jour un pack, ce pack porterait la liste exacte des clés concernées, et le bon de travail remis à qui appelle l’API le dirait aussi. Rien de ce niveau ne se glisserait en silence.

Le contrat de données publiques

Chacun des chiffres cités sur ce site, corpus, modèles et dictionnaire confondus, vit aussi dans un fichier plat que n’importe qui peut lire sans rien demander à personne : /data/impact.json. Il est servi avec les mêmes en-têtes que l’API, lisible depuis n’importe quel domaine, publié sous CC BY 4.0 comme le reste du corpus.

Sa date n’est jamais celle du jour où quelqu’un l’a régénéré : elle est DÉRIVÉE DES DONNÉES elles-mêmes, la plus récente de toutes les dates que portent les fichiers du corpus. Un fichier reconstruit sans qu’aucune donnée n’ait changé porte donc exactement la même date ; seule une donnée réellement neuve la fait avancer.

Chaque clé de ce fichier porte, à côté de sa valeur, sa propre définition en une phrase : ce qu’elle compte, exactement. Un chiffre publié sans sa définition se lit dans le sens qui arrange qui le lit ; celui-ci porte la sienne juste à côté, par exemple :

"modeles.paire_moyenne_mo": "poids moyen d'une paire, en mebioctets : c'est l'ordre de grandeur reellement telecharge au premier usage"

C’est ce fichier qui fait foi si une page de ce site devait un jour se contredire avec lui : signaler une erreur est la bonne porte. Le récit complet, glossaire et chiffres commentés, est sur Impact et chiffres.

Ce qui n’est pas publié, et pourquoi

Ce n’est pas un trou dans cette publication : il n’existe rien à publier, parce que rien de tel n’est mesuré. Ce choix est cohérent avec la promesse du site — rien de ce qu’une personne saisit dans la boîte ne quitte son appareil — et il a un prix qu’il vaut mieux écrire que taire : ce projet ne produira jamais un nombre de visiteurs, un taux de retour ou une courbe de fréquentation, à présenter à qui que ce soit. Le détail de ce choix, et sa seule limite technique, sont sur Impact et chiffres.

Les trous assumés

Le bengali est le trou de couverture le plus gênant du projet. Aucune organisation internationale ne publie de terminologie institutionnelle bengali sous une licence libre vérifiable : le socle CC BY, pour cette langue et ce domaine précis, est vide. Le bengali servi aujourd’hui vient donc entièrement des sites de la flotte, relus par l’ODERSA, et de CLDR pour ses règles de pluriel. Les voies repérées pour l’élargir plus tard passent par Wikidata, par les corpus BPCC et NLLB, et par FLORES-200 en module séparé, jamais par une terminologie de référence en socle CC BY comme l’ont le français ou l’anglais.

Le même déséquilibre se retrouve, pour une raison différente, dans le dictionnaire de phrases : le bengali y est la langue la moins fournie, avec 5062 phrases contre 29872 pour l’anglais. Ce n’est pas une négligence de sélection, c’est ce que Tatoeba contient réellement pour cette langue.

Une infrastructure sérieuse annonce ses trous plutôt que de les taire. Aider à le combler, ou signaler une source bengali sous licence vérifiable : contribuer.