Les données web utilisées pour entraîner les modèles de langue sont majoritairement mal documentées, pauvres en raisonnement et ayant un statut légal opaque. À partir de Common Corpus — le plus grand jeu de données ouvert pour le pré-entraînement (2,24 mille milliards de tokens) — Pleias a conçu SYNTH, un pipeline de données synthétiques qui amplifie 50 000 articles de Wikipédia en plus de 75 milliards de tokens couvrant mémorisation, RAG, arithmétique, édition et écriture créative. Entraîné exclusivement sur SYNTH avec seulement 200 milliards de tokens, Baguettotron (321M paramètres) atteint l’état de l’art dans sa catégorie sur MMLU, GSM8k et HotPotQA — avec une efficacité de données 10 à 50 fois supérieure aux modèles comparables. Cette présentation détaille l’architecture du pipeline, les résultats expérimentaux et les implications pour un développement de l’IA ouvert, traçable et accessible.