asia-fertility est un benchmark open source qui mesure ce que les tokenizers de LLM facturent réellement pour 16 langues asiatiques : multiplicateur de coût, fenêtre de contexte effective et rappel en écriture native. Un pip install, une commande, aucune clé API.
pip install "asia-fertility[oai]"
asia-fertility reproduceExécute hors ligne une suite de référence de 10 phrases × 16 langues en trois secondes environ, sans clé API : de quoi vérifier que l'installation reproduit la méthodologie du papier.
asia-fertility measure --text "your text here" --tokenizer cl100k_base
asia-fertility cost --text "your text here" --model gpt-4o
asia-fertility tokenizers list
asia-fertility languages listMultiplicateur de coût médian pour les 11 écritures non latines sur cl100k_base d'OpenAI (GPT-3.5, GPT-4 Turbo) : 8,9×. Le birman paie 11,66×, le lao 9,60×, le malayalam 8,94×, sur le même contenu parallèle FLORES-200. La taxe tient surtout au choix du tokenizer, pas à un problème de fine-tuning : passer le tamoul sur o200k_base (GPT-4o, GPT-5) la ramène de 7,61× à 1,98×, le birman de 11,66× à 3,18×.
Une grille needle-in-a-haystack de 4 000 cellules : 16 langues × 5 modèles frontière × 5 niveaux de remplissage × 5 positions de marqueur × 2 essais. Quatre modèles sur cinq s'effondrent à 0–2 sur 10 de rappel sur les langues asiatiques non latines dès 4k tokens, bien à l'intérieur de toutes les fenêtres de contexte annoncées. gemini-2.5-flash conserve 84,5 % de rappel agrégé sur la même grille : l'effondrement est un choix d'entraînement du fournisseur, pas une propriété de la tâche.
Corrélation de Pearson agrégée entre ratio de coût et ratio de temps de réponse : 0,314 sur 5 modèles × 16 langues × 10 essais. Les piles de service modernes absorbent l'essentiel de la pénalité côté entrée : un directeur financier voit 11× sur le birman, un utilisateur voit environ 1,5× en moyenne. Problèmes différents, remèdes différents.
CLI + API Python, 10 tokenizers, 16 langues, 6 figures du papier, reproduction déterministe hors ligne. PyPI + GitHub.
github.com/Helmo21/asia-fertilityTrois configurations : leaderboard (160 lignes), niah (4 000 lignes), latency (1 040 lignes). Chaque version embarque un manifest.json.
huggingface.co/datasets/Helmo21/asia-fertility15 pages, trois benchmarks, trois résultats, 8 figures. Préprint Zenodo avec DOI permanent.
doi.org/10.5281/zenodo.21069313Tout produit d'IA tarifé sur l'économie du coût anglais va sous-servir, déprioriser ou exclure en silence les utilisateurs en langue native, à grande échelle. Le tokenizer décide de la facture API, de la fenêtre de contexte effective et de la possibilité même d'un rappel en écriture native, et depuis des années cette décision se prend globalement sans mesure.
Le tokenizer devient donc une décision d'achat. Les modèles en embarquent de très différents. La mesure ne coûte rien et prend deux minutes : si vous construisez de l'IA pour les marchés asiatiques, mesurez avant de déployer.
Décrivez votre situation en quelques lignes, sans engagement. Un échange suffit pour savoir s'il y a un système qui vaut la peine d'être construit, et par quelle porte commencer. Ou envoyez-moi un message.