M
MISTRAL / mistralai/LIDstral-Arabic

LIDstral Arabic

Classificateur de langues et de dialectes publié par Mistral sur Hugging Face le 9 octobre 2026. Il reçoit du texte en écriture arabe et distingue arabe standard, dialectes et autres langues utilisant cette écriture. Ce n’est ni un assistant génératif ni un modèle de transcription. Il combine fastText one-vs-all, un MLP et une calibration isotone par classe ; il renvoie une étiquette et des probabilités calibrées sur 51 classes.

01 / RÉSUMÉ

L'essentiel

ORIENTATIONIdentification de langues et de dialectes

Utilisation principale déclarée ou déduite avec prudence de la documentation officielle.

CONTEXTETexte non vide après prétraitement

Capacité d'entrée maximale une fois publiée par la source.

SORTIEÉtiquette et probabilités sur 51 classes

Limite de génération maximale documentée.

ACCÈSHugging Face · fastText et PyTorch

Canaux de disponibilité vérifiés.

TYPE DE MODÈLEClassification de texte

Famille fonctionnelle principale et spécialités vérifiées.

LICENCEApache 2.0

Conditions déclarées pour l’API, les poids ou l’auto-hébergement.

02 / FICHE TECHNIQUE

Limites et intégration

ID d’APImistralai/LIDstral-Arabic
Type de modèleClassification de texte
Mode d’accèsPoids ouverts
LicenceApache 2.0
DéploiementClassificateur local sur CPU
Lancement09 OCT. 2026
Date limite des connaissancesNon publié
EntréeTexte
SortieÉtiquette et probabilités
Fenêtre contextuelleTexte non vide après prétraitement
puissance maximaleÉtiquette et probabilités sur 51 classes
RaisonnementSans objet
Outils publiés
Sorties structuréesJSON du classificateur local
Traitement par lotsNon publié
Cache de promptsNon publié
Ajustement finNon publié
Plateformes vérifiéesHugging Face · fastText · PyTorch
CONVIENT MIEUX À

Classification de corpus, routage par langue, choix de ressources linguistiques et analyse dialectale. Inclure des langues non arabes réduit la confusion entre langue et écriture. Le script officiel fonctionne sur CPU et propose entrée individuelle, API Python et traitement JSONL. Le pipeline exige de conserver ensemble lid_ova_full.bin, mlp_stacker_ln.pt et isotonic_calibration.pkl.

À SURVEILLER

Il choisit toujours une des 51 classes : les langues non prises en charge ou les textes mélangés peuvent être mal étiquetés. Le prétraitement supprime artefacts web et ASR, diacritiques, allongements décoratifs et ponctuation répétée ; il conserve les variantes d’alef. Une entrée vide ou entièrement supprimée provoque une erreur. La confiance calibrée ne remplace ni validation sur votre domaine ni politique pour les cas incertains.

03 / CAPACITÉS

Ce qu’il peut faire

01

Orientation

Classification de corpus, routage par langue, choix de ressources linguistiques et analyse dialectale. Inclure des langues non arabes réduit la confusion entre langue et écriture. Le script officiel fonctionne sur CPU et propose entrée individuelle, API Python et traitement JSONL. Le pipeline exige de conserver ensemble lid_ova_full.bin, mlp_stacker_ln.pt et isotonic_calibration.pkl.

02

Contexte

Texte non vide après prétraitement · Étiquette et probabilités sur 51 classes

03

Outils et intégration

Non publié

04

Accès

Hugging Face · fastText et PyTorch

Modalités d’entrée
Texte
04 / TARIFS

Coût documenté

ConceptValeurUnité/état
Entrée standardAucun tarif API officiel publiéTarif API standard
Entrée en cacheNon publiéLecture de préfixes réutilisés
Écriture ou stockage de cacheNon publiéLa condition varie selon le fournisseur
Sortie standardCoût de l’infrastructure proprePeut inclure des tokens de raisonnement
Entrée par lotsNon publiéTraitement asynchrone
Sortie par lotsNon publiéTraitement asynchrone

La fiche déclare Apache 2.0 et le dépôt est public et sans restriction lors de cette vérification. L’exemple mentionne encore un téléchargement privé ; ce texte ne signifie pas qu’une API commerciale est disponible. Aucun endpoint hébergé ni tarif par token n’a été vérifié. L’hébergement propre coûte CPU, mémoire, stockage et exploitation ; fixez la révision du code avant de charger les fichiers.

i Les prix changent et peuvent dépendre du niveau, de la région ou de la durée du contexte. Vérifiez la source avant de prendre une décision.

05 / ÉVALUATIONS

Comment lire les résultats

“

Mistral publie une évaluation sur 84 870 exemples arabes issus de plusieurs jeux de données. Pour le darija marocain, le F1 annoncé est de 88,67 %. Nous conservons le dialecte et la métrique : ce n’est pas une exactitude globale applicable à toutes les classes. Inferama n’a pas reproduit ce résultat. Une évaluation propre doit examiner matrice de confusion, calibration, textes mélangés et comportement hors distribution.

BenchmarkRésultatMétriqueSource
LIDstral Arabic (Moroccan Darija)88,67 %F1Voir la source ↗

Inferama ne met en évidence un « meilleur résultat » que lorsque la métrique, l'ensemble de test, la configuration et la date permettent une comparaison équivalente. Les chiffres du fournisseur sont présentés comme des affirmations provenant de sa propre source.

06 / VERSIONS

Chronologie

LIDstral Arabic

Publication publique du dépôt. La création du 8 octobre n’est pas utilisée comme date de lancement.

07 / SOURCES

Traçabilité