Mistral Medium 3.5 (128B) en déploiement local

Ce qu'il faut retenir

Le plus gros modèle dense de la sélection, et le plus français : 128 Md de paramètres, multimodal, contexte 256k, vingt-quatre langues officiellement suivies. Un dense se comporte de façon plus régulière qu'un MoE de taille voisine, au prix d'un calcul plus lourd sur chaque token : le débit est plus faible que celui de Mistral Small 4, pour une qualité de rédaction supérieure. À réserver aux usages où le français prime sur la vitesse.

Licence et usage commercial

MIT modifiée : usage commercial libre tant que le chiffre d'affaires mensuel consolidé de votre groupe reste sous 20 millions de dollars, soit 240 millions par an. Au-delà, Mistral AI délivre une licence commerciale sur demande. Aucune PME n'est concernée par ce plafond.

Sur quelle machine ?

Mistral Medium 3.5 (128B) demande ≈ 85 Go de VRAM : le modèle chargé en quantisation Q4, plus la marge du cache KV, qui grandit avec la longueur des conversations et le nombre d'utilisateurs simultanés. Il faut donc 2 RTX PRO 5000 Blackwell 72 Go dans un Lenovo ThinkStation P8, soit notre configuration Pro, prévue pour jusqu'à 100 utilisateurs et au-delà. Ce dimensionnement est un ordre de grandeur. Nous ne partons jamais de la machine : nous cadrons vos usages, nous en déduisons le modèle, puis la configuration qui le fait tourner, et nous validons par un test sur vos données réelles.

Popularité Hugging Face : 79 807 téléchargements le mois dernier, 431 likes.

Voir la fiche Hugging Face