Gemma 4 26B (MoE) en déploiement local

Ce qu'il faut retenir

Le modèle le plus téléchargé de la génération Gemma 4 : MoE d'environ 4 Md de paramètres actifs, multimodal et très rapide. Un excellent choix par défaut pour un service de 10 à 50 utilisateurs.

Licence et usage commercial

Apache 2.0 : usage commercial libre, sans restriction (Gemma 4 abandonne l'ancienne licence propriétaire Gemma).

Sur quelle machine ?

Gemma 4 26B (MoE) demande ≈ 21 Go de VRAM : le modèle chargé en quantisation Q4, plus la marge du cache KV, qui grandit avec la longueur des conversations et le nombre d'utilisateurs simultanés. Il faut donc 1 RTX PRO 5000 Blackwell 48 Go dans un Lenovo ThinkStation P3, soit notre configuration Micro, prévue pour jusqu'à 10 utilisateurs. Ce dimensionnement est un ordre de grandeur. Nous ne partons jamais de la machine : nous cadrons vos usages, nous en déduisons le modèle, puis la configuration qui le fait tourner, et nous validons par un test sur vos données réelles.

Chez Sover.tech

C'est le modèle installé par défaut sur nos configurations : le meilleur équilibre qualité, vitesse et mémoire pour un assistant d'entreprise multi-utilisateurs.

Popularité Hugging Face : 8 973 277 téléchargements le mois dernier, 1 428 likes.

Voir la fiche Hugging Face