DeepSeek R1 (8B) en déploiement local

Ce qu'il faut retenir

Le raisonnement de DeepSeek R1 distillé dans un modèle 8B. Excellent en logique, mathématiques et résolution de problèmes, sur une petite machine.

Licence et usage commercial

MIT : usage commercial libre, sans restriction.

Sur quelle machine ?

DeepSeek R1 (8B) demande ≈ 8 Go de VRAM : le modèle chargé en quantisation Q4, plus la marge du cache KV, qui grandit avec la longueur des conversations et le nombre d'utilisateurs simultanés. Il faut donc 1 RTX PRO 5000 Blackwell 48 Go dans un Lenovo ThinkStation P3, soit notre configuration Micro, prévue pour jusqu'à 10 utilisateurs. Ce dimensionnement est un ordre de grandeur. Nous ne partons jamais de la machine : nous cadrons vos usages, nous en déduisons le modèle, puis la configuration qui le fait tourner, et nous validons par un test sur vos données réelles.

Popularité Hugging Face : 1 141 963 téléchargements le mois dernier, 1 082 likes.

Voir la fiche Hugging Face