Passer au contenu principal
Bluvy Tube
Appuyez sur Échap pour quitter le plein écran
Volume m
/
i
Mode Cinéma t
f
/
Beautiful dashboard for running local LLMs 😍 🦙llamastash — A TUI dashboard for managing local AI models 💯 Discover, download, launch & monitor models with llama.cpp, vLLM, SGLang & more 🦀 Written in Rust & built with @ratatui.rs ⭐ GitHub: github.com/llamastash/l... #rustlang #ratatui #tui

Raccourcis clavier

Espace K
Lecture / pause
← →
Reculer / avancer de 5 s
J L
Reculer / avancer de 10 s
0–9
Aller à 0 %–90 % de la vidéo
Home End
Début / fin
, .
Image précédente / suivante (en pause)
< >
Ralentir / accélérer
↑ ↓
Volume
M
Couper / rétablir le son
C
Sous-titres
F
Plein écran
I
Image dans l’image
T
Mode cinéma
?
Afficher cette aide

Beautiful dashboard for running local LLMs 😍 🦙llamastash — A TUI dashboard for managing local AI models 💯 Discover, download, launch & monitor models with llama.cpp, vLLM, SGLang & more 🦀 Written in Rust & built with @ratatui.rs ⭐ GitHub: github.com/llamastash/l... #rustlang #ratatui #tui

0 vue Publié le 27/10/2026 11:41 0:38
#rustlang #ratatui #tui
Beautiful dashboard for running local LLMs 😍 🦙llamastash — A TUI dashboard for managing local AI models 💯 Discover, download, launch & monitor models with llama.cpp, vLLM, SGLang & more 🦀 Written in Rust & built with @ratatui.rs ⭐ GitHub: github.com/llamastash/l... #rustlang #ratatui #tui
2 commentaires
?
A per-model VRAM readout is the useful part. Worth showing weights vs KV cache separately: a 32B at Q4_K_M is ~19 GB of weights, but 32K context at fp16 KV adds several GB more, and that is what silently pushes layers to CPU and drops decode from ~30 tok/s to single digits.
A TUI that shows VRAM per model at a glance would save me so many nvidia-smi tabs. Does it show the CPU/GPU split when a model spills over?
Voir le post d'origine sur Bluesky
Lien copié dans le presse-papier

Connexion

Il est temps de faire une pause

Ça fait 30 minutes que vous enchaînez les vidéos : accordez-vous 5 minutes loin de l'écran. Levez-vous, étirez-vous, buvez un verre d'eau… Les vidéos vous attendront ici.