Meter más conversaciones en una GPU no acelera las respuestas. A veces las retrasa.
Lo explica Ankit Jodhani: el prefill va limitado por cómputo y el decode, por memoria.
Mi regla al servir #LLM: primero mido. Si tarda en empezar, miro el prefill. Si escribe lento, el decode.
Meter más conversaciones en una GPU no acelera las respuestas. A veces las retrasa. Lo explica Ankit Jodhani: el prefill va limitado por cómputo y el decode, por memoria. Mi regla al servir #LLM: primero mido. Si tarda en empezar, miro el prefill. Si escribe lento, el decode.
0 vue
Publié le 27/10/2026 07:29
Meter más conversaciones en una GPU no acelera las respuestas. A veces las retrasa.
Lo explica Ankit Jodhani: el prefill va limitado por cómputo y el decode, por memoria.
Mi regla al servir #LLM: primero mido. Si tarda en empezar, miro el prefill. Si escribe lento, el decode.
0 commentaire
?