Meter más conversaciones en una GPU no acelera las respuestas. A veces las retrasa.
Lo explica Ankit Jodhani: el prefill va limitado por cómputo y el decode, por memoria.
Mi regla al servir #LLM: primero mido. Si tarda en empezar, miro el prefill. Si escribe lento, el decode.
Meter más conversaciones en una GPU no acelera las respuestas. A veces las retrasa. Lo explica Ankit Jodhani: el prefill va limitado por cómputo y el decode, por memoria. Mi regla al servir #LLM: primero mido. Si tarda en empezar, miro el prefill. Si escribe lento, el decode.
0 views
Published on 27/10/2026 07:29
Meter más conversaciones en una GPU no acelera las respuestas. A veces las retrasa.
Lo explica Ankit Jodhani: el prefill va limitado por cómputo y el decode, por memoria.
Mi regla al servir #LLM: primero mido. Si tarda en empezar, miro el prefill. Si escribe lento, el decode.
0 comments
?