Fábula diaria de conceptos de posgrado: Decodificación Especulativa (Speculative Decoding)

Mon, 17 Aug 2026 00:00:00 +0000

¡Buenas noches! Aquí tienes la “Fábula diaria de conceptos de posgrado” de hoy.

El astuto aprendiz del escritorio real

En el corazón de la capital del imperio, el Escritorio Real se enfrentaba a una crisis sin precedentes.

El Gran Erudito del imperio, “Baltasar”, era la única persona viva con la sabiduría suficiente para redactar el código legal sagrado. Poseía una memoria fotográfica y en su mente guardaba diez millones de textos antiguos. Sin embargo, tenía un defecto fatal: escribía demasiado despacio.

El rigor del erudito rozaba la obsesión. Por cada palabra que escribía, hojeaba incontables tomos pesados en la biblioteca de su mente, deliberaba con cuidado y solo entonces posaba lentamente la palabra en el papel. Tras escribir esa palabra, reconsideraba todo lo que acababa de escribir para deducir la siguiente. Por eso, solo podía producir una palabra por minuto. El frente necesitaba con urgencia nuevos decretos, pero el erudito solo podía soltarlos palabra a palabra.

En ese momento, el escritorio contaba con un joven aprendiz llamado “Leo”. El saber de Leo no se acercaba ni de lejos al del erudito —los libros que llevaba en la cabeza no llegaban ni al uno por ciento de los del erudito—, pero tenía una virtud: era rapidísimo y muy hábil para adivinar los pensamientos del erudito.

Tras observar durante unos días, Leo le hizo una propuesta audaz al erudito.

“Maestro, en lugar de agonizar con cada palabra desde cero, ¿por qué no cambiamos la forma de trabajar?”, dijo Leo. “Deje que sea su ‘redactor de borradores’. De un tirón, adivinaré las cinco palabras que probablemente escribirá a continuación y las anotaré rápidamente en una pizarra. Después, usted solo tiene que mirar la pizarra.”

El erudito frunció el ceño. “¡Absurdo! Tu saber es superficial; si las palabras que escribes son erróneas, ¡arruinarán la dignidad del código!”

“Maestro, me malinterpreta”, explicó Leo con una sonrisa. “Concebir una palabra de la nada le cuesta un enorme esfuerzo de acarrear tomos por su mente; pero echar un vistazo a unas palabras y juzgar si concuerdan con su intención le resulta sencillísimo y rapidísimo. Si las palabras que he escrito le parecen correctas, basta con que las selle. En cuanto detecte una sola palabra que difiera de lo que tenía en mente, borre esa palabra y todo lo que la sigue, escriba usted mismo la palabra correcta, y yo retomaré las conjeturas a partir de la palabra que corrigió.”

Medio dudando, el erudito accedió.

Comenzó el trabajo. Leo escribió velozmente en la pizarra: “el imperio / gravará / con impuestos / al norte”.

El erudito lo recorrió con la vista y su mente completó la verificación al instante: ¡las palabras encajaban a la perfección con su hilo de pensamiento! De inmediato estampó su gran sello. Una frase que antes le habría llevado cinco minutos de agonía quedaba ahora lista en segundos.

Luego Leo escribió rápidamente: “la tasa impositiva / es / al año / cincuenta / monedas / de oro”.

El erudito le echó un vistazo, frunció el ceño y señaló la cuarta palabra: “Mal. No cincuenta, sino ‘cien’.”

De un trazo de su pincel, el erudito borró “cincuenta / monedas / de oro” y escribió “cien” de su puño y letra.

Entonces, mirando la palabra “cien”, Leo volvió a iniciar sus rápidas conjeturas y borradores.

Aunque Leo a veces se equivocaba, acertaba con precisión la mayoría de las construcciones habituales. Y lo más asombroso de todo: la calidad y la redacción finales del código resultaron ser “exactamente idénticas” a las que el erudito habría logrado palabra por palabra —sin concesión alguna—, y sin embargo la velocidad global de redacción se multiplicó varias veces.

La revelación: decodificación especulativa (Speculative Decoding)

Lo que describe esta historia es un algoritmo de nivel de posgrado excepcionalmente elegante y clave del campo de la aceleración de la inferencia en grandes modelos de lenguaje (LLM): la decodificación especulativa (Speculative Decoding). Es también una de las técnicas centrales que usan los motores de inferencia de alto rendimiento modernos (como vLLM) para superar los cuellos de botella del hardware.

En la generación de texto tradicional de un LLM, el modelo debe generar de forma autorregresiva: un token tras otro. En modelos grandes con decenas de miles de millones de parámetros (por ejemplo, la clase Qwen 35B), generar cada token requiere acarrear decenas de gigabytes de pesos desde la memoria de la GPU hasta los núcleos de cómputo. Esto hace que el cuello de botella de la inferencia en modelos grandes no sea el cómputo (Compute), sino el ancho de banda de memoria (Memory Bandwidth) — igual que, en la historia, el erudito tiene que acarrear laboriosamente tomos pesados para escribir una sola palabra.

La decodificación especulativa rompe con ingenio este punto muerto:

Introduce un modelo borrador (Draft Model) diminuto y rapidísimo (el aprendiz Leo) para generar velozmente varios tokens consecutivos de una sola vez.
Luego entrega esos tokens generados al modelo objetivo (Target Model), grande y preciso (el erudito), para una única ronda de verificación en paralelo (Parallel Verification).
Como el modelo objetivo, al verificar los tokens dados, puede aprovechar plenamente el enorme cómputo paralelo de la GPU (compute-bound), juzga en un instante si la distribución de probabilidad de esos tokens coincide con su propia salida.
Si se aceptan, equivale a haber generado varios tokens en una sola pasada hacia adelante (forward pass); si un token se rechaza, el modelo lo corrige en ese punto, descarta las conjeturas posteriores y vuelve a empezar.

La propiedad matemática más fascinante es esta: mediante un algoritmo específico de muestreo por rechazo en la verificación, la decodificación especulativa puede garantizar que la distribución de probabilidad de la salida final sea matemáticamente “100% equivalente” a la que el modelo objetivo habría producido por sí solo, en su lenta generación, sin pérdida alguna de calidad.

Correspondencia de la metáfora

Elemento de la historia	Concepto de inferencia en LLM	Explicación
El Gran Erudito “Baltasar”	Modelo objetivo (Target Model)	El gran modelo de lenguaje de enorme número de parámetros y alta precisión.
El astuto aprendiz “Leo”	Modelo borrador (Draft Model / Proposer)	Un modelo de lenguaje pequeño, diminuto en parámetros y rapidísimo en cómputo (o arquitecturas recientes de predicción multicabezal como MTP / Medusa).
Acarrear tomos pesados para escribir	Limitado por el ancho de banda de memoria (Memory-bandwidth bound)	La latencia que causa acarrear los pesos del modelo en la generación autorregresiva tradicional.
Recorrer con la vista la frase de la pizarra	Verificación en paralelo (Parallel Verification)	El modelo objetivo aprovecha la ventaja de cómputo de la GPU para evaluar las probabilidades de varios tokens en una sola pasada.
Estampar el sello / borrar y reescribir	Criterio de aceptación/rechazo (Acceptance/Rejection Criterion)	Si la predicción del modelo borrador cae dentro de la tolerancia de probabilidad del modelo objetivo, se acepta; si no, se retrocede (Rollback) desde el punto erróneo y el modelo objetivo aporta el token correcto.
La calidad no cambia en absoluto	Generación sin pérdidas (Lossless Generation)	La garantía matemática más importante de la decodificación especulativa: no altera la distribución de probabilidad de salida original del modelo objetivo.

LLM on Intellectual Guides

Fábula diaria de conceptos de posgrado: Decodificación Especulativa (Speculative Decoding)

El astuto aprendiz del escritorio real

La revelación: decodificación especulativa (Speculative Decoding)

Correspondencia de la metáfora