Noticias y análisis

Lectura de la decodificación especulativa: borradores pequeños para acelerar las respuestas de los LLM

Cómo el trabajo de ICML 2023 combina borradores, evaluación paralela y corrección de probabilidades, y cómo interpretar sus experimentos con T5-XXL.

Esquema de un modelo pequeño que propone tokens de borrador y un modelo objetivo grande que los evalúa en paralelo
Ilustración conceptual de la generación del borrador por el modelo pequeño y la evaluación paralela por el modelo objetivo.

Un modelo de lenguaje autorregresivo normalmente espera el cálculo del modelo grande antes de elegir cada token siguiente. La decodificación especulativa permite que un modelo menor proponga varios tokens y que el modelo objetivo evalúe en paralelo las probabilidades de cada posición. Así pueden confirmarse varios tokens en una sola iteración. Un chatbot de consulta ficticio y los experimentos con T5-XXL ayudan a explicar cómo se conserva la distribución de salida y por qué la aceleración depende del entorno.

Este artículo examina Fast Inference from Transformers via Speculative Decoding, de Yaniv Leviathan, Matan Kalman y Yossi Matias. Su primera publicación en arXiv fue el 30 de noviembre de 2022; la explicación técnica y los resultados utilizados aquí corresponden a la versión final de ICML 2023 publicada en PMLR.

1. Por qué una respuesta autorregresiva aparece token a token

Un chatbot de consulta suele mostrar la respuesta gradualmente. El modelo lee el texto ya confirmado, calcula las probabilidades del siguiente fragmento y selecciona uno. Después incorpora esa selección al contexto para predecir el fragmento posterior.

Estos fragmentos son tokens: pueden representar una palabra completa o parte de ella. El texto anterior a la siguiente selección se denomina prefijo. En un chatbot, la entrada del usuario y los tokens ya generados constituyen ese contexto.

Cada cálculo del modelo grande añade una espera. La propuesta consiste en que un modelo menor escriba por adelantado los siguientes fragmentos, para que el grande pueda examinarlos conjuntamente.

2. Preparar el borrador y evaluar el modelo objetivo en paralelo

El modelo pequeño actúa como modelo de borrador; el objetivo es el modelo grande que se quería utilizar para generar la respuesta. A partir del prefijo actual, el primero produce una secuencia breve de forma autorregresiva.

Supongamos que un chatbot ficticio recibe los tokens A, B y C. El modelo objetivo evalúa en paralelo la probabilidad del siguiente token para cuatro entradas: el prefijo actual, el prefijo con A, con A y B, y con A, B y C. El borrador permite preparar esas entradas anticipadamente.

La aceptación se decide por orden. Si se aceptan A y B y se rechaza C, se confirman A y B y se extrae un sustituto para C de una distribución corregida. Se descartan los cálculos posteriores a ese punto. Si se acepta todo el borrador y continúa la generación, se extrae un token adicional de la siguiente distribución del modelo objetivo.

La sección 2.3 y el algoritmo 1 del trabajo detallan esta secuencia y sus condiciones.

3. Aceptación y corrección para conservar la distribución objetivo

Ambos modelos pueden asignar probabilidades distintas al mismo candidato. La probabilidad de aceptación es el mínimo entre uno y el cociente de la probabilidad objetivo entre la del borrador. Se acepta siempre cuando la primera es igual o mayor; en caso contrario, se acepta con la frecuencia proporcional correspondiente.

Consideremos un ejemplo hipotético con dos candidatos. El borrador asigna un 80 % a A y un 20 % a B; el objetivo, un 60 % a A y un 40 % a B. Cuando se propone A, se acepta con probabilidad 60/80, es decir, un 75 %. En el conjunto de intentos, A representa así el 80 % × 75 % = 60 %.

Todas las propuestas de B se aceptan. En el 20 % de intentos en que se rechaza A, la probabilidad restante del objetivo corresponde a B, por lo que la corrección produce B. Su 20 % inicial más el 20 % corregido alcanza el 40 % buscado.

Se conserva la distribución de probabilidad bajo las mismas condiciones, no necesariamente una frase idéntica en cada ejecución aleatoria. La aceptación responde a la regla de generación del modelo objetivo; no comprueba la veracidad de lo que afirma el chatbot.

El apéndice A.1 demuestra que la combinación de propuestas aceptadas y muestras de la distribución corregida reproduce la distribución del modelo objetivo.

4. Interpretar los tiempos de T5-XXL con su contexto experimental

Los investigadores utilizaron puntos de control existentes de T5 v1.1. El modelo objetivo era T5-XXL, con 11.000 millones de parámetros; el borrador de los resultados siguientes era T5-small, con 77 millones. Se empleó una sola TPU v4 y un tamaño de lote de uno, comparando el tiempo transcurrido con la ejecución estándar en T5X del mismo modelo objetivo.

Aceleración medida del tiempo transcurrido frente a T5X estándar
TareaLongitud del borradorMuestreo · temperatura 1Selección más probable · temperatura 0
Traducción WMT del inglés al alemán7 tokens2.6×3.4×
Resumen CNN/Daily Mail5 tokens2.3×3.1×

Una aceleración de 2,6 veces en traducción significa que el tiempo del método estándar dividido entre el de la decodificación especulativa es 2,6. El muestreo con temperatura uno y la selección del token más probable con temperatura cero produjeron ratios distintos. La referencia del resumen a unas dos o tres veces sintetiza estos resultados concretos.

Los tamaños de los modelos y las cifras proceden de la sección 4.1 y la tabla 2 de la versión final de ICML.

5. Condiciones que alteran la aceleración de un servicio

Cuanto más larga sea la secuencia inicial aceptada del borrador, menos esperas en serie requiere el modelo objetivo. El rechazo frecuente en posiciones tempranas desperdicia cálculos de posiciones posteriores. Generar el borrador también consume tiempo en cada iteración.

Con capacidad paralela disponible, el tiempo transcurrido puede disminuir aunque aumente el número total de operaciones. Conviene evaluar por separado la longitud del borrador y la combinación de modelos. En el experimento, los borradores de mayor tamaño alcanzaron más aceptación, pero T5-small obtuvo la mayor aceleración medida.

Compare el servicio con longitudes de entrada y concurrencia equivalentes. Separar el tiempo hasta el primer token, el intervalo entre tokens posteriores y las solicitudes atendidas por unidad de tiempo muestra qué espera se redujo. Los ratios de traducción y resumen corresponden a los modelos y al hardware ensayados.

6. Documentar diferencias de implementación para desarrollo y análisis de patentes

El registro de desarrollo puede distinguir la longitud del borrador, la primera posición rechazada, las probabilidades de corrección y el tiempo de cálculo. Incluso con el mismo modelo auxiliar, cambian las implementaciones según cómo se adapta la longitud a cada solicitud y cómo se gestionan los resultados y la caché después de un rechazo.

Desde la perspectiva de análisis de patentes de IPLEX, decir únicamente que se utiliza decodificación especulativa no delimita una nueva implementación frente al método publicado. Conviene relacionar el cuello de botella, las entradas que permiten detectarlo, las condiciones que modifican la longitud o la unidad de verificación y las mediciones que cambian. Son consideraciones prácticas, distintas de los resultados experimentales del artículo.

Se conservan las indicaciones y formas originales; el contenido se explica en el texto.

El chatbot y el ejemplo de dos candidatos son hipotéticos. Las cifras de tiempo pertenecen a los experimentos concretos con T5, no constituyen una garantía general de rendimiento. Conservar la distribución de muestreo tampoco certifica la exactitud factual.

ICML 2023 · registro del artículo en PMLR

Artículo final de ICML · PDF

arXiv 2211.17192 · registro de la primera prepublicación

Google Research · explicación de los autores

FlashAttention-2: atención eficiente en GPU para contextos largos

PagedAttention: cómo vLLM gestiona la caché KV y la memoria GPU

Consulte la práctica de IA y los materiales de preparación de IPLEX para explicar el funcionamiento y la contribución técnica de su implementación.

Conozca la experiencia de Yongduck Kim en IA

Artículo original en Tistory

Leer el original coreano

Este artículo del archivo refleja la situación en su fecha de publicación. Contacte con el despacho para analizar su caso.
Consultar sobre este tema ↗Todos los artículos

Su próximo paso en tecnología y propiedad intelectual empieza aquí.