# DFlare amplía el flujo de información del modelo borrador

Fusión por capas, proyecciones KV separadas y ponderación progresiva de la pérdida: mecanismos, resultados y límites de un borrador de difusión por bloques.

Source: https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting

INICIO / Noticias y análisis Noticias y análisis DFlare amplía el flujo de información del modelo borrador Fusión por capas, proyecciones KV separadas y ponderación progresiva de la pérdida: mecanismos, resultados y límites de un borrador de difusión por bloques. Inteligencia artificial 2026.10.22 publicado IPLEX 13 min de lectura El trabajo y su objetivo Se analiza DFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding, de Jiebin Zhang y colaboradores, arXiv:2606.02091v2, de 2 de junio de 2026, cuya primera versión es del 1 de junio. El preprint del equipo de la Universidad de Pekín y Tencent se distribuye bajo CC BY 4.0. Estudia la aceleración de inferencia, sin afirmar que ampliar el borrador mejore automáticamente la calidad de las respuestas. Proponer en paralelo y aceptar con el modelo objetivo El borrador de difusión por bloques predice posiciones enmascaradas en una sola pasada, con atención bidireccional dentro del bloque. El modelo objetivo comprueba la propuesta. En decodificación voraz acepta el prefijo hasta la primera discrepancia y aporta el siguiente token. El muestreo estocástico exige un procedimiento de aceptación adecuado para conservar la distribución objetivo. Un bloque largo o una respuesta verosímil no prueban por sí solos aceleración ni equivalencia. Una mezcla distinta para cada capa DFlash utiliza una representación común fusionada mediante una capa totalmente conectada. DFlare permite que cada capa del borrador aprenda una mezcla de estados ocultos de varias capas objetivo, normalizada con softmax y seguida de RMSNorm. Siete capas que consultan nueve capas objetivo requieren 63 coeficientes escalares de mezcla, no 63 parámetros adicionales en total. Guardar los coeficientes no elimina el cálculo de las representaciones ponderadas dependientes de la entrada. Proyecciones según el origen Las características del contexto objetivo y las del token inicial y las posiciones enmascaradas pertenecen a espacios de representación distintos. Se aplican proyecciones de claves y valores separadas a ambas fuentes; las consultas proceden del borrador. La aportación debe explicarse por la interacción entre selección de información por capa y transformación por origen, no solo por la profundidad. Figura 2 de DFlare v2: fusión por capas y proyecciones KV separadas Estabilizar el prefijo antes de reforzar la cola El entrenamiento usa varias posiciones de anclaje y atención restringida, con embeddings y cabeza del modelo de lenguaje compartidos y congelados. La pérdida ponderada por posición prioriza inicialmente los primeros tokens, pues un rechazo temprano descarta los posteriores, y aumenta después el peso de posiciones lejanas. El apéndice fija γ inicial en 4,5 y lo incrementa en uno por época; GPT-OSS-20B mantiene γ=4 por su bloque de ocho. La descripción general del calendario debe distinguirse de estos ajustes de implementación. Condiciones y volumen de datos Se evaluaron Qwen3-4B, Qwen3-8B y GPT-OSS-20B, principalmente en NVIDIA H20, frente a decodificación autorregresiva, EAGLE3 y DFlash. Las seis tareas fueron GSM8K, MATH500, AIME25, HumanEval, MBPP y MT-Bench. Qwen utilizó siete capas de borrador, bloques de 16 y nueve capas objetivo; GPT-OSS, ocho, ocho y siete. Los 2,4 millones de ejemplos procedían de Nemotron Post-Training Dataset V2, CodeAlpaca y Step3.5-Flash-SFT, entre otros. Se conservaron las instrucciones y se regeneraron las respuestas con cada objetivo. Se entrenó durante seis épocas, con límite de 3.072 tokens, eliminando coincidencias de al menos 32-gramas con las pruebas. Para Qwen3-8B, 270.000, 800.000 y 2,4 millones de ejemplos dieron aceleraciones medias de 3,74, 4,97 y 5,46, y longitudes aceptadas de 4,90, 6,59 y 7,33. Los resultados principales combinan cambios de arquitectura y datos. Figura 1 de DFlare v2: aceleración y volumen de datos Medias y excepciones A temperatura cero, las aceleraciones medias DFlash→DFlare frente a la base autorregresiva fueron 4,99→5,52 en Qwen3-4B, 5,05→5,46 en 8B y 3,71→3,91 en GPT-OSS: mejoras relativas aproximadas del 10,6%, 8,1% y 5,4%. Las longitudes aceptadas pasaron de 6,47→7,47, 6,39→7,33 y 4,66→4,93. A temperatura uno mejoraron las medias, pero AIME25 en 4B descendió de 4,02 a 3,84 y HumanEval en 8B de 4,52 a 4,41. No existe superioridad uniforme. Tabla 1 de DFlare v2: aceleración y aceptación a temperaturas cero y uno Qué respaldan las ablaciones Con los mismos datos de DFlash, cinco, seis y siete capas de DFlare alcanzaron aceleraciones medias de 5,12, 5,13 y 5,16, frente a 4,98, 5,07 y 5,01 de DFlash; las longitudes aceptadas fueron 6,55, 6,72 y 6,90. El ensayo no prueba escalado ilimitado. Otra ablación de tres tareas obtuvo 3,37/4,52 en aceleración/aceptación para el modelo completo; sin softmax, separación KV o pérdida progresiva, 3,31/4,47, 3,35/4,48 y 3,34/4,47. Añadir una capa totalmente conectada dio aceptación 4,51. Son diferencias pequeñas, sin información de variabilidad que permita exagerar su alcance. Ablaciones de DFlare v2: número de capas objetivo y de borrador Tabla 2 de DFlare v2: normalización, separación KV y pérdida por posición Servicio y coste de entrenamiento En SGLang, Qwen3-8B sobre H20 y concurrencia 32, GSM8K alcanzó 1.053,7 tokens/s con la base, 1.068,6 con DFlash y 1.809,3 con DFlare; HumanEval obtuvo 1.212,0, 1.149,9 y 1.796,9. Con concurrencia uno, HumanEval dio 554,5 para DFlare frente a 561,1 para DFlash. Entrenar 8B exigió unas 160 horas por dispositivo en 32 GPU: unas 5.120 horas-GPU, no 160 en total. El trabajo no calcula el punto de amortización y no ensaya escalas mayores de datos por sus restricciones de recursos. Tabla 3 de DFlare v2: rendimiento de SGLang por concurrencia Lectura desde la práctica de patentes La divulgación técnica debe relacionar el cuello de botella con la mezcla, las proyecciones y la pérdida concretas, y con los efectos observados bajo condiciones explícitas. Se necesita acceso a estados ocultos internos; no cabe presumir compatibilidad con cualquier API cerrada. Conviene separar arquitectura, datos y configuración de servicio al explicar los resultados. Este análisis no determina novedad, actividad inventiva ni elegibilidad para patente. Se conservan las indicaciones y formas originales; el contenido se explica en el texto. Servicio relacionado: patentes de IA Artículo y figuras: Zhang y colaboradores, DFlare v2, 2026 (CC BY 4.0) · CC BY 4.0 Leer el original coreano Este artículo del archivo refleja la situación en su fecha de publicación. Contacte con el despacho para analizar su caso. Consultar sobre este tema ↗ Todos los artículos EN ESTA PÁGINA El trabajo y su objetivo Proponer en paralelo y aceptar con el modelo objetivo Una mezcla distinta para cada capa Proyecciones según el origen Estabilizar el prefijo antes de reforzar la cola Condiciones y volumen de datos Medias y excepciones Qué respaldan las ablaciones Servicio y coste de entrenamiento Lectura desde la práctica de patentes HABLE CON IPLEX Consulte sus necesidades de propiedad intelectual Analizamos conjuntamente sus necesidades tecnológicas y empresariales. ↗ Contactar Más reciente Solicitudes anteriores y generación de imágenes en realidad aumentada ↗ Anterior Creatividad de un diseño de protector contra salpicaduras ↗ Artículos relacionados Inteligencia artificial 2026.10.29 SwiLA: una memoria organizada según el contexto Análisis de Switching Linear Attention: cómo combina regresores lineales dentro de un estado fijo, qué muestran sus pruebas de recuperación y qué límites de capacidad y coste computacional persisten. ↗ Lea el artículo Inteligencia artificial 2026.10.28 La patente de síntesis de voz de Microsoft: sonidos, palabras y estructura de la oración La patente US12094447B2 combina información de fonemas o caracteres con representaciones de palabras y estructura gramatical para generar voz. ↗ Lea el artículo Inteligencia artificial 2026.10.27 GBLA: procesar historiales largos de recomendación con eficiencia Análisis técnico y desde la práctica de patentes de la atención lineal bidireccional con compuertas, su codificador híbrido y los resultados publicados. ↗ Lea el artículo

- https://www.iplexlaw.co.kr/es
- https://www.iplexlaw.co.kr/es/blog/category/ai
- https://www.iplexlaw.co.kr/es/ai-patents
- https://arxiv.org/abs/2606.02091v2
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/es/contact
- https://www.iplexlaw.co.kr/es/blog
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-0
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-1
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-2
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-3
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-4
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-5
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-6
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-7
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-8
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting#article-1866-en-9
- https://www.iplexlaw.co.kr/es/contact
- https://www.iplexlaw.co.kr/es/blog/brunch-case-1868
- https://www.iplexlaw.co.kr/es/blog/brunch-case-1865
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/es/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/es/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/es/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/es/blog/gbla-generative-retrieval