# DFlare: больше информации для черновой модели

Послойное объединение признаков, раздельные KV-проекции и постепенное изменение функции потерь в блочно-диффузионном спекулятивном декодировании.

Source: https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting

ГЛАВНАЯ / Новости и аналитика Новости и аналитика DFlare: больше информации для черновой модели Послойное объединение признаков, раздельные KV-проекции и постепенное изменение функции потерь в блочно-диффузионном спекулятивном декодировании. Искусственный интеллект 2026.10.22 Опубликовано IPLEX Время чтения: 13 мин. Работа и поставленная задача Рассматривается DFlare: Scaling Up Draft Capacity for Block Diffusion Speculative Decoding, Jiebin Zhang и соавторов, arXiv:2606.02091v2 от 2 июня 2026 года; первая версия подана 1 июня. Препринт команды Пекинского университета и Tencent опубликован по CC BY 4.0. Предмет исследования — ускорение инференса, а не утверждение, что увеличение черновой модели автоматически повышает качество ответа. Параллельный черновик и проверка целевой моделью Блочно-диффузионная модель предсказывает замаскированные позиции за один прямой проход, используя двунаправленное внимание внутри блока. Целевая модель проверяет предложение. При жадном декодировании принимается префикс до первого несовпадения, после чего целевая модель выдаёт следующий токен. Для стохастического декодирования требуется соответствующая процедура принятия, сохраняющая целевое распределение. Длина или правдоподобие черновика сами по себе не доказывают ускорение и эквивалентность. Своя смесь для каждого слоя DFlash передаёт общую репрезентацию, полученную полносвязным объединением целевых признаков. В DFlare каждый слой черновой модели обучает собственную смесь скрытых состояний нескольких целевых слоёв с нормализацией softmax и RMSNorm. Семь черновых слоёв, использующих девять целевых, дают 63 скалярных коэффициента смеси; это не общее число дополнительных параметров. Кэширование коэффициентов не устраняет вычисление взвешенных представлений для новой входной информации. Разделение проекций по источнику Признаки целевого контекста и признаки начального и маскированных токенов чернового блока находятся в разных пространствах. Для них применяются отдельные проекции ключей и значений, тогда как запросы строятся из черновых признаков. Важна взаимосвязь послойного выбора информации и преобразований по источникам, а не одно лишь увеличение глубины. Рисунок 2 DFlare v2: послойное объединение и раздельные KV-проекции Сначала устойчивый префикс, затем дальние позиции Обучение использует несколько опорных позиций и ограниченное внимание; эмбеддинги и выходная языковая голова заморожены и разделяются с целевой моделью. Взвешенная по позиции функция потерь сначала усиливает ранние токены, ошибка в которых отбрасывает хвост блока, затем увеличивает вес дальних позиций. В приложении начальное γ равно 4,5 и растёт на единицу за эпоху; для GPT-OSS-20B при блоке из восьми токенов γ=4 неизменно. Общее описание расписания следует отличать от конкретных настроек. Условия эксперимента и данные Qwen3-4B, Qwen3-8B и GPT-OSS-20B оценивались преимущественно на NVIDIA H20 относительно авторегрессионной базы, EAGLE3 и DFlash. Использованы GSM8K, MATH500, AIME25, HumanEval, MBPP и MT-Bench. Для Qwen число черновых слоёв, длина блока и число целевых слоёв равны 7, 16 и 9; для GPT-OSS — 8, 8 и 7. Смесь из 2,4 млн примеров включала Nemotron Post-Training Dataset V2, CodeAlpaca и Step3.5-Flash-SFT. Промпты сохранялись, ответы заново генерировались соответствующей целевой моделью. Обучение длилось шесть эпох с пределом 3 072 токена; совпадения с тестами длиной от 32-грамм удалялись. На Qwen3-8B объёмы 270 тыс., 800 тыс. и 2,4 млн дали ускорение 3,74, 4,97 и 5,46, длину принятия 4,90, 6,59 и 7,33. Основные результаты включают эффекты как архитектуры, так и данных. Рисунок 1 DFlare v2: ускорение и объём данных Средние улучшения и исключения При температуре ноль среднее ускорение DFlash→DFlare относительно авторегрессионной базы составило 4,99→5,52 для Qwen3-4B, 5,05→5,46 для 8B и 3,71→3,91 для GPT-OSS: относительный прирост около 10,6%, 8,1% и 5,4%. Длина принятия выросла с 6,47→7,47, 6,39→7,33 и 4,66→4,93. При температуре один средние показатели улучшились, но AIME25 на 4B снизился с 4,02 до 3,84, HumanEval на 8B — с 4,52 до 4,41. Преимущество не универсально. Таблица 1 DFlare v2: ускорение и принятие при температурах ноль и один Пределы выводов из абляций На одинаковых данных DFlash варианты DFlare с пятью, шестью и семью слоями дали ускорение 5,12, 5,13 и 5,16 против 4,98, 5,07 и 5,01; длина принятия DFlare — 6,55, 6,72 и 6,90. Это не доказательство неограниченного масштабирования. В отдельной абляции на трёх задачах полная модель дала ускорение/принятие 3,37/4,52; без softmax, разделения KV или постепенной потери — 3,31/4,47, 3,35/4,48 и 3,34/4,47. Дополнительный полносвязный слой дал принятие 4,51. Малые различия без данных о вариативности запусков не следует переоценивать. Абляции DFlare v2: число целевых и черновых слоёв Таблица 2 DFlare v2: нормализация, разделение KV и позиционная потеря Пропускная способность и стоимость обучения В SGLang на H20 для Qwen3-8B при 32 параллельных запросах GSM8K дал 1 053,7 токена/с для базы, 1 068,6 для DFlash и 1 809,3 для DFlare; HumanEval — 1 212,0, 1 149,9 и 1 796,9. При одном запросе HumanEval DFlare показал 554,5 против 561,1 у DFlash. Обучение 8B заняло около 160 часов на каждом из 32 GPU, то есть примерно 5 120 GPU-часов, а не 160 суммарно. Точка окупаемости не рассчитана; дальнейшее увеличение данных не проверено из-за ограничений ресурсов. Таблица 3 DFlare v2: пропускная способность SGLang по числу запросов Значение для патентного описания Техническое раскрытие должно связать информационное ограничение с конкретной смесью, проекциями и расписанием потерь, а затем с результатами в указанных условиях. Требуется доступ к внутренним скрытым состояниям целевой модели; совместимость с любой закрытой API предполагать нельзя. Вклад архитектуры, данных и режима обслуживания следует разграничивать. Анализ не устанавливает новизну, изобретательский уровень или патентоспособность. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Связанная практика: патенты в области ИИ Работа и иллюстрации: Zhang и соавторы, DFlare v2, 2026 (CC BY 4.0) · CC BY 4.0 Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ Работа и поставленная задача Параллельный черновик и проверка целевой моделью Своя смесь для каждого слоя Разделение проекций по источнику Сначала устойчивый префикс, затем дальние позиции Условия эксперимента и данные Средние улучшения и исключения Пределы выводов из абляций Пропускная способность и стоимость обучения Значение для патентного описания ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Ранние заявки и создание изображений в дополненной реальности ↗ Ранее Творческий уровень дизайна защитного бортика ↗ Материалы по теме Искусственный интеллект 2026.10.29 SwiLA: память, учитывающая контекст Как Switching Linear Attention объединяет линейные регрессионные модели в состоянии фиксированного размера: механизм обновления памяти, результаты извлечения информации и ограничения по ёмкости и вычислительным затратам. ↗ Читать статью Искусственный интеллект 2026.10.28 Патент Microsoft на синтез речи: звуки, слова и структура предложения Патент US12094447B2 описывает объединение фонем или символов с векторными представлениями слов и грамматическими признаками для синтеза речи. ↗ Читать статью Искусственный интеллект 2026.10.27 GBLA: эффективная обработка длинной истории рекомендаций Технический и патентный анализ двунаправленного линейного внимания с гейтами, гибридного кодировщика и границ опубликованных результатов. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://arxiv.org/abs/2606.02091v2
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-0
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-1
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-2
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-3
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-4
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-5
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-6
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-7
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-8
- https://www.iplexlaw.co.kr/ru/blog/dflare-block-diffusion-drafting#article-1866-en-9
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1868
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1865
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/ru/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/ru/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/ru/blog/gbla-generative-retrieval