Titans: нейронная память, обновляемая во время инференса
Технический разбор Titans v1: ассоциативная память, неожиданность, забывание, архитектуры MAC/MAG/MAL и границы результатов на длинном контексте.
Читать статьюПрактика в сфере интеллектуальной собственности, технологии ИИ, международная охрана и новости IPLEX. Читайте наши материалы на русском языке.
537 Статьи и обновления
103 публикаций
Технический разбор Titans v1: ассоциативная память, неожиданность, забывание, архитектуры MAC/MAG/MAL и границы результатов на длинном контексте.
Читать статьюРазбор US12361264B2: выбор слоёв, сохранение промежуточных признаков и локальное дообучение. Отдельно рассматриваются заявленная конфигурация LLM и условный пример камеры контроля.
Читать статьюМетод ICML 2023: генерация черновика, параллельная проверка и коррекция вероятностей. Разбираем эксперименты T5-XXL и условия переноса результатов в сервис.
Читать статьюРазбор US12639823B2: семантическая сегментация, трёхзонная карта с разной шириной границ, сохранение лица и оценка альфа-значения каждого пикселя.
Читать статьюТехнический разбор US12579565B1: двухэтапное обучение языковой модели, ранжирование отзывов, признаки товара и контекст для генерации обобщённого описания.
Читать статьюКластеризация в обучаемом пространстве, поиск Flat и Tree, варианты D-LSA и N-LSA, а также условия экспериментов с точностью, скоростью и памятью.
Читать статьюРазбираем US11669722B2: выбор момента съёмки при закрытии двери, отделение её отсеков по глубине и обновление списка продуктов после обнаружения и распознавания.
Читать статьюКак LoRA сохраняет базовую модель и обучает небольшие матрицы: результаты эксперимента с GPT-2, затраты на обучение и инференс, а также технические вопросы для патентной практики.
Читать статьюРазбираем опубликованную заявку US20250173522A1: расширение словаря, векторы признаков и отбор параллельных текстов. Отдельно рассматриваем средства настройки перевода Qwen-MT.
Читать статьюКак Switching Linear Attention объединяет линейные регрессионные модели в состоянии фиксированного размера: механизм обновления памяти, результаты извлечения информации и ограничения по ёмкости и вычислительным затратам.
Читать статьюПатент US12094447B2 описывает объединение фонем или символов с векторными представлениями слов и грамматическими признаками для синтеза речи.
Читать статьюТехнический и патентный анализ двунаправленного линейного внимания с гейтами, гибридного кодировщика и границ опубликованных результатов.
Читать статью