# FrugalGPT: оценка ответа перед следующим вызовом модели

Каскад из статьи TMLR 2024, исторические результаты экономии и ограничения при обработке клиентских вопросов.

Source: https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade

ГЛАВНАЯ / Новости и аналитика Новости и аналитика FrugalGPT: оценка ответа перед следующим вызовом модели Каскад из статьи TMLR 2024, исторические результаты экономии и ограничения при обработке клиентских вопросов. Искусственный интеллект 2026.11.15 Опубликовано IPLEX Время чтения: 8 мин. Следующий вызов выбирается после оценки полученного ответа. FrugalGPT обучает порядок моделей и пороги остановки, затем оценивает уже полученный ответ и решает, нужна ли следующая модель. Это отличается от маршрутизации, использующей только исходный запрос. 1. Сначала ответ, затем решение В окончательной статье Lingjiao Chen и соавторов, опубликованной в TMLR в 2024 году, модель отвечает на вопрос, отдельный оценщик выставляет балл, а порог определяет остановку или продолжение. При продолжении следующая модель заново отвечает на тот же вопрос. Число фактических вызовов зависит от получаемых ответов. Порядок и пороги оптимизируются совместно при ограничении среднего бюджета. Метод не обещает, что каждый отдельный запрос обойдётся дешевле одного вызова. 2. Смысл оценки качества В реализации статьи для каждого API обучается оценщик на базе DistilBERT. На вход поступают вопрос и ответ, а обучающая метка указывает правильность ответа. Это внешняя оценка предполагаемого качества, а не уверенность отвечающей модели в себе. Высокий балл не исключает ошибку. Более высокий порог обычно увеличивает число вызовов и стоимость ради возможности получить лучший ответ. Его необходимо оценивать вместе с порядком моделей. При выборе позднего ответа расходы на предыдущие генерации и оценки сохраняются. Оптимизируются ожидаемое качество и средние затраты по совокупности запросов. 3. Два условных вопроса о доставке На простой вопрос о том, где посмотреть статус доставки, первый ответ может оказаться достаточным. При достижении порога каскад останавливается без второго вызова. Экономия касается последующих вызовов, но не первой генерации и оценки. Правдоподобный текст также не означает, что система получила сведения о заказе клиента. Изменение адреса частично отправленного заказа с товарами на нескольких складах требует большего числа условий. Ответ «изменить адрес для всех товаров» может пропустить различие статусов и вызвать следующую генерацию. Новый ответ должен сохранять условия, требующие проверки. Если факты о заказе неизвестны, обращение к интерфейсу заказа или сотруднику остаётся отдельным этапом; дополнительные вызовы модели сами заказ не меняют. 4. Как читать опубликованную экономию Основные эксперименты использовали 14 API шести поставщиков; цены и результаты собраны в марте 2023 года. Данные делили поровну на обучение и тест, а число моделей на запрос в этих опытах ограничивали тремя. Простой вопрос и вопрос с условиями демонстрируют разные решения об остановке. Для HEADLINES, классификации финансовых заголовков по четырём категориям, таблица 2 указывает 33,1 доллара для GPT-4 и 0,6 доллара для FrugalGPT при равной точности, с заявленной экономией 98,3 %. Это округлённые исторические данные, не текущие тарифы и не универсальная гарантия. В окончательной статье есть и сравнение моделей 2024 года на HEADLINES и SCIQ с одинаковыми запросами и температурами внутри этой серии. Условия моделей и цен отличаются от основного эксперимента. 5. Стоимость не заменяет другие показатели Последовательные вызовы способны увеличить время самых медленных ответов при снижении средних расходов. Нужно учитывать оценщик, работу сотрудников и распределение задержек. Успех в классификации не доказывает надёжность ответов о сложных правилах доставки. Следует проверять обязательные условия, исключения и необоснованные заявления о просмотре данных клиента. Изменения правил, запросов или моделей могут нарушить выученную связь балла с качеством. Исторический процент нельзя автоматически переносить на новую рабочую задачу. 6. Что включить в техническое описание Фиксируйте модель, ответ, балл, порог и причину остановки либо продолжения на каждом этапе. Определите, какие условия должен содержать ответ. Сравнение с маршрутизацией только по вопросу помогает выделить эффект оценки готового ответа. Его нужно отличать от результата простого увеличения числа вызовов. Техническое описание должно раскрывать входы оценщика, обученные правила, передачу человеку и изменения следующего входа. Перечень названий моделей сам по себе механизма не объясняет. Сохранены исходные обозначения и формы; содержание раскрыто в тексте. Примеры доставки условные. Цены и проценты относятся к историческим условиям экспериментов статьи. Окончательная статья TMLR 2024 Публикация в OpenReview Исследовательский репозиторий Stanford FrugalGPT Lost in the Middle: почему важно положение документа с ответом Разбор спекулятивного декодирования: как черновик небольшой модели ускоряет ответы LLM Ознакомьтесь с проектами ИИ IPLEX по выбору моделей, оценке качества и передаче сложных запросов. Опыт патентного поверенного Ким Ёндока в области ИИ Исходная публикация в Tistory Прочитать корейский оригинал Материал отражает ситуацию на дату публикации. Обратитесь в IPLEX, чтобы обсудить обстоятельства вашего дела. Обсудить этот вопрос ↗ Все статьи НА ЭТОЙ СТРАНИЦЕ 1. Сначала ответ, затем решение 2. Смысл оценки качества 3. Два условных вопроса о доставке 4. Как читать опубликованную экономию 5. Стоимость не заменяет другие показатели 6. Что включить в техническое описание ОБРАТИТЕСЬ В IPLEX Обсудите с нами вопросы интеллектуальной собственности Мы рассматриваем ваши технологические и бизнес-потребности вместе. ↗ Связаться с нами Новее Покупка до выдачи патента не исключает нарушение при последующем использовании ↗ Ранее Просьба заказчика изменить расположение детали не доказывает соавторство образца ↗ Материалы по теме Искусственный интеллект 2026.11.19 Эмбеддинги Matryoshka для поиска изображений: отбор по префиксу и ранжирование по полному вектору Разбираем Matryoshka Representation Learning: обучение вложенных представлений и результаты поиска на ImageNet-1K из NeurIPS 2022. ↗ Читать статью Искусственный интеллект 2026.11.18 Патент ByteDance на субтитры: распознавание отдельных дорожек и устранение наложения по времени Разбираем US11837234B2: выбор аудиодорожек и изменение времени субтитров, отдельно от публичных инструкций CapCut. ↗ Читать статью Искусственный интеллект 2026.11.17 Распознанный текст Apple: от номера или URL к подходящему действию US12001642B2 связывает распознанный текст, координаты, тип данных и ввод пользователя с контекстными меню и действиями. ↗ Читать статью

- https://www.iplexlaw.co.kr/ru
- https://www.iplexlaw.co.kr/ru/blog/category/ai
- https://lchen001.github.io/papers/2024_FrugalGPT_TMLR.pdf
- https://openreview.net/forum?id=cSimKw5p6R
- https://github.com/stanford-futuredata/FrugalGPT
- https://www.iplexlaw.co.kr/ru/blog/lost-in-the-middle-evidence-position
- https://www.iplexlaw.co.kr/ru/blog/speculative-decoding-draft-parallel-verification
- https://www.iplexlaw.co.kr/ru/ai-patents
- https://iplexlaw.tistory.com/27
- https://www.iplexlaw.co.kr/ko/blog/frugalgpt-answer-scoring-model-cascade
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog
- https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-0
- https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-1
- https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-2
- https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-3
- https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-4
- https://www.iplexlaw.co.kr/ru/blog/frugalgpt-answer-scoring-model-cascade#article-27-en-5
- https://www.iplexlaw.co.kr/ru/contact
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1964
- https://www.iplexlaw.co.kr/ru/blog/brunch-case-1963
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/matryoshka-prefix-vector-image-retrieval
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/bytedance-track-based-caption-timing
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
- https://www.iplexlaw.co.kr/ru/blog/apple-recognized-text-contextual-actions
