Noticias y análisis

FrugalGPT: puntuar la respuesta antes de llamar a otro modelo

La cascada del artículo TMLR 2024, sus resultados históricos de coste y los límites de trasladarlos a consultas de clientes.

La decisión de continuar utiliza una respuesta ya generada.
La decisión de continuar utiliza una respuesta ya generada.

FrugalGPT aprende un orden de modelos y umbrales de parada. Después evalúa una respuesta ya generada para decidir si merece la pena otra llamada, a diferencia de una selección basada exclusivamente en la consulta inicial.

1. Generar, evaluar y decidir

En la versión final de 2024 publicada en TMLR por Lingjiao Chen y sus coautores, un modelo responde, un evaluador independiente puntúa la respuesta y un umbral determina si se devuelve o se continúa.

Si la cascada continúa, el siguiente modelo genera otra respuesta a la misma pregunta. El número efectivo de llamadas depende de las respuestas observadas.

El orden y los umbrales se optimizan conjuntamente bajo un presupuesto medio. No se garantiza que cada consulta cueste menos que una llamada a un único modelo.

2. Qué mide la puntuación

La implementación del artículo entrena un evaluador basado en DistilBERT para cada API. Utiliza la pregunta y la respuesta como entrada, con etiquetas que indican si la respuesta es correcta.

Es una predicción externa de calidad, no la confianza declarada por el modelo que responde. Una puntuación alta también puede ser errónea.

Un umbral más exigente suele implicar más llamadas y gasto a cambio de la posibilidad de mejores respuestas. Debe evaluarse junto con el orden aprendido.

Los costes de las respuestas y evaluaciones anteriores no desaparecen al elegir una respuesta posterior. La optimización considera calidad esperada y gasto medio entre consultas.

3. Dos consultas de envío hipotéticas

Una pregunta sencilla sobre dónde consultar el estado del envío puede resolverse con la primera respuesta. Si supera el umbral, no se llama al segundo modelo.

Se ahorran llamadas posteriores, no la primera generación ni su evaluación. Una respuesta plausible tampoco demuestra que se haya consultado el pedido del cliente.

Cambiar la dirección de un pedido parcialmente enviado desde varios almacenes plantea más condiciones. Una primera respuesta que proponga cambiar todos los artículos puede omitir sus distintos estados y provocar otra generación.

La respuesta posterior debe conservar los puntos que requieren comprobación. Si faltan datos del pedido, consultar su interfaz o derivar a una persona es un paso distinto: llamar a más modelos no modifica un pedido.

4. El alcance de las cifras publicadas

Los experimentos principales utilizaron 14 API de seis proveedores, con precios y resultados de marzo de 2023. Se dividieron los datos por mitades para entrenamiento y prueba, con un máximo experimental de tres modelos por consulta.

Una pregunta sencilla y otra condicionada ilustran decisiones de parada diferentes.
Una pregunta sencilla y otra condicionada ilustran decisiones de parada diferentes.

En HEADLINES, una clasificación de titulares financieros en cuatro categorías, la tabla 2 indica 33,1 USD para GPT-4 y 0,6 USD para FrugalGPT a igual precisión, con un ahorro publicado del 98,3 %. Son valores históricos redondeados, no tarifas actuales ni una garantía general.

La versión final también compara modelos de 2024 en HEADLINES y SCIQ, manteniendo iguales indicaciones y temperaturas dentro de esa comparación. Sus condiciones de modelos y precios difieren de las del experimento principal.

5. Medir calidad y latencia por separado

Las llamadas secuenciales pueden aumentar los tiempos de las respuestas más lentas aunque baje el gasto medio. Hay que incluir el evaluador, las derivaciones y la distribución de la latencia.

Una buena clasificación no acredita respuestas fiables sobre políticas complejas de entrega. Deben comprobarse condiciones, excepciones y afirmaciones infundadas de acceso a datos del cliente.

Los cambios de políticas, consultas o modelos pueden alterar la relación aprendida entre puntuación y calidad. La evaluación debe corresponder al servicio previsto, sin trasladar porcentajes históricos automáticamente.

6. Documentar el mecanismo técnico

Registre cada modelo, respuesta, puntuación, umbral y motivo de parada o continuación. Especifique también las condiciones que una respuesta debe cubrir.

La comparación con un sistema que decide solo a partir de la pregunta permite aislar el efecto de observar la respuesta. Debe distinguirse de simplemente añadir otra llamada.

Una memoria técnica debe describir entradas del evaluador, reglas aprendidas, derivación y posibles cambios de la siguiente entrada. Enumerar marcas de modelos no explica el proceso.

Se conservan las indicaciones y formas originales; el contenido se explica en el texto.

Los envíos son ejemplos hipotéticos. Los costes y porcentajes corresponden a las condiciones históricas del artículo.

Artículo final TMLR 2024

Registro de publicación en OpenReview

Repositorio de investigación Stanford FrugalGPT

Lost in the Middle: por qué importa dónde aparece el documento con la respuesta

Lectura de la decodificación especulativa: borradores pequeños para acelerar las respuestas de los LLM

Consulte los proyectos de IA de IPLEX sobre selección de modelos, evaluación de calidad y lógica de derivación.

Conozca la experiencia de Yongduck Kim en IA

Artículo original en Tistory

Leer el original coreano

Este artículo del archivo refleja la situación en su fecha de publicación. Contacte con el despacho para analizar su caso.
Consultar sobre este tema ↗Todos los artículos

Su próximo paso en tecnología y propiedad intelectual empieza aquí.