
Ejecutar IA en un dispositivo periférico puede exigir reducir la memoria y la capacidad de procesamiento que necesita un modelo ya entrenado. La patente estadounidense US12361264B2 de Nota describe cómo seleccionar una parte, guardar sus entradas y salidas originales y utilizar esos registros para reentrenarla tras comprimirla. Una cámara de inspección ficticia permite explicar qué se reduce, cuál es la referencia del ajuste y qué resultados conviene comparar antes del despliegue.
1. Del servidor de desarrollo al dispositivo de la fábrica
Imaginemos una cámara que revisa el embalaje de cajas en una cinta transportadora. Un modelo que funciona con holgura en el servidor puede consumir demasiada memoria o emitir decisiones con retraso en el pequeño equipo situado junto a la línea. Debe procesar la imagen antes de que llegue la siguiente caja, por lo que importa su funcionamiento en el dispositivo real.
La compresión reduce cálculos o valores almacenados para facilitar el uso de un modelo entrenado con recursos limitados. La parte modificada determina qué valores reciben las capas posteriores y puede influir en la decisión final.
La cuestión técnica consiste en recuperar la información que transmitía una parte computacionalmente costosa después de reducirla. La patente describe el registro previo de las entradas y salidas de un grupo de capas, que después sirven para reentrenar ese grupo comprimido.
2. Elegir el grupo de capas que se va a comprimir
Una capa de una red neuronal recibe valores, realiza un cálculo y transmite el resultado. Los bloques 1, 2 y 3 de la ilustración representan etapas conectadas. El grupo de capas delimita la parte tratada conjuntamente durante la compresión y el reentrenamiento; un bloque ilustrado puede contener varias capas reales.
La patente aborda un modelo de lenguaje grande formado por bloques Transformer. Una conexión residual transmite la entrada del bloque y a ella se suma el resultado de sus operaciones. El procedimiento descrito evalúa la importancia relativa comparando esa entrada residual con la suma de la entrada y el resultado calculado.
Una medida descrita es la similitud coseno: si representamos dos conjuntos de números como flechas, indica cuánto se parecen sus direcciones. En este ejemplo, una similitud mayor implica una importancia relativa menor. Seleccionar el grupo, comprimirlo y reajustar su salida son etapas distintas.
3. Conservar pares de entradas y salidas del grupo original
Primero se introducen datos de ejemplo en el modelo preentrenado. Se guardan los valores que llegan a la primera capa del grupo seleccionado y los que salen de su última capa para ese mismo ejemplo. Cada registro vincula una entrada con su salida original.
Normalmente se trata de características intermedias, no de una fotografía o una frase sin transformar. Los cálculos anteriores pueden representar cambios de color, formas o contexto lingüístico mediante valores numéricos útiles para la siguiente etapa. Se conservan las características que realmente atraviesan los límites del grupo.
Las dos tarjetas del esquema representan ese par. La tarjeta de entrada aporta los datos que volverá a recibir el grupo reducido; la de salida conserva lo que produjo el grupo original. Así quedan preparados tanto los datos de entrada como el objetivo del reentrenamiento.
4. Reentrenar la parte comprimida tomando como objetivo la salida guardada
La descripción menciona la poda, la descomposición de filtros y la eliminación de capas como posibles formas de compresión. Si se eliminaran todas las capas del grupo, pueden incorporarse capas anteriores o posteriores para que quede alguna que reentrenar. Delimitar el grupo permite precisar el alcance del ajuste.
Al introducir las características almacenadas en el grupo reducido se obtiene una nueva salida. El reentrenamiento modifica sus pesos para acercarla a la salida guardada del grupo original. La descripción permite utilizar todos los datos almacenados o una parte de ellos como entradas y objetivos de entrenamiento.
El grupo ajustado ocupa la posición del original: recibe características de las capas anteriores y entrega sus resultados a las posteriores. El término «local» se refiere aquí a concentrar la compresión y el reentrenamiento en una parte delimitada del modelo.
5. Comparar resultados intermedios en una cámara hipotética
Simplifiquemos la inspección en tres etapas: extraer bordes y cambios de superficie, representar la relación entre la cinta adhesiva y las caras de la caja, y emitir el resultado de la inspección. Supongamos que se quiere reducir el cálculo de la etapa intermedia.
El equipo procesa primero fotografías de cajas normales y de cajas con la cinta plegada mediante el modelo original. Conserva pares de características de entrada y salida de esa etapa. Una vez reducido el bloque central, le proporciona las mismas entradas y lo entrena para aproximarse a las salidas que había registrado.

La parte superior del dibujo representa el recorrido original y la inferior, el comprimido. El contorno discontinuo identifica el objetivo del reentrenamiento. Si desaparece una característica relevante para detectar la cinta plegada, comparar la nueva salida con la referencia ayuda a localizar el cambio. También debe ejecutarse el modelo completo para comparar las decisiones reales de inspección.
6. Desarrollo, optimización y pruebas con NetsPresso
La información oficial de Nota distingue el desarrollo de modelos, la optimización para el hardware y las pruebas en dispositivos reales. El módulo Compressor de la fase de desarrollo ofrece, entre otras funciones, poda estructurada. La optimización incluye tratamiento del grafo de cálculo, cuantización y conversión de formatos del modelo.
Los materiales del producto también describen herramientas de evaluación en equipos reales. Cada dispositivo admite operaciones y configuraciones de memoria diferentes. Revisar tamaño y precisión y, después, latencia y viabilidad de ejecución en el equipo de destino permite relacionar la compresión con la decisión de desplegar.
En el ejemplo de la cámara, el equipo podría delimitar los cálculos que quiere reducir y comparar ambos modelos en el mismo dispositivo con el mismo conjunto de imágenes. Los datos intermedios guardados explican la referencia del reentrenamiento de la patente; el flujo del producto ilustra cómo evaluar el modelo preparado en su entorno de uso.
7. Documentar la modificación y las condiciones de comparación
Conviene registrar dónde se comprime y por qué: qué capas se conservan, qué cálculos cambian, qué situaciones cubren las entradas y qué salidas se utilizan como objetivo. Diferenciar los ejemplos normales de los defectos infrecuentes facilita interpretar los resultados.
La proximidad de la salida intermedia a la original y la conservación de la precisión final son mediciones distintas. La primera describe el ajuste local; la segunda, el desempeño de todo el modelo. Registrar precisión, tiempo de procesamiento y memoria en condiciones comparables permite identificar las mejoras y los compromisos pendientes.
Una explicación técnica útil relaciona los criterios de selección, las entradas y salidas conservadas, el alcance del reentrenamiento y las comparaciones tras el despliegue. Es más informativo concretar qué parte se cambió para resolver qué problema que afirmar únicamente que el modelo es más pequeño.
Se conservan las indicaciones y formas originales; el contenido se explica en el texto.
La cámara es un ejemplo explicativo, no una implementación ni una prueba de rendimiento. Las reivindicaciones independientes 1 y 7 incluyen un LLM con al menos mil millones de parámetros y la selección de bloques Transformer según la similitud especificada; las reivindicaciones dependientes 4 y 10 concretan la similitud coseno. La presentación del producto no demuestra que NetsPresso incorpore todos los elementos reivindicados.
Texto de la patente en USPTO · US12361264B2
Presentación oficial de NetsPresso por Nota
DEEPX DX-M1 e IA en el borde: conectar el entrenamiento con la evaluación del dispositivo
Cómo funciona LoRA: adaptar la IA mediante pequeñas actualizaciones de pesos
Consulte el área de IA y los materiales de preparación de IPLEX para documentar las modificaciones de un modelo y su relevancia técnica.
Conozca la experiencia de Yongduck Kim en IA
