# SwiLA: una memoria organizada según el contexto

Análisis de Switching Linear Attention: cómo combina regresores lineales dentro de un estado fijo, qué muestran sus pruebas de recuperación y qué límites de capacidad y coste computacional persisten.

Source: https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention

INICIO / Noticias y análisis Noticias y análisis SwiLA: una memoria organizada según el contexto Análisis de Switching Linear Attention: cómo combina regresores lineales dentro de un estado fijo, qué muestran sus pruebas de recuperación y qué límites de capacidad y coste computacional persisten. Inteligencia artificial 2026.10.29 publicado IPLEX 13 min de lectura Análisis técnico de Yongduck Kim, agente de patentes de Corea del Sur en IPLEX IP LAW FIRM. Una misma palabra puede designar objetos distintos según el contexto. Cuando una IA comprime una conversación para conservarla en memoria, necesita mantener esas diferencias. Si varios contextos se mezclan en una única representación, sus asociaciones pueden interferir al recuperar información. Switching Linear Attention, o SwiLA, distribuye una memoria de tamaño fijo entre varios componentes de regresión lineal y ajusta sus actualizaciones según la relación entre la entrada y el estado existente. El objetivo es aumentar la capacidad expresiva de la función de recuperación sin ampliar indefinidamente el almacenamiento. 1. El artículo y la versión analizada Switching Linear Attention es un trabajo de Hyun Dong Lee, Xavier Gonzalez, Nicolas Zucchet, E. Kelly Buchanan, Emily B. Fox y Scott W. Linderman. El artículo indica Stanford University como afiliación. Una nota aclara que Xavier Gonzalez pertenecía a Stanford durante la investigación y actualmente trabaja en Unconventional AI. Este análisis se refiere a arXiv:2609.39034v1, publicado el 30 de septiembre de 2026, con DOI 10.48550/arXiv.2609.39034. El PDF original lo identifica como un artículo de la conferencia COLM 2026. Las cifras y las ilustraciones comentadas corresponden a esa primera versión. El trabajo se distribuye bajo la licencia CC BY 4.0. Las figuras y tablas reproducidas se atribuyen a Lee y colaboradores, Switching Linear Attention, 2026, y sus pies conservan la numeración original. El autor de este comentario no forma parte del equipo que realizó la investigación. 2. Por qué importa cómo se recupera la información: historial completo o estado comprimido La atención softmax convencional conserva las claves y los valores de los tokens anteriores en una caché KV. Compara una consulta con esas claves y combina los valores pertinentes. Es una forma flexible de recuperar información, pero la caché crece a medida que se alarga el contexto. La atención lineal acumula la información previa en una matriz de estado de tamaño fijo. En vez de volver a consultar todo el historial, lee un registro resumido. Sin embargo, una única transformación lineal de consultas a valores tiene una capacidad limitada para representar asociaciones que dependen del contexto. Por ejemplo, el nombre Harry requiere asociaciones diferentes en un párrafo sobre un músico y en otro sobre un mago de ficción. SwiLA utiliza una mezcla de modelos de regresión para tratar estos casos, en los que una misma pista conduce a valores distintos según el contexto. Figura 1 del artículo: regresión lineal y por tramos, estructura del estado de SwiLA y aproximación a softmax. El gráfico derecho muestra R² de prueba en una tarea sintética, no exactitud de un modelo de lenguaje. Fuente: Lee y colaboradores, 2026, CC BY 4.0. 3. La idea central: entender la memoria como una mezcla de regresores Los investigadores presentan la memorización como el aprendizaje de una función de regresión de claves a valores, y la recuperación como la evaluación de esa función para una consulta. Es la regresión en tiempo de prueba, o TTR. Lo que cambia al leer tokens es el estado de pesos rápidos aprendido dentro del contexto; no se vuelve a entrenar todo el modelo de lenguaje en cada paso. La lectura básica de DeltaNet multiplica una consulta q por una única matriz de estado W. SwiLA divide ese estado en J componentes de regresión lineal y establece pesos de mezcla para cada dimensión de salida. Equivale a disponer de varios registros especializados y adaptar su aportación a la pregunta. La salida es la suma de las predicciones de los componentes, ponderadas por los pesos de mezcla del lado de la consulta. Por tanto, switching no significa necesariamente un encaminamiento rígido que seleccione un solo experto. Al depender los pesos de la entrada, la función conjunta de recuperación es más expresiva que una transformación lineal única. Con D dimensiones de salida existen J^D patrones posibles de selección de componentes, mientras que el número de pesos almacenados escala como J×D². El número de combinaciones no debe confundirse con la capacidad real de memoria. El trabajo no afirma que un estado fijo permita conservar todo el pasado sin pérdida de información. 4. Cómo se procesa un token: el error de predicción guía la actualización Primero se calculan las consultas, claves, valores y pesos de mezcla a partir del token de entrada. Después, cada componente usa su estado actual para predecir el valor correspondiente a la clave y lo compara con el valor observado. Esa diferencia es el error de predicción. El tercer paso combina las probabilidades previas derivadas de la entrada con los errores de cada componente para calcular sus responsabilidades, es decir, sus probabilidades de asignación posteriores. Una misma entrada puede recibir responsabilidades distintas según lo que ya contenga la memoria. Ahí se distingue de un enrutador que decide únicamente a partir de la entrada. En cuarto lugar, los pesos rápidos de cada componente se actualizan en proporción a tasa de aprendizaje × responsabilidad × error de predicción × clave. Finalmente, se aplica la consulta a los componentes actualizados y se combinan sus resultados con los pesos del lado de la consulta. Los autores derivan esta secuencia de la estimación por esperanza-maximización en línea para una mezcla de regresiones lineales. EM ofrece un marco para estimar la pertenencia a componentes latentes y actualizar el modelo. En este caso, la recurrencia utiliza un solo paso de gradiente estocástico sobre los pesos rápidos por token. No ejecuta una optimización prolongada hasta alcanzar la convergencia cada vez que llega una nueva entrada. 5. Persistencia y olvido: Temporal SwiLA y Gated SwiLA Temporal SwiLA incorpora el hecho de que un contexto suele mantenerse durante varios tokens consecutivos. Combina la distribución anterior de probabilidades sobre los componentes con la distribución generada por la entrada actual y transmite el resultado al siguiente paso. Esta aproximación computacionalmente manejable al filtrado de un modelo oculto de Markov mantiene la preferencia por determinados componentes aunque las pistas de contexto no se repitan dentro del párrafo. Gated SwiLA añade una puerta de olvido dependiente de la entrada para atenuar el estado antiguo. El artículo distingue entre aplicar la atenuación antes o después de calcular las responsabilidades. La variante implementada calcula los errores de predicción y las responsabilidades a partir del estado ya atenuado. Disponer de más componentes no sirve de mucho si las actualizaciones se concentran en unos pocos. Los autores introducen una pérdida auxiliar que favorece tanto un uso equilibrado del conjunto como la especialización por token. También describen ruido dependiente de la entrada, pero desactivan el ruido del enrutador y de la puerta temporal en los experimentos principales con modelos de 374M parámetros. No todas las técnicas propuestas se usan simultáneamente en todas las pruebas. 6. Experimentos sintéticos: una clave con valores distintos según el contexto La prueba de aproximación a softmax utiliza secuencias sintéticas de longitud 512 y dimensión 32, con 65.536 secuencias de entrenamiento y 2.048 de prueba. Se compara con DeltaNet manteniendo el mismo presupuesto de estado recurrente. La mejor configuración de SwiLA en cada presupuesto obtiene un R² de prueba mayor. El resultado corresponde a esas entradas sintéticas y a esa búsqueda de configuraciones; no garantiza una aproximación igual de precisa para cualquier entrada. La tarea de recuperación asociativa dependiente del contexto, CDAR, presenta 32 pares clave-valor en cada uno de cuatro contextos: 128 asociaciones en total. Una misma clave tiene un valor distinto en cada contexto y los tokens de contexto no se repiten continuamente. El modelo debe conservar tanto las asociaciones como el contexto activo. La longitud de secuencia es 1.024. En Figure 2A, Temporal SwiLA con una cabeza, dimensión 32 y cuatro componentes es la configuración más pequeña que alcanza una exactitud casi perfecta, con un estado de tamaño 4.096. El gráfico muestra el mejor resultado entre distintas tasas de aprendizaje y semillas aleatorias. No mide la estabilidad media del entrenamiento ni la tasa de éxito de un servicio real. Figura 2 del artículo: a la izquierda, exactitud de CDAR según el tamaño del estado; a la derecha, exactitud de RegBench según el número de ejemplos de preentrenamiento. Son tareas sintéticas distintas y deben diferenciarse sus condiciones, incluida la profundidad de los modelos. Fuente: Lee y colaboradores, 2026, CC BY 4.0. RegBench presenta cadenas generadas por autómatas finitos probabilísticos aleatorios y evalúa si el modelo aprende, dentro del contexto, su distribución del siguiente token. Se comparan modelos de ocho capas y se fija en 16.384 el tamaño del estado de cada capa recurrente. Temporal SwiLA y DN-MoM destacan con pocos datos, pero Transformer alcanza la mayor exactitud cuando aumenta el conjunto de entrenamiento. SwiLA no lidera en todas las escalas de datos. 7. Resultados de lenguaje con tamaños y condiciones comparables La comparación principal entrena modelos de unos 374 millones de parámetros, 24 capas y dimensión oculta de 1.024 con aproximadamente 15.000 millones de tokens de FineWeb-Edu. Las secuencias de entrenamiento tienen 4.096 tokens y se emplean ocho GPU H100. Las dimensiones intermedias de las redes de propagación hacia delante se ajustan ligeramente para igualar el número total de parámetros. Las variantes de SwiLA usan ocho cabezas, cuatro componentes por cabeza y claves y valores de dimensión 64, lo que supone 131.072 escalares de estado recurrente principal por capa. DeltaNet, GDN y KDA se ajustan al mismo presupuesto de estado principal. Esto no implica que la memoria total durante la ejecución ni el trabajo computacional sean idénticos. Tabla 1 del artículo: perplejidad y exactitud en razonamiento de sentido común de modelos de 374M parámetros. Una menor perplejidad y una mayor exactitud son mejores; no son métricas intercambiables. Fuente: Lee y colaboradores, 2026, CC BY 4.0. La exactitud media en razonamiento de sentido común es del 45,3% para Transformer++, 43,7% para DeltaNet, 45,0% para Gated DeltaNet y 46,6% para KDA. SwiLA obtiene el 44,7%; Gated SwiLA y Gated Temporal SwiLA, el 45,4% cada uno. Las variantes con puertas superan a Transformer++ en 0,1 puntos porcentuales, pero KDA obtiene un resultado mayor. No se aportan pruebas de que esa pequeña diferencia sea estadísticamente concluyente ni de que se generalice a modelos mucho más grandes. Tabla 2 del artículo: puntuaciones contains en seis tareas de recuperación, con entradas truncadas a 2K tokens. No representan la exactitud general de toda tarea de preguntas y respuestas. Fuente: Lee y colaboradores, 2026, CC BY 4.0. En las tareas de recuperación, las medias son del 17,3% para DeltaNet, 19,2% para Gated DeltaNet, 20,3% para KDA y 20,6% para Gated Temporal SwiLA. Transformer++ alcanza el 28,3% y FoX el 33,7%, por lo que persiste una diferencia considerable. Mejorar la recuperación dentro de un estado fijo no equivale a sustituir por completo a un modelo que conserva toda su caché KV. Hybrid Temporal SwiLA intercala tres capas recurrentes con una de atención softmax y alcanza el 31,8%, por encima del 29,5% de Hybrid GDN y del 28,3% de Transformer++. Sin embargo, las capas de atención completa mantienen sus cachés KV. La propiedad de estado fijo de SwiLA puro no puede atribuirse al conjunto del modelo híbrido. 8. Cuándo mejora el rendimiento: entrenamiento e inferencia son mediciones diferentes A diferencia de las pruebas de exactitud, el estudio de rendimiento mide modelos de 1.300 millones de parámetros en una sola GPU H100. Para secuencias de entrenamiento de 2K, 4K, 8K y 16K tokens se usan lotes de 64, 32, 16 y 8, respectivamente, manteniendo 131.072 tokens por actualización. El tiempo incluye las pasadas hacia delante y hacia atrás, el recorte de gradientes y la actualización de AdamW. Figura S3 del artículo: rendimiento de entrenamiento y máximo de memoria asignada con un número constante de tokens por actualización. Un estado fijo no garantiza un entrenamiento más rápido ni un menor consumo total de memoria. Fuente: Lee y colaboradores, 2026, CC BY 4.0. En inferencia, cada entrada sintética contiene 2.048 tokens y se amplía con 128 tokens mediante decodificación voraz. El tamaño de lote aumenta de 1 a 128. Se mide el proceso completo de generación, incluido el prellenado y la decodificación. Las configuraciones que agotan la memoria, y los lotes mayores, se excluyen de las mediciones completadas. Figura S4 del artículo: rendimiento total de inferencia y memoria máxima según el tamaño del lote. X indica memoria insuficiente. Deben distinguirse la latencia de una petición y la tasa de procesamiento de lotes grandes. Fuente: Lee y colaboradores, 2026, CC BY 4.0. Los autores resumen una tasa total de procesamiento en inferencia entre cuatro y cinco veces la de Transformer. Esa mejora incluye la posibilidad de utilizar lotes mayores al no necesitar una caché KV. No significa que todos los lotes sean cuatro o cinco veces más rápidos ni que la respuesta a un usuario individual llegue en esa proporción antes. Frente a GDN, SwiLA es aproximadamente dos veces más lento al entrenar y entre 1,25 y 1,5 veces más lento en inferencia, además de consumir más memoria. 9. Límites pendientes y condiciones de aplicación En primer lugar, la capacidad de memoria sigue siendo fija. Un contexto más largo no crea almacenamiento adicional, por lo que persisten las interferencias y el límite de capacidad. En particular, la evaluación de recuperación restringe las entradas a 2K tokens; esos resultados no bastan para establecer la precisión en documentos extremadamente largos. En segundo lugar, unas responsabilidades dependientes del estado existente producen una recurrencia no lineal difícil de paralelizar durante el entrenamiento. Los experimentos utilizan un núcleo secuencial rápido de Triton. El apéndice propone iteraciones de Newton y paralelización por bloques, pero no debe presentarse esa propuesta como si ya hubiera resuelto el problema de velocidad en las pruebas principales. En tercer lugar, aumentar los expertos no mejora necesariamente el resultado. En una ablación independiente con modelos de 115M parámetros y 5.000 millones de tokens, pasar de cuatro a dieciséis componentes con el mismo presupuesto de estado reduce las dimensiones de proyección de cada componente y empeora ligeramente el rendimiento. Hay que equilibrar la cantidad de componentes y su capacidad individual. Por último, SwiLA básico es vulnerable al colapso de expertos. En esa ablación, la pérdida auxiliar reduce la perplejidad de prueba de 36,769 a 16,807. En Temporal SwiLA, los valores correspondientes son 16,718 y 16,715, con una diferencia muy pequeña. Estas cifras pertenecen a la ablación y no deben mezclarse con la comparación principal de modelos de 374M parámetros. 10. Diferencias técnicas desde la perspectiva de un agente de patentes El problema técnico consiste en conservar y recuperar con mayor precisión asociaciones clave-valor dependientes del contexto dentro de un estado recurrente limitado. La solución combina regresores lineales, pesos por dimensión de salida, responsabilidades que incorporan el error de predicción del estado existente y actualizaciones guiadas por esas responsabilidades. Frente a la selección de memoria basada solo en la entrada, SwiLA considera en el reparto hasta qué punto la memoria actual explica esa entrada. La variante Temporal incorpora la persistencia del contexto y la variante Gated, la atenuación de la memoria. Distinguir sus funciones y la forma en que se combinan permite explicar con precisión la arquitectura. Los efectos demostrados incluyen mejores resultados sintéticos con presupuestos de estado concretos y una mejora de recuperación en los experimentos de 374M parámetros. Coexisten con mayores costes de entrenamiento e inferencia y con una diferencia de recuperación respecto de la atención completa. A mi juicio, la aportación reside menos en dividir la memoria que en diseñar conjuntamente su actualización y su función de recuperación mediante un modelo probabilístico coherente. Es un comentario técnico, no una valoración de patentabilidad ni de infracción. 11. Consideraciones finales SwiLA conserva la memoria de tamaño fijo de la atención lineal y aumenta la expresividad de la recuperación mediante una combinación de regresores adaptada al contexto. Son esenciales la influencia del error de predicción del estado existente sobre la siguiente actualización y el tratamiento explícito de la persistencia del contexto. Los experimentos muestran que la recuperación puede mejorar con un estado fijo, pero siguen presentes la diferencia de capacidad frente a la atención que guarda todo el historial y el coste del entrenamiento secuencial. Para valorar su idoneidad hay que considerar conjuntamente la longitud de contexto necesaria, la precisión de recuperación, el rendimiento por lotes y el coste de entrenamiento. Se conservan las indicaciones y formas originales; el contenido se explica en el texto. Servicio relacionado: patentes de IA Consultar los análisis de tecnología y patentes de IA de IPLEX Artículo científico: Switching Linear Attention Leer el original coreano Este artículo del archivo refleja la situación en su fecha de publicación. Contacte con el despacho para analizar su caso. Consultar sobre este tema ↗ Todos los artículos EN ESTA PÁGINA 1. El artículo y la versión analizada 2. Por qué importa cómo se recupera la información: historial completo o estado comprimido 3. La idea central: entender la memoria como una mezcla de regresores 4. Cómo se procesa un token: el error de predicción guía la actualización 5. Persistencia y olvido: Temporal SwiLA y Gated SwiLA 6. Experimentos sintéticos: una clave con valores distintos según el contexto 7. Resultados de lenguaje con tamaños y condiciones comparables 8. Cuándo mejora el rendimiento: entrenamiento e inferencia son mediciones diferentes 9. Límites pendientes y condiciones de aplicación 10. Diferencias técnicas desde la perspectiva de un agente de patentes 11. Consideraciones finales HABLE CON IPLEX Consulte sus necesidades de propiedad intelectual Analizamos conjuntamente sus necesidades tecnológicas y empresariales. ↗ Contactar Más reciente Retirar una solicitud de patente durante el recurso contra su denegación ↗ Anterior Registro de marcas en Chile: procedimiento, plazos y tres aspectos clave ↗ Artículos relacionados Inteligencia artificial 2026.10.28 La patente de síntesis de voz de Microsoft: sonidos, palabras y estructura de la oración La patente US12094447B2 combina información de fonemas o caracteres con representaciones de palabras y estructura gramatical para generar voz. ↗ Lea el artículo Inteligencia artificial 2026.10.27 GBLA: procesar historiales largos de recomendación con eficiencia Análisis técnico y desde la práctica de patentes de la atención lineal bidireccional con compuertas, su codificador híbrido y los resultados publicados. ↗ Lea el artículo Inteligencia artificial 2026.10.22 DFlare amplía el flujo de información del modelo borrador Fusión por capas, proyecciones KV separadas y ponderación progresiva de la pérdida: mecanismos, resultados y límites de un borrador de difusión por bloques. ↗ Lea el artículo

- https://www.iplexlaw.co.kr/es
- https://www.iplexlaw.co.kr/es/blog/category/ai
- https://www.iplexlaw.co.kr/es/ai-patents
- https://arxiv.org/abs/2609.39034
- https://www.iplexlaw.co.kr/ko/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/es/contact
- https://www.iplexlaw.co.kr/es/blog
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-0
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-1
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-2
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-3
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-4
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-5
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-6
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-7
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-8
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-9
- https://www.iplexlaw.co.kr/es/blog/swila-switching-linear-attention#article-1891-en-10
- https://www.iplexlaw.co.kr/es/contact
- https://www.iplexlaw.co.kr/es/blog/brunch-case-1892
- https://www.iplexlaw.co.kr/es/blog/chile-trademark-filing-guide
- https://www.iplexlaw.co.kr/es/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/es/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/es/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/es/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/es/blog/dflare-block-diffusion-drafting