# LaCT：以大分块更新人工智能的临时记忆

从快速权重、GPU利用率和因果处理顺序，解析LaCT的技术结构、实验条件及适用边界。

Source: https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training

首页 / 新闻与洞见 新闻与洞见 LaCT：以大分块更新人工智能的临时记忆 从快速权重、GPU利用率和因果处理顺序，解析LaCT的技术结构、实验条件及适用边界。 人工智能 2026.10.13 已出版 IPLEX 阅读约13分钟 论文与分析版本 Test-Time Training Done Right提出Large Chunk Test-Time Training（LaCT）。作者为Tianyuan Zhang、Sai Bi、Yicong Hong、Kai Zhang、Fujun Luan、Songlin Yang、Kalyan Sunkavalli、William T. Freeman及Hao Tan，署名单位是MIT与Adobe Research。论文于2025年5月29日首次公开，编号arXiv:2505.23884，DOI为10.48550/arXiv.2505.23884。另已核实ICLR 2026收录信息，但本文机制、图表和数据统一依据32页的arXiv v1。原图署名Zhang等，按CC BY 4.0使用。 快速权重是当前上下文的临时记忆 普通注意力通过查询读取已保存的键和值；TTT把键值关系写入小型网络的可更新权重W，再用查询读取。快速权重随当前输入改变，基础模型的慢速权重在推理时固定，并非使用人工提供的新标签重新训练整个模型。逐令牌或每16～64个令牌更新，会反复搬运权重，使GPU计算单元难以充分利用。LaCT针对不同任务，将2K至约1M令牌作为一次更新单位。图1中的吞吐量、状态规模、损失和视点合成训练时间属于不同指标，不能合并为通用服务加速倍数。 图1：GPU吞吐量、状态大小、损失与训练时间的不同测量。Zhang等，arXiv v1，CC BY 4.0。 局部注意力与非线性记忆相互补充 窗口注意力负责局部顺序和空间关系；大分块更新把令牌视为集合，因此需要补充局部结构。默认记忆是包含三个矩阵的SwiGLU MLP，以键输入的网络输出与值的负内积为损失，结合逐令牌学习率汇总分块梯度，再由查询读取快速权重。固定大小并不意味着容量无限。研究比较梯度下降、动量和Muon，后者用Newton–Schulz迭代变换矩阵梯度，更新后还对快速权重进行L2归一化。减少更新次数有助于采用更大的状态和更复杂的规则。 图2：窗口注意力、大分块TTT与前馈处理的结合。Zhang等，arXiv v1，CC BY 4.0。 更新顺序必须遵守信息可见范围 输入生成Q、K、V及学习率，局部注意力与记忆输出相结合，再经过前馈层。语言与视频配置还可共享Q、K、V并相加输出。语言模型先把仅包含先前分块的记忆应用于当前分块，再以当前信息更新下一分块的记忆；块内因果关系由因果滑动窗口注意力处理，否则会泄露未来令牌。相机姿态已知的图像集合可以先更新记忆，再读取目标视点。视频只用干净帧块更新，带噪块读取此前积累的信息。 图3：Update与Apply顺序及因果信息范围。Zhang等，arXiv v1，CC BY 4.0。 视点合成的测量条件 物体实验用Objaverse训练、Google Scanned Objects评估，场景实验采用DL3DV。PSNR衡量重建质量，此处越高越好。表2条件为A100、48张512×512图像、约196K输入令牌和4K解码令牌。全注意力的输入处理为16.1秒、渲染2.3 FPS；Perceiver为16.8秒、34.4 FPS；LaCT为1.4秒、38.7 FPS。模型规模分别为284M、287M、312M。约11.5倍的输入时延差只适用于该设置，并非语言模型响应速度承诺。画质接近全注意力但不在所有点领先。最大场景设置为128张960×536图像、约百万视觉令牌，不能解读为百万令牌语言文档的同等验证。 图4：视点合成质量、输入时延与图像数量的比较。Zhang等，arXiv v1，CC BY 4.0。 语言模型的质量与吞吐量 训练序列为32,768令牌；760M模型用40B训练令牌和2,048窗口，3B模型用60B及4,096窗口。GLA和DeltaNet也搭配相同滑动窗口。位置损失与S-NIAH检索显示，Muon配置优于这些循环状态基线，但全注意力仍有更好的测量点。表3在A100-40GB、3B、32K条件下报告训练吞吐量：Transformer 4.1K tokens/s、仅窗口6.4K、GLA 5.0K、DeltaNet 5.1K、LaCT梯度下降5.0K、动量4.9K、Muon 4.3K。Muon的质量收益伴随更新成本，并非吞吐量最高的配置。 图5：760M、3B语言模型的位置损失与检索准确率。Zhang等，arXiv v1，CC BY 4.0。 提升不能全部归因于分块大小 图8区分了记忆表示和更新粒度。较小的非线性SwiGLU状态可以优于更大的线性状态；相同状态大小的线性分块更新并未超过GLA，较大的非线性状态与Muon组合才取得改善。最大设置中快速权重约占模型参数40%，这不是全部LaCT模型的固定比例。容量收益应与内存占用和更新开销一起分析。 图8：线性、非线性状态及逐令牌、分块更新的比较。Zhang等，arXiv v1，CC BY 4.0。 视频实验和分布式计算 研究将预训练Wan 2.1改为1.3B及14B自回归视频扩散模型。14B设置的8.8秒片段包含56,160视觉令牌；训练中交错的干净块与带噪块约107K令牌，是另一统计量。训练5,000轮后，在2,000个视频、五个噪声时点测量去噪损失。这不等于直接评估人类偏好或长视频观感，非公开训练视频也限制复现。把分块分配给不同设备并合并更新梯度可进行上下文并行；1～3%的开销仅来自特定视点合成训练环境，不能推广到全部网络和设备数量。 尚未解决的验证问题 SwiGLU与线性快速权重不具有部分注意力机制中Q、K共同旋转的不变性，其实际影响尚未充分研究。视点合成依赖已知相机姿态，未验证未知姿态重建、复杂语言推理及更大语言模型。固定状态压缩信息后，对精确细节保留、并发请求、生成时延和内存消耗应按应用另行测量。这些属于本文的实施评估建议，并非论文新增实验结论。 从专利分析角度理解技术贡献 技术问题在于频繁更新和内存搬运妨碍GPU并行利用。解决方案结合大分块梯度计算、非线性快速权重、归一化更新规则和窗口注意力，并按任务调整读写顺序、采用上下文并行。注意力与循环状态的结合已有先行研究，重点在于大并行更新单位如何支持更丰富的状态与优化规则。技术效果应保留视点合成、760M或3B语言模型等条件，同时说明质量与吞吐量的权衡。论文机制分析并不直接等于专利新颖性或创造性的结论。 LaCT论文与图表来源 图表许可：CC BY 4.0 查看人工智能专利与技术分析 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 论文与分析版本 快速权重是当前上下文的临时记忆 局部注意力与非线性记忆相互补充 更新顺序必须遵守信息可见范围 视点合成的测量条件 语言模型的质量与吞吐量 提升不能全部归因于分块大小 视频实验和分布式计算 尚未解决的验证问题 从专利分析角度理解技术贡献 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 概括委托书与韩国专利申请手续补正 ↗ 较早文章 外观设计图样、使用状态与保护范围 ↗ 相关解读 人工智能 2026.10.15 PaTH Attention：将词元之间的路径编码为位置信息 解析输入依赖的Householder型变换累积机制，以及状态跟踪、长上下文实验的收益与限制。 ↗ 阅读全文 人工智能 2026.10.14 华为盘古气象：如何串联不同时间间隔的预测模型 结合公开申请US20250258318A1，解析预测步长选择、中间状态传递及气象数据融合。 ↗ 阅读全文 人工智能 2026.10.12 Adobe AI图像编辑专利：用图层保留原图、生成候选与编辑信息 解读美国专利US12462456B2，说明输入蒙版、目标对象蒙版及生成式图层如何支持后续修改。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://arxiv.org/abs/2505.23884v1
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://www.iplexlaw.co.kr/ko/blog/lact-large-chunk-test-time-training
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-0
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-1
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-2
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-3
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-4
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-5
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-6
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-7
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-8
- https://www.iplexlaw.co.kr/zh/blog/lact-large-chunk-test-time-training#case-1827-en-9
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1828
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1826
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/blog/path-attention-householder-transformations
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/huawei-pangu-weather-time-interval-models
- https://www.iplexlaw.co.kr/zh/blog/adobe-non-destructive-generative-editing
- https://www.iplexlaw.co.kr/zh/blog/adobe-non-destructive-generative-editing