# GBLA：如何高效读取长推荐历史

从技术与专利实务角度分析门控双向线性注意力、混合编码器，以及检索精度和速度数据的适用边界。

Source: https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval

首页 / 新闻与洞见 新闻与洞见 GBLA：如何高效读取长推荐历史 从技术与专利实务角度分析门控双向线性注意力、混合编码器，以及检索精度和速度数据的适用边界。 人工智能 2026.10.27 已出版 IPLEX 阅读约12分钟 论文解决什么问题 Yandex的Artem Matveev、Vladislav Tytskiy、Sergei Makeev和Sergei Liamaev在Gated Bidirectional Linear Attention for Generative Retrieval中研究长行为历史的高效利用。本文依据获SIGIR 2026接收的论文arXiv第2版，日期为2026年6月8日。生成式检索输出的是候选物品的语义ID，而非普通的文字回答。 历史双向编码，输出自回归生成 编码器可以双向比较预测时已经观察到的历史，解码器则自回归生成物品ID令牌。历史内的双向访问不意味着读取未来目标标签。在工业实验的长度2,048条件下，双向自注意力的Recall@1000为0.8667，因果编码器为0.8353，相差3.14个百分点。 线性计算与三个门控环节 普通注意力的序列计算成本与L²dh成比例。基于核映射的双向线性注意力采用ELU+1等正特征映射，将计算重排为φ(Q)(φ(K)ᵀV)，并以φ(Q)(φ(K)ᵀ1)归一化。核心成本为Ldh²，仅在特征维度dh固定时才对历史长度L呈线性。 GBLA增加了Q/K/V投影前的局部因果Conv1D、在序列位置间归一化的标量键门控，以及结合RMSNorm和SiLU的输出门控。键门控同时影响特征聚合及其分母，属于软重要性加权，不是二值删除，也不是递归遗忘系数。报告配置中的卷积核宽度为4。 原论文Figure 1：局部混合、键门控与输出门控 为什么保留混合编码器 系统将多哈希嵌入拼接并投影后输入编码器，再连接带交叉注意力的解码器。9层混合编码器重复［自注意力、GBLA、GBLA］，保留3层自注意力并替换6层。因此整个混合模型并非完全线性复杂度。长度2,048时，混合结构的Recall@1000为0.8668，全GBLA结构为0.8586，相差0.82个百分点。 原论文Table 1、2：双向性与混合配置 工业检索结果与消融实验 非公开Yandex实验使用7天约4亿条训练样本，并在次日数据上评估；编码器9层、宽度1,024、16个头，因果解码器1层。有效批量相同，但峰值学习率不同：自注意力为7×10⁻⁴，混合模型为5×10⁻⁴。Recall@1000衡量送往后续排序器的候选覆盖率，不是点击率或收入。 自注意力／混合模型的Recall@1000在2,048时为0.8667／0.8668，4,096时为0.8784／0.8790，8,192时为0.8854／0.8842。8,192时Recall@10为0.3013／0.2948，并非全部指标都提高。2,048时去除键门控、卷积或门控RMSNorm，Recall@1000从0.8668分别降至0.8661、0.8652、0.8641；普通线性注意力为0.8620，其Recall@10为0.2675，低于GBLA的0.2780。这些点估计本身不能证明统计显著性。 原论文Table 3：不同历史长度的检索质量 原论文Table 4：GBLA组件消融实验 单层速度不等于整体训练速度 H100上的单层比较采用批量8、10次平均，以FlashAttention-v3为基准。长度2,048时GBLA耗时0.618毫秒，基准为0.585毫秒，反而更慢。4,096、8,192、32,768时分别加速1.50、2.46、8.22倍；最后一组耗时为8.217对67.542毫秒。“8.2倍”仅指该单层测试，不能扩展为整个服务的加速倍数。 端到端训练在长度8,192、批量8时从5,400降至4,200毫秒，约1.29倍；长度2,048、批量32时混合模型为3,100毫秒，基准为3,000。普通线性注意力在8,192时更快，为3,800毫秒，但存在质量取舍。不同长度使用不同批量，不能将各行差异完全归因于长度。 原论文Figure 2：单个注意力层的延迟 原论文Table 5、6：单层与端到端训练时间 公开数据及尚存限制 Amazon Beauty、Toys、Sports实验沿用GRID/Tiger流程，进行5-core过滤，以最后一次交互测试、倒数第二次验证，采用Flan-T5嵌入和RK-Means语义ID。历史最长128项，结果为5个随机种子的均值。Tiger／GBLA的Recall@10依次为0.0641／0.0611、0.0584／0.0579、0.0345／0.0329。 这些实验报告的Recall和NDCG均为GBLA略低，数值接近并不等于证明等效。论文没有测试这些短历史的效率，工业数据也未公开。性能结论须限定在相应硬件、结构和评估条件内。 原论文Table 7：Amazon公开数据检索结果 从专利角度理解技术组合 应关注长历史问题与局部混合、键加权、输出门控及保留自注意力之间的具体对应关系。专利分析要区分单个组件和组合方案，明确权利要求实际需要哪些特征，并将效果主张与实验依据相联系。 论文并不证明某项拟议权利要求具有新颖性或可专利性；现有技术、保护范围和公开充分性需另行判断。实施时宜同时评估候选召回、后续排序、内存和端到端延迟。原始图表予以保留并配有中文说明，论文及CC BY 4.0来源标注见下方。 图中保留原始标注与形态，相关内容在正文中说明。 相关业务：人工智能专利 论文与图表：Matveev等，GBLA v2，2026（CC BY 4.0） · CC BY 4.0 查看韩文原文 本文基于发表时的情况撰写。如需就具体事项咨询，请联系IPLEX。 咨询相关业务 ↗ 全部文章 本页目录 论文解决什么问题 历史双向编码，输出自回归生成 线性计算与三个门控环节 为什么保留混合编码器 工业检索结果与消融实验 单层速度不等于整体训练速度 公开数据及尚存限制 从专利角度理解技术组合 咨询IPLEX 与我们讨论您的需求 保护、维权与管理。 我们将与您共同分析技术与业务需求。 ↗ 联系我们 较新文章 萨克斯垫片修复：产品中的工艺限定与创造性 ↗ 较早文章 外观设计无效案件：比较近似之前，先证明公开时间 ↗ 相关解读 人工智能 2026.10.29 SwiLA：按上下文组织记忆 Switching Linear Attention如何在固定状态中组合多个线性回归模型？本文解读其记忆更新与检索机制、实验结果，以及仍然存在的容量和计算成本限制。 ↗ 阅读全文 人工智能 2026.10.28 微软语音合成专利：如何结合音素、词语与句子结构 结合美国专利US12094447B2，解析音素或字符信息、词嵌入与语法结构如何对齐、融合并生成语音。 ↗ 阅读全文 人工智能 2026.10.22 DFlare：拓宽推测解码草稿模型的信息通道 逐层特征融合、分来源KV投影与渐进式位置损失，如何共同提升块扩散草稿模型的有效容量。 ↗ 阅读全文

- https://www.iplexlaw.co.kr/zh
- https://www.iplexlaw.co.kr/zh/blog/category/ai
- https://www.iplexlaw.co.kr/zh/ai-patents
- https://arxiv.org/abs/2606.07317v2
- https://creativecommons.org/licenses/by/4.0/
- https://www.iplexlaw.co.kr/ko/blog/gbla-generative-retrieval
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-0
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-1
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-2
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-3
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-4
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-5
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-6
- https://www.iplexlaw.co.kr/zh/blog/gbla-generative-retrieval#article-1885-en-7
- https://www.iplexlaw.co.kr/zh/contact
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1886
- https://www.iplexlaw.co.kr/zh/blog/brunch-case-1884
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/swila-switching-linear-attention
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/microsoft-multilevel-tts
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting
- https://www.iplexlaw.co.kr/zh/blog/dflare-block-diffusion-drafting