论文解决什么问题
Yandex的Artem Matveev、Vladislav Tytskiy、Sergei Makeev和Sergei Liamaev在Gated Bidirectional Linear Attention for Generative Retrieval中研究长行为历史的高效利用。本文依据获SIGIR 2026接收的论文arXiv第2版，日期为2026年6月8日。生成式检索输出的是候选物品的语义ID，而非普通的文字回答。
历史双向编码，输出自回归生成
编码器可以双向比较预测时已经观察到的历史，解码器则自回归生成物品ID令牌。历史内的双向访问不意味着读取未来目标标签。在工业实验的长度2,048条件下，双向自注意力的Recall@1000为0.8667，因果编码器为0.8353，相差3.14个百分点。
线性计算与三个门控环节
普通注意力的序列计算成本与L²dh成比例。基于核映射的双向线性注意力采用ELU+1等正特征映射，将计算重排为φ(Q)(φ(K)ᵀV)，并以φ(Q)(φ(K)ᵀ1)归一化。核心成本为Ldh²，仅在特征维度dh固定时才对历史长度L呈线性。
GBLA增加了Q/K/V投影前的局部因果Conv1D、在序列位置间归一化的标量键门控，以及结合RMSNorm和SiLU的输出门控。键门控同时影响特征聚合及其分母，属于软重要性加权，不是二值删除，也不是递归遗忘系数。报告配置中的卷积核宽度为4。
为什么保留混合编码器
系统将多哈希嵌入拼接并投影后输入编码器，再连接带交叉注意力的解码器。9层混合编码器重复［自注意力、GBLA、GBLA］，保留3层自注意力并替换6层。因此整个混合模型并非完全线性复杂度。长度2,048时，混合结构的Recall@1000为0.8668，全GBLA结构为0.8586，相差0.82个百分点。
工业检索结果与消融实验
非公开Yandex实验使用7天约4亿条训练样本，并在次日数据上评估；编码器9层、宽度1,024、16个头，因果解码器1层。有效批量相同，但峰值学习率不同：自注意力为7×10⁻⁴，混合模型为5×10⁻⁴。Recall@1000衡量送往后续排序器的候选覆盖率，不是点击率或收入。
自注意力／混合模型的Recall@1000在2,048时为0.8667／0.8668，4,096时为0.8784／0.8790，8,192时为0.8854／0.8842。8,192时Recall@10为0.3013／0.2948，并非全部指标都提高。2,048时去除键门控、卷积或门控RMSNorm，Recall@1000从0.8668分别降至0.8661、0.8652、0.8641；普通线性注意力为0.8620，其Recall@10为0.2675，低于GBLA的0.2780。这些点估计本身不能证明统计显著性。
单层速度不等于整体训练速度
H100上的单层比较采用批量8、10次平均，以FlashAttention-v3为基准。长度2,048时GBLA耗时0.618毫秒，基准为0.585毫秒，反而更慢。4,096、8,192、32,768时分别加速1.50、2.46、8.22倍；最后一组耗时为8.217对67.542毫秒。“8.2倍”仅指该单层测试，不能扩展为整个服务的加速倍数。
端到端训练在长度8,192、批量8时从5,400降至4,200毫秒，约1.29倍；长度2,048、批量32时混合模型为3,100毫秒，基准为3,000。普通线性注意力在8,192时更快，为3,800毫秒，但存在质量取舍。不同长度使用不同批量，不能将各行差异完全归因于长度。
公开数据及尚存限制
Amazon Beauty、Toys、Sports实验沿用GRID/Tiger流程，进行5-core过滤，以最后一次交互测试、倒数第二次验证，采用Flan-T5嵌入和RK-Means语义ID。历史最长128项，结果为5个随机种子的均值。Tiger／GBLA的Recall@10依次为0.0641／0.0611、0.0584／0.0579、0.0345／0.0329。
这些实验报告的Recall和NDCG均为GBLA略低，数值接近并不等于证明等效。论文没有测试这些短历史的效率，工业数据也未公开。性能结论须限定在相应硬件、结构和评估条件内。
从专利角度理解技术组合
应关注长历史问题与局部混合、键加权、输出门控及保留自注意力之间的具体对应关系。专利分析要区分单个组件和组合方案，明确权利要求实际需要哪些特征，并将效果主张与实验依据相联系。
论文并不证明某项拟议权利要求具有新颖性或可专利性；现有技术、保护范围和公开充分性需另行判断。实施时宜同时评估候选召回、后续排序、内存和端到端延迟。原始图表予以保留并配有中文说明，论文及CC BY 4.0来源标注见下方。
图中保留原始标注与形态，相关内容在正文中说明。
论文与图表：Matveev等，GBLA v2，2026（CC BY 4.0） · CC BY 4.0