
亚马逊这项专利介绍了两阶段语言模型训练:先利用按用户反馈排序的评论,再使用经过审阅的高质量评论。模型准备完成后,接收商品上下文和生成指令,综合表达多位用户的意见。本文以虚构椅子为例,说明训练资料准备与实际文本生成之间的联系。
1. 评论很多,哪些信息真正有助于判断?
假设要为办公室挑选一把椅子。有用户认为坐垫舒适,也有人觉得靠背偏硬;评论中还夹杂配送延迟和详细的组装步骤。即使全部读完,仍需区分商品特点、物流体验和个人偏好。
简短摘要可以作为阅读起点,但仅汇总高频词语,并不能说明哪些解释有助于购买决策。技术问题在于:模型应从评论中学习什么,以及生成综合说明时应获得哪些上下文。
这项专利将模型准备所用资料分开处理。排序后的用户评论提供解释是否有用的信号,精选资料用于进一步调整。生成某件商品的说明时,再另行组织商品信息和任务指令。区分训练输入与实际使用时的输入,有助于理解整体流程。
2. 将用户反应与商品属性组织成训练资料
首先收集各商品的评论及其他用户对评论的反应。“有帮助”投票、点赞、阅读评论后加入购物车等,均可作为信号。专利描述了组合这些信号,对评论评分和排序的方式。
对评论的反馈不同于商品星级评分。负面评论如果清楚说明原因,同样可能帮助其他买家。训练所用排序关注解释的有用性,不能简单理解为只挑选高评分商品。
还需准备材质、尺寸、重量、类型等商品属性。对于椅子,扶手材料和座面面料就是相关属性。理解评论具体谈论哪项特点,需要同时掌握文字及其对应商品的信息。
文本和属性可以转换成模型能够处理的数值表示,即嵌入。维护商品标识符、评论与属性之间的对应关系,有助于避免把不同商品的信息混在一起。
3. 第一阶段学习有帮助的说明
语言模型根据输入生成文本。针对特定任务继续训练已有模型,称为微调。这里的第一阶段利用排序后的评论和商品属性,引导模型生成综合说明。
强化学习依据生成结果的奖励或惩罚调整学习方向。奖励函数规定如何评价结果。例如,与被认定有用的说明更接近的输出,可以获得更高评价。
用户反应为评价提供材料。该方案可以利用服务中已有的反馈,而不必对每一个训练样本重新安排人工排序。不过,开发者仍需界定点击等行为的含义。说明书还讨论了结合评论曝光或阅读次数与有用性反馈的处理方式。
说明书给出了采用近端策略优化(PPO)的两阶段示例。PPO用于约束一次更新中策略变化的幅度。核心过程是评价输出,再据此调整模型内部参数。PPO属于披露的实施方式,不应理解为所有权利要求的同义表述。
4. 用精选资料继续调整同一个模型
第一阶段结束后,使用另行准备的高质量评论。说明书提及人工审阅筛选,以及从提供详细评论的信息源取得资料。覆盖商品重要特点、表达充分的说明成为第二阶段材料。
第二阶段仍把评论与对应商品属性输入同一个模型,以上一阶段获得的参数为起点继续训练。这样可以在广泛用户评论形成的基础上,进一步体现精选资料的说明质量。
高质量不等于只有赞扬。选材关注是否具体讨论相关特点,以及解释是否清楚完整。介绍缺点的评论也可能有价值。将这一过程简化为删除负面句子的过滤器,会误解训练资料的作用。
这两个阶段属于模型准备过程,并不意味着买家每次打开摘要都要重新训练。之后才是利用已准备好的模型响应具体请求的生成阶段。
5. 为虚构椅子组织上下文和生成指令
利用训练后的模型生成特定商品说明时,需要构造提示词,也就是传给模型的输入。专利把用于理解商品的上下文语句与说明生成任务的指令结合起来。
上下文可来自商品说明、精选评论或有帮助的用户评论。按商品建立索引后,可以从评论中检索与某项属性相关的句子,再将其加入生成指令。这一步负责寻找并组织当前请求需要的材料。
假设一把虚构椅子的属性是木质扶手和布艺座面。示例评论分别说“坐垫舒适”“靠背偏硬”“配送延迟”。这些都是为解释原理而编写的句子。若要说明坐感,可选取前两句作为相关上下文。

再加入综合商品特点相关意见的指令。示例输出可以表述为:有评论提到座面的舒适感,也有评论提到靠背较硬。这是在同一说明中呈现不同使用感受的虚构结果,并不代表所有买家的统一评价。
本例将配送体验分开,是因为其主题不同于坐感。说明书也讨论了避免商品本身无关内容的训练方式,并描述为生成结果添加AI标识,使读者区分多条评论的综合说明与某一用户的亲身体验。
6. 亚马逊评论亮点向用户提供什么信息
亚马逊官方介绍的AI生成评论亮点,会在商品详情页用短段落呈现多位用户共同提及的特点和意见,涵盖正面、中性和负面反馈。其使用已验证购买的文字评论,并要求存在多位用户的共同提及。
点击段落下方的特点词语,可进一步查看提及次数、相关正面和负面评论数量,以及评论摘录。用户因此能从综合说明进入具体意见。共同提及不足时,商品可能不显示评论亮点。
买家可把摘要作为起点,再阅读自己重视的特点。对于座面触感这类因偏好而异的问题,具体评论仍有参考价值。短段落与详细评论之间的连接,也是界面传达信息的一部分。
7. 梳理训练与生成之间的具体技术选择
值得分析的并非只有把评论缩短这一结果。如何把反馈转换成排序信号、如何选择第二阶段材料、如何表示并关联商品属性,都涉及具体设计。实际生成时,相关句检索与指令组织也同样重要。
开发团队可以分别记录训练用评论集与生成时采用的上下文。同一条评论,用于修改模型参数或作为单次请求的参考输入,技术作用并不相同。可按处理顺序说明资料来源、商品标识符和选择标准如何传递到下一阶段。
还应梳理AI标识、原始评论和特点相关详细意见在界面中的连接方式。具体记录模型训练、输入构造和展示环节中的自有处理,有助于说明AI技术方案的差异。
图中保留原始标注与形态,相关内容在正文中说明。
专利披露与官方服务介绍属于不同资料。本文不认定服务实施了全部权利要求特征,也不将实施例等同于完整保护范围。
了解IPLEX的AI项目、相关著作与技术咨询服务。
