新闻与洞见

LG AI冰箱专利:如何结合拍摄角度与深度信息识别门上食材

从外门关闭时的拍摄时机,到深度图划分储物区域,解析LG专利US11669722B2如何把门上食材的图像转化为可更新的清单。

概念图:外门关闭时拍摄,以深度信息区分近处门上储物区与远处内部搁架,再检测和识别食品并生成清单
作者制作的概念示意图,用于说明如何依据外门运动选择拍摄时机并分析门上储物区;并非实际产品外观或界面的再现。

LG的AI冰箱专利把门的运动与深度信息结合起来,用于区分门上储物区的食品。在模型判断食品名称之前,系统先要决定何时拍摄、分析哪个空间。本文以一个假设的共用冰箱为线索,串联图像采集、区域划分、食品识别和清单更新的技术流程。

1. 为什么一张冰箱照片还不是一份食材清单

购物时想不起冰箱里是否还有牛奶,是很常见的情形。查看内部照片固然有帮助,但要把照片变成按存放位置整理的清单,还需要进一步处理。门上储物区与后方搁架可能同时出现相似的瓶子;系统不仅要看出有食品,还要判断它们属于哪个空间。

专利所描述的冰箱具有带储物空间的内门,以及位于其前方的外门。打开外门,即可取放内门上储存的食品。安装在外门上的摄像头朝向这一储物区拍摄,目的是获取仅靠冰箱顶部摄像头难以充分观察的门上食品信息。

这里有两个相互关联的问题。随着外门转动,摄像头的朝向也会变化,需要选择适合拍摄食品的时刻。同时,画面后方的内部搁架不能与门上储物区混为一谈。提供给AI模型的图像如何形成,正是清单生成流程的起点。

2. 在关门过程中选择拍摄时机

先看内门保持关闭、用户只开关外门的情形。传感器检测外门的开启、关闭及开启角度,处理器再根据这些信号决定何时拍摄。这里关注的是把一次取放食品的过程与图像采集关联起来,而非持续拍摄后对所有画面作同样的分析。

一个实施例先判断外门是否曾打开到预设角度或更大角度。随后,当外门开始关闭并回到设定的拍摄角度时,处理器向摄像头发出拍摄指令,从而取得用户取放食品后的门上储物区图像。该角度属于事先设定的成像条件,使摄像头在相应位置能够朝向目标储物区。

说明书还描述了另一条处理分支:如果外门只打开了一小段、未达到该角度,则在检测到关闭动作时进行拍摄。因此,不能把这一流程理解为无论门打开多少都在完全相同的时刻取像;拍摄条件会随门的使用情况而选择。

摄像头的安装位置和朝向也要与拍摄时机配合。专利举例在外门边缘附近安装摄像头,并调整倾角,使其在选定的开门角度朝向内门。还可以设置多个摄像头,分别观察储物区的上下部分。决定何时拍摄与决定届时哪些内容进入画面,是同一个成像设计问题的两个方面。

3. 用深度信息区分门上储物区与后方空间

拍摄门上储物区时,更靠里的搁架也可能进入画面。如果不区分前方的两瓶牛奶与后方搁架上的牛奶,就可能错误统计门上库存。深度信息在这里提供的是距离:图像各部分与传感器相隔多远。

普通摄像头记录颜色和形状,深度图则用于区分近处与远处的区域。在专利的示例中,处理器依据与门上储物区距离有关的阈值,将内门区域和更深处的储藏空间分开,再从普通图像中排除后者对应的区域,准备识别门上食品所需的图像。

这种排除发生在图像处理过程中,改变的是本次分析范围。后方搁架上的食品仍然存放在那里,只是不参与这一次针对门上储物区的识别。通过限定目标区域,可以避免把另一空间中的食品计入同一份清单。

普通图像和深度图还需要对应同一个场景。如果摄像头看的是门上储物区,而深度传感器朝向旁边的搁架,两类信息便难以直接匹配。说明书因此解释了为何将深度传感器布置在摄像头附近,并使两者的视野相互对应。图像采集与距离测量由此组成连续的处理流程。

4. 先定位食品,再判断食品种类

分析区域确定后,系统需要找到其中的食品。目标检测用于确定物体在图像中的位置和范围。例如,用一个矩形框标出瓶子所在区域,就能将后续处理集中到该范围。这个矩形通常称为边界框。

物体识别则回答框内是什么。外形同样像瓶子的物体,可能是牛奶,也可能是其他饮料,清单中的名称因此不同。这项专利分别描述了定位物体的模型与判断种类的模型:检测出的区域图像进入识别模型,识别结果再转化为食品信息。

在训练阶段,需要利用食品图像及其名称等标注信息准备模型。实际使用时,系统则对新拍摄的图像进行处理,得到物体范围和识别信息。构建训练数据与冰箱使用过程中分析新图像,是两个不同阶段。

这些结果共同构成食品的种类、位置和数量等存放状态。边界框的位置可用于整理食品位于何处,识别信息用于确定清单条目。由一张图像形成用户可读的食品清单,需要同时传递位置信息和名称信息。

5. 共用冰箱中的牛奶数量怎样更新

设想一间小办公室的共用冰箱:门上储物区放着两份牛奶,后方搁架上有三个苹果。即使外门关闭时拍到的图像同时包含这两个空间,也可以利用深度信息划出门上储物区,使本次识别只针对前方的牛奶。

假设共用冰箱的四步示例:门上两份牛奶与后方三个苹果按深度分开,仅将门上两份牛奶纳入本次分析和清单
作者制作的假设示例,将门上两份牛奶与后方搁架上的三个苹果区分开。后方食品不参与本次门上储物区分析;本图并非实际产品界面,也不是识别准确率的测试结果。

假设检测模型找到了两个物体区域,识别模型又将它们判断为牛奶,门上储物区清单便可记录两份牛奶。之后,一名员工取走一份并关闭外门,系统根据新一轮拍摄和识别结果更新数量。专利还举例通过屏幕通知和清单显示食品放入或取出的变化。

用户也可以修正识别结果。例如,实际放入两份牛奶,清单却显示一份时,用户可以选择数量修改项进行调整。这把展示自动识别结果与人工修正存放状态连接起来;由谁、通过什么输入修改清单,也是服务流程的一部分。

这个例子的重点不只在于某一次计算是否正确识别出“牛奶”。完整流程还包括取放食品后获取新状态、按空间整理食品,以及以用户能够确认的形式呈现结果。照片、距离、食品身份和数量分别承担不同的信息功能。

6. ThinQ Food展示的食材管理体验

在CES 2026相关介绍中,LG为LG SIGNATURE Smart InstaView冰箱介绍了ThinQ Food。根据官方说明,该功能借助内部摄像头帮助识别食材,并根据现有食材提供食谱和替代食材建议,让用户从了解“有什么”进一步考虑“能做什么”。

食材清单与烹饪建议承担不同任务。前者记录识别出的项目和存放信息,后者说明如何使用这些食材。开发团队可以据此划分各项服务的输入与输出。如果食材信息传递错误,后续建议也会受到影响,因此中间数据的组织方式值得单独设计。

LG同时说明,识别结果可能因食品种类和摆放位置而异。讨论此类功能时,需要考虑实际摆放及相互遮挡的情况。把食材识别、屏幕展示和烹饪建议等用户环节分别展开,也有助于准确理解产品提供的帮助。

7. 从拍摄到清单,梳理完整技术链条

这项技术值得关注之处,是成像环境与AI处理之间的衔接。门传感器决定拍摄条件,摄像头与深度传感器以不同信息描述同一空间;区域划分确定分析哪些食品,检测和识别则提供构建清单所需的位置与名称。

开发自有产品时,除了“利用AI识别食品”这一功能名称,还可以具体记录输入和处理顺序:检测哪种门运动,两幅图像的哪些位置相互对应,排除哪个区域,以及何时把结果写入清单。这样才能把抽象功能落实为可说明的技术过程。

用于纠错的用户输入也可以作为独立的处理流程记录。系统如何显示自动识别的数量与用户修改的数量,以及如何将修改反映到后续状态,都会影响使用体验。梳理团队在拍摄、空间划分、模型处理和用户操作之间增加的具体动作,有助于说明AI技术的实际差异。

本文的拍摄、深度处理与识别流程依据US11669722B2说明书中的实施例。CES 2026的ThinQ Food介绍是独立的产品资料,不能据此认定该产品采用了完全相同的专利实施方式。共用冰箱场景和两幅示意图均用于解释原理,不代表实测性能。

LG AI冰箱专利原文:US11669722B2

LG官方发布:CES 2026 LG SIGNATURE与ThinQ Food

解读NAVER图像翻译专利:让译文跟随移动的相机画面

三星AI音频编辑:在分离完成前准备操作界面

了解IPLEX在人工智能领域的项目、相关著作和技术咨询服务。

了解金容德专利代理师的AI专业经验

Tistory原文

查看韩文原文

本文基于发表时的情况撰写。如需就具体事项咨询,请联系IPLEX。
咨询相关业务 ↗全部文章

与IPLEX探讨技术保护与知识产权布局的下一步。