制冷电器中的库存管理系统的制作方法

1.本发明总体涉及制冷电器，更具体地涉及制冷电器中的库存管理系统和操作库存管理系统的方法。


背景技术：

2.制冷电器通常包括箱体，该箱体限定用于接收食品以便储存的制冷间室。另外，制冷电器包括一个或多个门体，这些门体可旋转地铰接到箱体，以允许选择性地接近制冷间室中储存的食品。制冷电器还可以包括安装在制冷间室内并且设计成便于在其中储存食品的各种储存部件。这种储存部件可以包括在制冷间室内接收食品并且辅助组织和布置这些食品的搁架、盒、层架或抽屉。
3.特别地，经常期望具有存在于制冷电器内的物品的更新的库存，例如以便于重新排序，确保食物新鲜或避免变质等。由此，可能期望监测添加到制冷电器或从制冷电器取出的食品，并且获得与这些食品的存在、数量或质量有关的其他信息。某些传统的制冷电器具有用于监测制冷电器中的食品的系统。然而，这种系统通常需要用户交互，例如，通过控制面板进行的关于添加或取出的食品的直接输入。作为对比，某些电器包括用于在食品被添加到制冷电器或从制冷电器取出时监测食品的相机。然而，传统的相机系统可能难以识别特定对象、区分类似产品以及精确地识别制冷间室内的对象的位置。
4.因此，具有用于改进库存管理的系统的制冷电器将是有用的。更特别地，包括能够监测进入和离开库存以及对象在制冷间室内的放置的库存管理系统的制冷电器将是特别有益的。


技术实现要素：

5.本发明的各个方面以及优点将会在下文的描述中进行阐述，或者是通过描述可以显而易见的，或者是可以通过实施本发明而学到。
6.在一个示例性实施方式中，提供了一种制冷电器，包括：箱体，该箱体限定制冷间室；门体，该门体可旋转地铰接到箱体，以提供选择性到达制冷间室的途径；相机组件，该相机组件安装到箱体，用于监测制冷间室；以及控制器，该控制器可操作地联接到相机组件。控制器被配置为：使用相机组件获得第一图像；分析第一图像以识别第一图像中的对象；使用相机组件获得第二图像；分析第二图像以识别第二图像中的对象；以及基于对象在第一图像和第二图像中的位置确定对象的运动向量。
7.在另一示例性实施方式中，提供了一种在制冷电器内实施库存管理的方法。该制冷电器包括制冷间室和设置成用于监测制冷间室的相机组件。该方法包括：使用相机组件获得第一图像；分析第一图像以识别第一图像中的对象；使用相机组件获得第二图像；分析第二图像以识别第二图像中的对象；以及基于对象在第一图像和第二图像中的位置确定对象的运动向量。
8.参照下文的描述以及所附权利要求，本发明的这些和其它的特征、方面以及优点
将变得更容易理解。结合在本说明书中并且构成本说明书一部分的附图显示了本发明的实施方式并且与描述一起用于对本发明的原理进行解释。
附图说明
9.参照附图，说明书中阐述了面向本领域普通技术人员的本发明的完整公开，这种公开使得本领域普通技术人员能够实现本发明，包括本发明的最佳实施例。
10.图1提供了根据本发明的示例性实施方式的制冷电器的立体图。
11.图2提供了根据本发明的示例性实施方式的图1的示例性制冷电器的立体图，其中，食物保鲜室的门体被示出为处于打开位置以露出库存管理系统。
12.图3提供了根据本发明的示例性实施方式的用于操作图2的示例性库存管理系统的方法。
13.图4提供了根据本发明的示例性实施方式的使用图2的示例性库存管理系统的相机获得的第一图像。
14.图5提供了根据本发明的示例性实施方式的使用图2的示例性库存管理系统的相机获得的第二图像。
15.图6提供了根据本发明的示例性实施方式的使用图2的示例性库存管理系统的图像比较和对象识别。
16.图7提供了根据本发明的示例性实施方式的使用图2的示例性库存管理系统的对象运动跟踪的图示。
17.图8提供了根据本发明的示例性实施方式的包括具有多个相机的库存管理系统的制冷电器的立体图。
18.附图标记在本说明书和附图中的重复使用旨在表示本发明的相同或相似的特征或元件。
具体实施方式
19.现在将详细地参照本发明的实施方式，其中的一个或多个示例示于附图中。每个示例都以对发明进行解释的方式给出，并不对本发明构成限制。实际上，对于本领域技术人员而言显而易见的是，能够在不偏离本发明的范围或者精神的前提下对本发明进行多种改型和变型。例如，作为一个实施方式的一部分示出或者进行描述的特征能够用于另一个实施方式，从而产生又一个实施方式。因此，期望的是，本发明覆盖落入所附权利要求及其等同形式的范围内的这些改型以及变型。
20.如本文所用的，术语“第一”、“第二”和“第三”可以互换使用以将一个部件与另一个部件区分开，并且这些术语并不旨在表示各个部件的位置或重要性。术语“上游”和“下游”是指相对于流体通路中的流体流动的相对方向。例如，“上游”是指流体流动的来向，而“下游”是指流体流动的去向。术语“包括(includes)”和“包括(including)”旨在以类似于术语“包括(comprising)”的方式为包括的。类似地，术语“或”通常旨在是包括的(即，“a或b”旨在意指“a或b或两者”)。
21.如本文在整个说明书和权利要求书中使用的近似语言被应用于修饰任何定量表示，该定量表示可容许在不导致其相关的基本功能改变的情况下变化。因此，由诸如“大
约”、“近似”以及“大致”的术语修饰的值不限于所指定的精确值。在至少一些情况下，近似语言可对应于用于测量值的仪器的精度。例如，近似语言可以指在10％的裕度内。
22.现在参见附图，将描述根据本发明的示例性方面的示例性电器。具体地，图1提供了示例性制冷电器100的立体图，图2示例了一些门体处于打开位置的制冷电器100。如图示例，制冷电器100通常限定竖向v、侧向l和横向t，竖向v、侧向l和横向t中的每一个相互垂直，使得大体限定正交坐标系。
23.根据示例性实施方式，制冷电器100包括箱体102，该箱体102通常用于容纳和/或支撑制冷电器100的各种部件，并且还可限定制冷电器100的一个或多个内部腔室或间室。在这点上，如本文所用的，术语“箱体”、“壳体”等通常旨在指制冷电器100的外框架或支撑结构，例如，包括由任何合适的材料形成的任何合适数量、类型和构造的支撑结构，诸如细长支撑构件、多个互连面板或其一些组合的系统。应当理解，箱体102不一定需要围合，可以是简单地包括支撑制冷电器100的各种元件的开放结构。相反，箱体102可以包围箱体102内部的一些或所有部分。应当理解，箱体102可具有任何合适的尺寸、形状和构造，均在本发明的范围内。
24.如图示例，箱体102通常沿着竖向v在顶部104与底部106之间延伸，沿着侧向l在第一侧108(例如，如图1中从前方观察时的左侧)与第二侧110(例如，如图1中从前方观察时的右侧)之间延伸，并且沿着横向t在前部112与后部114之间延伸。一般而言，诸如“左”、“右”、“前”、“后”、“顶部”或“底部”的术语是参考用户接近箱体102的视角来使用的。
25.箱体102限定用于接收食品以便储存的制冷间室。特别地，箱体102限定设置在箱体102的顶部104处或与其相邻设置的食物保鲜室122和布置在箱体102的底部106处或与其相邻布置的冷冻室124。由此可见，制冷电器100通常被称为底置式冰箱。然而，认识到，本发明的益处适用于其他类型和样式的制冷电器，例如，顶置式制冷电器、对开门式制冷电器或单门制冷电器。而且，本发明的方面也可以适用于其他电器。因此，本文阐述的描述仅出于示例目的，而无意于在任何方面限制任何特定的电器或配置。
26.冷藏门体128可旋转地铰接到箱体102的边缘，以便选择性地进入食物保鲜室122。另外，在冷藏门体128的下方布置冷冻门体130，以便选择性地进入冷冻室124。冷冻门体130联接至可滑动地安装在冷冻室124内的冷冻抽屉(未示出)。通常，冷藏门体128在由箱体102限定的前开口132(例如，在由竖向v和侧向l限定的平面内延伸)上形成密封。在这点上，当冷藏门体128打开时，用户可以通过前开口132将物品放置在食物保鲜室122内，然后可以关闭冷藏门体128以便于气候控制。冷藏门体128和冷冻门体130在图1中被示出为处于关闭位置。本领域技术人员将理解，其它腔室和门体构造是可行的，并且在本发明的范围内。
27.图2提供了在冷藏门体128处于打开位置的情况下示出的制冷电器100的立体图。如图2所示，如本领域技术人员将理解的，各种储存部件被安装在食物保鲜室122内，以促进食品在其中的储存。特别地，储存部件可以包括盒134和层架136。这些储存部件中的每一个用于接收食品(例如，饮料或/或固体食品)，并且可以辅助组织这些食品。如图所示，盒134可以安装在冷藏门体128上或者可以滑入食物保鲜室122中的容纳空间中。应当理解，所示的储存部件仅用于说明的目的，并且可以使用其它储存部件，并且其它储存部件可以具有不同的尺寸、形状以及构造。
28.再次参见图1，将描述根据本发明的示例性实施方式的分配组件140。虽然将说明
并描述分配组件140的几个不同的示例性实施方式，但类似的附图标记可用于指代类似的部件和特征。分配组件140通常用于分配液态水和/或冰。虽然在本文中说明并描述了示例性分配组件140，但应当理解，可以在保持在本发明的范围内的同时对分配组件140进行各种变更和修改。
29.分配组件140及其各种部件可以至少部分地设置在限定于冷藏门体128中的一个上的分配器凹部142内。在这点上，分配器凹部142限定在制冷电器100的前部112上，使得用户可以在不打开冷藏门体128的情况下操作分配组件140。另外，分配器凹部142设置在预定高度处，该预定高度方便用户取冰，并且使得用户能够在不需要弯腰的情况下取冰。在示例性实施方式中，分配器凹部142设置在接近用户的胸部水平的位置处。
30.分配组件140包括冰分配器144，该冰分配器144包括用于从分配组件140排出冰的排放口146。被示出为拨片的致动机构148安装在排放口146下方，以便操作冰分配器144或水分配器。在可选示例性实施方式中，可以使用任意合适的致动机构来操作冰分配器144。例如，冰分配器144可以包括传感器(诸如超声传感器)或按钮，而不是拨片。排放口146和致动机构148是冰分配器144的外部零件，并且安装在分配器凹部142中。与之相比，冷藏门体128可以限定容纳制冰机和储冰盒(未示出)的冰盒室150(图2)，该制冰机和储冰盒被构造成将冰供应至分配器凹部142。
31.设置控制面板152，以便控制操作模式。例如，控制面板152包括一个或多个用于选择的输入154，诸如旋钮、按钮、触摸屏界面等，诸如水分配按钮和冰分配按钮，用于选择期望的操作模式，诸如碎冰或非碎冰。另外，输入154可以用于指定填充容积或操作分配组件140的方法。在这点上，输入154可以与处理装置或控制器156通信。在控制器156中生成的信号响应于选择器的输入154而操作制冷电器100和分配组件140。另外，可以在控制面板152上设置显示器158，诸如指示灯或屏幕。显示器158可以与控制器156通信，并且可以响应于来自控制器156的信号而显示信息。
32.如本文中使用的，“处理装置”或“控制器”可以指一个或多个微处理器或半导体装置，并且不必限于单个元件。处理装置可以被编程为操作制冷电器100、分配组件140以及制冷电器100的其他部件。处理装置可以包括一个或多个存储元件(例如，永久存储介质)或与其关联。在一些这种实施方式中，存储元件包括电可擦可编程只读存储器(eeprom)。通常，存储元件可以存储处理装置可访问的信息，包括可以由处理装置执行的指令。可选地，指令可以是软件或指令和/或数据的任意集合，该软件或指令和/或数据的任意集合在由处理装置执行时，使得处理装置执行操作。
33.仍然参见图1，将描述根据本发明的示例性实施方式的外部通信系统170的示意图。通常，外部通信系统170用于允许制冷电器100与一个或多个外部装置之间的交互、数据传送和其他通信。例如，该通信可以用于提供和接收操作参数、用户指令或通知、性能特性、用户偏好或用于制冷电器100的改进性能的任何其它合适的信息。另外，应当理解，外部通信系统170可用于传送数据或其它信息，以提高一个或多个外部装置或电器的性能和/或改进与这种装置的用户交互。
34.例如，外部通信系统170允许制冷电器100的控制器156与制冷电器100外部的独立装置进行通信，该独立装置在本文中通常被称为外部装置172。如以下更详细描述的，这些通信可以使用有线或无线连接(诸如经由网络174)来促进。通常，外部装置172可以是与制
冷电器100分开的任何合适的装置，该装置被配置为向用户提供和/或从用户接收通信、信息、数据或命令。在这点上，外部装置172可以是例如个人电话、智能电话、平板电脑、膝上型或个人计算机、可穿戴装置、智能家庭系统或者另一移动或远程装置。
35.另外，远程服务器176可以通过网络174与制冷电器100和/或外部装置172通信。在这点上，例如，远程服务器176可以是基于云的服务器176，由此位于远处位置，诸如在单独的州、国家等。根据示例性实施方式，外部装置172可通过网络174(诸如因特网)与远程服务器176通信，以发送/接收数据或信息、提供用户输入、接收用户通知或指令、与制冷电器100交互或控制制冷电器等。另外，外部装置172和远程服务器176可以与制冷电器100通信以传送类似的信息。根据示例性实施方式，远程服务器176可被配置为接收和分析由相机组件190获得的图像，例如以便于库存分析。
36.通常，可以使用任何类型的有线或无线连接并且使用任何合适类型的通信网络来进行制冷电器100、外部装置172、远程服务器176和/或其它用户装置或电器之间的通信，下面提供了通信网络的非限制性示例。例如，外部装置172可以通过任何合适的有线或无线通信连接或接口(例如网络174)与制冷电器100直接或间接通信。例如，网络174可以包括局域网(lan)、广域网(wan)、个域网(pan)、因特网、蜂窝网络、任何其他合适的短程或远程无线网络等中的一个或多个。另外，可以使用任何合适的通信装置或协议(诸如经由无线电、激光、红外、以太网类型的装置和接口等)来发送通信。另外，这种通信可以使用各种通信协议(例如，tcp/ip、http、smtp、ftp)、编码或格式(例如，html、xml)和/或保护方案(例如，vpn、安全http、ssl)。
37.本文描述了根据本发明的示例性实施方式的外部通信系统170。然而，应当理解，本文提供的外部通信系统170的示例性功能和配置仅用作示例，以便于描述本发明的各方面。系统配置可以变化，其他通信装置可以用于直接或间接地与一个或多个关联的电器通信，可以实施其他通信协议和步骤等。这些变化和修改被认为在本发明的范围内。
38.现在一般参见图2，制冷电器100还可以包括库存管理系统180，该库存管理系统180通常配置为监测制冷电器100的一个或多个腔室，以监测库存的添加或取出。更具体地，如以下更详细地描述的，库存管理系统180可以包括多个传感器、相机或其他检测装置，其用于监测食物保鲜室122，以检测设置在食物保鲜室122中或从其取出的对象(例如，通常由附图标记182标识)。在这点上，库存管理系统180可以使用来自这些装置中的每一个的数据来获得食物保鲜室122内的对象182的身份、位置和/或其它定性或定量特性的完整表示或知识。尽管库存管理系统180在本文中被描述为监测食物保鲜室122，以便检测对象182，但是应当理解，本发明的各方面可以用于监测任何其他合适的电器、腔室等中的对象或物品。
39.如图2示意性所示，库存管理系统180可以包括相机组件190，该相机组件190通常设置和用于在运行期间获得制冷电器100的图像。具体地，根据所示例的实施方式，相机组件190包括一个或多个相机192，这些相机192安装到箱体102、冷藏门体128或以其他方式设置在食物保鲜室122的视野内。尽管本文将相机组件190描述为用于监测制冷电器100的食物保鲜室122，但是应当理解，本发明的各方面可以用于监测任何其他合适的电器的任何其他合适的区域，例如冷冻室124。如图2中最佳示出的，相机组件190的相机192在食物保鲜室122的前开口132处安装到箱体102，并且被定向为具有被引导跨过前开口132和/或进入食物保鲜室122中的视场。
40.尽管在图2中示例了单个相机192，但是应当理解，相机组件190可以包括设置在箱体102内的多个相机192，其中，多个相机192中的每一个具有位于食物保鲜室122周围的指定监测区或范围。在这点上，例如，各个相机192的视场可以被限制到或聚焦在食物保鲜室122内的特定区域上。具体地，现在简要地参见图8，示出了根据本发明的示例性实施方式的具有多个相机192的库存管理系统180。如图所示，相机192可以安装到食物保鲜室122的侧壁并且可以沿着竖向v隔开，以覆盖不同的监测区。
41.然而，特别地，最好是将各个相机192设置为接近食物保鲜室122的前开口132，并且将各个相机192的方向确定为视场指向食物保鲜室122。这样，与获得制冷电器100的用户的图像有关的隐私问题可以减轻或完全避免。根据示例性实施方式，相机组件190可以用于促进制冷电器100的库存管理过程。由此可见，各个相机192可以设置在食物保鲜室122的开口处，以监测被添加到食物保鲜室122或从其中取出的食品(通常标识为对象182)。
42.根据另一些实施方式，各个相机192可以以任意其他合适的方式定向成用于监测制冷电器100内或周围的任意其他合适的区域。应当理解，根据可选实施方式，相机组件190可以包括任意合适数量、类型、尺寸和配置的相机192，用于获得制冷电器100内或周围的任意合适的区或区域的图像。另外，应当理解，各个相机192可以包括用于调节视场和/或取向的特征。
43.应当理解，由相机组件190获得的图像可以在数量、频率、角度、分辨率、细节等方面变化，以便提高制冷电器100周围或内的特定区域的清晰度。另外，根据示例性实施方式，控制器156可以用于在获得图像之前使用一个或多个光源照亮制冷间室。特别地，制冷电器100的控制器156(或任意其他合适的专用控制器)可以通信地联接到相机组件190，并且可以被编程或用于分析由相机组件190获得的图像，例如，以便识别被添加到制冷电器100或从其取出的物品，如以下详细描述的。
44.通常，控制器136可以可操作地联接到相机组件190，用于分析由相机组件190获得的一个或多个图像，以提取关于位于食物保鲜室122内的对象182的有用信息。在这点上，例如，由相机组件190获得的图像可以用于提取条形码、识别产品、监测产品的运动、或获得与对象182有关的其他产品信息。特别地，该分析可以在本地(例如，在控制器156上)执行，或者可以被发送到远程服务器(例如，经由外部通信网络170的远程服务器176)以用于分析。这种分析旨在例如通过识别被添加到制冷间室或从制冷间室取出的食品来促进库存管理。
45.既然已经呈现了根据本发明的示例性实施方式的制冷电器100和相机组件190的结构和构造，则提供用于操作相机组件190的示例性方法200。方法200可用于操作相机组件190，或操作用于监测电器操作或库存的任意其它合适的相机组件。在这点上，例如，控制器156可以用于实施方法200。然而，应当理解，示例性方法200在本文仅讨论为描述本发明的示例性方面，而不旨在限制。
46.如图3所示，方法200包括：在步骤210，使用相机组件190获得制冷电器100的制冷间室的第一图像300。例如，继续上述示例，制冷电器100的相机组件190可以获得食物保鲜室122内的第一图像300，该第一图像300可以在其视场中包括多个对象182。在这点上，制冷电器100的相机组件190可以获得食物保鲜室122、冷冻室124或者制冷电器100内或周围的任何其它区或区域的一个或多个图像(例如，分别在图4和图5中标识的第一图像300和第二图像302)。具体地，根据示例性实施方式，相机192从箱体102的顶部中心向下定向，并且具
有覆盖食物保鲜室122的宽度的视场(例如，如图4和图5的照片所示)。而且，该视场可以以箱体102的前部处的前开口132为中心，例如，在该前开口132处，抵靠箱体102的前部安置冷藏门体128。这样，相机192的视场以及所获得的结果图像可以捕获对象进入和/或离开食物保鲜室122的任意运动或移动。通过相机组件190获得的图像可以包括一个或多个静止图像、一个或多个视频剪辑、或者适合于识别食品(例如，由附图标记182一般标识)或库存分析的任意其他合适类型和数量的图像。
47.特别地，相机组件190可以在任何合适的触发(诸如基于时间的成像时间表)下获得图像，在成像时间表中，相机组件190周期性地对食物保鲜室122进行成像和监测。根据另一些实施方式，相机组件190可以周期性地拍摄低分辨率图像，直到检测到运动(例如，经由低分辨率图像的图像区分)为止，此时可以获得一个或多个高分辨率图像。根据另一些实施方式，制冷电器100可以包括一个或多个运动传感器(例如，光学的、声学的、电磁的等)，当对象182被添加到食物保鲜室122或从中取出时，该一个或多个运动传感器被触发，并且相机组件190可以可操作地联接到这样的运动传感器，以在这样的移动期间获得对象182的图像。
48.根据另一些实施方式，制冷电器100可以包括门体开关，该门体开关检测冷藏门体128何时打开，在该时刻，相机组件190可以开始获得一个或多个图像。根据示例性实施方式，在冷藏门体128打开的同时，可以连续地或周期性地获得图像300、302。在这点上，获得第一图像300、第二图像302可以包括确定制冷电器100的冷藏门体128是打开的，并且在冷藏门体128打开的同时以设定的帧率捕获图像。特别地，食品在图像帧之间的运动可以用于确定食品182是否从食物保鲜室122中取出或添加到其中。应当理解，由相机组件190获得的图像可以在数量、频率、角度、分辨率、细节等方面变化，以便提高食品182的清晰度。另外，根据示例性实施方式，控制器156可以用于在获得第一图像300、第二图像302的同时照亮冰箱灯(未示出)。其它合适的触发是可行的，并且在本发明的范围内。
49.步骤220包括：使用机器学习图像识别过程来分析第一图像300，以识别第一图像300中的对象。应当理解，该分析可以利用任意合适的图像分析技术、图像分解、图像分割、图像处理等。该分析可以完全由控制器156执行，可以卸载到远程服务器来分析，可以在用户辅助下分析(例如，经由控制面板152)，或者可以以任意其他合适的方式分析。根据本发明的示例性实施方式，在步骤220执行的分析可以包括机器学习图像识别过程。
50.根据示例性实施方式，该图像分析可以使用任何合适的图像处理技术、图像识别过程等。如本文所用的，术语“图像分析”等通常可以用于指代对象的一个或多个图像、视频或其他视觉表示的观察、分析、图像分解、特征提取、图像分类等的任何合适的方法。如以下更详细地解释的，该图像分析可以包括图像处理技术、图像识别技术或其任何适当组合的实施。在这点上，图像分析可以使用任何合适的图像分析软件或算法来持续地或周期性地监测食物保鲜室122内的移动对象。应当理解，该图像分析或处理可以在本地(例如，由控制器156)或远程(例如，通过将图像数据卸载到远程服务器或网络，例如，远程服务器176)执行。
51.具体地，对一个或多个图像的分析可以包括实施图像处理算法。如本文所用的，术语“图像处理”等通常旨在指代用于分析图像的不依赖于人工智能或机器学习技术的任何合适的方法或算法(例如，与以下描述的机器学习图像识别过程形成对比)。例如，图像处理
算法可以依赖于图像区分，例如两个连续图像的逐像素比较。该比较可以帮助识别顺序获得的图像之间的实质差异，例如，以识别移动、特定对象的存在、特定条件的存在等。例如，当特定条件存在时，可以获得一个或多个参考图像，并且这些参考图像可以被存储，以用于将来与在电器运行期间获得的图像进行比较。参考图像与获得的图像之间的相似性和/或差异可以用于提取用于提高电器性能的有用信息。例如，图像区分可以用于确定像素级运动度量何时通过预定运动阈值。
52.处理算法还可以包括用于隔离或消除例如由于图像分辨率、数据传输误差、不一致照明或其他成像误差而产生的图像比较中的噪声的措施。通过消除这种噪声，图像处理算法可以改善准确的对象检测，避免错误的对象检测，并且隔离图像内的重要对象、区域或图案。另外或可选地，图像处理算法可以使用用于识别或标识特定物品或对象的其他合适的技术，诸如边缘匹配、分治搜索、灰度匹配、感受野响应的直方图或另一合适的例程(例如，基于来自一个或多个相机的一个或多个捕获的图像在控制器156处执行)。其它图像处理技术也是可行的，并且在本发明的范围内。
53.除了上述图像处理技术之外，图像分析还可以包括利用人工智能(“ai”)，诸如机器学习图像识别过程、神经网络分类模块、任何其他合适的人工智能(ai)技术和/或任何其他合适的图像分析技术，其示例将在下面更详细地描述。而且，以下描述的各个示例性图像分析或评估过程可以独立地、共同地或可互换地使用，以提取关于被分析的图像的详细信息，从而促进本文描述的一个或多个方法的执行或以其他方式改进电器运行。根据示例性实施方式，可以使用任何合适数量的图像处理、图像识别或其他图像分析技术及其组合来获得对所获得的图像的准确分析。
54.在这点上，图像识别过程可以使用任意合适的人工智能技术，例如，任意合适的机器学习技术，或者例如，任意合适的深度学习技术。根据示例性实施方式，图像识别过程可以包括实施称为基于区域的卷积神经网络(“r-cnn”)图像识别的一种形式的图像识别。一般而言，r-cnn可包括取得输入图像并提取包括图像的潜在对象或区域的区域建议。在这点上，“区域建议”可以是图像中可能属于特定对象的一个或多个区域，或者可以包括共享共同像素特性的相邻区域。然后使用卷积神经网络来从区域建议计算特征，然后将使用所提取的特征来确定各个特定区域的分类。
55.根据另一些实施方式，可以将图像分割过程与r-cnn图像识别一起使用。通常，图像分割为图像中的各个对象创建基于像素的掩码，并且提供对给定图像内的各种对象的更详细或更精细的理解。在这点上，代替处理整个图像(即，像素的大集合，其中许多像素可能不包含有用信息)，图像分割可以涉及将图像划分为片段(例如，划分为包含类似属性的像素组)，这些片段可以独立地或并行地分析，以获得图像中的一个或多个对象的更详细表示。这在本文中可以被称为“掩码r-cnn”等，与常规的r-cnn架构相反。例如，掩码r-cnn可以基于与r-cnn略微不同的快速r-cnn。例如，r-cnn首先应用卷积神经网络(“cnn”)，然后将其分配给covn5特性图上的区域推荐，而不是初始地分割为区域推荐。另外，根据示例性实施方式，标准cnn可用于获得、识别或检测与一个或多个图像内的一个或多个对象或区域有关的任何其他定性或定量数据。另外，可以使用k均值算法。
56.根据另一些实施方式，图像识别过程可以使用任意其他合适的神经网络过程，同时保持在本发明的范围内。例如，分析一个或多个图像的步骤可以包括使用深度信念网络
(“dbn”)图像识别过程。dbn图像识别过程通常可以包括堆叠许多单独的无监督网络，这些网络使用各个网络的隐藏层作为下一层的输入。根据另一些实施方式，分析一个或多个图像的步骤可以包括实施深度神经网络(“dnn”)图像识别过程，其通常包括使用在输入与输出之间具有多个层的神经网络(由生物神经网络启示的计算系统)。可以使用其他合适的图像识别过程、神经网络过程、人工智能分析技术以及上述或其他已知方法的组合，同时保持在本发明的范围内。
57.另外，应当理解，可以使用各种传送技术，但是不要求使用这样的技术。如果使用传送技术学习，则可以利用公共数据集来预训练神经网络架构，诸如vgg16/vgg19/resnet50，然后可以利用电器特定数据集来重新训练最后一层。另外或可选地，图像识别过程可包括基于初始条件的比较而检测某些条件，可依赖于图像减影技术、图像堆叠技术、图像拼接等。例如，减影图像可以用于训练具有多个类别的神经网络，以用于将来的比较和图像分类。
58.应当理解，机器学习图像识别模型可以由电器利用新图像主动训练，可以被提供有来自制造商或来自另一远程源的训练数据，或者可以以任何其它合适的方式训练。例如，根据示例性实施方式，该图像识别过程至少部分地依赖于神经网络，该神经网络利用不同配置的电器的多个图像训练、经历不同条件或以不同方式交互。该训练数据可以本地或远程地存储，并且可以被传送到远程服务器以用于训练其他电器和模型。
59.应当理解，图像处理和机器学习图像识别过程可以一起使用，以便于改进的图像分析、对象检测，或者从一个或多个图像中提取可以用于改进电器的运行或性能的其他有用的定性或定量数据或信息。实际上，本文描述的方法可以可互换地使用这些技术中的任何或全部来改进图像分析过程并且促进改进的电器性能和消费者满意度。本文描述的图像处理算法和机器学习图像识别过程仅是示例性的，并且不旨在以任何方式限制本发明的范围。
60.步骤230通常包括：使用相机组件190获得第二图像302。例如，第二图像302可以在步骤210获得第一图像300之后立即获得。通常，第一图像300和第二图像302都可以在食物对象182处于插入到食物室122中或从中取出的过程中的同时获得，使得可以确定对象182的轨迹，如下面更详细描述的。步骤240可以包括：使用机器学习图像识别过程来分析第二图像302，以识别第二图像302中的对象。在这点上，步骤240可以包括与上面关于步骤220描述的图像分析类似的图像分析。
61.现在简要地参见图4至图7，示例了在方法200的实施期间由相机组件190获得的各种图像(例如，包括第一图像300和第二图像302)。例如如图4所示，在步骤220执行的图像分析可以例如基于使用类似食品182(例如，如本文示例为苹果或桔子)对机器学习模型的训练来识别第一图像300和第二图像302内的多个对象。除了对象识别之外，机器学习图像识别过程可以提供置信度分数(例如，如针对在图4至图6中识别的各个对象182一般由附图标记310标识)。在这点上，例如，置信度分数310通常可以表示对象已经被机器学习模型适当识别的概率。
62.应当理解，通过在不同角度、不同时间、不同位置等获得同一对象182的更多图像，可以增加置信度分数310。因此，方法200还可包括以下步骤：使用相机组件190获得第三图像，其中，第三图像也包含来自第一图像300和第二图像302的对象182。方法200还可以包
括：分析第三图像以识别第三图像中的对象；以及至少部分地基于对第三图像的分析来增加置信度分数310，以识别对象。在这点上，如果机器学习模型将单个食物对象182识别为相同的桔子，则置信水平可以增加，例如，如从图4和图5中的对象识别所示。第三图像中相同桔子的肯定识别可进一步增加置信度分数310。相反，相同对象182的否定识别可以用来降低置信度分数310。
63.特别地，置信度分数310可以是来自机器学习模型的输出，并且可以基于被监测或跟踪的对象182的任何合适的特性。例如，各个食物对象182可以具有可识别的特征，诸如茎、变色、瑕疵、或其他可以是可识别的并且与该特定对象182相关联的特征(例如，类似于该对象的指纹)。机器学习图像识别模型可以基于各个对象的特定指纹来识别各个对象，并且可以使用来自其他图像的可识别特征来提高对象识别的准确性。尽管本文关于单独的桔子或苹果描述了这种对多个图像的比较以提高对象识别的置信度分数，但是应当理解，模型可以被外推到使用任何合适数量的图像来识别多个对象中的任一个。
64.步骤250可以包括：基于对象在第一图像300和第二图像302中的位置来确定对象的运动向量。具体地，如图7中最佳示例的，在第一图像300与第二图像302之间示出了第一对象182(例如，第一桔子)的运动向量320。在这点上，如果在第一图像300和第二图像302中都识别出对象182(例如桔子)，则方法200可以包括：确定与该对象182的移动相关联的轨迹或运动向量320。而且，通过肯定地识别设置在食物保鲜室122内的一个或多个对象182的运动向量320，可以改进或增加与特定对象182的识别相关联的置信度分数310。
65.另外，多个对象中的相邻对象182及其相关联的运动向量320的识别可以提高对象识别及其相关联的运动向量320的置信度分数310。在这点上，例如，方法200可以包括：分析第一图像300，以识别第一图像300中的第二对象(例如与桔子相邻放置的苹果)。方法200还可以包括：确定第一对象182与第二对象182之间的空间关系(例如，两个对象在三维空间中的相对放置)。方法200还可包括：至少部分地基于第一对象182的运动向量320和第一对象与第二对象之间的空间关系来确定第二对象的预测运动向量(例如，如一般由附图标记322标识)。
66.由此，方法200可以包括：获得被添加到制冷间室或从制冷间室取出的食品182的多个图像。在这点上，继续上述示例，控制器156或另一合适的处理装置可以分析这些图像，以识别食品182和/或其进入或离开制冷间室的轨迹。通过识别食品182是否被添加到食物保鲜室122或从其中取出，控制器156可以监测和跟踪制冷电器100内的库存。例如，控制器156可以保持放置在食物保鲜室122内或从其中取出的食品的记录。
67.图3描述了具有为了示例和讨论的目的而以特定顺序执行的步骤的示例性控制方法。使用本文所提供的发明内容，本领域普通技术人员将理解，本文所述的任意方法的步骤可以以各种方式改编、重新排列、扩展、省略或修改，而不脱离本发明的范围。而且，虽然使用相机组件190作为示例来说明了这些方法的各方面，但是应当理解，这些方法可以应用于任意合适的电器和/或相机组件的操作。
68.如上所述的示例性库存管理系统180和操作制冷电器的方法200通常可以有助于改善制冷电器100内的库存管理。在这点上，该系统便于对象识别，其中，可以使用逐帧对象分析方法来支持库存管理。这在跟踪存储在冰箱中的属于单个类别的多个对象(类似对象)时是有利的。具体地，来自相机的多个图像可用于跟踪移动通过其视场的物品，其中逐帧地
捕捉对象。可以在神经网络中比较对象的帧之间的一致性。神经网络可以被设计为给出两个图像属于同一物品的概率。如果单个对象的多个图像是可用的，则可以进行多次比较，然后可以使用平均置信度。
69.神经网络有效地为各个对象生成特征向量或映射并比较。高置信度向量被给予在帧之间肯定识别的对象。未知物品之间的相对位置可用于在下一步骤中识别它们。如果物品一起移动，则另一物品可位于已知的位置。如果物品没有移动，则将在相同的位置找到它。任一情况都可以用于联系帧之间的物品识别。可以在与电器的一个或多个交互(许多帧)的过程中建立以电器为中心的数据库。相同物品识别的各个图像可用于将来的比较，从而使得跟踪变得越来越容易。
70.例如，如果基于一对帧存在给定桔子是相同桔子的50％置信度，则可以将相同桔子的较早图像运行相同比较，从而产生具有平均75％的高达90％置信度的匹配。由此，例如通过使用最大匹配置信度、使用平均匹配置信度、使用诸如四分位数、中值等的其它类似度量，有效地使用较早的图像可以带来匹配的置信度。因此，该方法对于跟踪进入电器中到达最终储存位置的物品和物品年龄(即使物品被四处移动)是有用的。另外，该方法确定在取出时哪个物品离开储存空间，并且还建议用户取出最早的物品并将其示出在图像中。
71.本书面描述使用示例对本发明进行了公开(其中包括最佳实施例)，并且还使本领域技术人员能够实施本发明(其中包括制造和使用任意装置或系统并且执行所包含的任意方法)。本发明的可专利范围通过权利要求进行限定，并且可以包括本领域技术人员能够想到的其它的示例。如果这种其它的示例包括与权利要求的字面语言没有区别的结构元件，或者如果这种其它的示例包括与权利要求的字面语言没有实质区别的等同结构元件，则期望这种其它的示例落入权利要求的范围中。