用于处理家用器具的数据的方法与流程

本发明涉及一种用于处理图像数据的方法以及一种相应的系统，所述图像数据由家用器具提供在移动终端设备上。

背景技术：

已知，在家用器具、例如冷藏箱中使用一种摄像机，所述摄像机在确定的时间拍摄冷藏箱内部或者其一部分。例如在打开和/或关闭冷藏箱门时，摄像机可以生成冷藏箱内部的影像(aufnahme)，例如恰好处于冷藏箱中的食物的或者其他物品的影像。可以相应地也在冷藏箱关闭的状态中制作这样的影像。

例如可能的是，为此设置识别冷藏箱的打开和/或关闭的传感器。这可以例如借助磁性传感器或者其他开关进行。由摄像机生成的影像例如通过无线的或者有线的连接存储在存储器中。存储器可以是例如家用器具的存储器或计算机的或计算机网络的存储器。影像尤其可以通过网络接口存储在中央数据库上，所述中央数据库例如通过互联网连接。

如果随着每次打开和/或关闭制作家用器具的内容的至少一个影像，则根据在家用器具的使用过程中产生的不同的影像之间的改变可以推断出商品安放到家用器具中和商品的相应的取出。可以进一步处理所述信息用于不同的目的。

在此有问题的是，存在许多可再使用的容器，所述容器在影像上显现并且不提供对其内容的推断。这例如适用于可广泛地使用的、可再次关闭的容器。

技术实现要素：

任务在于，改进对家用器具的管理。

该发明根据独立的权利要求的特征来解决。本发明的扩展方案也从从属权利要求中得出。

为了解决所述任务，提出一种方法，其包括以下步骤：

借助移动终端设备生成影像，

在所述影像中识别家用器具，

在所述影像中通过所述家用器具内部的内容图像取代所述家用器具或所述家用器具的一部分。

在影像中对家用器具作为对象的识别可以由移动终端设备执行。优选地，移动终端设备和家用器具至少短时地通过网络或者通过通信连接相互连接，从而内容图像可以从家用器具传输给移动终端设备。

在此，内容图像可以包括单个图像、图像序列或者运动图像序列(即电影)。内容图像可以例如由至少一个摄像机拍摄，所述至少一个摄像机位于家用器具处或者家用器具中。该摄像机制作家用器具内室的影像。内容图像可以例如暂时地存储在存储器中。作为这类存储器例如可以使用以下：家用器具中的存储器、网络存储器和/或移动终端设备的存储器。

例如内容图像可以通过wlan接口从家用器具通过互联网传输给智能手机，所述智能手机或者可以通过wlan接口或者可以通过其他的无线通信连接(例如3g或4g)与互联网连接。为了识别对象，移动终端设备可以具有特别的程序(所谓的“app”)。

内容图像或者内容图像的一部分可以用于，在由移动终端设备已生成或者生成的影像中取代家用器具并且因此在移动终端设备上示出增强现实的印象，其方式是，使用者可以看到家用器具内部。

一种扩展方案是，影像包括家用器具。

优选地，在影像上(从外部)示出家用器具。影像的该部分可以通过内容图像取代或者叠加。

另一种扩展方案是，在影像中取代家用器具或者家用器具的一部分之前执行以下步骤：

生成家用器具的内室的内容图像。

为此，可以使用例如家用器具的摄像机。该摄像机可以通过处理单元给存储器提供内容图像。可选地，摄像机可以与处理单元组合，从而摄像机借助处理单元例如在确定的时刻通过网络发送内容图像。

一种扩展方案尤其是，内容图像包括至少一个信息，所述至少一个信息能够根据移动终端设备来选择和显示。

优选地，内容图像可以包括对于由家用器具的摄像机制作的影像附加的信息。所述信息可以作为符号示出。可选地，可以在选择时更详细地显示所述信息，其方式是，例如包含阐述的窗口打开。所述信息不限于色彩、符号、文字等等。所述信息也可以与例如选择的条件相结合，从而当点击到内容图像或者内容图像的一部分上(例如在具有触摸屏的移动终端设备的情况下通过用手指触摸)时显示信息。

以下也是一种扩展方案，即所述信息包括以下中的至少一项：

说明物品从何时起被存放在所述冷藏箱中的日期，

表明所述物品从何时起已经不再被移动过的日期，

直到所述物品的失效日期为止的持续时间，

用于确定的食物的色彩代码，

营养价值信息，

专用的信息，

食谱。

此外，一种扩展方案是，可以根据信息实施预给定的动作。

在一种附加的扩展方案的框架中，预给定的动作包括以下中的至少一项：

订购的触发；

显示食谱或者菜肴是否可烹调；

从基于所述至少一个信息可烹调的食谱中进行选择；

用于放置物品在所述家用器具中的指示。

下一扩展方案在于，所述方法此外包括：

在所述影像中通过所述内容图像取代所述家用器具或所述家用器具的一部分，其中，根据导航信息选择所述内容图像。

在这里应注意，所示出的内容图像的选择也包括内容图像的一部分。即能够实现：借助所述一个内容图像(或多个内容图像)在家用器具内部导航。

一种构型是，借助所述移动终端设备提供所述导航信息，从而能够实现在所述家用器具内部的虚拟导航。

一种替代的实施方式在于，家用器具为以下器具中的一种：

厨房用具，

炊具，

冷藏和/或冷冻器具。

冷藏和/或冷冻器具在这里也称作冷藏箱。

下一构型在于，借助布置在所述家用器具中的摄像机生成所述家用器具的内室的内容图像，其中，在打开和/或关闭所述家用器具的门时生成所述内容图像。

此外，提出一种系统，所述系统具有家用器具和移动终端设备，

其中，所述家用器具具有摄像机，用于生成所述家用器具的内室的内容图像，其中，所述内容图像能够提供给所述移动终端设备，

其中，所述移动终端设备：

-具有摄像机，用于生成影像，

-具有处理单元，用于在所述影像中识别家用器具以及用于在所述影像中通过所述家用器具内部的内容图像取代所述家用器具或所述家用器具的一部分。

在这里提到的处理单元尤其可以实施为处理器单元和/或至少部分地固定布线的或者逻辑的电路装置，所述电路装置例如如此设置，使得所述方法可以如在这里描述的那样执行。所述处理单元可以是或者包括每种类型的处理器或者运算器或者具有相应地必要的外围设备(存储器、输入/输出接口、输入-输出设备等等)的计算机。

关于所述方法的以上阐述相应地适用于设备或系统。

附图说明

以下根据附图示出和阐述本发明的实施例。示出：

图1橱柜的示意性的布置以及智能手机，所述橱柜具有多个单元、在其下方作为示例性的家用器具的冷藏箱，所述智能手机生成橱柜的影像；

图2在智能手机上的、包括橱柜的屏幕内容，其具有内容图像，所述内容图像从外部示出冷藏箱内部而不是冷藏箱；

图3以象征性的剖视图示例性地示出包括冷藏箱的示意性的方框图，所述冷藏箱具有门、摄像机和处理单元。

具体实施方式

在这里描述的例子能够实现：当由终端设备的摄像机拍摄的图像包括和/或示出家用器具或家用器具的一部分时，能够在终端设备上向使用者示出家用器具的内容。

终端设备涉及例如移动终端设备、智能手机、智能手表、平板计算机、便携式计算机，等等。终端设备具有到网络的无线连接或有线连接。网络可以包括例如互联网或者具有到互联网的连接。

因此，该解决方案可以理解为增强现实在家用器具领域内(“augmentedreality”)的一种形式。根据维基百科增强现实理解为计算机支持的、对现实觉知的增强。

在当前的情况下，识别预给定的图案、例如家用器具的门，并且在终端设备上示出家用器具的内容而不是家用器具的门。为此，可以向终端设备传送家用器具内部的影像并且将其显示在终端设备的屏幕上而不显示预给定的图案。因此，图案、即例如家用器具的门通过家用器具的内容的影像来取代。

在这里，一种选项是，随着终端设备的运动将相应于所述运动的、到家用器具的内容上的视角作为影像示出。这可以例如通过由不同的摄像机从不同的视角的不同的拍摄或者通过来自至少一个影像的不同的区段的示出来实现。如果使用者例如使终端设备从上向下运动，则可以在屏幕上显示在家用器具内部的相应的不同的区域。替代终端设备自身从上向下运动地，也可以设置输入机构(例如虚拟的操纵杆(joystick)、滚动条、触摸屏，等等)，借助所述输入机构模拟所述运动(或者任意的其他的运动)。也可能的是，例如通过终端设备的运动和/或通过输入机构实现放大或缩小。基本上，也可以借助这类输入机构和/或终端设备的相应的运动实现在家用器具内部的(几乎)自由的导航。

家用器具例如可以涉及冷藏箱。终端设备可以是例如智能手机。如果使用者将智能手机的摄像机对准厨房的以下部分——冷藏箱位于所述部分中，则冷藏箱被识别为对象。该对象可以通过冷藏箱的内容的影像(也称作“内容图像”)来取代。内容图像或者在之前或者在此期间由位于冷藏箱中的摄像机生成并且例如通过网络提供给智能手机。由此，例如在智能手机的屏幕上不变地示出厨房(或者厨房的一部分)，冷藏箱除外；但是，取代冷藏箱地，使用者现在根据内容图像看到冷藏箱内部并且因此可以识别，哪些食物和物品位于冷藏箱中。冷藏箱的门借助增强现实的该措施看起来如同其是透明的那样。

可选地，可以根据所识别的对象“冷藏箱”的尺寸以不同的分辨率和/或区段示出内容图像。

冷藏箱内部的内容图像可以设有不同的附加的信息，例如

说明物品从何时起被存放在所述冷藏箱中的日期，

表明所述物品从何时起已经不再被移动过的日期，

直到物品的失效日期为止的持续时间，

用于确定的食物的色彩代码；例如具有短的耐久性(几天、例如小于一星期)的食物可以设有红色的色彩或者红色的标记，

营养价值信息，

专用的信息，例如用于聚会的可使用性，

食谱。

一些物品为食谱的一部分，例如这些物品可以以色彩来标记(或者以其他的方式突出)。使用者可以在智能手机上选择食谱并且看冷藏箱中的配料(所述配料例如可以以绿色的色彩或者绿色的标记在屏幕上标出)。可以根据使用者的偏好和/或根据白天时间自动地为使用者提供食谱。例如对于每个食谱也可以标明，是否也存在通常必须存放在冷藏箱中的必要的配料。在这样一种情况下，例如可以将这样的食谱标记绿色，对于所述食谱而言，所有必需的配料看起来都存在于冷藏箱中。

以下也是一种选项，即对于一个物品，说明在冷藏箱中的一个理想的存放位置。例如可以因此在内容图像上标记，苹果应存放在设置用于水果的区域中。

该方案的一个优点在于，使用者可以以不同的方式高效地利用冷藏箱的内容，而不必为此每次打开冷藏箱门。由此一方面节省能量，另一方面省去了对冷藏箱内容的烦人的和费时的搜寻。

图1示出具有多个单元的厨柜101的示意性布置、在其下方的作为示例性的家用器具的冷藏箱102。此外，示出具有显示器104(所述显示器例如实施为触摸屏)和摄像机105的智能手机103，其中，摄像机105安装在与显示器104相对置的侧上。使用者可以借助摄像机105拍摄橱柜101。影像可以包括至少一个图像或者图像序列、即电影。影像尤其可以作为电影实时地生成和显示。

智能手机103为用于移动终端设备的例子。在当前的例子中，智能手机通过无线电接口、例如移动无线电接口或者wlan连接与网络连接。同样地，冷藏箱102与网络连接。以下也关于图3阐述关于基础设施的示例性的细节。

分析在智能手机上的影像并且在厨柜101中识别冷藏箱102。所述识别可以自动地进行；也可能的是，使用者之前已经通知在智能手机103上运行的软件，冷藏箱102看起来如何(这可以例如以冷藏箱的从前方的影像的形式发生，所述影像然后转交给软件或者从软件读取)。

如果识别出冷藏箱102，则自动地在影像中至少部分地、完全地或者象征性地通过冷藏箱的内容的影像取代所识别的对象“冷藏箱”。冷藏箱的内容的该影像(以下出于更好的可读性被称作“内容图像”)由位于冷藏箱中的摄像机提供(为了区分冷藏箱中的摄像机与终端设备的摄像机，前者也被称作cif(“camerainfridge，冰箱中的摄像机”))。

内容图像部分地叠加摄像机105的拍摄。该增强的现实106包括具有内容图像107的橱柜的示出。为了说明，又在图2中放大地示出该增强的现实106。在智能手机103上，使用者可以看到冷藏箱102中，而不必为此打开冷藏箱门。

图3以象征性的剖视图示例性地示出包括冷藏箱102的示意性的方框图，所述冷藏箱具有门302。在图3中，门302关闭。传感器306探测，门302是开着还是关着。在打开和/或关闭门302时，传感器306向处理单元304传送相应的信号。然后，处理单元304控制摄像机303(cif)，从而摄像机生成冷藏箱102的内室的影像。示例性地，处理单元304将影像存储在存储器307中。存储器307可以是处理单元304的一部分或者与处理单元分开地实施。

处理单元304可以例如设置用于在由摄像机303制作的影像中识别至少一个对象305。在图3中示例性地示出多个对象305，所述多个对象可以是在冷藏箱内部的物品、例如商品或者食物。

例如也可能的是，摄像机303和处理单元304实施为部件。这样的部件尤其可以具有例如无线的网络连接并且所生成的影像直接地存储在通过互联网连接的存储器上。这样的存储器也称作“云端存储器”。

此外，在图3中示例性地示出在处理单元304和智能手机103之间的接口。在这里应提到，在图3中的虚线象征性地示出信号的或者数据的传输。数据到智能手机103的传输可以例如通过无线电接口实现，所述无线电接口至少部分地利用互联网。为此，处理单元304本身可以具有到互联网的无线连接或者有线连接。

智能手机103为用于显示设备的另一个例子。其包括以(例如虚拟的)键盘321形式的输入可能性以及屏幕104。键盘321和屏幕104可以组合为触摸屏地实施。

内容图像可以在不同的时刻由cif303拍摄，例如当冷藏箱102的门302关闭和/或打开时。也可以在预给定的时刻或者在确定的机会(例如由于请求)可以生成内容图像。内容图像可以以不同的方式存储。存储器可以位于冷藏箱102中、网络中或者移动终端设备103中。内容图像也可以多次地存储。

在一个示例性的场景中，冷藏箱102具有到网络、例如互联网的连接。该连接可以无线地或者有线地实施。智能手机103同样具有到网络的连接(优选无线的)。因此，冷藏箱102和智能手机103可以直接地或者通过网络相互通信；例如因此可以给智能手机103提供内容图像。

如果影像涉及智能手机从橱柜101生成的实时影像，则冷藏箱可以至少部分地通过内容图像或者通过与内容图像相关联的对象取代。根据智能手机103的定向和/或运动，可以示出内容图像的不同的区段或者可以在多个内容图像(也在多个内容图像的区段)之间交替。因此可以实现，使用者通过智能手机103的运动从不同的视角或者以不同的放大看到冷藏箱102的内容。因此尤其可以实现，使用者在冷藏箱102内部导航。可选地，导航——除了智能手机自身的运动之外——也(必要时替代地或者附加地)可以借助输入设备(例如虚拟的操纵杆或者触摸屏)来执行。

附图标记列表

101橱柜

102冷藏箱

103智能手机

104显示器

105摄像机

106增强现实

107内容图像

302门

303摄像机(cif)

304处理单元

305对象

306传感器

307存储器

321键盘