用于监视待烹饪食物的方法和家用烹饪器具与流程

本发明涉及一种用于在操作过程、尤其是烹饪过程期间根据借助于摄像机记录的图像序列来监视位于家用烹饪器具的烹饪室中的待烹饪食物的方法。本发明还涉及一种被设置为执行该方法的家用烹饪器具。本发明尤其有利地可应用于确定褐变程度或褐变进程，尤其是在烤箱中。

背景技术：

1、de 10 2019 113 281 a1公开了一种用于在具有集成摄像机的烹饪器具中进行曝光调节的方法，包括：以预定的基本曝光时间记录起始图像；将起始图像分割成待烹饪食物表面部分和非待烹饪食物表面部分；为待烹饪食物的表面部分创建曝光掩模，该曝光掩模遮住非待烹饪食物表面部分；使用曝光掩模调整曝光时间，从而实现待烹饪食物表面部分的预定目标亮度；以及以所调整的曝光时间记录目标图像。

2、ep 3 608 593 a1公开了一种烹饪系统，其具有(a)具有炉腔的炉，该炉腔可经由炉门进入；和(b)外部计算装置；其中所述炉配备有(a1)至少一个光学传感器，用于记录炉腔中的图像数据；(a2)用于识别门的关闭和用于触发光学传感器的装置；(a3)用于执行基本图像评估以确定空腔是否为空的处理装置；(a4)用于向外部计算装置提供图像数据的通信装置；其中所述外部计算装置适于根据由所述通信装置提供的图像数据执行食物识别例程；(b2)基于所确定的食物参数选择烹饪参数；以及(b3)将选择的烹饪参数传输到炉。

3、de 10 2016 215 550 a1公开了一种用于确定家用烹饪器具的烹饪室中待烹饪食物的褐变程度的方法，该家用烹饪器具具有朝向烹饪室的摄像机和用于照亮烹饪室的光源，并且其中借助于摄像机记录参考图像，在光源的第一亮度情况下记录第一测量图像，在光源的第二亮度情况下记录第二测量图像，从第一测量图像和第二测量图像生成差异图像，并将差异图像与参考图像进行比较。

4、ep 2 444 733 a2公开了一种炉，其具有：烹饪室，食物在该烹饪室中烹饪；加热烹饪室中的食物的热源；照亮烹饪室内部的光源；图像传感器，其扫描烹饪室的内部和食物；显示部分，其显示由图像传感器扫描的食物的图像；以及控制部分，其校正由于来自光源的光而失真的食物图像，以便在显示部分上显示经校正的食物图像。

技术实现思路

1、本发明的任务是至少部分克服现有技术的缺点，并且尤其是提供一种用户友好的可能性，用于根据图像序列特别可靠地确定烹饪过程中待烹饪食物的烹饪进程，尤其是褐变进程。

2、这个任务根据独立权利要求的特征来解决。尤其是从从属权利要求中可获悉优选实施方式。

3、该任务通过一种方法来解决，该方法用于在操作过程期间根据借助于摄像机记录的图像序列来监视位于家用烹饪器具的烹饪室中的待烹饪食物，其中在烹饪过程开始时自动设定摄像机的图像参数，并且在烹饪过程的接下来的过程中，由摄像机将初始设定的图像参数保持直到出现至少一个预定事件为止。

4、通过“冻结”摄像机的图像参数或图像参数设定，该方法得出的优点是：在烹饪过程期间以相同的图像动态记录待烹饪食物，并且从而保证在所记录的图像中待烹饪食物的颜色和亮度的变化仅由于待烹饪食物表面处的实际变化而发生，而不是通过摄像机的图像参数调整所产生的伪影。这又提高了确定烹饪进程的准确性和可靠性。

5、操作过程可以是例如由用户或烹饪程序设定的烹饪过程。可替换地，操作过程可以是保温操作、热解过程等。以下涉及烹饪过程，但其中如果适用的话也可以一并包括其他操作过程。

6、保持初始设定的图像参数至少直到出现至少一个预定事件为止包括以下可能性：在出现特定事件时，可以重新设定或调整摄像机的图像参数，但不需要这样做。这得出另一个优点，即在照明情况由于所述事件发生可能变化的情况下，摄像机的动态范围可以自动调整，并且然后同样再次冻结。由此，在改变照明情况之后，又可以特别准确地检测所记录的图像中的待烹饪食物的颜色和亮度的变化，这同样提高了确定烹饪进程的准确性和可靠性。

7、通过该方法还有利地避免用户需要在烹饪过程开始时或在出现预定事件之后自己调整图像参数，或者避免需要自己启动调整，这进一步提高了用户满意度。

8、另一个优点在于，该方法可以借助于廉价的摄像机和简单的评估逻辑来可靠地实现。不需要诸如在dslr摄像机中使用的具有高动态范围的复杂且昂贵的解决方案。

9、该方法基于这样的认识：如果由于照明条件的改变或待烹饪食物的颜色变化而导致位于烹饪室中的待烹饪食物的亮度或颜色印象发生变化，则摄像机或摄像机系统通常自动适应这些新的照明条件，例如通过白平衡和黑平衡、亮度平衡、曝光时间以及(必要时)其他校正参数。为此，摄像机不断地评估当前图像片段，以便为后续图像记录设定或调整这些图像参数，并由此优化图像记录，例如在尽可能好地充分利用的动态范围方面。例如，可以根据最亮的图像片段来调整曝光时间，使得然后记录的图像不出现明显的过度曝光。白平衡例如根据被认为几乎是白色的图像片段来确定：如果摄像机找到这样的白色区域，则色温进行调整。黑色值和其他图像参数、尤其是影响动态范围的图像参数也自动适应特定场景。执行这些调整是因为摄像机的动态范围不是任意大，并且因此必须在相互强烈影响的多个参数和场景之间做出折衷。如果利用这种传统方法记录连续烹饪过程的图像，则每个图像记录都基于单独设定的或再调节的图像参数。

10、该方法现在基于进一步的认识，即在用于连续烹饪过程的图像序列的情况下，如其对于检测待烹饪食物的褐变所必需的，对每个所记录的图像的图像参数的自动调整是不利的，因为这改变图像序列中所记录的图像的图像动态性，并且因此在烹饪过程期间根据图像序列对烹饪进度、尤其是褐变进程的评估变得不太可靠。

11、监视烹饪进程一般可以包括光学监视待烹饪食物表面的颜色变化，例如对于褐变过程在(更加)棕色之后或者对于未褐变或不显著褐变的待烹饪食物发生另一种颜色变化，例如在某些蔬菜的情况下从浅绿色变为深绿色等。

12、一个扩展方案是，家用烹饪器具是具有烹饪室的炉或者具有炉，例如炉灶。位于烹饪室中的待烹饪食物可以通过借助于电阻加热器和/或红外辐射器(烤箱)、微波和/或蒸汽施加能量来处理。家用烹饪器具因此还可以是组合器具，例如烤箱/微波炉组合器具、具有蒸汽处理功能的烤箱等。

13、家用烹饪器具可以具有朝向烹饪空间的一个或多个摄像机。至少一个摄像机可以布置在烹饪室的壁中或壁后面。在一个扩展方案中，摄像机对应于诸如ccd传感器的摄像机传感器。可替换地，摄像机还可以包括另外的部件，例如——尤其是可自动设定的——光学器件等。

14、在操作过程开始时对影响相机的动态范围的摄像机图像参数进行设定可以尤其是包括：在烹饪过程开始时(例如由用户或烹饪程序触发)进行一次图像参数设定，并且然后利用相同的图像参数记录图像序列的所有图像，直到出现预定事件。图像参数也可以称为图像记录参数。“在开始时”可以理解为“在开始之后立即”或者在操作过程开始之后的短时间内(例如在1至30秒之间)。

15、保持初始设定的图像参数直到出现至少一个预定事件为止还可以包括没有这样的事件出现的情况。在这种情况下，在相同的初始图像参数设定下记录图像，直到烹饪过程结束。

16、图像(记录)参数尤其可以包括曝光时间、白平衡、黑平衡、增强(增益)、饱和(饱和度)、色温等。因此可以例如利用相同的曝光时间和白平衡和/或黑平衡的相同结果来记录图像序列的图像至少直到预定事件出现为止。尤其是，图像参数包括所有由摄像机自动可设定的或设定的图像参数。这并不排除以下事实：图像参数中的一个或多个也可以手动设定或由用户设定和/或存在只能手动设定的其他图像参数。

17、一个设计方案是，根据在事件之前记录的图像和在事件之后记录的图像的比较，检查图像是否由于事件而已经改变超过第一较小预定度量(maβ)或第二较大预定度量，以及

18、-如果不是这种情况，则在不重新设定图像参数的情况下记录其他图像，

19、-如果图像已经改变超出第一度量但未超出第二度量，则相机的图像参数随后被重新自动设定一次并利用新设定的图像参数记录其他图像，并且

20、-如果图像已经改变超出第二度量，则执行至少一个其他动作。

21、该设计方案尤其是包括执行在事件之前和之后的图像的图像比较(例如确定逐像素偏差)并且将该比较的结果与第一度量和第二度量进行比较。该比较的结果可以是例如取决于偏差大小的值，而第一度量和第二度量可以例如分别是第一阈值和第二阈值。

22、通过该设计方案实现的优点是，可以检查照明情况和/或待烹饪食物的表面的光学特性是否由于事件而已经被改变到如下程度：初始设定的图像参数也仍然适用于事件结束后所记录的图像。如果是这样，则不需要改变图像参数，这得出以下优点：在事件之后记录的图像序列可以实际上几乎无缝地连接到在事件之前记录的图像序列。例如，如果根据图像变化过程确定烹饪进程，则这可能是有利的。

23、第二种情况得出的优点是，可以改进图像的动态范围，并且在事件之后记录的图像序列总是仍然可以以实际有意义的方式连接到在事件之前记录的图像序列。类似于在烹饪过程开始时对图像参数的设定，尤其是，保持对于后续图像再次执行的设定，直到烹饪过程结束或新事件出现为止，其中随着新事件的出现，重新一次自动设定图像参数等。新的事件可以是与前一个事件不同的事件或相同的事件。

24、第一种和第二种情况使得能够特别可靠地确定烹饪进程。

25、第三种情况考虑到这样的情况：待烹饪食物已经被如此大地改变，使得在事件之后记录的图像序列不再能够与在事件之前记录的图像序列有意义地连接。在后一种情况下，然后可以触发至少一个(“另外的”)动作，例如中止该方法或者重新启动该方法。达到第二度量意味着，图像的图像内容比达到第一度量改变得更多。

26、一个设计方案是，预定事件包括打开烹饪室的门(即，打开门并随后关闭门)，这可以例如由开门传感器自动识别。与上面的第一种情况类似，图像实际上不会因为门的打开而改变，例如，当用户仅短时间地打开门以便更仔细观察待烹饪食物或轻轻地戳该待烹饪食物时。然后可以保留用于图像记录的摄像机图像参数，因为门的打开通常太短而不会引起表面视觉印象的变化。

27、与上述第二种情况类似，图像可能由于门的打开而稍微改变，例如当用户将待烹饪食物或相关联的待烹饪食物载体移动到下一更高或下一更低的插入层时，这仅稍微改变照明情况和/或稍微移动待烹饪食物。

28、例如，当在相距较远的待烹饪食物层之间变换时，例如从较低的待烹饪食物层到最高的待烹饪食物层、待烹饪食物被翻转或被搅拌、待烹饪食物被移除、待烹饪食物被添加、待烹饪食物被浇注或被覆盖(例如用牛奶或酱汁等)时，可能出现上述第三种情况。

29、一个设计方案是，预定事件包括至少一个非成像传感器的至少一个测量值的过度上升或下降。这可以被实现为使得如果至少一个测量值(即，测量值、测量值序列或其导数)达到或超过上阈值和/或达到或低于下阈值，则认为预定事件已经出现。非成像传感器尤其可以理解为不是摄像机的传感器。例如，如果待烹饪食物的表面在特定操作模式(例如“烧烤最大”)下变化特别快，则该设计方案可能是相关的。于是当操作模式改变时，可能发生传感器信号的跳变，例如湿度传感器、氧气传感器等的传感器信号的跳变。

30、至少一个非成像传感器可以包括例如来自以下组的至少一个传感器：

31、-用于感测待烹饪食物的表面温度的温度传感器(例如红外传感器)；

32、-核心温度传感器(也称为烤钎)；

33、-湿度传感器；

34、-氧传感器；

35、-化学传感器，例如用于检测在褐变时释放的化学物质；

36、但不限于此。氧传感器可以例如用作氧气传感器和/或湿度传感器。

37、一个设计方案是，预定事件包括至少一个非成像传感器的测量值的突然变化。这可以通过评估一系列测量值来实现。例如，如果两个连续测量值或测量值序列的变化超过预定阈值，则这可以被评估为事件。

38、一个设计方案是，预定事件包括必要时在诸如预定烹饪室温度、操作模式等预定烹饪参数下的预定持续时间期满。在一个扩展方案中，预定持续时间可以是向后或向前的定时器持续时间，例如当达到设置的设备关闭时。一个可能的示例是开始后烹饪过程。替代地或附加地，预定的持续时间可以包括达到定义的自动程序和烘焙过程中的跳跃标记。

39、一个设计方案是，预定事件包括利用摄像机在时间上相继记录的图像的图像内容的显著变化。图像内容的评估可以包括像素值的简单计算，例如求平均值和/或差异分析，例如下面更详细描述的。该设计方案得出的优点是，可以特别迅速且连续或准连续地检测待烹饪食物的光学变化。图像内容的评估可以涉及整个图像或涉及显示待烹饪食物的至少一个图像片段。用于图像比较的图像或图像片段可以包括相继记录的图像或以预定间隔的图像(例如每第三个、第四个等图像)。传感器在这里就是摄像机本身。

40、一个设计方案是，为了确定图像是否由于事件而改变超过至少一个预定度量，执行差异分析并且将由差异分析得出的评估数与第一度量进行比较，并且如果仍然有必要的话，则与第二度量进行比较。因此获得对图像或其图像内容已经改变的程度的计算技术上相对简单且快速的识别。图像包括在事件之前记录的至少一个图像(尤其是恰好一个图像，特别是事件之前的最后一个图像)和在事件之后记录的至少一个图像(尤其是恰好一个图像，特别是事件之后的第一个图像)。评估数表示所比较的图像之间的图像偏差或图像变化的度量。该差异分析也可以已经如上面所表明的那样类似地用作事件。然后可以省略用于检查图像是否由于事件而改变超过预定度量的单独的差异分析。

41、一个设计方案是，计算相应图像的至少一个图像通道的对应像点值的差值的平均值作为评估数。如果评估数达到或超过预定阈值，则重新设定或调整摄像机的图像参数。这种差异分析有利地特别稳健并且还可以快速地执行。在使用事件之前的最后图像和事件之后的第一图像情况下的差异分析是特别有利的。

42、图像通道表示所排除的图像的通道或颜色空间坐标，例如rgb图像的颜色空间坐标或颜色通道r、g和b，hsv图像的颜色空间坐标h、s和v等。

43、一个特别有利的扩展方案是，平均值是算术平均值。可替换地，例如可以使用几何平均值、中值等。

44、一个扩展方案是，评估数以所有图像通道的平均值的形式来计算。然后可以例如针对rgb图像根据下式计算平均值d：

45、

46、所述rgb图像具有：图像宽度w和图像高度h、具有图像1的坐标(x，y)的像点的红色值r1(x，y)、具有图像1的坐标(x，y)的像点的绿色值g1(x，y)、具有图像1的坐标(x，y)的像点的蓝色值b1(x，y)、具有图像2的坐标(x，y)的像点的红色值r2(x，y)、具有图像2的坐标(x，y)的像点的绿色值g2(x，y)以及具有图像2的坐标(x，y)的像点的蓝色值b2(x，y)。d＝0表示两个图像相同，d＝255表示两个图像非常不同。如果平均值d达到或超过预定阈值thr，即如果适用d>thr或d≥thr，则重新设定或调整用于后续图像记录的图像参数。

47、颜色值例如可以在0到255之间，于是d的值也在0到255的范围内。

48、根据仅一个图像通道计算d对于节省计算性能或者对于平均值d的更快计算是有利的扩展。

49、一个扩展方案是，单独计算一个、多个或所有图像通道的平均值d，并且如果一个、多个或所有平均值d达到或超过相关联的、也可能不同的阈值，则重新设定或调整摄像机的图像参数。

50、一个设计方案是，计算相应图像的至少一个图像通道的像点值的相关系数作为评估数，并且如果至少一个相关系数达到或超过至少一个阈值，则重新设定摄像机的图像参数。相关系数的计算是众所周知的，因此将不再进一步详细说明。如果计算线性相关系数作为评估数，则是特别有利的。然而，原则上，也可以计算非线性相关系数作为评估数。与上述平均值类似，还可以单独计算一个、多个或所有图像通道的相关系数，并与相应的、也可能不同的阈值进行比较。

51、一个扩展方案是，根据整个记录的图像，例如借助于关于所有像点执行差异分析来设定摄像机的图像参数。

52、一个设计方案是，仅根据所记录的图像的映射待烹饪食物的至少一个图像片段来设定摄像机的图像参数。这得到的优点是，摄像机的动态范围可以特别有效地适应待烹饪食物，并且因此可以特别可靠地监视烹饪进程，因为不考虑或者至少没那么多地考虑图像的如下部分，所述部分不显示待烹饪食物并且在烹饪过程期间不改变或不像待烹饪食物那样改变(例如，待烹饪食物载体或烹饪室的壁)。这可以例如以仅经由至少一个图像片段的像点执行差异分析的方式来实现。

53、可以预设至少一个图像片段，例如省略图像边缘——其通常显示待烹饪食物载体或烹饪室的壁——的中心区域。

54、一个扩展方案是，至少一个图像片段通过对象识别来确定。这有利地使得能够在待烹饪食物和非待烹饪食物之间实现特别好的图像分离，并且因此能够特别准确且可靠地确定烹饪进程。在该扩展方案中，例如可以在所记录的图像中识别和确定至少一个图像片段，该图像片段尽可能仅示出待烹饪食物。这种对待烹饪食物的对象识别基本上是已知的，并且因此不再进一步详细阐述。

55、一个设计方案是，至少在所记录的图像中的第一个图像(或第一图像中的一个图像)中执行对象分析，并且仅根据通过图像分析确定的图像片段来检查图像是否由于事件而改变超过第一较小预定度量或第二较大预定度量。一个扩展方案是，仅使用通过对象分析确定的图像片段来确定烹饪进程等。

56、一个设计方案是——如上文已经针对第三种情况指出的那样，所述至少一个其他动作包括执行图像分析以确定待烹饪食物是否

57、-已被移位(例如，通过在相距较远的插入层之间移动、转动和/或搅拌)，

58、-被更改(例如，已添加待烹调食物、已对待烹调食物进行浇注或覆盖等)，

59、-被移除和/或

60、-被更换。

61、由此可以有利地确定图像偏差的类型并且可以有针对性地执行至少又一个其他动作。

62、一个设计方案是，图像分析包括对事件之前记录的图像的对象识别和对事件之后记录的图像的对象识别以及对象识别结果的后续比较。在此还可以使用人工智能方法等，以获得尽可能可靠的结果。该方法得出的优点是，仅当先前利用计算技术上相对简单的手段确定了图像内容的大偏差时才执行计算技术上复杂的图像分析。

63、根据所得出的结果，所述又一个其他动作可以包括重新启动该方法等。重新启动可以包括基于图像分析的结果和在事件之后识别出的对象进行自动重新启动。

64、该任务还通过一种家用烹饪器具来解决，所述家用烹饪器具被设置为执行或运行上述方法。家用烹饪器具可以与该方法类似地构造并且具有相同的优点。

65、因此，一个设计方案是，家用烹饪器具具有可借助于门关闭的烹饪室、朝向烹饪室的至少一个摄像机、以及数据处理装置，所述数据处理装置用于评估借助于至少一个摄像机记录的位于烹饪室内的待烹饪食物的烹饪进程的图像。

66、数据处理装置可以是例如独立的数据处理装置或者可以在功能上集成到家用烹饪器具的控制单元中。