一种脏污识别方法、装置、设备和存储介质与流程

1.本技术涉及智能烹饪领域，涉及但不限于一种脏污识别方法、装置、设备和存储介质。


背景技术：

2.随着人们对使用的家用电器的智能化和便利性的要求越来越高，智能家用电器在当下也是得以发展和普及。目前，智能化的烤箱还可以带有摄像头自动帮助用户识别放入烤箱的食材种类以及判断食物的烘焙情况。
3.然而在用烤箱进行食物烘烤尤其是肉类食材烘烤的过程中，经常出现油渍汁水在腔体内飞溅乃至附着在腔体内，腔体内的脏污会影响到智能烤箱的图像识别功能以及烤箱内部烘烤状况查看的体验感。


技术实现要素：

4.有鉴于此，本技术实施例提供一种脏污识别方法、装置、设备和存储介质。
5.第一方面，本技术实施例提供一种脏污识别方法，所述方法包括：获取对烹饪设备上的烹饪组件进行采集的第一图像；利用脏污识别模型对所述第一图像进行色调分析，基于色调分析结果确定所述烹饪组件的脏污识别结果；和/ 或，利用所述脏污识别模型基于输入的所述第一图像，输出所述烹饪组件的脏污识别结果。
6.第二方面，本技术实施例提供一种脏污识别装置，包括：获取模块，用于获取对烹饪设备上的烹饪组件进行采集的第一图像；识别模块，用于利用脏污识别模型对所述第一图像进行色调分析，基于色调分析结果确定所述烹饪组件的脏污识别结果；和/或，所述脏污识别模型用于基于输入的所述第一图像，输出所述烹饪组件的脏污识别结果。
7.第三方面，本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术实施例所述脏污识别方法中的步骤。
8.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术实施例所述脏污识别方法中的步骤。
9.本技术实施例中，通过基于脏污识别模型对第一图像的色调分析结果，确定第一图像中烹饪组件的脏污识别结果，和/或，直接将第一图像输入至脏污识别模型中，由脏污识别模型输出脏污识别结果，从而可以提高烹饪组件脏污识别的灵活性、准确性和效率。
附图说明
10.图1为本技术实施例一种脏污识别方法的流程示意图；
11.图2为本技术实施例一种脏污识别装置的组成结构示意图；
12.图3为本技术实施例计算机设备的一种硬件实体示意图。
具体实施方式
13.下面结合附图和实施例对本技术的技术方案进一步详细阐述。
14.图1为本技术实施例一种脏污识别方法的流程示意图，如图1所示，所述方法包括以下步骤：
15.步骤102：获取对烹饪设备上的烹饪组件进行采集的第一图像；
16.其中，所述烹饪设备可以包括但不限于微波炉、烤箱、电蒸汽锅、空气炸锅之类的微蒸烤电器以及电饭煲、电炖锅、电压力锅等其他厨房电器。所述烹饪组件可以是所述烹饪设备的灯光组件、保护组件、烹饪腔的内壁和温度传感器组件等；所述灯光组件用于对烹饪腔内部进行照明，便于查看食物状态或便于对食物进行识别；所述保护组件可以设置于所述烹饪设备的图像采集组件的前方，用于保护所述图像采集组件；所述温度传感器组件用于监测食材的温度。
17.所述烹饪设备可以包括图像采集模块和脏污检测模块，所述图像采集模块包括图像采集组件和灯光组件，所述图像采集组件又称摄像头组件，用于拍摄烹饪腔内的图像；所述第一图像可以是通过所述图像采集组件采集的包含烹饪组件的图像；可以通过所述脏污检测模块获取所述图像采集模块采集的第一图像。
18.步骤104：利用脏污识别模型对所述第一图像进行色调分析，基于色调分析结果确定所述烹饪组件的脏污识别结果；和/或，利用所述脏污识别模型基于输入的所述第一图像，输出所述烹饪组件的脏污识别结果。
19.一方面，所述脏污识别模型可以间接地先对第一图像进行色调分析，再基于色调分析结果，得到烹饪组件的脏污识别结果；所述色调分析结果可以包括所述第一图像的亮度值和/或色调值；另一方面，在向脏污识别模型中输入第一图像后，所述脏污识别模型可以直接地输出烹饪组件的脏污识别结果。
20.本技术实施例中，通过基于脏污识别模型对第一图像的色调分析结果，确定第一图像中烹饪组件的脏污识别结果，和/或，直接将第一图像输入至脏污识别模型中，由脏污识别模型输出脏污识别结果，从而可以提高烹饪组件脏污识别的灵活性、准确性和效率。
21.在一个实施例中，所述脏污识别模型包括以下至少之一：色调分析模型和神经网络模型；所述色调分析模型用于对灯光组件进行脏污识别，所述神经网络模型用于对至少之一的所述烹饪组件进行脏污识别：烹饪腔的内壁、保护组件和所述灯光组件。
22.其中，所述脏污检测模块上还可以装载有脏污识别模型，可以通过所述脏污识别模型对所述烹饪组件进行脏污识别，所述脏污识别模型可以是对所述烹饪组件上脏污进行识别的神经网络模型或色调分析模型，所述神经网络模型可以是通过在历史时刻，对烹饪设备上的烹饪组件进行采集的第二图像和第二图像中烹饪组件的脏污识别结果，对初始神经网络模型进行训练得到的；所述色调分析模型用于确定所述第一图像的亮度值和/或色调值。
23.其中，亮度值可以表征第一图像的亮度，亮度值越大，第一图像越亮，亮度值越小，第一图像越暗，色调值可以表征第一图像的色调，色调是指图像的相对明暗程度，在彩色图像上表现为颜色。灯光组件在有脏污和无脏污的情况下，亮度值或色调值不同，在灯光组件有脏污时，第一图像的亮度值较小或者色调值偏红或者偏黄，因此，可以基于色调分析模型确定第一图像的亮度值和/ 或色调值，并与无脏污时的参考亮度值和/或参考色调值进行
对比，以确定所述灯光组件是否有脏污。
24.其中，所述初始神经网络模型可以是多标签分类的卷积神经网络、单标签分类的卷积神经网络和基于目标检测的卷积神经网络等。所述多标签分类的卷积神经网络可以对多个不同类别的烹饪组件进行脏污识别，得到每个类别的烹饪组件的脏污识别结果(例如脏污概率)；所述单标签分类的卷积神经网络可以对某一个类别的烹饪组件进行脏污识别，得到该类别的烹饪组件的脏污识别结果(例如脏污概率)；所述基于目标检测的卷积神经网络可以对一个或多个不同类别的烹饪组件进行脏污识别，得到每个类别的烹饪组件的脏污识别结果(例如脏污概率和脏污位置)；所述脏污识别结果可以包括所述烹饪组件有脏污或无脏污。
25.本技术实施例中，通过利用色调分析模型和神经网络模型中至少之一作为脏污识别模型对第一图像进行脏污识别，得到所述第一图像中内壁、保护组件和灯光组件中至少之一的烹饪组件的脏污识别结果，从而可以提高烹饪组件脏污识别的灵活性、准确性和效率。
26.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
27.步骤s202：在检测到所述烹饪设备被唤醒，或者烹饪完成的情况下，向所述烹饪设备的图像采集组件发送采集指令；
28.其中，所述烹饪设备还可以包括处理模块，所述处理模块可以发送采集指令至所述图像采集模块，由所述图像采集模块拍摄烹饪腔内的图像。
29.步骤s204：获取所述图像采集组件基于所述采集指令对所述烹饪设备上的烹饪组件进行采集的第一图像；
30.步骤s206：利用脏污识别模型对所述第一图像进行脏污识别，得到所述烹饪组件的脏污识别结果；
31.其中，脏污检测模块可以接收图像采集组件采集的第一图像，并将第一图像输入到脏污识别模型中进行烹饪组件的脏污识别，由脏污识别模型进行第一图像的特征提取和分析，得到烹饪组件的脏污识别结果。
32.步骤s208：基于所述烹饪组件的脏污识别结果，输出提示信息。
33.其中，所述烹饪设备还可以包括显示模块，所述显示模块可以包括显示屏，脏污检测模块可以将脏污识别结果传送到处理模块，所述处理模块可以基于所述脏污识别结果，生成提示信息，并可以控制所述显示屏显示所述提示信息，所述提示信息可以包括脏污识别结果和处理提示。
34.本技术实施例中，既可以在烹饪设备被唤醒时进行第一图像的采集，也可以在烹饪完成时进行第一图像的采集，提高了第一图像采集的灵活性；通过基于烹饪组件的脏污识别结果，输出提示信息，从而可以通过脏污识别检测提示用户进行脏污清理，降低脏污对于图像采集组件的图像智能识别功能的影响，并降低脏污对于烹饪腔内部状况查看的体验感的影响；提高烹饪腔内的卫生状况。
35.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
36.步骤s302：在检测到所述烹饪设备烹饪完成的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
37.步骤s304：利用脏污识别模型对所述第一图像进行脏污识别，得到所述烹饪组件
的脏污识别结果；
38.步骤s306：在所述烹饪组件的脏污识别结果为有脏污的情况下，对所述烹饪组件进行清洁。
39.其中，所述烹饪设备还可以包括清洁模块，所述脏污检测模块可以将脏污识别结果传送至所述清洁模块，所述清洁模块可以在烹饪组件有脏污的情况下，对所述烹饪组件自动进行清洁。
40.本技术实施例中，通过在烹饪完成后获取第一图像并对第一图像进行脏污识别，可以在有脏污的情况下，及时、自主地对烹饪组件进行清洁，提高了烹饪设备清洁的智能化，且保证了烹饪腔内的卫生，且由于是在烹饪完成后进行的烹饪组件的清洁，不会影响烹饪进度。
41.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
42.步骤s402：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
43.步骤s404：利用脏污识别模型对所述第一图像进行脏污识别，得到所述烹饪组件的脏污识别结果；
44.步骤s406：在所述烹饪组件的脏污识别结果为无脏污的情况下，输出第一提示信息，所述第一提示信息用于提示用户所述烹饪组件无脏污和/或提示所述用户进行对应的烹饪操作；
45.其中，所述第一提示信息可以包括脏污识别结果为无脏污和烹饪处理提示，所述脏污识别结果可以显示在所述烹饪设备的显示屏的显示界面，所述烹饪处理提示可以显示在所述显示屏的处理界面，所述处理界面可以包括多个控件，用于接收用户的触发操作(即烹饪操作)，以触发控件对应的烹饪功能。
46.步骤s408：在所述烹饪组件的脏污识别结果为无脏污的情况下，响应于所述用户的烹饪操作，进行对应的烹饪处理；
47.其中，所述烹饪操作可以是对不同烹饪功能对应的控件的触发操作，以触发对应的烹饪功能。
48.步骤s410：在所述烹饪组件的脏污识别结果为有脏污的情况下，输出第二提示信息，所述第二提示信息用于提示所述用户所述烹饪组件有脏污和/或提示所述用户进行所述烹饪组件的清洁；
49.其中，所述第二提示信息可以包括脏污识别结果为有脏污和清洁处理提示，所述脏污识别结果可以显示在所述烹饪设备的显示屏的显示界面，所述清洁处理提示可以显示在所述显示屏的处理界面，所述处理界面可以包括多个控件，用于接收用户的触发操作(即清洁操作)，以触发控件对应的清洁功能。
50.步骤s412：在所述烹饪组件的脏污识别结果为有脏污的情况下，响应于所述用户的清洁操作，对所述烹饪组件进行清洁。
51.其中，所述清洁操作可以是对不同清洁功能对应的功能对应的控件的触发操作，以触发对应的清洁功能。
52.本技术实施例中，通过在烹饪设备被唤醒的情况下，获取第一图像并对第一图像进行脏污识别，可以在有脏污的情况下，及时提示用户对烹饪组件进行清洁，保证烹饪腔内
的卫生，且由于是在烹饪开始前进行的烹饪组件的清洁，不会影响烹饪进度；通过脏污识别模型对烹饪组件进行脏污识别，提高了烹饪组件的脏污识别的效率和准确性；通过在烹饪组件无脏污的情况下，提示用户烹饪组件无脏污，和/或提示用户进行对应的烹饪操作，在烹饪组件有脏污的情况下，提示用户烹饪组件有脏污，和/或提示用户进行烹饪组件的清洁，从而可以通过脏污识别检测提示用户进行脏污清理，降低脏污对于图像采集组件的图像智能识别功能的影响，并降低脏污对于烹饪腔内部状况查看的体验感的影响；提高烹饪腔内的卫生状况。
53.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
54.步骤s502：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
55.步骤s504：对所述第一图像进行目标识别，得到所述烹饪组件的类别识别结果；
56.步骤s506：在所述类别识别结果为所述内壁或所述保护组件的情况下，确定对所述烹饪组件上脏污进行识别的神经网络模型包括多标签分类的卷积神经网络、单标签分类的卷积神经网络和基于目标检测的卷积神经网络中任一；
57.步骤s508：在所述类别识别结果为所述灯光组件的情况下，确定对所述烹饪组件上脏污进行识别的神经网络模型包括多标签分类的卷积神经网络、单标签分类的卷积神经网络和色调分析模型中任一；所述色调分析模型用于确定所述第一图像的亮度值和/或色调值；
58.步骤s510：在所述类别识别结果包括烹饪腔的内壁、保护组件和灯光组件中至少之一的情况下，基于所述多标签分类的卷积神经网络的卷积层，对所述第一图像中每一所述烹饪组件进行特征提取，得到所述烹饪组件对应的至少一个特征序列；
59.在一个实施例中，所述神经网络模型可以为一个三标签分类的卷积神经网络，其中三标签可以分别为内壁脏污、摄像头的保护组件脏污以及灯光组件脏污，当接收到采集的烹饪腔的腔体内的第一图像后，卷积神经网络通过卷积层的卷积算子进行第一图像的特征提取，再经过全连接层进行特征融合和分析，最终输出三个标签结果以及对应的概率值作为脏污识别结果。
60.步骤s512：基于所述多标签分类的卷积神经网络的全连接层，对所述第一图像中的每一所述烹饪组件对应的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率；
61.步骤s514：基于每一所述烹饪组件的脏污概率，确定对应烹饪组件的脏污识别结果。
62.其中，可以在脏污概率大于或等于50％的情况下，确定脏污识别结果为有脏污，在脏污概率小于50％的情况下，确定脏污识别结果为无脏污。
63.本技术实施例中，可以通过多标签分类的卷积神经网络，对多个烹饪组件进行脏污识别，提高了脏污识别的效率。
64.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
65.步骤s602：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
66.步骤s604：对所述第一图像进行目标识别，得到所述烹饪组件的类别识别结果；
67.在一个实施例中，所述脏污检测模块中还可以装载图像识别模型，可以通过所述图像识别模型对第一图像进行目标识别，得到类别识别结果，所述类别识别结果包括灯光组件、保护组件、烹饪腔的内壁和温度传感器组件等。
68.步骤s606：在所述类别识别结果为所述内壁或所述保护组件的情况下，确定对所述烹饪组件上脏污进行识别的神经网络模型包括多标签分类的卷积神经网络、单标签分类的卷积神经网络和基于目标检测的卷积神经网络中任一；
69.步骤s608：在所述类别识别结果为所述灯光组件的情况下，确定对所述烹饪组件上脏污进行识别的神经网络模型包括多标签分类的卷积神经网络、单标签分类的卷积神经网络和色调分析模型中任一；所述色调分析模型用于确定所述第一图像的亮度值和/或色调值；
70.步骤s610：在所述类别识别结果包括烹饪腔的内壁、保护组件和灯光组件中任一的情况下，基于任一所述烹饪组件对应的单标签分类的卷积神经网络的卷积层，对所述第一图像中的对应烹饪组件进行特征提取，得到对应烹饪组件对应的至少一个特征序列；
71.在一个实施例中，所述神经网络模型可以为三个单标签分类的卷积神经网络，其中单标签可以为内壁脏污、摄像头的保护组件脏污以及灯光组件脏污中任意一个，每一个单标签分类的卷积神经网络可以输出一个烹饪组件的脏污识别结果，当接收到采集的烹饪腔的腔体内的第一图像后，每一个卷积神经网络通过卷积层的卷积算子进行第一图像的特征提取，再经过全连接层进行特征融合和分析，最终输出对应标签结果以及对应的概率值作为脏污识别结果。
72.步骤s612：基于任一所述烹饪组件对应的单标签分类的卷积神经网络的全连接层，对所述烹饪组件对应的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率；
73.步骤s614：基于任一所述烹饪组件的脏污概率，确定对应烹饪组件的脏污识别结果。
74.本技术实施例中，通过对不同的烹饪组件设置不同的神经网络模型，提高了烹饪组件的脏污识别的针对性和准确度；可以通过单标签分类的卷积神经网络，对任一烹饪组件进行脏污识别，从而能够更灵活、更便捷地进行脏污识别。
75.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
76.步骤s702：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
77.步骤s704：对所述第一图像进行目标识别，得到所述烹饪组件的类别识别结果；
78.步骤s706：在所述类别识别结果为所述内壁或所述保护组件的情况下，确定对所述烹饪组件上脏污进行识别的神经网络模型包括多标签分类的卷积神经网络、单标签分类的卷积神经网络和基于目标检测的卷积神经网络中任一；
79.步骤s708：在所述类别识别结果为所述灯光组件的情况下，确定对所述烹饪组件上脏污进行识别的神经网络模型包括多标签分类的卷积神经网络、单标签分类的卷积神经网络和色调分析模型中任一；所述色调分析模型用于确定所述第一图像的亮度值和/或色调值；
80.步骤s710：在所述类别识别结果包括烹饪腔的内壁或保护组件的情况下，基于任
一所述烹饪组件对应的基于目标检测的卷积神经网络的卷积层，对所述第一图像中的对应烹饪组件进行特征提取，得到对应烹饪组件对应的至少一个特征序列；
81.步骤s712：基于所述基于目标检测的卷积神经网络的全连接层，对所述烹饪组件对应的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率和脏污位置；
82.步骤s714：基于任一所述烹饪组件的脏污概率和脏污位置，确定对应烹饪组件的脏污识别结果；
83.在一个实施例中，所述神经网络模型可以由一个基于目标检测的卷积神经网络和一个色调分析模型组成，其中基于目标检测的卷积神经网络可以输出内壁或保护组件的脏污识别结果，当接收到采集的烹饪腔的腔体内的第一图像后，每一个卷积神经网络通过卷积层的卷积算子进行第一图像的特征提取，再经过全连接层进行特征融合和分析，最终输出对应标签结果以及对应的概率值和脏污位置作为脏污识别结果。
84.步骤s716：在所述类别识别结果包括灯光组件的情况下，基于所述色调分析模型，将所述第一图像由rgb格式转化为yiq格式；
85.其中，rgb格式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b) 三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb 即是代表红、绿、蓝三个通道的颜色。yiq是ntsc(national television standardscommittee，国家电视系统标准)；y是提供黑白电视及彩色电视的亮度信号 (luminance)，即亮度(brightness)，i代表in-phase，色彩从橙色到青色，q 代表quadrature-phase，色彩从紫色到黄绿色。
86.步骤s718：计算所述yiq格式的第一图像的亮度值和/或色调值；
87.步骤s720：将所述yiq格式的第一图像的亮度值和/或色调值与参考亮度值和/或参考色调值进行对比，得到所述灯光组件的脏污识别结果；所述参考亮度值和/或参考色调值为无脏污的图像的亮度值和/或色调值。
88.本技术实施例中，可以基于目标检测的卷积神经网络对烹饪腔的内壁或保护组件进行脏污识别，并基于色调分析模型对灯光组件进行脏污识别，提高了脏污识别的灵活性。
89.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
90.步骤s802：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
91.步骤s804：基于所述多标签分类的卷积神经网络的卷积层，对所述第一图像进行特征提取，得到所述第一图像对应的至少一个特征序列；
92.步骤s806：在所述烹饪组件包括所述内壁、所述保护组件和所述灯光组件中至少之一的情况下，基于所述多标签分类的卷积神经网络的全连接层，对所述第一图像对应的至少一个特征序列进行特征融合和分析，至少得到所述内壁、所述保护组件和所述灯光组件中每一烹饪组件的脏污概率；
93.在一个实施例中，所述神经网络模型可以为一个三标签分类的卷积神经网络，其中三标签可以分别为内壁脏污、摄像头的保护组件脏污以及灯光组件脏污，当接收到采集的烹饪腔的腔体内的第一图像后，卷积神经网络通过卷积层的卷积算子进行第一图像的特征提取，再经过全连接层进行特征融合和分析，最终输出三个标签结果以及对应的概率值作为脏污识别结果。
94.步骤s808：基于每一所述烹饪组件的脏污概率，确定对应烹饪组件的脏污识别结果。
95.其中，可以在脏污概率大于或等于50％的情况下，确定脏污识别结果为有脏污，在脏污概率小于50％的情况下，确定脏污识别结果为无脏污。
96.步骤s810：在所述烹饪组件的脏污识别结果为无脏污的情况下，进行烹饪处理。
97.本技术实施例中，可以通过多标签分类的卷积神经网络，对多个烹饪组件进行脏污识别，提高了脏污识别的效率；通过在无脏污的情况下，自动进行烹饪处理，可以提升烹饪的智能性，进而提升用户的烹饪体验。
98.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
99.步骤s902：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
100.步骤s904：在所述烹饪组件包括所述内壁、所述保护组件和所述灯光组件中任一的情况下，基于任一所述烹饪组件对应的单标签分类的卷积神经网络的卷积层，对所述第一图像进行特征提取，得到所述第一图像对应的至少一个特征序列；
101.步骤s906：基于任一所述烹饪组件对应的单标签分类的卷积神经网络的全连接层，对所述第一图像对应的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率；
102.在一个实施例中，所述神经网络模型可以为三个单标签分类的卷积神经网络，其中单标签可以为内壁脏污、摄像头的保护组件脏污以及灯光组件脏污中任意一个，每一个单标签分类的卷积神经网络可以输出一个烹饪组件的脏污识别结果，当接收到采集的烹饪腔的腔体内的第一图像后，每一个卷积神经网络通过卷积层的卷积算子进行第一图像的特征提取，再经过全连接层进行特征融合和分析，最终输出对应标签结果以及对应的概率值作为脏污识别结果。
103.步骤s908：基于任一所述烹饪组件的脏污概率，确定对应烹饪组件的脏污识别结果。
104.本技术实施例中，可以通过单标签分类的卷积神经网络，对任一烹饪组件进行脏污识别，从而能够更灵活、更便捷地进行脏污识别。
105.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
106.步骤s1002：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
107.步骤s1004：在所述烹饪组件包括所述内壁和/或所述保护组件的情况下，基于任一所述烹饪组件对应的目标检测的卷积神经网络的卷积层，对所述第一图像进行特征提取，得到所述第一图像对应的至少一个特征序列；
108.步骤s1006：基于任一所述烹饪组件对应的所述基于目标检测的卷积神经网络的全连接层，对所述第一图像对应的至少一个特征序列进行特征融合和分析，得到所述内壁和/或所述保护组件的脏污概率和脏污位置；
109.步骤s1008：基于所述内壁和/或所述保护组件的脏污概率和脏污位置，确定所述内壁和/或所述保护组件的脏污识别结果；
110.在一个实施例中，所述神经网络模型可以由一个基于目标检测的卷积神经网络和
一个色调分析模型组成，其中基于目标检测的卷积神经网络可以输出内壁或保护组件的脏污识别结果，当接收到采集的烹饪腔的腔体内的第一图像后，每一个卷积神经网络通过卷积层的卷积算子进行第一图像的特征提取，再经过全连接层进行特征融合和分析，最终输出对应标签结果以及对应的概率值和脏污位置作为脏污识别结果。
111.本技术实施例中，可以基于目标检测的卷积神经网络对烹饪腔的内壁或保护组件进行脏污识别，提高了脏污识别的灵活性。
112.本技术实施例还提供一种脏污识别方法，所述方法包括以下步骤：
113.步骤s1102：在检测到所述烹饪设备被唤醒的情况下，获取对所述烹饪设备上的烹饪组件进行采集的第一图像；
114.步骤s1104：在所述烹饪组件包括灯光组件的情况下，基于所述色调分析模型，将所述第一图像由rgb格式转化为yiq格式；
115.步骤s1106：计算所述yiq格式的第一图像的亮度值和/或色调值；
116.步骤s1108：将所述yiq格式的第一图像的亮度值和/或色调值与参考亮度值和/或参考色调值进行对比，得到所述灯光组件的脏污识别结果；所述参考亮度值和/或参考色调值为无脏污的图像的亮度值和/或色调值。
117.本技术实施例中，可以基于目标检测的卷积神经网络对烹饪腔的内壁或保护组件进行脏污识别，并基于色调分析模型对灯光组件进行脏污识别，提高了脏污识别的灵活性。
118.随着人们对使用的家用电器的智能化和便利性的要求越来越高，智能家用电器在当下也是得以发展和普及。目前，智能化的烤箱还可以带有摄像头自动帮用户识别放入烤箱的食材种类以及判断食物的烘焙情况。然而在用烤箱进行食物烘烤尤其是肉类食材的过程中，经常出现油渍汁水在腔体内飞溅乃至附着在腔体内摄像头处以及灯板处，通常用户在清洁的过程中也往往更多地关注腔体内壁的油污情况，而忽略摄像头特别是灯板的脏污情况，但这两处的脏污也会容易影响到智能烤箱的图像识别功能以及烤箱内部烘烤状况查看的体验感。
119.相关技术中，带摄像头装置结构的智能烹饪专注于摄像头的使用功能拓展，利用摄像头来实现食材种类识别以及熟度识别、腔体内实时监控等功能，对于摄像头处的脏污情况检测常用的方法则是采集预设图像与当前拍到的图像进行图像质量的比对，从而确定摄像装置的脏污情况。但相关技术中的方案也往往忽略了对于灯光组件的脏污情况的判断，尤其随着时间的推移油污日益坚固更难清理，不仅对智能摄像头的使用有影响，也不利于腔体内的卫生条件，给用户带来了不便。
120.相关技术中，大部分都是专注于检测腔体内部或者摄像头组件的脏污情况，而忽略了腔体内灯光组件的脏污情况对摄像头使用的干扰，并且前者的方法对后者的情况并不适用。
121.本技术实施例提供一种烹饪设备腔体内脏污识别的方法，在烹饪开始前自动开启脏污检测可保证摄像头智能识别功能的正常使用以及摄像头观测腔体内情况的观感；在烹饪结束后检测亦可及时提醒用户进行清洁，保证腔体内的卫生。
122.本技术实施例提供一种烹饪设备的腔体内部的脏污识别方法，所述烹饪设备包括图像采集模块、脏污检测模块以及处理模块。其中：
123.图像采集模块：包括摄像头组件以及灯光组件，用于拍摄采集腔体内的图像；
124.脏污检测模块：装载有脏污检测模型(又称脏污识别模型)，用于接收并检测采集的腔体内的图像，并将检测的脏污检测结果传输至所述处理模块，其中脏污检测结果包括腔体内壁、摄像头处以及灯板组件处是否有脏污；
125.处理模块：与所述图像采集模块与脏污检测模块相连接，发送图像采集指令至图像采集模块，接收脏污检测模块发送的脏污检测结果，并给用户反馈相应的处理提示。
126.显示模块：包括显示屏等，与所述处理模块进行连接，用于显示脏污识别结果(即脏污检测结果)以及操作界面。
127.所述脏污识别方法，包括：
128.步骤s1202：图像采集模块通过摄像头组件采集腔体内的图像；
129.其中，所述处理模块可以发送拍摄指令(即采集指令)至图像采集模块，由所述图像采集模块获取腔体内的图像；
130.步骤s1204：脏污检测模块接收所述腔体内的图像，并将采集的腔体内的图像输入到脏污检测模型进行特征提取和分析，从而判断是否有脏污，以及脏污的来源(即是在摄像头处有油污，或者是灯板组件上附着油渍，也可能是腔体内壁上油垢)。所述脏污检测模块根据获取的腔体内的图像进行判断，得出腔体内壁脏污、摄像头脏污以及灯板组件脏污等情况是否存在的结论(即脏污识别结果)。
131.步骤s1206：脏污检测模块将脏污检测结果传送到处理模块，并将脏污检测结果和处理界面在显示屏上显示，若检测到无脏污，则提醒用户进行下一步的菜谱操作；若检测到有脏污出现，则将脏污来源显示并提醒用户进行腔体清洁。
132.其中，所述处理模块接收脏污检测结果并在所述显示模块显示反馈用户相应的处理提示，若有脏污情况出现则提醒用户进行清洁；若无脏污情况则根据用户选择进行下一步操作。
133.在一些实施例中，所述脏污检测模型可以是神经网络算法，也可以是神经网络算法搭配传统数字图像处理方法(即色调分析模型)。
134.本技术实施例提供一种全面的腔体内部脏污识别方法，可以全面地考虑到脏污出现的情况包括常见的腔体内壁的脏污、摄像头处脏污以及灯光组件处的脏污，给用户准确的清洁提示并保证在烹饪过程中摄像头功能的正常使用。
135.本技术实施例提供一种腔体内部脏污识别方法，所述方法包括以下步骤：
136.步骤s1302：图像采集模块通过摄像头采集腔体内图像。
137.其中，在一个实施例中，用户唤醒烹饪设备后，处理模块可自动发起拍摄指令至图像采集模块对腔体内部进行图像拍照，在烹饪开启前即对腔体内部脏污分析，给用户发出清洁提醒，也可以保证后面在烹饪的过程中摄像头识别功能的正常使用。
138.在另一个实施例中，用户烹饪完成后，处理模块亦可以自动发起拍摄指令至图像采集模块进行图像采集以及脏污分析，及时清理油垢保证腔体内的卫生。
139.步骤s1304：脏污检测模块将采集的腔体内的图像输入到检测模型进行特征提取和分析，从而判断是否有脏污，以及脏污的来源(即可能是在摄像头处有油污，或者是在灯板组件上附着油渍，也可能是腔体内壁上油垢)。
140.在一个实施例中，所述脏污检测模块的脏污检测模型可以为一个三标签分类的卷积神经网络，其中三标签分别为内壁脏污、摄像头脏污以及灯板组件(又称灯光组件)脏污，
当接收到采集的腔体内的图像后，脏污检测模型通过卷积算子(卷积层)进行图像的特征提取，再经过全连接层进行特征融合和分析，最终输出三个标签结果以及对应的概率值作为脏污检测的结果。
141.在另一个实施例中，所述脏污检测模块的脏污检测模型可以为三个模型的组合，其中一个模型是一个单标签分类的卷积神经网络，用于分析腔体内壁是否脏污；另一个模型是基于目标检测的卷积神经网络，用于定位摄像头组件的脏污位置从而分析摄像头组件的脏污位置；第三个模型则是基于色调分析的模型，由于灯光组件被油污附着会导致拍摄到的图像整体亮度较暗或者出现色调偏黄偏红的情况，可以通过将rgb图像转化为yiq图像，对图像的整体亮度以及色调值进行分析计算，并与标准的未污染前的图像亮度与色调值进行比对，从而判断灯光组件是否有油污附着。所述图像被分别输入这三个模型，结合三个模型的脏污识别结果来进行脏污分析。
142.在又一实施例中，用于检测腔体内壁以及摄像头组件脏污情况的模型可以同是上述基于单标签分类的卷积神经网络或者是基于脏污目标检测的卷积神经网络，也可是这两种卷积神经网络的组合搭配。而灯光组件的脏污检测模型也可以是基于单标签分类的卷积神经网络模型，也可以是上述的色调分析方法进行分析。
143.步骤s1306：脏污检测模块将脏污检测结果传送到处理模块，并将脏污检测结果和处理界面在显示屏上显示，若检测到无脏污，则提醒用户进行下一步的菜谱操作；若检测到有脏污出现，则将脏污来源显示并提醒用户进行腔体清洁。
144.在一实施例中，所述处理模块接收到所述脏污检测结果，可发送至显示模块对结果进行展示，若有脏污情况出现则提醒用户进行清洁，或者若所述烹饪设备配有清洁模块可自动开启清洁模式；若无脏污情况则根据用户选择进行下一步操作。
145.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的脏污识别方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、台式机、个人数字助理等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory， rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
146.基于方法的实施例，本技术实施例提供一种脏污识别装置，该装置包括所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu，centralprocessing unit)、微处理器(mpu，microprocessor unit)、数字信号处理器(dsp， digital signal processing)或现场可编程门阵列(fpga，field programmable gatearray)等。
147.图2为本技术实施例一种脏污识别装置的组成结构示意图，如图2所示，所述装置200包括获取模块201和识别模块202，其中：
148.获取模块201，用于获取对烹饪设备上的烹饪组件进行采集的第一图像；
149.识别模块202，用于利用脏污识别模型对所述第一图像进行色调分析，基于色调分析结果确定所述烹饪组件的脏污识别结果；和/或，利用所述脏污识别模型基于输入的所述
第一图像，输出所述烹饪组件的脏污识别结果。
150.在一些实施例中，所述脏污识别模型包括以下至少之一：色调分析模型和神经网络模型；所述色调分析模型用于对灯光组件进行脏污识别，所述神经网络模型用于对至少之一的所述烹饪组件进行脏污识别：烹饪腔的内壁、保护组件和所述灯光组件。
151.在一些实施例中，所述脏污识别结果包括无脏污和有脏污；所述装置还包括：第一输出模块，用于在所述烹饪组件的脏污识别结果为无脏污的情况下，输出第一提示信息，所述第一提示信息用于提示用户所述烹饪组件无脏污和/ 或提示所述用户进行对应的烹饪操作；第二输出模块，用于在所述烹饪组件的脏污识别结果为有脏污的情况下，输出第二提示信息，所述第二提示信息用于提示所述用户所述烹饪组件有脏污和/或提示所述用户进行所述烹饪组件的清洁。
152.在一些实施例中，所述脏污识别结果包括无脏污和有脏污；所述装置还包括：清洁模块，用于在所述烹饪组件的脏污识别结果为有脏污的情况下，对所述烹饪组件进行清洁；烹饪模块，用于在所述烹饪组件的脏污识别结果为无脏污的情况下，进行烹饪处理。
153.在一些实施例中，所述获取模块201，包括：发送子模块，用于在检测到所述烹饪设备被唤醒，或者烹饪完成的情况下，向所述烹饪设备的图像采集组件发送采集指令；获取子模块，用于获取所述图像采集组件基于所述采集指令对所述烹饪设备上的烹饪组件进行采集的第一图像。
154.在一些实施例中，所述神经网络模型包括多标签分类的卷积神经网络；所述识别模块202，包括：第一提取子模块，用于在所述烹饪组件包括所述内壁、所述保护组件和所述灯光组件中至少之一的情况下，基于所述多标签分类的卷积神经网络的卷积层，对所述第一图像进行特征提取，得到所述第一图像对应的至少一个特征序列；第一分析子模块，用于基于所述多标签分类的卷积神经网络的全连接层，对所述第一图像中的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率；第一确定子模块，用于基于每一所述烹饪组件的脏污概率，确定对应烹饪组件的脏污识别结果。
155.在一些实施例中，所述神经网络模型包括单标签分类的卷积神经网络；所述识别模块202，包括：第二提取子模块，用于在所述烹饪组件包括所述内壁、所述保护组件和所述灯光组件中任一的情况下，基于任一所述烹饪组件对应的单标签分类的卷积神经网络的卷积层，对所述第一图像进行特征提取，得到第一图像对应的至少一个特征序列；第二分析子模块，用于基于任一所述烹饪组件对应的单标签分类的卷积神经网络的全连接层，对所述第一图像对应的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率；第二确定子模块，用于基于任一所述烹饪组件的脏污概率，确定对应烹饪组件的脏污识别结果。
156.在一些实施例中，所述神经网络模型包括基于目标检测的卷积神经网络；所述识别模块202，包括：第三提取子模块，用于在所述烹饪组件包括所述内壁和/或所述保护组件的情况下，基于任一所述烹饪组件对应的基于目标检测的卷积神经网络的卷积层，对所述第一图像进行特征提取，得到所述第一图像对应的至少一个特征序列；第三分析子模块，用于基于任一所述烹饪组件对应的所述基于目标检测的卷积神经网络的全连接层，对所述第一图像的至少一个特征序列进行特征融合和分析，得到对应烹饪组件的脏污概率和脏污位置；第三确定子模块，用于基于任一所述烹饪组件的脏污概率和脏污位置，确定对应烹饪组
件的脏污识别结果。
157.在一些实施例中，所述色调分析结果包括所述第一图像的亮度值和/或色调值；所述识别模块202，包括：转化子模块，用于在所述烹饪组件包括灯光组件的情况下，基于所述色调分析模型，将所述第一图像由rgb格式转化为yiq 格式；计算子模块，用于计算所述yiq格式的第一图像的亮度值和/或色调值；对比子模块，用于将所述yiq格式的第一图像的亮度值和/或色调值与参考亮度值和/或参考色调值进行对比，得到所述灯光组件的脏污识别结果；所述参考亮度值和/或参考色调值为无脏污的图像的亮度值和/或色调值。
158.以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
159.对应地，本技术实施例提供一种计算机设备，图3为本技术实施例计算机设备的一种硬件实体示意图，如图3所示，该设备300的硬件实体包括：包括存储器301和处理器302，所述存储器301存储有可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现上述实施例中脏污识别方法中的步骤。
160.存储器301配置为存储由处理器302可执行的指令和应用，还可以缓存待处理器302以及设备300中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
161.对应地，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中脏污识别方法中的步骤。
162.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同设备实施例相似的有益效果。对于本技术存储介质和方法实施例中未披露的技术细节，请参照本技术设备实施例的描述而理解。
163.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
164.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
165.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部
分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
166.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
167.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
168.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
169.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。