洗碗机及其控制方法、装置和系统与流程

本发明涉及家电控制领域，具体而言，涉及一种洗碗机及其控制方法、装置和系统。

背景技术：

随着洗碗机的发展和功能的完善，越来越多的家庭选择使用洗碗机来承担餐具的清洁工作。现有技术中洗碗机的控制部件通常包括：控制器、进水阀、泵。控制器决定洗碗机运转过程中，每个运行阶段持续运行的事件，进水阀与家庭供水系统连接，为洗碗机提供水，泵由电机驱动，在压水的过程中，泵把水推进到喷管里，在排水过程中，泵把水引到排水管，产生高压水柱喷向洗碗机中的餐具，来冲洗餐具上的物质。

上述洗碗机即为常见的喷淋式洗碗机，主要工作原理是通过电机驱动洗涤泵使洗涤液在一定压力下从喷臂喷出，形成密级的热水流，喷臂由于受到喷水的发作用而旋转，使洗涤液来回的喷射到各个餐具上，对餐具进行喷射和淋刷。

现有的洗碗机的清洁方式还包括超声波式洗碗机，其主要的工作原理是当超声波经过液体介质时，将以极高的频率压迫液体介质振动，使液体分子产生正负交变的冲击波。当声强达到一定数值时，液体中急剧生长微小空化气泡并瞬时闭合，产生强烈的微爆炸和冲击波使餐具表面的污渍被破坏，并从餐具表面脱落。

由此可见，现有技术中提出了多种洗碗机的清洁方式，但由于餐具在洗碗机中的摆放方式不当、用户未将餐具上较大的残留物清楚、或残留物粘性较大等原因，导致洗碗机清洁之后餐具上仍然存在残留。因此在洗碗机清洗完餐具之后，还需要人为的查看餐具是否都清洗干净。

针对现有技术中洗碗机中餐具的食物残留需要人工辨认的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种洗碗机及其控制方法、装置和系统，以至少解决现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题。

根据本发明实施例的一个方面，提供了一种洗碗机的控制方法，包括：获取洗碗机中对象的图像信息；对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起；在对象的表面存在凸起的情况下，判断凸起是否为残留物。

进一步地，从对象的图像信息中提取对象的第一特征信息；基于凸起检测模型对对象表面的第一特征信息进行分析，确定对象的表面是否存在凸起。

进一步地，根据每个像素的深度信息得到对象表面的深度梯度分布；基于凸起检测模型对对象表面的深度梯度分布进行分析，确定对象的表面是否存在凸起，其中，凸起检测模型使用多组第一数据通过机器学习训练得到，其中，多组第一数据中的每组第一数据包括：深度图像信息的深度梯度分布和深度图像信息中凸起的边缘像素。

进一步地，在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下，确定对象的表面存在凸起；在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下，确定对象表面不存在凸起。

进一步地，从对象的图像信息中提取对象的第二特征信息；基于对象的第二特征信息，确定凸起是否为残留物。

进一步地，获取匹配数据库，其中，匹配数据库包括多个残留物的边缘曲线；将对象的边缘曲线与匹配数据库中残留物的边缘曲线进行匹配，并根据匹配结果确定凸起是否为残留物。

进一步地，基于边缘检测模型对图像信息进行识别，以确定凸起是否为残留物，其中，边缘检测模型使用多组第二数据通过机器学习训练得到，其中，多组第二数据中的每组第二数据包括：凸起的边缘曲线和用于指示凸起是否为残留物的标签。

根据本发明实施例的另一方面，还提供了一种洗碗机的控制装置，包括：获取模块，用于获取洗碗机中对象的图像信息；确定模块，用于对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起；判断模块，用于在对象的表面存在凸起的情况下，判断凸起是否为残留物。

进一步地，确定模块包括：提取子模块，用于从对象的图像信息中提取对象的第一特征信息；确定子模块，用于基于凸起检测模型对对象表面的第一特征信息进行分析，确定对象的表面是否存在凸起。

进一步地，图像信息为深度图像信息，第一特征信息为每个像素的深度信息，确定子模块包括：获取单元，用于根据每个像素的深度信息得到对象表面的深度梯度分布；分析单元，用于基于凸起检测模型对对象表面的深度梯度分布进行分析，确定对象的表面是否存在凸起，其中，凸起检测模型使用多组第一数据通过机器学习训练得到，其中，多组第一数据中的每组第一数据包括：深度梯度分布和深度梯度分布中的凸起的边缘像素。

进一步地，分析单元包括：第一确定子单元，用于在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下，确定对象的表面存在凸起；第二确定子单元，用于在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下，确定对象表面不存在凸起。

根据本发明实施例的另一方面，还提供了一种洗碗机的控制系统，包括：图像采集装置，用于采集洗碗机中对象的图像信息；图像识别装置，用于对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起；控制器，在对象的表面存在凸起的情况下，判断凸起是否为残留物。

根据本发明实施例的另一方面，还提供了一种洗碗机，包括上述洗碗机的控制系统。

根据本发明实施例的另一方面，还提供了一种存储介质，其特征在于，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一种洗碗机的控制方法。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一种洗碗机的控制方法

在本发明实施例中，获取洗碗机中对象的图像信息，对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起，在对象的表面存在凸起的情况下，判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析，来识别对象表面的凸起，并通过对对象表面的凸起进行判别，来识别对象表面是否存在残留物，从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题，为无人参与的全自动洗碗机提供了实现手段。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本申请实施例的洗碗机的控制方法的流程图；

图2是根据本申请实施例的一种洗碗机的控制装置的示意图；以及

图3是根据本申请实施例的一种洗碗机的控制装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种洗碗机的控制方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的洗碗机的控制方法的流程图，如图1所示，该方法包括如下步骤：

步骤s102，获取洗碗机中对象的图像信息。

具体的，上述洗碗机中的对象可以是洗碗机中的餐具。上述步骤可以是通过洗碗机中的图像采集装置获取餐具的图像信息。

由于残留物会出现在餐具表面的任意部位，因此为了达到检测对象表面的残留物的目的，可以获取对象的多面图，以能够对餐具的每一面都进行检测。

步骤s104，对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起。

残留在对象表面的残留物会引起对象表面的凸起，因此可以对图像信息进行识别，并根据识别结果确定对象表面是否存在凸起。

具体的，可以基于检测模型对图像信息进行识别，识别出对象表面凸起的边缘线像素，在未识别出凸起的边缘像素的情况下，确定对象表面不存在凸起。

步骤s106，在对象的表面存在凸起的情况下，判断凸起是否为残留物。

在对象表面存在凸起的情况下，存在两种情况，一种情况是该凸起为对象本身的凸起，另一种情况即为该凸起为对象表面的残留物。

在确定对象表面存在凸起的情况下，可以采集凸起的特征信息，该特征信息可以包括：边缘信息、颜色信息等，通过对凸起的特征信息进行识别，来确定凸起是否为残留物。

由上可知，本申请上述实施例获取洗碗机中对象的图像信息，对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起，在对象的表面存在凸起的情况下，判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析，来识别对象表面的凸起，并通过对对象表面的凸起进行判别，来识别对象表面是否存在残留物，从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题，为无人参与的全自动洗碗机提供了实现手段。

作为一种可选的实施例，对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起，包括：

步骤s1041，从对象的图像信息中提取对象的第一特征信息。

具体的，上述第一特征信息可以是从图像信息中提取的灰度信息、纹理信息、颜色信息等，能够用于区别对象凸起和非凸起的特征信息均能够作为上述第一特征信息。

步骤s1043，基于凸起检测模型对对象表面的第一特征信息进行分析，确定对象的表面是否存在凸起。

具体的，上述凸起检测模型用于根据第一特征信息对对象的表面是否存在凸起进行预测。

作为一种可选的实施例，图像信息为深度图像信息，第一特征信息为每个像素的深度信息，基于凸起检测模型对对象表面的第一特征信息进行分析，确定对象的表面是否存在凸起，包括：：

步骤s10431，根据每个像素的深度信息得到对象表面的深度梯度分布。

具体的，对象的深度图像信息可以通过微软kinect传感器采集获得，深度图像信息的灰度值用于表征场景中像素点距离图像采集装置的距离，因此上述深度信息可以通过从深度图像信息中提取的每个像素的灰度值得到。深度梯度分布可以通过每个像素与相邻像素的梯度构成。

步骤s10433，基于凸起检测模型对对象表面的深度梯度分布进行分析，确定对象的表面是否存在凸起，其中，凸起检测模型使用多组第一数据通过机器学习训练得到，其中，多组第一数据中的每组第一数据包括：深度图像信息的深度梯度分布和深度图像信息中凸起的边缘像素。

需要说明的是，对于对象表面的凸起的边缘像素，其深度梯度值较大，因此可以根据这一特征构建凸起检测模型，使用具有不同凸起的深度图像的深度梯度分布以及不具有凸起的深度梯度分布对初始空模型进行训练，得到能够正确预测凸起边缘像素的凸起检测模型。

作为一种可选的实施例，基于凸起检测模型对对象表面的深度梯度分布进行分析，确定对象的表面是否存在凸起，包括：

步骤s10431，在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下，确定对象的表面存在凸起。

步骤s10433，在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下，确定对象表面不存在凸起。

在上述步骤中，根据凸起输出的结果判断对象表面是否存在凸起，当对象表面存在凸起时，凸起检测模型会输出凸起的边缘像素，当对象表面不存在凸起时，凸起检测模型会输出对象表面不存在凸起的指示信息。

作为一种可选的实施例，在对象的表面存在凸起的情况下，判断凸起是否为残留物，包括：

步骤s1081，从对象的图像信息中提取对象的第二特征信息。

具体的，上述特征信息可以是凸起的边缘曲线。

在一种可选的实施例中，根据对象的图像信息，基于凸起检测模型检测得到凸起的边缘像素之后，将凸起的边缘像素连接，构成对象的凸起的边缘曲线。

在另一种可选的实施例中，在确定对象表面存在凸起的情况下，可以通过sobel算子检测凸起的边缘。

步骤s1083，基于对象的第二特征信息，确定对象的表面是否存在凸起。

作为一种可选的实施例，第二特征信息包括凸起的边缘曲线，基于对象的第二特征信息，确定凸起是否为残留物，包括：

步骤s1061，获取匹配数据库，其中，匹配数据库包括多个残留物的边缘曲线。

具体的，上述匹配数据库根据多种残留物的边缘曲线，可以通过收集多种附着在餐具上的残留物的边缘曲线来得到匹配数据库。

步骤s1063，将对象的边缘曲线与匹配数据库中残留物的边缘曲线进行匹配，并根据匹配结果确定凸起是否为残留物。

在一种可选的实施例中，将对象的边缘曲线与匹配数据库中记录的残留物的边缘曲线进行匹配，在匹配成功的情况下确定对象表面的凸起为残留物，在匹配失败的情况下，确定对象表面的凸起不为残留物。

作为一种可选的实施例，第二特征信息包括凸起的边缘曲线，基于对象的第二特征信息，确定凸起是否为残留物，包括：

基于边缘检测模型对图像信息进行识别，以确定凸起是否为残留物，其中，边缘检测模型使用多组第二数据通过机器学习训练得到，其中，多组第二数据中的每组第二数据包括：凸起的边缘曲线和用于指示凸起是否为残留物的标签。

具体的，上述边缘检测模型用于根据凸起的边缘曲线预测凸起是否为残留物，由于残留物的边缘曲线和对象自身凸起的边缘曲线在折线出现的次数和折线的角度上都具有差异，因此可以通过训练边缘检测模型，根据凸起的边缘曲线对凸起是否为残留物进行判断。

通过边缘检测模型使用各种不同类型的凸起的边缘曲线作为第二数据进行训练，并通过测试数据集对训练得到的模型进行测试，在测试结果与测试数据中的边缘曲线对应的类型相匹配的情况下，确定边缘检测模型的准确度较高。

在一种可选的实施例中，将对象的凸起的边缘曲线作为特征数据输出至边缘检测模型，边缘检测模型根据凸起的边缘曲线，输出凸起是否为残留物的预测结果。

作为一种可选的实施例中，在确定对象的凸起为残留物的情况下，还可以控制洗碗机冲洗对象，以对对象的残留物进行清洁。在清洁之后再次对对象是否存在凸起进行检测，在检测到对象仍然存在凸起的情况下，发出告警信息，以提示用户查看对象。

实施例2

根据本发明实施例，提供了一种洗碗机的控制装置，图2是根据本申请实施例的一种洗碗机的控制装置的示意图，结合图2所示，该装置包括：

获取模块20，用于获取洗碗机中对象的图像信息。

确定模块22，用于对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起。

判断模块24，用于在对象的表面存在凸起的情况下，判断凸起是否为残留物。

由上可知，本申请上述实施例通过获取模块获取洗碗机中对象的图像信息，通过确定模块对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起，在对象的表面存在凸起的情况下，通过判断模块判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析，来识别对象表面的凸起，并通过对对象表面的凸起进行判别，来识别对象表面是否存在残留物，从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题，为无人参与的全自动洗碗机提供了实现手段。

作为一种可选的实施例，确定模块包括：

提取子模块，用于从对象的图像信息中提取对象的第一特征信息。

确定子模块，用于基于凸起检测模型对对象表面的第一特征信息进行分析，确定对象的表面是否存在凸起。

作为一种可选的实施例，图像信息为深度图像信息，第一特征信息为每个像素的深度信息，确定子模块包括：

获取单元，用于根据每个像素的深度信息得到对象表面的深度梯度分布。

分析单元，用于基于凸起检测模型对对象表面的深度梯度分布进行分析，确定对象的表面是否存在凸起，其中，凸起检测模型使用多组第一数据通过机器学习训练得到，其中，多组第一数据中的每组第一数据包括：深度梯度分布和深度梯度分布中的凸起的边缘像素。

作为一种可选的实施例，分析单元包括：

第一确定子单元，用于在凸起检测模型根据对象表面的深度梯度分布输出凸起的边缘像素的情况下，确定对象的表面存在凸起。

第二确定子单元，用于在凸起检测模型根据对象表面的深度梯度分布确定对象表面的图像信息中不存在凸起的边缘像素的情况下，确定对象表面不存在凸起。

实施例3

根据本发明实施例，提供了一种洗碗机的控制系统，图3是根据本申请实施例的一种洗碗机的控制装置的示意图，结合图3所示，该系统包括：

图像采集装置30，用于采集洗碗机中对象的图像信息。

图像识别装置32，用于对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起。

控制器34，在对象的表面存在凸起的情况下，判断凸起是否为残留物。

由上可知，本申请上述实施例通过图像采集装置采集洗碗机中对象的图像信息，通过图像识别装置对图像信息进行识别，并依据识别结果确定对象的表面是否存在凸起，在对象的表面存在凸起的情况下，通过控制器判断凸起是否为残留物。上述方案通过获取对洗碗机中对象的图像信息进行分析，来识别对象表面的凸起，并通过对对象表面的凸起进行判别，来识别对象表面是否存在残留物，从而解决了现有技术中洗碗机中餐具的食物残留需要人工辨认的技术问题，为无人参与的全自动洗碗机提供了实现手段。

实施例4

根据本发明实施例，提供了一种洗碗机，包括实施例3中的洗碗机的控制系统。

实施例5

根据本发明实施例，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行实施例1中的洗碗机的控制方法。

实施例6

根据本发明实施例，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行实施例1中的洗碗机的控制方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。