一种用于视觉识别的智能洗碗机及其控制方法与流程

本发明涉及一种用于视觉识别的智能洗碗机及其控制方法，属于机械设备技术领域。

背景技术：

传统的洗碗方式多为人工，人工的方法需要人的体力劳动，同时洗涤液会给人的手部带来一定伤害，如何设计一种洗碗机既能实现智能洗碗，同时还能像手洗一样干净，是我们需要解决的问题。

技术实现要素：

为了解决现有技术的不足，本发明提供了一种用于视觉识别的智能洗碗机及其控制方法，以用于解决传统手洗方式自动化不足的问题等。

本发明的技术方案是：一种用于视觉识别的智能洗碗机，包括洗碗机主体结构、洗碗机机械手结构、洗碗机洗涤结构以及控制器；其中洗碗机机械手结构、洗碗机洗涤结构均安装在洗碗机主体结构上，控制器用于驱动洗碗机机械手结构将餐具9夹取至洗碗机主体结构的洗涤区12，控制器用于驱动洗碗机洗涤结构对餐具9进行清洗，控制器用于根据洗碗机洗涤结构对餐具9上污渍的识别结果驱动洗碗机洗涤结构对餐具9进行清洗，控制器用于根据洗碗机洗涤结构对餐具9上污渍的识别结果驱动洗碗机机械手结构将餐具9依次夹取至洗碗机主体结构的清水区3、置碗板8。

所述洗碗机主体结构包括洗碗盆1、隔板2、清水区3、电源插线4、置碗板8、和洗涤区12；其中洗碗盆1顶部开口且内部设有隔板2，隔板2将洗碗盆1分为相互隔绝的两部分：清水区3和洗涤区12，置碗板8对称安装在洗碗盆1外部，电源插线4接外部电源为洗碗机提供电源。

所述洗碗机机械手结构为两组，对称安装在洗碗机主体结构两侧，两组结构相同均包括舵机5、机械臂6和机械爪7；其中舵机5与机械臂6、机械爪7连接，为机械臂6、机械爪7提供动力，机械臂6与机械爪7连接。

所述洗碗机洗涤结构包括洗碗刷支撑杆10、摄像头11、洗碗刷13和防水电机14；其中，摄像头11两侧接有旋转舵机，摄像头11用于采集餐具9图像并传至控制器，防水电机14带动洗碗刷支撑杆10转动，洗碗刷支撑杆10与洗碗刷13连接，洗碗刷支撑杆10带动洗碗刷13转动清洗餐具9。

所述洗碗刷13由海绵材料制造而成，且为偏心椭圆形在洗涤区12相对安装。

一种控制用于视觉识别的智能洗碗机进行清洗的方法，所述方法步骤如下：

step1、将若干个餐具9放置于靠近洗涤区12一侧的置碗板8上；

step2、将混有洗洁剂的水倒入洗涤区12，清水倒入清水区3；

step3、将洗碗机主体结构中电源插线4与外部电源连接；

step4、控制器控制洗碗机洗涤结构中摄像头11采集靠近洗涤区12一侧的置碗板8上的图像信息，若采集到餐具9，控制器控制洗碗机机械手结构中舵机5对两个机械臂6以及两个机械爪7进行角度调整及驱动，用于将一个餐具9夹取至洗涤区12中两个洗碗刷13之间的位置，并执行步骤step5；否则，不做处理；

step5、控制器控制洗碗机洗涤结构中两个防水电机14带动两个洗碗刷13开始转动，对餐具9进行清洗；

step6、控制器控制洗碗机洗涤结构中摄像头11采集洗涤区12中餐具9的图像信息，控制器根据采集的信息采用基于卷积神经网络的餐具污渍识别方法判断餐具9是否残留污渍；若残留，则重复step5；若无残留，进行step7；

step7、控制器控制洗碗机机械手结构中舵机5对两个机械臂6以及两个机械爪7进行角度调整及驱动，用于将一个餐具9从洗涤区12夹取至清水区3；

step8、控制器控制洗碗机机械手结构中舵机5对两个机械臂6以及两个机械爪7进行角度调整及驱动，用于将一个餐具9从清水区3夹取至靠近清水区3一侧的置碗板8上。

所述基于卷积神经网络的餐具污渍识别方法具体为：

s1、收集餐具污渍图片进行标注，制作成数据集；

s2、输入图片并进行降噪处理；

s3、设计卷积神经网络结构，将其设计为两个子网络结构，一个子网络为全卷积神经网络结构，另一个子网络为采用随机森林边缘检测算法与超像素结合的网络结构；

s4、使用降噪处理后的训练数据集对卷积神经网络结构进行训练；

s5、使用训练完成的卷积神经网络结构对餐具的污渍进行识别分割。

所述步骤s1中，餐餐具污渍图片标注为手工像素级别标注。

所述步骤s2中，降噪处理使用的是中值滤波和图像锐化的组合方法。

所述全卷积神经网络结构是由10个卷积层、5个池化层和3个反卷积层构成的网络结构。

本发明的有益效果是：

本发明中设有的隔板将洗碗盆分为相互隔绝的两部分，隔板一侧的洗碗盆左右相对固定安装有防水电机，防水电机顶部的输出转轴上安装有偏心椭圆形的洗碗刷。使用时防水电机带动洗碗刷转动起来，机械手将餐具固定在旋转的洗碗刷之间进行清洗，摄像头高效地实时监测餐具是否洗刷干净，最后将餐具放入清水里清洗干净，便可将餐具放在左侧的放置区。

整个操作过程十分简单方便，减轻人力洗碗的负担同时，保障了餐具清洗干净与手洗无异。

附图说明

图1为洗碗机初始工位图；

图2为机械手将餐具放在洗碗刷之间清洗图；

图3为机械手将碗放入清水区图；

图4为洗涤完成将碗放上置碗板图；

图5为洗碗机视觉识别监测系统流程图；

图6为洗碗机视觉识别监测系统中的卷积神经网络结构图；

图7为卷积神经网络的子网络之一的全卷积神经网络结构图；

图8为卷积神经网络的子网络之一的随机森林结构图；

图9为具体实施方式中摄像头采集到的图像；

图10为具体实施方式中人工标注的图像；

图11为具体实施方式中使用训练好的神经网络结构得到的分割图像；

图中各标号：1-洗碗盆、2-隔板、3-清水区、4-电源插线、5-舵机、6-机械臂、7-机械手、8-置碗板、9-餐具、10-洗碗刷支撑杆、11-摄像头、12-洗涤区、13-洗碗刷、14-防水电机。

具体实施方式

实施例1：如图1-11所示，一种用于视觉识别的智能洗碗机，包括洗碗机主体结构、洗碗机机械手结构、洗碗机洗涤结构以及控制器；其中洗碗机机械手结构、洗碗机洗涤结构均安装在洗碗机主体结构上，控制器用于驱动洗碗机机械手结构将餐具9夹取至洗碗机主体结构的洗涤区12，控制器用于驱动洗碗机洗涤结构对餐具9进行清洗，控制器用于根据洗碗机洗涤结构对餐具9上污渍的识别结果驱动洗碗机洗涤结构对餐具9进行清洗，控制器用于根据洗碗机洗涤结构对餐具9上污渍的识别结果驱动洗碗机机械手结构将餐具9依次夹取至洗碗机主体结构的清水区3、置碗板8。

进一步地，可以设置所述洗碗机主体结构包括洗碗盆1、隔板2、清水区3、电源插线4、置碗板8、和洗涤区12；其中洗碗盆1顶部开口且内部设有隔板2，隔板2将洗碗盆1分为相互隔绝的两部分：清水区3和洗涤区12，置碗板8对称安装在洗碗盆1外部，电源插线4接外部电源为洗碗机提供电源。

进一步地，可以设置所述洗碗机机械手结构为两组，对称安装在洗碗机主体结构两侧，两组结构相同均包括舵机5、机械臂6和机械爪7；其中舵机5与机械臂6、机械爪7连接，为机械臂6、机械爪7提供动力，机械臂6与机械爪7连接。

进一步地，可以设置所述洗碗机洗涤结构包括洗碗刷支撑杆10、摄像头11、洗碗刷13和防水电机14；其中，摄像头11两侧接有旋转舵机，摄像头11用于采集餐具9图像并传至控制器，防水电机14带动洗碗刷支撑杆10转动，洗碗刷支撑杆10与洗碗刷13连接，洗碗刷支撑杆10带动洗碗刷13转动清洗餐具9。

进一步地，可以设置所述洗碗刷13由海绵材料制造而成，且为偏心椭圆形在洗涤区12相对安装。

一种控制用于视觉识别的智能洗碗机进行清洗的方法，所述方法步骤如下：

step1、将若干个餐具9放置于靠近洗涤区12一侧的置碗板8上；

step2、将混有洗洁剂的水倒入洗涤区12，清水倒入清水区3；

step3、将洗碗机主体结构中电源插线4与外部电源连接；

step4、控制器控制洗碗机洗涤结构中摄像头11采集靠近洗涤区12一侧的置碗板8上的图像信息（控制器控制摄像头恢复初始位置，即摄像头朝向洗碗盆1外侧，并垂直向下30度），若采集到餐具9，控制器控制洗碗机机械手结构中舵机5对两个机械臂6以及两个机械爪7进行角度调整及驱动，用于将一个餐具9夹取至洗涤区12中两个洗碗刷13之间的位置，并执行步骤step5；否则，不做处理；

step5、控制器控制洗碗机洗涤结构中两个防水电机14带动两个洗碗刷13开始转动，对餐具9进行清洗；

step6、控制器控制洗碗机洗涤结构中摄像头11采集洗涤区12中餐具9的图像信息（控制器控制一个两侧接有旋转舵机的摄像头11逆时针旋转105°，即摄像头朝向洗碗盆1内侧，并垂直向下45°），控制器根据采集的信息采用基于卷积神经网络的餐具污渍识别方法判断餐具9是否残留污渍；若残留，则重复step5；若无残留，进行step7；

step7、控制器控制洗碗机机械手结构中舵机5对两个机械臂6以及两个机械爪7进行角度调整及驱动，用于将一个餐具9从洗涤区12夹取至清水区3；

step8、控制器控制洗碗机机械手结构中舵机5对两个机械臂6以及两个机械爪7进行角度调整及驱动（即将餐具9在清水中缓慢翻转多次），再用于将一个餐具9从清水区3夹取至靠近清水区3一侧的置碗板8上。

进一步地，可以设置所述基于卷积神经网络的餐具污渍识别方法具体为：

s1、收集餐具污渍图片（如图9）进行标注如图10所示，制作成数据集；

s2、输入图片并进行降噪处理；

s3、设计卷积神经网络结构，将其设计为两个子网络结构，一个子网络为全卷积神经网络结构，另一个子网络为采用随机森林边缘检测算法与超像素结合的网络结构；

s4、使用降噪处理后的训练数据集对卷积神经网络结构进行训练；

s5、使用训练完成的卷积神经网络结构对餐具的污渍进行识别分割，如图11所示。

进一步地，可以设置所述步骤s1中，餐餐具污渍图片标注为手工像素级别标注。

进一步地，可以设置所述步骤s2中，降噪处理使用的是中值滤波和图像锐化的组合方法。

进一步地，可以设置所述全卷积神经网络结构是由10个卷积层、5个池化层和3个反卷积层构成的网络结构。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。