顽固污渍清洁方法及装置与流程

本发明具体涉及一种顽固污渍清洁方法及装置。

背景技术

随着科技的发展，越来越多的智能化家居进入们的生活中，不管是家庭还是工作，也渐渐的离不开智能化家居。

其中，对于智能化的清洁装置而言，其在清洁过程中会遇到一些顽固污渍，而如何对这些顽固污渍进行有效的清扫仍是需要探讨和研究的问题。

技术实现要素：

为了解决上述技术问题，本发明提出了一种顽固污渍清洁方法及装置，其可以有效对清洁区域内的污渍进行打扫或标记，提高清洁装置的清扫清洁度。

为了达到上述目的，本发明的技术方案如下：

顽固污渍清洁方法包括以下步骤：

1)移动装置带动清洁装置对待清洁区域进行清扫；

2)清洁完成后，处理器控制影像采集装置对清洁后的区域进行视频或图片采集，并将采集后的视频或图像发送给处理器；

3)处理器根据采集的视频或图像进行判断，判断清洁后的区域是否有污渍；

若有，则进入步骤4)；

若没有，则处理器控制移动装置带动清洁装置继续清扫下一个区域；

4)处理器控制移动装置带动清洁装置对清洁后的区域进行再次清扫；

5)进入步骤2)，重复步骤2)-4)；

6)若处理器控制移动装置带动清洁装置清扫n次后，污渍仍然存在，则处理器在该清洁区域的视频或图像上对污渍进行标出和/或记录污渍位置，存入存储器，然后处理器控制移动装置带动清洁装置继续清扫下一个区域。

本发明一种顽固污渍清洁方法可以有效对污渍进行判别，若有顽固污渍，则进行多次的清洁。当清扫n次，仍无法除去，则进行标记，等待人工进行清除。本发明操作便捷，性能稳定，可以有效对待清洁区域进行良好的清洁，保证其清洁效果良好。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，步骤3)具体为：

3.1)处理器根据采集的视频或图像进行判断，判断清洁后的区域是否有异样物体；

若有，则进入步骤3.2)；

若没有，则处理器控制移动装置带动清洁装置继续清扫下一个区域；

3.2)处理器判断该异样物体是否为污渍；

若是，则进入步骤4)；

若不是，则处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，首先判断是否有异样物体，再判断异样物体的类别，操作更便捷，更快速。

作为优选的方案，步骤3.1)具体为：处理器将采集的视频或图像与存储器内存储的多张标准清洁图像进行对比；

若全部不一致，则说明有异样物体，进入步骤3.2)；

否则，则说明没有异样物体，处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，标准清洁图像为多张不同场景的图像，采集的视频或图像只需要与其中一张一致，则说明没有异样物体，若全部不一致，则说明有异样物体，判别更简单，有效，快捷。

作为优选的方案，顽固污渍清洁方法包括下述预操作；

预操作1)数据集收集与标注，收集多张同一类异样物体的图片，并对异样物体的属性进行标注，在图片中标注出异样物体所在位置；

预操作2)分类模型预训练，将预训练一个分类模型对每一类异样物体进行训练，对选定的类用标注的数据集提取深层网络特征，利用该特征来表征训练数据，从而构建数据集深层网络。

采用上述优选的方案，为有效准确的判别异样物体的类型进行准备。

作为优选的方案，步骤3.2)具体为：处理器将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中，该数据集深层网络对该帧视频或图片进行异样物体的判定与识别，并输出异样物体的类别以及其置信度，判断该异样物体是否为污渍；

若是，则进入步骤4)；

若不是，则处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，可以有效判别异样物体的类型，判别其是否为污渍，及确定污渍的类型(如：粉尘或油渍)，可以针对污渍的类型采用更有针对性的方式进行清洁。

作为优选的方案，步骤3.2)具体为：

3.2.1)移动装置带动影像采集装置绕着异样物体运动；

3.2.2)移动装置停止运动，影像采集装置采集视频或图片，处理器将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中，该数据集深层网络对该帧视频或图片进行异样物体的判定与识别，并输出异样物体的类别以及其置信度，判断该异样物体是否为污渍；

若是，则进入步骤4)；

若不是，则处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，保证影像采集装置采集视频或图片的多样性和稳定性，提高检测精度。本申请采用间歇性运动停止的方式，即如移动装置带动影像采集装置运动1秒，停止0.5秒进行检测，这种将运动部分和检测部分交替进行的方式，能让两个模块互不干扰，进而加强检测精度。

作为优选的方案，步骤3.2.2)进一步为，移动装置停止运动，影像采集装置采集视频或图片，并将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中，该数据集深层网络对该帧视频进行目标物体的判定与识别，输出目标物体与该帧视频帧中心或图片中心的偏移量、目标物体类别以及其置信度，并将目标物体与该帧视频帧中心或图片中心的偏移量发送给移动装置，移动装置将在下次运动中进行偏移补偿。

采用上述优选的方案，由于在0.5秒的检测过程中，移动装置的方向很有可能并不正对目标物体，因而采用补偿机制，判断目标物体位置和视频帧中心或图片中心的偏移量，进而在下一次运动过程中进行偏移补偿。

作为优选的方案，在步骤3.2.1)中，移动装置从开始运行到停止运行的速度v(单位m/s)与时间t(单位s)之间的关系满足下式的分段函数：

v＝-a*t²+b*t，0＜t≤t1；

v＝k*c^dt，k＞0，lnc＜0，d＞1，t1＜t≤t2。

采用上述优选的方案，移动装置开始运行的速度呈一个急速上升的状态(加速度不断增加)，而当其上升到速度峰值后，其速度沿龚帕兹(生长)曲线呈一个缓慢下降的状态(加速度不断减小)。采用上述的分段函数对移动装置的运行速度进行控制，可以有效保证移动装置启动速度快，但是在靠近停止检测阶段时，其缓慢停止，可以有效降低惯性晃动对影像采集装置的影响。

作为优选的方案，步骤4)具体为，

4.1)处理器对清洁后的区域内污渍所在的位置进行记录，并以该位置为中心划分再次清洁小区域；

4.2)处理器控制移动装置带动清洁装置对再次清洁小区域进行再次清扫。

采用上述优选的方案，加快清扫进度，提高清扫洁净度。

顽固污渍清洁装置，包括：

清洁装置，用于实现清洁操作；

影像采集装置，用于采集视频或图像，并将其发送给处理器；

移动装置，用于带动清洁装置和影像采集装置进行运动；

处理器，分别与清洁装置、影像采集装置及移动装置电连接，用于执行的顽固污渍清洁方法；

存储器，用于存储处理器可执行指令以及各视频或图像。

本发明一种顽固污渍清洁装置结构简单，成本低，清洁效果好。

附图说明

图1为本发明实施例提供的顽固污渍清洁方法的流程图。

图2为本发明实施例提供的深度卷积层的结构示意图。

图3为本发明实施例提供的逐点卷积层的结构示意图。

图4为本发明实施例提供的分类模型结构示意图。

图5为本发明实施例提供的深度卷积层的操作结构示意图。

图6为本发明实施例提供的移动装置从开始运行到停止运行的速度v(单位m/s)与时间t(单位s)之间的分段函数曲线图。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

为了达到本发明的目的，顽固污渍清洁方法及装置的其中一些实施例中，顽固污渍清洁方法包括以下步骤：

1)移动装置带动清洁装置对待清洁区域进行清扫；

2)清洁完成后，处理器控制影像采集装置对清洁后的区域进行视频或图片采集，并将采集后的视频或图像发送给处理器；

3)处理器根据采集的视频或图像进行判断，判断清洁后的区域是否有污渍；

若有，则进入步骤4)；

若没有，则处理器控制移动装置带动清洁装置继续清扫下一个区域；

4)处理器控制移动装置带动清洁装置对清洁后的区域进行再次清扫；

5)进入步骤2)，重复步骤2)-4)；

6)若处理器控制移动装置带动清洁装置清扫n次后，污渍仍然存在，则处理器在该清洁区域的视频或图像上对污渍进行标出和/或记录污渍位置，存入存储器，然后处理器控制移动装置带动清洁装置继续清扫下一个区域。

本发明一种顽固污渍清洁方法可以有效对污渍进行判别，若有顽固污渍，则进行多次的清洁。当清扫n次，仍无法除去，则进行标记，等待人工进行清除。本发明操作便捷，性能稳定，可以有效对待清洁区域进行良好的清洁，保证其清洁效果良好。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤3)具体为：

3.1)处理器根据采集的视频或图像进行判断，判断清洁后的区域是否有异样物体；

若有，则进入步骤3.2)；

若没有，则处理器控制移动装置带动清洁装置继续清扫下一个区域；

3.2)处理器判断该异样物体是否为污渍；

若是，则进入步骤4)；

若不是，则处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，首先判断是否有异样物体，再判断异样物体的类别，操作更便捷，更快速。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤3.1)具体为：处理器将采集的视频或图像与存储器内存储的多张标准清洁图像进行对比；

若全部不一致，则说明有异样物体，进入步骤3.2)；

否则，则说明没有异样物体，处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，标准清洁图像为多张不同场景的图像，采集的视频或图像只需要与其中一张一致，则说明没有异样物体，若全部不一致，则说明有异样物体，判别更简单，有效，快捷。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，顽固污渍清洁方法包括下述预操作；

预操作1)数据集收集与标注，收集多张同一类异样物体的图片，并对异样物体的属性进行标注，在图片中标注出异样物体所在位置；

预操作2)分类模型预训练，将预训练一个mobilenet-ssd的分类模型对每一类异样物体进行训练，对选定的类用标注的数据集提取深层网络特征，利用该特征来表征训练数据，从而构建数据集深层网络。

采用上述优选的方案，为有效准确的判别异样物体的类型进行准备。上述预操作1)具体为：第一步是数据收集与标注，以电线为例，收集3000张该类图片，用xml文件类型进行标注，并在图片中标出目标物体的位置，以如下标注为例，

在该标注中，标出了目标物体的类型(cable)，文件名(1.jpg)，图片大小，目标位置(xmin，ymin，xmax，ymax)等。

在上述预操作2)中，在该数据集深层网络中，以vgg16为主要网络，在之后进一步加入五层全连接层，进而实现高效的数据集表征。

以上预操作为基于mobilenet构架。mobilenet构架是一个针对移动终端的全新深度神经网络(dnns)。其深度可分离卷积(dsc)层取代了传统的卷积网络，使得整个计算过程可以在低能耗，终端级运算速度的条件下进行高精度，高实时性的物体识别。深度可分离卷积网络最大的特点在于其可以更有效地利用参数共享和自由度。

深度可分离卷积网络主要分为两个部分：

第一部分：深度卷积层(如图2所示)。每一层包含了dfxdf大小的过滤器。该过滤器主要负责过滤输入目标图片的一个单一深度。

第二部分：逐点卷积层(如图3所示)。逐点卷积只是一个用于结合不同通道信息的1×1大小的卷积层。

如图4所示，分类模型结构包括：标准卷积层、一连串的深度可分离卷积包、平均降维层以及完全链接层，深度可分离卷积包包含一个深度卷积层；

标准卷积层为分类模型的第一层，平均降维层为分类模型的倒数第二层，完全链接层为分类模型的最后一层。

如图5所示，进一步，深度卷积层由深度卷积操作(depthwiseconv)、线性整流函数(relu)、批量标准化操作(batchnorm)和逐点卷积操作(1×1conv)构成。

采用上述优选的方案，操作便捷。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤3.2)具体为：处理器将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中，该数据集深层网络对该帧视频或图片进行异样物体的判定与识别，并输出异样物体的类别以及其置信度，判断该异样物体是否为污渍；

若是，则进入步骤4)；

若不是，则处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，可以有效判别异样物体的类型，判别其是否为污渍，及确定污渍的类型(如：粉尘或油渍)，可以针对污渍的类型采用更有针对性的方式进行清洁。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤3.2)具体为：

3.2.1)移动装置带动影像采集装置绕着异样物体运动；

3.2.2)移动装置停止运动，影像采集装置采集视频或图片，处理器将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中，该数据集深层网络对该帧视频或图片进行异样物体的判定与识别，并输出异样物体的类别以及其置信度，判断该异样物体是否为污渍；

若是，则进入步骤4)；

若不是，则处理器控制移动装置带动清洁装置继续清扫下一个区域。

采用上述优选的方案，保证影像采集装置采集视频或图片的多样性和稳定性，提高检测精度。本申请采用间歇性运动停止的方式，即如移动装置带动影像采集装置运动1秒，停止0.5秒进行检测，这种将运动部分和检测部分交替进行的方式，能让两个模块互不干扰，进而加强检测精度。

进一步，步骤3.2.2)进一步为，移动装置停止运动，影像采集装置采集视频或图片，并将影像采集装置采集的视频每一帧或每一张图片输入到数据集深层网络中，该数据集深层网络对该帧视频进行目标物体的判定与识别，输出目标物体与该帧视频帧中心或图片中心的偏移量、目标物体类别以及其置信度，并将目标物体与该帧视频帧中心或图片中心的偏移量发送给移动装置，移动装置将在下次运动中进行偏移补偿。

采用上述优选的方案，由于在0.5秒的检测过程中，移动装置的方向很有可能并不正对目标物体，因而采用补偿机制，判断目标物体位置和视频帧中心或图片中心的偏移量，进而在下一次运动过程中进行偏移补偿。

移动装置在下次运动中进行偏移补偿，保证下一次目标物体的位置可以靠近或处于视频帧中心或图片中心，有效提高检测精度。

进一步，在步骤3.2.1)中，移动装置从开始运行到停止运行的速度v(单位m/s)与时间t(单位s)之间的关系满足下式的分段函数：

v＝-a*t²+b*t，0＜t≤t1；

v＝k*c^dt，k＞0，lnc＜0，d＞1，t1＜t≤t2。

采用上述优选的方案，移动装置开始运行的速度呈一个急速上升的状态(加速度不断增加)，而当其上升到速度峰值后，其速度沿龚帕兹(生长)曲线呈一个缓慢下降的状态(加速度不断减小)。采用上述的分段函数对移动装置的运行速度进行控制，可以有效保证移动装置启动速度快，但是在靠近停止检测阶段时，其缓慢停止，可以有效降低惯性晃动对影像采集装置的影响。分段函数曲线如图6所示。其中，t1具体可为0.3s，t2具体可为1s。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，步骤4)具体为，

4.1)处理器对清洁后的区域内污渍所在的位置进行记录，并以该位置为中心划分再次清洁小区域；

4.2)处理器控制移动装置带动清洁装置对再次清洁小区域进行再次清扫。

采用上述优选的方案，加快清扫进度，提高清扫洁净度。

顽固污渍清洁装置，包括：

清洁装置，用于实现清洁操作；

影像采集装置，用于采集视频或图像，并将其发送给处理器；

移动装置，用于带动清洁装置和影像采集装置进行运动；

处理器，分别与清洁装置、影像采集装置及移动装置电连接，用于执行的顽固污渍清洁方法；

存储器，用于存储处理器可执行指令以及各视频或图像。

本发明一种顽固污渍清洁装置结构简单，成本低，清洁效果好。

对于本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。