基于视觉检测的超声波清洗机反馈调节系统的制作方法

本发明涉及图像数据处理，具体涉及基于视觉检测的超声波清洗机反馈调节系统。

背景技术：

1、超声波清洗机在对餐具进行清洗时，往往需要根据餐具等物品表面的污渍情况决定是否需要继续清洗，现有方法是通过神经网络检测图像中是否含有污渍，但神经网络受自身卷积核大小，即感受野的影响较大，感受野过大或过小均会影响神经网络的识别性能。基于此，本专利提出了一种基于视觉检测的超声波清洗机反馈调节系统，通过构建旋转不变链码，避免了餐具在清洗过程中位置，形态的变化，导致难以匹配，同时结合相邻帧变化得到污渍概率，进而决定是否继续清洗。

技术实现思路

1、本发明提供基于视觉检测的超声波清洗机反馈调节系统，以解决现有的问题。

2、本发明的基于视觉检测的超声波清洗机反馈调节系统采用如下技术方案：

3、本发明提供了基于视觉检测的超声波清洗机反馈调节系统，该系统包括以下模块：

4、图像数据采集模块：获取超声波清洗机的清洗仓内部图像，记为清洗图像；

5、图结构构建分析模块：将清洗图像中的连通域作为节点，将任意两个连通域质心之间的欧式距离作为对应边的边值，根据节点、边以及边值构建图结构；获取图结构中所有节点的若干个聚类结果，记为节点类别，获取任意节点类别对应图结构的邻接矩阵之间的相似度，根据相似度大小对节点类别进行划分，获得若干个组类别；

6、根据不同大小的窗口下，清洗图像中的极值点的极值性获得极值点的比较极值性；

7、旋转不变链码模块：根据比较极值性的大小获得保留点，根据保留点与清洗图像的中心点之间的距离获得保留点的保留度，根据相邻帧的清洗图像中保留度之间的数值大小，获得最终起始点，获取最终起始点所在的组类别中所有连通域的链码，将组类别中所有连通域链码连接后的链码记为旋转不变链码；

8、污渍概率模块：根据旋转不变链码之间的相似度获得污渍概率；

9、清洗机调节模块：根据污渍概率的大小对超声波清洗机进行反馈调节。

10、进一步的，所述组类别，获取方法如下：

11、首先，利用格里-纽曼算法对图结构进行聚类，获得若干个节点的聚类结果，将节点的聚类结果记为节点类别，任意节点类别含有若干个节点；

12、然后，格里-纽曼算法对图结构进行迭代聚类，在每个节点类别的数量发生变化时，获取每个节点类别对应图结构的邻接矩阵，获取两个邻接矩阵中，所有相同位置元素的平均比值，记为邻接矩阵的相似度，根据邻接矩阵的相似度对节点类别进行分组，将相似度大于预设相似度阈值的所有类别划分为一个组类别，同时保证得到的同一组类别中任意两个类别的相似度都大于预设相似度阈值，所有节点类别被划分后得到若干个组类别。

13、进一步的，所述比较极值性，获取方法如下：

14、首先，利用多个预设大小的窗口分别对清洗图像进行高斯滤波，获得对应的若干个滤波图像，并获取若干个滤波图像中的极值点以及极值点对应的极值性；

15、然后，将同一大小的窗口内所有极值点的极值性，按照从大到小的顺序排列，将对应大小的窗口内极值性大小排第二的极值性记为次极值性；

16、最后，任意极值点的比较极值性的获取方法为：

17、

18、其中，m表示对应大小的窗口内极值点的极值性，n表示对应大小的窗口内的次极值性，max()表示获取括号内的最大值。

19、进一步的，所述保留度，获取方法如下：

20、首先，将所有极值点中比较极值性最大的10个极值点进行保留，记为保留点；

21、然后，将清洗图像的中心点记为图像中心点，获取保留点与图像中心店之间的欧式距离；

22、最后，任意保留点的中心性s2的获取方法如下：

23、

24、其中，d表示保留点与图像中心点之间的欧式距离，dmax表示所有保留点与图像中心点之间的最大欧式距离，e表示自然常数。

25、进一步的，所述最终起始点，获取方法如下：

26、首先，将最新获取的清洗图像记为当前帧清洗图像，将当前帧的上一帧清洗图像记为上一帧清洗图像，获取当前帧清洗图像和上一帧清洗图像中的所有保留点；

27、然后，将保留点的比较极值性s1与中心性s2的乘积，记为保留点的保留度，将保留度大于预设保留度阈值的像素点，记为候选起始点，获取当前帧清洗图像和上一帧清洗图像中的所有候选起始点；

28、最后，获取当前帧清洗图像中候选起始点，与上一帧清洗图像中的候选起始点的保留度大小相等的所有候选起始点，获得若干个等值起始点，将当前帧清洗图像内所有等值起始点中保留度最大的等值起始点，记为最终起始点。

29、进一步的，所述旋转不变链码，获取方法如下：

30、步骤（1），将最终起始点所在的连通域记为起始连通域，通过dijkstra算法获取起始连通域的中心点，遍历起始连通域所在组类别中所有连通域的中心点，获得最短路径；

31、步骤（2），起始连通域的链码为：从最终起始点开始，以逆时针为方向，获得起始连通域的边缘对应的链码，记为起始链码；

32、步骤（3），在组类别中除起始连通域以外，以所有连通域的边缘上任意像素点为起始点，获得对应的链码，则每个连通域对应若干个链码，按照链码编码值在链码序列中的顺序，将一个链码序列转换成一个数值，记为链码值，则将任意连通域的所有链码值中，最小链码值所对应的链码作为对应连通域的链码；

33、步骤（4），根据最短路径的顺序，将任意组类别中所有连通域的链码首尾相连接，将连接后获得的链码记为组类别对应的旋转不变链码。

34、进一步的，所述污渍概率，获取方法如下：

35、首先，通过匈牙利算法对当前帧清洗图像和上一帧清洗图像中的组类别进行匹配，将当前帧清洗图像中的所有组类别的旋转不变链码作为左侧节点，将上一帧清洗图像中的所有组类别的旋转不变链码作为右侧节点，获取左侧节点和右侧节点之间的最优匹配关系，将最优匹配关系作为节点之间的边，则边的边值为对应旋转不变链码之间的余弦相似度；

36、然后，当前帧清洗图像的任意组类别对应区域的污渍概率p的获取方法为：

37、

38、其中，s表示当前帧清洗图像的组类别，与上一帧清洗图像的组类别之间的最优匹配关系对应的余弦相似度；n1表示当前帧清洗图像的组类别所包含的连通域的数量；n2表示最优匹配关系下，上一帧清洗图像中所对应的组类别包含的连通域的数量；n表示当前帧清洗图像和上一帧清洗图像中所有组类别所包含连通域数量的总和；min()表示获取最小值；exp()表示以自然常数为底的指数函数。

39、进一步的，所述根据污渍概率的大小对超声波清洗机进行反馈调节，包括的具体步骤如下：

40、当污渍概率大于预设污渍概率阈值时，超声波清洗机继续进行清洗工作，直到检测到污渍概率小于预设污渍概率阈值，调节控制超声波清洗机停止清洗工作，并提示取出清洗完毕的餐具。

41、本发明的技术方案的有益效果是：通过对每次图聚类迭代过程中的组类别的相似度进行计算，得到了最终组类别，该组类别可以最大程度的表示被清洗物品自身的表面纹理图案，突出了纹理特性，有助于之后准确区分纹理和污渍；通过构建一个旋转不变的链码，避免了超声波清洗过程中餐具位置，形态的变化导致匹配准确性低的问题；通过相邻帧中污渍形状变化的特点，结合旋转不变链码，得到了不同组类别污渍概率，进而决定是否继续清洗，大大提高了检测精度，与对超声波清洗机进行反馈调节的智能化程度；与传统图像方法采用sift匹配来对上下帧进行匹配计算相比，避免了sift算子庞大的计算量，同时sift算子的多尺度在该场景下难以起到较大作用，因此通过构建旋转不变链码使得上下帧中的区域容易得到较高精度的匹配，对于当前超声波清洗场景更加适应，获得更高精度的检测效果。