图像缺口识别与图块补全的方法及系统与流程

1.本发明涉及互联网技术领域，具体地，涉及图像缺口识别与图块补全的方法及系统，尤其是基于智能流程机器人的图像缺口识别与图块补全的方法。


背景技术：

2.有时候用户在进行一些网页操作时，需要对网页中的图像进行缺口识别和滑动验证，目前所存在的方法中，均是通过计算待补全图像与图块图像的颜色值或是灰度值的相似度来对缺口进行识别，这种方法的识别率低，对于缺口与周围颜色差别较小的待补全图像无法进行缺口定位。
3.公开号为cn111310156a的专利文献公开了一种滑块验证码的自动识别方法及系统，该方法两部分，线下模型训练：构建基于深度学习的目标检测模型，计算滑块缺口中心位置坐标并标注矩形框，进行有监督的目标检测模型训练；根据真人滑块拖动轨迹，建立lstm前端模型以及lstm后端回归模型并进行模型训练，线上模型服务：执行已训练好的lstm前端模型、lstm后端回归模型，得到滑块拖动轨迹时间序列；根据滑块拖动轨迹时间序列，自动控制鼠标点击滑块、拖拽滑块、释放滑块到缺口位置，完成滑块验证码的自动识别。但是该专利文献中，为了构建基于深度学习的目标检测模型，需要进行有监督的目标检测模型训练，存在需要获取足够多的图像样本，并花费大量的时间精力对图像样本进行手工标注，以处理成可用于目标检测模型训练的数据集的缺陷。


技术实现要素：

4.针对现有技术中的缺陷，本发明的目的是提供一种图像缺口识别与图块补全的方法及系统。
5.根据本发明提供的一种图像缺口识别与图块补全的方法，包括如下步骤：
6.步骤1：获取待补全图像和图块的信息数据；
7.步骤2：以获取图像灰度值的方式读入步骤1中获取到的待补全的灰度图像和图块的灰度图像；
8.步骤3：调用高斯滤波程序，采用卷积模板对步骤2读入的待补全的灰度图像和图块的灰度图像进行高斯滤波，得到减少了图像噪声的待补全灰度图像和图块灰度图像；
9.步骤4：调用边缘检测程序，对步骤3中获取到的减少了图像噪声的待补全灰度图像和图块灰度图像进行边缘检测，获取到待补全图像的边缘图像和图块的边缘图像；
10.步骤5：调用模板匹配程序，将步骤4中所得的图块的边缘图像与待补全图像的边缘图像进行模板匹配，找到待补全图像的边缘图像中与图块的边缘图像匹配度最大的位置坐标，将该位置坐标作伪待补全图像中缺口所在的位置坐标；
11.步骤6：移动图块到步骤5中获取到的待补全图像中缺口所在的位置坐标处，完成待补全的图像缺口的识别与图块自动补全。
12.优选的，所述步骤3中，采用大小为3*3的卷积模板对步骤2读入的待补全的灰度图
像进行高斯滤波。
13.优选的，所述步骤4中，所述调用边缘检测程序采用canny多级边缘检测算法实现图像的边缘检测。
14.优选的，所述步骤5中，所述调用模板匹配程序采用归一化方差模板匹配算法。
15.优选的，所述步骤1具体为：
16.步骤1.1：启动流程机器人，初始化参数；
17.步骤1.2：通过流程机器人打开浏览器，访问指定的网页；
18.步骤1.3：通过流程机器人在步骤2中打开的网页中，点击指定的链接，使待补全图像和图块在浏览器中显示出来；
19.步骤1.4：通过流程机器人对步骤1.3中在浏览器里显示的待补全图像进行截图；
20.步骤1.5：通过流程机器人将步骤1.4截取到的待补全图像保存到本地电脑的指定文件夹中；
21.步骤1.6：通过流程机器人对步骤1.3中在浏览器里显示的图块进行截图；
22.步骤1.7：通过流程机器人将步骤1.6截取到的图块保存到本地电脑的指定文件夹中。
23.优选的，所述步骤2具体包括如下步骤：
24.步骤2.1：通过流程机器人以获取图像灰度值的方式读入步骤1.5中获取到的待补全的灰度图像；
25.步骤2.2：通过流程机器人以获取图像灰度值的方式读入步骤1.7获取到的图块的灰度图像。
26.优选的，所述步骤3具体包括如下步骤：
27.步骤3.1：通过流程机器人调用高斯滤波程序，采用大小为3*3的卷积模板对步骤2.1中读入的待补全的灰度图像进行高斯滤波，得到减少了图像噪声的待补全灰度图像；
28.步骤3.2：通过流程机器人调用高斯滤波程序，采用大小为3*3的卷积模板对步骤2.2中读入的图块的灰度图像进行高斯滤波，得到减少了图像噪声的图块灰度图像。
29.优选的，所述步骤4具体包括如下步骤：
30.步骤4.1：通过流程机器人调用边缘检测程序，对步骤3.1中获取到的减少了图像噪声的待补全灰度图像进行边缘检测，获取到待补全图像的边缘图像；边缘检测程序采用canny多级边缘检测算法实现图像的边缘检测；
31.步骤4.2：通过流程机器人调用边缘检测程序，对步骤3.2中获取到的减少了图像噪声的图块灰度图像进行边缘检测，获取到图块的边缘图像。
32.优选的，所述步骤5中，通过流程机器人调用模板匹配程序；
33.所述步骤6具体为：通过流程机器人在步骤1.3显示出待补全图像和图块的网页中，通过鼠标点击网页上的图块，并将其移动到根据步骤5中获取到的待补全图像中缺口所在的位置坐标处，完成待补全的图像缺口的识别与图块自动补全。
34.本发明还提供一种图像缺口识别与图块补全的系统，包括如下模块：
35.模块m1：获取待补全图像和图块的信息数据；
36.模块m2：以获取图像灰度值的方式读入模块m1中获取到的待补全的灰度图像和图块的灰度图像；
37.模块m3：调用高斯滤波程序，采用卷积模板对模块m2读入的待补全的灰度图像和图块的灰度图像进行高斯滤波，得到减少了图像噪声的待补全灰度图像和图块灰度图像；
38.模块m4：调用边缘检测程序，对模块m3中获取到的减少了图像噪声的待补全灰度图像和图块灰度图像进行边缘检测，获取到待补全图像的边缘图像和图块的边缘图像；
39.模块m5：调用模板匹配程序，将模块m4中所得的图块的边缘图像与待补全图像的边缘图像进行模板匹配，找到待补全图像的边缘图像中与图块的边缘图像匹配度最大的位置坐标，将该位置坐标作伪待补全图像中缺口所在的位置坐标；
40.模块m6：移动图块到模块m5中获取到的待补全图像中缺口所在的位置坐标处，完成待补全的图像缺口的识别与图块自动补全。
41.与现有技术相比，本发明具有如下的有益效果：
42.1、本发明能够识别待补全的图像中缺口所在位置，并自动将图块移动到缺口处进行补全，缺口识别效率高；
43.2、本发明通过高斯滤波与canny多级边缘检测算法，提取出待补全图像与图块图像的边缘图像，再使用归一化方差模板匹配算法，计算两者边缘图像之间的相似度，从而能够高效的实现缺口的识别；
44.3、本发明结合了机器人流程自动化技术，能够实现全自动的图像下载保存，缺口识别，与模拟鼠标完成图块补全等操作；
45.4、本发明不需要进行模型训练，就能够快速识别出缺口位置。
附图说明
46.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
47.图1为本发明的图像缺口识别与图块补全的方法的步骤流程图。
具体实施方式
48.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
49.实施例1：
50.如图1所示，本实施例提供一种图像缺口识别与图块补全的方法，包括如下步骤：
51.步骤1：获取待补全图像和图块的信息数据；步骤1具体为：
52.步骤1.1：启动流程机器人，初始化参数；
53.步骤1.2：通过流程机器人打开浏览器，访问指定的网页；
54.步骤1.3：通过流程机器人在步骤2中打开的网页中，点击指定的链接，使待补全图像和图块在浏览器中显示出来；
55.步骤1.4：通过流程机器人对步骤1.3中在浏览器里显示的待补全图像进行截图；
56.步骤1.5：通过流程机器人将步骤1.4截取到的待补全图像保存到本地电脑的指定文件夹中；
57.步骤1.6：通过流程机器人对步骤1.3中在浏览器里显示的图块进行截图；
58.步骤1.7：通过流程机器人将步骤1.6截取到的图块保存到本地电脑的指定文件夹中。
59.步骤2：以获取图像灰度值的方式读入步骤1中获取到的待补全的灰度图像和图块的灰度图像；步骤2具体包括如下步骤：
60.步骤2.1：通过流程机器人以获取图像灰度值的方式读入步骤1.5中获取到的待补全的灰度图像；
61.步骤2.2：通过流程机器人以获取图像灰度值的方式读入步骤1.7获取到的图块的灰度图像。
62.步骤3：调用高斯滤波程序，采用卷积模板对步骤2读入的待补全的灰度图像和图块的灰度图像进行高斯滤波，得到减少了图像噪声的待补全灰度图像和图块灰度图像；采用大小为3*3的卷积模板对步骤2读入的待补全的灰度图像进行高斯滤波；步骤3具体包括如下步骤：
63.步骤3.1：通过流程机器人调用高斯滤波程序，采用大小为3*3的卷积模板对步骤2.1中读入的待补全的灰度图像进行高斯滤波，得到减少了图像噪声的待补全灰度图像；
64.步骤3.2：通过流程机器人调用高斯滤波程序，采用大小为3*3的卷积模板对步骤2.2中读入的图块的灰度图像进行高斯滤波，得到减少了图像噪声的图块灰度图像。
65.步骤4：调用边缘检测程序，对步骤3中获取到的减少了图像噪声的待补全灰度图像和图块灰度图像进行边缘检测，获取到待补全图像的边缘图像和图块的边缘图像；调用边缘检测程序采用canny多级边缘检测算法实现图像的边缘检测；步骤4具体包括如下步骤：
66.步骤4.1：通过流程机器人调用边缘检测程序，对步骤3.1中获取到的减少了图像噪声的待补全灰度图像进行边缘检测，获取到待补全图像的边缘图像；边缘检测程序采用canny多级边缘检测算法实现图像的边缘检测；
67.步骤4.2：通过流程机器人调用边缘检测程序，对步骤3.2中获取到的减少了图像噪声的图块灰度图像进行边缘检测，获取到图块的边缘图像。
68.步骤5：调用模板匹配程序，将步骤4中所得的图块的边缘图像与待补全图像的边缘图像进行模板匹配，找到待补全图像的边缘图像中与图块的边缘图像匹配度最大的位置坐标，将该位置坐标作伪待补全图像中缺口所在的位置坐标；调用模板匹配程序采用归一化方差模板匹配算法；通过流程机器人调用模板匹配程序。
69.步骤6：移动图块到步骤5中获取到的待补全图像中缺口所在的位置坐标处，完成待补全的图像缺口的识别与图块自动补全；步骤6具体为：通过流程机器人在步骤1.3显示出待补全图像和图块的网页中，通过鼠标点击网页上的图块，并将其移动到根据步骤5中获取到的待补全图像中缺口所在的位置坐标处，完成待补全的图像缺口的识别与图块自动补全。
70.实施例2：
71.本实施例提供一种图像缺口识别与图块补全的系统，包括如下模块：
72.模块m1：获取待补全图像和图块的信息数据；
73.模块m2：以获取图像灰度值的方式读入模块m1中获取到的待补全的灰度图像和图
块的灰度图像；
74.模块m3：调用高斯滤波程序，采用卷积模板对模块m2读入的待补全的灰度图像和图块的灰度图像进行高斯滤波，得到减少了图像噪声的待补全灰度图像和图块灰度图像；
75.模块m4：调用边缘检测程序，对模块m3中获取到的减少了图像噪声的待补全灰度图像和图块灰度图像进行边缘检测，获取到待补全图像的边缘图像和图块的边缘图像；
76.模块m5：调用模板匹配程序，将模块m4中所得的图块的边缘图像与待补全图像的边缘图像进行模板匹配，找到待补全图像的边缘图像中与图块的边缘图像匹配度最大的位置坐标，将该位置坐标作伪待补全图像中缺口所在的位置坐标；
77.模块m6：移动图块到模块m5中获取到的待补全图像中缺口所在的位置坐标处，完成待补全的图像缺口的识别与图块自动补全。
78.实施例3：
79.本领域技术人员可以将本实施例理解为实施例1、实施例2的更为具体的说明。
80.本实施例提供一种基于智能流程机器人的图像缺口识别与图块补全的方法，能够识别待补全的图像中缺口所在位置，并自动将图块移动到缺口处进行补全，具体包括如下步骤：
81.步骤s1：启动流程机器人，初始化参数；
82.步骤s2：通过流程机器人打开浏览器，访问指定的网页；
83.步骤s3：通过流程机器人在步骤s2中打开的网页中，点击指定的链接，使待补全图像和图块在浏览器中显示出来；
84.步骤s4：通过流程机器人对步骤s3中在浏览器里显示的待补全图像进行截图；
85.步骤s5：通过流程机器人将步骤s4中截取到的待补全图像保存到本地电脑的指定文件夹中；
86.步骤s6：通过流程机器人对步骤s3中在浏览器里显示的图块进行截图；
87.步骤s7：通过流程机器人将步骤s6中截取到的图块保存到本地电脑的指定文件夹中；
88.步骤s8：通过流程机器人以获取图像灰度值的方式读入步骤s5中获取到的待补全的灰度图像；
89.步骤s9：通过流程机器人以获取图像灰度值的方式读入步骤s7中获取到的图块的灰度图像；
90.步骤s10：通过流程机器人调用高斯滤波程序，采用大小为3*3的卷积模板对步骤s8中读入的待补全的灰度图像进行高斯滤波，从而得到减少了图像噪声的待补全灰度图像；
91.步骤s11：通过流程机器人调用高斯滤波程序，采用大小为3*3的卷积模板对步骤s9中读入的图块的灰度图像进行高斯滤波，从而得到减少了图像噪声的图块灰度图像；
92.步骤s12：通过流程机器人调用边缘检测程序，该程序采用了canny多级边缘检测算法来实现图像的边缘检测，对步骤s10中获取到的减少了图像噪声的待补全灰度图像进行边缘检测，从而获取到待补全图像的边缘图像；
93.步骤s13：通过流程机器人调用边缘检测程序，对步骤s11中获取到的减少了图像噪声的图块灰度图像进行边缘检测，从而获取到图块的边缘图像；
94.步骤s14：通过流程机器人调用模板匹配程序，该程序采用了归一化方差模板匹配算法，将步骤s13中所得的图块边缘图像与步骤s12中获取到的待补全图像的边缘图像进行模板匹配，从而找到在待补全图像的边缘图像中，与图块边缘图像匹配度最大的位置坐标，该位置坐标即为待补全图像中缺口所在的位置坐标；
95.步骤s15：通过流程机器人在步骤s3中显示出待补全图像和图块的网页中，通过鼠标点击网页上的图块，并将其移动到根据步骤s14中获取到的待补全图像中缺口所在的位置坐标处，即可完成待补全的图像缺口的识别与图块自动补全的功能。
96.本实施例基于机器人流程自动化技术，结合了多种算法，包括高斯滤波算法、canny多级边缘检测算法和归一化方差模板匹配算法，从而能够自动识别出待补全的图像中缺口所在位置，并通过机器人模拟鼠标操作，自动将图块移动到待补全图像的缺口处，从而实现图像缺口的识别与图块自动补全的功能。
97.本发明能够识别待补全的图像中缺口所在位置，并自动将图块移动到缺口处进行补全。
98.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
99.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。