图片验证码的识别方法、系统、设备及存储介质与流程

本发明涉及深度学习，具体涉及一种图片验证码的识别方法、系统、设备及存储介质。

背景技术：

1、现有的图片验证码识别方法通常使用深度学习模型提取图片特征从而进行分类，但是基于深度学习的方法在样本数据标注上需要耗费巨大的人力物力。一方面图片验证码的种类繁多，各个种类之间差异较大，不方便人工统一标注；一方面深度学习模型训练的数据较大，所需样本制作图片量太大，而且中国汉字数量多，在汉字标注时所需的图片量更大。

技术实现思路

1、本发明要解决的技术问题是为了克服现有技术中图片验证码数据标注难度大，数据标注耗时长，费用高昂的缺陷，提供一种图片验证码识别方法、系统、设备及存储介质。

2、本发明是通过下述技术方案来解决上述技术问题：

3、第一方面，本发明提供一种图片验证码的识别方法，所述识别方法包括以下步骤：

4、根据图片验证码的类别制作验证码标签；

5、根据所述图片验证码的类别，进行图片预处理，制作与所述图片验证码的类别相对应的包含所述验证码标签的样本数据集，所述验证码标签用于区别不同类别图片验证码的矩形框的类别；

6、根据不同的所述样本数据集，分别构建基于所述样本数据集的初始目标检测模型；

7、基于所述样本数据集，分别训练所述初始目标检测模型，得到与所述图片验证码的类别相对应的应用目标检测模型；

8、根据所述应用目标检测模型对待识别图片验证码进行识别。

9、具体地，所述图片验证码包括第一类图片验证码、第二类图片验证码、第三类图片验证码；

10、所述根据图片验证码的类别制作验证码标签的步骤包括：

11、若所述图片验证码为第一类图片验证码，所述第一类图片验证码被若干线条分为面积不同的若干区域，则使用矩形框标识所述若干区域内的最大面积区域，记录所述矩形框在所述图片验证码的位置坐标，获取以数字标号记录矩形框的类别的标签。

12、具体地，所述根据图片验证码的类别制作验证码标签的步骤还包括：

13、若所述图片验证码为第二类图片验证码，所述第二类图片验证码包含具有语义信息的若干中文字符，所述若干中文字符按照预定的顺序排列表征所述语义信息，则使用矩形框标识每个所述字符，记录所述矩形框在所述图片验证码的位置坐标，获取以所述顺序排列的数字标号记录矩形框的类别的标签。

14、具体地，所述根据图片验证码的类别制作验证码标签的步骤还包括：

15、若所述图片验证码为第三类图片验证码，所述第三类图片验证码具有若干中文字符，其中有显示风格不同于其他中文字符的若干字符，则使用矩形框标识显示风格不同于其他字符的若干字符，记录所述矩形框在所述图片验证码的位置坐标，获取以不同显示风格的字符个数的数字排列标号记录矩形框的类别的标签。

16、具体地，所述记录所述矩形框在所述图片验证码的位置坐标的步骤包括：

17、记录所述矩形框的宽度信息和长度信息；

18、记录所述矩形框的左上角的位置坐标信息和右下角的位置坐标信息；

19、所述位置坐标以图片左上角为原点，用图片像素值表示所述位置坐标信息和所述宽度与长度信息。

20、具体地，所述进行图片预处理包括以下步骤：

21、预设像素阈值，低于所述像素阈值的像素为背景噪声，高于所述像素阈值的像素为有效信息，将验证码图片的背景噪声设置为黑色，将有效信息设置为白色，生成灰度图片样本；

22、对所述灰度图片样本进行归一化处理，得到灰度图片样本。

23、具体地，所述根据图片验证码的类别，进行图片预处理，制作与验证码种类相对应的包含所述标签的样本数据集包括以下步骤：

24、根据所述第一类图片验证码，生成第一样本数据集；

25、根据所述第二类图片验证码，生成第二样本数据集；

26、根据所述第三类图片验证码，生成第三样本数据集。

27、第二方面，本发明提供一种图片验证码的识别系统，所述系统包括以下模块：

28、标签制作模块，用于根据图片验证码的类别制作验证码标签；

29、样本数据集制作模块，用于根据所述图片验证码的类别，进行图片预处理，制作与所述类别相对应的包含所述标签的样本数据集，所述标签用于区别不同类别图片验证码的矩形框的类别；

30、模型构建模块，用于根据不同的所述样本数据集，分别构建基于所述样本数据集的初始目标检测模型；

31、训练模块，用于基于所述样本数据集，分别训练所述初始目标检测模型，得到与所述图片验证码的类别相对应的应用目标检测模型；

32、识别模块，用于根据所述应用目标检测模型对待识别图片验证码进行识别。

33、第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图片验证码的识别方法。

34、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图片验证码的识别方法。

35、本发明的积极进步效果在于：将不同类别图片验证码的不同标注方式，转化为统一的标注方式，有利于降低标注过程中的目标种类数；有利于解决人工标记成本过大的问题；有利于减少数据标注的时间；有利于提高图片验证码的识别准确率。

技术特征：

1.一种图片验证码的识别方法，其特征在于，所述识别方法包括以下步骤：

2.如权利要求1所述的识别方法，其特征在于，所述图片验证码包括第一类图片验证码、第二类图片验证码和第三类图片验证码；

3.如权利要求2所述的识别方法，其特征在于，所述根据图片验证码的类别制作验证码标签的步骤还包括：

4.如权利要求2所述的识别方法，其特征在于，所述根据图片验证码的类别制作验证码标签的步骤还包括：

5.如权利要求2-4任意一项所述的识别方法，其特征在于，所述记录所述矩形框在所述图片验证码的位置坐标的步骤包括：

6.如权利要求2-4任意一项所述的识别方法，其特征在于，所述进行图片预处理包括以下步骤：

7.如权利要求6所述的识别方法，其特征在于，所述根据图片验证码的类别，进行图片预处理，制作与验证码种类相对应的包含所述标签的样本数据集包括以下步骤：

8.一种图片验证码的识别系统，其特征在于，所述系统包括以下模块：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的图片验证码的识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的图片验证码的识别方法。

技术总结
本发明公开了一种图片验证码的识别方法、系统、设备及存储介质，该方法包括：根据图片验证码的类别制作验证码标签；根据图片验证码的类别，进行图片预处理，制作与图片验证码的类别相对应的包含验证码标签的样本数据集；根据不同的样本数据集，分别构建基于样本数据集的初始目标检测模型；基于样本数据集，分别训练初始目标检测模型，得到与图片验证码的类别相对应的应用目标检测模型；根据应用目标检测模型对待识别图片验证码进行识别。该方法将不同类别图片验证码的不同标注方式，转化为统一的标注方式，有利于降低标注过程中的目标种类数；有利于解决人工标记成本过大的问题；有利于减少数据标注的时间；有利于提高图片验证码的识别准确率。

技术研发人员：魏小文,何晓力,李可玮
受保护的技术使用者：携程旅游网络技术（上海）有限公司
技术研发日：
技术公布日：2024/3/11