一种中文复杂场景文本检测与识别方法与流程

本发明涉及计算机视觉领域，具体涉及一种中文复杂场景文本检测与识别方法。

背景技术：

一直以来，文本都在人们生活中发挥着重要的作用。文本中包含丰富而精确的信息对基于视觉的应用来说非常重要，比如：图像检索、目标定位、人机交互、机器人导航以及工业自动化等等。自动的文本检测提供了一种获取、利用图片与视频中文本信息的方法，因而成为计算机视觉和文档分析领域的热门研究课题。

自然场景文本检测是一项既重要又极其富有挑战的任务。由于自然场景文本检测通常是在开放场景下对场景中的文本进行识别，因此光照、角度和畸变等因素对文本检测造成很大的干扰，严重影响文本检测的准确性。传统的文本检测普遍使用基于连通部件的技术，但是该技术只能提取较为明显的文本区域，难以将图像中全局信息考虑在内，因此该技术性能较为有限。目前基于深度学习的自然场景文本检测由于大多采用了基于候选框的技术，其性能相比传统方法有较大提升。

基于深度学习的通用目标检测方法可以分为两大类：基于区域的方法和基于回归的方法。前者比如：fast-rcnn、faster-rcnn和r-fcn，这些方法能够获得很高的准确率，但运行速度较慢。后者比如：ssd和yolo，这些方法追求算法的实时性也能获得较好的检测结果。在这些方法中，yolo因其速度快、精度高而成为一种广泛应用的高效算法。

技术实现要素：

本发明提供了一种中文复杂场景文本检测与识别方法，实现了基于深度学习的中文复杂场景文本检测与识别，具有较高的文本检测与识别性能。

本发明技术方案为一种中文复杂场景文本检测与识别方法，该方法以下步骤：

s0：获取中文复杂场景样本数据，将其以8:2的比例划分为训练集和测试集的样本图像；

s1：对训练集样本进行图像预处理操作，使其作为训练模型的输入；

s2：将训练集样本通过改进的darknet-19网络进行文字区域特征向量的提取；

s3：将训练样本输入到预设的yolov2网络模型中进行训练，得到文本检测与识别的模型；

s4：将测试样本输入到训练好的模型中进行测试，得到最终识别的检测框以及字符实例的分类结果。

所述步骤s0的操作过程如下：

s00：获取自然场景文本检测与识别的图像数据；

s01：将其以8:2的比例划分为训练集和测试集；

s02：对获取的图像数据样本进行类别标注，将待检测的目标种类分为1001个类别，即前1000类频繁观察到的字符种类和“其他”类别；

s03：对获取的图像数据样本进行位置标注，记录目标字符的位置坐标；

s04：将上述的类别标注和相应的位置标注信息转换为xml的文件格式。

所述步骤s1的操作过程如下：

s10：对所获得的自然场景文本检测与识别的图像数据样本进行角度旋转、放大、缩小、裁剪、调整饱和度和亮度等操作增大样本容量。

所述步骤s2的操作过程如下：

s20：将特征提取网络分为27层，包括22个卷积层和5个池化层，具体网络结构及设置如下：

（1）第1、3、5、6、7、9、10、11、13、14、15、16、17、19、20、21、22、23、24、25、26、27层为卷积层，第2、4、8、12、18层为池化层；

（2）卷积层中第1、3、5、7、9、11、13、15、17、19、21、23、24、25、26层卷积核的大小设置为3×3，卷积核深度设置分别为32、64、128、128、256、256、512、512、512、1024、1024、1024、1024、1024、1024，第6、10、14、16、20、22、27层卷积核的大小设置为1×1，卷积核深度设置分别为64、128、256、256、512、256、5030；

（3）池化层中第2、4、8、12、18层进行池化操作的方式为最大池化方式，卷积核的大小设置为2×2，步长设置为2；

s21：使用上述特征提取网络在1000分类的imagenet图片数据集进行200轮训练，将模型的网络输入设置416×416，采用梯度下降算法，将decay设置为0.0005，momentum设置为0.9，learningrate设置为0.001；

s22：再使用自然场景文本图像数据样本集，对特征提取网络继续进行微调，训练15轮，此时将learningrate设置为0.0001，进而生成特征提取网络的预训练模型。

所述步骤s3的操作过程如下：

s30：使用672×672×3大小的样本图像作为模型的输入；

s31：获得步骤s20中特征提取网络第7层输出的168×168×128维特征图；

s32：将步骤s31中输出的168×168×128维特征图经卷积核大小为3×3，深度为128和卷积核大小为1×1，深度为16两个卷积层，并进行reorg/8的下采样，输出21×21×1024维特征图；

s33：获得步骤s20中特征提取网络第11层输出的84×84×256维特征图；

s34：将步骤s33中输出的84×84×256维特征图经卷积核大小为3×3，深度为256和卷积核大小为1×1，深度为32两个卷积层，并进行reorg/4的下采样，输出21×21×512维特征图；

s35：获得步骤s20中特征提取网络第17层输出的42×42×512维特征图；

s36：将步骤s35中输出的42×42×512维特征图经卷积核大小为3×3，深度为512和卷积核大小为1×1，深度为64两个卷积层，并进行reorg/2的下采样，输出21×21×256维特征图；

s37：获得步骤s20中特征提取网络第25层输出的21×21×1024维特征图；

s38：将步骤s32、s34、s36、s37中所得到的特征图进行拼接整合最终得到21×21×2816维特征图；

s39：将步骤s38中输出的21×21×2816维特征图经卷积核大小为3×3，深度为1024和卷积核大小为1×1，深度为5030两个卷积层，输出21×21×5030维特征图。

所述步骤s4的操作过程如下：

s41：将目标图像划分为s×s个网格，对每个网格划分为b个先验框；每个先验框包含有4个参数，分别为该框的中心点坐标、高、宽以及置信度；

s42：对每个先验框中心点坐标、高和宽进行归一化处理；

s43：计算每个先验框的置信度得分，根据预先设置的分数阈值，删除低于阈值的先验框；

s44：根据非极大值抑制操作保留置信度得分最大的先验框，即得到最终识别的检测框以及检测框内字符实例的分类结果。

与现有技术相比，本发明提供的技术方案的有益效果是：

1.本发明实现了端到端的复杂场景的文本检测与识别，相较于传统的方法，具有更强的准确性和鲁棒性，能够一次识别图像样本中的多个字符实例目标；

2.针对小字符识别效果不理想的问题，本发明将不同深度网络得到的特征图进行拼接，在不损失大字符检测性能的情况下，提高了小字符检测性能；

3.针对yolov2网络初始的先验框参数不适用于文本图像检测的问题，本发明采用了k-means++聚类方法对复杂场景图像中的文本标签重新进行聚类分析，解决了k-means算法对初始簇心比较敏感的问题。

附图说明

图1为本发明的方法流程图。

图2为本发明的网络结构图。

图3为本发明的检测结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1。

本发明示例提供了一种中文复杂场景文本检测与识别方法，该方法包括以下步骤：

s0：获取中文复杂场景样本数据，将其以8:2的比例划分为训练集和测试集的样本图像；

s1：对训练集样本进行图像预处理操作，使其作为训练模型的输入；

s2：将训练集样本通过改进的darknet-19网络进行文字区域特征向量的提取；

s3：将训练样本输入到预设的yolov2网络模型中进行训练，得到文本检测与识别的模型；

s4：将测试样本输入到训练好的模型中进行测试，得到最终识别的检测框以及字符实例的分类结果。

所述步骤s0的操作过程如下：

s00：获取自然场景文本检测与识别的图像数据；

s01：将其以8:2的比例划分为训练集和测试集；

s02：对获取的图像数据样本进行类别标注，将待检测的目标种类分为1001个类别，即前1000类频繁观察到的字符种类和“其他”类别；

s03：对获取的图像数据样本进行位置标注，记录目标字符的位置坐标；

s04：将上述的类别标注和相应的位置标注信息转换为xml的文件格式。

所述步骤s1的操作过程如下：

s10：对所获得的自然场景文本检测与识别的图像数据样本进行角度旋转、放大、缩小、裁剪、调整饱和度和亮度等操作增大样本容量。

所述步骤s2的操作过程如下：

s20：将特征提取网络分为27层，包括22个卷积层和5个池化层，具体网络结构及设置如下：

（1）第1、3、5、6、7、9、10、11、13、14、15、16、17、19、20、21、22、23、24、25、26、27层为卷积层，第2、4、8、12、18层为池化层；

（2）卷积层中第1、3、5、7、9、11、13、15、17、19、21、23、24、25、26层卷积核的大小设置为3×3，卷积核深度设置分别为32、64、128、128、256、256、512、512、512、1024、1024、1024、1024、1024、1024，第6、10、14、16、20、22、27层卷积核的大小设置为1×1，卷积核深度设置分别为64、128、256、256、512、256、5030；

（3）池化层中第2、4、8、12、18层进行池化操作的方式为最大池化方式，卷积核的大小设置为2×2，步长设置为2；

s21：使用上述特征提取网络在1000分类的imagenet图片数据集进行200轮训练，将模型的网络输入设置416×416，采用梯度下降算法，将decay设置为0.0005，momentum设置为0.9，learningrate设置为0.001；

s22：再使用自然场景文本图像数据样本集，对特征提取网络继续进行微调，训练15轮，此时将learningrate设置为0.0001，进而生成特征提取网络的预训练模型。

所述步骤s3的操作过程如下：

s30：使用672×672×3大小的样本图像作为模型的输入；

s31：获得步骤s20中特征提取网络第7层输出的168×168×128维特征图；

s32：将步骤s31中输出的168×168×128维特征图经卷积核大小为3×3，深度为128和卷积核大小为1×1，深度为16两个卷积层，并进行reorg/8的下采样，输出21×21×1024维特征图；

s33：获得步骤s20中特征提取网络第11层输出的84×84×256维特征图；

s34：将步骤s33中输出的84×84×256维特征图经卷积核大小为3×3，深度为256和卷积核大小为1×1，深度为32两个卷积层，并进行reorg/4的下采样，输出21×21×512维特征图；

s35：获得步骤s20中特征提取网络第17层输出的42×42×512维特征图；

s36：将步骤s35中输出的42×42×512维特征图经卷积核大小为3×3，深度为512和卷积核大小为1×1，深度为64两个卷积层，并进行reorg/2的下采样，输出21×21×256维特征图；

s37：获得步骤s20中特征提取网络第25层输出的21×21×1024维特征图；

s38：将步骤s32、s34、s36、s37中所得到的特征图进行拼接整合最终得到21×21×2816维特征图；

s39：将步骤s38中输出的21×21×2816维特征图经卷积核大小为3×3，深度为1024和卷积核大小为1×1，深度为5030两个卷积层，输出21×21×5030维特征图。

所述步骤s4的操作过程如下：

s41：将目标图像划分为s×s个网格，对每个网格划分为b个先验框；每个先验框包含有4个参数，分别为该框的中心点坐标、高、宽以及置信度；

s42：对每个先验框中心点坐标、高和宽进行归一化处理；

s43：计算每个先验框的置信度得分，根据预先设置的分数阈值，删除低于阈值的先验框；

s44：根据非极大值抑制操作保留置信度得分最大的先验框，即得到最终识别的检测框以及检测框内字符实例的分类结果。

综上所述，本实施例的一种中文复杂场景文本检测与识别方法，采用改进的yolov2算法，能够实现端到端的复杂场景的文本检测与识别，较好地解决了小字符检测性能差以及初始的先验框参数不适用于文本图像检测的问题，提高了检测与识别的准确率和鲁棒性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。