一种基于号码牌识别和人脸识别的运动员照片分拣方法与流程

本发明涉及深度学习、图像处理、模式识别、目标识别等技术领域，尤其是一种针对拍摄到的大量运动员照片，实现人脸识别与号码牌识别相结合的图像分拣方法，该方法适用于各类大小赛事，例如运动会、马拉松等。

背景技术：

随着生活质量的提高，国民更加注重体质健康问题，全民健身文化得到了广泛传播。马拉松作为一个城市性的体育活动，可以全民参加，同时马拉松赛事的举办有助于城市宣传。因此，近年来，马拉松比赛得到了全面推广，参赛人数也逐年递增。参赛选手对于比赛过程中拍摄到的个人照片极为关注，然而赛事主办方普遍存在图像分拣技术不足的情况，一般采用一些简单技术手段辅助以人工分拣进行，效率较低，无法满足运动员需求。人脸和号码牌是运动员的重要标识，专利“一种基于支持向量机的号码牌识别201610319459.7”和专利“基于运动员号码识别的马拉松比赛照片管理方法201610878963.0”提出了号码牌识别的相关方法，其方法以颜色、形状特征或以全局扫描找寻数字字符的形式进行号码牌定位和识别，容易造成定位不准确、识别精度不高的情况；此外，由于号码牌是非刚性的，会产生不同程度的形变，运动员跑步过程中也会对其造成不同形式的遮挡，仅依赖号码牌对比赛照片进行筛选易产生大量无法准确分拣的照片。

技术实现要素：

为了克服已有运动员照片分拣方式的人工分类速度慢，效率低，单一形式的分拣方式识别率较低的不足，本发明提供了一种识别效率高、鲁棒性强、识别率高的基于号码牌识别和人脸识别的运动员照片分拣方法；同时，为了适应复杂环境下多号码牌定位及号码牌出现的扭曲、遮挡等情况，字符分割难度较大、识别精度低等问题，本发明提供了一种cnn与rnn相结合的号码牌定位和识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于号码牌识别和人脸识别的运动员照片分拣方法，所述分拣方法包括如下步骤：

1)对比赛过程中拍摄到的运动员照片集进行预处理，得到imgt,其中t＝1,2,3,...,t，t为照片总量；

2)采用人脸识别算法对照片集进行分拣，每人一个文件夹si，其中，i＝1,2,3,...,n，n为照片集可人脸分拣的运动员数量，对于无法以人脸进行分拣的照片放入文件夹sort_f中，过程如下：

2.1)采用基于深度学习的人脸识别算法对每张照片进行多人脸定位和特征提取，得到特征fm，其中，m＝1,2,3,...,m，m为照片集中提取到的人脸数目，并将相应人脸信息存放于数据库中；

2.2)分拣过程如下：

2.2.1)计算fm与f1的相似度simj，m＝2,3,4,...,m，如若simm＞thrs，其中，m＝2,3,4,...,m，thrs为人脸相似度阈值，则将fm对应的图片拷贝入文件夹s1中，假定文件夹s1中图片数量为m1；

2.2.2)在剩余的m-m1个特征中选择一个特征与剩余的m-m1-1个特征进行相似度比较，将相似度大于阈值thrs对应的图片拷贝入文件夹s2中；

2.2.3)依次对剩余照片进行分拣，最终得到文件夹s1,s2,s3,...,sn，并将无法以人脸进行分拣的照片拷贝入文件夹sort_f中；

3)分别对步骤2)得到的文件夹si中的照片进行号码牌识别，综合多个识别结果，将对应文件夹重命名为对应号码，过程如下：

3.1)对文件夹si中的照片进行号码牌定位和号码牌识别；

3.2)对每个识别进行字符长度判断，舍弃长度异常的结果；

3.3)对剩余识别结果进行对比分析，得到置信度最高的识别结果，并将对应文件夹重命名为相应号码；

4)对步骤2)中文件夹sort_f中的照片进行号码牌识别，将识别出来的照片放入对应号码的文件夹中。

进一步，所述步骤2)中人脸定位是采用级联卷积神经网络(cnn)，网络同步进行是否为人脸的判定及人脸的关键点定位，根据关键点进行人脸归一化，得到归一化为118*118的人脸图片；而后使用28层残差网络进行特征提取。

再进一步，所述步骤3)和步骤4)中号码牌定位和识别过程为：

号码牌定位：①对输入图像以卷积神经网络(cnn)进行特征提取，得到特征模板(featuremap)w×h×l，其中，w为featuremap的宽，h为featuremap的高，l为featuremap的个数；②使用3×3的滤波器对featuremap进行滤波，每一行得到w×256的特征序列，将特征序列输入到双向长短时记忆单元(bi-directionallongshort-timememory，blstm)，得到w×256特征，然后输入到512维全连接层，而后连接三个并行全连接层，其功能分别为上下边界回归，左右边界回归和类别信息；最终得到文本区域；③将步骤②中检测到的文本区域再次以分类器进行判断，得到输入图像中号码牌区域。

号码牌识别：号码牌字符识别中不进行字符分割，step1直接采用cnn的卷积层和池化层进行预处理，得到图像特征；step2以循环网络(recurrentneuralnetwork，rnn)对特征进行序列预测；step3对步骤step2中的预测结果通过转换层得到最终的号码牌字符序列。

所述step2中，rnn采用深度多层双向长短时记忆单元(deepbidirectionallongshort-timememory，dblstm)。

本发明的有益效果主要表现在：针对已有运动员照片分拣方式的人工分类速度慢，效率低，单一形式的分拣方式识别率较低等情况，本发明通过人脸识别与号码牌识别相结合的方法进行照片分拣；同时，为了适应复杂环境下多号码牌定位及号码牌出现的扭曲、遮挡等情况，字符分割难度较大的问题，本发明提供了一种cnn与rnn相结合的号码牌定位和识别方法。

附图说明

图1是本发明实现的流程图。

图2是号码牌定位方法流程图。

具体实施方式

下面结合附图对本发明作进一步描述，应当理解，此处所描述的实例仅用于说明和解释本发明，并不用于限定本发明。

参照图1和图2，一种基于号码牌识别和人脸识别的运动员照片分拣方法，包括如下步骤：

如图1所示，一种基于号码牌识别和人脸识别的运动员照片分拣方法，所述分拣方法主要包括基于人脸识别的图像分拣和基于号码牌识别的图像分拣，具体步骤如下：

1)对比赛过程中拍摄到的运动员照片集进行预处理(角度、方位校正等)，得到imgt,其中t＝1,2,3,...,t，t为照片总量；

2)基于人脸识别的图像分拣，具体过程如下：

采用人脸识别算法对照片集进行分拣，每人一个文件夹si，其中，i＝1,2,3,...,n，n为照片集可人脸分拣的运动员数量，对于无法分拣的照片放入文件夹sort_f中；

2.1)所述步骤2.1)中人脸识别过程具体如下：采用级联卷积神经网络(cnn)对步骤1)中的所有照片进行人脸定位，cnn在人脸定位过程中同步进行人脸的关键点定位，并根据关键点信息对人脸进行归一化处理，得到大小为118*118的人脸图片；而后使用28层残差网络进行特征提取，得到特征fm(其中，m＝1,2,3,...,m，m为照片集中提取到的人脸数目)并将相应人脸信息存放于数据库中；

2.2)分拣过程如下：

2.2.1)计算fm(m＝2,3,4,...,m)与f1的相似度simm，如若simm＞thrs(其中，m＝2,3,4,...,m，thrs为人脸相似度阈值)，则将fm对应的图片拷贝入文件夹s1中，假定文件夹s1中图片数量为m1；

2.2.2)在剩余的m-m1个特征中选择一个特征与剩余的m-m1-1个特征进行相似度比较，类似于步骤2.2.1)将相似度大于阈值thrs对应的图片拷贝入文件夹s2中；

2.2.3)类似于步骤2.2.2)依次对剩余照片进行分拣，最终得到文件夹s1,s2,s3,...,sn，并将无法分拣的照片拷贝入文件夹sort_f中；

3)基于号码牌识别的进一步分拣和文件夹管理

3.1)分别对步骤2)得到的文件夹si中的照片进行号码牌定位和号码牌识别

3.1.1)由于号码牌中字符为一个序列，在同一文本线上，而同一文本线上不同字符之间是存在联系的，充分考虑rnn对序列特征识别的优势，本发明号码牌定位和识别均采用cnn与rnn相结合的方法，此方法对于号码牌形变、款式、颜色等均有很强的鲁棒性，同时可以有效提高检测精度。如图2所示，号码牌定位包括：①对输入图像以卷积神经网络(cnn)进行深度语义特征提取，得到特征模板(featuremap)w×h×l(其中，w为featuremap的宽，h为featuremap的高，l为featuremap的个数)，此过程中剔除cnn中的全连接层；②使用3×3的滤波器对featuremap进行滤波，每一行得到w×256的特征序列，将特征序列输入到双向长短时记忆单元(bi-directionallongshort-timememory，blstm，此为rnn的一种网络类别)，得到w×256特征，然后输入到512维全连接层fc1，而后连接三个并行全连接层fc2，其功能分别为上下边界回归，左右边界回归和类别信息；最终得到文本区域；③将步骤②中检测到的文本区域再次以分类器进行二分类判断，得到输入图像中号码牌区域；

3.1.2)号码牌识别：类似于号码牌定位的思想，识别亦以rnn与cnn相结合的方法进行，不同之处在于，识别过程中的cnn网络结构、rnn网络结构和类型与定位过程是不一样的。由于号码牌的形变会导致号码字符粘连，这对字符分割造成了极大的挑战，而字符分割的效果又直接影响到识别效果，受益于cnn强大的特征学习能力和rnn的字符序列识别能力，本发明在号码牌识别过程中不进行字符分割，step1直接采用cnn的卷积层和池化层进行预处理，提取图像特征；step2以循环网络(recurrentneuralnetwork，rnn)对特征进行序列预测；step3对步骤step2中的预测结果通过转换层得到最终的号码牌字符序列。所述步骤step2中rnn采用深度多层双向长短时记忆单元(deepbidirectionallongshort-timememory，dblstm)

3.2)对每个识别结果进行字符长度判断，舍弃长度异常的结果；

3.3)对剩余识别结果进行对比分析，得到置信度最高的识别结果，并将对应文件夹重命名为相应号码；

4)对步骤2)中文件夹sort_f中的照片进行如步骤3.1)描述的方法进行号码牌识别，将识别出来的照片放入对应号码的文件夹中。