一种基于视频提取特征以进行多目标筛查的方法及系统与流程

本发明属于异常筛查，更具体地涉及一种基于视频提取特征以进行多目标筛查的方法及系统。

背景技术：

1、在目前已知的近7000多种儿童罕见病种中，近50％儿童罕见病与特殊面容存在关联。通常脸部的特征又称面部表型，它包括约100多种，例如眼距过宽、低位耳、小下颌、蓝眼睛、眼睑异常、高鼻梁、张嘴、斜视、连眉等。通过检测面部表型，与罕见病数据库里的内容匹配，就可以为筛查罕见病提供辅助支持。

2、传统的面部异常筛查主要是选取一张包含待筛查者脸部的图片进行的，其过程包括人脸识别、定位、表型识别或者机器学习识别罕见病。大多待筛查者为儿童，儿童比较好动，他们的身体和面部姿态一般处于不断变动的状态，若是机器抓拍可能容易出现所得照片没有明显表现出特征，最终可能导致筛查结果出现错误；若是人工操作拍照，工作者需要进行大量重复繁杂的工作，存在工作效率低的问题。并且不同的拍摄角度也可能导致不同的筛查结果，若只选取单张照片作为检测样本存在偶然性。因此，有必要考虑通过患者的多张图片或者视频来进行分析，这可以有效提高检测的准确率以及工作效率。

3、实际场景中，往往因为大多待异常筛查者为儿童，他们年龄尚小无法独自完成图像采集需要家长陪同，或者因为等待区域的人数众多，可能出现正对在摄像机器，从而使得最后抓取的照片会出现无关人员。这些都容易造成捕捉到符合要求的动态目标的难度增加，若是手动确定每个目标，不但工作效率低，还可能出现因为人工的错误而引起的目标的错误锁定造成误差的情况。因此，有必要提出一种基于视频提取特征以进行多目标筛查的方法，为多目标的异常筛查提供更准确有效的信息。

技术实现思路

1、针对现有多目标筛查的方法存在工作效率低、目标定位不准确、目标信息不全面的问题，本发明提供一种基于视频提取特征以进行多目标筛查的方法，以达到高效、准确定位到目标，将无关人员筛除，为多目标的异常筛查提供更准确有效的信息的目的。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于视频提取特征以进行多目标筛查的方法，包括步骤：

4、s1、获取视频数据，对所述视频数据进行分帧处理以得到多张分帧图片；

5、s2、对所述多张分帧图片进行人脸识别以得到各分帧图片对应的多个人脸边界范围，并在各人脸边界范围内进行特征提取以得到各人脸边界范围内所有人脸特征，并基于所述各人脸边界范围内的所有人脸特征计算得到各人脸边界范围内对应的人脸特征向量；

6、s3、基于所述人脸特征向量之间的相似度判断所述人脸特征向量是否属于同一人，并将属于同一人的所述人脸特征向量对应的所有人脸特征归纳为一组特征组以得到若干特征组，并将所述若干特征组存储到筛查信息库；

7、s4、基于所述筛查信息库对视频中的多个目标进行异常筛查。

8、作为优选方案，步骤s2中，所述人脸特征包括人脸128维基本特征以及人脸几何特征。

9、作为优选方案，步骤s2中，所述人脸几何特征的获取方式为：选取人脸五官位置处相对应点位作为关键点位；获取所述关键点位之间的距离及角度信息，以作为所述人脸几何特征。

10、作为优选方案，所述人脸特征向量的计算方式如下：基于所述人脸128维基本特征计算得到基本特征向量，基于所述人脸几何特征计算得到几何特征向量；基于所述基本特征向量和几何特征向量计算得到所述人脸特征向量。

11、作为优选方案，步骤s3中基于所述人脸特征向量之间的余弦相似度判断所述人脸特征向量是否属于同一人。

12、作为优选方案，所述余弦相似度计算公式为：

13、

14、其中，i表示参与相似度计算的一个人脸特征向量，j表示参与相似度计算的另一个人脸特征向量，sim(i,j)表示参与相似度计算的两个所述人脸特征的相似度，cos(i,j)表示参与相似度计算的两个所述人脸特征向量的余弦值，||i||表示人脸特征向量i的长度，||j||表示人脸特征向量j的长度。

15、第二方面，本发明还提供一种基于视频提取特征以进行多目标筛查的系统，包括依次连接的数据获取模块、特征提取模块、计算模块、判断模块、归纳模块、存储模块、筛查模块；

16、所述数据获取模块，用于获取视频数据，还用于对所述视频数据进行分帧处理以得到多张分帧图片；

17、所述特征提取模块，用于对所述多张分帧图片进行人脸识别以得到各分帧图片对应的多个人脸边界范围，并在各人脸边界范围内进行特征提取以得到各人脸边界范围内所有人脸特征；所述计算模块，用于基于所述各人脸边界范围内的所有人脸特征计算得到各人脸边界范围内对应的人脸特征向量；

18、所述判断模块，用于基于所述人脸特征向量之间的相似度判断所述人脸特征向量是否属于同一人；

19、所述归纳模块，用于将属于同一人的所述人脸特征向量对应的所有人脸特征归纳为一组特征组以得到若干特征组；

20、所述存储模块，用于将所述多个特征组存储到筛查信息库；

21、所述筛查模块，用于基于所述筛查信息库对视频中的多个目标进行异常筛查。

22、作为优选方案，所述特征提取模块，用于选取人脸五官位置处相对应点位作为关键点位，并获取所述关键点位之间的距离及角度信息，以作为所述人脸几何特征，还用于提取所述人脸128维基本特征。

23、作为优选方案，所述计算模块，基于所述人脸128维基本特征计算得到基本特征向量，还基于所述人脸几何特征计算得到几何特征向量，并基于所述基本特征向量和几何特征向量计算得到所述人脸特征向量。

24、作为优选方案，所述判断模块，基于所述人脸特征向量之间的余弦相似度判断所述人脸特征向量是否属于同一人。

25、本发明与现有技术相比，有益效果是：

26、本发明，以动态视频作为数据库源，叠加使用人脸的基本特征和几何特征作为筛查的特征范围，计算并叠加基本特征向量和几何特征向量得到人脸特征向量，通过比较人脸特征向量之间的相似度归纳属于同一人的人脸特征，最终输出一个包含多组特征用于异常筛查的信息库。

27、具体的，一方面，本发明通过视频数据获得多个连续时刻的图像，相比于常规的异常筛查只选取单张图片作为筛查信息源，减少了由于筛查样本数量太少产生的目标定位不准确、目标信息不全面的情况发生，得到的用于异常筛查的信息更全面更准确，有效避免了避免偶然性误差，从而有效提高了异常筛查的准确率。

28、具体的，另一方面，本发明通过叠加使用人脸的基本特征和几何特征作为筛查的特征范围，相比于常规的异常筛查只选用人脸128维的基本特征，几何特征是通过选取人脸五官位置处作为关键点位，并获取这些关键点位的距离和角度信息得到，减少了由于在目标定位时目标人物姿态或位置不同，使得脸部特征展示不完全，机器识别不清晰则可能会忽略这个信息的情况发生，这使得到的用于异常筛查的特征更丰富，这些特征更能体现异常者的特异性表型，用于异常筛查的信息更全面更准确，从而有效提高了异常筛查的准确率。

29、进一步地或者更细节的有益效果将在具体实施方式中结合具体实施例进行说明。