一种基于视频方式的人脸识别样本采集方法及系统的制作方法
【专利摘要】本发明提供一种基于视频方式的人脸识别样本采集方法及系统，首先获取视频的图像帧中具有运动信息的图像区域，然后检测所述图像区域以获取人脸像素区域，接着对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧，再对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征，最后存储所述人脸特征。整个人脸识别样本采集的过程不需要样本采集工作者手动操作，采集的速度快、效率高。
【专利说明】一种基于视频方式的人脸识别样本采集方法及系统
【技术领域】
[0001]本发明涉及人脸识别【技术领域】，特别涉及一种基于视频方式的人脸识别样本采集方法及系统。
【背景技术】
[0002]人脸识别不仅是人工智能领域的研宄热点，在公共安全领域，其研宄也有着重要的现实意义。人脸识别技术包括人脸图像样本采集、样本图像预处理、分类器训练和样本识别这几个技术环节，而样本采集工作是人脸识别的基石，其意义不言而喻。
[0003]人脸识别样本采集工作以往都是基于图像的方式。比如，先让志愿者依次有序的处于某个拍摄点；然后，样本采集工作者根据姿态、光照、表情等差异对志愿者进行多次拍摄；最后，样本采集工作者根据拍摄得到的图像进行筛选处理，建立人脸识别样本库。这种基于图像的方式虽然直观，但仍然存在三点不足:第一，让大量的志愿者依次有序的处于拍摄点进行多次拍照，这种做法十分耗时耗力；第二，人脸识别对人脸样本在分辨率上有严格的要求，因此，拍摄的图像能否达到识别标准，尚须要样本采集工作者一一查验；第三，样本整理是一个长期过程，样本采集工作者在整理时难免产生工作疲劳，因此，入库的人脸信息也存在错误的风险。
[0004]现有技术中也有一些人脸识别样本采集工作是基于视频方式的。比如，用监控摄像机在某一定点拍摄视频，样本采集工作者在后台截取视频中含有人脸的图像帧，然后对含有人脸的图像帧根据姿态、光照、表情等进行识别，将符合的图像帧放入人脸识别样本库。这种基于视频方式的样本采集技术，不需要志愿者依次有序的处于拍摄点进行多次拍摄，但是还是需要样本采集工作者手动选取含有人脸的图像帧，并人工查验该图像帧是否达到识别标准，再进行样本整理。整个过程费时费力，效率低。
【发明内容】
[0005]为此，本发明所要解决的技术问题在于现有技术中基于视频的人脸识别样本采集方法速度慢、耗时长且效率低，从而提出一种基于视频方式的人脸识别样本采集方法及系统。
[0006]为解决上述技术问题，本发明提供如下技术方案:
[0007]一种基于视频方式的人脸识别样本采集方法，包括如下步骤:
[0008]获取视频的图像帧中具有运动信息的图像区域；
[0009]检测所述图像区域以获取人脸像素区域；
[0010]对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧；
[0011]对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征；
[0012]存储所述人脸特征。
[0013]上述基于视频方式的人脸识别样本采集方法，所述获取视频的图像帧中具有运动信息的图像区域步骤包括:
[0014]利用所述视频中的初始图像帧建立背景模型；
[0015]对当前图像帧建立前景模型；
[0016]计算所述背景模型和所述前景模型的差异；
[0017]获取在前景模型和背景模型之间的差异大于预设阈值的像素区域，作为具有运动信息的图像区域。
[0018]上述基于视频方式的人脸识别样本采集方法，所述检测所述图像区域以获取人脸像素区域步骤包括:
[0019]对当前图像帧建立图像金字塔；
[0020]载入离线训练的各姿态人脸模型；
[0021]计算各层图像金字塔上的特征；
[0022]计算所述特征在离线训练的各姿态人脸模型上的响应值；
[0023]获取最大响应值达到人脸检测阈值的图像帧，提取当前图像帧中人脸像素区域及人脸的姿态信息。
[0024]上述基于视频方式的人脸识别样本采集方法，所述对所述含有人脸的图像帧中人脸像素区域进行跟踪步骤包括:
[0025]建立人脸跟踪模型和人脸轨迹初始节点；
[0026]计算当前图像帧中人脸像素区域的纹理特征和边缘特征在人脸跟踪模型上的响应;
[0027]将当前图像帧中最大响应所对应的人脸像素区域坐标加入人脸轨迹的尾部节占.V，
[0028]若当前图像帧的人脸像素区域到达图像帧的边界时，结束跟踪，获取从人脸轨迹初始节点到人脸轨迹尾部节点的同一人脸的历史图像帧。
[0029]上述基于视频方式的人脸识别样本采集方法，所述对质量高的同一人脸的历史图像帧进行人脸特征提取步骤包括:
[0030]对质量高的图像帧进行光照预处理；
[0031]计算经光照预处理后的图像帧中人脸像素区域的人脸特征；
[0032]对所述人脸特征进行主要成分分析和独立成分分析；
[0033]获取人脸识别所需的人脸特征。
[0034]上述基于视频方式的人脸识别样本采集方法，所述存储所述人脸特征步骤包括:
[0035]将所述人脸特征与人脸样本库中的各个人脸特征进行比对；
[0036]若所述人脸特征与人脸样本库中某一个人脸特征相近，则将所述人脸特征及对应的人脸像素区域存储到相近的该人脸特征样本信息样本库中；
[0037]若所述人脸特征与人脸样本库中各个人脸特征差异较大，则新建一个人脸特征信息样本库存储所述人脸特征及对应的人脸像素区域。
[0038]一种基于视频方式的人脸识别样本采集系统，包括:
[0039]图像区域获取模块，用于获取视频的图像帧中具有运动信息的图像区域；
[0040]人脸检测模块，用于检测所述图像区域以获取人脸像素区域；
[0041]人脸跟踪模块，用于对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧；
[0042]人脸特征获取模块，用于对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征；
[0043]人脸特征存储模块，用于存储所述人脸特征。
[0044]上述基于视频方式的人脸识别样本采集系统，所述图像区域获取模块包括:
[0045]背景模型建立子模块，用于利用所述视频中的初始图像帧建立背景模型；
[0046]前景模型建立子模块，用于对当前图像帧建立前景模型；
[0047]差异计算子模块，用于计算所述背景模型和所述前景模型的差异；
[0048]图像区域获取子模块，用于获取在前景模型和背景模型之间的差异大于预设阈值的像素区域，作为具有运动信息的图像区域。
[0049]上述基于视频方式的人脸识别样本采集系统，所述人脸检测模块中:
[0050]图像金字塔建立子模块，用于对当前图像帧建立图像金字塔；
[0051]离线模型载入子模块，用于载入离线训练的各姿态人脸模型；
[0052]特征计算子模块，用于计算各层图像金字塔上的特征；
[0053]响应值计算子模块，用于计算所述特征在离线训练的各姿态人脸模型上的响应值；
[0054]人脸像素区域获取子模块，用于获取最大响应值达到人脸检测阈值的图像帧，提取当前图像帧中人脸像素区域及人脸的姿态信息。
[0055]上述基于视频方式的人脸识别样本采集系统，所述人脸跟踪模块包括:
[0056]人脸跟踪模型建立子模块，用于建立人脸跟踪模型和人脸轨迹初始节点；
[0057]特征响应计算子模块，用于计算当前图像帧中人脸像素区域的纹理特征和边缘特征在人脸跟踪模型上的响应；
[0058]最大响应处理子模块，用于将当前图像帧中最大响应所对应的人脸像素区域坐标加入人脸轨迹的尾部节点；
[0059]同一人脸的历史图像帧获取子模块，用于在当前图像帧的人脸像素区域到达图像帧的边界时，结束跟踪，获取从人脸轨迹初始节点到人脸轨迹尾部节点的同一人脸的历史图像帧。
[0060]上述基于视频方式的人脸识别样本采集系统，所述人脸特征获取模块包括:
[0061]预处理子模块，用于对质量高的图像帧进行光照预处理；
[0062]人脸特征计算子模块，用于计算经光照预处理后的图像帧中人脸像素区域的人脸特征；
[0063]人脸分析子模块，用于对所述人脸特征进行主要成分分析和独立成分分析；
[0064]人脸特征获取子模块，用于获取人脸识别所需的人脸特征。
[0065]上述基于视频方式的人脸识别样本采集系统，所述人脸特征存储模块包括:
[0066]人脸特征比对子模块，用于将人脸特征获取模块中所述人脸特征与人脸样本库中的各个人脸特征进行比对；
[0067]人脸特征存储子模块，用于若所述人脸特征与人脸样本库中某一个人脸特征相近，则将所述人脸特征及对应的人脸像素区域存储到相近的该人脸特征样本信息样本库中；若所述人脸特征与人脸样本库中各个人脸特征差异较大，则新建一个人脸特征信息样本库存储所述人脸特征及对应的人脸像素区域。
[0068]本发明的上述技术方案相比现有技术具有以下优点:
[0069](I)本发明所述的一种基于视频方式的人脸识别样本采集方法及系统，首先获取视频的图像帧中具有运动信息的图像区域，然后检测所述图像区域以获取人脸像素区域，接着对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧，再对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征，最后存储所述人脸特征。整个人脸识别样本采集的过程不需要样本采集工作者手动操作，采集的速度快、效率高。
【专利附图】
【附图说明】
[0070]为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0071]图1是本发明一个实施例的一种基于视频方式的人脸识别样本采集方法流程图；
[0072]图2是本发明一个实施例的一种获取具有运动信息的图像区域的方法流程图；
[0073]图3是本发明一个实施例的一种人脸检测的方法流程图；
[0074]图4是本发明一个实施例的一种人脸跟踪的方法流程图；
[0075]图5是本发明一个实施例的一种人脸特征获取的方法流程图；
[0076]图6是本发明的一个实施例的一种人脸识别样本采集信息网络拓扑结构图；
[0077]图7是本发明一个实施例的一种人脸识别样本采集方法流程图；
[0078]图8是本发明一个实施例的一种基于视频方式的人脸识别样本采集系统框图。
[0079]图中附图标记表示为:1_普通采集前端、2-智能采集前端、3-前端处理器、4-第一服务器、5-第二服务器、6-第一客户端、7-第二客户端。
【具体实施方式】
[0080]实施例1
[0081]本实施例提供一种基于视频方式的人脸识别样本采集方法，如图1所示，包括如下步骤:
[0082]S1:获取视频的图像帧中具有运动信息的图像区域，如图2所示，包括:
[0083]先利用视频的初始图像帧建立每个像素或像素区域的背景模型，初始图像帧可以选取第I帧或者前3帧。
[0084]对当前图像帧中每个像素或像素区域建立前景模型。
[0085]计算每个像素或像素区域的背景模型与前景模型之间的差异。
[0086]确定一个预设阈值20*20像素，如果产生所述差异的像素区域的连通区域小于所述预设阈值，说明当前帧图像未产生运动信息，不可能存在人脸，删除不可能产生人脸的图像帧，更新背景模型，如果产生所述差异的像素区域的连通区域大于等于所述预设阈值，说明当前帧图像产生运动信息，可能存在人脸，保留当前帧并获取所述像素区域作为具有运动信息的图像区域。
[0087]S2:检测所述图像区域以获取人脸像素区域，如图3所示，包括:
[0088]对当前帧图像建立图像金字塔，对步骤SI中获取的具有运动信息的图像区域进行缩放并生成图像金字塔。
[0089]载入离线训练的各姿态人脸模型，所述多姿态人脸模型中用于人脸检测的人脸像素区域为20*20像素。所述离线训练的各姿态人脸模型是预先离线训练好的，在本方法中只要载入就可以使用。各姿态人脸模型的离线训练过程为:首先将采集的含有真实人脸的图像存储至人脸正样本库；采集的不含有人脸的图像存储至人脸负样本库；通过样本采集工作者人工标定，确定出正样本库中人脸在采集图像中的精确坐标和姿态朝向；根据人脸坐标信息从采集图像中提取背景干扰较少的人脸像素区域，并计算所述像素区域的特征，所述特征为Haar特征；对所述特征进行整合，获得离线训练的各姿态人脸模型。
[0090]计算各层图像金字塔上的特征，所述特征为Haar特征。
[0091]计算所述特征在离线训练的各姿态人脸模型上的响应值，通过将各层图像金字塔上的特征在离线训练的各姿态人脸模型上进行滤波操作从而得到响应值。
[0092]综合分析所述响应值，获取最大响应值，若最大响应值小于人脸检测阈值，则输出非人脸标识，删除当前图像帧；若最大响应值大于等于人脸检测阈值，则输出人脸标识，提取当前图像帧中人脸像素区域及人脸的姿态信息。
[0093]S3:对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧，如图4所示，包括:
[0094]建立人脸跟踪模型和人脸轨迹初始节点，先判断在步骤S2中获取的当前图像帧中人脸像素区域是否已经有人脸跟踪模型:如果没有，则计算人脸区域的纹理和边缘特征并形成人脸跟踪模型，并将人脸像素区域坐标加入人脸轨迹初始节点，所述人脸跟踪模型可以由一族Haar滤波器组成；若果有，则继续下一步骤。
[0095]计算当前图像帧中人脸像素区域的纹理特征和边缘特征在人脸跟踪模型上的响应;
[0096]将当前图像帧中最大响应所对应的人脸像素区域坐标加入人脸轨迹的尾部节占.V，
[0097]若当前图像帧的人脸像素区域已到达图像帧的边界，结束跟踪，获取从人脸轨迹初始节点到人脸轨迹尾部节点的同一人脸的历史图像帧；否则，返回到所述建立人脸跟踪模型和人脸轨迹初始节点步骤。
[0098]S4:对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征，如图5所示，包括:
[0099]对质量高的图像帧进行光照预处理。所述质量高的图像帧的获取方法为对步骤S3中获取的同一人脸的历史图像帧进行人脸评价处理:根据人脸的分辨率、人脸姿态、清晰度和对称性对同一人脸的历史图像帧中的每一图像帧的人脸像素区域进行综合评价给出质量评分，根据所述质量评分同一人脸的历史图像帧中的每一图像帧进行排序，获取所述质量评分达到设定阈值的图像帧作为质量高的图像帧。对质量高的图像帧进行光照预处理之后将人脸像素区域缩放到限制的人脸分辨率，一般选取96*96像素。
[0100]计算经光照预处理后的图像帧中人脸像素区域的人脸特征。设定5个尺度8个方向的40个Gabor核，通过所述Gabor核对经光照处理后的图像帧中人脸像素区域做卷积，再进行分块处理获得人脸特征。
[0101]对所述人脸特征进行主要成分分析和独立成分分析。通过主要成分分析降低所述人脸特征之间的线性冗余度，通过独立成分分析提升所述人脸特征之间的区分度，实现对所述人脸特征的降维。
[0102]获取人脸识别所需的人脸特征。
[0103]S5:存储所述人脸特征，包括:
[0104]将步骤S4中获取的所述人脸特征与人脸样本库中的各个人脸特征进行比对，在比对时可以采用欧式距离进行比对。
[0105]若所述人脸特征与人脸样本库中某一个人脸特征相近，则将所述人脸特征及对应的人脸像素区域存储到相近的该人脸特征样本信息样本库中；
[0106]若所述人脸特征与人脸样本库中各个人脸特征差异较大，则新建一个人脸特征信息样本库存储所述人脸特征及对应的人脸像素区域。
[0107]在步骤SI之前，还包括步骤:
[0108]SO:获取拍摄的视频。根据摄像机的内外参数和人脸识别所需要的最小人脸成像分辨率确定摄像机架设点与拍摄工作点，再获取摄像机拍摄的视频。最小人脸成像分辨率可以限制人脸识别的人脸两眼瞳距不低于50*50像素，或者是人脸识别的人脸像素区域不低于96*96像素，在本实施例中选取人脸像素区域不低于96*96像素。一般的，摄像机架设离地面高度为2.5-4米，监控宽度为3米左右，相机俯仰角为15度以内，镜头的焦距为25-50mmo
[0109]本实施例所述的一种基于视频方式的人脸识别样本采集方法，首先获取视频的图像帧中具有运动信息的图像区域，然后检测所述图像区域以获取人脸像素区域，接着对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧，再对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征，最后存储所述人脸特征。整个人脸识别样本采集的过程不需要样本采集工作者手动操作，采集的速度快、效率高。
[0110]实施例2
[0111]本实施例提供一种基于视频方式的人脸识别样本采集方法。人脸识别样本采集信息网络拓扑图如图6所示，按照功能主要有采集前端、后端服务器和客户管理端三个部分。采集前端有普通采集前端I和智能采集前端2两种形式，前端处理器3输出前端视频文件，普通采集前端I输出编码后的视频图像，智能采集前端2的输出包括智能前端所提取的部分人脸信息，具体指经过浓缩的视频帧、人脸抓拍区域图像或人脸特征数据等形式的信息。后端服务器包括第一服务器4和第二服务器5，第一服务器4将前端采集的视频进行人脸特征提取，然后与人脸样本数据库中的人脸进行特征比对，第二服务器5用于根据比对结果对样本数据库进行扩容操作。客户管理端包括第一客户端6和第二客户端7等，主要用于人工对人脸识别样本数据库进行增、删、改、查等操作。
[0112]人脸识别对采集的人脸图像在分辨率上有严格的要求，因此需要根据人脸识别设计者先确定算法所能适应的最小人脸图像分辨率，接着样本工作者根据摄像机内外参数估算出人脸成像分辨率，最后选择合适的相机架设点与拍摄工作点。由于一般人脸识别算法要求人脸区域的成像分辨率为96*96，本实施例中，采用百万级高清摄像机。相机离监控区域中央的距离U (米)可根据摄像机的焦距f (毫米)、监控宽度W (米)及Sensor靶面尺寸a(毫米)估算出来:经验公式为U近似等于f*W/a。一般的，摄像机架设离地面高度为2.5-4米，监控宽度为3米左右，相机俯仰角为15度以内，镜头的焦距为25-50mm。如果存在逆光、偏光时，需要相机支持低照度和宽动态等功能。如果用于夜晚场景，需要支持自动光圈。
[0113]人脸识别样本采集方法流程图如图7所示:
[0114]首先，确定人脸识别所需的最小人脸分辨率限制，比如要求供人脸识别的人脸两眼瞳距距离不低于50*50像素，或要求人脸识别的人脸在像素上不低于96*96像素。
[0115]接着，向人脸样本自动采集系统载入离线训练的多姿态人脸检测模型，比如20*20像素；以及某个固定分辨率上的人脸特征提取模型，比如96*96像素。
[0116]然后，打开人脸样本自动采集系统，并对视频中的每一帧进行分析处理。处理过程包括如下步骤:
[0117]Tl:视频浓缩处理，先利用视频的初始帧建立每个像素或像素区域的背景模型，初始帧可以选取第I帧或前3帧。背景模型建立完毕后，计算每个像素或像素区域的前景模型，如果发现每个像素或像素区域的前景与背景模型之间差异较大，则为该像素或像素区域赋予前景标识。如果含有前景标识的像素或像素区域具备一定规模，例如含有前景标识的连通区域超过20*20像素，则输出运动信息标识，否则，则输出无运动信息标识，并对无运动信息标志的像素或像素区域的背景模型进行更新。
[0118]T2:人脸检测处理，首先对视频浓缩模块输出的图像帧或含有运动信息的区域图像帧进行缩放并生成图像金字塔；然后，将各层金字塔图像与离线训练的多姿态人脸模型上做滤波操作从而得到响应图像，比如，离线训练的多姿态人脸模型是一族Haar滤波器，则让各层金字塔通过这一族Haar滤波器；最后，综合分析这些滤波响应，确定出该运动标识的区域是否为人脸以及人脸的具体姿态。
[0119]T3:人脸跟踪处理，人脸跟踪主要用于生成人脸运动轨迹。首先在人脸检测模块输出的人脸像素区域上建立人脸跟踪模型和人脸轨迹初始节点，人脸跟踪模型由一族Haar滤波器等组成，然后，当图像分析周期到来时，在上一帧人脸像素区域周围生成局部图像，让这个局部图像通过人脸跟踪模型，接着，根据局部图像在模型上的响应，将最大响应所对应的坐标加入到人脸轨迹的节点尾部。
[0120]T4:人脸评价处理，当某人脸的运动轨迹达到图像边界时，利用视频缓冲池中缓冲的图像信息和人脸历史轨迹信息，获得该人脸的历史图像帧，并考察历史人脸的分辨率、姿态、清晰度及对称性，给出历史人脸图像帧的质量评分。对该质量评分进行排序，并输出那些评分达到人脸识别要求所对应的历史人脸图像帧。
[0121]T5:人脸特征提取处理，首先对历史人脸图像帧进行光照预处理并将人脸图像帧缩放到人脸特征模型所限制的人脸分辨率，比如96*96像素；然后，设定40个Gabor核，如5个尺度、8个方向，用这些Gabor核对图像做卷积，再分块获得人脸的特征；接着通过主要成分分析降低特征之间的线性冗余度；再通过独立成分分析提升特征之间的区分度；最终，获得人脸识别所需的人脸特征。
[0122]T6:人脸比对与入库模块，将历史人脸图像帧的人脸特征与人脸样本库中各个人脸特征进行比对，如欧式距离等，如果某个样本的特征与采集的人脸特征“距离”较近，则采集的人脸及其特征追加到样本库中存放该人脸的信息区域，否则，则在人脸样本库中为采集的人脸及特征新建一个信息存放区域。
[0123]本实施例提供的一种基于视频方式的人脸识别样本采集方法，在完成人脸识别样本自动采集过程中，志愿者只需经过监控点位，而且样本采集工作者只需保证网络正常且拍摄点位的正常供电，这样对样本采集工作者而言，既省时也省力；由于相机固定场景架设是根据人脸识别算法设计的，而且在采集过程中，摄像机内外参数不变，所以拍摄的人脸在分辨率上是符合人脸识别要求的；能自动从视频中定位出人脸，也能选择出合适人脸识别的人脸，还能够根据人脸识别的结果对原有人脸识别样本库进行自动扩容，所以，最大限度的减少了人脸样本库管理人员的信息录入。
[0124]实施例3
[0125]本实施例提供一种基于视频方式的人脸识别样本采集系统，如图8所示，包括:
[0126]图像区域获取模块，用于获取视频的图像帧中具有运动信息的图像区域；
[0127]人脸检测模块，用于检测所述图像区域以获取人脸像素区域；
[0128]人脸跟踪模块，用于对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧；
[0129]人脸特征获取模块，用于对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征；
[0130]人脸特征存储模块，用于存储所述人脸特征。
[0131]所述图像区域获取模块包括:
[0132]背景模型建立子模块，用于利用所述视频中的初始图像帧建立背景模型；
[0133]前景模型建立子模块，用于对当前图像帧建立前景模型；
[0134]差异计算子模块，用于计算所述背景模型和所述前景模型的差异；
[0135]图像区域获取子模块，用于获取在前景模型和背景模型之间的差异大于预设阈值的像素区域，作为具有运动信息的图像区域。
[0136]所述人脸检测模块中:
[0137]图像金字塔建立子模块，用于对当前图像帧建立图像金字塔；
[0138]离线模型载入子模块，用于载入离线训练的各姿态人脸模型；
[0139]特征计算子模块，用于计算各层图像金字塔上的特征；
[0140]响应值计算子模块，用于计算所述特征在离线训练的各姿态人脸模型上的响应值；
[0141]人脸像素区域获取子模块，用于获取最大响应值达到人脸检测阈值的图像帧，提取当前图像帧中人脸像素区域及人脸的姿态信息。
[0142]所述人脸跟踪模块包括:
[0143]人脸跟踪模型建立子模块，用于建立人脸跟踪模型和人脸轨迹初始节点；
[0144]特征响应计算子模块，用于计算当前图像帧中人脸像素区域的纹理特征和边缘特征在人脸跟踪模型上的响应；
[0145]最大响应处理子模块，用于将当前图像帧中最大响应所对应的人脸像素区域坐标加入人脸轨迹的尾部节点；
[0146]同一人脸的历史图像帧获取子模块，用于在当前图像帧的人脸像素区域到达图像帧的边界时，结束跟踪，获取从人脸轨迹初始节点到人脸轨迹尾部节点的同一人脸的历史图像帧。
[0147]所述人脸特征获取模块包括:
[0148]预处理子模块，用于对质量高的图像帧进行光照预处理；
[0149]人脸特征计算子模块，用于计算经光照预处理后的图像帧中人脸像素区域的人脸特征；
[0150]人脸分析子模块，用于对所述人脸特征进行主要成分分析和独立成分分析；
[0151]人脸特征获取子模块，用于获取人脸识别所需的人脸特征。
[0152]所述人脸特征存储模块包括:
[0153]人脸特征比对子模块，用于将人脸特征获取模块中所述人脸特征与人脸样本库中的各个人脸特征进行比对；
[0154]人脸特征存储子模块，用于若所述人脸特征与人脸样本库中某一个人脸特征相近，则将所述人脸特征及对应的人脸像素区域存储到相近的该人脸特征样本信息样本库中；若所述人脸特征与人脸样本库中各个人脸特征差异较大，则新建一个人脸特征信息样本库存储所述人脸特征及对应的人脸像素区域。
[0155]本实施例所述的一种基于视频方式的人脸识别样本采集系统，首先获取视频的图像帧中具有运动信息的图像区域，然后检测所述图像区域以获取人脸像素区域，接着对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧，再对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征，最后存储所述人脸特征。整个人脸识别样本采集的过程不需要样本采集工作者手动操作，采集的速度快、效率高。
[0156]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0157]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的
目.ο
[0158]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0159]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0160]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
【权利要求】
1.一种基于视频方式的人脸识别样本采集方法，其特征在于，包括如下步骤: 获取视频的图像帧中具有运动信息的图像区域； 检测所述图像区域以获取人脸像素区域； 对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧； 对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征； 存储所述人脸特征。
2.根据权利要求1所述的基于视频方式的人脸识别样本采集方法，其特征在于，所述获取视频的图像帧中具有运动信息的图像区域步骤包括: 利用所述视频中的初始图像帧建立背景模型； 对当前图像帧建立前景模型； 计算所述背景模型和所述前景模型的差异； 获取在前景模型和背景模型之间的差异大于预设阈值的像素区域，作为具有运动信息的图像区域。
3.根据权利要求1或2所述的基于视频方式的人脸识别样本采集方法，其特征在于，所述检测所述图像区域以获取人脸像素区域步骤包括: 对当前图像帧建立图像金字塔； 载入离线训练的各姿态人脸模型； 计算各层图像金字塔上的特征； 计算所述特征在离线训练的各姿态人脸模型上的响应值； 获取最大响应值达到人脸检测阈值的图像帧，提取当前图像帧中人脸像素区域及人脸的姿态信息。
4.根据权利要求1-3任一所述的基于视频方式的人脸识别样本采集方法，其特征在于，所述对所述含有人脸的图像帧中人脸像素区域进行跟踪步骤包括: 建立人脸跟踪模型和人脸轨迹初始节点； 计算当前图像帧中人脸像素区域的纹理特征和边缘特征在人脸跟踪模型上的响应； 将当前图像帧中最大响应所对应的人脸像素区域坐标加入人脸轨迹的尾部节点； 若当前图像帧的人脸像素区域到达图像帧的边界时，结束跟踪，获取从人脸轨迹初始节点到人脸轨迹尾部节点的同一人脸的历史图像帧。
5.根据权利要求1-4任一所述的基于视频方式的人脸识别样本采集方法，其特征在于，所述对质量高的同一人脸的历史图像帧进行人脸特征提取步骤包括: 对质量高的图像帧进行光照预处理； 计算经光照预处理后的图像帧中人脸像素区域的人脸特征； 对所述人脸特征进行主要成分分析和独立成分分析； 获取人脸识别所需的人脸特征。
6.根据权利要求1-5任一所述的基于视频方式的人脸识别样本采集方法，其特征在于，所述存储所述人脸特征步骤包括: 将所述人脸特征与人脸样本库中的各个人脸特征进行比对； 若所述人脸特征与人脸样本库中某一个人脸特征相近，则将所述人脸特征及对应的人脸像素区域存储到相近的该人脸特征样本信息样本库中； 若所述人脸特征与人脸样本库中各个人脸特征差异较大，则新建一个人脸特征信息样本库存储所述人脸特征及对应的人脸像素区域。
7.一种基于视频方式的人脸识别样本采集系统，其特征在于，包括: 图像区域获取模块，用于获取视频的图像帧中具有运动信息的图像区域； 人脸检测模块，用于检测所述图像区域以获取人脸像素区域； 人脸跟踪模块，用于对含有人脸的图像帧中人脸像素区域进行跟踪，获取同一人脸的历史图像帧； 人脸特征获取模块，用于对质量高的同一人脸的历史图像帧进行人脸特征提取，获取人脸识别所需的人脸特征； 人脸特征存储模块，用于存储所述人脸特征。
8.根据权利要求7所述的基于视频方式的人脸识别样本采集系统，其特征在于，所述图像区域获取模块包括: 背景模型建立子模块，用于利用所述视频中的初始图像帧建立背景模型； 前景模型建立子模块，用于对当前图像帧建立前景模型； 差异计算子模块，用于计算所述背景模型和所述前景模型的差异； 图像区域获取子模块，用于获取在前景模型和背景模型之间的差异大于预设阈值的像素区域，作为具有运动信息的图像区域。
9.根据权利要求7或8所述的基于视频方式的人脸识别样本采集系统，其特征在于，所述人脸检测模块中: 图像金字塔建立子模块，用于对当前图像帧建立图像金字塔； 离线模型载入子模块，用于载入离线训练的各姿态人脸模型； 特征计算子模块，用于计算各层图像金字塔上的特征； 响应值计算子模块，用于计算所述特征在离线训练的各姿态人脸模型上的响应值；人脸像素区域获取子模块，用于获取最大响应值达到人脸检测阈值的图像帧，提取当前图像帧中人脸像素区域及人脸的姿态信息。
10.根据权利要求7-9任一所述的基于视频方式的人脸识别样本采集系统，其特征在于，所述人脸跟踪模块包括: 人脸跟踪模型建立子模块，用于建立人脸跟踪模型和人脸轨迹初始节点； 特征响应计算子模块，用于计算当前图像帧中人脸像素区域的纹理特征和边缘特征在人脸跟踪模型上的响应； 最大响应处理子模块，用于将当前图像帧中最大响应所对应的人脸像素区域坐标加入人脸轨迹的尾部节点； 同一人脸的历史图像帧获取子模块，用于在当前图像帧的人脸像素区域到达图像帧的边界时，结束跟踪，获取从人脸轨迹初始节点到人脸轨迹尾部节点的同一人脸的历史图像帧。
11.根据权利要求7-10任一所述的基于视频方式的人脸识别样本采集系统，其特征在于，所述人脸特征获取模块包括: 预处理子模块，用于对质量高的图像帧进行光照预处理； 人脸特征计算子模块，用于计算经光照预处理后的图像帧中人脸像素区域的人脸特征； 人脸分析子模块，用于对所述人脸特征进行主要成分分析和独立成分分析； 人脸特征获取子模块，用于获取人脸识别所需的人脸特征。
12.根据权利要求7-11任一所述的基于视频方式的人脸识别样本采集系统，其特征在于，所述人脸特征存储模块包括: 人脸特征比对子模块，用于将人脸特征获取模块中所述人脸特征与人脸样本库中的各个人脸特征进行比对； 人脸特征存储子模块，用于若所述人脸特征与人脸样本库中某一个人脸特征相近，则将所述人脸特征及对应的人脸像素区域存储到相近的该人脸特征样本信息样本库中；若所述人脸特征与人脸样本库中各个人脸特征差异较大，则新建一个人脸特征信息样本库存储所述人脸特征及对应的人脸像素区域。
【文档编号】G06K9/20GK104463117SQ201410720464
【公开日】2015年3月25日 申请日期:2014年12月2日 优先权日:2014年12月2日
【发明者】鄢展鹏, 姜莎, 张泉, 张震国, 晋兆龙, 陈卫东 申请人:苏州科达科技股份有限公司