一种人脸抓拍方法及系统的制作方法
【专利摘要】本申请提供了一种人脸抓拍方法及系统，包括：利用广角相机获取监控场景中的广角视频数据；根据所述视频数据检测人体所在区域；利用长焦相机获取所述人体所在区域的视频数据；对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。本申请结合了不同相机的优势，可以利用广角相机获取大范围监控场景内的人体目标，然后可以利用长焦相机获取远距离高清晰人脸，克服了传统人脸抓拍系统必须依赖于近距离拍摄人脸的缺点，可以适应于更加复杂多变的应用场景。
【专利说明】
一种人脸抓拍方法及系统
技术领域
[0001 ]本申请涉及计算机视觉技术领域，尤其涉及一种人脸抓拍方法及系统。
【背景技术】
[0002]随着信息时代的发展，人们对监控场景下非配合式人脸抓拍的需求越来越强烈。人脸抓拍系统是通过处理高清监控摄像头录入的数据，当人进入指定监视范围内时，抓录人脸，用于后台结构化记录以及分析识别，主要应用于记录出入人员、查找犯罪嫌疑人/特定人员、统计人群特征等。
[0003]现有的人脸抓拍系统通常包括人脸检测、跟踪以及结构化存储模块，利用人脸检测算法和人脸跟踪算法对进入检测区域的人员进行人脸检测和跟踪，筛选出最佳人脸图像录入数据库。由于人脸目标相对较小，而过低的分辨率会影响抓取的人脸图片质量，很难被进一步识别。
[0004]因此，现有的人脸抓拍系统通常依赖于固定于关卡的高清摄像头，近距离拍摄高分辨率人脸图像，工作范围通常是几米，无法实现远距离大覆盖范围的应用场景下的人脸抓拍，大大制约了人脸抓拍系统的可用范围。
[0005]现有技术不足在于:
[0006]现有的人脸抓拍系统可用范围较小，无法实现远距离大范围场景的人脸抓拍。
【发明内容】
[0007]本申请实施例提出了一种人脸抓拍方法及系统，以解决现有技术中人脸抓拍系统可用范围较小，无法实现远距离大范围场景的人脸抓拍的技术问题。
[0008]第一个方面，本申请实施例提供了一种人脸抓拍方法，包括如下步骤:
[0009]利用广角相机获取监控场景中的广角视频数据；
[0010]根据所述视频数据检测人体所在区域；
[0011 ]利用长焦相机获取所述人体所在区域的视频数据；
[0012]对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。
[0013]优选地，进一步包括:
[0014]将所述人脸图像与已存储的人脸图像进行相似度比较；
[0015]根据所述相似度比较的结果，确定所述人脸是否已经被存储过。
[0016]优选地，进一步包括:
[0017]如果确定所述人脸未被存储过，存储所述人脸图像。
[0018]优选地，进一步包括:
[0019]如果确定所述人脸已经被存储过，比较所述人脸图像与已存储的人脸图像的图像质量；
[0020]在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。
[0021]优选地，所述根据所述人脸图像与已存储的人脸图像进行相似度比较，具体为:根据所述人脸图像提取所述人脸的特征信息，所述特征信息包括当前时间、人脸在所述广角相机中的位置、以及根据所述人脸图像提取的特征表达;将所述人脸的特征信息与已存储的人脸图像的特征信息进行相似度比较；
[0022]所述根据所述相似度比较的结果，确定所述人脸是否已经被存储过，具体为:如果时间间隔在预设时间范围内、在所述广角相机中的相对位置在预设距离内、并且两张人脸图像的特征表达的相似度高于预设阈值，则确定所述人脸已经被存储过。
[0023]优选地，所述根据所述视频数据检测人体所在区域，具体为:
[0024]对所述广角相机获取到的视频图像进行预处理；
[0025]将所述视频图像输入预先训练得到的人体检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0026]利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人体所在区域的分值；
[0027]确定所述分值超过预设第一阈值且局部得分最高的区域为所述人体所在区域。
[0028]优选地，所述对所述长焦相机获取到的视频数据进行人脸检测，具体为:
[0029]对所述长焦相机获取到的视频图像进行预处理；
[0030]将所述视频图像输入预先训练得到的人脸检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0031]利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人脸所在区域的分值；
[0032]确定所述分值超过预设第二阈值且局部得分最高的区域为所述人脸所在区域。
[0033]第二个方面，本申请实施例提供了一种人脸抓拍系统，其特征在于，包括:联动相机组、第一检测模块和第二检测模块，所述联动相机组包括广角相机和长焦相机，其中，
[0034]所述广角相机，用于获取监控场景中的广角视频数据；
[0035]所述第一检测模块，用于根据所述视频数据检测人体所在区域；
[0036]所述长焦相机，用于获取所述人体所在区域的视频数据；
[0037]所述第二检测模块，用于对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。
[0038]优选地，进一步包括:
[0039]第一比较模块，用于将所述人脸图像与已存储的人脸图像进行相似度比较；
[0040]确定模块，用于根据所述相似度比较的结果，确定所述人脸是否已经被存储过。[0041 ] 优选地，进一步包括:
[0042]添加模块，用于在确定所述人脸未被存储过时，存储所述人脸图像。
[0043]优选地，进一步包括:
[0044]第二比较模块，用于在确定所述人脸已经被存储过时，比较所述人脸图像与已存储的人脸图像的图像质量；
[0045]更新模块，用于在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。
[0046]优选地，所述第一比较模块具体包括:
[0047]特征提取单元，用于根据所述人脸图像提取所述人脸的特征信息，所述特征信息包括当前时间、人脸在所述广角相机中的位置、以及根据所述人脸图像提取的特征表达；
[0048]比较单元，用于将所述人脸的特征信息与已存储的人脸图像的特征信息进行相似度比较；
[0049]所述确定模块具体用于如果时间间隔在预设时间范围内、在所述广角相机中的相对位置在预设距离内、并且两张人脸图像的特征表达的相似度高于预设阈值，则确定所述人脸已经被存储过。
[0050]优选地，所述第一检测模块具体包括:
[0051]第一预处理单元，用于对所述广角相机获取到的视频图像进行预处理；
[0052]第一卷积单元，用于将所述视频图像输入预先训练得到的人体检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0053]第一输出单元，用于利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人体所在区域的分值；
[0054]第一确定单元，用于确定所述分值超过预设第一阈值且局部得分最高的区域为所述人体所在区域。
[0055]优选地，所述第二检测模块具体包括:
[0056]第二预处理单元，用于对所述长焦相机获取到的视频图像进行预处理；
[0057]第二卷积单元，用于将所述视频图像输入预先训练得到的人脸检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0058]第二输出单元，用于利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人脸所在区域的分值；
[0059]第二确定单元，用于确定所述分值超过预设第二阈值且局部得分最高的区域为所述人脸所在区域。
[0060]有益效果如下:
[0061]本申请实施例所提供的人脸抓拍方法及系统，可以利用广角相机获取监控场景中的广角视频数据，根据所述视频数据检测到人体所在区域，然后再利用长焦相机获取所述人体所在区域的视频数据，最终，对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像，本申请实施例结合了不同相机的优势，可以利用广角相机获取大范围监控场景内的人体目标，然后可以利用长焦相机获取远距离高清晰人脸，克服了传统人脸抓拍系统必须依赖于近距离拍摄人脸的缺点，可以适应于更加复杂多变的应用场景。
【附图说明】
[0062]下面将参照附图描述本申请的具体实施例，其中:
[0063]图1示出了本申请实施例一中人脸抓拍方法实施的流程示意图；
[0064]图2示出了本申请实施例二中人脸抓拍过程示意图；
[0065]图3示出了本申请实施例三中人体/或人脸检测的过程示意图；
[0066]图4示出了本申请实施例四中人脸抓拍系统的结构示意图一；
[0067]图5示出了本申请实施例四中人脸抓拍系统的结构示意图二；
[0068]图6示出了本申请实施例四中人脸抓拍系统的结构示意图三；
[0069]图7示出了本申请实施例四中人脸抓拍系统的结构示意图四；
[0070]图8示出了本申请实施例四中第一比较模块的结构示意图；
[0071]图9示出了本申请实施例四中第一检测模块的结构示意图；
[0072]图10示出了本申请实施例四中第二检测模块的结构示意图。
【具体实施方式】
[0073]为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
[0074]发明人在发明过程中注意到:
[0075]不同于虹膜验证，指纹验证等传统身份识别，人脸抓拍有如下几个明显优点:
[0076]I)操作距离限制大大放宽，不需要人直接接触特定设备采集指纹等信息，只要在摄像头拍摄范围内即可进行处理；
[0077]2)可以在非干预非配合场景下通过摄像头自由运作，不会影响人员正常活动，也不需要工作人员干预；
[0078]3)记录的生物特征友好直观，通过人脸，普通人即可辨别身份，不需要特定领域专家判别；
[0079]4)等待时间短，操作效率高，不需要人员一个个通过闸门来采集虹膜/指纹等信息，通过计算机视觉等方法即可快速定位，快速处理。
[0080]然而，现有的人脸抓拍系统通常只能处理近距离(例如:3米)范围内的人脸图像采集，无法实现远距离(例如:50米左右)大覆盖范围的应用场景(例如:火车站广场、大型集会、街道等)下的人员监控/记录，这种距离限制大大制约了人脸抓拍系统的可用范围，覆盖面也受制于摄像头布设位置，丢失了大量广阔场地的人员活动记录，只能被动期望于被监控人员“恰巧”靠近布设的摄像头，为安全带来了严重隐患。
[0081]针对上述不足，本申请提出了一种人脸抓拍系统，巧妙的利用了一个先验信息:人脸为人身体的一部分，有人脸的区域必有人，反之则不一定成立。因此，通过检测人体可以对人脸检测进行一个初步判定，并且由于人体比人脸区域在画面中所占面积大很多，人体检测能够适应的距离比人脸检测能够远很多，利于高效排查。
[0082]为了实现超远距离的人脸抓拍，本申请可以首先利用联动相机组的广角相机进行人体检测、对感兴趣的人体目标所在区域进行初筛，然后再对所述区域调用长焦相机拍摄超远距离视频，做到高精度的人脸抓拍。
[0083]本申请意在突破现有的距离限制，实现超远距离(例如:50米左右)的人脸抓拍。
[0084]为了便于本申请的实施，下面结合具体的实施例对本申请所提供的人脸抓拍方法及系统进行说明。
[0085]实施例一、
[0086]图1示出了本申请实施例一中人脸抓拍方法实施的流程示意图，如图所示，所述人脸抓拍方法可以包括如下步骤:
[0087]步骤101、利用广角相机获取监控场景中的广角视频数据；
[0088]步骤102、根据所述视频数据检测人体所在区域；
[0089]步骤103、利用长焦相机获取所述人体所在区域的视频数据；
[0090]步骤104、对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。
[0091]具体实施中，所述广角相机可以是相机镜头(广角镜头)有很宽广的视角，在有限的距离内可以容纳更多的景物范围。衡量相机广角的参数通常是最小焦距，一般广角镜头的焦距在24mm?35mm之间，最小焦距越小相机的广角越广，适合拍大场面的风景和高达的建筑物等。而长焦相机则是拥有长焦镜头的相机，长焦镜头的焦距一般在80mm?300mm之间，能够清晰地拍摄出较远的景物。
[0092 ]本申请实施例中所述联动相机组可以由两个或两个以上的相机组成，通过机械及视觉校准后可以精确计算出任意两个相机之间的位置和朝向的相对关系。通过将相机固定在由电机控制的云台上，可以实现在某一相机画面上选定某一区域，旋转其他相机，使得它们朝向该选定区域的功能，本申请实施例中可以将此功能称为联动。
[0093]具体实施时，首先可以利用广角相机拍摄大范围监控场景下的视频，然后对所述广角相机拍摄到的视频进行人体检测，得到人体所在区域;然后利用长焦相机拍摄所述人体所在区域的视频，对所述长焦相机拍摄的视频进行人脸检测，即可得到清晰的人脸图像。
[0094]其中，人体检测和人脸检测均可以采用现有技术中图像识别技术，例如:对图像进行分割、边缘提取、运动检测等。以人体检测为例，可以利用现有的背景建模方法分割出前景、基于统计学习的方法等；以人脸检测为例，可以利用基于人脸特征点的识别算法、基于整幅人脸图像的识别算法等等。
[0095]本申请实施例所提供的人脸抓拍方法，可以利用广角相机获取监控场景中的视频数据，根据所述视频数据检测到人体所在区域，然后再利用长焦相机获取所述人体所在区域的视频数据，最终，对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像，本申请实施例结合了不同相机的优势，可以利用广角相机获取大范围监控场景内的人体目标，然后可以利用长焦相机获取远距离高清晰人脸，克服了传统人脸抓拍系统必须依赖于近距离拍摄人脸的缺点，可以适应于更加复杂多变的应用场景。
[0096]进一步地，为了实现人脸去重，本申请实施例还可以采用如下方式实施。
[0097]实施中，所述方法可以进一步包括:
[0098]将所述人脸图像与已存储的人脸图像进行相似度比较；
[0099]根据所述相似度比较的结果，确定所述人脸是否已经被存储过。
[0100]具体实施时，本申请实施例可以将获取到的人脸图像与已经存储的人脸图像进行相似度比较。所述已存储的人脸图像具体可以为存储在缓存或者数据库中的人脸图像，这些人脸图像可以是已结构化的人脸图像。其中，视频结构化可以是按照标准对视频中的目标和事件进行描述并存入数据库中的过程。
[0101]本申请实施例通过人脸比对，判断该人脸是否已经出现过(存储在缓存或数据库中)，从而可以避免同一张人脸的多次重复存储、记录。
[0102]实施中，所述方法可以进一步包括:
[0103]如果确定所述人脸未被存储过，存储所述人脸图像。
[0104]具体实施时，如果该人脸图像在与已存储的人脸图像比对之后，没有发现已存储的人脸图像中有与所述人脸图像相似度高于预设的相似值，那么可以认为该人脸在所述广角相机所监控的画面中未出现过，因此，可以将所述人脸图像存储至缓存或者数据库中。
[0105]实施中，所述方法可以进一步包括:
[0106]如果确定所述人脸已经被存储过，比较所述人脸图像与已存储的人脸图像的图像质量；
[0107]在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。
[0108]具体实施时，如果所述人脸图像与已存储的若干人脸图像中的某张人脸图像的相似度较高，可以确定所述人脸已经被存储过，因此，本申请实施例可以进一步比较所述人脸图像与已存储的人脸图像的图像质量，在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。
[0109]其中，所述更新该人脸图像具体可以为将所述已存储的人脸图像删除，存储本次获取到的人脸图像。
[0110]通过上述方式，本申请实施例可以确保已有记录的人脸以更加清晰、质量更高的人脸图像保存、记录，以便后续进行搜索、查询等其他应用时可以更加精确、准确。
[0111]实施中，所述根据所述人脸图像与已存储的人脸图像进行相似度比较，具体可以为:
[0112]根据所述人脸图像提取所述人脸的特征信息，所述特征信息包括当前时间、人脸在所述广角相机中的位置、以及根据所述人脸图像提取的特征表达；
[0113]将所述人脸的特征信息与已存储的人脸图像的特征信息进行相似度比较；
[0114]所述根据所述相似度比较的结果，确定所述人脸是否已经被存储过，具体可以为:
[0115]如果时间间隔在预设时间范围内、在所述广角相机中的相对位置在预设距离内、并且两张人脸图像的特征表达的相似度高于预设阈值，则确定所述人脸已经被存储过。
[0116]本申请实施例中的相似度的衡量标准可以为:如果时间间隔(出现帧的时间间隔)在预设时间阈值T以内、相对距离(人脸区域在广角相机下坐标的相对距离)在预设距离阈值D以内、两张人脸图像的特征表达相似度高于预设相似度阈值S，那么，判定该人脸为已出现过的人脸;否则，该人脸为没有出现过。
[0117]在进行相似度比较时，可以首先提取相应的人脸的特征信息，特征信息可以包括时间(当前时刻)、人脸出现位置(相对于广角相机所拍摄的视频中的坐标)、以及人脸区域提取的特征(feature)表达，其中，所述特征表达可以为尺度不变特征转换(SIFT，Scale-1nvar iant feature transform)、方向梯度直方图(HOG ,Histogram of OrientedGradient)、局部二值模式(LBP，Local Binary Pattern)等方式表达的特征。
[0118]本申请实施例通过上述方法可以将那些在较短时间、较近距离的相似人脸确定为重复的人脸，综合了时间、空间、人脸相似度的人脸记录去重，使得人脸去重操作更加精确。
[0119]现有技术中，人脸抓拍系统均是采用基于Adaboost算法训练的Haar-1ike特征级联分类器或者其变种来进行人脸检测。然而，这种方式对复杂场景的支持较差。
[0120]为了得到更好的抓拍效果，本申请实施例可以采用如下方式实施。
[0121]实施中，所述根据所述视频数据检测人体所在区域，具体可以为:
[0122]对所述广角相机获取到的视频图像进行预处理；
[0123]将所述视频图像输入预先训练得到的人体检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0124]利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人体所在区域的分值；
[0125]确定所述分值超过预设第一阈值且局部得分最高的区域为所述人体所在区域。
[0126]具体实施中，本申请实施例可以预先采集大量人体样本，经过训练得到人体检测深度卷积神经网络，将处理后的视频图像输入所述人体检测深度卷积神经网络即可得到人体特征图谱。本申请实施例中所述训练人体检测深度卷积神经网络可以采用现有的深度卷积神经网络的训练方式，本申请在此不做赘述。
[0127]本申请实施例中将特征图谱整体分值超过一定阈值、且局部得分最高的区域作为人体所在区域，从而进一步提高人体区域检测的精确度，具体实施时一幅视频图像内可以检测出多个人体所在区域，具体根据监控场景内人的数量和位置确定。
[0128]实施中，所述对所述长焦相机获取到的视频数据进行人脸检测，具体可以为:
[0129]对所述长焦相机获取到的视频图像进行预处理；
[0130]将所述视频图像输入预先训练得到的人脸检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0131]利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人脸所在区域的分值；
[0132]确定所述分值超过预设第二阈值且局部得分最高的区域为所述人脸所在区域。
[0133]具体实施时，所述对视频图像进行预处理可以为:等比例缩放，将图像调整为预设尺寸(例如:M*N);或者将图像调整为预设色彩空间(例如:灰度图、BGR或者YUV等)；还可以为减去平均人体或人脸的像素值等处理。
[0134]本申请实施例中所述人脸检测深度卷积神经网络可以根据预先采集得到的大量的人脸样本进行训练得到，具体训练方法可以采用现有技术，本申请在此不做赘述。
[0135]本申请实施例中将广角相机或长焦相机获取到的视频图像作为输入图像，逐层输入到多次卷积层，可以得到中间层的特征图谱(feature maps)，图谱上的每一个点的作用域(receptive field)对应于原图中的一个图片块(patch)，图谱上所有点的作用域对应于输入的整张原图。其中，卷积层可以采用现有的AlexNet的前5层卷积层，也可以由本领域技术人员自行开发实现，本申请对此不作限制。
[0136]经过卷积计算输出的特征图谱，可以再用多个不同尺度和长宽比的滑动窗口进行扫描，得到对应于原始视频图像中不同尺度和长宽比的图片块(patch)的评分(score)，如果得分越高，则代表该图片块更可能为人体或人脸的所在区域。
[0137]具体实施时，所述卷积核、滑动窗口等均可以根据预先获取的大量样本(人体/人脸)进行机器学习、训练得到，其具体实现技术可以采用现有的训练分类器等，本申请在此不做赘述。
[0138]具体实施时一幅视频图像内可以检测出多个人脸所在区域，具体根据监控场景内人脸的数量和位置确定。
[0139]本申请实施例可以采用全卷积深度神经网络进行人体或人脸的检测，可以适应于任意大小的输入图像，通过一次运算可以得到所有滑动窗口的检测结果，并且在不增加额外运算复杂的前提下，能够实现多尺度和长宽比的人体/人脸检测，检测速度更快、检测效果更准。
[0140]本申请实施例采用更为先进的基于深度学习的人体/人脸检测算法，能够实现更精确的人体/人脸检测，以及适应更加复杂多变的应用场景。
[0141]实施例二、
[0142]为了实现超远距离的人脸抓拍，本申请可以利用联动相机组的广角相机对感兴趣的区域进行初筛，然后再对感兴趣的区域调用长焦相机拍摄高清超远距离的视频，进行高精度的人脸抓拍。
[0143]图2示出了本申请实施例二中人脸抓拍过程示意图，如图所示，所述人脸抓拍过程可以包括以下步骤:
[0144]步骤201、对广角相机视野做人体检测；
[0145]从广角相机中获取图片，利用深度神经网络做人体检测，在粗放角度下对可能出现目标(人脸)的区域(有人体出现的地方)进行初筛。
[0146]步骤202、判断是否找到感兴趣区域；
[0147]如果找到，执行步骤203;
[0148]如果没找到，跳回步骤201。
[0149]所述感兴趣区域可以是人体出现的区域、人员密集的区域、视野中的敏感区域等。
[0150]步骤203、将长焦镜头定位到该区域；
[0151]利用联动相机组调度长焦相机对准该区域，拍摄远距离高清画面。
[0152]步骤204、对当前视野做人脸检测；
[0153]对长焦相机拍摄区域，利用深度神经网络做人脸检测。
[0154]步骤205、判断是否检测到人脸；
[0155]如果检测到人脸，则执行步骤206;
[0156]如果没有检测到人脸，跳回步骤201。
[0157]具体实施时，如果检测到多张人脸，假设为N张人脸，后续步骤可以循环执行N此，分别对每张人脸进行后续操作。
[0158]步骤206、提取特征，查找相似人脸。
[0159]提取相应人脸特征信息，特征信息包含当前时刻、人脸在广角相机中的坐标、以及人脸区域提取的特征表达。
[0160]步骤207、判断所述人脸是否之前出现过；
[0161 ]如果出现过，则执行步骤208;
[0162]如果没出现过，则执行步骤209。
[0163]根据提取的人脸特征与缓存/数据库中已结构化的人脸进行相似度比较，判断是否为已出现过的人。
[0164]例如:假设该人脸与已存储的人脸出现帧的时间间隔在3s内、在广角相机下坐标的相对距离为5个像素、两张人脸的特征表达相似度为90%，则本申请实施例可以判定该人脸为已出现过的人脸，否则，为没有出现过的人脸。
[0165]步骤208、判断是否比之前图像质量好；
[0166]如果该人脸图像比之前图像质量更高，则执行步骤210;
[0167]如果没有之前图像质量高，则抛弃该人脸图像，处理下一张人脸，执行步骤205。
[0168]步骤209、存储该人脸图像；
[0169]步骤210、更新该人脸图像。
[0170]在缓存或数据库中更新(之前已有记录)或添加(之前没有记录)该人的人脸图像。
[0171]本申请实施例采用分级检测，结合广角相机下的粗放型人体检测、以及窄角相机下的精准人脸检测，实现高效的超远距离的高清人脸抓拍，适用于广场、集市等诸多场景。
[0172]实施例三、
[0173]下面本申请实施例对人体/人脸检测所涉及的深度神经网络结构进行说明。
[0174]图3示出了本申请实施例三中人体/或人脸检测的过程示意图，如图所示，所述人体或人脸检测过程可以包括如下步骤:
[0175]步骤301、对人体或人脸图像进行预处理。
[0176]将图片(人体检测所输入图片可以为广角相机拍摄，人脸检测所输入图片可以为长焦相机拍摄)进行预处理:等比例缩放调整为合理尺寸(假设为300*500)、调整为统一色彩空间(例如BGR)、以及减去平均人体/人脸的像素值等。
[0177]步骤302、将图像进行多次卷积计算，得到特征图像。
[0178]对输入图片逐层输入到多次卷积层，得到中间层的特征图谱(featuremaps)，图谱上的每一个点的作用域(receptive field)对应于原图中的一个图片块(patch)，图谱上所有点的作用域对应于I)中输入的整张原图。
[0179]步骤303、利用多个不同尺度和长宽比的滑动窗口对所述特征图像进行扫描。
[0180]对步骤302中输出的特征图谱用多个不同尺度和长宽比的滑动窗口进行扫描，其有两个输出:
[ΟΙ81 ]输出之一为对应于原图中不同尺度和长宽比的图片块(patch)的评分(score)，如果得分越高，则代表该图片块更可能为人体/人脸所在区域。
[0182]另一输出为对目标人体/人脸区域图片块边界区域的进行回归处理后得到的与准确人体/人脸区域的偏移量(因为以上在特征图谱上的滑动窗口和可能并不能完全准确的恰好框到完整的人体/人脸区域，所以需要做一个回归操作)。
[0183]步骤304、根据扫描结果确定人体/人脸的区域。
[0184]对以上人体/人脸区域按照评分(score)进行降序排序，并删除相邻区域下过多的被选框(因为同一人很可能被多个框框住，只需要保留评分最高的那个即可)，得到最终的输出:人体/人脸检测的目标区域(bounding box)。
[0185]相比现有基于传统机器学习方法的系统，本申请实施例可以利用深度神经网络实现人体/人脸检测，使得算法能够适应复杂多变场景。
[0186]实施例四、
[0187]基于同一发明构思，本申请实施例中还提供了一种人脸抓拍系统，这些设备的实施与一种人脸抓拍方法的实施原理相似，重复之处不再赘述，下面进行说明。
[0188]图4示出了本申请实施例四中人脸抓拍系统的结构示意图一，如图所示，所述人脸抓拍系统可以包括:联动相机组、第一检测模块402和第二检测模块404，所述联动相机组包括广角相机401和长焦相机403，其中，
[0189]所述广角相机401，用于获取监控场景中的广角视频数据；
[0190]所述第一检测模块402，用于根据所述视频数据检测人体所在区域；
[0191]所述长焦相机403，用于获取所述人体所在区域的视频数据；
[0192]所述第二检测模块404，用于对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。
[0193]具体实施时，广角相机可以是采用广角镜头的相机，长焦相机可以是采用长焦镜头的相机，这些相机可以是数码相机。本申请实施例中的联动相机组可以包括一个广角相机和一个长焦相机，也可以包括多个广角相机和多个长焦相机，在具体实施时，可以在检测到广角相机中多个人体后，由多个长焦相机分别对准所述多个人体进行拍摄，或一个长焦相机每间隔一段时间对准一个人体，进行轮询，从而获取同一场景内多个人物的视频数据。
[0194]所述第一检测模块和所述第二检测模块均可以采用现有的图像识别技术实现，本领域技术人员也可以进行相应的开发设计，只要能够检测出人体/人脸即可，本申请对此不作限制。
[0195]本申请实施例结合了不同相机的优势，可以利用广角相机获取大范围监控场景内的人体目标，然后可以利用长焦相机获取远距离高清晰人脸，克服了传统人脸抓拍系统必须依赖于近距离拍摄人脸的缺点。
[0196]图5示出了本申请实施例四中人脸抓拍系统的结构示意图二，如图所示，所述人脸抓拍系统可以进一步包括:
[0197]第一比较模块405，用于将所述人脸图像与已存储的人脸图像进行相似度比较；
[0198]确定模块406，用于根据所述相似度比较的结果，确定所述人脸是否已经被存储过。
[0199]具体实施时，所述第一比较模块可以用于将所述人脸图像与已存储在缓存或数据库中的人脸图像进行比较，所述已存储在缓存或数据库中的人脸图像为已结构化的图像。
[0200 ]图6示出了本申请实施例四中人脸抓拍系统的结构示意图三，如图所示，所述人脸抓拍系统可以进一步包括:
[0201]添加模块407，用于在确定所述人脸未被存储过时，存储所述人脸图像。
[0202]具体实施时，所述添加模块可以具体用于在确定所述人脸未被存储过时，将所述人脸图像存储至缓存或数据库中。
[0203]图7示出了本申请实施例四中人脸抓拍系统的结构示意图四，如图所示，所述人脸抓拍系统可以进一步包括:
[0204]第二比较模块408，用于在确定所述人脸已经被存储过时，比较所述人脸图像与已存储的人脸图像的图像质量；
[0205]更新模块409，用于在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。
[0206]具体实施时，所述更新模块可以具体用于在所述人脸图像比已存储的人脸图像的图像质量高时，将所述已存储的人脸图像删除，存储本次获取到的人脸图像。
[0207]图8示出了本申请实施例四中第一比较模块的结构示意图，如图所示，所述第一比较模块405具体可以包括:
[0208]特征提取单元4051，用于根据所述人脸图像提取所述人脸的特征信息，所述特征信息包括当前时间、人脸在所述广角相机中的位置、以及根据所述人脸图像提取的特征表达；
[0209]比较单元4052，用于将所述人脸的特征信息与已存储的人脸图像的特征信息进行相似度比较；
[0210]所述确定模块具体可以用于如果时间间隔在预设时间范围内、在所述广角相机中的相对位置在预设距离内、并且两张人脸图像的特征表达的相似度高于预设阈值，则确定所述人脸已经被存储过。
[0211]本申请实施例将那些在较短时间、较近距离的相似人脸确定为重复的人脸，综合了时间、空间、人脸相似度的人脸记录去重，使得人脸去重操作更加精确。
[0212]图9示出了本申请实施例四中第一检测模块的结构示意图，如图所示，所述第一检测模块402具体可以包括:
[0213]第一预处理单元4021，用于对所述广角相机获取到的视频图像进行预处理；
[0214]第一卷积单元4022，用于将所述视频图像输入预先训练得到的人体检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0215]第一输出单元4023，用于利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人体所在区域的分值；
[0216]第一确定单元4024，用于确定所述分值超过预设第一阈值且局部得分最高的区域为所述人体所在区域。
[0217]图10示出了本申请实施例四中第二检测模块的结构示意图，如图所示，所述第二检测模块404具体可以包括:
[0218]第二预处理单元4041，用于对所述长焦相机获取到的视频图像进行预处理；
[0219]第二卷积单元4042，用于将所述视频图像输入预先训练得到的人脸检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像；
[0220]第二输出单元4043，用于利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人脸所在区域的分值；
[0221]第二确定单元4044，用于确定所述分值超过预设第二阈值且局部得分最高的区域为所述人脸所在区域。
[0222]本申请实施例所提供的人脸抓拍系统，所述广角相机获取监控场景中的视频数据，第一检测模块根据所述视频数据检测到人体所在区域，然后所述长焦相机获取所述人体所在区域的视频数据，最终，第二检测模块对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像，本申请实施例结合了不同相机的优势，可以利用广角相机获取大范围监控场景内的人体目标，然后可以利用长焦相机获取远距离高清晰人脸，克服了传统人脸抓拍系统必须依赖于近距离拍摄人脸的缺点，可以适应于更加复杂多变的应用场景。
[0223]为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
[0224]本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0225]本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0226]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0227]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0228]尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
【主权项】
1.一种人脸抓拍方法，其特征在于，包括如下步骤: 利用广角相机获取监控场景中的广角视频数据； 根据所述视频数据检测人体所在区域； 利用长焦相机获取所述人体所在区域的视频数据； 对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。2.如权利要求1所述的方法，其特征在于，进一步包括: 将所述人脸图像与已存储的人脸图像进行相似度比较； 根据所述相似度比较的结果，确定所述人脸是否已经被存储过。3.如权利要求2所述的方法，其特征在于，进一步包括: 如果确定所述人脸未被存储过，存储所述人脸图像。4.如权利要求2所述的方法，其特征在于，进一步包括: 如果确定所述人脸已经被存储过，比较所述人脸图像与已存储的人脸图像的图像质量； 在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。5.如权利要求2所述的方法，其特征在于，所述根据所述人脸图像与已存储的人脸图像进行相似度比较，具体为:根据所述人脸图像提取所述人脸的特征信息，所述特征信息包括当前时间、人脸在所述广角相机中的位置、以及根据所述人脸图像提取的特征表达;将所述人脸的特征信息与已存储的人脸图像的特征信息进行相似度比较； 所述根据所述相似度比较的结果，确定所述人脸是否已经被存储过，具体为:如果时间间隔在预设时间范围内、在所述广角相机中的相对位置在预设距离内、并且两张人脸图像的特征表达的相似度高于预设阈值，则确定所述人脸已经被存储过。6.如权利要求1所述的方法，其特征在于，所述根据所述视频数据检测人体所在区域，具体为: 对所述广角相机获取到的视频图像进行预处理； 将所述视频图像输入预先训练得到的人体检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像； 利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人体所在区域的分值； 确定所述分值超过预设第一阈值且局部得分最高的区域为所述人体所在区域。7.如权利要求1所述的方法，其特征在于，所述对所述长焦相机获取到的视频数据进行人脸检测，具体为: 对所述长焦相机获取到的视频图像进行预处理； 将所述视频图像输入预先训练得到的人脸检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像； 利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人脸所在区域的分值； 确定所述分值超过预设第二阈值且局部得分最高的区域为所述人脸所在区域。8.一种人脸抓拍系统，其特征在于，包括:联动相机组、第一检测模块和第二检测模块，所述联动相机组包括广角相机和长焦相机，其中， 所述广角相机，用于获取监控场景中的广角视频数据； 所述第一检测模块，用于根据所述视频数据检测人体所在区域； 所述长焦相机，用于获取所述人体所在区域的视频数据； 所述第二检测模块，用于对所述长焦相机获取到的视频数据进行人脸检测，得到人脸图像。9.如权利要求8所述的系统，其特征在于，进一步包括: 第一比较模块，用于将所述人脸图像与已存储的人脸图像进行相似度比较； 确定模块，用于根据所述相似度比较的结果，确定所述人脸是否已经被存储过。10.如权利要求9所述的系统，其特征在于，进一步包括: 添加模块，用于在确定所述人脸未被存储过时，存储所述人脸图像。11.如权利要求9所述的系统，其特征在于，进一步包括: 第二比较模块，用于在确定所述人脸已经被存储过时，比较所述人脸图像与已存储的人脸图像的图像质量； 更新模块，用于在所述人脸图像比已存储的人脸图像的图像质量高时，更新所述已存储的人脸图像。12.如权利要求9所述的系统，其特征在于，所述第一比较模块具体包括: 特征提取单元，用于根据所述人脸图像提取所述人脸的特征信息，所述特征信息包括当前时间、人脸在所述广角相机中的位置、以及根据所述人脸图像提取的特征表达； 比较单元，用于将所述人脸的特征信息与已存储的人脸图像的特征信息进行相似度比较； 所述确定模块具体用于如果时间间隔在预设时间范围内、在所述广角相机中的相对位置在预设距离内、并且两张人脸图像的特征表达的相似度高于预设阈值，则确定所述人脸已经被存储过。13.如权利要求8所述的系统，其特征在于，所述第一检测模块具体包括: 第一预处理单元，用于对所述广角相机获取到的视频图像进行预处理； 第一卷积单元，用于将所述视频图像输入预先训练得到的人体检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像； 第一输出单元，用于利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人体所在区域的分值； 第一确定单元，用于确定所述分值超过预设第一阈值且局部得分最高的区域为所述人体所在区域。14.如权利要求8所述的系统，其特征在于，所述第二检测模块具体包括: 第二预处理单元，用于对所述长焦相机获取到的视频图像进行预处理； 第二卷积单元，用于将所述视频图像输入预先训练得到的人脸检测深度卷积神经网络，得到特征图谱;所述特征图谱上像素点的作用域对应于所述视频图像中的图片块，所述特征图谱上所有像素点的作用域对应于所述视频图像； 第二输出单元，用于利用多个不同尺度和/或长宽比的预设滑动窗口对所述特征图谱进行扫描，得到人脸所在区域的分值； 第二确定单元，用于确定所述分值超过预设第二阈值且局部得分最高的区域为所述人脸所在区域。
【文档编号】G06K9/32GK105930822SQ201610308462
【公开日】2016年9月7日
【申请日】2016年5月11日
【发明人】左珍
【申请人】北京格灵深瞳信息技术有限公司