一种基于人脸检索的不良视频智能检测方法
【专利摘要】一种基于人脸检索的不良视频智能检测方法，包含三个部分共六个模块。视频人脸提取模块M1:用于对视频样本中出现的人脸进行提取。人脸性别分类模块M2:用于对M1模块的结果进行性别分类。人脸特征提取模块M3:作用是对已获取的女性人脸进行特征抽取，生成倒排表。数据库构建模块M4：利用M3模块的输出结果构建一个用于查询的检索数据库。数据库更新模块M5：对新发现的已经标定为不良视频而数据库中没有记录的样本进行注册，将注册结果添加进检索数据库。人脸检索模块M6：将待检测样本中的人脸与检索数据库进行比对。本发明可以用来对大量的包括普通视频和不良视频的视频样本进行智能识别，极大地节省人力和时间。同时提高了检测的准确率。
【专利说明】—种基于人脸检索的不良视频智能检测方法
【技术领域】
[0001]本发明属于计算机视觉和视频检索领域，具体的说，就是基于人脸检索的不良视频智能检测与识别技术。
【背景技术】
[0002]近年来，由于信息技术的不断发展，在图像处理的基础上，越来越多的人开始关注基于图像特征的计算机视觉技术(特别是人脸识别技术)。通俗的讲，也就是通过对图像特征的计算，使得计算机能够想人眼一样识别出不同的人。
[0003]而由于互联网技术的不断进步，网络信息分享变得越来越方便快捷。这极大地丰富了人们所获得的信息量。然而，快捷的信息获取方法也使得不良信息，特别是不良视频充斥网络，又由于不良视频一般数量巨大且出现不良信息的位置不固定，这使得网络管理人员想要识别不良视频变得任务量巨大，且费时费力。
[0004]下面将分别介绍人脸识别技术，人脸检索技术，不良视频检测技术在国内外的发展现状。
[0005]所谓人脸识别技术，特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。
[0006]人脸识别方法主要包含以下几类:几何特征人脸识别、基于特征脸的人脸识别、神经网络人脸识别方法、支持向量机人脸识别。
[0007]几何特征可以是眼、鼻、嘴等的形状和它们之间的几何关系(如相互之间的距离)。这些算法识别速度快，需要的内存小，但识别率较低。
[0008]特征脸方法是基于KL变换的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交基，保留其中重要的正交基，由这些基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是特征脸方法的基本思想。这些方法需要较多的训练样本，而且完全是基于图像灰度的统计特性的。目前有一些改进型的特征脸方法。
[0009]神经网络的输入可以是降低分辨率的人脸图像、局部区域的自相关函数、局部纹理的二阶矩等。这类方法同样需要较多的样本进行训练，而在许多应用中，样本数量是很有限的。
[0010]支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率，但是它需要大量的训练样本(每类300个)，这在实际应用中往往是不现实的。而且支持向量机训练时间长，方法实现复杂，该函数的取法没有统一的理论。
[0011]人脸检索技术即是在人脸识别技术的基础上通过建立一个包含人脸身份信息的人脸库，对待检样本进行人脸识别，进而确定样本所包含人脸的身份的一种人脸搜索方法
[0012]不良视频检测技术实际上是一种二分类技术，它是通过定义不良视频的特征信息建立分类标准来对测试视频样本进行分类。当前的不良视频检测仍然没有一种高效的检测方法，大部分的检测任务是由人工完成的。这不仅需要提供大量的人力物力，分类结果又是也不尽如人意。
[0013]以上任何单项技术都不能有效地解决针对不良视频的只能检测技术，而在上述技术的基础上，我们通过不断改进，可以有效的解决不练视频的只能检测问题。
【发明内容】
[0014]本发明的技术解决的问题是:克服现有技术不足，针对不良视频检测中遇到的问题，提出了一种基于人脸检索的不良视频智能检测系统和方法。
[0015]本发明的技术解决方案是:一种基于人脸检索的不良视频智能检测方法，其特征在于:它包括人脸图片注册模块，视频检索模块，数据库维护与更新模块。其中，人脸图片注册模块又包含人脸提取模块M1，性别分类模块M2，人脸特征提取模块M3。视频检索模块包含人脸提取模块M1，人脸特征提取模块M3，数据库维护与更新模块包含数据库构建模块M4，数据库更新模块M5，人脸检索模块M6。具体过程如下:
[0016](I)人脸提取模块Ml用于在输入视频中采集出人脸。
[0017](2)性别分类模块M2用于对Ml的输出人脸进行性别分类，建立符合要求的人脸图片集PLl。
[0018](3)人脸特征提取模块M3的输入为人脸图片集PLl中的结果，对每一张人脸图片进行提取人脸特征操作，建立人脸特征库FL。
[0019](4)数据库构建模块M4将人脸特征库FL通过数据库操作写入数据库，建立检索数据库DB。
[0020](5)数据库更新模块M5的作用是定期或人为的对已有检索数据库DB进行更新，力口入新的人脸特征，确保检索数据库的完备性。
[0021](6)人脸检索模块M6将待测视频获取人脸图片集PL2中的人脸特征与检索数据库DB中数据进行比对，以确认待测视频中是否出现检索数据库中已保存的人脸。
[0022]所述的人脸提取过程使用了如下方法:
[0023](I)由于不同视频中的拍摄光照强度不同，对不同光照强度下的人脸进行检索，会使准确率明显下降。本系统采用的方法是对采集的图像进行灰度归一化处理。首先计算所有图像的平均灰度向量，再用每幅图像的灰度减去该幅图像的平均灰度，即实现了图像灰度归一化。实现了特征值对光照强度不敏感。
[0024](2)由于视频中的人物姿态具有随机性，这使得采集到的人脸图片会存在一定的偏角。本系统采用了人脸对齐的方法来解决这一问题。具体解决方案是:首先通过已有的人脸模型定位到两个眼球中心的位置坐标pl (xl，yl)、p2 (x2, y2)，计算两个中心点连线与水平方向的偏角Θ。一般我们认为正常人的两个眼球中心是出于同一水平线上的。因此，若θ>0，则对人脸以两眼中心的连线的中点为中心旋转Θ度，使之与水平线平行。保存旋转之后的图片作为采集到的人脸图片。
[0025]所述人脸性别分类采用如下方法:[0026]利用深度学习方法对人脸的性别特征进行分类。本系统采用了一种深度神经网络(DNN)。该网络结构由卷积层Cl，采样层S2，卷积层C3，局部连接层L4、L5、L6和全连接层F7、F8构成。首先使用已经打好性别标签的训练样本集对DNN网络结构进行训练，得出各层之间的连接权重。完成DNN网络的构建。之后就可以利用此网络对输入人脸图片进行性别分类。
[0027]所述人脸特征库的建立使用了如下方法:
[0028]对上一个模块提取的d维特征向量进行哈希投影，将特征向量降至dp维(dp〈〈d)，再对降维后的特征向量进行量化编码。根据量化结果建立\个倒排索引表。这\个倒排索引表构成人脸特征库FL。
[0029]所述数据库的更新使用了如下方法:
[0030]对日常检测过程中已判别为非不良视频的视频文件，加入到视频库VL中，定时对VL中的视频文件进行随机采样，选出其中若干个视频建立采样视频库SL，对SL进行人为判另O，若为正常视频则剔除出VL，若判断为不良视频则通过人脸注册过程对检索数据库进行更新。
[0031]本发明与现有技术相比的优点在于:系统将人脸检索方法和深度学习(DeepLearning)方法引入到不良视频检测领域。通过对测试样本中的人脸进行特征检索，同时比对检索数据库，若查询人脸在数据库中已有记录，则通过一个判断机制来确定该视频为不良视频。另外，为确保检索数据库的完备性，我们加入了数据库更新模块，将最新的可能出现在不良视频中的人脸加入到检索数据库中。
【专利附图】
【附图说明】
[0032]图1为本发明的基于人脸检索的不良视频智能检测系统及方法框架示意图。
[0033]图2为本发明的基于人脸检索的不良视频智能检测系统及方法结构示意图。
[0034]图3为本发明的人脸提取模块流程图。
[0035]图4为本发明的性别分类模块示意图。
[0036]图5为本发明性别分类模块DNN网络结构图。
[0037]图6为本发明的人脸特征提取模块示意图。
[0038]图7为本发明的人脸检索模块流程图。
[0039]图8为本发明的数据库更新模块流程图。
【具体实施方式】
[0040]如图1所示，为基于人脸检索的不良视频智能检测系统实际部署的框架示意图。其中包括人脸注册模块、视频检索模块、数据库维护与更新模块。这三个模块共享一个检索数据库。人脸注册模块主要完成的是对已知为不良视频和图片中出现的人脸进行特征提取，讲提取的信息加入数据库。视频检索模块完成的工作时对待检测视频样本根据数据库中的数据进行检索，以确认待测视频是否为不良视频。数据库维护与更新模块部分主要工作是对数据库进行读写操作。完成数据库的构建与更新。
[0041]如图2所示，为本发明的系统结构图。该系统包含六个模块，包括视频人脸提取模块M1，人脸性别分类模块M2，人脸特征提取模块M3，数据库构建模块M4，数据库更新模块M5，人脸检索模块M6。视频人脸提取模块Ml用于对已确定为不良视频的样本进行人脸帧提取。人脸性别分类模块M2用于获取Ml生成的人脸图片进行性别分类，生成女性人脸图片集。人脸特征提取模块M3对获取的女性人脸进行特征抽取，再与字典库比对生成倒排表。数据库构建模块M4对M3模块的输出结果构建一个用于查询的检索数据库。数据库更新模块M5对新发现的已经标定为不良视频而数据库中没有记录的的样本进行重新注册，将注册结果添加进数据库中。人脸检索模块M6对待检测样本中的人脸与检索数据库中的结果进行比对，得出检测结果。
[0042]如图3所示，为本发明的视频人脸提取模块流程图，读取视频中的一帧图像，判断该帧是否包含人脸。若否，则继续读取下一帧。若是则提取图像中的人脸，保存为图像数据。再对保存的图像进行灰度归一化，人脸位置对齐。保存处理后的图像以替换原图像。最后判断视频是否结束，若是，则该模块结束。若否，则继续提取下一帧。进行相同的操作。
[0043]如图4所示，为本发明性别分类模块示意图。该模块使用的DNN网络是通过已做好性别分类的大量人脸图片库对该网络进行训练，产生最优的各层连接权值。完成了 DNN网络的构建。本系统使用了该网络模型作为性别分类模块对输入的人脸图片进行性别标定，以保留其中女性人脸图片。
[0044]如图5，所示，为本发明性别分类模块DNN网络结构图。第O层为输入层Input，每一个神经元表示输入图像的一个像素。第I层为卷积层Cl，对输入图像进行卷积。第二层为下采样层S2，对上一层神经元(即每一个像素)进行降采样，缩小图像维度，减少需要训练的权值个数。第3层为卷积层C3，与Cl层作用相同。第4，5，6层为局部连接层L4，L5，L6。第7，8层为全连接层？7{8。上一层的每一个神经元与下一层的所有神经元连接。最后为输出层，含有两个神经元，分别表示性别男或女。
[0045]如图6所示，为本发明人脸特征提取模块示意图。首先对人脸图片库提取LBP特征，再利用哈希投影对提取的高维特征进行降维。再对降维后的特征进行量化编码，生成每一张图片的签名，利用签名建立倒排索引表，也即人脸特征库。
[0046]如图7所示，为本发明的人脸检索模块流程图，对于待检视频中的某一帧图片，由上层模块获取其特征表示和签名，对于签名每一维的关键词，查询检索数据库，获取与之相同的已注册图片的序号。统计每一个序号的图片出现的次数，计算待检索图片与已注册图片的相似度，比较此相似度与设定相似度阈值的大小，若大于阈值，认为待测视频中出现疑似人脸，则疑似人脸数加I。当疑似人脸数大于设定人脸数阈值时，判断待测视频为不良视频。
[0047]如图8所示，为本发明的数据库更新模块流程图。对于判断为不良的视频。将其加入视频库VL保存。定期对视频库VL进行随机采样，获取采样视频样本加入采样视频库SL0对采样视频库中的视频样本进行人工判别是否为不良视频，若否则将其从视频库中剔除，若是则利用该视频更新检索视频库。
[0048]如表I所示，为本发明检索数据库中图片存储表的定义。每一张注册图片包含一个Name，对应的图片ID和该人脸图片在本地的存储位置。
[0049]表I
[0050]
【权利要求】
1.一种基于人脸检索的不良视频智能检测方法，其特征在于:包括人脸图片注册模块，视频检索模块，数据库维护与更新模块；其中，人脸图片注册模块又包括人脸提取模块Ml，性别分类模块M2，人脸特征提取模块M3 ;视频检索模块包括人脸提取模块Ml，人脸特征提取模块M3，人脸检索模块M6 ;数据库维护与更新包含数据库构建模块M4，数据库更新模块M5 ;具体过程如下: 人脸提取模块Ml用于在输入视频中采集出人脸； 性别分类模块M2用于对Ml的输出人脸进行性别分类，建立符合要求的人脸图片集PLl ； 人脸特征提取模块M3的输入为人脸图片集PLl中的图片，对每一张人脸图片进行提取人脸特征操作，建立人脸特征库FL ； 数据库构建模块M4将人脸特征库FL通过数据库操作写入数据库，建立检索数据库DB 数据库更新模块M5的作用是定期地自动或人为的对已有检索数据库DB进行更新，加入新的人脸特征，确保检索数据库的完备性； 人脸检索模块M6将待测视频获取人脸图片集PL2中的人脸特征与检索数据库DB中数据进行比对，以确认待测视频中是否出现检索数据库中已保存的人脸。
2.根据权利要求1所述的一种基于人脸检索的不良视频智能检测方法，其特征在于:所述的人脸提取使用了如下方法: (1)对采集的图像进行灰度归一化处理；首先计算所有图像的平均灰度向量，再用每幅图像的灰度减去该幅图像的平均灰度，即实现了图像灰度归一化；实现了特征值对光照强度不敏感； (2)首先通过已有的人脸模型定位到两个眼球中心的位置坐标pl(xl，yl)、P2(x2，y2)，计算两个中心点连线与水平方向的偏角Θ ;因此，若θ>0，则对人脸以两眼中心的连线的中点为中心旋转Θ角度，使之与水平线平行；保存旋转之后的图片作为采集到的人脸图片。
3.根据权利要求1所述的一种基于人脸检索的不良视频智能检测方法，其特征在于:所述人脸性别分类采用如下方法: 利用深度学习方法对人脸的性别特征进行分类；采用了深度神经网络(DNN);该网络的结构由卷积层Cl，采样层S2，卷积层C3，局部连接层L4、L5、L6和全连接层F7、F8构成；首先使用已经打好性别标签的训练样本集对DNN网络结构进行训练，得出各层之间的连接权重；完成DNN网络的构建；之后就可以利用此网络对输入人脸图片进行性别分类。
4.根据权利要求1所述的一种基于人脸检索的不良视频智能检测方法，其特征在于:人脸特征库的建立使用了如下方法: 对人脸特征提取模块提取的d维LBP特征向量进行哈希投影，将特征向量降至dp维，dp〈〈d，再对降维后的特征向量进行q比特量化编码，即有2^个量化等级，生成图像的签名；利用两幅图像之间的曼哈顿距离表征图像之间的距离；每一副图像的签名包含\个单词，根据图片的维度建立\个索引表；每一个索引表的表项是所有2^个单词；每一个表项对应的元素为该维是对应单词的图片序号；这dp个倒排索引表构成人脸特征库FL。
5.根据权利要求1所述的一种基于人脸检索的不良视频智能检测方法，其特征在于:数据库的更新使用了如下方法:对日常检测过程中已判别为非不良视频的视频文件，加入到视频库VL中，定时对VL中的视频文件进行 随机采样，选出其中若干个视频建立采样视频库SLj^SL进行人为判别，若为正常视频则剔除出VL，若判断为不良视频则通过人脸注册过程对检索数据库进行更新。
【文档编号】G06K9/62GK104008395SQ201410214938
【公开日】2014年8月27日 申请日期:2014年5月20日 优先权日:2014年5月20日
【发明者】朱明 , 沈旭东, 孙永录 申请人:中国科学技术大学