一种基于人脸识别的视频特效处理方法
【技术领域】
[0001] 本发明属于视频技术领域，具体涉及一种基于人脸识别的视频特效处理方法。
【背景技术】
[0002] 对视频中的指定人脸进行马赛克或模糊等特效处理是一种常用于媒体信息传播 中的隐私保护手段，比如在电视访谈类节目中，为了保护被采访者，在电视节目播出时，对 需要保护的被采访对象的面部进行马赛克处理。这种特效处理，通常都是借助Premiere、 DirectShow、AE等视频处理软件手工操作来完成，如果指定的被采访对象待特效人脸在视 频中交替出现，也就是镜头切换比较频繁时，用这些软件手工操作对待特效人脸进行马赛 克特效处理，则显得费时费力。
【发明内容】
[0003] 本发明的目的是提供一种基于人脸识别的视频特效处理方法，解决了现有技术 中，采用手工操作对访谈类视频节目中待保护人脸进行特效处理，费时费力的问题。
[0004] 本发明所采用的技术方案是，一种基于人脸识别的视频特效处理方法，按照以下 步骤具体实施：
[0005] 步骤1 :对需要处理的视频节目镜头进行分割；
[0006] 步骤2 :获取视频中待特效人脸的模板特征；
[0007] 步骤3 :以镜头为单位，计算镜头里每一帧上所检测到的每个人脸区域的人脸特 征并按人脸区域的位置对每个人进行分类；
[0008] 步骤4 :确定待特效人脸的分类阈值；
[0009] 步骤5 :根据分类阈值进行待特效人脸的识别及马赛克特效处理；
[0010] 步骤6 :对所有视频帧处理的结果进行保存，通过视频文件写入软件，把保存的帧 图像转换成视频，最后把视频部分和音频部分合成一个完整的视频，即成。
[0011] 本发明的有益效果是，对视频进行镜头分割，对指定的待特效人脸在视频中自动 获取其模板特征，将视频每一帧中获取的人脸特征与待特效人脸的模板特征进行比较，确 定能够分类出待特效人脸（需要保护面部特征的人员）和非特效人脸（无需保护面部特征 的人员）的阈值，根据该分类阈值进行人脸识别，如果识别结果为待特效人脸，则对该人脸 区域进行马赛克特效处理，否则不做处理。该方法能够自动对访谈类视频节目中指定的待 保护人员的脸部进行马赛克特效处理，准确率高。
【具体实施方式】
[0012] 下面结合【具体实施方式】对本发明进行详细说明。
[0013] 本发明基于人脸识别的视频特效处理方法，按照以下步骤具体实施：
[0014] 步骤1 :对需要处理的视频节目镜头进行分割
[0015] 将视频节目镜头中的视频部分与音频部分分开，记视频总帧数为NumFrame，将每 帧图像由RGB彩色图像转为灰度图像，并计算每一级灰度值所包含的像素点个数，然后将0 到255个灰度级等分成16份，每份包含16个灰度级，计算相邻两帧灰度图像直方图的差 和，见下式（1):
[0016]
C1 )
[0017] 其中，t= 0，l，...，15，i= 2,3，...，NumFrame，j= 0, 1，? ? ?，255,dt 是第i帧和 第i_l帧灰度图像直方图的差和，1j和Hj分别是第i帧和第i-1帧灰度图像落入第j 个灰度级内的像素数目；
[0018] 计算第i帧和第i_l帧灰度图像直方图的差和的平均值Avg+di，见下式⑵： _]
(23
[0020] 判断Avg+di是否满足下式⑶的条件：
[0021] Avg_di > 5XAvg_d; :, (3)
[0022] 满足式（3)，则第i-1帧图像是第k个镜头的结束帧，第i帧图像是第k+1个镜头 的起始帧，k= 1，2,. . .，ShotNum，ShotNum为镜头数，镜头内的起始帧数为NBk、结束帧数为 Na;
[0023]不满足式（3)，则第i-1帧和第i帧图像都是第k个镜头的视频帧图像；
[0024] 步骤2 :获取视频中待特效人脸的模板特征
[0025] 2. 1)在指定帧上框选待特效的人脸区域，并在镜头内获取待特效人脸的模板图像 帧，
[0026] 播放视频，当视频中出现待特效人脸时，手动指定该帧，记该帧的帧数为Nt， NtG[1，2, ? ? ?，NumFrame]，NBk<Nt<NEk，kG[1，2, ? ? ?，ShotNum]，在该帧上手动框选完 整的待特效人脸区域，记该矩形框的左上角坐标为右下角坐标为（xR，yR);
[0027] 然后判断Nt、NBk、Na是否满足下式（4)的条件：
[0028]
[0029] 同时满足条件①和②时，从指定帧Nt开始直接向后取连续8帧图像作为模板图像 帧，记模板图像帧的个数为Num_f，此时Num_f= 8 ;
[0030] 满足条件①，不满足条件②时，从指定帧Nt开始向后连续取到第NEk帧，向前再连 续取8-(NEk-Nt)-l帧作为模板图像帧，即Num_f= 8 ;
[0031] 不满足条件①和②时，把指定帧队所在镜头k内的所有帧图像作为模板图像帧， 即Num_f=NEk_NBk+l，此时Num_f< 8 ;
[0032] 2. 2)对步骤2. 1)中得到的Num_f个模板图像帧进行人脸检测，并提取待特效人的 完整人脸区域，Num_f为模板图像帧的个数；
[0033] 2. 2. 1)人脸的初检测
[0034] 采用Adaboost算法中的人脸检测分类器，对每一模板图像帧进行人脸检测，所检 测到的矩形区域记为ROIu，其中，il = 1，2,. . .，Num_ROI，Num_ROI为检测到的矩形区域个 数，记该矩形区域ROIn的宽为WROIu、高为HROI11;
[0035] 2. 2. 2)排除非人脸的矩形区域
[0036] 将步骤2. 2. 1)得到的矩形区域ROIjARGB空间转换到YCrCb空间，参照下式 (5)：
[0037]
[0038] 其中的像素值Cb和Cr取值范围分别为：80 <Cb< 130,135 <Cr< 170,则该像 素为肤色像素，统计矩形区域ROIu中肤色像素的个数，记为Num_pixlu，判断他11〇^11;1是 否满足下式（6)中的条件：
[0039]
[0040] 其中，WROIuXHROL是矩形区域ROIu的像素总数；
[0041] 满足式（6)时，则矩形区域R0L是人脸区域，il G [1，2，...，灿111_1?01]，记为 FaceR0Im，记其左上角和右下角的坐标为（X&，yj和（x Rm, yRm)，其中m = 1，2,. . .，Num_ FaceROI，Num_FaceROI为排除非人脸区域后的人脸区域个数，Num_FaceROI < Num_R0I ;
[0042] 不满足式（6)时，则矩形区域如^是非人脸区域；
[0043] 2. 2. 3)合并重复检测到的人脸区域
[0044] 记步骤2. 2. 2)的人脸区域FaceROlJ^中心点坐标为：
[0045]
[0046] 计算任意两个人脸区域中心点的欧式距离Dist，参照下式（7):
[0047]
[0048]
[0049]
[0050] 判断Dist是否满足公式⑶中的条件：
[0051] Dist<max((yRn_yLn)，（yRn_yLn))， (8)
[0052] 其中，max((yRn_yLn)，（yRn_yLn))是yRn_yLn^yRn_yLn 中的较大值，
[0053] 是第m个人脸区域FaceROIm的高，
[0054] 是第n个人脸区域FaceROIn的高；
[0055] 合并满足式（8)中条件的人脸区域，合并后的人脸区域记为FaceROI'u，其左上 角的坐标是所有被合并的人脸区域左上角坐标的最小值，记为（x' _，/_)，其右下角 的坐标是所有被合并的人脸区域右下角坐标的最大值，记为（x'Rnl，y' Rnl)，其中，ml= 1，2, ? ? ?，Num_FaceROI'，Num_FaceROI' <Num_FaceROI，Num_FaceROI' 为合并重复人脸 区域后人脸区域的个数；
[0056] 2. 2. 4)确定待特效人脸区域
[0057] 判断步骤2. 2. 3)中合并后的人脸区域FaceROI'ml的左上角坐标（x' ^，又'_) 和右下角坐标（x'Rnl，y'Rnl)是否满足下式（9):
[0058]
[0059] 其中，xJPy^为步骤2. 1)中指定框的左