一种相似性约束人脸区域的h.264视频流自适应错误隐藏方法
【专利摘要】一种相似性约束人脸区域的H.264视频流自适应错误隐藏方法，首先利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其纹理方向进行自适应方向插值运算并恢复，实现第一次错误隐藏，然后提取错误块视频图像的前景目标，采用肤色分割的方法定位出可能的人脸区域，再基于相似性约束方法确定用于覆盖错误块人脸区域的目标人脸区域，通过仿射变换后，将目标人脸区域的梯度信息覆盖错误块的人脸区域，实现第二次错误隐藏。本发明能够更加精确的确定插值方向且更好的恢复人脸区域，重建后的视频平滑性有一定的改善，与现有基于人脸五官特征的空域差错掩盖算法相比，视频图像错误隐藏效果在主观视觉上也有一定改善，同时峰值信噪比(PSNR)提高了1.21dB。
【专利说明】一种相似性约束人脸区域的Η. 264视频流自适应错误隐藏 方法
【技术领域】
[0001] 本发明属于视频图像处理领域，涉及到一种Η. 264解码视频图像中对错误信息块 的近似恢复或错误隐藏方法。
【背景技术】
[0002] 随着网络与通信技术的发展，可视电话、远程教育、视频点播业务及视频监控等视 频通信应用越来越广泛。为了降低对信道带宽的要求，图像、视频等多媒体信息在传输前必 须进行高效压缩编码，以减少视频图像序列间的时间冗余和空间冗余，但容易造成压缩码 流对信道误码更加敏感。任何一个比特的错误或丢失，都可能导致错误信息在时域和空域 上扩散，严重影响接收到的视频图像质量。为了提高压缩视频流的抗误码性能和鲁棒性，新 一代视频压缩编码标准Η. 264在解码器端采用了错误隐藏技术。错误隐藏技术出发点是利 用数字视频信号空域或时域的平滑性和相关性，通过预测寻找与之最为相似的数据代替出 错数据，使发生的差错在视觉上尽量不被察觉，从而达到隐藏错误的目的。该类技术的优点 非常明显，不需要增加额外的码率，也不需要改变编码器，实时性和可操作性强。
【发明内容】
[0003] 本发明的目的是提供一种相似性约束人脸区域的Η. 264视频流自适应错误隐藏 方法。
[0004] 本发明是对错误块进行两次错误隐藏。首先利用自适应方向插值空域错误隐藏算 法对错误块中每个像素点根据其插值方向自适应的进行方向插值运算来恢复错误块，实现 第一次错误隐藏。然后提取错误块视频图像的前景目标，采用肤色分割的方法对前景目标 中的皮肤区域和非皮肤区域进行分割定位，从中分割出可能的人脸区域，再基于相似性约 束方法依次计算邻近帧之间的视频图像相似性和块相似性，确定用于覆盖错误块人脸区域 的目标人脸区域，通过仿射变换，将目标块的人脸区域的梯度信息覆盖错误块的人脸区域， 实现第二次错误隐藏。它能够更好地重建错误块的人脸区域，保证了恢复后视频图像的平 滑性。
[0005] 本发明是通过以下技术方案实现的。
[0006] (SI) Canny算子对相邻块进行边缘检测
[0007] Canny算子采用2X2邻域一阶偏导的有限差分，计算平滑后图像f(i，j) (i，j为像 素点的坐标）的梯度幅度和方向为：
[0008] X方向的偏导数Px(i，j):
[0009] Px (i, j) = ((f (i, j+1) -f (i, j) +f (i+1, j+1) -f (i+1, j)) /2 (1)
[0010] y方向的偏导数Py(i，j):
[0011] Py (i, j) = ((f (i, j) -f (i+1, j) +f (i, j+1) -f (i+1, j+1)) /2 (2)
[0012] 图像中每个像素点（i, j)的梯度幅值和梯度方向分别为G(i, j)和Θ (i, j)为：
【权利要求】
1. 一种相似性约束人脸区域的Η. 264视频流自适应错误隐藏方法，其特征是包括以下 步骤： 步骤（1):判断接收端收到的视频图像的宏块是否发生错误，如果是，则转到步骤（2); 否则转到步骤（9); 步骤（2):利用Canny算子对错误块的上、下、左、右四个相邻块进行边缘检测，依次确 定各个相邻块边缘方向； 步骤（3):根据边缘像素差值成本函数自适应确定错误块中每个像素点的插值方向； 步骤（4):对错误块中的每个像素点依据其插值方向计算方向插值，并恢复错误块，实 现第一次错误隐藏； 步骤（5):提取经过第一次错误隐藏的错误块所在视频图像的前景目标，同时分割出 其人脸区域； 步骤（6):通过视频图像相似性计算及块相似性计算后，确定用于覆盖错误块人脸区 域的目标人脸区域； 步骤（7):将目标人脸区域仿射变换后，将其梯度信息覆盖错误块的人脸区域，实现第 二次错误隐藏； 步骤⑶：判断错误块是否全部进行了两次错误隐藏，如果是，则转到步骤（9);否则转 到步骤（2); 步骤（9):输出接收到的视频图像。
2. 根据权利要求1所述的相似性约束人脸区域的H. 264视频流自适应错误隐藏方法， 其特征是所述的步骤（2)按以下步骤： (51) Canny算子对相邻块进行边缘检测 Canny算子采用2X2邻域一阶偏导的有限差分，计算平滑后图像f(i，j) (i，j为像素点 的坐标）的梯度幅度和方向为： X方向的偏导数Px(i，j): Px (i, j) = ((f (i, j+1) -f (i, j) +f (i+1, j+1) -f (i+1, j)) /2 y方向的偏导数Py(i，j): Py (i, j) = ((f (i, j) -f (i+1, j) +f (i, j+1) -f (i+1, j+1)) /2 图像中每个像素点（i，j)的梯度幅值和梯度方向分别为G(i，j)和Θ (i，j)为：
(52) 确定相邻块的边缘方向 错误块的上、下、左、右四个相邻块进行Canny算子边缘检测后，每个相邻块的边缘像 素点都有梯度幅值G(i，j)和梯度方向Θ (i，j)，依据幅值梯度准则确定相邻块的边缘方 向，具体步骤如下： 1):将边缘划分为八个方向，即Θ i?Θ 8 ;其中：Θ i = (〇 °，22. 5 ° ]，Θ 2 = (22.5。，45。]，θ3= (45。，67.5。]，θ4= (67.5。，90。]，θ5= (90。，112.5。]， θ6= (112.5°，135。]，θ7= (135°，157.5。]，θ8= (157.5°，180。];梯度方向 Θ (i，j)的值在哪个范围，该边缘像素点的方向就对应该方向； 2) :根据下式计算相邻块中边缘像素点在1)中的8个边缘方向的幅值总和：
记上、下、左、右相邻块在8个边缘方向的幅值总和分别为DT(k)、DB(k)、Djk)、D K(k)， 其中k = 1?8分别代表Θ i?Θ 8这8个边缘方向； 3) :分别取2)中0^1〇、0以1〇、队(1〇、01；(1〇4个相邻块幅值总和中的最大值，记为 DTM(dirT)、DBM(dirB)、D LM(dirL)、DKM(dirK);其中上、下、左、右4个相邻块幅值总和最大值对 应的方向依次为dir T、dirB、diiY、dirK，其分别表示各相邻块中可能的边缘方向。
3. 根据权利要求1所述的相似性约束人脸区域的H. 264视频流自适应错误隐藏方法， 其特征是所述的步骤（3)按以下步骤： 根据下式边界像素差值成本函数cost (i，j)分别计算出沿着（S2)节中得到的错误块 上、下、左、右4个相邻块中的可能的边缘方向dirT、dirB、diiY、dirK方向的边界像素差值， 取4个计算值中的最小值所对应的相邻块的边缘方向为错误块中像素点（i，j)的插值方向 dir ：
其中：f(i，j)为错误块中的像素点灰度值，f'（i，j)为经过错误块的像素点沿着可能 的边缘方向与相邻块交点的像素点灰度值，PN为经过错误块的像素点沿着可能的边缘方向 与相邻块交点的集合。
4. 根据权利要求1所述的相似性约束人脸区域的H. 264视频流自适应错误隐藏方法， 其特征是所述的步骤（4)是： 根据步骤（3)求出的错误宏中像素点（i，j)的插值方向dir进行方向插值来恢复出 错误块中的每个像素点，设Pto(i，j)为当前待恢复像素点灰度值，方向插值如公式下式所 示：
其中：Plto、P2to分别为像素点（i，j)沿着其插值方向与相邻块交点的像素点灰度值， 分别为相应的距离。
5. 根据权利要求1所述的相似性约束人脸区域的H. 264视频流自适应错误隐藏方法， 其特征是所述的步骤（6)是： (S1)视频图像相似性的计算 设图像大小为MXN，图像之间相似程度取决于形似程度和值的相似程度，分别通过相 似系数和距离系数来描述，则相似程度的计算如公式下式所示：
其中：α和β分别为相似系数和相对欧式距离系数的权重，且α+β = 1 ; Pa(i，j)，Pb(i，J·)分别为a帧、b帧视频图像像素点灰度值（i，j为像素点的坐标），p(i，j) min，P(i，j)max分别代表灰度值的最小值和最大值；Sab表示相似程度，其值域为[〇, 1]，且Sab 值越大代表相似程度越大； 由于视频图像邻近帧之间存在很强的相关性，取错误块所在帧的邻近1帧作为参考帧 图像，同时对这1帧图像分别与错误块所在帧图像进行相似程度计算，取这1个Sab值中最 大的前k个值所对应的帧作为候选目标参考帧图像； (52) 块相似性的计算 脸区域采用4X4子块的模式，设错误块中人脸区域子块的左上角像素坐标为（i，j)， 候选目标参考帧中相应块左上角像素坐标为；根据下式计算出错误块中人脸区域 子块与候选目标参考帧图像中人脸区域子块之间的块匹配差值：
其中：m，η分别表示距离左上角像素的行数和列数；P。，P分别表示错误块人脸区域子 块和候选目标参考帧图像中人脸区域子块的灰度值； (53) 确定目标人脸区域 对人脸区域划分出的几个4X4子块分别按照（S2)节中计算出匹配块的差值，然后计 算这些差值的总和记为TSADBM;同时对（S1)节中确定的k个候选目标参考帧图像进行计 算，分别表示为、7X4/^,, ...... ：TS/iZ4,，取这k个值中的最小值所对应的参考帧 为目标参考帧，此目标参考帧对应的人脸区域为最相似的目标人脸区域。
【文档编号】H04N19/176GK104093034SQ201410345971
【公开日】2014年10月8日 申请日期:2014年7月21日 优先权日:2014年7月21日
【发明者】张小红, 胡婷, 吴政泽 申请人:江西理工大学