一种视频去抖动方法及装置制造方法
【专利摘要】本发明实施例公开了一种视频去抖动方法及装置。一种视频去抖动方法，包括：对目标视频码流文件进行场景分割，获得至少一个码流分段；针对第i个码流分段中第j个视频帧，在该视频帧的边缘区域内确定满足预设要求的编码单元块，将该编码单元块覆盖的区域确定为背景特征区域；获取背景特征区域中各基本单元块相对于前一视频帧的运动矢量，根据预设的相机运动矢量确定规则，确定出一个视频帧的相机运动矢量；计算第i个码流分段中所有视频帧的相机运动矢量的均值，判断该均值是否小于ε_mv，根据判断结果采取对应的处理步骤。本发明可以根据码流信息，用振动模型模拟相机的抖动，进而采用对应的处理策略去除视频画面的抖动，以提高视频画面质量。
【专利说明】一种视频去抖动方法及装置
【技术领域】
[0001] 本发明涉及视频处理【技术领域】，特别涉及一种视频去抖动方法及装置。
【背景技术】
[0002] 随着手机、数码相机及摄像机等具备视频拍摄功能的拍摄设备的普及，越来越多 的非专业摄像人员开始使用拍摄设备对目标场景进行图像采集，比如用户使用手机拍摄一 段舞蹈视频。通常情况下，拍摄设备会相对于目标场景发生抖动，拍摄设备抖动不可避免地 导致采集到的图像的内容画面出现抖动。
[0003] 因此，如果能够提出一种去除视频内容画面抖动的方法，无疑会对视频画面质量 的提高起到促进作用。
【发明内容】
[0004] 为了解决上述问题，本发明实施例公开了一种视频去抖动方法及装置，具体技术 方案如下：
[0005] 一种视频去抖动方法，所述方法包括：
[0006] 提取目标视频码流文件的码流信息，根据提取到的码流信息对所述目标视频码流 文件进行场景分割，获得至少一个码流分段；
[0007] 针对第i个码流分段中的第j个视频帧f(i，，在该视频帧的边缘区域内，确定满足 预设要求的编码单元块，并将该编码单元块覆盖的区域确定为背景特征区域A (i，j);
[0008] 获取背景特征区域A(i;j)中各基本单元块相对于视频帧f 的运动矢量，根据预 设的相机运动矢量确定规则，从所获取的运动矢量中确定出：与视频帧f(ij相对应的相机 运动矢量c_mvij;
[0009] 计算第i个码流分段中所有视频帧的相机运动矢量的均值cjnvgi，判断| cjnvgi 是否小于e _mv ;
[0010] 如果Icjnvg」小于e _mv，判断Isjnvg」是否小于a * e _mv，如果是执行步骤Rl， 否则执行步骤R2 ;
[0011] 如果| cjnvgi I不小于e _mv，判断I sjnvgi I是否小于|3 *| cjnvgi I，如果是执行步 骤R1，否则执行步骤R2;
[0012] 其中，每个码流分段描述的视频内容画面为一个场景，每个码流分段中包含至少 一个视频帧；i = 1，……，N;j = 1，……，Mi;N为码流分段的总数，Mi为第i个码流分段中 包含的视频帧的总数；所述边缘区域的宽度为：W*l/w，高度为：H*l/h，所述预设要求为：编 码单元块的尺寸值不小于预设的尺寸阈值，W为视频帧的宽度值，H为视频帧的高度值，w为 预设的宽度量化参数，h为预设的高度量化参数； e_mv为预设的第一阈值，a为预设的第 一量化参数，0为预设的第二量化参数，
【权利要求】
1. 一种视频去抖动方法，其特征在于，所述方法包括： 提取目标视频码流文件的码流信息，根据提取到的码流信息对所述目标视频码流文件 进行场景分割，获得至少一个码流分段； 针对第i个码流分段中的第j个视频帧f(u，在该视频帧的边缘区域内，确定满足预设 要求的编码单元块，并将该编码单元块覆盖的区域确定为背景特征区域Aaj); 获取背景特征区域A(ij中各基本单元块相对于视频帧f 的运动矢量，根据预设的 相机运动矢量确定规则，从所获取的运动矢量中确定出：与视频帧f(ij相对应的相机运动 矢量Cjnvij; 计算第i个码流分段中所有视频帧的相机运动矢量的均值CJiivgi,判断IcjiivgiI是否 小于ε_mv; 如果IcjiivgiI小于ε_ηιν，判断IsjiivgiI是否小于α*ε_ηιν，如果是执行步骤R1，否 则执行步骤R2 ; 如果IcjIivgiI不小于ε_πιν，判断IsjIivgiI是否小于IB=IiIcjIivgi I，如果是执行步骤R1，否则执行步骤R2; 其中，每个码流分段描述的视频内容画面为一个场景，每个码流分段中包含至少一个 视频帧；i= 1，……，N;j= 1，……，Mi;N为码流分段的总数，Mi为第i个码流分段中包含 的视频帧的总数；所述边缘区域的宽度为：W*l/w，高度为：H*l/h，所述预设要求为：编码单 元块的尺寸值不小于预设的尺寸阈值，W为视频帧的宽度值，H为视频帧的高度值，w为预设 的宽度量化参数，h为预设的高度量化参数；e_mv为预设的第一阈值，α为预设的第一量 化参数，β为预设的第二量化参数，s-勝兄.; J=I 所述步骤Rl为：对第i个码流分段中的各视频帧进行抖动矢量整体运动补偿，得到去 除抖动后的图像；其中，抖动矢量为Cjnvij-Cjiivgi; 所述步骤R2为：对视频帧f(ij进行全局相机运动c_mvg,补偿，得到第一虚拟相机拍 摄的图像帧f(u)#，对图像帧f(u)#使用立体匹配技术，得到第二虚拟相机拍摄的图像帧 第一、二虚拟相机拍摄的图像构成一对1体图像；根据场景图像深度值和基于深 度图的绘制技术，将两个虚拟相机采集的图像映射到原始相机的位置，得到去抖后的图像； 其中，第一虚拟相机与第二虚拟相机之间的距离为B，两个虚拟相机的焦距均为f，场景图 像深度值z= (B*f)/d，d为使用搜索匹配块技术从视频帧中获得的块级视差。
2. 根据权利要求1所述的方法，其特征在于，在所述步骤Rl或R2之后，还包括： 根据提取到的码流信息，获取视频帧f(ij中各基本单元块相对于视频帧f 的运动 矢量； 使用振动模型对所获取的运动矢量进行处理，获取视频帧f(i，P的抖动频率fp(i，P; 如果抖动频率fp(U大于预设的频率阈值，对所述去抖后的图像进行反向插值估计处 理，获得去模糊后的图像。
3. 根据权利要求2所述的方法，其特征在于，所述对所述去抖后的图像进行反向插值 估计处理，获得去模糊后的图像，包括： 对去抖后的图像中的每一行像素作如下处理：X=CT1XX^得到去模糊后的图像，其 中，Xy为去抖后的图像中的一行模糊像素，CT1为C的逆矩阵，C为预设的场景深度系数矩阵。
4. 根据权利要求1所述的方法，其特征在于，所述提取目标视频码流文件的码流信息， 根据提取到的码流信息对所述目标视频码流文件进行场景分割，获得至少一个码流分段， 包括： 提取目标视频码流文件的码流信息，根据提取到的码流信息，获取视频帧f(ij中各基 本单元块相对于视频帧的运动矢量； 将所获取的运动矢量中符合预设的聚类规则的运动矢量聚类到不可用mv类别；其中， 所述预设的聚类规则为：模值小于预设的第二阈值的运动矢量和帧内编码模式所对应的运 动矢量； 统计所述不可用IW类别中运动矢量的总数Sun，如果Su^Smrthres，则视频帧f(u不属于 该视频帧的前一帧所在的码流分段，其中，Smrthres为预设的第三阈值。
5. 根据权利要求1所述的方法，其特征在于，所述提取目标视频码流文件的码流信息， 根据提取到的码流信息对所述目标视频码流文件进行场景分割，获得至少一个码流分段， 包括： 提取目标视频码流文件的码流信息，从提取到的码流信息中获取视频帧f(ij的基本单 元块的预测残差； 如果所获取的预测残差的平方和大于预设的第四阈值，则视频帧f(U不属于该视频帧 的前一帧所在的码流分段。
6. 根据权利要求1所述的方法，其特征在于，所述提取目标视频码流文件的码流信息， 根据提取到的码流信息对所述目标视频码流文件进行场景分割，获得至少一个码流分段， 包括： 提取目标视频码流文件的码流信息，从提取到的码流信息中获取视频帧的重构帧 的基本单元块相对于视频帧的预测残差； 如果所获取的预测残差的平方和大于预设的第五阈值，则视频帧￡(^不属于该视频帧 的前一帧所在的码流分段。
7. 根据权利要求1所述的方法，其特征在于，所述根据预设的相机运动矢量确定规则， 从所获取的运动矢量中选择出：与视频帧f(ij相对应的相机运动矢量c_mvυ，包括： 根据预设的聚类规则，对所获取到的运动矢量进行聚类，将聚类得到的最大类别中包 含的运动矢量映射到二维的xy坐标系中，得到多个样本点，用一个半径为预设的半径值的 圆覆盖多数的样本点，将离圆心最近的样本点所对应的运动矢量确定为：与视频帧&^相 对应的相机运动矢量Cjnvijtj
8. -种视频去抖动装置，其特征在于，所述装置包括： 场景分割模块，用于提取目标视频码流文件的码流信息，根据提取到的码流信息对所 述目标视频码流文件进行场景分割，获得至少一个码流分段；其中，每个码流分段描述的视 频内容画面为一个场景，每个码流分段中包含至少一个视频帧； 背景特征区域确定模块，用于针对所述场景分割模块分割得到的第i个码流分段中的 第j个视频帧，在该视频帧的边缘区域内，确定满足预设要求的编码单元块，并将该编 码单元块覆盖的区域确定为背景特征区域A(i，j);其中，i=1，......，N;j=1，......，Mi;N为 码流分段的总数，Mi为第i个码流分段中包含的视频帧的总数；所述边缘区域的宽度为：W*l/w，高度为：H*l/h，所述预设要求为：编码单元块的尺寸值不小于预设的尺寸阈值，W为 视频帧的宽度值，H为视频帧的高度值，w为预设的宽度量化参数，h为预设的高度量化参 数； 相机运动矢量确定模块，用于获取所述背景特征区域确定模块确定出的背景特征区域Aa 中各基本单元块相对于视频帧f(i，j_1}的运动矢量，根据预设的相机运动矢量确定规 贝1J，从所获取的运动矢量中确定出：与视频帧f(ij相对应的相机运动矢量c_mvij; 第一判断模块，用于计算第i个码流分段中所有视频帧的相机运动矢量的均值c_mvgi， 判断IcjwgiI是否小于e_mv，并在判断结果为是的情况下触发第二判断模块，在判断结果 为否的情况下触发第三判断模块；其中，ε_mv为预设的第一阈值； 所述第二判断模块，用于判断IsjIivgiI是否小于α*ε_πιν，并在判断结果为是的情况 下触发第一去抖模块，在判断结果为否的情况下触发第二去抖模块；其中，α为预设的第 X 一量化参数，sZ(c' _ -c_ /")?.,.)] /M,.; .H 所述第三判断模块，用于判断IsjIivgiI是否小于IB=HcjIivgiI,并在判断结果为是的情 况下触发第一去抖模块，在判断结果为否的情况下触发第二去抖模块；其中，β为预设的 第二量化参数； 所述第一去抖模块，用于对第i个码流分段中的各视频帧进行抖动矢量整体运动补 偿，得到去除抖动后的图像；其中，抖动矢量为Cjnvij-Cjiivgi; 所述第二去抖模块，用于对视频帧f(ij进行全局相机运动Cjwgi补偿，得到第一虚拟 相机拍摄的图像帧f(i，j)#，对图像帧f(i，j)#使用立体匹配技术，得到第二虚拟相机拍摄的图 像帧f(U_，第一、二虚拟相机拍摄的图像构成一对立体图像；根据场景图像深度值和基 于深度图的绘制技术，将两个虚拟相机采集的图像映射到原始相机的位置，得到去抖后的 图像； 其中，第一虚拟相机与第二虚拟相机之间的距离为B，两个虚拟相机的焦距均为f，场 景图像深度值z= (B*f)/d，d为使用搜索匹配块技术从视频帧中获得的块级视差。
9. 根据权利要求8所述的装置，其特征在于，所述装置还包括：去模糊模块；所述去迷 糊丰吴块包括： 运动矢量获取子模块，用于根据提取到的码流信息，获取视频帧f(U中各基本单元块 相对于视频帧的运动矢量； 抖动矢量获取子模块，用于使用振动模型对所述运动矢量获取子模块获取到的运动矢 量进行处理，获取视频帧f(ij的抖动频率fp 去模糊子模块，用于在所述抖动矢量获取子模块获取到的抖动频率fp(u大于预设的 频率阈值的情况下，对所述去抖后的图像进行反向插值估计处理，获得去模糊后的图像。
10. 根据权利要求9所述的装置，其特征在于，所述去模糊子模块，具体用于： 对去抖后的图像中的每一行像素作如下处理：X=CT1XX^得到去模糊后的图像，其 中，Xy为去抖后的图像中的一行模糊像素，CT1为C的逆矩阵，C为预设的场景深度系数矩阵。
11. 根据权利要求8所述的装置，其特征在于，所述场景分割模块，具体用于： 提取目标视频码流文件的码流信息，根据提取到的码流信息，获取视频帧f(ij中各基 本单元块相对于视频帧的运动矢量； 将所获取的运动矢量中符合预设的聚类规则的运动矢量聚类到不可用IW类别；其中， 所述预设的聚类规则为：模值小于预设的第二阈值的运动矢量和帧内编码模式所对应的运 动矢量； 统计所述不可用IW类别中运动矢量的总数Sun，如果Su^Smrthres，则视频帧f(u不属于 该视频帧的前一帧所在的码流分段，其中，Smrthres为预设的第三阈值。
12. 根据权利要求8所述的装置，其特征在于，所述场景分割模块，具体用于： 提取目标视频码流文件的码流信息，从提取到的码流信息中获取视频帧f(ij的基本单 元块的预测残差； 如果所获取的预测残差的平方和大于预设的第四阈值，则视频帧f(U不属于该视频帧 的前一帧所在的码流分段。
13. 根据权利要求8所述的装置，其特征在于，所述场景分割模块，具体用于： 提取目标视频码流文件的码流信息，从提取到的码流信息中获取视频帧的重构帧 的基本单元块相对于视频帧的预测残差； 如果所获取的预测残差的平方和大于预设的第五阈值，则视频帧￡(^不属于该视频帧 的前一帧所在的码流分段。
14. 根据权利要求8所述的装置，其特征在于，所述相机运动矢量确定模块，具体用于： 根据预设的聚类规则，对所获取到的运动矢量进行聚类，将聚类得到的最大类别中包 含的运动矢量映射到二维的x-y坐标系中，得到多个样本点，用一个半径为预设的半径值 的圆覆盖多数的样本点，将离圆心最近的样本点所对应的运动矢量确定为：与视频帧faj) 相对应的相机运动矢量Cjnvijtj
【文档编号】H04N5/21GK104469086SQ201410799113
【公开日】2015年3月25日 申请日期:2014年12月19日 优先权日:2014年12月19日
【发明者】贺坚强 申请人:北京奇艺世纪科技有限公司