一种基于内容的视频尺寸缩小的方法
【专利摘要】本发明公开了一种基于内容的视频尺寸缩小的方法，首先进行场景切换检测与关键帧提取；采用前向整像素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的象素点，并对每个块进行前向整像素点运动估计，找到运动矢量；对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射后在后续步骤中被删除；提取关键帧的最优接缝，采用动态设计法在关键帧中搜索最小能量接缝；进行鲁棒接缝检测和质量判断，缩小视频帧直至视频帧尺寸满足设计要求。本发明的有益效果是运算量小，占用空间小。
【专利说明】一种基于内容的视频尺寸缩小的方法
【技术领域】
[0001]本发明属于视频处理【技术领域】，涉及一种基于内容的视频尺寸缩小的方法。
【背景技术】
[0002]抽线技术(是图像尺寸变换的一种方法，又称为内容感知的图像尺寸变换法。该方法基于寻找图像中一系列从上到下或者从左到右的最不重要的通路-接缝，并自动地将这些接缝挨个删除以达到缩小图像尺寸的目的)，鲁棒接缝(接缝存在于连续视频帧的相同内容中，删除这些接缝不会引起视频闪烁和抖动)。
[0003]现有视频缩放技术均是对视频帧进行等尺寸缩放，但使得视频在小尺寸手持设备上观看时清晰度不高，不能满足用户的要求。由于现有视频缩放技术无法分辨视频帧中内容的重要性，因此无法实现在缩小过程中对重要内容进行保真处理即保持原始分辨率。
[0004]现有的基于内容感知的图像缩放技术如剪切技术、图形切割技术和抽线技术可以较好地保留图像中的主体内容，但是将剪切技术和抽线种技术应用于视频处理会产生明显的视觉抖动和闪烁，并显著地增加了视频帧间差。此外该两种技术的计算量很大，需要对视频帧进行逐帧处理。图形切割技术能够有效避免视觉抖动和闪烁，但是该技术需要处理完一段视频流中的所有帧才能确定一条接缝的删除，运算量和所需的存储空间大得没法在现有普通计算机中实现高清视频的处理。FSCAV需要用RANSAC方法去估计补偿连续帧之间的摄像机运动，运算量大，通常要进行300次的迭代，估计精度才会比较高，而且该方法也必须处理完所有视频帧才能完成一次抽线过程，运算量大所需存储量仍然大。
[0005]现有技术的缺点:等尺寸视频缩放技术无法满足视频重要内容在小尺寸的手持设备中的保真显示；基于内容感知的图像缩放技术如剪切技术和抽线技术运算量大，抽线技术会出现前景物体失真，帧间差明显增加，并会产生明显的视觉抖动和闪烁；图形切割技术运算量和存储量太大，一般通用计算机无法实现高清视频的处理。FSCAV方法采用八个参数定义摄像机的运动情况:其中六个参数代表放射运动，两个参数描述景深变化。该方法需要用RANSAC方法去估计补偿连续帧之间的摄像机运动，运算量大，通常要进行300次的迭代估计精度才会比较高，而且该方法也必须处理完所有视频帧才能完成一次抽线过程。
【发明内容】
[0006]本发明的目的在于提供一种基于内容的视频尺寸缩小的方法，解决了现有的方法计算量大的问题。
[0007]本发明所采用的技术方案是按照以下步骤进行:
[0008]步骤I，场景切换检测与关键巾贞提取；
[0009]步骤2，采用前向整像素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的象素点，并对每个块进行前向整像素点运动估计，找到运动矢量；
[0010]步骤3，对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射后在后续步骤中被删除；[0011]步骤4，提取关键帧的最优接缝，采用动态设计法在关键帧中搜索最小能量接缝；
[0012]步骤5，鲁棒接缝检测:本步骤检测步骤4提取的最优接缝是否是鲁棒接缝，并通过运动矢量MV实现关键帧最优接缝在非关键帧上的映射，检测到鲁棒接缝后就在关键帧里删除该鲁棒接缝并删除非关键帧里鲁棒接缝的映射像素点，完成水平或者垂直方向一个像素大小的缩小；
[0013]步骤6，质量判断:本步骤分析在不出现明显失真前提下多少接缝可以被删除。删除第i条接缝以后的误差代价函数用E(Si)表示，当E(Si)超过门限Ts时本案将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小，而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求。
[0014]进一步，步骤I中场景切换检测通过判断当前帧方差的二阶导数实现，每个场景的第一个清晰帧为关键帧。
[0015]进一步，步骤4中，搜索最小能量接缝过程为:混合能量计算公式计算每个关键帧中的像素的删除代价能量Etotal(X),联合考虑了该像素点的原始能量、抽线集中程度以及像素角色值，式中E_g表示在前景区域内连续抽线的集中程度，Erale代表每个像素的角色值，即背景、前景以及不可删除区域，EU)代表像素点X的能量，
[0016]Etotal (X) = Erole (X) X (E (X) +Econg (X))
【权利要求】
1.一种基于内容的视频尺寸缩小的方法，其特征在于按照以下步骤进行: 步骤I，场景切换检测与关键帧提取； 步骤2，采用前向整像 素运动估计为非关键帧的每一像素在关键帧中找到与之匹配的象素点，并对每个块进行前向整像素点运动估计，找到运动矢量； 步骤3，对视频所有帧的重点区域像素点进行保护，防止这些像素点被选入最优接缝或最优接缝的映射后在后续步骤中被删除； 步骤4，提取关键帧的最优接缝，采用动态设计法在关键帧中搜索最小能量接缝； 步骤5，鲁棒接缝检测:本步骤检测步骤4提取的最优接缝是否是鲁棒接缝，并通过运动矢量MV实现关键帧最优接缝在非关键帧上的映射，检测到鲁棒接缝后就在关键帧里删除该鲁棒接缝并删除非关键帧里鲁棒接缝的映射像素点，完成水平或者垂直方向一个像素大小的缩小； 步骤6，质量判断:本步骤分析在不出现明显失真前提下多少接缝可以被删除；删除第i条接缝以后的误差代价函数用E(Si)表示，当E(Si)超过门限1时本案将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小，而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求。
2.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于:所述步骤I中场景切换检测通过判断当前帧方差的二阶导数实现，每个场景的第一个清晰帧为关键帧。
3.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于:所述步骤4中，搜索最小能量接缝过程为:混合能量计算公式计算每个关键帧中的像素的删除代价能量Etrtal (X)，联合考虑了该像素点的原始能量、抽线集中程度以及像素角色值，式中艮?8表示在前景区域内连续抽线的集中程度，Erole代表每个像素的角色值，即背景、前景以及不可删除区域，EU)代表像素点X的能量，
4.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于:所述步骤.5中，当关键帧最优接缝在非关键帧上的映射被不可删除区域或者不精确的运动矢量打断，从而在映射接缝中出现缺损像素时，在不可删除区域的同行或同列区域进行局部搜索找到替代映射点填补映射接缝的缺损像素，当当前最优接缝在该场景的所有非关键帧中有对应的映射像素点或者能通过上述处理方案填补修复时该接缝成为一条鲁棒接缝，否则为非鲁棒接缝。
5.按照权利要求1所述一种基于内容的视频尺寸缩小的方法，其特征在于:设删除第i条接缝以后的误差代价函数用E(Si)表示，当E(Si)超过门限1时将认为不能继续删除鲁棒接缝完成视频帧尺寸缩小而换用常规的等尺寸缩放方法继续缩小尺寸直至视频帧尺寸满足设计要求，Ts由下式计算:
【文档编号】H04N19/142GK103974068SQ201410190933
【公开日】2014年8月6日 申请日期:2014年5月7日 优先权日:2014年5月7日
【发明者】邬震宇 申请人:电子科技大学