专利名称：一种高分辨率视频图像重建方法
技术领域：
本发明涉及计算机图像处理技术领域，特别涉及一种基于非局部平均时变空域滤 波器的高分辨率视频图像重建方法。
背景技术：
高分辨率图像重建方法就是用单幅或多幅图像重建得到高分辨率的图像。有很多 已经存在的方法是利用多幅低分辨率的图像来恢复高分辨率的图像。但是，现有高分辨率 图像重建方法一般都需要对运动目标进行精确地运动估计，但对局部区域进行高精度的运 动估计是一项非常困难的工作，尤其在存在遮挡和噪声的情况下。
发明内容
本发明的目的旨在至少解决上述技术缺陷，特别提出了一种基于非局部平均时变 空域滤波器的高分辨率视频图像重建方法。为达到上述目的，本发明一方面提出一种高分辨率视频图像重建方法，包括以下 步骤输入视频图像序列；对输入的所述视频图像序列进行插值；对已插值的所述视频图 像序列中的被差值点建立运动矢量集；对所述运动矢量集中的每个运动矢量，获得被插值 点处的运动补偿权值和加权运动补偿值；累积所述被插值点处相应于运动矢量集的运动补 偿权值和加权运动补偿值以获得运动补偿权值累计值；采用运动补偿权值累计值归一化所 述被插值点处的加权运动补偿值的累计值，获得所述被插值点处的像素值；在插值结果满 足超分辨率视频图像质量的要求之后，输出插值后的高分辨率视频图像。本发明的方法对视频中出现的遮挡覆盖等现象具有很强的鲁棒性，可用于高分辨 率视频图像重建等领域。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的基于非局部平均时变空域滤波器的高分辨率视频图像重 建方法流程图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。由于本发明不需要显式的运动估计，同时其通过隐式的运动估计与补偿形式恢复
4高分辨率的视频图像，因此本发明能够有效的避免复杂的运动估计，同时能充分的考虑用 于插值的图像之间的相关性。如图1所示，为本发明实施例的基于非局部平均时变空域滤波器的高分辨率视频 图像重建方法流程图，包括以下步骤步骤S101，输入视频图像序列。步骤S102，对输入的视频图像序列进行插值。在本发明的实施例中，可采用现有的 双线性、双三次样条等方法对输入的视频图像序列进行插值。步骤S103，对已插值的视频图像序列中的被插值点建立运动矢量集。具体包括将视频流中当前已插值的一帧图像，记为当前帧图像It，t为当前帧图像在视频流 中的帧标号，并对当前图像所有被插值点建立运动矢量集V(X，y，u，v，j)，其中，(x,y)为被 插值点的坐标，(u，v，j)为对应于该点的运动矢量。步骤S104，对每个运动矢量，获得被插值点处的运动补偿权值和加权运动补偿值。 具体包括首先，将被插值点坐标处的权值归一化系数和非归一化滤波后的值均赋值为0。再 根据输入帧序列设置搜索域形状W、比较区域形状B、核宽度h和计算范数参数P。在本发明 的一个实施例中，搜索域的形状可被设置为球形、圆柱体、圆形、任意多面体或任意多边形。接着，通过下式计算在当前运动矢量(u，ν, j)下，以(X，y，t)为中心的区域与以 (x+u, y+v, t+j)为中心区域间像素值之间的距离S (x, y, u, ν, j) = | B (χ, y, t)-B (x+u, y+v, t+j) | |p。最后，通过下式计算在当前运动矢量(u，ν, j)下，当前帧被插值点坐标处的运动 补偿权值a(x,y,u,v,j) = cxp(-S(x'y2^;V'j)),其中，exp( ·)为指数函数。在本发明的一个
实施例中，权值函数不仅包括上述的指数函数exp( ·)，还可选择其他合适的权值函数。步骤S105，累积被插值点处相应于运动矢量集的运动补偿权值和加权运动补偿值 以获得运动补偿权值累计值。步骤S106，采用运动补偿权值累计值归一化被插值点处的加权运动补偿值的累计 值，获得被插值点处的像素值。具体包括首先，通过下式计算对应于运动矢量(u，ν, j)下，(X，y)坐标处的权值归一化系 数:a(x, y) = a(x, γ) + ω (χ, y, u，ν, j)，其中，a (χ, y)为归一化系数。接着，在当前偏置坐标和类比图像标号j下，通过下式更新当前帧图像每个坐标
处的非归一化滤波后的值ftCx'>') = 7 (χ··>τ) + ^(xtyrufVjy ■ / +/(χ + + ν)其中，
为非归一化处理后的值，It+J为第t+j帧图像信息；最后，将当前偏置坐标对应的搜索域坐标标志为已处理，并通过下式计算当前帧 图像在当前待插值坐标点的归一化处理后的值
f f . 40'y)
ο步骤S107，判断插值结果是否满足超分辨率视频图像质量的要求。如果判断满足要求则执行步骤S108，如果判断不满足要求则执行步骤S104。步骤S108，输出插值后的高分辨率视频图像。本发明的方法对视频中出现的遮挡覆盖等现象具有很强的鲁棒性，可用于高分辨 率视频图像重建等领域。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种高分辨率视频图像重建方法，其特征在于，包括以下步骤输入视频图像序列；对输入的所述视频图像序列进行插值；对已插值的所述视频图像序列中的被差值点建立运动矢量集；对所述运动矢量集中的每个运动矢量，获得被插值点处的运动补偿权值和加权运动补偿值；累积所述被插值点处相应于运动矢量集的运动补偿权值和加权运动补偿值以获得运动补偿权值累计值；采用所述运动补偿权值累计值归一化所述被插值点处的加权运动补偿值的累计值，获得所述被插值点处的像素值；在插值结果满足超分辨率视频图像质量的要求之后，输出插值后的高分辨率视频图像。
2.如权利要求1所述的高分辨率视频图像重建方法，其特征在于，所述对已插值的视 频图像序列中的被差值点建立运动矢量集，进一步包括将视频流中当前已插值的一帧图像，记为当前帧图像It，其中，t为当前帧图像在视频 流中的帧标号；和对当前图像所有被插值点建立运动矢量集V(X，y，u，v，j)，其中，(x，y)为被插值点的 坐标，(u，ν, j)为对应于该点的运动矢量。
3.如权利要求2所述的高分辨率视频图像重建方法，其特征在于，所述对每个运动矢 量，获得被插值点处的运动补偿权值和加权运动补偿值进一步包括将被插值点坐标处的权值归一化系数和非归一化滤波后的值均赋值初始为0 ； 根据输入帧序列设置搜索域形状W、比较区域形状B、核宽度h和计算范数参数ρ ； 通过下式计算在当前运动矢量(u，v，j)下，以(x，y，t)为中心的区域与以(X+u，y+v， t+j)区域间像素值之间的距离 通过下式计算在当前运动矢量(u，ν, j)下，当前帧被插值点坐标处的运动补偿权值 少,u,ν, j) 二 eXp(- S(X'^； 力),其中，exp(.)为指数函数。
4.如权利要求3所述的高分辨率视频图像重建方法，其特征在于，所述搜索域的形状 为球形、圆柱体、圆形、多面体或多边形。
5.如权利要求3所述的高分辨率视频图像重建方法，其特征在于，所述采用运动补偿 权值累计值归一化被插值点处的加权运动补偿值的累计值，获得被插值点处的像素值进一 步包括通过下式计算对应于运动矢量(u，v，j)下(x，y)坐标处的权值归一化系数a(X，y)= a (χ, γ) + ω (x，y，u，v，」)，其中，3^，7)为归一化系数；在当前偏置坐标和类比图像标号j下，通过下式更新当前帧图像每个坐标处的非归一化滤波后的值=+· Ι,φ + + O,其中，ft(x,y)为非归一化处理后的值，It+J为第t+j帧图像信息；和将当前偏置坐标对应的搜索域坐标标志为已处理，并通过下式计算当前帧图像在当前 待插值坐标点的归一化处理后的值 ？ / 、他 y)
全文摘要
本发明提出一种高分辨率视频图像重建方法，包括以下步骤输入视频图像序列；对输入的所述视频图像序列进行插值；对已插值的所述视频图像序列中的被差值点建立运动矢量集；对所述运动矢量集中的每个运动矢量，获得被插值点处的运动补偿权值和加权运动补偿值；累积所述被插值点处相应于运动矢量集的运动补偿权值和加权运动补偿值以获得运动补偿权值累计值；采用运动补偿权值累计值归一化所述被插值点处的加权运动补偿值的累计值，获得所述被插值点处的像素值；在插值结果满足超分辨率视频图像质量的要求之后，输出插值后的高分辨率视频图像。本发明的方法对视频中出现的遮挡覆盖等现象具有很强的鲁棒性，可用于高分辨率视频图像重建等领域。
文档编号H04N7/46GK101917624SQ20101023867
公开日2010年12月15日 申请日期2010年7月26日 优先权日2010年7月26日
发明者付莹, 戴琼海 申请人:清华大学