一种减少存储带宽需求的超高清帧率上变换系统的制造方法与工艺

本发明涉及视频处理领域，具体地，涉及一种视频处理系统，用于在超高清帧率上变换中以减少存储带宽需求。

背景技术：
近年来，人们对高品质视觉享受的主观需求和半导体技术快速发展的客观条件共同促进了超高清电视产业的蓬勃发展。然而，由于当前传输系统带宽的限制，超高清电视节目只能以较低的帧率传输。与此同时，大屏幕显示设备的刷新率又有较大的提升，视频帧率低于屏幕刷新率，这一失配直接导致图像出现拖影、停顿、模糊等现象，显示效果不佳。视频帧率上变换技术作为重要的视频后处理手段，可以有效的提升显示视频的帧率，在高刷新率的显示屏上提高图像的主观质量。帧率上变换系统的带宽通常与视频分辨率、帧率以及搜索窗大小等因素有关。对于超高清帧率上变换系统，其处理对象为超高清视频图像，相应的视频分辨率、搜索窗较高清视频增大很多，因此极高的带宽需求成为实现超高清帧率上变换系统的瓶颈。现有专利技术(如公开号CN102067583A)中，有人利用视频压缩方法来降低带宽需求，此类方法虽然可以用于超高清帧率上变换系统，但是大大提高了整个系统的计算复杂度。

技术实现要素：
针对现有技术中的不足，本发明的目的是提供一种超高清视频帧率上变换系统，可以大幅减少存储带宽需求，同时保持图像质量。为实现上述目的，本发明所述的减少存储带宽需求的超高清帧率上变换系统，包括输入模块、运动估计模块、矢量后处理模块和内插模块，其中：所述输入模块，用于接收超高清视频图像流，经过1/4降采样后，得到高清视频图像；同时将原始超高清视频图像和降采样后的高清视频图像存入片外存储器；所述运动估计模块，用于从片外存储器读入高清分辨率下搜索窗的像素数据，通过块匹配算法得到此分辨率下的运动矢量，此运动矢量经过2倍缩放后作为超高清分辨率下运动矢量的粗值；所述矢量后处理模块，耦接至所述运动估计模块，将运动估计得到的运动矢量粗值进一步细化、平滑处理，从而降低矢量缩放引入的误差，提高矢量场的平滑度以及稠密度；所述内插模块，耦接至所述矢量后处理模块，根据矢量后处理模块得到的运动矢量最终值，从片外存储器读入对应的参考像素块，计算出内插像素块。优选地，所述输入模块包括HDMI、DP、Diiva等数字音视频接口和降采样子模块，其中数字音视频接口接收传输超高清视频图像流，降采样子模块对超高清视频图像流进行1/4采样，并将原始超高清视频图像和高清视频图像存入外存。更优选地，所述输入模块至少将连续两帧原始超高清视频图像和两帧降采样后的高清视频图像保存到片外存储器。优选地，所述运动估计模块包括更新控制模块、片内高速缓存和块匹配计算子模块，其中更新控制模块控制从片外存储器读入高清搜索窗数据，保存在片内高速缓存中，块匹配计算子模块在所述搜索窗范围内进行匹配运算，从而得到高清分别率下的运动矢量，将此运动矢量进行2倍缩放后输出至矢量后处理模块。优选地，所述矢量后处理模块包括两级滤波子模块，所述滤波子模块根据时空邻域矢量场的相关性、并通过分解当前匹配块的尺寸，逐级提高矢量场的平滑度及稠密度；所述矢量后处理模块仅对运动估计模块得到的粗略矢量场进行滤波处理，处理过程不涉及像素信息。优选地，所述系统只读入高清分辨率搜索窗的像素数据，所述内插模块直接从片外存储器读入超高清参考块的像素进行内插。所述内插模块高效地读取片外超高清视频图像的数据，避免由搜索窗带来的重复数据访问。与现有技术相比，本发明具有如下的有益效果：1、只从外存读入高清分辨率搜索窗的像素，从而减少片外存储器带宽；2、片内保存高清分辨率搜索窗的像素，从而减小片内存储面积和片内访存带宽；3、矢量后处理模块降低了矢量缩放带来的误差，从而保证了图像的质量；4、内插模块直接读取外存的超高清视频图像数据进行内插，由于读入数据与图像分块一一对应，保证了读入超高清视频图像数据的带宽最小。综上，本发明能大幅减少系统的存储带宽需求，对解决目前超高清帧率上变换系统的带宽瓶颈有非常重要的意义。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：图1为本发明一实施例系统框图；图2为本发明一实施例流程图。具体实施方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。如图1所示，本实施例提供一种减少存储带宽需求的超高清帧率上变换的系统，包括输入模块、运动估计模块、矢量后处理模块和内插模块，其中：所述输入模块，用于接收超高清视频图像流，经过1/4降采样后，得到高清分辨率的视频图像；同时将原始超高清视频图像和降采样后的高清视频图像存入片外存储器；所述运动估计模块，用于从片外存储器读入高清分辨率下搜索窗的像素数据，通过块匹配算法得到此分辨率下的运动矢量，此运动矢量经过2倍缩放后作为超高清分辨率下运动矢量的粗值；所述矢量后处理模块，耦接至所述运动估计模块，将运动估计得到的运动矢量粗值进一步细化、平滑处理，从而降低由矢量缩放引入的误差，提高矢量场的平滑度以及稠密度；所述内插模块，耦接至所述矢量后处理模块，根据最终的运动矢量从片外存储器读入对应的参考像素块，计算出内插像素块。为了详细说明本发明所述的一种减少存储带宽需求的超高清帧率上变换的系统，以下一范例来加以说明，图2表征以下所述流程：假设系统外部以HDMI协议传输30fps的超高清视频图像流，所述输入模块以HDMI接口协议接收，经过均匀降采样得到高清视频图像流，同时将原始超高清视频图像和降采样后的高清视频图像存入片外存储器；根据系统的处理速度，外存存储8帧超高清视频图像、8帧高清视频图像数据。根据超高清帧率上变换中运动估计的搜索窗[Sx,Sy]，确定其对应的高清分辨率下的搜索窗为[Sx/2,Sy/2]。所述运动估计模块内的更新控制模块从片外读取搜索窗内的像素，存入所述片内高速缓存中；所述块匹配计算子模块从片内高速缓存中读取搜索窗内的16*16像素块进行匹配计算(例如绝对值差准则)，从而得到高清分辨率下的运动矢量场；将其进行2倍缩放后，得到对应超高清视频图像32*32像素块的运动矢量，并输出至矢量后处理模块。所述矢量后处理模块接收所述运动估计模块输出的矢量场后，进行2级矢量滤波操作，将32*32像素块细分为16*16，乃至8*8像素块，最终得到以8*8像素块为基本单位的运动矢量场；在实施例中，所述矢量滤波操作可以是高斯滤波，也可以是基于邻域平滑度优化的其他滤波方法。所述内插模块接收8*8像素块的矢量场后，从片外存储器直接读取矢量对应的参考帧8*8像素块，进行内插计算。通过以下计算说明本发明实例具有减少存储带宽需求的优点：帧率上变换系统的带宽通常与视频分辨率、帧率以及搜索窗大小等因素有关。在传统超高清帧率上变换系统中，为了取得较好的图像质量，搜索窗一般要求达到[±192，±128]；在搜索窗内能对一个块组进行处理，块组一般由4行*2列的32*32像素块组成；读取片外数据时，水平方向可以通过数据复用做到零浪费，因此读取带宽与搜索窗竖直方向的数据重复读入率有关，其为192*2/(32*4)＝3。因此，传统超高清帧率上变换系统的片外带宽需求为3*3840*2160*2*30bps对应地，本发明的片外带宽由运动估计和内插两部分带宽组成，为(3*1920*1080*2*30+3840*1080*2)bps显然，本发明能减少约41.7％的带宽需求。同时，片内高速缓存面积减小75％，访问带宽减小75％。本发明通过只读取高清分辨率下的搜索窗就能实现超高清帧率上变换，减少了片外存储带宽需求，减小了片内存储面积和访存带宽，同时通过矢量后处理克服了降低分辨率带来的运动估计误差，达到令人满意的视觉效果。以上为本发明的较佳实施例，然而需要注意的是，上述输入接口协议、搜索窗大小、分块大小及矢量滤波方法等均为本发明的一中实施方式，并非本发明的限制条件，亦即，依据设计需求，本发明控制模块可采用其他输入接口协议，可设置其他规格的搜索窗，可设计其他尺寸的分块，亦可用其他矢量滤波方法。以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。