专利名称：一种基于fpga的视频分辨率增强方法及模块的制作方法
技术领域：
本发明涉及一种视频处理领域，尤其是可将普通分辨率的数字视频文件的分辨率增强后输出到高清晰度显示设备进行实时显示的处理方法和硬件模块。
背景技术：
常用的高清视频的分辨率主要有720P (1280X720)和1080p (1920X 1080)等格
式。要观看真正的高清视频，除了高清晰度显示设备之外，还需要相匹配的高清视频信号源。高清信号的数据量庞大，对当前的存储系统是一个很大的挑战。相比而言，非高清视频具有资源丰富、数据量小而易于存储的优点。过去生产了大量的分辨率较低的DVD影片，以及目前医学影像、安全监控和智能车控制等领域采用的仍然是较低分辨率的摄像机，因此实现低分辨率视频在高分辨率显示设备上的播放是迫切的需要。然而如果将低分辨率视频信号，比如分辨率为720X576的标准清晰度电视信号直接输入到高清电视机中播放，由于视频信号分辨率小于显示器分辨率，则显示器的几个像素点显示输入信号的同一个像素点，出现明显的马赛克效应，。以牺牲视频帧率为代价的超分辨率重建技术能够有效地提高图像的分辨率。通过提取图像序列中附加的空域和时域信息，利用多帧较低分辨率的图像可以生成一帧高分辨率的图像。然而，由于超分辨率重建技术是将多帧图像合成一帧，为了符合60帧每秒的视频播放要求，必须采用240帧每秒甚至更高的高帧率信号，否则无法实现连续播放。一方面高频帧传感器价格昂贵，另一方面当前的超分辨率重建算法也无法快速地处理连续的视频信号，因此超分辨率重建技术不能用来实时地提高视频信号的分辨率。中国专利一篇公开说明书CN101639932B描述了一种数字图像分辨率增强的方法及系统。此方法主要包 括:图像插值，对低分辨率图像的亮度图进行最近邻插值；改进贝叶斯图像插值模型；插值校正，用改进的贝叶斯图像插值型校正高分辨率图像的亮度图。针对彩色图像，此方法提供了图像预处理和后处理，前者对输入的低分辨率彩色图像进行颜色空间转换，后者将校正后的高分辨率亮度图和色度分量图反向转换成彩色图像。此方法针对原有贝叶斯插值方法计算量庞大、执行速度慢的问题，通过快速确定下降方向和步长，力口速了插值的执行，同时具有边缘保持能力，能够有效恢复图像细节，提高图像清晰度。然而，此方法采用的是软件的方法对图像信号进行插值，因而不能对数据量较大的视频信号进行实时的处理。本发明将现场可编程门阵列(FPGA)硬件编程与视频图像信号插值结合起来，能够实时地提高现有的非高清视频信号的分辨率，消除马赛克效应，从而将丰富的非高清视频在高清显示设备中以高清的视频格式播放出来。因此，本发明能够作为一种非高清视频在高清显示设备中播放的低成本而有效的解决方案。
发明内容
本发明主要解决的技术问题是设计并提供了一种将具有普通分辨率的原始视频素材增强分辨率后实时输出到高清晰度显示设备进行显示的处理方法和硬件模块。本发明从原理上采用标准插值算法对原始视频流中每一帧图像进行放大，利用FPGA的高速数据传输和处理性能，尤其是强大的并行运算能力，将数字视频文件的读取、处理与输出过程紧密结合，从而得到一种硬实时的视频分辨率增强模块，使低分辨率数字视频素材与高分辨率显示设备良好地匹配，解决了分辨率不同的情况下显示模糊的弊端，以及视频超分辨率重建技术时间开销过大的缺陷。本发明主要应用于家庭生活、医学影像、安全监控、智能车控制、户外视频广告等领域，具有输出分辨率高、实时性强、小型化、操作简便、成本低廉、可靠性高等特点，满足人们对高分辨率显示的一般要求。本发明所采用的技术方案是:首先将来自较低分辨率的数字视频输入设备4 (一般为低分辨率摄像机，DVD机等)的视频文件的每一帧图像，在FPGA芯片2的控制下，依次存储到FPGA嵌入式系统I的缓存RAM存储器3中；然后利用标准插值算法(双线性插值，双三次插值等)对每帧图像上两个相邻像素点之间未定义的像素值进行合理的估计与插入，放大每一帧图像，并保持图像的平滑性与对比度，从而提高每帧图像的分辨率，即视频的分辨率；最后将处理过的每帧图像依次连续输出到高分辨率显示设备5进行显示。本发明所设计的基于FPGA的视频分辨率增强模块具有以下特点:
1.集成度高，便携性好，所有使用的芯片与电子元器件都集成在一块电路板上，体积小，重量轻；
2.成本低廉，所使用的都是入门级的FPGA和相关芯片，利于大规模生产；
3.采用模块化设计，结构简单，便于组装和调试；
4.数字化电路的设计保证了高稳定度。
图1是基于FPGA的视频分辨率增强硬件系统设计框图 图2是FPGA处理视频帧图像的流水线操作框图
具体实施例方式下面结合附图给出具体实施方法，进一步说明本发明的基于FPGA的视频分辨率增强方法及模块的设计和调试方法。通用的视频源的刷新率一般为60Hz，即每秒输出60帧图像，视频源与接收器的数据传输以场同步信号(VSYNC)作为每帧图像的标志。在本发明的分辨率增强过程中，以场同步信号为周期，设计的对视频的每一帧图像的输入、插值放大和输出共需占用三个周期。首先由FPGA发出控制信号，在第一个场信号周期内通过摄像机或DVD 4的输出接口将数字视频文件的第N帧图像缓存到嵌入式开发板的RAM存储器3中；在第二个场信号周期内，对缓存的第N+1帧图像通过标准插值算法(双线性插值和双三次插值等)进行插值和放大，同时基于FPGA芯片2的高速并行运算性能，用嵌入式开发板的RAM存储器3上的其它存储空间缓存视频的第二帧 图像；第三个场信号周期内，通过视频输出接口将放大后的第N帧图像输出到显示设备，同时处理已经缓存的第N+1帧图像，并读入视频的第N+2帧图像。从硬件工作流程的角度看，这是一种流水线操作，FPGA同时向视频输入设备和显示设备发送控制信号，通过不同的接口接收和发送数据，其高速并行的处理能力得到了最大程度的开发利用。从时序的角度看，由于基于FPGA的硬件电路处理图像速度非常快，在本例中仅需经过两个场信号周期的延时(2/60秒)即可在显示设备上连续地在高分辨率显示设备5上输出高分辨率的视频，满足严格的实时性要求。从占用系统资源的角度看，每一个步骤仅需同时缓存三帧图像，需要的存储空间非常小。同时本发明实施了最近邻插值、贝叶斯插值及分形插值等的插值算法进行图
像的放大，该算法均落在 本发明保护范围之内。
权利要求
1.一种基于FPGA的视频分辨率增强的方法与模块，其本体为FPGA嵌入式系统(I )，由FPGA芯片(2)、存储器RAM (3)集成在一块系统开发板上组成，FPGA芯片(2)对两个外围设备同时发送控制信号，本发明的特征在于:利用基于FPGA的高速硬件电路实现对视频的高速实时处理和输出，将输入视频的场同步信号周期作为运行的基准周期，将FPGA芯片(2)的工作流程分为三个步骤的流水线操作:第一个周期从输入设备(4)读入第一帧图像并缓存，第二个周期插值处理缓存的图像，并继续从输入设备(4)读入第二帧图像及缓存，第三个周期向显示设备(5)输出已处理的图像，插值处理第二帧图像，并读入第三帧图像，依此流程继续进行，直到视频输入完成或中断；将输入视频的场同步信号直接作为输出视频的场同步信号，从而实现输出视频与输入视频帧频率相同。
2.按照权利要求1所述的视频分辨率增强的方法与模块，其特征在于:外围设备为低分辨率视频输入设备(4)、闻分辨率显不设备(5)。
3.按照权利要求1所述的视频分辨率增强的方法与模块，其特征在于=FPGA芯片(2)与存储器RAM (3)用FPGA数据总线连接，FPGA嵌入式系统(I)与外围设备(4)、(5)之间通过标准视频接口连接。
4.按照权利要求1所述的视频分辨率增强的方法与模块，其特征在于:基于FPGA的硬件电路实现 了多种不同的图像插值算法。
全文摘要
本发明涉及一种将普通分辨率的数字视频文件的分辨率增强后输出到高清晰度显示设备进行实时显示的处理方法和硬件模块，所述方法包括将具有较低分辨率的数字视频素材的每一帧图像依次存储到FPGA嵌入式系统的缓存中；然后利用标准插值算法(双线性插值，双三次插值等)对每帧图像上两个相邻像素点之间未定义的像素值进行合理的估计与插入，放大每一帧图像，并保持图像的平滑性与对比度，从而提高每帧图像的分辨率，即视频的分辨率；最后将处理过的每帧图像依次连续输出到显示设备。本发明可广泛地应用于家庭生活、医学影像、安全监控、智能车控制、户外视频广告等领域，具有输出分辨率高、实时性强、小型化、操作简便、成本低廉、可靠性高等特点。
文档编号G06T3/40GK103248797SQ20131020908
公开日2013年8月14日 申请日期2013年5月30日 优先权日2013年5月30日
发明者马兆远, 王路 申请人:北京志光伯元科技有限公司