专利名称：基于实时盲图像复原技术的视频像质改善系统的制作方法
技术领域：
本发明涉及改善视频图像序列成像质量的图像处理技术领域，特别是一种基于实时盲图像复原技术的视频像质改善系统。
背景技术：
研制高质量的光电成像系统一直是人类不懈的追求，但是任何成像系统，都不可避免的受到外界环境和系统本身的影响而使其图像降质。以改善图像质量为目的的图像复原理论，自20世纪60年代就已成功应用于空间探测；至今历经数十年的发展，图像复原受到国内外的广泛研究，其相关的算法和技术也逐渐成熟。而盲图像复原是当前图像复原领域的研究热点，其目的是在成像系统点扩展函数(又称图像退化或降质函数)未知或不完全确知的情形下，利用所观测的降质图像对目标图像和系统点扩展函数进行估计，实现目标图像的复原重建从而提高图像质量。由于无需确定的系统点扩展函数，相对经典的图像复原，盲图像复原适应性更强，应用领域更为广泛。有关盲图像复原的原理性内容可以参见“Blind image deconvolution theory andapplications，，, Patrizio Campisi and Karen Egiazarian, 2007。图像降质和盲复原过程见图I。但由于反卷积过程的不可逆性和噪声引入的病态性，较为有效的盲图像复原算法一般具备计算量大且复杂度高的特点，从而导致处理时间较长且硬件实现难度大，不能满足工程领域中的实时性要求。文献报道显示，多数图像复原技术只成功应用于天文观测，显微技术，医学成像等实时性要求极低的场合甚至事后处理，且通常以大型的多机系统和软件平台实现复杂的处理算法。而目前集成度较高的光电系统，其成像速度已可以达到数百帧每秒且分辨率不断提高。若要在系统中同步地使用盲图像复原技术，既需要更加高效快速的复原算法，又离不开高实时性的硬件计算技术。由于上述问题的存在，盲图像复原技术实时应用于高帧频高分辨率图像的像质改善，成为一个很重要的研究课题。其中涉及到改进盲复原算法使其计算速度加快、降低硬件系统的实现复杂度使其具备实时性能，以及硬件处理平台的小型化等技术难点。
发明内容
本发明要解决的技术问题为为克服图像复原技术工程应用实时性差的缺点，在高速成像场合利用盲图像复原技术改善图像质量，提供了包括一系列高速图像处理算法和小型化图像处理平台结构在内的核心解决方案，在一定程度上满足了工程中的实时盲图像复原要求。本发明技术方案为一种基于实时盲图像复原技术的视频像质改善系统，采用以 高速图像处理算法为核心的实时盲图像复原技术和多核并行处理结构，在小型化图像处理平台上实现视频图像的实时像质改善。系统包括三个部分，分别为输入数据分送器、输出数据组合器和由多个图像复原处理核组成的图像复原处理阵列。输入的视频图像序列，通过输入数据分送器划分为多路子序列并送入图像复原处理阵列，然后由单个复原处理核完成一路图像子序列的盲复原计算，最终将多路复原图像子序列经输出数据组合器还原为高像质的视频图像序列。
所述的输入数据分送器，对输入图像序列y进行n倍的帧频下采样，并对n路输出子序列标定编号yy i = I... n。所述的图像复原处理阵列，由n个图像复原处理核组成并标定编号Pi，核Pi只处理图像子序列Yi, i = I... n。所述的输出数据组合器，按已标定的编号，顺序地从各复原处理核读取单帧复原后图像数据，并同步输出。所述的图像复原处理核，包含三个图像处理模块，按照预处理一盲复原一后处理的流程处理图像数据。所述的图像盲复原处理，先由观测图像的傅里叶变换频谱的幂运算直接估计点扩散函数，再由维纳滤波器进行图像复原。所述的盲图像复原处理，利用实信号傅里叶变换的周期对称性和数据共轭对称性，完成二维FFT正/反变换的计算，其计算量和存储需求约为常规方法的50%。所述的盲图像复原处理，查找表的生成过程中，先利用图像数据的分布特性对表格分段，再进行非均匀的数据采样。本发明的原理由于具有高计算复杂度的图像复原算法与当前硬件处理平台的承载能力形成较大差距，故基于图像复原技术的小型化系统难以实时处理视频图像数据。为解决这一问题，本发明分别完成了系统算法筛选改进和处理结构的硬件设计，使得本系统具备实时图像复原能力。在系统算法方面，首先选取非迭代型的SeDDaRA算法并改进，利用观测图像的傅里叶变换模值幂运算提取降质函数，维纳滤波法完成图像复原，并按照图像预处理一图像盲复原一图像后处理的处理流程进行复原，如图3所示。同时，又对SeDDaRA算法中耗时严重的二维FFT正/反变换和幂函数运算进行计算方法的改进。具体地包括，利用实信号傅里叶变换的周期对称性和数据共轭对称性，缩减约50%的计算量和存储需求；使用查找表加快幂函数的运算，并利用图像数据的分布特性对表格分段量化，以减小查找表尺寸，提高查找表利用效率。在系统结构方面，采用多核并行处理方式，以单片DSP芯片实现一个具有上述处理流程的图像复原处理核，由多片DSP构成高处理性能的图像复原处理阵列。如图2所示，在图像数据传输过程中，输入数据分送器将输入的视频图像，降至图像复原处理核可实时处理的帧频后，送入图像复原处理阵列，然后由输出数据组合器将复原后同步图像子序列，组合为具有原始输入帧频的复原图像输出序列，从而达到视频图像的实时复原。本发明与现有技术相比有如下优点I、本发明采用实时盲图像复原技术，将实时性较差的盲图像复原技术应用于视频图像处理场合以改善图像质量，在一定程度上满足了工程中的实时处理要求，且改善后的图像频谱能量和对比度均获得显著提升；2、在硬件实现方面，本发明使用集成度较高的小型化图像处理平台和多核并行处理结构，在降低系统功耗、体积和成本的同时获得了易于扩展升级的高速处理性能。
图I为经典的图像降质过程和复原处理示意图；图2为本发明设计的视频像质改善系统结构示意图；图3为本发明设计的图像复原处理核及高速图像处理算法示意图；图4为本发明改进的SeDDaRA盲图像复原算法流程示意图。
具体实施方式
基于实时盲图像复原技术的视频像质改善系统，采用以高速图像处理算法为核心的实时盲图像复原技术和多核并行处理结构，在小型化图像处理平台上实现视频图像的实时像质改善。系统包括三个部分，分别为输入数据分送器、输出数据组合器和由多个图像复原处理核组成的图像复原处理阵列。每个图像复原处理核，内置三个处理模块并按照图像预处理一图像盲复原一图像后处理的流程实现盲图像复原功能。该系统实施的关键在于对盲图像复原算法的选取和改进，以及系统的硬件结构设计。首先介绍本系统由输入数据分送器、输出数据组合器和图像复原处理阵列构成的顶层硬件结构。如图2所示，本系统采用了多核并行处理结构，以保证系统的高数据吞吐量；同时，多核复原阵列的设计也使得系统易于扩展，便于性能升级。系统的数据吞吐量上限Y Msps(兆样本每秒)，主要取决于图像复原处理阵列中核心个数n和单个图像复原处理核数据吞吐量上限X Msps，而X主要由复原处理核中算法复杂度和DSP器件性能决定。系统数据吞吐量的计算公式如下Y = n*X因此，系统的输入数据量y应小于Y或n*X。另外，为保证多核复原阵列的高速处理和系统数据正确的传输，在阵列的输入和输出端分别设计了输入数据分送器和输出数据
组合器。输入数据分送器的主要功能是完成系统输入图像序列的降帧频和各路子序列到复原处理阵列的传输。其主要工作原理是，先对远高于单核数据吞吐量上限的高帧频输入图像序列I进行n倍的帧频下采样，得到n路低频图像子序列，则每路子序列数据量yi (Yi= y/n)小于X Msps，从而保证了系统的实时处理；然后，分送器与每个图像复原处理核进行同步数据传输，即根据器件底层的物理连接标定各处理核编号，按编号顺序地将各路子序列中的每帧图像输入处理核。输出数据组合器用于恢复经复原处理阵列处理后的高帧频输入图像序列，作为整个系统的数据输出。主要工作原理是，按上述输入分送器中已标定的编号，顺序地从各复原处理核存储空间中读取复原后图像数据；然后同步地以图像帧为单位组合为单路高帧频图像序列并输出，输出序列数据量为yMsps。盲图像复原处理核，是本系统中最重要的功能部件，用于承载完成图像复原处理的一系列核心算法，并作为基本单元组成更加高效的复原处理阵列。单个核心的处理能力在根本上决定了本系统的像质改善效果和高速处理性能，其内部结构如图3所示。首先，本系统选用计算复杂度较低的非迭代的SeDDaRA算法构造盲图像复原模块，并对该算法处理流程和数值计算方法进行了改进；然后，为适应盲复原算法特点和实际工程需要，在盲图像复原模块的前、后端分别设计了图像预处理和图像后处理模块。输入复原处理核的图像数据，依次经过图像预处理、盲图像复原和图像后处理三个处理模块后得到复原子图像序列。每个模块功能由一个或多个图像处理算法完成。下面分别说明复原处理核中三个模块功能以及本发明所使用的主要算法原理。图像预处理模块功能主要包括对输入数据中值滤波去噪、直方图均衡和定点到浮点的数制转换。根据图I图像降质模型，受降质系统点扩散函数卷积和加性噪声影响，退化模糊较为严重的图像通常表现为图像钝化、细节明显丢失、对比度范围较小，而低信噪比的图像则包含过多噪点，且主要干扰图像高频分量。为降低图像复原难度，避免图像复原算法失效，通常需对严重退化的低对比度或低信噪比图像进行预处理。本系统采用3X3大小的空域中值滤波去除输入图像中的明显噪点，然后再利用直方图均衡扩展图像对比度范围。对于轻微降质图像的应用，可以通过修改DSP程序代码屏蔽该两项功能以提升单核处理速度；但因为这两种方法应用成熟，副作用小，即使不做屏蔽施加于轻微降质图像，也不会对后续复原处理产生明显的影响。另外，由于后端的图像复原处理需采用全程32位单精度浮点运算，而通常输入图像数据为定点整数型(如uint8、uintl6等)，因此需要在图像复原处理前进行定点整数到浮点数转换。在本系统中由图像预处理模块完成这一功能，主要是考虑了保持图像复原模块中大块存储区域指针类型的一致性(即均为浮点数类型)，提高代码可维护性。盲图像复原模块，用于完成预处理后输入图像数据的盲复原，主要采用了改进的非迭代SeDDaRA算法。原型算法的基本原理和推导，可参见“Noniterative blinddata restoration by use of an extracted filter function，，，James N. Caron, NaderM. Namazi, and Chris J. Rollins, 2002。其公式化表不如下H(u, V) = {^S[| SG(u,v)\]}a, 0<a<\
八氺~Y G(u,v)
H{u,v) + 5其中，参数a和5分别用于控制PSF谱估计过程和Wiener滤波处理，在系统工作状态中通过手动调整，改善图像质量。而本模块中采用改进的非迭代SeDDaRA算法，其数据处理流程如图4所示。其主要改进包括两方面(I)、二维FFT正/反变换采用行列一维FFT正/反变换进行计算；而其实现过程中，使用了基于实信号傅里叶变换性质的二维FFT正/反变换实时处理方法，具体原理可参见“高分辨图像二维FFT正反变换实时处理方法及硬件实现”，温博，张启衡，张建林，2011。(2)、频域数据的幂运算采用了分段式LUT实现，可有效减少硬件的计算耗时。分段式LUT的实现过程在于函数LUT生成中，对输入变量区间分段，再对每个分段区间进行采样点分配。采样点的分配原则是，在总采样点数固定的情况下，每段采样点数与图像频域数据的分布比例保持一致，而图像频域数据的分布比例可通过事先采集待处理场景的图像，并经过电脑计算分析获得。分段式LUT的计算误差，在一定范围内对该分布比例呈现弱敏感，因此无需绝对准确。图像后处理模块，用于图像复原数据的后端处理，包括对复原后图像灰度范围设定和转换，浮点到定点的数制转换。通常，复原后的图像灰度范围得到拓宽，对比度明显增强，从而使像质得到改善。但由此也会产生以下情况复原后的图像灰度值为单精度浮点数据类型，假设其最大灰度值为K，而复原前图像灰度值为定点整数数据类型，假设定点位、宽为L比特，则该定点数所能表示的最大灰度值为Kmax = 21-1，若K大于Kmax，则复原前的定点数类型位宽不足，无法表示复原后图像灰度范围。因此，需根据系统的后端处理需求，对复原后图像数据进行灰度级范围设定和转换，再进行浮点数到定点整型的数制转换。假设将复原后图像灰度范围设定为O K'—，则由以下公式对图像灰度范围进行转换。当K大于
K'时，对复原后图像乘以小于I的缩小因子^。
权利要求
1.一种基于实时盲图像复原技术的视频像质改善系统，采用以高速图像处理算法为核心的实时盲图像复原技术和多核并行处理结构，在小型化图像处理平台上实现视频图像的实时像质改善，其特征在于该系统包括三个部分，分别为输入数据分送器、输出数据组合器和由η个图像复原处理核组成的图像复原处理阵列；每个图像复原处理核，内置三个处理模块并按照图像预处理一图像盲复原一图像后处理的流程实现盲图像复原功能；输入的视频图像序列，通过输入数据分送器划分为多路子序列并送入图像复原处理阵列，然后由单个复原处理核完成一路图像子序列的盲复原计算，最终将多路复原图像子序列经输出数据组合器还原为高像质的视频图像序列。
2.根据权利要求I所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的输入数据分送器，对输入图像序列I进行η倍的帧频下采样，并对η路输出子序列标定编号yy i = I... η。
3.根据权利要求I所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的图像复原处理阵列，由η个图像复原处理核组成并标定编号Pi，核Pi只处理图像子序列 yp i = I... η。
4.根据权利要求I所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的输出数据组合器，按已标定的编号，顺序地从各复原处理核读取单帧复原后图像数据，并同步输出。
5.根据权利要求I所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的图像复原处理核，包含三个图像处理模块，按照预处理一盲复原一后处理的流程处理图像数据。
6.根据权利要求5所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的图像盲复原处理，先由观测图像的傅里叶变换频谱的幂运算直接估计点扩散函数，再由维纳滤波器进行图像复原。
7.根据权利要求6所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的盲图像复原处理，利用实信号傅里叶变换的周期对称性和数据共轭对称性，完成二维FFT正/反变换的计算，其计算量和存储需求约为常规方法的50%。
8.根据权利要求6所述的基于实时盲图像复原技术的视频像质改善系统，其特征在于所述的盲图像复原处理，查找表的生成过程中，先利用图像数据的分布特性对表格分段，再进行非均匀的数据采样。
全文摘要
本发明提供一种基于实时盲图像复原技术的视频像质改善系统，该系统包括三个部分，分别为输入数据分送器、输出数据组合器和由多个图像复原处理核组成的图像复原处理阵列；每个图像复原处理核，内置三个处理模块并按照图像预处理→图像盲复原→图像后处理的流程实现盲图像复原功能。输入的视频图像序列，通过输入数据分送器划分为多路子序列并送入图像复原处理阵列，然后由单个复原处理核完成一路图像子序列的盲复原计算，最终将多路复原图像子序列经输出数据组合器还原为高像质的视频图像序列。本发明可在一定范围内满足高速成像领域的实时处理需求，显著改善成像质量，且系统集成度高、性能易于扩展升级。
文档编号G06T5/50GK102629371SQ20121004119
公开日2012年8月8日 申请日期2012年2月22日 优先权日2012年2月22日
发明者严鹏, 张启衡, 张建林, 欧阳益民, 温博, 许俊平 申请人:中国科学院光电技术研究所