低复杂度直接计算的立方卷积样条插值方法与流程

本发明涉及数字图像压缩，尤其是涉及一种能极大地降低计算复杂度和处理时间的直接计算的立方卷积样条插值技术。

背景技术：

目前，多媒体数据信息的压缩技术种类繁多，部分已广泛应用于各种国际压缩标准中，比如jpeg，h.26x等。然而，随着这些传统多媒体压缩技术的应用以及人们对这些技术的深入研究，也发现这些压缩技术或多或少存在着不足，例如在压缩率比较高的情况，压缩技术所恢复的图像/视频会出现严重的方块效应等。如何在实现高压缩率、低复杂度的同时仍能保持比较好的图像/视频的主客观品质，即高效的压缩技术成为迫切需要解决的问题。

立方卷积样条插值技术(csi：cubicconvolutionsplineinterpolation)是一种用于对图像数据进行再取样的压缩方法，由于基于最小化原始图像与重构图像差别，结合了最小二乘法与立方卷积插值函数，经验证比其他插值方法具有更好的图像品质，且该算法可用来搭配像jpeg的图像编码标准，得到比原先图像编码标准具有更高压缩比和更好图像品质的改良式图像压缩技术。然而其计算复杂度也相对较大，特别是算法中的计算循环卷积部分。

在2000年t.ktruong等结合最小二乘法与立方卷积内插核函数，提出用快速傅里叶变换(fft)方法来实现立方卷积样条插值算法(t.ktruong，l.j.wang，i.s.reed.“imagedatacompressionusingcubicconvolutionsplineinterpolation.”imageprocessing，ieeetransactionson9.11(2000)：1988-1995)，其后在2001年lung-jenwang等(lung-jenwang,wen-shyonghsieh,t.ktruong.“afastefficientcomputationofcubic-splineinterpolationinimagecodec.”signalprocessing,ieeetransactionson49.6(2001)：1189-1197)提出wdtf(winograddiscretefouriertransform)与交叠求解的方法来实现立方卷积样条插值算法，其后在2010年t.c.lin等(t.c.lin,trieu-kientruong,s.h.chen.“simplified2-dcubicsplineinterpolationschemeusingdirectcomputationalgorithm.”imageprocessing，ieeetransactionson19.11(2010)：2913-2923)首次提出直接计算的方法来实现立方卷积样条插值法。这三种常用的实现方法：基于快速傅里叶变换(fft:fastfouriertransform)方法、wdtf(winograddiscretefouriertransform)与交叠求解的方法以及直接计算方法区别在于计算循环卷积部分。其中作为最优的直接计算方法，计算机仿真显示仍需11个重构滤波系数才能达到基于fft方法的图像品质，显然直接计算方法的复杂度依旧很高，结果仍然不理想，故仍不利于流水结构的硬件实现。

立方卷积样条插值算法是结合最小二乘法与立方卷积内插核函数估算原始函数x(t)的，如式(1-1)所示：

其中，k是0至n-1的整数，xk是采样点数据，即图像数据压缩后保留的数据，r(t)是立方卷积内插核函数，s(t)是根据采样点数据xk通过立方卷积插值函数对原始函数x(t)的估算。根据最小二乘法思想，上述三篇文献中推导出如下等式：

其中，(j-k)n为(j-k)对n的模，为立方卷积插值函数的自相关系数，yj为x(t)函数与为立方卷积插值函数的卷积。

原先作为最优方案的直接计算方法思想如下：设[x]^t为矩阵x的转置，则循环卷积公式(1-2)可以表达为如下的矩阵形式：

y＝bx(1-3)

其中，y＝[y0,y1,…yn-1]^t,x＝[x0,x1,…xn-1]^t,b＝[b0,b1,…bn-1]^c是大小为n×n的循环矩阵，且在τ＝2时，b0＝420/256，b1＝bn-1＝63/256，b2＝bn-2＝-18/256，b3＝bn-3＝1/256，b4＝0，b5＝0，…，bn-4＝0。根据矩阵思想，解方程式(1-3)，可得：

x＝b^-1y＝ay(1-4)

其中，a＝b^-1(a为b的逆矩阵)，由于矩阵b为n×n的循环矩阵，根据矩阵的性质，易知矩阵a也是大小为n×n的循环矩阵：

a＝[a0,a1,a2,a3,…,an-3,an-2,an-1]^c

在压缩比τ＝2时，a0＝0.64640，a1＝-0.10937，a2＝0.04667，a3＝-0.01398，……，an-3＝-0.01398，an-2＝0.04667，且an-1＝-0.10937。考虑到矩阵a是循环矩阵，式(1-4)计算采样点数据xj可简化为：

可以发现，系数ai的取值(其中l≤i≤n-l)，随着l取值的增大将逐渐趋向于零值，其中l为一个固定的正整数。显然为了降低计算复杂度，可以将这些系数近似看作零值，即将系数ai看作是有限长度为[-l,l]的数据。再由于信号x(t)是一个周期为nτ的周期函数，同时y也是一个为n的周期函数，即yk＝yk+n。因此，式(1-5)可表示为：

根据上式，此时对应一维情形，直接计算方法实现过程如下：首先将原始信号或图像数据与立方卷积插值函数进行卷积得到系数yj，由于重构滤波系数ai可以提前计算得到，并且对于任何原始信号或图像其重构滤波系数ai是相同的，最后只需取合适的有限长度为[-l,l]的滤波系数ai与之前的结果yj相乘，并将这2l+1个乘积累加得到采样点数据xj，也即压缩后的信号或图像数据。上述三篇文献表明，计算yj的每个数据需要2τ-1-(-2τ+1)+1＝4τ-1个相关系数，并且其中仍包含2个为0的系数。因此计算yj需要m1＝(4τ-1-2)×n个乘法器以及s1＝(4τ-1-2-1)×n个加法器，相应的，这种直接计算方法得到xj总共需m1+(2l+1)×n个乘法器以及s1+2l×n个加法器。

对图1所示的六幅灰度图像，采取原先直接计算方法的立方卷积样条插值算法进行计算机仿真，图2和图3的结果表明，l＝5即基于11个重构滤波系数时，直接计算的立方卷积样条插值法恢复出图像的主客观品质才能达到基于fft(快速傅里叶变换)恢复出的图像主客观品质。在一维情形下计算循环卷积部分(式1-6)仍需11n个乘法器10n个加法器，在二维情形下计算循环卷积部分则需要22n1n2个乘法器及20n1n2个加法器，其中n1、n2表示图像的大小。显然现有csi算法基于11个重构滤波系数ak(-5≤k≤5)直接计算方案的复杂度依旧很高，结果仍然不理想，故仍不利于大规模集成电路实现。

技术实现要素：

为了克服现有基于11个重构滤波系数直接计算带来的较高复杂度的不足，本发明提供低复杂度直接计算的立方卷积样条插值方法。

本发明包括以下步骤：

1)将扩展后的图像与二维立方卷积插值(cci)函数循环计算得到系数

2)将重新计算得到的5个重构滤波系数与已知的循环卷积计算得到中间数据

3)将5个新的重构滤波系数再次与已知的循环卷积得到压缩图像数据。

在步骤1)中，所述将扩展后的图像与二维立方卷积插值(cci)函数循环计算得到系数的具体方法可为：对于一幅标准的灰度图像，将其扩展至大小为517×517的图像，也即在原始图像上方补3行像素、下方补2行像素、左边补3列像素、右边补2列像素，通过镜像对称补值，将扩展后的图像的灰度值与二维立方卷积插值(cci)函数卷积得到大小为256×256的中间系数

在步骤2)中，将步骤1)计算得到的中间系数与5个新的重构滤波系数循环卷积计算得到中间数据由于这5个滤波系数可以提前计算得到，而且对于任何大小的图像，这5个滤波系数都是相同的，所以在操作上具有相似性和便捷性。

在步骤3)中，将步骤2)计算得到的中间数据再次与那5个新的重构滤波系数循环卷积，便可计算出大小为256×256的压缩图像数据。

由于本发明方法具有较低的运算量的优点，其更适合tsung-chinglin所提出来的流水结构去实现vlsi(verylargescaleintegration)电路。该流水结构包括：延时单元d、循环移位单元si、加法器、乘法器、选通开关5部分。其工作过程如下：

1)在每个时钟周期内，重构滤波系数循环移位地进入5个cell内，并根据每个cell内的延时单元d的个数延时相应的时钟周期。

2)每个时钟周期内，将原始信号或图像数据与立方卷积插值函数进行卷积得到的系数yj依次打入5个cell内。

3)将相应延时后的滤波系数ai与yj相乘后存储，并与后一时钟周期相应的乘积累加。

4)当检测到ci为1时，输出该cell的累加值，即采样点数据xj，也即为压缩后的数据。

本发明的计算机仿真显示方法，仅需5个滤波系数，也即将原先立方卷积样条插值(csi)技术中计算循环卷积部分的运算复杂度降低了近55％(二维情形下)，就能达到基于fft方法的图像主客观品质，从而极大地降低了计算复杂度和处理时延，也使其更有利于大规模集成电路实现。

附图说明

图1为六组标准灰度图像。在图1中，依次为(1)cameraman(256×256)、(2)girl(256×256)、(3)airplane(512×512)、(4)lena(512×512)、(5)boat(576×720)、(6)airport(1024×1024)。

图2为一维情形下压缩比为2︰1(τ＝2)时基于原先直接计算的方法。在图2中，随着重构滤波系数的变化相应灰度图像的峰值信噪比(psnr)。

图3为二维情形下压缩比为4︰1(τ＝2)时基于原先直接计算的方法。在图3中，随着重构滤波系数的变化相应灰度图像的峰值信噪比(psnr)。

图4为基于低复杂度的立方卷积样条插值技术的图像压缩方法流程图。

图5为二维情形下压缩比为4︰1(τ＝2)时，原始大小为512×512的lena图像。在图5中，经压缩至大小为256×256后的图像。

图6为tsung-chinglin所提出来的流水结构原理图。

具体实施方式

计算机仿真显示新方法仅需5个滤波系数，也即将原先立方卷积样条插值(csi)技术中计算循环卷积部分的运算复杂度降低了近55％(二维情形下)，就能达到基于fft方法的图像主客观品质，从而极大地降低了计算复杂度和处理时延，也使其更有利于大规模集成电路实现。

图4示出了基于低复杂度的立方卷积样条插值技术的图像压缩方法流程图，包括：

步骤1，将扩展后的图像与二维立方卷积插值(cci)函数循环计算得到系数

步骤2，将重新计算得到的5个重构滤波系数与已知的循环卷积计算得到中间数据

步骤3，最后将5个新的重构滤波系数再次与已知的循环卷积得到压缩图像数据。

对于一幅标准的灰度图像，如图1中大小为512×512的lena图，采用本发明过程如下：

步骤1，将其扩展至大小为517×517的图像，也即在原始图像上方补3行像素、下方补2行像素、左边补3列像素、右边补2列像素(都是通过简单的镜像对称补值)。将扩展后的图像的灰度值与二维立方卷积插值(cci)函数卷积得到大小为256×256的中间系数

步骤2，将上一步计算得到的中间系数与5个新的重构滤波系数循环卷积计算得到中间数据由于这5个滤波系数可以提前计算得到，而且对于任何大小的图像，这5个滤波系数都是相同的，所以在该操作上具有相似性以及便捷性。

步骤3，将上步骤计算得到的再次与那5个新的重构滤波系数循环卷积，便可计算出大小为256×256的压缩图像数据，即图5所示的灰度图像。

由于本发明方法具有较低的运算量的优点，其更适合tsung-chinglin所提出来的流水结构(参见图6)去实现vlsi(verylargescaleintegration)电路。该流水结构包括：延时单元d、循环移位单元si、加法器、乘法器、选通开关5部分。其工作过程如下：

1、在每个时钟周期内，重构滤波系数循环移位地进入5个cell内，并根据每个cell内的延时单元d的个数延时相应的时钟周期。

2、每个时钟周期内，将原始信号或图像数据与立方卷积插值函数进行卷积得到的系数yj依次打入5个cell内。

3、将相应延时后的滤波系数ai与yj相乘后存储，并与后一时钟周期相应的乘积累加。

4、当检测到ci为1时，输出该cell的累加值，即采样点数据xj，也即为压缩后的数据。

对于直接计算方法，对其重构滤波系数作如下假设：仅当-2≤k≤2时ak的值才有效，|k|≥3时ak值假定为0。显然，这会使计算循环卷积部分(式1-6)的计算复杂度极大下降，然而此时由于|k|≥3时滤波系数ak被忽略，恢复出的图像主客观品质也大为下降。如果有一种方法可以把丢失的重构滤波系数补偿，那么恢复出的图像性能就会提升。借鉴立方卷积插值函数(cci：cubicconvolutioninterpolation)的边界条件扩展思想，可以通过ak(-5≤k≤5)重新计算重构滤波系数这组新的滤波系数被用来计算循环卷积部分(1-6)以提高计算效率，也即在达到相同的图像品质下，其计算复杂度降低了6/11≈54.55％。

对于立方卷积插值函数(cci)，当边界为x-1(超出x(t)函数给定范围左边一点)以及xn+1(超出x(t)函数给定范围右边一点)时，cci插值函数提供了一个对x(t)的三阶近似：x-1＝x2-3x1+3x0以及xn+1＝xn-2-3xn-1+3xn。扩展这些边界条件到xj-1或者xj+1,可以得到等式xj-1＝3xj-3xj+1+xj+2以及xj+1＝3xj-3xj-1+xj-2，同样地，也可以得到：

yj-1＝3yj-3yj+1+yj+2(1-7)

yj+1＝3yj-3yj-1+yj-2(1-8)

根据以上的关系，压缩数据xj(式1-6)可以用新的滤波系数表示，推导如下：

其中，以及对于-l+4≤k≤l-4时显然计算压缩数据xj的滤波系数从2l+1降低到2l-1。继续使用公式(1-7)、(1-8)替换上述等式，则其可继续推导为如下形式：

新的滤波系数可以提前计算出来。特别地，当压缩比τ＝2时可以得到：

当压缩比τ＝3时，可以得到：

通过上面等式可以看出计算n个压缩数据xj只需5个重构滤波系数，因此在一维情形下这种低复杂度直接计算方法在计算循环卷积部分时只需5n个乘法器以及4n个加法器。显然，与原使用11个重构滤波系数ak(-5≤k≤5)直接计算方法比较，本发明可以分别节省11n-5n＝10n-4n＝6n个乘法器和加法器。考虑到乘法运算比加法运算复杂得多，故忽略加法的运算量，即在一维情形下采用本发明方法可以节省约6n/11n≈54.55％算术运算量。如果把计算系数yj所需的乘法运算考虑进来，本发明与原直接计算方法所需的算术运算量的百分比为(m1+5n)/(m1+11n)，其中m1为计算yj所需的乘法运算量。特别的，在一维情形下压缩比τ＝2时m1＝5n，此时新的低复杂度直接计算方法所需的运算量仅为原先采取11点直接计算方法的10n/16n≈63％。

表1

表1给出一维情形下压缩比为2︰1(τ＝2)时csi技术基于不同实现方法下算术运算量的统计，方案一使用fft计算循环卷积部分，方案二使用11个重构滤波系数ak(-5≤k≤5)计算循环卷积部分，方案三使用本发明计算循环卷积部分。后面图表提到方案一、方案二、方案三与上相同，不再另做说明。

由于立方卷积样条插值函数(csi)具有二维可分离的特点，故对二维信号或图像数据处理时，可在实现时分解为两步进行操作，即将二维运算分离为便于计算的一维运算。同样的，基于csi技术使用二维低复杂度直接计算方法可以推导以下公式：

其中，为计算压缩图像的中间数据，为二维压缩后的图像数据。由上两个公式可知，在二维情形下，使用本发明方法计算循环卷积部分需要5×n2×n1+5×n1×n2＝10n1n2个乘法器以及4×n2×n1+4×n1×n2＝8n1n2个加法器，其中n1、n2为二维图像的大小。与原先直接计算方法相比，本发明可以同时减少22n1n2-10n1n2＝20n1n2-8n1n2＝12n1n2个乘法器以及加法器。与一维情形类似，考虑到乘法运算比加法运算复杂得多，故忽略加法运算量，可知采用本发明计算循环卷积部分的运算量比原先直接计算方法所需运算量降低了12n1n2/22n1n2≈54.55％。进一步的，考虑计算带来的运算量，采用本发明全部的运算复杂度只有原先直接计算方法运算复杂度的25n1n2/37n1n2≈68％。

表2

表2给出二维情形下压缩比为4︰1(τ＝2)时csi技术基于不同方法下算术运算量的统计，其中n1×n2表示图像的大小。

本发明将立方卷积样条插值(csi)技术中计算循环卷积部分所需的滤波系数从11个降低到5个，从表3和表4不同方案的峰值信噪比(psnr)的对比结果来看，本发明仍旧保持了恢复图像良好的主客观品质。采用本发明计算循环卷积部分所需的运算量比原先使用11个重构滤波系数ak(-5≤k≤5)带来的运算量少近55％，极大地降低了硬件实现难度、时延以及资源的消耗，非常适用于tsungchinglin所提出来的流水结构去实现vlsi(verylargescaleintegration)电路。

表3

表4

表3为一维情形下压缩比为τ︰1时csi技术基于不同方法下相应灰度图像的峰值信噪比(psnr)；表4为二维情形下压缩比为τ²︰1时csi技术基于不同方法下相应灰度图像的峰值信噪比(psnr)。