专利名称：藉由多张低解析度影像产生高解析度影像的方法
技术领域：
本发明关于一种影像处理方法，特别是关于藉由多张低解析度(low-resolution)影像产生高解析度(Enhanced-resolution)影像的方法。
背景技术：
请参考以下所列的文献[1]M.Irani and S.Peleg，“Improving Resolution by Image Registration，”CVGIPGraphical Models and Image Proc.，1991，Vol.53，pp.231-239；[2]R.Y.Tsai and T.S.Huang，“Multiframe Image Restoration andRegistration，”in Advances in Computer Vision and Image Processing，Vol.1(T.S.Huang，ed.)，Greenwich，CTJai Press，1984，pp.317-339；[3]P.Cheeseman，B.Kanefsky，R.Kruft，J.Stutz，and R.Hanson，“Super-Resolved Surface Reconstruction from Multiple Images，”NASATechnical Report FIA-94-12，1994；[4]A.M.Tekalp，M.K.Ozkan，and M.I.Sezan，“High-Resolution ImageReconstruction for Lower-Resolution Image Sequences and Space-Varying ImageRestoration，”IEEE International Conference on Acoustics，Speech，andSignal Processing，San Francisco，CA，1992，Vol.III，pp.169-172；[5]R.C.Gonzalez and R.E.Woods，Digital Image Processing，Addison-Wesley，Reading，MA，1992；[6]W.K.Pratt，Digital Image Processing，2nd Ed.，Wiley，New York，2001；[7]美国专利公告号第6,330,344号专利；以及[8]美国专利公告号第5,969,848号专利。
由于环境的限制以及影像感测器的解析度，某些时候仅能撷取到低解析度的影像。为了要改善人眼所见的影像品质以及解析度，则需要输入一张以上的影像做处理。藉由序列的影像，较差品质的模糊场景、朦胧的图形或不清晰的物体可以藉由重建(Reconstruction)直至输出超高解析度的影像，进而让人眼能容易观察、辨识。
关于提升解藉由多张低解析度影像重建成高解析度影像的先前技术主要可区分为反复修正法(Iterative methods)[1]、频域法(Frequency domain methods)[2]以及贝氏统计法(Bayesian statistical methods)[3]。上述各类方法中，目前仍以Irani[1]于公元1991年所发展出使用影像套合(Image registration)重建超高解析度影像的反复修正逻辑最为可靠。反复修正法主要是由三个阶段所组成，该三个阶段系初期猜测阶段、影像处理阶段以及重建处理阶段。关于反复修正法各阶段详细流程，将于实施方式中一并做详细描述，在此不做赘述。
然而，值得注意的是，运用反复修正法重建出高解析度影像，并且当放大参数(Magnification factor)或重建影像尺寸较大时，需耗费较长的运算时间。就典型的案例，运用反复修正法重建高解析度影像所耗费的运算时间多以小时计，并且有赖机器效能而定。
发明内容
因此，本发明的一目的即在提出一种具有改良的高解析度演算逻辑并重建高解析度影像的技术。该技术是基于反复修正法，并且应用预测的初期插补技术、自动化的影像选择、健全的影像套合，进一步可再施以影像品质提升的后处理。
有鉴于以往重建高解析度影像的系统，皆是当移动静态相机对整体景象拍摄得到具有相同位移序列影像时，该系统才可运作完善。因此，本发明的另一目的即在提出一种重建高解析度影像的技术，除了针对静态景象摄得到具有相同位移序列影像能运作完善外，亦可针对目标是针对相对于静态摄影机的移动物体所产生的序列影像，完善地重建出高解析度影像。
本发明的一目的即在提出一种具有改良的高解析度演算逻辑并重建高解析度影像的技术。该技术是基于反复修正法，并且应用预测的初期插补技术、自动化的影像选择、健全的影像套合，进一步可再施以影像品质提升的后处理。
本发明的另一目的即在提出一种重建高解析度影像的技术，除了针对静态景象摄得到具有相同位移序列影像能运作完善外，亦可针对目标系针对相对于静态摄影机的移动物体所产生的序列影像，完善地重建出高解析度影像。
根据本发明的一种影像处理方法，该方法利用M张低解析度的第一影像用以产生一高解析度影像。该M张第一影像皆是关于一景象，并且每张第一影像是由一组均匀取样并量子化的像素所代表。该高解析度影像与该M张第一影像之间存有一放大参数的关系。根据本发明的方法，首先储存该M张第一影像。接着，从该M张第一影像中选取一张影像做为一雏形影像，该(M-1)张未被选作雏形影像的第一影像归为(M-1)张第二影像。随后，基于该放大参数，对该雏形影像插入额外的像素，并且根据每一额外像素的邻近像素之值推算出每一额外像素之值，进而产生一经插补的雏形影像，并且计算出该(M-1)张第二影像分别与该经插补的雏形影像之间存有的二维平移量。接着，将该(M-1)张第二影像与该经插补的雏形影像之间存有的二维平移量分别除以该放大参数并求得余数组，并将被算出相同余数组的第二影像经一准则从中选取一张第二影像与其他被算出不同余数组的第二影像归为N张第三影像，其中N等于或小于(M-1)。随后，根据该N张第三影像与该经插补的雏形影像存有的个别的二维平移量对该经插补的雏形影像经缩小取样，进而产生N张第四影像，该N张第四影像中每一张第四影像系对应该N张第三影像中的一张第三影像。接着，计算该N张第三影像中每一张第三影像与其对应的第四影像之差。随后，根据该N张第三影像与其对应的第四影像之差的平均值修正该雏形影像的像素的值。最后，重复缩小取样的步骤至根据差值修正该雏形影像的像素的值的步骤，直至该经插补的雏形影像的像素的值收敛至一符合要求的结果为止。该像素值收敛至符合要求结果的雏形影像即为该高解析度影像。
关于本发明的优点与精神可以藉由以下的发明详述及附图得到进一步的了解。
图1是根据本发明的方法流程。
图2A和图2B绘示了藉由三次项插补技术计算像素P之值。
图3示出了藉由量测原始影像与从低解析度序列重建的影像之间讯号杂讯比峰值，评估运用不同次项插补技术随后对高解析度演算逻辑的效能结果。
图4A绘示了利用局部匹配的技术进行影像套合处理。
图4B绘示了利用整体匹配的技术进行影像套合处理。
图5A至图5D揭示了根据本发明的方法重建高解析度影像的一案例。
图6A至图6D揭示了根据本发明的方法重建高解析度影像的一案例。
图7揭示了图6A至图6D的案例其输出影像的PSNR值随着反复修正次数的增加快速收敛的结果。
图8A至图8D揭示了根据本发明的方法重建高解析度影像的一案例。
具体实施例方式
本发明提供一种具有改良的高解析度逻辑并重建高解析度影像的方法。根据本发明的方法是基于反复修正法，并且应用预测的初期插补技术、自动化的影像选择、健全的影像套合，进一步可再施以影像品质提升的后处理。以下将详述本发明的方法流程以及较佳具体实施例，藉以充分说明本发明的特征、精神及优点，并且说明本发明如何可藉由关于静态景象的序列影像快速重建高解析度影像，以及可藉由关于动态物体的序列影像快速重建高解析度影像。
请见图1所示的根据本发明的方法流程。需先行说明的是，根据本发明的方法是利用M张低解析度的第一影像用以产生一高解析度影像，该M张第一影像皆是关于同一景象。该M张第一影像的每一影像是由一组均匀取样并量子化的像素(Pixel)所代表，该高解析度影像与该M张第一影像之间存有一放大参数的关系。
根据本发明的方法，首先执行步骤S10，储存该M张第一影像。
接着执行步骤S12，从该M张第一影像中选取一张影像做为一雏形影像(Prototype image)，该(M-1)张未被选作雏形影像的第一影像即归为(M-1)张第二影像。
随后执行步骤S14，基于该放大参数，对该雏形影像插入额外的像素，并且根据每一额外像素的邻近像素之值推算出每一额外像素之值，进而产生一经插补的(Interpolated)雏形影像，亦即执行初期猜测阶段。在步骤S14中，并且计算出该(M-1)张第二影像分别与该经插补的雏形影像之间存有的二维平移量(Translation)。
接着执行步骤S16，将该(M-1)张第二影像与该经插补的雏形影像之间存有的二维平移量分别除以该放大参数，并且求得余数组。在步骤S16中，并且执行自动化的影像选择，将被算出相同余数组的第二影像经一准则从中选取一张第二影像与其他被算出不同余数组的第二影像归为N张第三影像，其中N等于或小于(M-1)。
随后执行步骤S18，根据该N张第三影像与该经插补的雏形影像存有的个别的二维平移量对该经插补的雏形影像经缩小取样(Down-sampling)，进而产生N张第四影像，其中该N张第四影像中每一张第四影像是对应该N张第三影像中的一张第三影像。
接着执行步骤S20，计算该N张第三影像中每一张第三影像与其对应的第四影像之差。
随后执行步骤S22，根据该N张第三影像与其对应的第四影像之差的平均值修正该雏形影像的像素的值。
最后执行步骤S24，即判断该经插补的雏形影像的像素的值收敛至一符合要求的结果，若判断结果为否定则重复步骤S18至步骤S22。该像素值收敛至符合要求结果的雏形影像即为该高解析度影像。
在一具体实施例中，步骤S18是根据下列公式进行gk(n)=(Tk(f(n))·h)↓s,]]>其中，gk(n)为第n次缩小取样的第k张第四影像，f(n)为经第n次处理的雏形影像，h为由点扩散函数(Point-spread-function)所定义的模糊化(Blurring)运算元，Tk为根据第k张第三影像与该经插补的雏形影像存有的二维平移量所做的转换(Transformation)运算元，s为缩小取样运算元。
在一具体实施例中，步骤S18及步骤S22是根据下列公式执行f(n+1)=f(n)+1KΣk=1KTk-1(((gk-gk(n))↑s)·p)]]>其中，f(n)为经第n次修正后的雏形影像，K为计算与第四影像差值的第三影像的总张数，gk为第k张第三影像，p为去模糊化运算元(De-blurring)，Tk-1为根据第k张第三影像与该经插补的雏形影像存有的二维平移量所做的反转换运算元，s为放大取样(Up-sampling)运算元。
运用反复修正法重建高解析度影像时，初期猜测阶段会大幅影响的效能，并且若是应用较佳的初期猜测，将可节省大量的运算时间。因为，初期猜测仅在方法流程开始时执行一次，所以整体反复修正法的复杂度并不依赖初期猜测阶段的复杂度，而初期猜测阶段的复杂度系基于插补技术而来。不同次项插补技术的差异在于其采用不同数目邻近的像素做为推算过程中的计算。以下以三次项插补技术(Thirdorder interpolation)为例，做为说明。
三次项插补技术，或称为立方(Cubic)插补技术，系考量四个未知变数。假设插补函数为y＝f3(x)＝ax3+bx2+cx+d，并且已知的邻近像素包括(-1，A)、(0，B)、(1，C)以及(2，D)，则推导出下列公式
ABCD=-11-11000111118421·abcd]]>⇒abcd=-11-11000111118421-1·ABCD]]>=-0.16670.5-0.50.16670.5-10.50-0.3333-0.51-0.16670100·ABCD]]>再以第二A图及第二B图做为说明。如第二A图所示，为了推算一二维影像中像素P的值，A’、B’、C’以及D’先行计算。A1、B1、C1以及D1已知的值则运用来决定三次项插补函数f3(x)的系数。随后，A’运用一维插补技术内插而得。相类似地，B’、C’以及D’系根据i＝2、3以及4时的Ai、Bi、Ci以及Di推算而得。最后像素P的值依图中垂直方向以一维技术计算而得。如第二B图所示，一维三次项插补技术系以A’、B’、C’及D’已知的值来决定像素P的值。
相类似地，其他次项插补在二维插补演算逻辑中，同样地可解出函数fn(x)的系数。经由实验评估，可以观察到不同次项插补技术造成不同初期猜测的影像以及影像品质随着反复修正次数增加的收敛速率。由于初期猜测阶段影响影像套合的效能极深，并且影响达到峰值影像结果所需的必要反复修正次数，因此藉由选择较适当的次项插补技术，可以得到反复修正法的最佳效果。藉由量测原始影像与从低解析度序列重建的影像之间讯号杂讯比峰值(Peak Signal-to-Noise Ratio，PSNR)，可以评估运用不同次项插补技术随后对高解析度演算逻辑的效能，如图3所示。藉由图3可以清楚看出，如果将复杂度及重建的影像品质接做考量的话，三次项插补技术为不同次项插补技术中的最佳选择。在此，根据本发明的方法仅仅引用一次项插补技术(First order interpolation)，或三次项插补技术，或五次项插补技术(Fifth order interpolation)。
在一具体实施例中，该(M-1)张第二影像是关于移动物体的低解析度序列影像，步骤S16中第i张第二影像与该经插补的雏形影像之间的二维平移量(LTi)系依照下列步骤计算(a)在第i张第二影像上指定至少一关注点(Interesting point，Pi(x，y))，每一关注点是对应一局部视窗区(Local Window，w)并且对应至该经插补的雏形影像上的一对应点(u，v)；(b)根据下列公式，计算出每一关注点Pi(x，y)与其对应点(u，v)间的绝对差值(LADi(x，y；u，v))LADi(x,y;u,v)=Σ(m,n)∈w|Ii(x+m,y+n)-Io(u+m,v+n)|;]]>(c)根据下列公式，计算出步骤(c-2)中的绝对差值(LADi(x，y；u，v))的极小值(LRi(x，y))LRi(x,y)=arg(u,v)minLADi(x,y;u,v);]]>(d)根据下列公式，计算出关于每一关注点Pi(x，y)的二维平移量LTi(x，y)＝LRi(x，y)-(x，y)·放大参数。
在此具体实施例中，为了得到较为准确的影像套合并且随后重建出移动物体的高解析度，根据本发明的方法是在下列限制下挑选出关注点a.关注点处的灰度应该高于一门槛值；b.低解析度影像上的每一关注点，其对应至模拟高解析度影像上对应点处的复杂度应该高过周遭的复杂度；c.关注点与其对应点间的二维平移量不应该为零。
上述的技术亦可称为局部匹配(Local matching)技术，如图4A所示。
在一具体实施例中，该(M-1)张第二影像是关于静态景象的低解析度序列影像，步骤S16中第i张第二影像与该经插补的雏形影像之间的二维平移量(LTi)是依照下列步骤计算(a)根据下列公式，计算出第i张第二影像整体影像内的绝对差值(GAD(u，v))GADi(u,v)=Σ(x,y)∈i|Ii(x,y)-Io(u+x,v+y)|,]]>(u，v)为第i张第二影像的一起始点对应至该经插补的雏形影像的一对应位置点；(b)根据下列公式，计算出步骤(c-1)中的绝对差值(GAD(u，v))的极小值(GR(i))GR(i)=arg(u,v)minGADi(u,v),]]>并且GR(i)即为LTi。
上述的技术亦可称为整体匹配(Global matching)技术，如图4B所示。
上述步骤S16中，执行自动化的影像选择的目的是在于将有用的低解析度影像挑选出来，进而做后续的影像处理。如此作法，将减少不必要的运算，以加速高解析度影像重建的过程。针对关于静态景象的低解析度序列影像，以及关于动态物体的低解析度序列影像，挑选有用的地解析度影像的准则将有所不同，以下将分别做说明。
在一具体实施例中，该(M-1)张第二影像是关于移动物体的低解析度序列影像，步骤S16中该准则为两第二影像(i及j)具有相同余数组，并且(ui，vi)＝Ti，(uj，vj)＝Tj，若GADi(ui，vi)＜GADj(uj，vj)，则选第二影像i。
在一具体实施例中，该(M-1)张第二影像是关于静态景象的低解析度序列影像，步骤S16中该准则为两第二影像(i及j)具有相同余数组，并且(ui，vi)＝Ti，(uj，vj)＝Tj，若σi2<σj2,]]>则选第二影像i，其中{LTi(x，y)|(x，y)∈Ii}的变异度系定义为σi2=σxi2+σyi2,]]>符号σ2xi及σ2yi分别沿着j轴及y轴的二维平移量的变异度。
请见表一所示，表一列出了应用本发明的影像处理系统其运算效能的一案列结果。该案例利用五张62×62低解析度影像，并基于放大参数为3，系统配备为IntelPentium III的中央处理器以及128MB存储器。表一并且列出有自动影像挑选以及无自动影像挑选的结果。
表一
从表一所列的结果可以明显看出，根据本发明所提供的自动影像挑选流程，可以大幅缩短系统的运算时间。
以下将举根据本发明的方法重建高解析度影像的实例，以证明运用本发明的效能。
请见图5A至图5D所示，图5A是低解析度序列影像中的一帧影像。图5B是经过初期猜测阶段后的结果。图5C是经过反复修正100次后的结果。图5D是高解析度影像重建后进一步经过高通过滤，让影像具有较为犀利的边缘。
请见图6A至图6D所示，该案例是取一影像做为一原始静态景象，并以一相机缩小取像拍摄取得序列影像。相机摄取每张影像的起始位置有所不同，亦即相对于原始静态景象相机有移动位置。随后根据本发明的方法，重建出放大参数为4的高解析度影像。图6A是低解析度序列影像中的一帧影像。图6B是经过初期猜测阶段后的结果。图6C是经过反复修正100次后的结果。图6D是高解析度影像重建后进一步经过后续影像处理的结果。本案例随着反复修正次数的增加其输出影像的PSNR值快速收敛，亦足以证明用运根据本发明的方法的效能极佳，其结果请见图7所示。
请见图8A至图8D所示，该案例是关于移动物体的低解析度序列影像做高解析度影像重建，每一帧影像中物体有些微的移动，背景保持不动。此案例的放大参数为2。图8A是低解析度序列影像中的一帧影像。图8B是经过初期猜测阶段后的结果。图8C是经过反复修正100次后的结果。图8D是高解析度影像重建后进一步经过后续影像处理的结果。从图8A至图8D可清楚地看出，随着反复修正次数的增加，物体会变得更为清晰，背景则变得模糊，字的边缘越佳可辨识。
综合以上的发明详细说明，即可清楚看出本发明所提供具有改良的高解析度逻辑并重建高解析度影像的方法，应用预测的初期插补技术、自动化的影像选择、健全的影像套合，可藉由关于静态景象的序列影像快速重建高解析度影像，亦可藉由关于动态物体的序列影像快速重建高解析度影像。重建好的高解析度影像，进一步可再施以影像品质提升的后处理。明显地，本发明所提供的高解析度影像重建方法极具新颖性及进步性。
以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所揭示的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。
权利要求
1.一种影像处理方法，该方法利用M张低解析度的第一影像用以产生一高解析度影像，该M张第一影像都是关于一景象，该M张第一影像的每一影像是由一组均匀取样并量子化的像素所代表，该高解析度影像与该M张第一影像之间存有一放大参数的关系，该方法包含下列步骤(a)储存该M张第一影像；(b)从该M张第一影像中选取一张影像做为一雏形影像，该(M-1)张未被选作雏形影像的第一影像归为(M-1)张第二影像；(c)基于该放大参数，对该雏形影像插入额外的像素，并且根据每一额外像素的邻近像素之值推算出每一额外像素之值，进而产生一经插补的雏形影像，并且计算出该(M-1)张第二影像分别与该经插补的雏形影像之间存有的二维平移量；(d)将该(M-1)张第二影像与该经插补的雏形影像之间存有的二维平移量分别除以该放大参数并求得余数组，并将被算出相同余数组的第二影像经一准则从中选取一张第二影像与其他被算出不同余数组的第二影像归为N张第三影像，其中N等于或小于(M-1)；(e)根据该N张第三影像与该经插补的雏形影像存有的个别的二维平移量对该经插补的雏形影像经缩小取样，进而产生N张第四影像，该N张第四影像中每一张第四影像是对应该N张第三影像中的一张第三影像；(f)计算该N张第三影像中每一张第三影像与其对应的第四影像之差；(g)根据该N张第三影像与其对应的第四影像之差的平均值修正该雏形影像的像素的值；(h)重复步骤(e)至步骤(g)，直至该经插补的雏形影像的像素的值收敛至一符合要求的结果，该像素值收敛至符合要求结果的雏形影像即为该高解析度影像。
2.如权利要求1所述的影像处理方法，其特征在于，步骤(e)是根据下列公式执行gk(n)=(Tk(f(n))·h)↓s,]]>gk(n)为第n次缩小取样的第k张第四影像，f(n)为经第n次处理的雏形影像，h为由点扩散函数所定义的模糊化运算元，Tk为根据第k张第三影像与该经插补的雏形影像存有的二维平移量所做的转换运算元，s为缩小取样运算元。
3.如权利要求2所述的影像处理方法，其特征在于，步骤(f)及步骤(g)是根据下列公式执行f(n+1)=f(n)+1KΣk=1KTk-1(((gk-gk(n))↑s)·p)]]>f(n)为经第n次修正后之雏形影像，K为计算与第四影像差值的第三影像的总张数，gk为第k张第三影像，p为去模糊化运算元，Tk-1为根据第k张第三影像与该经插补的雏形影像存有的二维平移量所做的反转换运算元，s为放大取样运算元。
4.如权利要求3所述的影像处理方法，其特征在于，在步骤(c)中，该雏形影像的每一额外像素的值系根据邻近像素的值依照由一次项插补技术、三次项插补技术及五次项插补技术组成一群组当中选取一插补技术做推算。
5.如权利要求4所述的影像处理方法，其特征在于，步骤(c)中第i张第二影像与该经插补的雏形影像之间的二维平移量(LTi)是依照下列步骤计算(c-1)在第i张第二影像上指定至少一关注点(Pi(x，y))，每一关注点是对应一局部视窗区(w)并且对应至该经插补的雏形影像上的一对应点(u，v)；(c-2)根据下列公式，计算出每一关注点Pi(x，y)与其对应点(u，v)间的绝对差值(LADi(x，y；u，v))LADi(x,y,u,v)=Σ(m,n)∈w|Ii(x+m,y+n)-Io(u+m,v+n)|;]]>(c-3)根据下列公式，计算出步骤(c-2)中的绝对差值(LADi(x，y；u，v)的极小值(LRi(x，y))LRi(x,y)=arg(u,v)minLADi(x,y;u,v);]]>(c-4)根据下列公式，计算出关于每一关注点Pi(x，y)的二维平移量LTi(x，y)＝LRi(x，y)-(x，y)·放大参数。
6.如权利要求4所述的影像处理方法，其特征在于，步骤(c)中第i张第二影像与该经插补的雏形影像之间的二维平移量(LTi)系依照下列步骤计算(c-1)根据下列公式，计算出第i张第二影像整体影像内的绝对差值(GAD(u，v))GADi(u,v)=Σ(x,y)∈i|Ii(x,y)-Io(u+x,v+y)|,]]>(u，v)为第i张第二影像的一起始点对应至该经插补的雏形影像的一对应位置点；(c-2)根据下列公式，计算出步骤(c-1)中的绝对差值(GAD(u，v))的极小值(GR(i))GR(i)=arg(u,v)minGADi(u,v),]]>并且GR(i)即为LTi。
全文摘要
本发明提供一种具有改良的高解析度逻辑并重建高解析度影像的方法。本发明的方法基于反复修正法，并且应用预测的初期插补技术、健全的影像套合、自动化的影像选择，进一步可再施以影像品质提升的后处理。根据本发明的方法，可藉由关于静态景象的序列影像快速重建高解析度影像，亦可藉由关于动态物体的序列影像快速重建高解析度影像。
文档编号G06T5/50GK1567374SQ0314944
公开日2005年1月19日 申请日期2003年6月16日 优先权日2003年6月16日
发明者高朝阳, 陈建宇, 郭又铨, 傅楸善 申请人:英华达股份有限公司