超分辨处理的高速化方法

专利名称：超分辨处理的高速化方法
技术领域：
本发明涉及将根据多个低分辨率图像估计出一个高分辨率图像的超 分辨处理高速化的超分辨处理的高速化方法，本发明特别涉及如下的超分辨处理的高速化方法，在重构式超分辨处理(Reconstruction-based Super-resolution)中，通过大幅削减超分辨处理的计算成本，实现超分辨 处理的高速化。
背景技术：
关于根据具有位置偏差的多个低分辨率图像估计出一个高分辨率图 像的超分辨处理，近年来在很多研究中都有所报告(参照非专利文献1)。 例如，提出了非专利文献2中公开的ML (Maximum-likelihood:最大似 然)法、非专利文献3中公开的MAP (Maximum A Posterior:最大后验 概率)法及非专利文献4中公开的POCS (Projection Onto Convex Sets: 凸集投影)法等各种超分辨处理方法。ML法是基于最大似然估计原理的超分辨处理方法，其中，将由假设的高分辨率图像得到的估计像素值和实际观测到的像素值的平方误差 设为评价函数，将该评价函数最小化的高分辨率图像作为估计图像。并且，MAP法是指如下的超分辨处理方法，估计出使平方误差上附 加有高分辨率图像的概率信息的评价函数最小化的高分辨率图像，即， 利用针对高分辨率图像的某个预测信息，将后验概率最大化，以此为优 化问题，估计出高分辨率图像。而且，POCS法是指如下的超分辨处理方法，通过对高分辨率图像 和低分辨率图像的像素值建立联立方程式，逐一对该方程式求解，从而 得到高分辨率图像。上述任意的超分辨处理方法具有如下的共同特征首先，假设高分
辨率图像，然后从假设的高分辨率图像中，根据从照相机模型得到的点扩散函数(PSF函数)，对所有低分辨率图像的每个像素，估计其像素值， 搜索该估计值与观测到的像素值(观测值)之差减小的高分辨率图像， 这些超分辨处理方法被称为重构式超分辨处理方法。如上所述，重构式超分辨处理被公式化为对高分辨率图像进行定义 的评价函数的优化问题。即，重构式超分辨处理归为基于估计出的低分 辨率图像与观测到的观测图像的平方误差的评价函数的优化问题。重构式超分辨处理中，需要对未知数进行非常大的优化计算，因此， 为了该评价函数的优化，经常利用例如最速下降法(steepest descent method)等重复计算法。此时，每次重复时，都需要计算评价函数和评 价函数对高分辨率图像的微分。而且，该重复计算的成本非常大。此外， 在重复计算中，对于一次重复，需要对所有低分辨率图像的像素进行估 计，该计算成本也非常大。艮口，在重构式超分辨处理中，计算成本大，因此，减少计算成本成 为重要的课题。为了解决该课题，本发明的发明人，从减少用于计算评价函数的像 素值估计计算次数的观点出发，提出了日本专利申请2004-316154中公开的"超分辨处理的高速化方法"。即，该超分辨处理的高速化方法的特征 在于，对齐多个低分辨率图像的位置，在高分辨率图像空间中设定离散 化点，利用与离散化点附近对应的像素的平均像素值。此时，通过考虑 将与离散化点附近对应的像素的个数设为权重，可以进行快速计算，且 不会降低估计精度。艮口，本发明的发明人在日本专利申请2004-316154中提出了如下的超分辨处理的高速化方法，在较少的低分辨率像素的像素值估计计算中， 利用了能够重构高分辨率图像而不降低精度的评价函数。更详细地说明为，在日本专利申请2004-316154中公开的"超分辨 处理的高速化方法"具有如下特征将配准(Registration)后(位置对 齐后)的多个低分辨率图像的像素认为是在高分辨率图像空间中以非等 间隔采样的像素，将高分辨率图像空间分割成小区域，利用该小区域中
包含的像素的平均像素值。对该小区域的评价函数如下述式1表示< [式1]此处，下述式2成立, [式2]其中，I表示针对小区域的评价函数，M表示小区域中包含的像素个 数，fi表示小区域内的第i个像素的像素值，(xe,ye)表示小区域的代表位 置，^c。,y。)表示针对小区域的代表位置的像素值的估计值。在实际的计算中，针对所有小区域的评价函数之和为超分辨处理整体的评价函数。并且，本发明的发明人进一步利用日本专利申请2004-316154中提 出的评价函数，从将该评价函数和评价函数对高分辨率图像的微分的计 算高速化的观点出发，提出了本发明的超分辨处理的高速化方法。发明内容为此，本发明是鉴于上述情况而提出的，本发明的目的在于，提供 一种超分辨处理的高速化方法，该方法在重构式超分辨处理中，通过将 评价函数和评价函数对高分辨率图像的微分的计算高速化，实现了超分 辨处理的高速化。本发明涉及超分辨处理的高速化方法，该方法用于将根据具有位置 偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速 化，本发明的上述目的可以通过如下方式有效实现，通过基本的图像运 算的组合，进行评价函数和所述评价函数对所述高分辨率图像的微分的 计算。并且，本发明的上述目的可以通过如下方式有效实现，针对空间区
域的所述高分辨率图像以如下方式对所述评价函数进行公式化，所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公式化，3,池其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像 的向量，f表示平均观测图像的向量，w表示加权图像的向量，c表示核 心图像的向量，该核心图像表示所述高分辨率图像的先验信息，cc表示约 束参数，该约束参数表示约束的强度，*表示巻积积分，②表示每个要素 的乘法运算。此处，两个范数(norm) ||x||U|x||;以下述方式定义，<formula>formula see original document page 9</formula>其中，—表示复共轭，T表示转置, 并且，b'、 c'如下定义，C顿其中，F表示傅立叶变换，F"表示傅立叶逆变换。 而且，本发明的上述目的可以通过如下方式有效实现，针对空间区域的 所述高分辨率图像以如下方式对所述评价函数进行公式化，<formula>formula see original document page 10</formula>所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公式化，<formula>formula see original document page 10</formula>其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图 像的向量，S表示b的傅立叶变换，c表示核心图像的向量，该核心图像 表示所述高分辨率图像的先验信息，S表示c的傅立叶变换，S'表示b' 的傅立叶变换，？表示c'的傅立叶变换，f表示平均观测图像的向量，w 表示加权图像的向量，oc表示约束参数，该约束参数表示约束的强度，* 表示巻积积分，^表示每个要素的乘法运算，F表示傅立叶变换，F—1表 示傅立叶逆变换。而且，本发明的上述目的可以通过如下方式有效实现，针对频率区 域的所述高分辨率图像以如下方式对所述评价函数进行公式化，卿1 所述评价函数对频率区域的所述高分辨率图像的微分以如下方式公式化，<formula>formula see original document page 10</formula>其中，S表示频率区域的所述高分辨率图像的向量，b表示PSF图像 的向量，S表示b的傅立叶变换，S'表示b'的傅立叶变换，f表示平均观 测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心 图像表示所述高分辨率图像的先验信息，^表示c的傅立叶变换，5'表示
C'的傅立叶变换，OC表示约束参数，该约束参数表示约束的强度，p表示 将傅立叶变换所引起的常数倍的差异归一化的常数，*表示巻积积分， 表示每个要素的乘法运算，F表示傅立叶变换，F"表示傅立叶逆变换。


图1是表示本发明实施例1的超分辨处理的高速化方法(方法1) 中使用的评价函数的误差项以及该误差项对高分辨率图像的微分的计算 步骤的框图。图2是表示本发明实施例1的超分辨处理的高速化方法(方法1) 中使用的评价函数的约束项以及该约束项对高分辨率图像的微分的计算 步骤的框图。图3是表示本发明实施例2的超分辨处理的高速化方法(方法2) 中使用的评价函数的误差项以及该误差项对高分辨率图像的微分的计算 步骤的框图。图4是表示本发明实施例2的超分辨处理的高速化方法(方法2) 中使用的评价函数的约束项以及该约束项对高分辨率图像的微分的计算 步骤的框图。图5是表示本发明实施例3的超分辨处理的高速化方法(方法3) 中使用的评价函数的误差项以及该误差项对频率区域上的高分辨率图像 的微分的计算步骤的框图。图6是表示本发明实施例3的超分辨处理的高速化方法(方法3) 中使用的评价函数的约束项以及该约束项对频率区域上的高分辨率图像 的微分的计算步骤的框图。图7是表示应用了本发明的超分辨处理的高速化方法的超分辨处理 的结果的图。图7 (A)表示基于式3所示的基于"基于平均像素值的评 价函数"的超分辨处理的结果，图7 (B)表示应用了本发明实施例1的 超分辨处理的高速化方法的超分辨处理的结果，图7 (C)表示应用了 本发明实施例2的超分辨处理的高速化方法的超分辨处理的结果，图7 (D)表示应用了本发明实施例3的超分辨处理的高速化方法的超分辨
处理的结果。
具体实施方式
下面，参照附图，说明用于实施本发明的优选实施方式。本发明中，利用日本专利申请2004-316154中公开的评价函数，通 过基本的图像运算的组合，计算出该评价函数和评价函数对高分辨率图 像的微分，并且，通过进一步应用傅立叶变换，实现超分辨处理的高速 化。但是，在超分辨处理中，对于存在位置偏差的多张观测图像(低分 辨率图像)的各像素，通过配准(位置对齐)，在高分辨率图像空间的某 一位置上将各像素对应起来。即，配准后，多张观测图像可以认为是在 高分辨率空间内以非等间隔采样得到的像素。考虑将该以非等间隔采样得到的像素位置(下面简称为观测像素位 置)近似为高分辨率图像的像素位置(下面简称为高分辨率像素位置)。 此时，可以想到近似为某一高分辨率像素位置的观测像素(观测像素位 置)存在多个的情况。相反，也具有不存在所近似的观测像素(观测像 素位置)的高分辨率像素位置。此处，通过分别计算出近似为各高分辨率像素位置的多个观测像素 的平均像素值，从而能够生成1个图像。将该图像称为平均观测图像。平均观测图像相当于如下的图像即，其像素间隔(像素数)与高分辨率图像相等，利用从照相机模型得到的点扩散函数(PSF函数)将高分辨率图像晕色的图像。其中，对于不存在所近似的观测像素的像素位置， 不定义其像素值。被近似为各高分辨率像素位置的观测像素的个数也同 样成为1个图像。将该图像称为加权图像。并且，PSF也看作是1个图像。这样，计算评价函数和评价函数对 高分辨率图像的微分时，必须要考虑的图像有高分辨率图像h[i,j]、 PSF 图像b[i,j]、平均观测图像fli,j]、加权图像w[i，j]这四个。本发明中，通过 该4类图像之间的图像运算的组合，可以计算出评价函数和评价函数对 高分辨率图像的微分。
具体地说，本发明中以如下情况为前提，即，在日本专利申请2004-316154中公开的评价函数中，将小区域的大小设定为与高分辨率图 像的像素相等，将小区域的代表位置设为像素中心。此时，如下述式3所示，超分辨处理整体的评价函数由误差项(式 3的右边第1项)和约束项(式3的右边第2项)构成。另外，将下述式 3所示的评价函数设为"基于平均像素值的评价函数"。[式3]此处，h表示高分辨率图像的向量，N表示小区域的个数，bi表示与 第i个小区域的代表位置对应的PSF的向量，Wi表示第i个小区域中包含 的像素个数，f表示第i个小区域中包含的像素的平均像素值，c表示核 心，该核心表示高分辨率图像的先验信息，a表示约束参数，该约束参数 表示约束的强度，*表示巻积运算。另外，如上所述，作为小区域设定高分辨率图像的像素的大小，因 此，小区域的数量N与高分辨率图像的像素的数量相等，小区域的代表 位置与高分辨率图像的像素中心相等。并且，还可以考虑到约束参数cc为 0的情况(a=0)，此时，超分辨处理整体的评价函数仅由误差项(式3 的右边第1项)构成。本发明的超分辨处理的高速化方法应用于基于式3所示的由误差项 和约束项构成的评价函数的重构式超分辨处理。本发明中，使用上述的4类图像、即高分辨率图像、PSF图像、平 均观测图像、加权图像，对式3所示的"基于平均像素值的评价函数" 进行再定义，将再定义后得到的函数设为超分辨处理整体的评价函数， 根据再定义的评价函数及其微分的计算方法(详情在实施例中说明)，计 算评价函数及其微分，能够实现超分辨处理的高速化。并且，本发明中， 利用4类图像再定义的评价函数均由误差项和约束项构成。实施例1
实施例1的超分辨处理的高速化方法(下面简称为方法1)中，利 用上述的4类图像，针对高分辨率图像的空间(下面简称为空间区域的高分辨率图像h、或高分辨率图像h)，再定义式3所示的"基于平均像 素值的评价函数"。并且，在所有空间区域中，计算再定义的评价函数和 评价函数对高分辨率图像的微分。首先，实施例1的超分辨处理的高速化方法中，使用上述的4类图 像，以下述式4将超分辨处理整体的评价函数公式化，并且以下述式5 将评价函数对高分辨率图像的微分公式化。另外，将式4的右边第1项称为方法1的误差项，将式4的右边第 2项称为方法1的约束项，将式5的右边第1项称为方法1的误差项对高 分辨率图像的微分，将式5的右边第2项称为方法1的约束项对高分辨 率图像的微分。[式4]<formula>formula see original document page 14</formula>[式5]<formula>formula see original document page 14</formula>此处，h表示高分辨率图像的向量，b表示PSF图像的向量，f表示平均观测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心图像表示高分辨率图像的先验信息，cc表示约束参数，该约束参数表示约束的强度。并且，*表示巻积积分，②表示每个要素的乘法运算。 此外，两个范数lxl。llxil;如下述式6、式7所定义([式6]<formula>formula see original document page 14</formula> [式7]<formula>formula see original document page 15</formula>此处，—表示复共轭，T表示转置。 并且，b'、 c'如下述式8、式9所定义。 [式8]此处，F表示傅立叶变换，F"表示傅立叶逆变换。接着，将方法1的误差项以及该误差项对高分辨率图像的微分的计 算步骤示于图1的框图。并且，将方法1的约束项以及该约束项对高分 辨率图像的微分的计算步骤示于图2的框图。另外，图l和图2中，*表示巻积积分运算，+表示每个要素的加法 运算，0表示每个要素的乘法运算，E表示计算要素总和的运算。如图l的框图所示，方法l的误差项以及该误差项对高分辨率图像 的微分的计算步骤按照如下方式进行。步骤1A:进行高分辨率图像h和PSF图像b之间的巻积积分运算。步骤1B:进行从步骤1A中的巻积积分运算结果减去平均观测图像f的运算。步骤1C:将步骤1B中的运算结果与加权图像W相乘。步骤1D:通过进行步骤1C中的相乘结果与PSF图像b'之间的巻积积分运算，从而得到方法1的评价函数的误差项的微分。步骤1E:将步骤1B中的运算结果与步骤1C中的相乘结果相乘。 步骤1F:根据步骤1E中的相乘结果，计算出要素的总和，通过该运
算，得到方法1的评价函数的误差项的值。并且，如图2的框图所示，方法1的约束项以及该约束项对高分辨 率图像的微分的计算步骤按照如下方式进行。步骤la:进行高分辨率图像h与表示高分辨率图像的先验信息的核心图像c之间的巻积积分运算。步骤lb:通过进行步骤la中的巻积积分运算结果与核心图像c'之间的巻积积分运算，得到方法l的评价函数的约束项的微分。步骤k:将步骤la中的巻积积分运算结果与步骤la中的巻积积分运算结果相乘。步骤ld:根据步骤1C中的相乘结果，计算出要素的总和，通过该运算，得到方法1的评价函数的约束项的值。实施例2实施例2的超分辨处理的高速化方法(下面简称为方法2)中，利 用上述的4类图像，针对高分辨率图像的空间，再定义式3所示的"基 于平均像素值的评价函数"。与方法l的不同之处在于，方法2利用傅立 叶变换，进行巻积运算的计算。实施例2的超分辨处理的高速化方法中，利用上述的4类图像，以 下述式10将超分辨处理整体的评价函数公式化，并且，以下述式11将 评价函数对高分辨率图像的微分公式化。另外，式10的右边第1项称为方法2的误差项，将式10的右边第 2项称为方法2的约束项，将式11的右边第1项称为方法2的误差项对 高分辨率图像的微分，将式11的右边第2项称为方法2的约束项对高分 辨率图像的微分。[式10]<formula>formula see original document page 16</formula>[式11]<formula>formula see original document page 16</formula> 此处，S表示b的傅立叶变换，S表示C的傅立叶变换，S'表示b' 的傅立叶变换，S'表示C'的傅立叶变换。并且，式10和式11中，其它各 标号与方法l相同，因此省略说明。接着，将方法2的误差项以及该误差项对高分辨率图像的微分的计 算步骤示于图3的框图。并且，将方法2的约束项以及该约束项对高分 辨率图像的微分的计算步骤示于图4的框图。另外，图3和图4中，F表示傅立叶变换，F'傅立叶逆变换，并且， +表示每个要素的加法运算，(2)表示每个要素的乘法运算，E表示计算要 素总和的运算。如图3的框图所示，方法2的误差项以及该误差项对高分辨率图像的微分的计算步骤按照如下方式进行。步骤2A:对高分辨率图像h进行傅立叶变换。步骤2B:将步骤2A中的傅立叶变换结果与PSF图像S相乘。步骤2C:对步骤2B的相乘结果进行傅立叶逆变换。步骤2D:进行从步骤2C中的傅立叶逆变换结果减去平均观测图像f的运算。步骤2E:将步骤2D中的运算结果与加权图像w相乘。步骤2F:对步骤2E中的相乘结果进行傅立叶变换。步骤2G:将步骤2F中的傅立叶变换结果与PSF图像S'相乘。步骤2H:通过对步骤2G中的相乘结果进行傅立叶逆变换，从而得到方法2的评价函数的误差项的微分。步骤2I:将步骤2D中的运算结果与步骤2E中的相乘结果相乘。 步骤2J:根据步骤21中的相乘结果，计算要素的总和，通过该运算，得到方法2的评价函数的误差项的值。如图4的框图所示，方法2的约束项以及该约束项对高分辨率图像的微分的计算步骤按照如下方式进行。步骤2a:对高分辨率图像h进行傅立叶变换。步骤2b:将步骤2a中的傅立叶变换结果与核心图像S相乘。
步骤2C:对步骤2b中的相乘结果进行傅立叶逆变换。步骤2d:对步骤2C中的傅立叶逆变换结果进行傅立叶变换。步骤2e:将步骤2d中的傅立叶变换结果与核心图像？相乘。 步骤2f:通过对步骤2e中的相乘结果进行傅立叶逆变换，从而得到方法2的评价函数的约束项的微分。步骤2g:将步骤2c中的傅立叶逆变换结果与步骤2c中的傅立叶逆变换结果相乘。步骤2h:根据步骤2g中的相乘结果，计算出要素的总和，通过该运算，得到方法2的评价函数的约束项的值。实施例3实施例1和实施例2中说明了如下方法，针对空间区域的高分辨率 图像h，再定义式3所示的"基于平均像素值的评价函数"，将空间区域 的高分辨率图像优化。但是，众所周知，空间区域的高分辨率图像h和与该傅立叶变换对 应的频率区域的高分辨率图像5(下面简称为频率区域的高分辨率图像 5)上存在一对一的关系。因此，可以说将频率区域上的高分辨率图像优 化与将空间区域上的高分辨率图像优化属于等效的处理。因此，除了对空间区域的高分辨率图像h进行优化计算之外，还可 以对频率区域的高分辨率图像5进行优化计算，重构高分辨率图像。若考 虑像这样对频率区域中的高分辨率图像S进行优化，则该评价函数I(S)如 下述式12所示。艮口，实施例3的超分辨处理的高速化方法(下面简称为方法3)中， 式3所示的"基于平均像素值的评价函数"是对高分辨率图像的频率， 即、对频率区域上的高分辨率图像S进行再定义。与方法1和方法2相比， 方法3的最大特征在于，评价函数对高分辨率图像的频率进行再定义。实施例3的超分辨处理的高速化方法中，以下述式12将超分辨处理 整体的评价函数公式化，以下述式13将评价函数对频率区域上的高分辨 率图像5的微分4公式化。另外，将式12的右边第1项称为方法3的误差项，将式12的右边
第2项称为方法3的约束项，将式13的右边第1项称为方法3的误差项 对频率区域上的高分辨率图像S的微分，将式13的右边第2项称为方法 3的约束项对频率区域上的高分辨率图像S的微分。 [式12]<formula>formula see original document page 19</formula>[式13]<formula>formula see original document page 19</formula>此处，S表示频率区域上的高分辨率图像的向量，p表示将傅立叶变 换所引起的常数倍的差异归一化的常数。并且，式12和式13中，其它 各标号与方法l、方法2相同，因此省略说明。接着，将方法3的误差项以及该误差项对频率区域上的高分辨率图 像的微分的计算步骤示于图5的框图。并且，将方法3的约束项以及该 约束项对频率区域上的高分辨率图像的微分的计算步骤示于图6的框图。另外，图5和图6中，F表示傅立叶变换，F—M専立叶逆变换，并且， +表示每个要素的加法运算，0表示每个要素的乘法运算，E表示计算要 素总和的运算，Conj.表示取各要素的复共轭的运算。如图5的框图所示，方法3的误差项以及该误差项对频率区域的高 分辨率图像S的微分的计算步骤按照如下方式进行。步骤3A:将频率区域上的高分辨率图像S与PSF图像S相乘。步骤3B:对步骤3A中的相乘结果进行傅立叶逆变换。步骤3C:进行从步骤3B中的傅立叶逆变换结果减去平均观测图像 f的运算。步骤3D:将步骤3C中的运算结果与加权图像w相乘。步骤3E:对步骤3D中的相乘结果进行傅立叶变换。步骤3F:通过将步骤3E中的傅立叶变换结果与PSF图像S'相乘， 从而得到方法3的评价函数的误差项对频率区域中的高分辨率图像S的微分。步骤3G:将步骤3C中的运算结果与步骤3D中的相乘结果相乘。 步骤3H:根据步骤3G中的相乘结果，计算出要素的总和，通过该 运算，得到方法3的评价函数的误差项的值。并且，如图6的框图所示，方法3的约束项以及该约束项对频率区 域上的高分辨率图像S的微分的计算步骤按照如下方式进行。步骤3a:将频率区域上的高分辨率图像S与核心图像3相乘。 步骤3b:通过将步骤3a中的相乘结果与核心图像S'相乘，得到方法 3的评价函数的约束项对频率区域上的高分辨率图像S的微分。步骤3c:针对步骤3a中的相乘结果，进行取各要素的复共轭的运算。 步骤3d:将步骤3c中的运算结果与步骤3a中的相乘结果相乘。 步骤3e:根据步骤3d中的相乘结果，计算出要素的总和，通过该运 算，得到方法3的评价函数的约束项的值。如上所述，对本发明的具体实施例进行了说明，接着，针对通过手 持照相机拍摄到的实际图像应用本发明的超分辨处理的高速化方法，确 认本发明的有效性。超分辨处理中将16张(bayer排列)的观测图像用 作低分辨率图像。以4X4倍率对低分辨率图像的60X60的区域进行超 分辨处理，重构240X240的高分辨率图像。PSF利用了高斯PSF。作为 约束核心，利用了拉普拉斯(Laplacian)约束核心。优化计算利用最速 下降法，重复计算次数为20次。考虑到是手持照相机，所以配准利用了 非专利文献5中公开的"假设了投影变换的梯度法"。另外，计算中使用 了2.8[GHz] (Penti画4)(注册商标)的CPU。图7中示出应用了本发明的发明人提出的日本专利申请2004-316154 中公开的"超分辨处理的高速化方法"的超分辨处理的结果和应用了本 发明的超分辨处理的高速化方法的超分辨处理的结果。具体地说，图7 (A)表示基于式3所示的基于"基于平均像素值的 评价函数"的超分辨处理的结果，图7 (B)表示应用了本发明实施例1 的超分辨处理的高速化方法的超分辨处理的结果，图7 (C)表示应用了
本发明实施例2的超分辨处理的高速化方法的超分辨处理的结果，图7(D)表示应用了本发明实施例3的超分辨处理的高速化方法的超分辨 处理的结果。图7 (A)、图7 (B)、图7 (C)、图7 (D)所示的4类超分辨处理 结果，作为主观评价，大致相同。接着，看一下超分辨处理的计算时间。 图7 (A)的用于得到超分辨处理结果的计算时间为9.62[sec]，图7 (B) 的用于得到超分辨处理结果的计算时间为1.38[sec:i，图7(C)的用于得 到超分辨处理结果的计算时间为l.Ol[sec]，图7 (D)的用于得到超分 辨处理结果的计算时间为0.59[sec]。而且，如日本专利申请2004-316154中所公开的，应用了日本专利 申请2004-316154的超分辨处理的高速化方法的超分辨处理、即基于式3 所示的"基于平均像素值的评价函数"的超分辨处理与现有的超分辨处 理相比速度更快。若比较上述的超分辨处理的计算时间，比起利用日本 专利申请2004-316154中公开的方法进行的超分辨处理，利用本发明的超 分辨处理的高速化方法进行的超分辨处理能够实现更高速化。艮口，与根据"基于平均像素值的评价函数"的超分辨处理相比，本 发明的方法1的计算时间为6.97分之一，方法2的计算时间为9.52分之 一，方法3的计算时间为16.3分之一，计算速度加快。产业上的可利用性如上所述，若使用本发明的超分辨处理的高速化方法，则通过基本 的图像运算的组合来对评价函数和评价函数对高解像图像的微分进行计 算，能够大幅度削减超分辨处理所需的计算成本，因此，具有能够实现 超分辨处理的高速化的效果。并且，通过对实际图像应用本发明的超分辨处理的高速化方法，能 够实现超分辨处理的高速化。<参考文献一览〉非专利文献1: Sung C.P.和Min K.P合著"Super-Resolution Image Reconstruction: A Technical Overview" IEEE Signal Proc. Magazine，第26 巻，第3号，p.21-36， 2003年
非专利文献2: B.C.Tom和A.K.Katsaggelos合著，"Reconstruction of a high-resolution image by simultaneous registration , restoration, and interpolation of low-resolution images "，Proc.IEEE Int.Conf.Image Processing, 第2巻,P.539-542,1995年非专利文献3: R.R.Schulz和R丄.Stevenson合著，"Extraction of high-resolution frames from video sequences", IEEE Trans. Image Processing, 第5巻,p.996-1011,1996年非专利文献4: H.Stark禾H ROskoui合著，"High resolution image recovery from image-plane arrays, using convex projections "， J.Opt.Soc.Am.A，第6巻，P.1715-1726,1989年非专利文献5: S.Baker和I.Matthews合著，"Lucas-Kanade 20 Years On: A Unifying Framework", Inter[national Journal of Computer Vision,第 56巻,第3号,p.221-255，2004年
权利要求
1.一种超分辨处理的高速化方法，该高速化方法用于将根据存在位置偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速化，所述超分辨处理的高速化方法的特征在于，通过基本的图像运算的组合，进行评价函数和所述评价函数对所述高分辨率图像的微分的计算。
2. 根据权利要求1所述的超分辨处理的高速化方法，其中，针对空 间区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公<formula>formula see original document page 2</formula>其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像 的向量，f表示平均观测图像的向量，w表示加权图像的向量，c表示核 心图像的向量，该核心图像表示所述高分辨率图像的先验信息，oc表示约 束参数，该约束参数表示约束的强度，*表示巻积积分，0表示每个要素 的乘法运算，两个范数llxlLllxl卩以下述方式定义，<formula>formula see original document page 2</formula>其中，—表示复共轭，T表示转置， 并且，b'、 C'如下定义，<formula>formula see original document page 3</formula>其中，F表示傅立叶变换，F"表示傅立叶逆变换。
3.根据权利要求1所述的超分辨处理的高速化方法，其中， 针对空间区域的所述高分辨率图像以如下方式对所述评价函数进行 公式化，<formula>formula see original document page 3</formula>所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公<formula>formula see original document page 3</formula>其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像的向量，S表示b的傅立叶变换，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，S表示c的傅立叶变换，S'表示b'的傅立叶变换，5'表示c'的傅立叶变换，f表示平均观测图像的向量，w表示加权图像的向量，oc表示约束参数，该约束参数表示约束的强度，*表示巻积积分，(S)表示每个要素的乘法运算，F表示傅立叶变换，F"表示傅立叶逆变换，两个范数ilxll:,ixll;以下述方式定义，<formula>formula see original document page 3</formula> 其中，—表示复共轭，T表示转置， 并且，b'、 c'如下定义，顿 祠其中，F表示傅立叶变换，F"表示傅立叶逆变换。 4.根据权利要求1所述的超分辨处理的高速化方法，其中，针对频 :区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，<formula>formula see original document page 4</formula>所述评价函数对频率区域的所述高分辨率图像的微分以如下方式公式化，<formula>formula see original document page 4</formula>+2—" 婉②h其中，S表示频率区域的所述高分辨率图像的向量，b表示PSF图像 的向量，S表示b的傅立叶变换，S'表示b'的傅立叶变换，f表示平均观 测图像的向量，v/表示加权图像的向量，c表示核心图像的向量，该核心 图像表示所述高分辨率图像的先验信息，5表示c的傅立叶变换，？表示 c'的傅立叶变换，oc表示约束参数，该约束参数表示约束的强度，p表示将傅立叶变换所引起的常数倍的差异归一化的常数，*表示巻积积分， 表示每个要素的乘法运算，F表示傅立叶变换，F"表示傅立叶逆变换，两个范数IMiUlxl！以下述方式定义，其中，—表示复共轭，T表示转置， 并且，b'、 c'如下定义，<formula>formula see original document page 5</formula>其中，F表示傅立叶变换，F"表示傅立叶逆变换。
全文摘要
本发明提供一种超分辨处理的高速化方法，在重构式超分辨处理中，通过将评价函数和评价函数对高分辨率图像的微分的计算高速化，实现超分辨处理的高速化。该超分辨处理的高速化方法用于将根据具有位置偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速化，通过基本的图像运算的组合，进行评价函数和所述评价函数对所述高分辨率图像的微分的计算。
文档编号G06T3/40GK101164082SQ20068001388
公开日2008年4月16日 申请日期2006年5月1日 优先权日2005年5月2日
发明者奥富正敏, 田中正行 申请人:国立大学法人东京工业大学