图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种提高低分辨率图像的分辨率的图像处理设备和图像处理方法。
背景技术：
近来，广泛使用具有大量像素的高分辨率电视或显示器。这些电视或显示器将图像 数据的像素数目变换为显示图像时的显示屏的像素数目。已知有插值和多帧降质反变换法 (multi-frame deterioration inverse conversion method),前者在施行分辨率提高处理时，根 据采样定理(三次巻积，双三次方法等)用SinC函数实施滤波，后者提供比用插值得到 的更为鲜明的图像。例如请参照闩本专利申请(KOKAI)第2000-188680号，禾n "超分辨 率图像重建技术概述"(S.Park等，IEEE Signal Processing Magazine, USA, IEEE, May 2003 pp.21-36)。
多帧降质反变换法是通过给眼睛这样的事实来提高分辨率的一种方法，即显现在参 考帧(打算提高分辨率的帧)中的拍摄对象也显现在与之相连续的其他帧中，并由下列歩
骤组成以小于像素间隔的小数精度检测拍摄对象的运动的歩骤，对拍摄对象的同一个局 部取得多个位置上被微小移动的采样数值的步骤，和在相关技术中分别通过插值对多个采 样数值相继修正像素值的步骤。
在多帧降质反变换法中，存在的问题是由于像素值被通过错误的对应位置检测的采 样数值所修正，及平坦区域中噪声成分被明显地修改，所以高分辨率图像的质量受到损害。

发明内容
鉴于这种情况，本发明的目的在于提供能达到分辨率提高以提供鲜明和高质量图像 的图像处理设备和图像处理方法。
根据本发明的各实施例，各实施例提供一种图像处理设备，包括像素值计算单元， 用来根据具有"n"个像素的参考帧中各像素的像素值，通过插值处理计算由"m" (m〉n) 个像素组成的假定高分辨率图像的各像素的估计的像素值；分割单元，用来根据参考帧中 各像素的像素值将参考帧的内部分割成边缘区域和其他区域，纹理区域和其他区域，或平 坦区域和其他区域；位置计算单元，用来将参考帧中的各像素逐个按序设置作为目标像素，
并根据包含目标像素的被分割区域的信息，以小数精度计算假定图像上各目标像素的对应 位置；变换单元，用来修正各估计的像素值，使得目标像素的像素值和由目标像素的对应 位置周围的像素的假定高分辨率图像的估计的像素值获得的目标像素的假定估计的像素 值之间的差分变得更小，并获得修正的像素值；及输出单元，用来输出由具有修正的像素 值的"m"个像素组成的图像。
根据本发明，能适合于各区域的分辨率提高处理，得到鲜明的和高质量、高分辨率图像。


图1为根据本发明的第1实施例的图像处理设备的方框图。 图2显示根据本发明的图像处理设备的运作示例的流程图。 图3说明从三个低分辨率帧产生高分辨率帧的状态。 图4说明从一个低分辨率帧产生高分辨率帧的状态。 图5说明显示屏与低分辨率帧的像素之间的位置关系。 图6说明通过提高低分辨率帧的分辨率取得的高分辨率帧。 图7说明其像素间隔与高分辨率帧的像素间隔一致的低分辨率帧。 图8说明低分辨率帧的采样点和高分辨率帧的采样点之间的位置关系。 图9说明在计算显示屏空间中对应位置的过程中的目标像素和参考帧。 图IO说明在计算显示屏空间中对应位置的过程中的目标图像区域和图像区域。 图11说明在计算显示屏空间中对应位置的过程中的匹配误差插值。 图12说明在计算显示屏空间中对应位置的过程中参考帧中的对应位置。 图13说明在计算显示屏空间中对应位置的过程中的过采样法(oversampling method)。
图14说明在计算显示屏空间中对应位置的过程中对参考帧过采样的对应像素。
图15说明在假定高分辨率图像中变换像素值的状态。
图16为根据本发明的第2实施例的图像处理设备的方框图。
图17说明第3实施例中局部图形的自协调性。
图18说明第3实施例中计算显示屏空间中自协调性的位置的状态。
图19为根据第4实施例的图像处理设备的方框图。
图20为根据第4实施例的图像处理设备的方框图。
图21显示根据第4实施例的图像处理设备的运作示例的流程图。
图22为根据第5实施例的图像处理设备的方框图。
图23显示根据第5实施例的图像处理设备的运作示例的流程图。
图24为根据第6实施例的图像处理设备的方框图。
图25显示根据第6实施例的图像处理设备的运作示例的流程图。
图26为根据第7实施例的图像处理设备的方框图。
图27显示根据第7实施例的图像处理设备的运作示例的流程图。
图28为根据第8实施例的图像处理设备的方框图。
图29显示根据第8实施例的图像处理设备的运作示例的流程图。
图30说明检测边缘区域的状态。
图31说明检测纹理区域和平坦区域的状态。
图32是显示分离结果的示例的图。
图33说明计算目标像素在显示屏空间中的对应位置的方法。
具体实施例方式
现在参照附图，详细说明根据本发明的各实施例的提高低分辨率图像的分辨率的图 像处理设备。在下面的描述中，图像可以被参照为帧。
第一实施例
参照图1至图15和图30至图32，说明本发明的第一实施例的图像处理设备。 (1)图像处理设备的结构
图1为根据第1实施例的图像处理设备的方框图。
如图1所示，图像处理设备包括假定高分辨率像素值计算单元(下面称作像素值计 算单元)101，区域分割单元102，对应位置计算单元103和像素值变换单元104。
各单元101至104的功能可通过例如嵌入LSI的程序来实现。换句话说，可由执行 并行处理的设备来实现。
(1-1) 像素值计算单元IOI
像素值计算单元101接受其中在显示屏中排列多个像素且像素的亮度表示为像素值 的低分辨率图像数据。
低分辨率图像数据中的一帧设为参考帧，根据参考帧中的像素值通过插值计算具有 其像素数多于包括在参考帧中的像素数的假定高分辨率图像数据的像素值。
该低分辨率图像数据是运动图像数据。这里，低分辨率图像数据被描述为例如由摄
像机或手机所拍摄的运动图像数据，电视或移动AV播放机接收的图像数据，或存储在HDD 中的运动图像数据。
(1-2) 区域分割单元102
区域分割单元102接受低分辨率图像数据的供应，并根据像素值的变化将包含在低 分辨率图像数据中的一或多帧分割成至少两个区域。
作为分割低分辨率图像数据的方法，例如低分辨率图像数据被分割成其中像素值发 生线性变化的边缘区域，包含大量像素的、其像素值在局部区域显著变化的纹理区域，以 及在局部区域中像素值很少变化的平坦区域。
例如，区域分割单元102将帧分割成像素值在局部区域中很少变化的平坦区域和平 坦区域以外的非平坦区域。
(1-3) 对应位置计算单元103
对应位置计算单元103接受低分辨率图像数据的供应，并将包含于低分辨率图像数 据中的一或多帧中的多个像素逐一按序地设为目标像素。
然后，对应位置计算单元103以小数精度计算参考帧中目标像素与之对应的多个位 置中的一个(下面称作"对应位置")。
下面示出的一例方法是以小数精度计算对应位置的方法。
第一种方法根据低分辨率图像数据中的像素间隔取得匹配误差并对其采用连续对称 函数，以小数精度取得具有微小匹配误差的位置。这是匹配误差插值。
第二种方法放大低分辨率图像数据并根据放大的图像中的像素间隔取得对应的位 置。这是过采样法。
第三种方法实际上通过在摄像机中提供陀螺仪并测量摄像机的摇晃，以小数精度物 理检测对应的位置。
(1-4)像素值变换单元104
像素值变换单元104接受由像素值计算单元101计算的假定高分辨率图像数据的像 素值，由区域分割单元102计算的低分辨率图像数据的像素值、区域信息，及由对应位置 计算单元103计算的对应位置。
然后，像素值变换单元104根据区域信息选择对应位置。对被按序设置的所有目标 像素，相对于假定高分辨率图像数据的像素值重复加减操作，使低分辨率图像数据中的目 标像素的像素值与采用假定高分辨率图像数据和选择的对应位置产生的估计的像素值之 间的误差较小，以完成像素值变换处理。作为变换假定高分辨率图像数据的像素值的方法，例如可用POCS法，迭代的反向 投影法(参看非专利文献1中p.29,p.31)。
作为选择对应位置的方法，例如根据在边缘区域各帧间的对应位置和参考帧中纹理 区域中目标像素的对应位置来选择对应位置。 一般在边缘区域中对应位置的检测精度是高 的。由于只在参考帧中目标像素的对应位置不运动，所以计算对应位置总是正确。关于平 坦区域，事实上可以用假定高分辨率图像数据的像素值，所以不需要根据对应位置作像素 值变换。
在选择对应位置的另一方法中，例如只在非平坦区域中选择目标像素的对应位置。
在这种方式中，通过根据像素值数据的变化将低分辨率图像数据分割成各区域，并 根据区域分割信息对所选的对应位置变换像素值，消除根据由错误的对应位置检测的采采 样数值作像素值变换，所以避免了平坦区域中噪声成分被强调。
此外，具有修正的假定高分辨率图像数据的像素值的假定高分辨率图像数据被输出 作为鲜明的高分辨率图像数据。
(2)图像处理设备的操作
图2是用于说明由结合图1说明过的图像处理设备为从低分辨率图像数据输出高分 辨率图像数据的操作的流程图。参看图1和图2，说明形成高分辨率图像数据的方法。 (2-1)歩骤S201 首先，产生假定高分辨率图像数据(步骤S201)。
具体地说，像素值计算单元101设置一帧低分辨率图像数据，在该帧中多个像素排 列在显示屏中，且这些像素的亮度表示为参考帧中的像素值，根据参考帧中像素值通过插 值计算具有其像素数大于参考帧中包含的像素数的假定高分辨率图像数据的像素值。
所述插值包括根据采样定理(三次巻积，双三次方法)用SinC函数滤波的插值。这 样，从低分辨率图像数据设置的参考帧被放大作为假定高分辨率图像数据。
这种状态中，在假定高分辨率图像数据中，显示屏上的拍摄对象可被弄模糊，或者， 假定为连续的直线部分可以表示为称作锯齿形的台阶方式。 (2-2)步骤S202
其次，根据像素值的变化，低分辨率图像数据被分割为两个或多个区域(步骤S202)。 具体地说，区域分割单元102根据像素值的变化，将包含在低分辨率图像数据中的 至少一帧分割成两或多个区域。作为分割低分辨率图像数据的方法，例如低分辨率图像数 据被分割成其中像素值线性地变化的边缘区，包含大量像素且其像素值在局部区域内显著
变化的纹理区域，及像素值在局部区域中变化很少的平坦区域。另一方面，例如分割成其 中像素值在局部区域中变化很少的平坦区域和平坦区域以外的非平坦区域。 (2-3)歩骤S203 其次，计算显示屏空间中对应位置(步骤S203)。
具体说，对应位置计算单元103逐个按序地设置包含在低分辨率图像数据中一或多 帧中的多个像素，作为目标像素，并以小数精度计算参考帧中目标像素的一或多个对应位置。
以小数精度计算对应位置通过下述方法来达到，即根据低分辨率图像数据用匹配误 差插值或过采样方法通过计算来达到，或在摄像机中安装陀螺仪通过检测的方法来达到。 (2-4)步骤S204 其次，变换假定高分辨率图像数据的像素值(S204)。
具体地说，像素值变换单元104接受由像素值计算单元101计算的假定高分辨率图 像数据的像素值，由区域分割单元102计算的低分辨率图像数据的像素值，区域信息，由 对应位置计算单元103计算的对应位置，并根据区域信息选择所述对应位置。加或减假定 高分辨率图像数据的像素值，使低分辨率图像数据中目标像素的像素值与采用假定高分辨 率图像数据的像素值和选择的对应位置产生的估计的像素值之间误差变得较小。
假定高分辨率图像数据的像素值的变换例如通过POCS法或迭代的反向投影法(参 看非专利文献1中p.29,p31)来实现。
对应位置的选择例如可通过下述方法来实现，即根据在边缘区域中帧间的对应位置 和参考帧中纹理区域目标像素的对应位置来选择。 一般说，在边缘区域中对应位置的检测 精度是高的。由于只在参考帧中目标像素的对应位置不运动，所以计算对应位置总是正确 的。至于平坦区域，事实上可以满意地使用假定高分辨率图像数据的像素值，所以不需要 根据对应位置作像素值变换。
在选择对应位置的另一方法中，例如可以只选择非平坦区域中的目标像素值的对应位置。
(2-5)歩骤S205 其次，确定是否完成重复预定的次数(步骤S205)。
具体地说，确定是否完成由像素值变换单元104用所有选择的对应位置重复变换预 定的次数。如果不是，则程序返回步骤S204，为初始选择的对应位置执行假定高分辨率图 像的变换，如果"是"，则输出假定高分辨率图像数据作为高分辨率图像并结束程序。
(3)低分辨率图像数据、参考帧和高分辨率图像数据之间的关系 参看图3至图8，说明低分辨率图像数据、参考帧和高分辨率图像数据之间的关系， 以详细解释对应位置计算单元103和像素值变换单元104的运作。 (3-1)图3的说明
图3说明用时序上连续的低分辨率图像(视频数据)产生高分辨率视频的状态。 如图3所示，这里正产生第四高分辨率图像帧。确定此刻被放大的低分辨率图像帧 (本例中，第四低分辨率图像帧)作为参考帧。该参考帧和时序上前和后的第三低分辨率 图像帧和第五低分辨率图像帧(这时是第三至第五帧)称作低分辨率图像数据。 (3-2)图4的说明
图4中，只用低分辨率图像帧在帧内处理执行放大，作为参考帧。因为在静态图像 情况中只提供一帧低分辨率图像，所以这一帧被设置为参考帧，而且只是这单个参考帧用 作放大。为表述方便，静态图像有一帧。 (3-3)图5的说明
图5是显示低分辨率帧显示屏501，像素502和采样点503之间的位置关系图。 该图像中，基本上亮度在显示屏空间上连续地分布。但在这里处理的数字图像数据
的情况下，像素作为离散的采样点排列在显示屏空间上，而且周围的亮度只由图5所示的
这些像素的亮度所描述。
图5中，显示屏501被分割成24个方块，横向6歹lJ，纵向4行，排列24个像素502，
确定其中心点为采样点503。每个采样点503上代表性的亮度值称作像素值。 (3-4)图6的说明
图6说明图5中的显示屏，它通过在横向上加倍和纵向上加倍提高了分辨率。 由空心圆表示高分辨率图像帧的像素602的采样点603。这样，像素602的采样点 603的间隔是低分辨率图像帧的一半。 (3-5)图7的说明
图7中，原低分辨率图像帧中的像素以与高分辨率图像帧中相同的间隔排列。 这时，低分辨率图像帧的尺寸小于高分辨率图像帧的尺寸。这样，当低分辨率图像 帧的显示屏尺寸等同于高分辨率图像帧的尺寸时，像素的采样点的间隔被展宽，当与高分 辨率图像帧一样排列低分辨率图像帧中像素的采样点的间隔时，显示屏尺寸就縮减。但这 些是等效的，因而在需要时可如图5和图7表示低分辨率图像帧。 (3-6)图8的说明
图8中用实心圆表示低分辨率图像帧中像素的采样点，用空心圆表示高分辨率图像 帧中像素的采样点。
如图8所示，通过根据实心圆对采样点提供的像素值，取得空心圆表示的采样点的 像素值，就实现了放大，即分辨率的提高。这时，通过不仅采用低分辨率图像中所选的参 考帧，而且采用例如低分辨率图像数据如参考帧时序上的前和后帧，能获得分辨率的明显提咼。
(4)区域分割单元102的说明
现在参看图30、图31和图33，详细说明由图1的区域分割单元102和图2的歩骤 S202分割显示屏空间的区域的操作。 (4-1)边缘区域
图30说明检测其中像素值发生线性变化诸如拍摄对象的轮廓线的边缘区域的状态。
确定低分辨率图像帧AIOI中目标像素A102是不是包含在边缘区域中的像素。假设 围绕目标像素排列成3X3方块区域分别具有像素值y11， y12，…y33。
一般，假使在目标像素A102上通过区分像素值变化得到的值大于一定值，就确定是 包含在边缘区域中的像素。通过用Sobel滤波器计算区分后的值。为获得横向变异的值， 对目标像素A102采用横向Sobel滤波器A103。
具体地说，计算(一yll—2Xy21—y31) + (yl3 + 2Xy23 + y33)作为目标像素A102 的横向变异。同样，为取得纵向变异的值，对目标像素A102采用纵向Sobel滤波器A104。 具体是计算(yll+2Xyl2 + y13) + (—y31—2Xy32 — y33)作为目标像素A102的纵向 变异。纵向变异的绝对值与横向变异的绝对值相加，其和如大于一定的阈值，则确定该目 标像素A102是包含在边缘区域中的像素。 (4-2)纹理区域
图31说明检测包含其像素值在局部区域中发生显著变化诸如像线衫或麻布的网纹的 细小图案的纹理区域的状态。
确定低分辨率图像帧A201中目标像素A202是不是包含在纹理区域中的像素。假设 围绕目标像素以3X3排列的局部区域分别具有像素值y11， y12，…y33。
首先，计算局部区域中横向有限差异A203作为
dxll= (yll—yl2)的绝对值；
dxl2= (yl2 —y13)的绝对值；
dx21= (y21—y22)的绝对值；
dx22= (y22—y23)的绝对值； dx31= (y31—y32)的绝对值；和 dx32= (y32 — y33)的绝对值。 计算局部区域中纵向有限差异A204作为 dyll= (yll—y21)的绝对值； dyl2= (yl2 — y22)的绝对值； dyl3= (yl3 —y23)的绝对值； dy21= (y21—y31)的绝对值； dy22= (y22 —y32)的绝对值；和 dy23= (y23—y33)的绝对值。
在这些有限差异量中，大于某一阈值的有限差异量的数目被计算，当所计的数大于 某一阈值时，确定该目标像素A202为包含在纹理区域中的像素。 (4-3)平坦区域
参看图31，说明检测在其中像素值在局部区域中的变化很小的平坦区域的状态。 为了确定目标像素A202是不是包含在平坦区域中的像素，局部区域中纵向差异A203 和横向有限差异A204的差异量相加，其和如小于阈值，则确定是包含在平坦区域中的像素。
(4-4)分离的结果 图32表示分离结果的示例。
当输入低分辨率图像帧A301时，拍摄对象的轮廓被检测作为边缘区域A302，线衫 和头发被检测作为纹理区域A303，背景和裤子被检测作为平坦区域A304。 (5)对应位置计算单元103的说明
现在参看图9至图14,详细说明由图1中的对应位置计算单元103和图2中的步骤 S203计算显示屏空间中对应位置的操作。
在第一实施例中，对应位置计算单元103的功能被固定在LSI中，己如上述。所以 对参考帧中所有像素执行下面所述的各对应位置的计算。然后，根据上面所示程序中分割 的各边缘区域和纹理区域，以下面取得的方法执行对应位置的选择。
其中，计算对应位置的第一种方法和计算对应位置的第二种方法是为边缘区域选用 的方法，计算对应位置的第三种方法是为边缘区域和纹理区域选用的方法。
图9说明行驶中汽车的运动图像在时序上相邻的两帧901和902。这里，从这些低分
辨率图像帧中，说明用帧902提高了分辨率的情况作为参考帧。
以小数精度计算低分辨率图像帧901中目标像素903的采样点904相当于参考帧902 中哪个位置即对应位置，它比像素间隔来得小。
如结合图5和图7中所述那样，为顺应眼睛，低分辨率图像帧901和902被表示为 好像它们以横向6个像素，纵向4个像排成具有24个像素。但是，SD尺寸的视频例如实 际上横向有720个像素和纵向有480个像素。 (5-1)计算对应位置的第一种方法
现在参看图10至图12,说明用匹配误差插值以小数精度计算对应位置的方法。 (5-1-1)匹配误差插值
如图10所示，作为匹配误差插值的第一步，如方块匹配法中那样，为了以像素间隔 的精度计算从低分辨率图像帧901至参考帧902各帧之间的匹配误差，从低分辨率图像帧 901取出以目标像素903在中心的几个方块像素，例如5X5像素或3X3像素的方块1005， 作为目标图像区域。
其次，从参考帧902中搜索将像素值的变化中相似的图形送至目标图像区域1005的 部分。作为根据像素间隔计算的匹配误差，可用SSD (平方距离的和)，它是在各帧之间 目标像素区域中各像素值的差的平方之和，或可用SAD (绝对距离的和)，它是各像素值 的差的绝对值之和。这里，计算包含在低分辨率图像帧901中的目标图像区域1005和包 含在参考帧902中的图像区域1006的SAD，来计算目标像素903和像素1007之间的匹配 误差。
以相同方式，通过计算匹配误差，也以像素间隔为参考帧902中的其他像素计算匹 配误差。
从各匹配误差中确定具有最小匹配误差的像素作为在方块匹配法中计算的对应位 置。这相当于像素间隔即整数精度的对应位置。 (5-1-2)对应位置的确定
图11示出取得参考帧902中的像素1110作为低分辨率图像帧901中目标像素903 的对应像素图。
图11中所示出的曲线表示对围绕对应像素1110的3X3像素的各像素上计算的匹配 误差曲线。该对应像素1110的匹配误差是9个匹配误差中最小的匹配误差。 首先，说明在横向上对应位置的计算。
对于对应像素1110和横向上邻近两侧的像素的匹配误差，适用对称的连续函数1111。
所述对称连续函数可以是抛物线或关于匹配误差的轴对称的两条直线。
以这种方式在其上用连续函数的横向位置(以空心圆示出)称作小数精度对应位置
1112。
关于纵向，也计算纵向上的对应位置。
横向和纵向上的对应位置可通过采用对称曲面来同时计算，以代替分开地计算横向 和纵向上的对应位置。
(5-1-3)小数精度的对应位置 图12示出通过采用上述的操作计算小数精度的对应位置。 ' 如图12所示，从两个时序上相邻的低分辨率图像帧901和参考帧902，得到低分辨 率图像帧901的目标像素903与之对应的参考帧902中的对应像素1110，并对它采用连续 函数，从而计算与目标像素903的采样点904对应的参考帧902中的对应位置1213。 (5-2)计算对应位置的第二种方法 现在参看图13和图14，说明用过采样法以小数精度计算对应位置的方法。 (5-2-1)过采样法
如图13所示，作为过采样法的第一步，提高包含目标像素903的目标图像区域1005 的分辨率，以产生高分辨率目标图像区域1305。
然后，提高低分辨率参考帧902 (参看图9)中各像素的分辨率，以产生高分辨率参 考帧1302。例如，根据采样定理(三次巻积，双三次方法)等通过用SinC函数滤波的插 值实现分辨率的提高。
这种情况中，分辨率在横向提高三倍和在纵向提高三倍。在高分辨率目标图像区域 1305和高分辨率参考帧1302中，如同在图IO中结合匹配误差插值所述的方块匹配法，计 算像素间隔精度的对应像素。
由于低分辨率帧的分辨率在纵向上提高到三倍和在横向上提高到三倍，即，由于以 1/3像素间隔检测对应像素，所以这等效于这样的事实，即以精细的精度即1/3的低分辨率 图像间隔，检测对应位置。
(5-2-2)小数精度的对应位置
图14中，特别通过过采样法以小数精度检测对应位置。
通过高分辨率目标图像区域1305对参考帧中的像素以高分辨率像素间隔计算匹配误 差。计算具有最小匹配误差的像素的目标点1414，作为参考帧中小数精度的目标像素903 的采样点904的对应位置。
(5-3)计算对应位置的第三种方法
在如图33所示的参考帧3301中设置目标像素3302的情况下，使用计算对应位置的 第三种方法，计算采样点3303对应参考帧假定高分辨率图像3304中哪个位置。计算对应 位置的第三种方法是一种在边缘区域和纹理区域中被选用的方法。
假设低分辨率参考帧3301左上角的釆采样点的位置为(0， 0)，和假设其采采样点 的间隔为1，并假设参考帧的假定高分辨率图像3304的左上角的采采样点的位置为(O， 0)， 和假设其采采样点的间隔为1。由于参考帧中目标像素的对应位置的运动是0，所以要做 的只是根据横向上放大率ci和纵向上放大率P来变换坐标。因此，当假设低分辨率参考帧 中目标像素3302的采采样点3303的坐标为(x—LR， y—LR)时，则参考帧中假定高分 辨率图像3304中对应位置3305的坐标(x一HR， y—HR)唯一地被确定为
x—HR=a X (x一LR + 0.5) —0.5;禾口
y—HR=PX (y—LR+0.5) —0.5。图33中，
a=f3=2， (x—LR， y—LR) = (3， 1)，从而用上述的表达式来计算为 (x一HR， y—HR) = (6.5， 2.5)。 (6)像素值变换单元104的说明 现在参看图15，用实施例详细说明由图1中像素值变换单元104在图2的步骤S204 中完成的假定高分辨率图像中像素值的变换。
图15中图1中像素值计算单元101提高了图9中低分辨率参考帧902的分辨率，在 纵向为2倍，和在横向上为2倍，并取得假定高分辨率帧1501中各像素(空心圆)的像 素值。
对应位置计算单元103计算目标像素1502的对应位置1503(实心圆)。目标像素1502 具有像素值，它在拍摄的包含目标像素的低分辨率图像数据中已经是正确的。 (6-1)第一步
首先，从由区域分割单元102计算的区域信息中的所有对应位置选择需要的对应位置。
这里，目标位置的对应位置表示参考帧中低分辨率图像帧中各像素的对应位置，它 对假定高分辨率图像的运动是零。 一般说，边缘区域中对应位置的检测精度是高的。由于 只在参考帧中目标像素的对应位置没有运动，总是能正确地计算对应位置。
具体说，当包含目标像素的区域是边缘区域时，选择通过从上述计算对应位置的第 一种方法至计算对应位置的第三种方法中至少选出一种方法确定的对应位置。当选择两种
或更多种计算对应位置的方法时，以下面所述的方法对各对应位置修正像素值。
当包含目标像素的区域是纹理区域时，选择通过上述计算对应位置的第三种方法确 定的对应位置。
当包含目标像素的区域是平坦区域时，事实上可以使用假定高分辨率图像数据的像 素值，所以不需要根据对应位置作像素值变换。
在另一种选择对应位置的方法中，例如只要选择非平坦区域中目标像素的对应位置。 另一方面，在另一种选择对应位置的方法中，例如只要选择纹理区域中目标像素的对应位置。
(6-2)第二歩
其次，当如上述那样确定对应位置时，要根据对应位置修正假定高分辨率图像帧中 像素的估计的像素值。
为在图2中步骤S204估算假定高分辨率帧1501的各像素(空心圆)的像素值的相 似性，图1中的像素值变换单元104根据假定高分辨率帧1601中各像素(空心圆)假定 计算某目标像素1502的像素值。
为此，根据在假定高分辨率帧1501中目标像素1502与之重迭的9个像素做出计算。
例如，根据面积比率通过取得加权平均来完成计算。假定高分辨率帧的像素1504相 对于像素值的权重可以是矩形1505的表面积相对于目标像素1502的表面积的比率(=1)。 矩形1505是与假定高分辨率帧的像素1504重迭的目标像素1502的一部分。从带有与确 定作为加权的目标像素1502重迭的9个像素的矩形部分的表面积的这9个像素值获得加 权的平均值，所以从假定高分辨率帧1501中像素(空心圆)的像素值，假定估算目标像 素1502的像素值。
如果此时假定高分辨率帧是正确的，那末假定估算目标像素1502的像素值必须匹配 拍摄的正确目标像素1502的像素值。
但是， 一般在相关技术中由像素值计算单元101通过滤波放大的情况下，它们不须 匹配，这是因为在显示屏中己使拍摄的对象模糊，或者以称作锯齿形的台阶方式表示假定 是连续直线的部分的缘故。因此，计算加到假定高分辨率帧中的像素值或从该像素值减去 的修正的量，以达到匹配。
为了计算修正的量，在第一步中
计算有限差异的值=(拍摄的目标像素的像素值) 一 (假定估算的目标像素的像素 值)。当有限差异的值由通过假定计算取得权重所分配时，该有限差异的值为零。
以这种方式计算修正量的方法是POCS法(参看非专利文献1 p.29, p.31 )。
然后，通过对假定高分辨率帧1501的9个像素值加上9个正的或负的由权重分配的
修正量，在这时计算的目标像素的有限差异将是零，从而拍摄的目标像素的像素值匹配它
的假定估算的像素值。
但是，可以根据其他目标像素的对应位置，使用这一方法通过修正来修正同一高分
辨率帧1501中的像素值。所以，对所有对应位置相继进行修正，并进一歩重复预定的次
数(步骤S205)。
通过这种重复，假定高分辨率帧逐歩趋近正确，从而输出通过预定次数的重复修正 所取得的假定高分辨率帧，作为高分辨率帧。
在减小有限差异的值的方向上计算修正的量，而不是在计算修正的量时使有限差异 的值为零的计算方法是迭代的反向投影法(参看非专利文献1 p.29，p.31)。
第二实施例
现在参看图16，说明根据第二实施例的图像处理设备。
第二实施例是适用于采用PC (个人计算机)等的条件转移处理的示例。另一方面， 如上所述的第一实施例的图像处理设备，适用于采用LSI等的并行处理。 图16示出第二实施例的图像处理设备的方框图。
在第二实施例的图像处理设备中，来自区域分割单元102的面积信息供给对应位置 计算单元1603，然后，对应位置计算单元1603选择输入的面积信息和计算对应位置，像 素值变换单元1604变换像素值而不使用面积信息。
换句话说，第二实施例在下列各点上不同于第一实施例。
在第一实施例中，通过上述计算对应位置的第一种方法至计算对应位置的第三种方 法对参考帧中所有像素分别取得对应位置。然后，根据分割的区域的类型(边缘区域、纹 理区域和平坦区域)选择通过计算对应位置的第一种方法至计算对应位置的第三种方法确 定的对应位置。
另一方面，根据第二实施例，面积被分割成边缘区域、纹理区域和平坦区域，然后 通过按分割的区域类型从计算对应位置的第一种方法至计算对应位置的第三种方法中选 出的方法为各区单独地取得对应位置。
其结构的其他部件与第一实施例图像处理设备的相同，以相同的标注号表示相同的 部件，并省略其说明。
第三实施例
现在参看图17和图18,说明根据第三实施例的图像处理设备。
根据第一实施例，己对运动图像数据作了说明。第三实施例可适用于静态图像的情 况，它没有像运动图像那样在时序上排列连续的帧。
第三实施例适用于这样的情况，即利用拍摄图像的帧中(参考帧中)的自协调性作 为通过图1和图16中的对应位置计算单元103、 1603在图2的步骤S203中计算显示屏空 间中的对应位置的操作。
图17是实际数字图像数据的图形，其中横轴代表像素的横坐标，纵轴表示代表亮度 的像素值。这里用分开的顺序线表示同一帧中不同的5行数据。如图17所示可见，即使 是同一帧中不同的行也存在呈现亮度变化非常相似的部分。上述的在同一帧中呈现亮度变 化相似的图像特征定义为"自协调性"。
在利用拍摄对象的帧中的自协调性来提高分辨率的处理中，不需要在存储器中存储 多个连续的低分辨率图像数据。所以它具有以小量的存储器实现分辨率提高的优点。
在帧内处理的降质反变换法中利用自协调性提高分辨率可通过下列歩骤来实现，即 通过对应位置计算单元103、 1603在步骤S203设置包含由一帧构成的静态图像的图像数 据，作为参考帧，逐个按序地设置参考帧内多个像素例如参考帧内边缘像素作为目标像素， 以及以小数精度计算目标像素周围的一或多个对应位置。这是根据低分辨率图像数据利用 匹配误差插值或过采样法，通过计算实现的。
图18示出一例利用自协调性提高具有垂直边缘的拍摄对象1806的低分辨率参考帧 1801的分辨率的说明图。
如图18所示，标号1802表示目标像素，标号1803表示它的采样点。在图2的步骤 S203，计算采样点1803周围存在的自协调性的位置。假设自协调性的位置存在上一行或 下一行，通过匹配误差插值或过釆样法，小数精度的自协调性的位置是第一自协调性位置 1804和第二自协调性位置1805。
通过以这种方式计算相对于目标像素的小数精度对应位置(这时是自协调性的位 置)，目标像素的像素值，和目标像素的参考帧，然后在图2步骤S204中变换假定高分辨 率图像的像素值，完成分辨率的明显的高速的提高。
这一提高图像分辨率的方法在下面称为"帧内降质反变换法(in-frame deterioration inverse conversion method )"。
第四实施例
现在参看图19和图20，说明根据第四实施例的图像处理设备。
(1) 结构
图19和图20示出第四实施例的图像处理设备的方框图。
该图像处理设备用加强单元1905来加强供给图1和图16中像素值变换单元104、 1604 的低分辨率图像数据的像素值。结构的其他部件与图1和图16中说明的图像处理设备的 相同，对相同部件标注相同的标号，并省略其说明。
在多帧降质反变换法或帧内降质反变换法中，根据包含在目标低分辨率像素内的假 定高分辨率图像的采样点的位置，对假定高分辨率图像的像素值采用加或减，以使在目标 像素的像素值与根据假定高分辨率图像的像素值估计的估计像素值之间的误差较小。但 是，当低分辨率图像弄模糊时，在目标低分辨率像素外边的高分辨率图像的采样点会影响 目标像素的像素值。
图19和图20所示的图像处理设备接受低分辨率图像数据的供给，加强图像数据的 像素值，并将其输出到像素值变换单元104、 1604。具体说，使用加强滤波器诸如不灵敏 掩膜。
(2) 操作
图21是说明图19和图20中图像处理设备操作的流程图。其不同于图2流程图的在 于步骤S201和步骤S202之间设置加强低分辨率图像数据中的像素值的步骤，其他步骤与 图2的流程图的相同。所以用相同的标号表示相同的歩骤，并省略其说明。
如图21所示，在步骤S2106提供低分辨率图像数据，并加强图像数据的像素值，输 出到像素值变换单元104、 1604。
(3) 优点
因此，第四实施例中，低分辨率图像的模糊得以缓和并从包含在目标低分辨率像素 内的假定高分辨率图像的采样点产生目标像素的像素值。此外，事先可以避免由低分辨率 图像的加强引起假定高分辨率图像的锯齿形的加强。
第五实施例
现在参看图22和图23,说明根据第五实施例的图像处理设备。 (1)结构
图22示出第五实施例的图像处理设备的方框图。
如图22所示，该图像处理设备包括像素值计算单元IOI，区域分割单元2202，加强
单元1905和像素值变换单元2204。
像素值计算单元101如结合图1所述的一样地操作。
区域分割单元2202接受由一帧组成的参考帧的供应，作为低分辨率静态图像，根据 参考帧内像素值的变化分割该参考帧为平坦区域和非平坦区域，并输出分割信息。 加强单元1905如结合图19所述的一样地操作。
像素值变换单元2204接受假定高分辨率图像，区域信息和加强的参考帧，根据参考 帧内非平坦区域的像素值通过插值更换假定高分辨率图像的像素值。
(2)操作
图23是说明图22中图像处理设备操作的流程图。 第一步骤S201与图2所述的处理相同。
区域分割单元2202接受由一帧组成的参考帧的供给，作为低分辨率静态图像，根据 参考帧内像素值的变化将参考帧分割为平坦区域和非平坦区域，并输出分割信息(歩骤 S2302)。
下一歩骤S2106与结合图21所述的处理相同。
接着，像素值变换单元2204接受假定高分辨率图像，参考帧的区域信息和加强的参 考帧，根据参考帧内非平坦区域的像素值通过插值更换假定高分辨率图像的像素值(步骤 S2304)。
(3)优点
因此，第五实施例中，分辨率达到明显提高而不加强平坦区域中的噪声。 第六实施例
现在参看图24和图25，说明根据第六实施例的图像处理设备。 (1)结构
图24示出第六实施例的图像处理设备的方框图。
如图24所示，图像处理设备包括像素值计算单元101，区域分割单元2202和像素值 变换单元2403。
像素值计算单元101如结合图1所述的一样地操作。 区域分割单元2202如结合图22所述的一样地操作。
像素值变换单元2403接受假定高分辨率图像和参考帧的区域信息，对应于参考帧内 非平坦区域加强假定高分辨率图像的像素值。具体说，使用加强滤波器，诸如不灵敏掩膜 (unsharp mask)。
(2)操作
图25是说明图24中图像处理设备操作的流程图。 第一步骤S201与图2所述的处理相同。 下一步骤S2302与结合图23所述的处理相同。
接着，像素值变换单元2403接受假定高分辨率图像，参考帧的区域信息，对应于参 考帧中非平坦区域加强假定高分辨率图像的像素值(步骤S2503)。
(3) 优点
因此，第六实施例中，分辨率达到明显提高而不加强平坦区域中的噪声。 第七实施例
现在参看图26和图27，说明根据第七实施例的图像处理设备。
(1) 结构
图26示出第七实施例的图像处理设备的方框图。
如图26所示，本实施例的图像处理设备包括像素值计算单元101 ，区域分割单元2602 和像素值变换单元2603。
像素值计算单元101如结合图1所述的一样地操作。
区域分割单元2602接受假定高分辨率图像，根据假定高分辨率图像中像素值的变化 分割假定高分辨率图像为平坦区域和非平坦区域，输出分割信息。
像素值变换单元2603接受假定高分辨率图像和假定高分辨率图像的区域信息，加强 假定高分辨率图像的非平坦区域中的像素值。具体说，使用加强滤波器，诸如不灵敏掩膜。
(2) 操作
图27是说明图26中图像处理设备操作的流程图。 第一步骤S201与图2所述的处理相同。
接着，区域分割单元2602接受假定高分辨率图像，根据假定高分辨率图像中像素值 的变化分割假定高分辨率图像为平坦区域和非平坦区域，输出分割信息(歩骤S2702)。
接着，像素值变换单元2603接受假定高分辨率图像和假定高分辨率图像的区域信息， 加强假定高分辨率图像的非平坦区域的像素值(步骤S2703)。
(4) 优点
因此，第七实施例中，分辨率达到明显提高而不加强平坦区域中的噪声。
第八实施例
现在参看图28和图29，说明根据第八实施例的图像处理设备。
(1)结构
图28示出第八实施例的图像处理设备的方框图。
如图28所示，第八实施例的图像处理设备包括像素值计算单元101，区域分割单元 2802，第一对应位置计算单元2803，第二对应位置计算单元2804，第一像素值变换单元 2805，第二像素值变换单元2806，和像素值选择单元2807。
(1-1) 像素值计算单元IOI
像素值计算单元101如结合图1所述的一样地操作。 (1-2) 区域分割单元2802
区域分割单元2802接受假定高分辨率图像的供给，分割假定高分辨率图像为根据参 考帧内对应位置加强分辨率的第一区域，根据包含在低分辨率图像数据中的两或多帧之间 的对应位置加强分辨率的第二区域，和通过插值加强分辨率的第三区域，并输出区域信息。
(1-3) 第一对应位置计算单元2803
第一对应位置计算单元2803在包括一帧组成的静态图像的参考帧内逐个按序设置多 个像素作为目标像素，以小数精度计算参考帧内一个或多个目标像素的对应位置。 (1-4) 第二对应位置计算单元2804
第二对应位置计算单元2804在包括低分辨率图像数据内的至少两或多帧内逐个按 序设置多个像素作为目标像素，以小数精度至少计算参考帧内一或多个目标像素的对应位置。
(1-5) 第一像素值变换单元2805
第一像素值变换单元2805对假定高分辨率像素值施行加和减，使在目标像素的像素 值与采用假定高分辨率像素值和由第一对应位置计算单元计算的对应位置产生的估计像 素值之间的误差较小。
(1-6) 第二像素值变换单元2806
第二像素值变换单元2806对假定高分辨率像素值施行加和减，使在目标像素的像素 值与采用假定高分辨率像素值和由第二对应位置计算单元计算的对应位置产生的估计像 素值之间的误差较小。
(1-7) 像素值选择单元2807
像素值选择单元2807选择由第一区域中第一像素值变换单元2805变换的假定高分
辨率图像的像素值，选择由第二区域中第二像素值变换单元2806变换的假定高分辨率图
像的像素值，和选择第三区域中假定高分辨率图像的像素值。
(2)操作
图29是说明图28中图像处理设备操作的流程图。 第一歩骤S201与图2所述的处理相同。
接着，区域分割单元2802接受假定高分辨率图像，分割假定高分辨率图像为根据参 考帧内对应位置加强分辨率的第一区域，根据包含在低分辨率图像数据中的两或多帧之间 的对应位置加强分辨率的第二区域，和通过插值加强分辨率的第三区域，并输出区域信息 (歩骤S2902)。
第一对应位置计算单元2803在包括一帧组成的静态图像的参考帧内逐个按序设置多 个像素作为目标像素，以小数精度至少计算参考帧内一或多个目标像素的对应位置(步骤 2903)。
接着，第二对应位置计算单元2804在包括低分辨率图像数据内的至少两或多帧内逐 个按序设置多个像素作为目标像素，以小数精度至少计算参考帧内一或多个目标像素的对 应位置(歩骤S2904)。
接着，第一像素值变换单元2805对假定高分辨率像素值施行加和减，使在目标像素 的像素值与采用假定高分辨率像素值和由第一对应位置计算单元计算的对应位置产生的 估计像素值之间的误差较小(2905)，并继续对所有第一对应位置施行加和减。这一处理 进而重复预定的次数(步骤S2906)。
接着，第二像素值变换单元2806对假定高分辨率像素值施行加和减，使在目标像素 的像素值与采用假定高分辨率像素值和由第二对应位置计算单元计算的对应位置产生的 估计像素值之间的误差较小(步骤S2907)，并继续对所有第二对应位置施行加和减。这一 处理进而重复预定的次数(歩骤S2908)。
接着，像素值选择单元2807选择由第一区域中第一像素值变换单元2805变换的假 定高分辨率图像的像素值，选择由第二区域中第二像素值变换单元2806变换的假定高分 辨率图像的像素值，和选择第三区域中假定高分辨率图像的像素值，以便输出高分辨率图 像数据(步骤S2909)。 (4)优点
因此，通过在像素像素对基础上结合根据帧内降质反变换法的高分辨率图像，根据 多帧降质反变换法的高分辨率图像和通过插值的高分辨率图像，可产生更鲜明的高分辨率
图像。在第八实施例中，通过将假定高分辨率图像分割为各区域来选择像素值。但是，通 过将参考帧分割为各区域来选择像素值也是可能的。
实施例的优点
根据各实施例的图像处理设备中，由于通过根据像素值的变化分割低分辨率图像数 据为各区域，并根据区域划分信息选择对应位置，使像素值变换，所以，消除以错误的对 应位置检测的采采样数值作像素值变换，避免平坦区域中噪声成分的加强。
尤其当在帧内完成处理时，利用拍摄对象的帧内的自协调性来提高分辨率。所以， 不须在存储器中存储多个低分辨率图像数据，因此除了通过区域分割提高像质以外，还以 小量的存储器完成分辨率的提高。
此外，通过区域分割，在像素对像素的基础上结合帧内降质反变换法和多帧降质反 变换法可产生更鲜明的高分辨率图像。
修改
事实上本发明不限于上述的实施例，在实施阶段中可修改各个部件而不偏离本发明 的范围。
此外，需要时可以通过结合上述实施例中揭示的多种部件来使用本发明的各种模式。 例如，可从各实施例中揭示的所有部件中除去某些部件。另一方面，可以组合不同实施例 中的各种部件。
权利要求
1. 一种设备，其特征在于，包括像素值计算单元，用来根据具有“n”个像素的参考帧中各像素的像素值，通过插值处理计算由“m”(m>n)个像素组成的假定高分辨率图像的各像素的估计的像素值；分割单元，用来根据参考帧中各像素的像素值将参考帧的内部分割成边缘区域和其他区域，纹理区域和其他区域，或平坦区域和其他区域；位置计算单元，用来将参考帧中的各像素逐个按序设置作为目标像素，并根据包含目标像素的被分割区域的信息，以小数的像素精度计算各目标像素在假定图像上的对应位置；变换单元，用来修正各估计的像素值，使得目标像素的像素值和由目标像素的对应位置周围的像素的假定高分辨率图像的估计的像素值获得的目标像素的假定估计的像素值之间的差分变得更小，并获得修正的像素值；和输出单元，用来输出由具有修正的像素值的“m”个像素组成的图像。
2. 如权利要求l所述的设备，其特征在于，当包含目标像素的被分割区域是边缘区 域时，所述位置计算单元除了用参考帧中各像素的像素值外，还用时序上在参考帧前和后 的多个帧的像素的像素值计算所述对应位置。
3. 如权利要求l所述的设备，其特征在于，当包含目标像素的被分割区域是边缘区 域时，所述位置计算单元只由参考帧中各像素的像素值计算所述对应位置。
4. 如权利要求1所述的设备，其特征在于，当包含目标像素的被分割区域是纹理区 域时，所述位置计算单元只由参考帧中各像素的像素值计算所述对应位置。
5. 如权利要求1所述的设备，其特征在于，当包含目标像素的被分割区域是平坦区 域时，确定各估计的像素值作为修正的像素值。
6. —种方法，其特征在于，包括根据具有"n"个像素的参考帧中各像素的像素值，通过插值处理计算由m (m〉n) 个像素组成的假定图像的各像素的估计的像素值的步骤； 根据参考帧中各像素的像素值将参考帧的内部分割成边缘区域和其他区域，纹理区 域和其他区域，或平坦区域和其他区域的步骤；将参考帧中的各像素逐个按序设置作为目标像素，并根据包含目标像素的被分割区 域的信息，以小数的像素精度计算假定图像上对应于各目标像素的对应位置的步骤；修正各估计的像素值，使得目标像素的像素值和由目标像素的对应位置周围的假定 高分辨率图像的估计的像素值获得的目标像素的假定估计的像素值之间的差分变得更小， 并获得修正的像素值的步骤；和输出由具有修正的像素值的m个像素组成的图像的歩骤。
全文摘要
本发明提供的图像处理设备，根据参考帧中的像素值通过插值计算假定高分辨率图像的各像素的估算的像素值，根据各像素的像素值将参考帧的内部分割成边缘区域，纹理区域，或平坦区域及其他，根据包含目标像素的分割区域的信息，在参考帧中逐个按序设置各像素作为目标像素，并以小数的像素精度计算假定高分辨率图像上对应的位置，修正各估计的像素值，使得在目标像素的像素值与目标像素的像素值和由目标像素的对应位置周围的像素的假定高分辨率图像的估计的像素值获得的目标像素的假定估计的像素值之间的差分变得更小，并获得修正的像素值。
文档编号H04N1/387GK101388977SQ20081021235
公开日2009年3月18日 申请日期2008年9月9日 优先权日2007年9月13日
发明者井田孝, 松本信幸, 田口安则, 竹岛秀则, 金子敏充 申请人:株式会社东芝