分辨率增强设备和方法

专利名称：分辨率增强设备和方法
技术领域：
本发明涉及分辨率增强设备和方法，其将由拍摄设备获取或由电视机接收到的图像数 据转换为具有更高分辨率的图像数据。
背景技术：
具有大量像素，B卩，高分辨率的电视机和显示器，是非常流行的。当显示图像时，电 视机或显示器将图像数据的像素数转换为面板的像素数。尤其，在增加像素数的分辨率增 强转换中，多帧劣化逆转换方法(multi-frame degradation inverse conversion)是获 得比线性内插法更清晰的图像的方法(例如，见JP-A 2000-188680 (K0KAI)(第3-7页， 图 22)， 禾口 S. Park 等"Super-Resolution Image Reconstruction: A technical Overview, " IEEE Signal Processing Magazine, USA， IEEE， 2003年5月，第21-36页)。
多帧退化逆转换方法注意到出现在基准帧中的对象也出现在另一帧中的事实，以像素 间隔以下的高精度检测对象的运动，这样通过计算其位置从对象的同一局部部分偏离微小 的多个样本值提高分辨率。
多帧退化逆转换方法将在下面更详细地说明。此方法顺序地将低分辨率帧的时间序列 转换为高分辨率的帧。例如，通过获取移动的汽车获得的运动图像的三个时序帧被用作低 分辨率图像，并且使用这三个帧中的一个帧作为基准帧而实现分辨率增强。例如，此帧的 分辨率在垂直方向上被增强至X2并且在水平方向上被增强至X2。相对于未知的高分辨率 图像的像素，低分辨率图像的像素，SP，已知的样本值是稀疏的。在此状态，可以估计高分辨率图像的像素值。然而，当已知的样本值数预先增加时，可以获得更精确的高分辨率 图像。为了此目的，多帧退化逆转换方法检测在基准帧之外的低分辨率图像的给定像素位 置出现的对象在基准帧的图像面中的位置，并且使用那个像素值作为在基准帧中的对应点 的样本值。
更具体地说，例如，从低分辨率图像提取包括作为中心的给定像素并且其一侧由多个 像素限定的正方形块，并且对于具有与此块同样的尺寸并包括与提取的块的像素值接近的 像素值的部分搜索基准帧。此搜索以子像素精度被进行(例如，见Shimizu和Okutomi， "Significance and Attributes of Sub-Pixel Estimation on Area-Based Matching", The transactions of the Institute of Electronics, Information and Communication Engineers, D-II, the Institute of Electronics, Information and Communication Engineers, 2002年12月，85巻，第12期，第1791-1800页)。找到的对应块的中心被 定义为对应点。用这样的方式，对应于另一帧的图像面的点A与对应于基准帧的图像面的 点B作为同一对象的同一位置相联系。此联系用具有作为起点的点A和作为终点的点B的 运动矢量表示。因为该搜索以子像素精度被执行，通常运动矢量的起点在像素位置上，而 终点在不存在像素的位置上。对于所有的低分辨率图像的像素计算这样的运动矢量，并且 对于其它的低分辨率图像类似地检测向具有每一个像素作为起点的基准帧的运动矢量。接 下来，起点的像素值被分配作为在各运动矢量的终点的样本值。最后，从非均匀地分配的 样本值计算均匀地分配的高分辨率图像的像素值。作为此方案，已知非均匀的内插法 (nonuniform interpolation) ， P0CS方法，等等(例如，见JP-A 2000-188680 (KOKAI) (第3-7页，图22)，禾口S. Park等"Super-Resolution Image Reconstruction: A technical Overview, " IEEE Signal Processing Magazine, USA， IEEE, 2003年5月，第21-36 页)。
如上所述，多帧退化逆转换方法可以在用拍摄设备获取的图像没有任何改变被输入的 时候可以产生清晰的高分辨率图像。然而，在由拍摄设备采样然后经过图像压縮，噪声去 除滤波，等如接收的电视图像的图像被输入的时候，因为像素值已经从样本值改变，因此 该方法不能产生足够清晰的图像
发明内容
按照本发明的一个方面，提供有分辨率增强设备，其包含获取单元，其被配置为从 图像源获取第一低分辨率图像，其中包括在所述第一低分辨率图像的图像面内的第一像素 的位置处的辉度值被表示为第一像素值；加强单元，其被配置为对所述第一低分辨率图像 进行边缘加强处理以获得第二低分辨率图像；低检测单元，其被配置为使用第一低分辨率 图像和第二低分辨率图像中的一个，以作为小于相邻像素之间的间隔的单位的子像素单位 的精度，检测每一个与最接近于包括在所述第一低分辨率图像中的关注图像区域内的像素 值图案的多个图像区域相对应的多个对应点，所述关注图像区域被设置为以所述第一像素 中的每一个作为关注的像素；设置单元，其被配置为当第二像素中的一个被作为关注的像
素时，将所述第二低分辨率图像的多个第二像素值中的每一个设置为各个对应点处的辉度 值的样本值，以获得多个样本值；扩大单元，其被配置为将所述第一低分辨率图像扩大为 包括比所述第一低分辨率图像更大数目的第三像素的高分辨率图像；以及转换单元，其被 配置为执行像素值转换，其中在减小在所述对应点采样的辉度值和所述样本值之间的误差 的方向上，在使用所述第三像素的所述高分辨率图像中加上或减去多个第三像素值。


图1是显示根据第一实施例的分辨率增强设备的方框图； 图2显示在低分辨率图像的图像面上像素的配置；
图3显示通过在垂直与水平方向两倍图2中的图像的分辨率获得的图像；
图4显示图2和3所示的像素之间的位置关系；
图5是显示高分辨率图像数据的傅里叶变换频谱图6是显示当由于图5中图像的低分辨率转换已经发生混叠时的频谱图； 图7是显示当高频成分在低分辨率图像中衰减时的频谱图8是显示当图1中的边缘加强单元加强低分辨率图像的高频成分时获得的频谱图9显示低分辨率图像的像素，关注的像素，模板块，和基准块；
图10显示代表基准块位置的矢量的实例；
图11显示基准块的搜索范围的实例；
图12显示基准块的搜索范围的实例；
图13显示基准块的搜索范围的实例；
图14显示基准块的搜索范围的实例；图15显示由图1所示的对应点检测单元检测的对应点的实例； 图16显示用于在垂直方向上检测轮廓的Sobel过滤器； 图17显示用于在水平方向上检测轮廓的Sobel过滤器；
图18显示高分辨率图像的像素和低分辨率图像的像素的对应点之间的位置关系；
图19显示对应点和用于在那个位置采样的范围的实例；
图20是显示图1所示的分辨率增强设备的操作的实例的流程图21是显示根据第二实施例的分辨率增强设备的方框图22是显示图21所示的分辨率增强设备的操作的实例的流程图23显示在处理以前作为高分辨率图像的原始图像；
图24显示通过用传统的分辨率增强方法将分辨率增强应用至图23所示的图像所获得 的图像；以及
图25显示通过用本实施例的分辨率增强方法将分辨率增强应用至图23所示的图像所 获得的图像。
具体实施例方式
以下将参考附图详细地说明如本发明的实施例所述的分辨率增强设备和方法。注意用 同样的参考标号表示的部分执行同样的操作，并且将在以下将要说明的实施例中避免其重 复的描述。
根据本实施例的分辨率增强设备和方法，即使当输入劣质图像时，也可以获得清晰的 高分辨率图像。
(第一实施例)
根据第一实施例的分辨率增强设备将参考图1描述如下。此实施例的分辨率增强设备 包括临时扩大单元102，边缘加强单元103，对应点检测单元104，和像素值转换单元106。 注意分辨率增强设备从图像源获得低分辨率图像数据101。在这种情况下，低分辨率图像 数据对应于分配在图像面上的各像素的辉度或色值(color vaule)，并且可以是运动图 像或者静止图像。例如，低分辨率图像数据包括通过接收电视广播数据获得的图像数据， 由摄像机获取的图像数据或照片数据等。在静止图像情况下，分辨率增强处理被用于诸如一个静止图像本身，渐近格式的运动图像的一个帧，或隔行扫描格式的运动图像的一个扫 描场的每个图像面或通过划分一个图像面获得的每个部分图像面。
临时扩大单元102获得低分辨率图像数据101，并且将通过由增加像素数扩大图像数 据101获得的临时扩大的图像数据105传递至像素值转换单元106。随后将参考图2至4 说明临时扩大单元102的细节。
边缘加强单元103获得低分辨率图像数据101，并且将其高频成分被加强的图像数据 107传递至像素值转换单元106。边缘加强单元103检测低分辨率图像的高频成分，并且 将更强的边缘加强应用至具有较少的高频成分的图像。后面将参考图5至8说明边缘加强 单元103的细节。
对应点检测单元104获得低分辨率图像数据101，对于每一个像素检测对应点的位置， 并且将对应点的位置信息108传递至像素值转换单元106。通常， 一个像素具有多个对应 点。注意对应点意思指具有给定像素作为中心的周围像素值图案与具有其对应点作为中心 的像素值图案相同的点(位置)。后面将参考图9至17说明对应点检测单元104的细节。
像素值转换单元106使用高频成分被加强的低分辨率图像数据107以及低分辨率图像 的每一个像素的位置信息108，顺序地转换临时扩大的图像数据105的各像素的像素值， 这样逐渐地清晰化图像。后面将参考图4， 18，和19说明像素值转换单元106的细节。
以下将参考图2至4说明临时扩大单元102。
临时扩大单元102使用例如三次巻积插值法(ternary convolution interpolation method)(参见Takagi禾口 Shimoda主编的"Handbook of Image Analysis" , University of Tokyo Press，第443页)，将低分辨率图像数据101转换为要求的输出分辨率。也就 是说，图像数据101通过增加像素数被扩大，并且作为临时扩大的图像数据105被发送至 像素值转换单元106。
图2显示在低分辨率图像的图像面201上像素202的配置。图3显示通过获取与图2 中的一样的图像所获得的图像并且具有在垂直与水平方向两倍的分辨率。通过获取与图2 的图像面201 —样的范围获得图像面301，并且像素302被分配在此图像面301中比图2 中的更稠密。图4显示低分辨率图像的像素(图2)和高分辨率图像的像素(图3)之间的相对的位置关系。临时扩大单元102接收低分辨率图像的像素(黑点)的像素值并且基 于接收的像素值计算高分辨率图像的像素(白点)的像素值。例如，对于高分辨率图像的 像素401，三次巻积插值法计算像素401周围的16个低分辨率像素值的加权平均作为像素 401的像素值。根据像素401和那些像素之间的距离判定加权平均的权重。类似地计算其 它像素的加权平均。注意此临时扩大的图像数据105还不是清晰的。
图1所示的边缘加强单元103将参考图5至8描述如下。
边缘加强单元103将例如反锐化的掩模(unsharp masking)应用至低分辨率图像数 据IOI以加强其高频成分。反锐化的掩模是通过计算输入图像和由模糊输入图像获得的图 像之间的差，并将该差加到原始图像来加强边缘部分的处理(见Takagi和Shimoda主编 的"Handbook of Image Analysis" ， University of Tokyo Press,第549页)。其高 频成分被加强的图像数据107被发送至像素值转换单元106。
下面将描述此边缘加强的效果。图5显示高分辨率图像数据的傅里叶变换频谱。纵轴 标绘空间频率，横轴标绘傅里叶变换系数的振幅。假定某一高频图像具有图5所示的频谱。 同样，将此图像縮小为低分辨率图像，即，减少像素数所需的尼奎斯特频率位于图5至8 中的虚线的位置。尼奎斯特频率是低分辨率图像可以表示的上限频率。
图6中的实线曲线显示縮小后的低分辨率图像的频谱。用这样的方式，如果原始的高 频图像包括高于尼奎斯特频率的频率成分，则在低分辨率图像中在尼奎斯特频率附近发生 混叠(见Suematsu禾口 Yamada， "Image Processing Engineering" ， Corona出版有限公 司，第60-65页)。即使当这样的低分辨率图像使用例如前面提到的三次巻积插值法经过 分辨率增强时，这些混叠成分保留，并且发生未在原始的高分辨率图像中看到的图像质量 劣化例如波纹或锯齿状。相反，通过使用退化逆转换应用分辨率增强，高于尼奎斯特频率 的频率成分基于混叠成分被重构，如此恢复图5所示的状态。
然而，由例如电视机接收的一些图像包括由高保真拍摄设备获取的图像，被缩小成标 准尺寸，并且在压縮之后被传输。这些图像的高频成分由于压縮而被衰减。或者如果混叠 成分在图像获取之后被立即观察到，即使由拍摄设备获取的图像的高频成分也经常被用于 除去噪音的平滑滤波器等等衰减。图7显示此状态。由虚线曲线指示的频谱的高频成分被衰减，如实线曲线所指示。即使当分辨率增强使用退化逆转换被用于这样的图像数据，高 频成分也不能被充分地重构，并且接近于原始图像的清晰图像不能被获得。相反，通过应 用边缘加强，即，通过加强低分辨率图像中的高频成分，高频成分被重构为接近它们被衰 减以前的状态，如图8中的实线曲线所指示，并且可以由后续处理获得清晰图像。
图1中的对应点检测单元104将参考图9至17描述如下。
获得对应点的方法将描述如下。图9中的黑点是低分辨率图像的像素，其被分配在图 像面上。这些点将在各位置的辉度值作为像素值。假定像素901被选为关注的像素，3X3 像素的模板块902被设置为具有关注的像素901作为中心以获得该关注的像素901的对应 点。设置将要与模板块比较的基准块903，并且计算模板块902和基准块903的像素值图 案之间的误差。
作为像素值图案之间的误差，使用所谓的绝对值误差或所谓的平方误差，绝对值误差 是通过计算像素在对应位置的像素值之间的差的绝对值，并且对于九个像素总计这些绝对 值而获得的，平方误差使用像素值之间的差的平方代替像素值之间的差的绝对值而获得 的。接下来，计算此模板块902和另一基准块904之间的误差。用这样的方式，当在图像 面中的预定范围内一个像素接一个像素地移动基准块的位置时计算误差，以搜索使误差最 小化的基准块的位置。
基准块的位置用例如从关注的像素到基准块的中心的相对矢量905表示。图10通过 将其水平和垂直分量标绘为水平坐标x和垂直坐标y来显示那个矢量。图10显示代表基 准块903的位置的矢量(-3， 2)作为一个例子。图11至14显示使用此矢量坐标空间的 基准块搜索范围的实例。在这些图的每一个中，黑点的位置表示搜索范围。在图11中， 基准块被顺序地设置在紧挨关注的像素(0， 0)上面的线上，以从此实例中的这七个基准 块中找到误差最小的基准块。然后，通过使用在最小误差位置的误差和在两个相邻位置的 误差应用抛物线拟合或等角拟合(例如，见Shimizu和Okutomi， "Significance and Attributes of Sub-Pixel Estimation on Area-Based Matching" ， The transactions of the Institute of Electronics, Information and Communication Engineers, D_II， the Institute of Electronics, Information and Communication Engineers, 2002年 12月，85巻，12期，第1791-1800页)，此线上对应点的位置在子像素单元中被计算。注意子像素单元意思指当像素被分配在假定作为二维平面上的水平和垂直坐标值的整数 位置时的十进制数的单元，即，小于相邻像素之间的间隔的单元。
同样地，使用由黑点指示的线作为图12中的搜索范围计算另一对应点。同样从图13 和14所示的搜索范围计算对应点。以这种方法，对于一个关注的像素设置四个对应点(见 图15)。在此实例中，各搜索范围由水平线限定。替代地，可以通过一个接一个地转移垂 直线切换搜索范围以找到对应点。特别是，关注的像素周围的对象的轮廓线的方向可以使 用图16和17所示的Sobel过滤器预先检测。如果过滤值和像素值的巻积的绝对值使用图 16的过滤器获得的绝对值大于使用图17的过滤器获得的绝对值，则判定轮廓线接近于垂 直方向，并且使用图11至14中的搜索范围计算对应点。如果使用图17的过滤器获得的 绝对值大于使用图16的过滤器获得的绝对值，则判定轮廓线接近于水平方向，并且使用 由垂直线限定的搜索范围计算对应点。因此，可以沿轮廓线设置多个对应点，并且可以获 得更高的清晰化效果。
下面将参考图4， 18，和19说明图1中的像素值转换单元106。 当像素值转换单元106顺序地转换临时扩大的图像数据105的像素的像素值以逐渐地 清晰化该图像时，它将在低分辨率图像中的位置被计算的对应点转换为在高分辨率图像中 的位置。如上所述，低分辨率图像和高分辨率图像的像素之间的位置关系如图4所示。图 18显示关注的像素作为低分辨率图像的一个像素及其四个对应点。通过在低分辨率图像的 像素的位置采样高分辨率图像获得的辉度值是低分辨率图像的各像素值。另外，利用本实 施例的分辨率增强方法，假定通过在各对应点的位置采样高分辨率图像获得的辉度值等于 关注的像素的像素值。
图19显示从图18提取的高分辨率图像的像素和一个对应点。作为高分辨率图像的像 素值，临时扩大的图像数据105的像素值被初始设置。使用此像素值，计算在对应点位置 的样本值z。使用叫做点扩展函数的预定函数采样，计算由例如虚线界定的高分辨率图像 的像素值的加权平均。根据从对应点到各像素的距离判定加权系数。接下来，计算样本值 z和关注的像素的像素值y之间的差。当设置那个对应点时使用此关注的像素。如果z和 y之间的差为零，则不进行任何处理就开始下一对应点的处理。如果z和y之间的差是除 了零之外的值，则由虚线界定的高分辨率图像的像素值被加上或减去以最小化该差。
例如，如果z-y假定为正值，则通过将那个差值乘以预定系数，并且从像素值中减去 将该乘积乘以用于采样的加权系数获得的值。或者如果z-y假定为负值，类似计算的值被 增加给像素值。如果对于所有的关注像素的每一个执行此加法或者减法的处理被叫做图像 变换，则此图像变换被递归地执行若干次。以这种方法，清晰度差并最初经历混叠的临时 扩大的图像被逐渐地清晰化，并且混叠成分被减縮少。已经经过若干次图像变换的高分辨 率图像作为输出高分辨率图像数据109被输出。
此实施例的分辨率增强设备的操作实例将参考图20描述如下。
临时扩大单元102用三次巻积插值法，双三次插值法，双线性插值法，最近邻插值法 等任何一种方法将输入的低分辨率图像转换为临时扩大的图像(步骤S2001)。
对应点检测单元104对于来自单个低分辨率图像的图像面的每一个像素检测对应点 (步骤S2002)。
边缘加强单元103使用反锐化的掩模等执行低分辨率图像的边缘加强处理(步骤 S2003)。
像素值转换单元106对于在步骤S2001中产生的高分辨率图像使用边缘加强的低分辨 率图像的像素值以及对应点的位置信息重复图像转换，以清晰化高分辨率图像，并输出结 果(步骤S2004)。
根据如上所述的第一实施例，使用高频成分被加强的低分辨率图像数据，以及低分辨 率图像的各像素的对应点位置顺序地转换临时扩大的图像的各像素的像素值，以逐渐地清 晰化该图像。因此，即使当在采样之后质量进一步劣化的图像被输入，也可以获得清晰的 高分辨率图像。
(第二实施例)
此实施例与第一实施例不同之处在于对应点检测单元接收高频成分被加强的图像数 据。其它各点与第一实施例中的相同。
此实施例的分辨率增强设备将参考图21描述如下。边缘加强单元2101获得低分辨率图像数据101，并将高频成分通过加强图像数据101 的边缘部分加强的图像数据107传递至对应点检测单元2102以及像素值转换单元2103。 边缘加强单元2101和103除它们输入不同的数据以外具有同样的处理内容。
对应点检测单元2102对于高频成分被加强的图像数据107的各像素检测对应点的位 置，并且将对应点的位置传递至像素值转换单元2103。对应点检测单元2102和104除它 们输入不同的数据以外具有同样的处理内容。
像素值转换单元2103和106除它们从对应点检测单元输入不同的数据以外具有同样 的处理内容。
图21所示的分辨率增强设备的操作实例将参考图22描述如下。 在步骤S2001之后，边缘加强单元2101用反锐化的掩模等等执行低分辨率图像的边 缘加强处理(步骤S2201)。
对应点检测单元2102对于来自已经经过边缘加强处理的低分辨率图像的图像面的各 个像素检测对应点(步骤S2202)。
像素值转换单元2103对于在步骤S2001中产生的高分辨率图像使用边缘加强的低分 辨率图像的像素值以及对应点的位置信息重复图像变换，以清晰化高分辨率图像，并输出 结果(步骤S2203)。
根据如上所述的第二实施例，因为像素值转换单元2103使用高频成分被加强的低分 辨率图像，因此即使当输入图像的高频成分被衰减时，也可以获得清晰图像。 (比较例)
原始图像，作为先有技术用三重巻积内插法产生的图像，以及根据此实施例的图像将 被比较。图23， 24，和25分别显示原始图像，用三重巻积内插法产生的图像，以及根据 此实施例的图像。
通过暂时縮小原始图像为低分辨率图像，然后用三重巻积内插法扩大那个作为输入的 低分辨率图像至原始分辨率，而获得用三重巻积内插法产生的图像。在垂直方向上边缘模 糊并产生细的线(混叠)。相反，从图25可以看出，根据此实施例的图像比用三重巻积内插法产生的图像更清
晰，并接近于原始图像。
如果边缘加强太弱，则清晰化效果小，而如果它太强，则混叠保留在输出图像中，这 样使图像质量恶化。因此，低分辨率图像的频率成分被计算，更强的边缘加强以减少的高 频成分被应用，并且，较弱的边缘加强以增加的高频成分被应用，这样获得高图像质量。 例如，反锐化的掩模可以通过增加输入图像和模糊图像之间的差的增加量的比率加强边缘 加强，并且可以通过减少该比率减弱它。
如果混叠量在图像面的垂直与水平方向是不同的，则边缘加强的强度最好在垂直与水 平方向被切换。例如，电视视频图片的视场像对于各线被分成顶和底场，并且许多混叠成 分在垂直方向出现。因此，最好在垂直方向上应用弱于水平方向的边缘加强，或者在垂直 方向上的边缘加强最好被跳过。
[0039〗
在不包括轮廓线的平坦部分中，因为没有高频成分，如果临时扩大的图像的像素值被 原封不动地使用，则图像质量是足够高的。因此，使用图16或17所示的Sobel过滤器等 从低分辨率图像检测轮廓线，并且对于其输出小于预定值的像素跳过对应点检测。用这样 的方式，对应点的总数被减少，并且像素值的加上或减去被相应地跳过，因而减少总的处 理量。
本领域技术人员将容易地想起附加的优点和变化。因此，本发明以其更宽的方式不局 限于在本文中显示和说明的细节和代表性的实施例。相应地，在没有背离如所附的权利要 求及其等价物所限定的总的发明构思的精祌或范围的情况下可以作出各种变化。
权利要求
1. 一种分辨率增强设备，其特征在于，包含获取单元，其被配置为从图像源获取第一低分辨率图像，其中包括在所述第一低分辨率图像的图像面内的第一像素的位置处的辉度值被表示为第一像素值；加强单元，其被配置为对所述第一低分辨率图像进行边缘加强处理以获得第二低分辨率图像；低检测单元，其被配置为使用所述第一低分辨率图像和所述第二低分辨率图像中的一个，以作为小于相邻像素之间的间隔的单位的子像素单位的精度，检测每一个与最接近于包括在所述第一低分辨率图像中的关注图像区域内的像素值图案的多个图像区域相对应的多个对应点，所述关注图像区域被设置为以所述第一像素中的每一个作为关注的像素；设置单元，其被配置为当第二像素中的一个被作为关注的像素时，将所述第二低分辨率图像的多个第二像素值中的每一个设置为各个对应点处的辉度值的样本值，以获得多个样本值；扩大单元，其被配置为将所述第一低分辨率图像扩大为包括比所述第一低分辨率图像更大数目的第三像素的高分辨率图像；以及转换单元，其被配置为执行像素值转换，其中在减小在所述对应点采样的辉度值和所述样本值之间的误差的方向上，在使用所述第三像素的所述高分辨率图像中加上或减去多个第三像素值。
2. 如权利要求1所述的设备，其特征在于，进一步地包含高检测单元，其被配置为 检测所述第一低分辨率图像的高频成分，其中所述加强单元在所述第一低分辨率图像的高频成分被减少时增强边缘加强。
3. 如权利要求2所述的设备，其特征在于，所述加强单元改变所述边缘加强在所述 图像面的垂直方向和水平方向上的强度。
4. 如权利要求2所述的设备，其特征在于，进一步包含轮廓检测单元，其被配置为 检测所述第一低分辨率图像中的对象的轮廓线，其中所述转换单元在所述轮廓线周围加上或减去所述第三像素值。
5. 如权利要求1所述的设备，其特征在于，所述加强单元改变所述边缘加强在所述 图像面的垂直方向和水平方向上的强度。
6. 如权利要求5所述的设备，其特征在于，进一步包含轮廓检测单元，其被配置为 检测所述第一低分辨率图像中的对象的轮廓线，其中所述转换单元在所述轮廓线周围加上或减去所述第三像素值。
7. 如权利要求1所述的设备，其特征在于，进一步包含轮廓检测单元，其被配置为 检测所述第一低分辨率图像中的对象的轮廓线，其中所述转换单元在所述轮廓线周围加上或减去所述第三像素值。
8. —种分辨率增强方法，其特征在于，包含-从图像源获取第一低分辨率图像，其中包括在所述第一低分辨率图像的图像面内的第 一像素的位置处的辉度值被表示为第一像素值；对所述第一低分辨率图像进行边缘加强处理以获得第二低分辨率图像；使用所述第一低分辨率图像和所述第二低分辨率图像中的一个，以作为小于相邻像素 之间的间隔的单位的子像素单位的精度，检测每一个与最接近于包括在所述第一低分辨率 图像中的关注图像区域内的像素值图案的多个图像区域相对应的多个对应点，所述关注图 像区域被设置为以所述第一像素中的每一个作为关注的像素；当第二像素中的一个被作为关注的像素时，将所述第二低分辨率图像的多个第二像素 值中的每一个设置为各个对应点处的辉度值的样本值，以获得多个样本值；将所述第一低分辨率图像扩大为包括比所述第一低分辨率图像更大数目的第三像素 的高分辨率图像；以及执行像素值转换，其中在减小在所述对应点采样的辉度值和所述样本值之间的误差的 方向上，在使用所述第三像素的所述高分辨率图像中加上或减去多个第三像素值。
9. 如权利要求8所述的方法，其特征在于，进一步包含检测所述第一低分辨率图像 的高频成分，其中进行所述边缘加强处理的步骤在所述第一低分辨率图像的高频成分被减少时增 强边缘加强。
10. 如权利要求9所述的方法，其特征在于，进行所述边缘加强处理的步骤改变所述 边缘加强在所述图像面的垂直方向和水平方向上的强度。
11. 如权利要求9所述的方法，其特征在于，进一步包含检测所述第一低分辨率图像 中的对象的轮廓线，其中执行所述像素值转换的步骤在所述轮廓线周围加上或减去所述第三像素值。
12. 如权利要求8所述的方法，其特征在于，进行所述边缘加强处理的步骤改变所述边缘加强在所述图像面的垂直方向和水平方向上的强度。
13. 如权利要求12所述的方法，其特征在于，进一步包含检测所述第一低分辨率图 像中的对象的轮廓线，其中执行所述像素值转换的步骤在所述轮廓线周围加上或减去所述第三像素值。
14. 如权利要求8所述的方法，其特征在于，进一步包含检测所述第一低分辨率图像 中的对象的轮廓线，其中执行所述像素值转换的步骤在所述轮廓线周围加上或减去所述第三像素值。
全文摘要
一种分辨率增强设备包括获取第一图像的单元；对所述第一图像进行边缘加强以获得第二图像的单元；使用所述第一图像和所述第二图像中的一个，以作为小于相邻像素之间的间隔的单位的子像素单位的精度，检测对应于图像区域的点的单元；当所述第二像素中的一个被作为关注的像素时，将所述第二图像的第二值的每一个设置为在各点的辉度值的样本值的单元；将所述第一图像扩大为包括比所述第一图像更大数目的第三像素的高分辨率图像的单元；以及在减小在所述点采样的辉度值和所述样本值之间的误差的方向上加上或减去所述高分辨率图像中的第三值执行值转换的单元。
文档编号G06T5/50GK101295399SQ20081009603
公开日2008年10月29日 申请日期2008年4月24日 优先权日2007年4月26日
发明者井田孝, 松本信幸 申请人:株式会社东芝