图像处理装置及像素插值方法

专利名称：图像处理装置及像素插值方法
技术领域：
本发明涉及一种执行插值过程以便为图像中的具有缺失像素值或不正确像素值的像素插值得到像素值的装置、以及由该设备执行的像素插值方法。
背景技术：
使用光学単元扫描图像的扫描仪设备分类到使用接触式图像传感器(CIS)的设备和使用电荷耦合器件(CCD)的设备。因为文档需要紧密接触要扫描的表面，因此使用CIS的扫描仪设备不能扫描立体视觉的文档。但是，在近些年，使用CIS的设备被广泛应用，因为与使用CCD的设备相比其机身轻薄、成本低，并且減少在扫描图像中容易出现的噪声的技术方面也有所进步。例如，为了扫描文档的背面，CIS用于具有一次通过双面扫描功能的图像扫描仪中。
CIS使用RGB发光二极管(LED)作为光源，通过以高速度切换它们来向文档发射R、G和B彩色光，并通过透镜将来自文档的反射光输入给成像元件(CMOS图像传感器)。CMOS图像传感器逐像素地将来自文档的输入光转换为电压值并输出转换的电压值。使用CIS的扫描仪设备使用接触式图像传感器类型，其中，文档和使用滚筒的传感器紧密接触，此文档被逐行扫描。生产单个长CIS是困难的，因此，CIS的扫描单元通过排列多个沿它们的纵向方向排列的短传感器组成。但是，在这种结构下，因为在传感器之间形成一定间隙，在这个间隙中的图像信号不能获取。因此，图像信号中出现缺陷。在扫描仪设备中，图像信号可能变得有缺陷，或被扫描图像信号可能因为扫描图像信号的传感器的缺陷或由于光路中途障碍物的存在，例如灰尘存在于放置文档的接触玻璃上，而有不正确的值。因此，问题在于，有缺失像素值或不正确像素值的像素存在于扫描图像中，图像质量劣化。为了解决这ー问题，在相关技术中，有公知的方法从其周围的像素的像素值中估计有缺失或不正确像素值的目标像素的正确像素值，并插值(插入)出目标像素的估计的像素值代替缺失或不正确的像素值。例如，使用目标像素的周围像素的像素值执行线性插值的方法；和使用ニ阶或更高阶函数执行多项式插值或样条插值的方法是公知的。基于线性插值的插值方法对于在密度细小变化的图像部分的插值是理想的，但对于在密度剧烈变化的图像部分的插值，如半色调网点区域，不是理想的。当对诸如数字照片的图像间隙采样的采样周期充分短于图像图案的变化周期吋，基于多项式插值和样条插值的插值方法能以高准确度估计像素值。但是，在半色调网点图像的情况下，因为图像分辨率与半色调网点的行的数量相比不充分，因此，与图像的变化时段相比，采样时段是不充分的。因此，插值方法可能不能正确地重建原图案。因此，为了解决插值方法的问题，提出了ー种使用图案匹配的方法。在这个图案匹配方法中，期待不能被插值方法重建的高频率成分能使用在插值目标像素邻近的相似图案重建。
但是，总体上，由于图案匹配与插值方法相比使用了大范围的信息，因此，虽然获得了对基础图案的最佳方案，所获得的方案对于插值目标像素而言并不是最佳的。这个问题出现是因为当在图案匹配方法中捜索相似图案时，作为整体彼此稍微不同的图案不能被从大部分同样但部分彼此极大不同的图案中区分出来。特别地,像具有高网线数(high screen ruling)的半色调网点区域，当信息相对于特定像素离心分布时，选择相似图案的方法对插值结果起很大作用。此外，在有低密度的半色调网点区域中，由于属于图像背景区域的像素比例相对较大，因此相似的图案在背景区域中而不是半色调网点区域中被检测出来，或者，没有相似的图案可以被检测出。因此，当执行插值时，依据插值目标像素所属的区域的特征使用插值方法是必要的。为了准确估计插值目标像素的像素值，已提出了一种设备，其中，当插值目标像素的位置在半色调网点区域内时，从图像中捜索与包含插值目标像素的图案相似的图案，包含在最相似图案内并对应于插值目标像素的像素的像素值被确定为插值目标像素的像素值(见第4330164号日本专利)。这个设备基于图像扫描传感器扫描的图像数据来确定对应于接触式图像传感器的连接部分的插值目标像素的位置是在半色调网点区域内还是在非半色调网点区域内。当插值目标像素的位置在非半色调网点区域内时，插值目标像素的像素数据由线性插值方法生成，而生成的像素数据插入到插值目标像素中。另ー方面，当插值目标像素的位置在半色调网点区域内时，插值目标像素的像素数据由图案匹配方法生成，且生成的像素数据插入到插值目标像素。在这种情况下，ー个包含插值目标像素的基础块和多个与基础块相比有相同尺寸但不包含插值目标像素的參照块设置在邻近插值目标像素的位置的图像区域中。然后，基于基础块内像素数据和各个參照块内的像素数据来计算基础块和各个參照块之间的互相关值。在具有与基础块最闻互相关值的參照块内的像素数据中，对应于基础块内摘值目标像素的像素的像素数据被确定为插值目标像素的像素数据。在这个插值方法中，插值目标像素的像素值能够使用在插值目标像素周围相似的图案来确定。但是，因为用于图案匹配的模板的尺寸和在其中捜索相似图案的范围恒定而不考虑图像如何，因此，存在问题在于，对于有短周期的图案，诸如有高网线数的半色调网点，插值准确度降低。当有高网线数的半色调网点图像的模板被设置成有固定尺寸时，多个半色调网点包含在模板中。如果使用那个模板来捜索相似的图案，则与包含在模板中的多个半色调网点有高重合度的图案被选择。但是，这个方法并不总能获得包含插值目标像素的半色调网点的最佳結果。因此，得到了偏离最佳值的插值结果，并且图像质量可能下降。因此，需要一种设备和方法，其能够依据图像的特征动态地确定模板尺寸和捜索的范围来提取相似的图案，并能够关于诸如有高网线数的半色调网点的有短周期的图案以高准确度执行插值过程
发明内容

ー种图像处理装置包括周期性确定单元，配置用来确定包括像素值将被插值的目标像素的图像区域是否是像素值周期性变化的周期性区域；第一像素值生成単元，配置用来使用第一插值方法来生成像素的像素值；第二像素值生成単元，配置用来使用区别于第一插值方法的第二插值方法来生成像素的像素值；控制单元，配置用来基于由周期性确定单元得到的确定结果，来确定第一和第二像素值生成単元中的哪ー个用来生成目标像素的像素值；以及像素值插入単元，配置用来把由控制单元确定的第一和第二像素值生成单元之一生成的像素值插入到目标像素。周期性确定单元包括至少以下之一周期估计单元，配置用来使用包括目标像素的图像区域内的各个像素的像素值，来估计像素值的变化周期；及部分区域周期性确定单元，配置用来确定位于目标像素左侧和右侧的各个区域是否是周期性区域。第一和第二像素值生成単元的至少ー个使用由周期估计单元估计的像素值的变化周期和由部分区域周期性确定单元确定的确定结果中的至少ー个，生成目标像素的像素值。在图像处理装置中执行的像素插值方法，所述图像处理装置包括第一像素值生成単元，使用第一插值方法生成像素的像素值；以及第二像素值生成 単元，使用区别于第一插值方法的第二插值方法来生成像素的像素值。像素插值方法包括确定包含像素值将被插值的目标像素的图像区域是否是像素值周期性变化的周期性区域；基于在确定图像区域周期性过程中获得的确定结果，确定第一和第二像素值生成単元中的哪ー个用来生成目标像素的像素值；以及把在确定像素值生成单元过程中确定的第一和第二像素值生成単元之一生成的像素值插入到目标像素。确定周期性包括至少以下之一使用包括目标像素的图像区域内的各个像素的像素值估计像素值的变化周期；以及确定位于目标像素左侧和右侧的各个区域是否是周期性区域。像素插值方法包括使得第一和第二像素值生成単元中的至少ー个使用在估计过程中估计的像素值的变化周期和在确定每个区域周期性过程中确定的确定结果的至少ー个，生成目标像素的像素值。当结合附图考虑时，本发明的以上和其它目的、特征、优势和技术和エ业意义通过阅读以下对本发明的优选实施例的详细描述将会更好地理解。


图I是示出根据本发明的图像处理装置的硬件构造的例子的图；图2是示出该图像处理装置的第一实施例的功能性框图；图3是示出包含插值目标像素的图像的例子的图；图4A和4B是示出确定区域及确定区域水平方向上像素位置和其像素值之间的关系的例子的图；图5A至5C是示出周期性区域和非周期性区域的例子的图；图6A和6B是示出表示代表性周期和模板的图像的例子的图；图7A和7B是示出像素位置和其像素值之间的关系的例子的图；图8是示出由图2示出的图像处理装置执行的像素插值过程的流程的流程图；图9是示出图8示出的步骤S810中执行的过程的流程的流程图；图IOA至IOC是示出用于确定部分区域周期性的确定区域的图；图11是示出在图9中示出的步骤S910、S920和S925中执行的周期性确定的详细过程的流程图；图12是示出图8示出的步骤S810中执行的另ー过程的流程的流程图13是示出图8示出的步骤S825中执行的过程的流程的流程图；图14是示出图像处理装置的第二实施例的功能性框图；图15是示出图14示出的图像处理装置执行的像素插值过程的流程的流程图；图16是示出图像处理装置的第三实施例的功能性框图；图17是示出图16示出的图像处理装置执行的像素插值过程的流程的流程图；图18是示出图像处理装置的第四实施例的功能性框图；图19是示出图18示出的图像处理装置执行的像素插值过程的流程的流程图；图20是示出图像处理装置的第五实施例的功能性框图；以及
图21是示出图20示出的图像处理装置执行的像素插值过程的流程的流程图。
具体实施例方式本发明的图像处理装置直接由电缆或通过网络连接到扫描图像的扫描仪设备。该扫描仪设备假定为使用CIS的扫描仪设备。该扫描仪设备扫描的图像包含具有缺失像素值或不正确像素值的像素。因此，本发明的图像处理装置执行包括生成目标像素的像素值和把生成的像素值赋值给目标像素的插值过程，从而把生成的像素值插值到目标像素。当图像是一个像素由8比特表示的灰度图像时，像素值取O值为黑色，取255值为白色。当图像是关于红、绿、蓝的每种颜色均由8比特表示一个像素的彩色图像时，对于红、绿、蓝的每种颜色，像素值在范围O到255中取值。所有的像素值取O值为黑色，所有的像素值取255为白色。为了执行像素插值过程，图像处理装置被配置为包括存储设备，在该存储设备中，记录了执行该过程的程序，该存储设备诸如是PC、工作站、服务器、或多功能机(MFP)，图像处理装置还包括读取和执行程序的处理器、和连接至扫描仪设备和网络的接ロ。特别地，如图I所示，图像处理装置10例如可以包括微处理器単元(MPU) 11作为处理器。此外，图像处理装置10可以被配置为包括存储基本输入输出系统(BIOS)的作为非易失性存储器的只读存储器(ROM) 12和固件，来作为存储设备，图像处理装置10还包括随机存取存储器(RAM) 13，以提供保证MPU 11进行程序处理的执行和存储区域。MPU 11连接到存储控制接ロ 14，其为ー种通过内部总线的接ロ。MPU 11访问作为连接到存储控制接ロ 14的存储设备之ー的硬盘15，并且读取、执行、写入各种应用和数据。作为存储控制接ロ 14，依据诸如集成电路设备(IDE)、AT嵌入式接ロ(ΑΤΑ)、串行ATA或Ultra(超)ATA的标准来控制硬盘15的输入和输出的接ロ。MPU 11能控制串行或并行接ロ 16，诸如通用串行总线(USB)或通过内部总线的IEEE 1394，与诸如键盘、鼠标或打印机的输入和输出设备17通信，并接收来自用户的输入。图像处理装置10能够配置为包括视频RAM(VRAM) 19和图形芯片20，响应于来自MPU 11的指令来处理视频信号并在显示设备18上显示视频；网络Ι/F(接ロ)21，连接到网络以便通过该网络与其它设备通信。VRAM 19是用作存储设备的RAM，用于在显示设备18上显示视频，图形芯片20是处理图像数据的集成电路。图像处理装置10可配置为微处理器単元(MPU) 11读取存储在R0M12、硬盘15和诸如NVRAM或SD卡的其它存储设备(未示出)中的程序，并在RAM 13的存储器区域中扩展程序，从而实现之后描述的在适当的操作系统(OS)下的各个过程，由此，MPU 11配置为实现各个过程的各个单元。作为操作系统，可以使用Windows (注册商标)、UNIX (注册商标)、LINUX (注册商标)和类似操作系统。图像处理装置10不限于之上描述的个人计算(PC)等等，但可配置为特定用途集成电路(ASIC)，其中多个功能电路为了特定用途集成到一个电路中。图2是示出本发明图像处理装置第一实施例的功能框图。如上面所描述，图像处理装置10能够通过使作为过程的MPU 11读取并执行存储在诸如ROM 12或硬盘15的存储设备中的程序来实现各个功能。这就是说，图像处理装置10配置为包含周期性确定单元30、第一像素值生成単元31、第二像素值生成単元32、控制单元33、和像素值插入単元34。虽然在图2中未示出，图像处理装置10还可以包括指定(检测)插值目标像素的像素指定单元。在图像处理装置10中，首先，上述像素指定単元从处理目标图像中检测像素值将被插值(将要插入到)的插值目标像素。插值目标像素的位置可以预先由用户检测到，随后可以由装置检测。该位置能够表示为坐标(a，b)，该坐标(a，b)使用左下角的坐标作为基坐标(0，O)，其中“ a”是对应于主扫描方向的向右方向的像素数目，“b”是向上方向的像 素数目。作为当图像处理装置10检测插值目标像素时使用的检测方法，存在ー种通过检查每个像素的像素值从而确定该像素是否具有预先指定的亮度和顔色的检测插值目标像素的方法。此外，存在ー种通过评估与由扫描已知图像所获得的正确像素值之间的像素值差异来检测插值目标像素的方法。更进一歩地，存在一种检测在水平或垂直方向上像素值的周期性变得不连续的位置并将该位置上的像素检测为插值目标像素的方法。插值目标像素可以是孤立点，也可以是由连续点组成的线段。插值目标像素可以是线段的原因在于，间隙在子扫描方向即成像元件的移动方向上，可以形成为连续的，并且由连续点组成的线段形成。包含插值目标像素的图像的例子可以包括在半色调网点图像内出现垂直带的图像，其中，具有大致同样尺寸的黑色网点如图3所示那样大致有规律地排列。垂直带由点缺失的部分和点尺寸大于周围点的部分組成，以致于穿过图像的中心部分。这样的图像有周期性，因为点以一定间隔排列，但是周期性在垂直带部分变得不连续。因此，可以通过检测水平周期性变得不连续的位置来检测插值目标像素。周期性确定单元30指定预定尺寸的确定区域，以包括插值目标像素，并确定在确定区域内的像素值的变化是否有周期性。确定区域可以是具有与包括插值目标像素的ー个像素相对应高度的区域，即图像的一条线，或者，可以是具有包括插值目标像素的任选高度的矩形区域。确定区域的尺寸可由用户预先设置，并且可由设备动态指定。当尺寸由设备动态指定吋，以预先指定的尺寸执行插值过程一次。然后，如果插值过程能以较小的尺寸充分执行，则确定区域可减小一定比例。相反地，如果插值过程不能以较小尺寸执行，则确定区域可增大一定比例。在图4A和4B中示出了图像中的一条线被提取并用作确定区域的例子。在图4A中，代表黒色半色调网点的像素和代表白色背景的像素以一定的间隔排列，具有不同像素值的灰色像素排列在两者之间以便给出灰度(gradation)。在图4A中，示出了由于间隙而具有缺失像素值的像素40。图4B示出了确定区域水平方向上的像素位置与其像素值之间的关系的示例。由于每个像素值对于该像素是恒定的，由此像素的像素值具有离散值，但是当平滑地连接像素值时，像素值能够表示为其中像素值以恒定周期增大和减小的波形。因此，在这个确定区域中，可以检测像素值的变化周期性。具有周期性的确定区域的例子可以是图5A示出的半色调网点或阴影线表示的半色调网点区域。另ー方面，无周期性的确定区域的例子可以是图5B示出的由字符或者不规则排列的网点组成的不连续区域、图5C示出的诸如由一种颜色或者灰度表示的背景的平坦区域。 在半色调网点表示的半色调网点图像的例子中，由于网点实际上是以线性形式排列在任选的网线(screen)角度上，由此网点被倾斜地以一定间隔排列而不是在水平方向上以一定间隔排列。因此，虽然半色调网点图像没有与图4B示出的波幅相同的波形，但是由于半色调网点图像有位于一定间隔的不同波幅峰值的波形，由此能够确定半色调网点图像有周期性。虽然由如图3或图4A和4B的图所示出的，能够容易地确定周期性存在，但是实际上难以创建图并參照图做出決定。因此，例如，设置具有包含插值目标像素的预定尺寸的区域为确定区域，估计确定区域内的代表性周期，并且确定整个区域的周期性。此后，确定区域分成在插值目标像素左侧和右侧的部分区域，并且确定每个部分区域中的周期性。用这种方法，可以确定周期性。因此，周期性确定单元30可以包括用以估计代表性周期的周期估计单元30a、和用以确定每个部分区域中的周期性的部分区域周期性确定单元30b。如果代表性周期能由周期估计单元30a计算出，则可以确定周期性，也能使用代表性周期计算出模板和捜索区域的尺寸。因此，周期性确定单元30可仅仅包括周期估计单元30a。此外，如果部分区域周期性确定单元30b能确定各个左和右部分区域中的周期性，则可以确定确定区域中存在周期性。此外，通过计算来自各个部分区域的代表性周期，能够使用代表性周期计算出模板和捜索区域的尺寸。因此，周期性确定单元30可以仅包括部分区域周期性确定单元30b。根据上面所描述的，周期性确定单元30可配置为包括周期估计単元30a和部分区域周期性确定单元30b中的至少ー个。当确定整个区域中的周期性和各个部分区域中的周期性时，虽然可以计算各个确定区域中的像素值的变化周期，但是当确定整个区域的周期性时较早计算出的像素值的变化周期能用来确定各个部分区域中的周期性。在这些确定过程中，使用计算出的变化周期来计算出周期的置信度，并且确定置信度是否等于或大于阈值。在确定周期性时，可以首先确定整体区域的周期性，然后如前面描述的那样随后可以确定分割后的左侧和右侧区域中的周期性。但是，确定周期性的顺序不限于此，可以在确定左侧和右侧区域的周期性之后确定整体区域的周期性。作为代表性周期的计算例子，像素值达到确定区域内其局部最大值的位置(峰值位置)，即记录每个在图4B中示出的波形的正向方向上有峰值的像素的位置，从特定的峰值位置到下一个峰值位置的距离的直方图在整个确定区域上创建，然后，与作为有最大的频率的等级(class)的值的最大频率对应的距离用作代表性周期。代表性周期能够由像素数表示。在图4A和4B中示出的例子中，以大约6个像素的间隔出现峰值，相邻峰值之间的距离大部分是6个像素。因此，代表性周期设定为6个像素。可选地，从允许代表性周期中存在一定程度的误差的角度起见，可以使用“代表性周期±1”的距离。在这种情况下，使用像素值达到其局部最小值的位置计算代表性周期，S卩，每个在图4B示出的波形的负方向有峰值的像素位置，而不是使用像素值达到其局部最大值的位置。如果使用像素值变化的周期性来计算出代表性周期，则噪声阻抗低。相反，如果计算出像素值的自相关，并使用其变化的周期性，则噪声阻抗增加。因此，当使用像素值达到其局部最大值的位置和像素值达到其局部最小值的位置来计算代表性周期时，优选使用自相关。噪声阻抗增加的原因是因为在许多情况下噪声被叠加到像素值上，通过使用来自多组像素值的自相关而不是直接使用像素值，能将噪声的影响抑制得较低。自相关是在特定信号和相对于此特定信号有预定相移的信号之间的相关。在这种情况下，在确定区域内计算自相关，使用自相关值而不是像素值来创建直方图，大多数的频率值用作代表性周期。作为自相关值，可以使用相关系数，协方差可以用来使得计算更容易。
这里，协方差S是代表两个像素值协变幅度的指数，可由下面表达式⑴计算出，其中“Xi”是两个对比图案之一中的第i个像素的像素值，“y/’是在另一图案中第i个像素的像素值，“χπ ”是在一个图案中的像素值的平均值，“ym ”是在另ー图案中的像素值的平均值，“η”是在该图案中像素的个数。
I "s =-ym)相关系数R是代表两个随机变量之间相似度的指数，井能通过以下的表达式(2)计算，其中“ ο x”是ー个图案的标准差，“ ο y”是另ー图案的标准差。
ηρ JsI_
び八(2)置信度Cv例如能使用以下表达式(3)计算出。在表达式(3)中，“ Τ”是上面计算出的代表性周期，“F广是对应于在直方图中代表性周期T的距离的频率，“N”是在确定区域中像素的数目。作为“F广，为了在估计代表性周期和代表性周期T的频率时容错，可以使用Τ± I的频率的总和。表达式(3)将具有与代表性周期相同的峰值位置距离的像素相对于包含在整个确定区域中的像素的比例定义为置信度。当置信度高于阈值时，确定区域确定为有周期性。当置信度等于或小于阈值时，判定没有周期性存在于确定区域。阈值能被用户提前设置，或可选地，能动态地确定。当阈值被用户提前设置时，能通过执行模拟或测试并计算对于确定周期性存在而言理想的置信度的方式，来确定并设置阈值。当阈值被动态地确定时，相对于有周期性的半色调网点区域和没有周期性的不连续区域和平坦区域之一实际上计算的置信度的中间值能够确定为阈值。第一像素值生成単元31例如使用图案匹配方法作为插值方法来生成插值目标像素的像素值。作为图案匹配方法的具体例子，使用模板匹配。能够通过使用作为在图像内指定的部分图像的模板，并从图像中发现类似模板的位置来计算模板和图像内图案之间的置信度，来执行模板匹配。当执行模板匹配时，首先，确定模板的尺寸。基于以上面描述的方式计算出的代表性周期来设置模板的宽度。如上所述，尽管可以令模板的宽度与代表性周期的宽度相同，但宽度不限于此。宽度可以是在左侧和右侧每个都比与代表性周期的宽度相对应的像素数量略微多或者少ー个像素。与宽度类似，虽然模板的高度可以设置为与代表性周期的高度相同，但高度不限于此，可以略微大些或小些。虽然，在这个例子中，宽度和高度设置为在左侧和右侧的每个都大或小一个像素，但是宽度和高度可被设置为大或小两个像素或更多。当插值目标像素属于半色调网点区域时，模板优选设置为方形区域，其一边大约是代表性周期。这是因为当代表代表性周期的图像是如图6A中示出的宽度为14个像素、高度为I个像素的图像时，通过将模板设置为宽度为14个像素、高度为14个像素的正方形区域，可以表示图6B示出的ー个半色调网点。如上所述，通过将模板的尺寸设置为与ー个半色调网点相对应的区域，当捜索相似图案时，可以使用仅仅ー个半色调网点的信息来将相似图案优化到包含插值目标像素的半色调网点。此外，当代表性周期非常小，如3个像素时，例如，通过在该3个像素的左侧和右侧 的每个添加I个像素，可以将模板尺寸设置为略微大些，如5个像素。这是因为，当代表性周期非常小时，用于评价重合度的像素的个数变得很小，以致于检测相似图案的稳定性下降。第一像素值生成单元31基于在以上描述的方式中确定的模板的尺寸来创建模板。包括插值目标像素并具有该模板尺寸的区域从图像中切割出来设置为模板图像。在这种情况下，模板图像优选地切割并设置为关于插值目标像素水平和垂直対称的形状。通过以这种方法切割并设置模板，不用依赖于包括插值目标像素的图案的方向性，也可以搜索相似图案。在创建模板之后，当用模板搜索相似图案时，第一像素值生成単元31设置将被搜索的预定区域。能够基于代表性周期来设置要捜索的区域。例如，当代表代表性周期的图像是宽度为14个像素高度为I个像素的图像时，通过向代表性周期的左侧和右侧的每个添加14个像素，将要搜索的区域能够设置为宽度为42个像素并且高度与宽度ー样为42个像素的方形区域。如上所述，通过把将要捜索的区域设置为宽度和高度具有相同数量像素的区域，可不依赖于将要捜索的范围内图案的方向性而执行捜索。宽度为42个像素且高度为42个像素的上述区域仅仅是例子,但不限于此。作为代替，例如宽度为70个像素和高度也为70个像素的较大区域，也可被设置为将要搜索的区域。虽然将要捜索的区域不限于上述正方形区域，但是当由于图像缓冲存储器的限制等等而需要把该范围的高度抑制得较低时，优选相应地增加宽度。这是因为，当高度抑制得较低时，为提取相似图案而要捜索的目标数量下降，插值的准确度下降。此外，当周期性确定单元31确定位于插值目标像素左侧的区域是非周期性区域时，优选把位于插值目标像素左侧的区域排除出搜索区域。对于右侧也是一祥。通过以这种方式缩小将要搜索的区域，可以防止下述检测错误，即从不该从中提取相似图案的区域中提取相似图案。在以上述描述的方式设置将要捜索的区域之后，第一像素值生成単元31使用所创建的模板搜索在将要搜索的区域内出现的相似图案。特别地，计算与在将要搜索的区域内的各个位置处模板的重合度，具有最高重合度的位置选为相似图案。能够使用诸如绝对误差和(SAD)或平方差和(SSD)的不相似度、及诸如相关系数或协方差的相似度，来作为重人昨
ロノ又O通过切割将要与模板进行比较的图案，计算模板中的像素和每个位于相同像素位置的切割图案中的像素在亮度值上的差值，并计算差值的绝对值之和，求得SAD。当该和下降时，相似度増大，当该和增大时，不相似度増大。另ー方面，通过计算每个亮度值差值的平方，并计算平方值的和，得到SSD。当该和下降吋，相似度増大，当该和增大时，不相似度增大。相关系数和协方差能由上面的表达式(I)和(2)计算出。相关系数在范围“-I”到“I”之间取值，当值接近I时发生强的正相关，当值接近O时发生弱相关，当值接近-I时发生负相关。这意味着当值接近I时两个图案是相似的，当值接近-I吋，一个图案相似于另ー图案的相反版本。因此，能确定当值增大时，相似度高。因为协方差对应于相 关系数，因此能确定当值增大时，相似度高。当评估重合度时，优选把插值目标像素排除在用于计算重合度的像素之外，以便插值目标像素的像素值不影响重合度，或优选通过使用与插值目标像素相同位置的比较目标图案的像素的像素值，来设置虚拟像素值作为插值目标像素。可以依据重合度降序选择多个相似图案。此外，当在整个图像中有多个插值目标像素时，在计算重合度吋，优选从用于计算的像素及像素值当前被插入的插值目标像素中，排除其它插值目标像素，或者，通过使用在相同位置的比较目标图案的像素的像素值，优选设置虚拟像素值作为插值目标像素。这是因为，不仅其像素值当前被插入的插值目标像素，而且其它插值目标像素也被包含在基础图案或比较目标图案中，插值目标像素基本上有缺失像素值或有不正确像素值，不推荐在计算重合度时使用这样的插值目标像素。像素值已被插入的插值目标像素的像素值能用来计算重合度。此外，当其它插值目标像素包含在比较目标图案中吋，优选从用于计算的像素中排除它们，或优选通过使用在相同位置的基础图案的像素的像素值来设置虚拟像素值。在用这种方法捜索的最相似图案中，得到对应于模板中的插值目标像素的位置处的像素的像素值。当仅使用最相似的图案时，用这种方法得到的像素值能用作插值目标像素的像素值。此外，当使用以重合度降序顺序选择的多个图案时，从多个图案得到的像素值可合成获得插值目标像素的像素值。作为合成像素值的方法，可以是用固定权重平均像素值的方法、及通过控制权重来计算加权平均值从而在相似图案的重合度增大时施加大权重的方法。模板匹配包括一维模板匹配和ニ维模板匹配。在ニ维模板匹配中，在图像内邻近插值目标像素的任选区域，即，出现在插值目标像素左侧和右侧或上侧和下侧或斜线方向的区域被切割作为图案，图案和模板之间的重合度被计算用来搜索最相似的图案。已在上文描述的模板匹配是ニ维模板匹配。与之相比，在一维模板匹配中，图案从包含插值目标像素的一条线切出，并搜索最相似图案。第二像素值生成单元32使用与第一像素值生成单元31的插值方法不同的插值方法生成插值目标像素的像素值。可以使用插值方法作为不同的插值方法。插值方法包括最近邻(nearest-neighbor)插值(O阶插值)、线性插值(I阶插值)、抛物线插值(2阶插值)、立方插值(3阶插值)、多项式插值、样条插值、拉格朗日(Lagrange)插值等等。此外，还可以使用在ニ维扩展线性插值或立方插值的双线性插值、双立方插值及类似插值。同时，用于本说明书中的术语“插值方法”意欲包括诸如最近邻插值、线性插值、抛物线插值、立方插值、多项式插值、样条插值或拉格朗日插值的“插值方法”;包括如上所述的模板匹配的“图案匹配方法”;及任何其它类型的像素插值方法。当在一条线上有以A至F顺序排列的六个像素，且像素C的像素值缺失吋，示出该像素的位置和像素值之间关系的图在图7A中示出。像素C的实际像素值是由白色圆圈表示的值。在这种情况下，由于当像素位置移动ー个像素时，像素值增大一定值，因此像素的位置和像素值之间的关系可由线性函数表示。因此，将被插入的像素C的像素值能用获得的线性函数计算(线性插值)。此外，当该关系由如图7B所示的曲线表示时，能够通过选择对于该曲线最理想的插值方法来计算像素值。当该关系能由二次函数表示，可以选择抛物线插值。当该关系能由三次函数表示时，可以选择立方插值；当该关系能由多项式表达式表示时，可以选择多项式插值或拉格朗日插值；当该关系能由个别多项式表达式表示时，可以选择样条插值。在这个例子中，第一像素值生成単元31使用图案匹配方法，第二像素值生成単元 32使用插值方法。可替换地，第一像素值生成単元31可使用插值方法，第二像素值生成单元32可使用图案匹配方法。此外，像素值生成単元可使用相同的插值方法，或者也可对于ー个使用线性插值，对于另ー个使用样条插值。控制单元33接收处理目标图像，把该图像发送至周期性确定单元30，接收周期性确定单元30作出的确定結果，并基于确定结果确定第一像素值生成単元31和第二像素值生成単元32中的哪ー个用来生成像素值。例如，当周期性确定单元30确定该数据有周期性吋，控制单元33可采用使用图案匹配方法的第一像素值生成単元31，否则，控制単元33可采用使用插值方法的第二像素值生成単元32。此外，控制单元33发送图像数据到第一像素值生成単元31和第二像素值生成単元32中所确定的ー个，接收由确定的像素值生成単元生成的像素值，并发送图像数据、所设置像素的位置信息、和像素值到像素值插入単元34。像素值插入单元34把由控制单元33确定的使用第一像素值生成单元31或第二像素值生成单元32生成的像素值插入到预先设置的插值目标像素中。像素值插入单元34把由第一像素值生成単元31或第二像素值生成単元32生成的像素值插入到插值目标像素中。以此方式，完成了用于ー个插值目标像素的插值过程。当有多个插值目标像素时，以与插值目标像素的数目相对应的次数重复各自单元中的过程。这些各个单元执行各自的过程以生成插值目标像素的像素值及插值目标像素的像素值被插入的过程将參考图8所示的流程图描述。当这个过程起始于步骤S800时，首先，在步骤S805中，像素指定単元检测像素值将被插入的像素并设置该像素为插值目标像素。这种检测可以使用以上描述的方法执行。当有多个插值目标像素时，例如可基于像素排列的坐标位置的排列次序来顺序地选择ー个像素，所选择的像素可设置为插值目标像素。在步骤S810，周期性确定单元30指定包含插值目标像素的区域并确定在该区域内像素值的变化是否有周期性。该区域使用确定该区域的尺寸的方法和确定周期性的方法来指定，且周期性的存在被确定。随后，在步骤S815，确定用于插值目标像素的插值方法。在这个步骤中，控制单元34基于在步骤S815中的确定结果来确定第一像素值生成単元31和第二像素值生成単元32中的一个用于生成插值目标像素的像素值。如上所描述的，当周期性确定单元31确定存在周期性吋，选择图案匹配方法。当周期性确定单元31确定不存在周期性时，选择插值方法。在步骤S820中，确定第一像素值生成单元是否被使用。当在步骤S815中选择的插值方法是图案匹配方法时，确定使用图案匹配方法执行插值过程的第一像素值生成単元31将被使用。另ー方面，当是插值方法而不是图案匹配方法时，确定第一像素值生成単元31将不被使用。当在步骤S820中确定使用第一像素值生成単元31时，流程进行到步骤S825。在步骤S825中，通过使用由第一像素值生成単元31使用的插值方法来捜索相似图案，即，在这个例子中的图案匹配方法，基于如此搜索的相似图案来生成插值目标像素的像素值。另一方面，当在步骤S820中确定第一像素值生成単元31不被使用时，流程进行到S830。在步骤S830中，通过使用由第二像素值生成単元32使用的插值方法来生成插值目标像素的像素值，即，在这个例子中的插值方法。随后，在步骤S835中，在步骤S825或S830中生成的插值目标像素的像素值插入 到在步骤S805设置的插值目标像素中。由于插值目标像素没有像素值或者如果它有像素值则是不正确的值，因此通过将生成的像素值插入到插值目标像素中来将像素值赋予插值目标像素。然后，流程前进到步骤S840，确定是否所有的插值目标像素已完全被插值。当多个插值目标像素在步骤S805中被检测时，确定是否已用生成的像素值对所有的多个插值目标像素进行插值。当在步骤S840中确定所有的插值目标像素已完全被插值时，流程进行到步骤S845，这个过程结束。另ー方面，当确定并非所有插值目标像素的像素值完全被插值时，流程返回到步骤S805。在步骤S805中，执行指定下一个插值目标像素、生成像素值、及插入生成的像素值的过程。在步骤S810中，为了确定包含插值目标像素的区域中的周期性，执行如图9所示的过程。首先，确定周期性的步骤起始于步骤S900，在步骤S905中估计代表性周期。S卩，计算对于计算置信度所必需的、也对于确定模板尺寸及要捜索的区域所必需的代表性周期。此外，在步骤S910中，使用代表性周期确定整个确定区域的周期性。随后，在步骤S915中，确定区域分成在插值目标像素左侧和右侧的部分区域，并指定左侧和右侧区域。在步骤S920中，首先，计算插值目标像素左侧区域中的代表性周期，使用代表性周期确定周期性。随后，在步骤S925中，计算插值目标像素右侧区域的代表性周期，并使用代表性周期确定周期性。当这些确定过程结束时，步骤S930的周期性确定过程结束。在步骤S915到S925中，如图IOA所示，设置确定区域51使插值目标像素50位于中心，如图IOB所示，确定区域51分成在插值目标像素50左侧和右侧有部分区域。在插值目标像素50的左侧区域设置成确定左侧周期性的部分区域52，在插值目标像素50右侧的区域设置成确定右侧周期性的部分区域53。以此方式，可以确定部分区域52和53的周期性。只要适当地确定周期性的存在，则不需要把如图IOB所示的通过从确定区域51中排除插值目标像素50及其上面和下面的像素所得到的、处于插值目标像素50左侧和右侧的大型部分区域52和53设置为确定区域。而是，可以设置如图IOC所示的小型部分区域54和55。此外，部分区域不需要位于确定区域51内，但可设置为从确定区域51部分地突出。在图IOB中，虽然确定区域51设置为具有三个像素或更多预定宽度和高度的ニ维区域，但是确定区域51可设置为具有与插值目标像素50相同高度即ー个像素、且具有由预定数量像素组成的宽度的ー维区域。如上所述，通过确定插值目标像素左侧和右侧区域中的周期性及包括插值目标像素的整个确定区域中的周期性，可以确定包括插值目标像素的区域中 的周期性。即，如果整个区域具有周期性，则可以说包括插值目标像素的区域具有周期性，且包括插值目标像素的区域能确定为具有周期性的区域。在步骤S910、S920和S925执行的确定中，为了确定各自周期性的存在，执行图11所示的过程。首先，在步骤SllOO中，当执行各自的步骤(步骤S910，S920，和S925)时，该过程启动。在步骤S1105，以上文描述的方式计算峰值之间距离的最大频率，在峰值处确定区域内的像素值达到其局部最大值，并且最大频率被计算作为像素值的代表性周期。由于在步骤S910中计算整个确定区域的代表性周期，因此可以使用在该步骤计算的代表性周期，省略对其进行描述。随后，在步骤S1110，使用在上一步骤中计算的代表性周期，来计算置信度。置信度能用上面描述的表达式(3)计算。在步骤S1115，确定计算的置信度是否超过阈值，从而判断周期性的存在，这个过程在步骤S1120结束。当置信度超过该阈值时，确定周期性存在。当置信度等于或小于该阈值时，确定周期性不存在。在如图9所示的过程的流程中，在估计代表性周期后，确定整个确定区域中的周期性。随后，确定左侧部分区域中的周期性，接下来，确定在右侧部分区域中的周期性，由此确定包括插值目标像素的区域中的周期性。但是，该实施例不限于此。例如，在确定左侧和右侧部分区域的周期性之后，可以确定整个确定区域的周期性。可选地，当确定周期性存在于左侧和右侧部分区域吋，其周期可用作代表性周期，确定周期性存在于整个确定区域中。另ー方面，当确定周期性不存在于左侧和右侧部分区域时，确定周期性不存在于整个确定区域。应用于这种情况的过程将參考图12描述。这个过程起始于步骤S1200。在步骤S1205中，首先，确定左侧部分区域的周期性。这可以通过与图11所示的过程同样地执行使用表达式I到3的计算来执行，并判断置信度是否超过阈值。随后，在步骤S1210，用相同方法确定右侧部分区域的周期性。在这些确定过程结束后，在步骤S1215中确定周期性是否存在于左侧部分区域中。当周期性存在时，流程进行到步骤S1220，并确定周期性是否存在于右侧部分区域中。当周期性不存在时，流程进行到步骤S1225，并确定周期性是否存在于右侧部分区域中。这些确定过程能基于在步骤S1205和S1210中获得的确定结果来执行。当在步骤S1220中确定周期性存在于右侧部分区域中时，可期待周期性存在于整个确定区域中，然后，流程进行到步骤S1230。在步骤S1230中，确定并确认周期性是否存在于整个确定区域中。然后，流程进行至步骤S1235，且在这个例子中，在整个确定区域内获得的周期设置为代表性周期。另ー方面，当在步骤S1220中确定周期性不存在于右侧部分区域中时，流程进行至步骤S1240，在周期性存在被确定的左侧部分区域中得到的周期设置为代表性周期。
此外，当在步骤S1225中确定周期性存在于右侧部分区域而周期性不存在于左侧部分区域时，流程进行至步骤S1245，在这种情况下，在右侧部分区域中获得的周期设置为代表性周期。这样，当设置代表性周期时，流程进行至步骤S1250，确定周期性存在。S卩，这是代表性周期已在步骤S1235、S1240和S1245中设置的情況。另ー方面，当在步骤S1225中确定周期性不存在于左侧部分区域和右侧部分区域二者时，流程进行至步骤S1255，确定周期性不存在。当这些确定过程结束时，流程进行至步骤S1260，且这个过程结束。从上文所述，如果确定周期性存在于左侧和右侧部分区域的至少ー个中，则确定周期性存在。另ー方面，如果确定周期性在两个部分区域中不存在，则确定周期性不存在。这是因为，如果确定周期性存在于左侧和右侧部分区域中的至少ー个中，则极有可能周期性存在于包含插值目标像素的区域中。因此，当插值过程通过使用在确定周期性存在于确定区域时使用的插值方法来执行时，插值能以更高的准确度执行。
在图8所示的步骤S825中，当第一像素值生成単元31通过模板匹配而生成插值 目标像素的像素值时，第一像素值生成単元31执行如图13所示的过程。首先，在步骤S1300中，这个过程开始，在步骤S1305中确定模板的尺寸。可以參考如上面描述的代表性周期来确定该尺寸。随后，在步骤S1310中，基于如此确定的模板的尺寸，有该尺寸的包含插值目标像素的区域被切割出来并被设置为模板图像，从而创建作为基础图案的模板。随后，在步骤S1315中，使用该模板确定将要搜索以提取相似图案的区域。也能基于代表性周期来确定将要捜索的区域。在步骤S1320中，使用该模板搜索所确定的区域来指定有最高重合度的图案。在步骤S1325中，该图案与模板比较，获得与插值目标像素位置相对应的位置上的像素的像素值，作为将要插入到插值目标像素的像素值。当获得该像素值时，流程进行到步骤S1330，该过程结束。图14是示出图像处理装置第二实施例的功能性框图。在这个实施例中，图像处理装置包括周期性确定单元60、第一像素值生成単元61、第二像素值生成単元62、控制单元63和像素值插入単元64，这些和图2所示的第一实施例中的相同。另外，图像处理装置还包括边界确定单元65。周期性确定单元60包括与图2中示出的周期性确定单元30类似的周期估计单元和部分区域周期性确定单元中的至少ー个。因为由周期性确定单元60、第一像素值生成単元61、第二像素值生成単元62、控制単元63、像素值插入単元64所执行的过程和第一实施例的那些过程相同，此处不再提供对它们的描述。因此，将描述边界确定单元65。当周期性确定单元60确定包含插值目标像素的图像区域是存在周期性的区域(周期性区域)时，边界确定单元65确定插值目标像素是否实际属于周期性区域。插值目标像素存在于周期性区域内或非周期性区域内，插值目标像素的像素值能从相同区域内的插值目标像素附近存在的像素的像素值中估计出。这是因为包含插值目标像素的若干连续像素组成的图案与出现在其附近的图案相似，可以从出现在其附近的图案中估计出该图案。但是，当插值目标像素出现在周期性区域和非周期性区域之间的边界附近时，如果插值目标像素位于周期性区域内，而使用出现在其附近区域并位于非周期性区域中的图案，则难以适当地执行插值。因此，边界确定单元67确定插值目标像素实际属于的区域，以便可以使用位于周期性区域中的适当图案估计出像素值。作为其例子，參考区域在插值目标像素周围的位置设置，以便与插值目标像素的左侧和右侧隔开预定距离，个别地计算设置到插值目标像素左侧和右侧的參考区域的、作为图像特征之一的像素值的变化。当在左侧和右侧參考区域二者中的变化都等于或大于阈值时，能确定插值目标像素在周期性区域中。当变化小于该阈值时，能确定插值目标像素在非周期性区域中。例如，预定距离可以是3个像素。这是因为当半色调网点例如以6个像素间隔排列时，插值目标像素左侧和右侧上三个像素组成的模板用于随后描述的图案匹配。因此，參考区域设置在插值目标像素左侧和右侧上离开插值目标像素3个像素的位置，此位置是模板外侧最靠近的位置。參考区域设置在那些最靠近的位置的原因是因为相似于该模板的大多数图案存在于该模板的附近。距离不限于3个像素，但是如果能适当地作出确定，则可以使用任何距离。 參考区域例如可以是包括插值目标像素的高度为I个像素的区域，S卩，图像的一条线。或者，參考区域可以是类似于上文描述的确定区域并包含插值目标像素且具有任选高度的矩形区域。这个区域可由用户预先设置，也可类似于确定区域的情况而由设备动态地设置。參考区域不限于位于插值目标像素的左侧和右侧，但是一个或更多的区域例如可设置在插值目标像素的上侧和下侧、或上侧、下侧、左侧和右侧。变化量可由下边的表达式⑷计算出。在表达式⑷中，“Xi”是在參考区域中第i个像素的像素值，“ぐ是在參考区域中的像素的像素值的平均值，“η”是出现在參考区域中的像素的数量。该变化量可以由在參考区域中像素的最大亮度值和最小亮度值之间的差值取代，或者在彩色图像的情况下，代之以最大緑色分量值(G分量值)和最小G分量值之间的差值。
I ηび2=·^(χ, _Χ )2
η <=1(4)控制单元63基于边界确定单元65的确定结果和周期性确定单元60的周期性确定结果来确定插值方法，确定第一和第二像素值生成単元61和62中的哪个将被使用，并使得确定的像素值生成単元生成插入到插值目标像素的像素值。但是，这可以通过并行过程实现，使得插值目标像素的像素值由第一和第二像素值生成単元61和62预先生成，控制单元63从各个像素值中选择ー个。将參考图15所示的流程图来描述使用图14中所示的图像处理装置来校正插值目标像素的像素值的过程。当这个过程起始于步骤S1500吋，首先，在步骤S1505，像素指定单元检测像素值将被插入的像素，并设置该像素为插值目标像素。这个检测能使用以上描述的方法执行。当有多个插值目标像素时，例如可基于像素排列的坐标位置，以排列次序顺序地选择ー个像素，并且所选择的像素可设置为插值目标像素。在步骤S1510中，周期性确定单元60指定包含插值目标像素的区域，并确定区域内像素值的变化是否有周期性。使用确定区域尺寸的方法和确定周期性的方法，来指定确定区域，然后确定周期性的存在。随后，在步骤S1515中，确定插值目标像素实际出现在周期性区域还是非周期性区域中。随后，在步骤S1520中，确定用于插值的插值方法。在这个步骤中，控制单元63确定第一和第二像素值生成単元61和62使用的插值方法中的哪个将被用来基于在步骤S1510和S1515中的确定结果而生成插值目标像素的像素值。如上所描述，当周期性确定单元60确定周期性存在吋，确定图案匹配方法。当周期性确定单元60确定周期性不存在吋，确定插值方法将要使用。在步骤S1525中，确定第一像素值生成单元61是否被使用。当由步骤S1520确定的插值方法是图案匹配方法时，使用图案匹配方法执行插值过程的第一像素值生成単元61确定使用。当确定的插值方法是图案匹配方法之外的方法时，第一像素值生成単元61确定不被使用。当在步骤S1525中第一像素值生成単元61被确定使用时，流程进行至步骤S1530。在步骤S1530，通过由第一像素值生成単元61使用的图案匹配方法来捜索相似的图案，插值目标像素的像素值基于如此搜索的相似图案而生成。另ー方面，当确定在步骤S1525中 不使用第一像素值生成単元61时，流程进行至步骤S1535。在步骤S1535中，插值目标像素的像素值由第二像素值生成单元62使用的插值方法生成，即，在这个例子中的插值方法。随后，在步骤S1540，在步骤S1530或S1535生成的插值目标像素的像素值插入到在步骤S1505设置的插值目标像素中。因为插值目标像素没有像素值或如果有也是不正确的值，因此，通过把生成的像素值插入到插值目标像素，来把像素值赋予插值目标像素。然后，流程进行至步骤S1545，确定所有的插值目标像素是否已完全插值。当在步骤S1505中检测到多个插值目标像素吋，确定是否所有的多个插值目标像素已用生成的像素值插值。当在步骤S1545中确定所有的插值目标像素已完全插值时，流程进行至步骤S1550，并且这个过程结束。另ー方面，当确定并非所有的插值目标像素被完全插值时，流程返回至步骤S1505。在步骤S1505中，执行设置下一个插值目标像素、生成像素值和插入生成的像素值的过程。在步骤S1510和S1530中，可以执行与图9，11，12，13所示的过程相同的过程。图16是示出图像处理装置的第三实施例的功能性框图。在这个实施例中，图像处理装置包括周期性确定单元70、第一像素值生成単元71、第二像素值生成単元72、控制单元73和像素值插入単元74，这些和图2所示的第一实施例的相同。另外，图像处理装置还包括有效性核实单元75，配置为核实由第一像素值生成単元71或第二像素值生成単元72生成的插值目标像素的像素值的有效性。因此，控制単元73使得有效性核实单元75核实当使用第一像素值生成単元71时生成的像素值是否有效。当确定像素值不是有效的时，控制単元73使得第二像素值生成単元72生成插值目标像素的像素值。因为由周期性确定单元70、第一像素值生成単元71、第二像素值生成単元72、控制単元73和像素值插入単元74执行的过程和第一实施例的过程相同，这里将不再提供其描述。因此,将描述有效性核实单元75。有效性核实单元75核实，例如，由第一像素值生成单元71生成的像素值是否有效。可以使用当第一像素值生成単元71生成像素值时得到的相关信息来执行有效性核实。作为相关信息，当第一像素值生成単元71使用图案匹配方法作为插值方法时，可以使用模板和比较目标图案之间的不相似度或相似度。可以使用前面描述的SAD、SSD、相关系数、协方差等作为不相似度或相似度。有效性核实单元75能通过计算在作为当第一像素值生成単元71使用图案匹配方法作为第一插值方法来生成像素值时所使用的图像内的预定区域的最佳图案和包含插值目标像素的基础图案之间的不相似度或相似度，来确定有效性。然后，有效性核实单元75确定是否不相似度小于阈值或相似度等于或大于该阈值。当不相似度小于该阈值时，该像素值确定为有效，当相似度等于或大于该阈值时，该像素值确定为有效。因此，有效性核实单元75可以执行关于不相似度或相似度的阈值处理，不相似度小于该阈值或相似度等于或大于该阈值的情况可用作确定有效性的情況。与之前描述的阈值等类似，该阈值可由用户预先设置，也可由设备动态地确定。
与此协同，控制单元73使得有效性核实单元75核实当使用第一像素值生成单元71时生成的像素值是否有效。当像素值确定不是有效的时，控制単元73使得第二像素值生成単元72生成插值目标像素的像素值。但是，该实施例不限于此，其可以通过并行过程实现，从而插值目标像素的像素值由第一和第二像素值生成単元71和72预先生成，控制单元73基于有效性核实单元75的核实结果来从各个像素值中选择ー个。将參考如图17所示的流程图来描述使用如图16所示的图像处理装置来校正插值目标像素的像素值的过程。当这个过程起始于步骤S1700时，首先，在步骤S1705中，未在图16中示出的像素指定単元检测像素值将要插入的像素，并设置该像素为插值目标像素。这个检测能使用上文描述的方法执行。当有多个插值目标像素时，可以用以上描述的方法选择ー个像素。在步骤S1710，周期性确定单元70确定在包含插值目标像素的区域内的像素值的变化是否有周期性。使用确定区域尺寸的方法和确定周期性的方法来确定周期性。随后，在步骤S1715中，确定用于插值的插值方法。在这个步骤中，控制单元73基于在步骤S1710中的确定结果来确定由第一像素值生成単元71和第二像素值生成単元72使用的插值方法中的哪个用来生成插值目标像素的像素值。在步骤S1720中，基于确定的插值方法来确定是否使用第一像素值生成単元71。当在步骤S1720中第一像素值生成単元71确定使用时，流程进行至步骤S1725。在步骤S1725中，插值目标像素的像素值由第一像素值生成単元71使用的插值方法生成，即，在这个例子中的图案匹配方法。随后，在步骤S1730中，有效性核实单元75核实由第一像素值生成单元71生成的像素值的有效性，在步骤S1735中，确定像素值的有效性。使用当生成像素值时获得的相关信息，特别是不相似度或相似度，来确定有效性。即，确定是否不相似度小于阈值，或相似度等于或大于该阈值。当在步骤S1720中第一像素值生成単元71确定为不使用时，流程进行至步骤S1740。在步骤S1740中，插值目标像素的像素值由第二像素值生成单元72使用的插值方法生成，即，在这个例子中的插值方法。此外，当在步骤S1735中像素值确定不是有效的吋，流程进行至步骤S1740，插值目标像素的像素值由第二像素值生成単元72使用的插值方法生成。当在步骤S1735中确定像素值有效时，或在插值目标像素的像素值在步骤S1740中由第二像素值生成単元72生成之后，流程进行至步骤S1745，像素值插入到在步骤S1705中检测出的插值目标像素中。这样，生成的像素值设置为插值目标像素的像素值。然后，流程进行至步骤S1750，确定是否所有的插值目标像素已完全被插值。当在步骤S1705中设置多个插值目标像素时，确定所有的多个插值目标像素是否已用生成的像素值插值。当在步骤S1750中确定所有的插值目标像素已完全被插值时，流程进行至步骤S1755，这个过程结束。另ー方面，当确定并非所有的插值目标像素被完全插值时，流程返回至步骤S1705。在步骤S1705中，执行设置下一个插值目标像素、生成像素值及插入像素值的过程。图18是示出图像处理装置第四实施例的功能性框图。在这个实施例中，图像处理装置包括周期性确定单元80、第一像素值生成単元81、第二像素值生成単元82、控制单元83、像素值插入単元84和有效性核实单元85，这些和图16所示的第三实施例中的相同。另外，图像处理装置进ー步包括配置为使用不同于第一像素值生成単元81和第二像素值生成单元82使用的插值方法的方法来生成插值目标像素的像素值的第三像素值生成单元 86。因此，控制单元83使得有效性核实单元85核实当使用第一像素值生成单元81时生成的像素值是否有效。当确定像素值不是有效时，控制单元83使得第三像素值生成单元86生成插值目标像素的像素值，并使得有效性核实单元85核实该像素值。当确定这个像素值不是有效时，控制単元83使得第二像素值生成単元82生成插值目标像素的像素值。在第四实施例中，虽然仅仅添加了第三像素值生成単元86到图16所示的第三实施例的配置中，但是本发明不限于此。第四像素值生成単元、第五像素值生成単元等可进ー步添加，从而包括四个或者更多像素值生成単元。在这种情况下，控制单元83确定由各个像素值生成単元中的ー个生成的像素值的有效性，当确定像素值不是有效的时，控制単元83可以使得另ー像素值生成単元生成该像素值。由第四实施例中的周期性确定单元80、第一像素值生成単元81、第二像素值生成単元82、控制单元83、像素值插入単元84和有效性核实单元85执行的过程和第三实施例中的过程相同。此外，类似于使用不同插值方法的第一和第二像素值生成単元81和82，还配置了第三像素值生成単元86来生成插值目标像素的像素值。因此，这里将不再提供对其配置的描述。控制单元83使得有效性核实单元85核实当使用第一像素值生成单元81时生成的像素值是否有效。当确定该像素值不是有效时，控制单元83使得第三像素值生成单元86生成插值目标像素的像素值。然后，控制单元83使得有效性核实单元85核实生成的像素值是否有效。当确定该像素值不是有效时，控制单元83使得第二像素值生成单元82生成插值目标像素的像素值。但是，本实施例不限于此，其可通过并行过程实现，从而插值目标像素的像素值由全部第一、第二和第三像素值生成単元81、82和86预先生成，控制单元83基于有效性核实单元85的核实结果而选择各个像素值中的ー个。第三像素值生成単元86使用不同于第一和第二像素值生成単元81和82使用的插值方法的插值方法。例如，当第一像素值生成单元81使用ニ维模板匹配时，第二像素值生成単元82使用线性插值，第三像素值生成単元86可以使用除上述插值方法之外的ー维模板匹配、抛物线插值、立方插值、多项式插值、样条插值或等等。将參考图19所示的流程图来描述使用图18所示的图像处理装置来校正插值目标像素的像素值的过程。当这个过程起始于步骤S1900时，首先，在步骤S1905中，未在图18中示出的像素指定単元检测像素值将要插入的像素，并设置该像素为插值目标像素。这个检测能使用上面描述的方法执行。当有多个插值目标像素时，能用上面描述的方法选择ー个像素。在步骤S1910中，确定在包含插值目标像素的区域内的像素值的变化是否有周期性。使用确定该区域尺寸的方法和确定周期性的方法来确定周期性。随后，在步骤S1915中，用于插值的插值方法被确定。在这个步骤中，控制单元83基于在步骤S1910的确定结果来确定由第一、第二和第三像素值生成单元81、82和86使用的插值方法中的哪个用来生成插值目标像素的像素值。在步骤S1920中，基于确定的插值方法来确定第一像素值生成单元81是否被使用。当在步骤S1920中确定第一像素值生成単元81要使用时，流程进行至步骤S1925。在步骤S1925中，插值目标像素的像素值由第一像素值生成単元81使用的插值方法生成。随后，在步骤S1930中，有效性核实单元85核实由第一像素值生成単元81生成的像素值的有效性，在步骤S1935，确定像素值的有效性。使用当第一像素值生成単元81生成像素值时获得的相关信息来确定有效性。当 第一像素值生成単元81使用的插值方法是图案匹配方法时，模板和用于生成像素值的最佳图案之间的不相似度或相似度能用作相关信息。当不相似度小于阈值或相似度等于或大于该阈值时，该像素值确定为有效。在这种情况下，作为模板，可以使用排除了插值目标像素的模板，可以使用插入了生成的像素值的模板。此外，当在步骤S1935中确定该像素值不是有效时，流程进行至步骤S1940，插值目标像素的像素值由第三像素值生成単元86使用的插值方法生成。随后，在步骤S1945，有效性核实单元85核实由第三像素值生成单元86生成的像素值的有效性，在步骤S1950，确定像素值的有效性。当在步骤S1920中第一像素值生成单元81被确定不使用吋，或者在步骤S1950中确定像素值不是有效时，流程进行至步骤S1955。在步骤S1955中，插值目标像素的像素值由第二像素值生成単元82使用的插值方法生成。当在步骤S1935中确定像素值有效时，或在步骤S1950中确定像素值有效时，或在步骤S1955中像素值生成之后，流程进行至步骤S1960，像素值插入到在步骤S1905中检测的插值目标像素。然后，流程进行至步骤S1965，确定是否所有的插值目标像素已完全插值。当在步骤S1905中检测出多个插值目标像素时，确定所有多个插值目标像素是否已经用生成的像素值来插值。当在步骤S1965中确定所有的插值目标像素已完全插值时，流程进行至步骤S1970，这个过程结束。另ー方面，当确定并非所有的插值目标像素完全被插值时，流程返回至步骤S1905。在步骤S1905中，执行设置下一个插值目标像素、生成像素值及插入像素值的过程。图20是示出图像处理装置第五实施例的功能性框图。在第五实施例中，图像处理装置包括周期性确定单元90、第一像素值生成単元91、第二像素值生成単元92、控制单元93、像素值插入単元94、有效性核实单元95和第三像素值生成単元96，这些和图18所示的第四实施例的那些相同。另外，图像处理装置进ー步包括在第二实施例中使用的边界确定单元97。因此，控制单元93基于边界确定单元97的确定结果和周期性确定单元90的确定结果，在第一、第二和第三像素值生成単元91、92和96之间切換。
作为确定插值方法的方法的例子，当周期性存在于包含插值目标像素的区域中，且插值目标像素在周期性区域内时，使用第一像素值生成単元91。当周期性存在于包含插值目标像素的区域，且插值目标像素在非周期性区域内时，使用第二像素值生成単元92。当周期性不存在于包含插值目标像素的区域中时，使用第三像素值生成単元96。此外，当包含插值目标像素的区域中的周期短且 插值目标像素在周期性区域之内时，第一像素值生成単元91可使用。当包含插值目标像素的区域中的周期短且插值目标像素在非周期性区域内时，第二像素值生成単元92可使用。在其它的情况下，第三像素值生成単元96可使用。在这个实施例中，当使用第一像素值生成单元91时，有效性核实单元95核实由第一像素值生成単元91生成的像素值的有效性。当第一像素值生成単元91不使用时，确定第三像素值生成単元96是否使用。当使用第三像素值生成単元96时，第三像素值生成単元96生成插值目标像素的像素值，且有效性核实单元95核实生成的像素值的有效性。当第三像素值生成単元96不使用时，第二像素值生成単元92生成插值目标像素的像素值。但是，该实施例不限于此，其可通过并行过程实现，从而像素值预先由全部第一、第二和第三像素值生成単元91、92和96生成，且基于有效性核实单元95的核实结果而选择各个像素值中的ー个。将參考图21所示的流程图描述使用图20所示的图像处理装置来校正插值目标像素的像素值的过程。当这个过程起始于步骤S2100吋，首先，在步骤S2105，检测像素值将要插入到的像素，且该像素设置为插值目标像素。此检测能使用上面描述的方法执行。当有多个插值目标像素时，可以以上面描述的方式选择ー个像素。在步骤S2110，周期性确定单元90指定包含插值目标像素的区域并确定该区域内像素值的变化是否有周期性。使用确定该区域尺寸的方法和确定周期性的方法，来确定周期性。随后，在步骤S2115，边界确定单元97确定插值目标像素是否实际出现在周期性区域或非周期性区域中。在这个确定中，使用边界确定方法和确定參考区域尺寸的方法。通过计算左侧和右侧參考区域的每个中像素值的变化量，并且判断在左侧和右侧參考区域的每个中的所计算的变化量是否等于或大于阈值，来执行该确定。当两个变化量等于或大于阈值时，确定插值目标像素存在于周期性区域中。随后，在步骤S2120，确定用于插值的插值方法。在这个步骤中，控制单元93确定由第一、第二和第三像素值生成単元91、92和96使用的插值方法中的哪个将用于基于在步骤S2110和S2115中的确定结果来生成插值目标像素的像素值。随后，在步骤S2125中，基于确定的插值方法确定是否将使用第一像素值生成単元91。当在步骤S2125中确定使用第一像素值生成単元91吋，流程进行至步骤S2130。在步骤S2130中，通过第一像素值生成単元91使用的插值方法来生成插值目标像素的像素值。随后，在步骤S2135，有效性核实单元95核实由第一像素值生成单元91生成的像素值的有效性，在步骤S2140中，确定像素值的有效性。当在步骤S2125中确定不使用第一像素值生成単元91时，流程进行至步骤S2145，并确定第三像素值生成単元96是否使用。当确定使用第三像素值生成単元96时，在步骤S2140中确定该像素值不是有效，流程进行至步骤S2150，插值目标像素的像素值由第三像素值生成单元96使用的插值方法生成。随后，在步骤S2155，有效性核实单元95核实由第三像素值生成单元96生成的像素值的有效性。在步骤S2160，确定该像素值的有效性。当在步骤S2145中确定不使用第三像素值生成単元96时，流程进行至步骤S2165，插值目标像素的像素值由第二像素值生成単元92使用的插值方法生成。此外，当在步骤S2160中确定该像素值不是有效时，流程进行至步骤S2165，且插值目标像素的像素值由第ニ像素值生成単元92使用的插值方法生成。当在步骤S2140中确定该像素值有效，且在步骤S2160中确定该像素值有效时，在步骤S2165中生成该像素值之后，流程进行至步骤S2170，且该像素值插入到步骤S2105中设置的插值目标像素中。然后，流程进行至步骤S2175，确定所有的插值目标像素是否已完全插值。当在步骤S2105中检测到多个插值目标像素时，确定所有的多个插值目标像素是否已用生成的像素值插值。当在步骤S2175中确定所有的插值目标像素已完全被插值时，流程进行至步骤 S2180，这个过程结束。另ー方面，当确定并非所有的插值目标像素已经完全被插值时，流程返回至步骤S2105。在步骤S2105中，执行设置下一个插值目标像素、生成像素值及插入生成的像素值的过程。根据上面描述的至少ー实施例，周期估计单元从该像素值中估计周期性，或者部分区域周期性确定单元确定插值目标像素是否包含在周期性区域中。当基于这些结果中的至少ー个确定插值目标像素存在于该周期性区域中时，用于图案匹配的模板的尺寸根据图像的特征而被动态地设置，以限制用于搜索相似图案的信息。以此方式，对于包含插值目标像素的模板最佳的相似图案可被捜索并从图像中提取。结果，能得到插值目标像素的适当像素值。但是，存在如下情况，周期性存在于诸如一线图像的大图像区域中，但是不存在于插值目标像素附近的窄图像区域中。在这种情况下，可能由于确定标准而导致错误确定周期性。例如，错误的确定可能出现在半色调网点区域附近的非半色调网点区域中、或插入在两个半色调网点区域之间的非半色调网点区域中。当出现错误确定时，在半色调网点区域的外侧的平坦区域可被插值作为半色调网点区域，不正确像素值出现作为插值結果。因此，如上面所描述的，该设备进ー步包括边界确定单元，该边界确定单元配置为当确定该图像区域为周期性区域时，在插值目标像素附近设置至少ー个參考区域，并基于该至少ー个參考区域的图像特征，确定插值目标像素存在于周期性区域还是非周期性区域中。除了图像处理装置和由图像处理装置执行的图像检测方法，本发明能提供实现该方法的计算机可读程序。该程序可存储在诸如FD、CD、DVD、SD卡、USB存储器等的记录介质中，并被提供为其中记录有程序的记录介质。虽然已针对特定实施例对本发明作了完整清晰的公开，所附的权利要求并不因此受到限制，而应当理解为包含本领域技术人员能想到的充分落入其中阐述的基本教导中的所有变化和替换。因此，有效性核实单元可包含在第二实施例的结构中，边界确定单元可包含在第三实施例的结构中。即，图像处理装置可配置为包含周期性确定单元、边界确定单元、第一像素值生成単元、第二像素值生成単元、控制单元、像素值插入単元和有效性核实单元。此夕卜，边界确定单元可包含在第四实施例的配置中而取代有效性核实单元。即，图像处理装置可配置为包含周期性确定单元、边界确定单元、第一像素值生成単元、第二像素值生成单元、第三像素值生成単元、控制单元和像素值插入単元。相关申请的交叉引用
本申请要求2011年I月21日在日本提交的第2011-010762号日本专利申请的优先权，该申请的全部内容被引入作为參考。
权利要求
1.ー种图像处理装置，包括 周期性确定单元，配置为确定包括像素值将被插值的目标像素的图像区域是否是像素值周期性变化的周期性区域； 第一像素值生成単元，配置为使用第一插值方法生成像素的像素值； 第二像素值生成単元，配置为使用不同于第一插值方法的第二插值方法来生成像素的像素值； 控制单元，配置为基于由周期性确定单元获得的确定结果，来确定第一和第二像素值生成単元中的哪个要用来生成目标像素的像素值；以及 像素值插入単元，配置为向目标像素插入由控制单元确定的第一和第二像素值生成单元之一所生成的像素值， 其中，所述周期性确定单元包括以下至少ー个 周期估计单元，配置为使用包括目标像素的图像区域内的各个像素的像素值，来估计像素值的变化周期；以及 部分区域周期性确定单元，配置为确定位于目标像素左侧和右侧的每个区域是否是周期性区域，以及 其中，第一和第二像素值生成単元中的至少ー个使用由周期估计单元估计的像素值的变化周期和由部分区域周期性确定单元确定的确定结果中的至少ー个，来生成目标像素的像素值。
2.如权利要求I所述的图像处理装置， 其中，所述第一插值方法是图案匹配方法。
3.如权利要求2所述的图像处理装置， 其中，所述第一像素值生成単元基于由周期估计单元估计的像素值的变化周期，确定图案匹配方法中使用的模板的尺寸。
4.如权利要求2或3所述的图像处理装置， 其中，所述第一像素值生成単元基于由部分区域周期性确定单元确定的确定结果，来确定将被捜索的图像区域，以提取类似于图案匹配方法中使用的模板的图案。
5.如权利要求I至4中任意ー个所述的图像处理装置，还包括 边界确定单元，配置为当包括目标像素的图像区域由周期性确定单元确定为周期性区域时，设置目标像素附近的至少ー个区域为參考区域，以及基于该至少ー个參考区域的图像特征，来确定目标像素存在于周期性区域还是除周期性区域之外的非周期性区域中， 其中，所述控制単元基于由周期性确定单元和边界确定单元获得的确定结果，确定第一和第二像素值生成単元的哪个将用来生成目标像素值。
6.如权利要求I至5中任意ー个所述的图像处理装置，还包括 有效性核实单元，配置为核实目标像素的所生成像素值的插值结果的有效性， 其中，当有效性核实单元确定由第一像素值生成単元生成的目标像素的像素值的插值结果无效时，控制单元使第二像素值生成単元，而不是第一像素值生成単元，生成目标像素的像素值。
7.如权利要求6所述的图像处理装置， 其中，所述有效性核实单元通过确定在作为当第一像素值生成単元使用图案匹配方法作为第一插值方法而生成像素值时所使用的预定图像区域的第一图案和包括目标像素的基础图案之间的不相似度是否小于阈值，或通过确定在第一图案和基础图案之间的相似度是否等于或大于阈值，来确定插值结果的有效性。
8.如权利要求6或7所述的图像处理装置，还包括 第三像素值生成単元，配置为使用不同于第一和第二插值方法的第三插值方法，来生成目标像素的像素值， 其中，当有效性核实单元确定由第一像素值生成単元生成的目标像素的像素值的插值结果的有效性为无效时，控制単元使第三像素值生成単元，而不是第一像素值生成単元，生成目标像素的像素值。
9.如权利要求8所述的图像处理装置， 其中，当有效性核实单元确定由第三像素值生成単元生成的目标像素的像素值的插值结果无效时，控制単元使第二像素值生成単元，而不是第三像素值生成単元，生成目标像素的像素值。
10.如权利要求I至4中任意ー个所述的图像处理装置，还包括 边界确定单元，配置为当目标像素存在于周期性区域和除周期性区域之外的非周期性区域之间边界附近的位置时，确定目标像素属于周期性区域还是非周期性区域；以及 第三像素值生成単元，配置为使用不同于第一和第二插值方法的第三插值方法，来生成目标像素的像素值， 其中，控制单元基于由周期性确定单元和边界确定单元获得的确定结果，来确定第一、第二和第三像素值生成単元中的哪个将用来生成目标像素的像素值。
11.如权利要求8至10中任意ー个所述的图像处理装置， 其中，第一插值方法是ニ维模板匹配方法，第二插值方法是插值方法，第三插值方法是一维模板匹配方法。
12.—种在图像处理装置中执行的像素插值方法，该图像处理装置包括第一像素值生成単元，使用第一插值方法生成像素的像素值；以及第二像素值生成単元，使用不同于第ー插值方法的第二插值方法，来生成像素的像素值， 该像素插值方法包括 确定包含像素值将被插值的目标像素的图像区域是否是像素值周期性变化的周期性区域； 基于在确定图像区域周期性过程中得到的确定结果，确定第一和第二像素值生成単元中的哪个要用来生成目标像素的像素值；以及 向目标像素插入由在确定像素值生成单元过程中确定的第一和第二像素值生成単元中的ー个所生成的像素值， 其中，确定周期性包括以下中至少ー个 使用包括目标像素的图像区域内的各个像素的像素值，来估计像素值的变化周期；以及 确定位于目标像素左侧和右侧的每个区域是否是周期性区域，以及 其中，像素插值方法包括使第一和第二像素值生成単元中的至少ー个，使用在估计过程中估计的像素值的变化周期和在确定每个区域的周期性过程中确定的确定结果中的至少ー个，来产生目标像素的像素值。
13.如权利要求12所述的像素插值方法， 其中，所述第一插值方法是图案匹配方法。
14.如权利要求13所述的像素插值方法，还包括基于在估计过程中估计的像素值的变化周期，由第一像素值生成単元确定图案匹配方法中使用的模板的尺寸。
15.如权利要求13或14所述的像素插值方法，还包括基于在确定每个区域的周期性的过程中确定的确定結果，由第一像素值生成単元确定将要捜索的图像区域，以提取类似于图案匹配方法中使用的模板的图案。
全文摘要
一种图像处理装置，包括周期性确定单元，确定包括像素值将被插值的目标像素的图像区域是否是像素值周期性变化的周期性区域；第一像素值生成单元，使用第一插值方法生成像素的像素值；第二像素值生成单元，使用不同于第一插值方法的第二插值方法生成像素的像素值；控制单元，基于周期性确定单元得到的确定结果，确定第一和第二像素值生成单元的哪个用来生成目标像素的像素值；以及像素值插入单元，向目标像素插入由控制单元确定的第一和第二像素值生成单元的一个生成的像素值。
文档编号H04N1/00GK102694956SQ201210044979
公开日2012年9月26日 申请日期2012年1月21日 优先权日2011年1月21日
发明者中村聪史 申请人:株式会社理光