图像插补方法、图像插补装置以及程序的制作方法

专利名称：图像插补方法、图像插补装置以及程序的制作方法
技术领域：
本发明涉及图像插补方法、图像插补装置以及程序。
背景技术：
在将图像在纵向上放大的情况下或者在从隔行扫描图像转换为渐进图 像的情况下，需要设定如式(1)所示那样的在垂直方向上交替地具有有
像素值的行和没有像素值的行的图像Fin，并基于有像素值的行的信息来 插补Null。其中，Fin (x， y)是坐标(x， y)处的Fin的值。 (数学式l)
作为以往的插补方法之一，有边缘自适应型插补方法(非专利文献 1、专利文献l)。边缘自适应型插补方法是在以插补对象像素(x， y)为 中心而成点对称的上下行像素对中选择类似度最高的组合来用于插补的方 法，并且是会非常好地再现斜线的方法。
使用图20来说明以往的边缘自适应型插补方法。图20是表示使用了 以往的边缘自适应型插补方法的图像放大装置的结构的框图。使用了图20 所示的边缘自适应型插补方法的图像放大装置包括最适利用像素搜索单元 11和插补单元12，该图像放大装置将图像Fin和搜索范围作为输入并输出 插补图像。
最适利用像素搜索单元11将图像Fin和搜索范围作为输入，对于各插 补对象像素，从在搜索范围内(一小 40以插补对象像素为中心而成点对称的上下行像素对中选择出类似度最高的对，并输出表示插补对象像素 与被选择的对之间的位置关系的最适利用像素信息。图17是表示最适利 用像素搜索单元11中的处理的概要情况的说明图。在图17的说明图中，
作为搜索范围的一个例子而使用小=2的情况。首先，从通过对插补对象
像素的上下行指定的搜索范围限定的区域中选择以插补对象像素为中心而
成点对称的(2 4+1)个像素对。图中的p是表示插补对象像素与像素对
的位置关系的值。从这些像素对中，将类似度最高的像素对作为最适利用
像素，并且作为最适利用像素信息k，输出所选择的像素对的p的值。在
类似度高的对的选择中，有选择使式(2)的评价函数C1 (p)最小的像素
对的方法、以及使式(3)的评价函数C2 (p)最小的像素对的方法。另
外，在专利文献2中，根据式(2)和式(3)等多个评价函数来综合地判
断类似度。
(数学式2)
C7(p) = |Fz'"(;c + ;jj-1)-i^'w(xu + l)1 …式(2)
(数学式3)
i 、 C20)= Zli^'M(x+y — l) — F/"(;c — ; 1)| …式(3)
插补单元12将图像Fin和最适利用像素信息作为输入并输出插补图 像。坐标(x， y)的插补对象像素(x， y)的输出像素值FI (x， t)使用 该插补对象像素的最适利用像素信息k (x， y)并根据式(4)来计算。 (数学式4)
专利文献l:日本专利文献特开平4 — 355581号公报；
专利文献2:日本专利文献特开2005—293361号公报； 非专禾ll文献l: "Deinterlacing-an overview" ， DeHaan， G.，
Bellers， E.B， Proceedings of the IEEE， Volume 86， Issue 9， Sept.1998
Page (s) : 1839—1857。
1
发明内容
发明所要解决的问题
在以往的方法中，使用预先设定了的搜索范围来进行边缘自适应型插 补，但是由于难以设定适当的搜索范围，因此存在着图像质量劣化的问 题。
图18和图19是关于以往的方法的问题的说明图。在输入了如图18那
样的图像的情况下，如果作为小=2而执行边缘自适应型插补，则进行插 补的结果是边缘会模糊，如果作为4>=3而执行边缘自适应型插补，则进 行插补的结果是再现出清晰的边缘。因此，在如图18那样的输入图像的 情况下，优选的是作为》=3来执行边缘自适应型插补。但是，在输入了 如图19那样的图像的情况下，如果作为》=3来执行边缘自适应型插补， 则最适利用像素会是白色像素，进行插补的结果是黑色区域被分割，但是 如果作为4>=2来执行边缘自适应型插补，则黑色区域不会被分割，因此 优选的是作为小=2来执行边缘自适应型插补。
这样，在以往的方法中，如果设定使一个方面的图像质量提高的适当 的搜索范围，则其他方面的图像质量会劣化，因此难以设定适当的搜索范 围。因此，在现有技术中，无法提供可生成高图像质量的插补图像的图像 插补装置。
因此，本发明是鉴于上述问题而完成的，其目的在于提供一种可生成 高图像质量的插补图像的图像插补方法、图像插补装置以及程序。 用于解决问题的手段
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补 方法的特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插 补的图像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另 一个图像行的亮度变化中仅存在一个的所述两个图像行的区域；对于所述 区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像素的组中选择类似度最高的组；使用所选择的组的像素值来决定所述进行
插补的像素的像素值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题，
其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，计算 出两个图像行的亮度变化在同一方向上增大或减小的区域；最适利用像素 搜索步骤，在以区域内的插补对象像素为中心而成点对称的图像行的像素 的组中，选择类似度最高的组；以及插补步骤，使用所选择的类似度最高 的组来决定插补值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，使用 与通过相邻接的插补行的像素计算出的区域相关的信息，计算出两个图像 行的亮度变化在同一方向上增大或减小的区域；最适利用像素搜索步骤， 在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选 择类似度最高的组；以及插补步骤，使用所选择的类似度最高的组来决定 插补值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，计算 出满足两个图像行的亮度变化在同一方向上增大或减小、向同一方向凸、 其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸 这三者中的一者的最大区域；最适利用像素搜索步骤，在以区域内的插补 对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的 组；以及插补步骤，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，计算 出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为 凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素 搜索步骤，在以区域内的插补对象像素为中心而成点对称的图像行的像素 的组中，选择类似度最高的组；以及插补步骤，使用所选择的类似度最高 的组来决定插补值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，计算 出满足两个图像行的亮度变化在同一方向上增大或减小、向同一方向凸、 其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸 这三者中的一者的最大区域；最适利用像素搜索步骤，通过增大区域之间 和减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点 对称的图像行的像素的组中选择类似度最高的组；以及插补步骤，使用所 选择的类似度最高的组来决定插补值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，计算 出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸， 其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为 凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素 搜索步骤，通过增大区域之间和减小区域之间的类似度计算，在以区域内 的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高 的组；以及插补步骤，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补方法，该图像插补方法用于解决上述问题， 其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度 变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，使用 与通过相邻接的插补行的像素选择的区域相关的信息，计算出满足两个图 像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像 行的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索步骤，通过增大区域之间和减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补步骤，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补装置的特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另一个图像行的亮度变化中仅存在一个的所述两个图像行的区域；对于所述区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像素的组中选择类似度最高的组；使用所选择的组的像素值来决定所述进行插补的像素的像素值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，计算出两个图像行的亮度变化在同一方向上增大或减小的区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，使用与通过相邻接的插补行的像素计算出的区域相关的信息，计算出两个图像行的亮度变化在同一方向上增大或减小的区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，计算
出满足两个图像行的亮度变化在同一方向上增大或减小、向同一方向凸、其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸
这三者中的一者的最大区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上增大或减小、向同一方向凸、其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸这三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补装置，该图像插补装置用于解决上述问题，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，使用与通过相邻接的插补行的像素选择的区域相关的信息，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
本发明提供一种图像插补的程序，该图像插补的程序用于解决上述问题，其根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补的程序的特征在于，使信息处理装置执行以下处理求出所述两个图像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另一个图像行的亮度变化中仅存在一个的所述两个图像行的区域；对于所述区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像素的组中选择类似度最高的组；以及使用所选择的组的像素值来决定所述进行插补的像素的像素值。
发明的效果
本发明的效果是能够进行高图象质量的纵向的图像放大和隔行扫描渐进转换。其原因是由于通过调査插补对象像素周边的亮度变化而将对应的部位限定为一处，因此将不会产生由于选择不同部分而导致的图像质量劣化的范围设定为搜索范围。


18图1是表示用于实施本发明的第一发明的优选方式的结构的框图；图2是关于亮度变化指标的计算的说明图；图3是关于搜索范围的计算的说明图4是表示用于实施第一发明的优选方式的动作的流程图；图5是表示用于实施本发明的第二发明的优选方式的结构的框图；图6是表示插补对象像素的搜索范围与其左邻的插补对象像素的搜索范围之间的关系的说明图7是表示用于实施第二发明的优选方式的动作的流程图8是表示用于实施本发明的第三发明的优选方式的结构的框图9是表示求出亮度变化模式的表的说明图IO是表示用于实施第三发明的优选方式的动作的流程图11是表示用于实施本发明的第四发明的优选方式的结构的框图12是说明区域分割点的说明图13是表示用于实施第四发明的优选方式的的动作的流程图14是表示用于实施本发明的第五发明的优选方式的结构的框图15是关于亮度变化模式的求出方法的说明图16是表示用于实施第五发明的优选方式的动作的流程图17是表示以往方法的处理概要的说明图18是说明以往方法的问题点的说明图19是说明以往方法的问题点的说明图20是表示以往方法的结构的框图。
标号说明
11最适利用像素搜索单元12插补单元
23亮度变化指标计算单元24搜索范围计算单元
具体实施例方式
参照附图来详细地说明本发明的第一实施方式。参照图1可知，本发明的第一实施方式包括最适利用像素搜索单元11、插补单元12、亮度变化指标计算单元23、以及搜索范围计算单元
24。与以往方法中的结构相比，本发明的第一实施方式的不同之处在于增大了亮度变化指标计算单元23和搜索范围计算单元24。以下，详细地说明亮度变化指标计算单元23和搜索范围计算单元24的动作。
亮度变化指标计算单元23将图像Fin作为输入，并对图像Fin的各行求出表示与相邻的像素的亮度变化的亮度变化指标。亮度变化指标为以下值如果相邻像素的亮度变化增大则被赋予1、如果减小则被赋予一l、如果不变则被赋予0。式(5)表示了图像Fin中的坐标(x， y)与坐标(x+ 1， y)之间的亮度指标D (x， y)的计算方法的一个例子。其中，Y(x， y)是图像Fin中的坐标(x， y)的亮度值，thres是预先设定了的阈值。
(数学式5)
1 if((Y(x +1,力_ Y(x,力)—thres)D(x，力叫一l elseif((Y(x + l,力—Y(:c，力H—thres) …式(5)
0 else
另外，亮度变化指标不仅可以使用与相邻像素的差，也可以使用与间隔着几个像素的像素的差。例如，在从左边起依次计算各行的亮度变化指标的情况下，有以下方法当需要求出图2所示的左邻像素的亮度变化指标平坦并连续的像素的位置的亮度变化指标时，使用与左邻像素的差值和与亮度变化指标呈平坦之前的像素的差值来决定。
搜索范围计算单元24将亮度变化指标作为输入，针对每一插补对象像素，将上下行的亮度变化在同一方向上增大或减小的最大范围作为搜索范围来输出。在搜索范围内的所有亮度变化指标为l或O、或者一1或0的情况下，可以说搜索范围内的上下行的亮度变化在同一方向上增大或减小。因此，，搜索范围计算单元24将插补对象像素(x， y)的搜索范围(—4> (x， y) 4> (x， y))取4) (x， y) =0来作为初始值，并在使4> (x， y)逐次增大1的同时调查搜索范围内的亮度变化指标，来求出最大范围。以下，表示了搜索范围的计算方法的一个例子。
20(处理l)
作为初始值，将4> (x， y)、搜索范围内的亮度变化指标为1 (增大)的个数DInc和为一l (减小)的个数DDec分别设定为O。(处理2)
将搜索范围向左右各扩展一个像素，更新DInc和DDec的值。在将搜索范围(一4> (x， y) 4> (x， y))向左右各扩展一个像素的情况下的DInc禾卩DDec的更新方法中，有基于D (x+4> (x， y) ， y—1) 、 D (x一 4> (x, y) _1， y—l) 、 D (x+小(x， y) ， y+l) 、 D (x—*(x， y) —l， y+l)这四个亮度梯度指标的值而使DInc和DDec增大的方法。
(处理3)
如果DInc与DDec之积比0大，则输出4> (x， y)而结束。如果DInc与DDec之积小于等于O，则使4) (x， y)增大l。(处理4)
通过在输出4) (x， y)而结束之前重复地执行处理2和处理3，求出上下行的亮度变化在同一方向上增大或减小的最大范围来作为搜索范围。另外，也可以在》(x， y)达到预先设定的最大范围时输出小(x， y)而结束。
例如，图3 (a)所示的插补对象像素(x， y)的搜索范围通过图3(b)所示的处理而变为小(x， y) =1。
接下来，参照图1和图4的流程图来详细地说明本实施方式的整体的动作。
亮度变化指标计算单元23对图像Fin的各行计算出表示与相邻像素的亮度变化的亮度变化指标(步骤Sll)。
搜索范围计算单元24针对每一插补对象像素，计算出上下行的亮度变化在同一方向上增大或减小的最大范围来作为搜索范围(步骤S12)。
最适利用像素搜索单元11针对每一插补对象像素，求出在搜索范围中类似度最高的、以插补对象像素为中心而成点对称的上下行的像素对(步骤S13)。插补单元12对各个插补对象像素，使用最适利用像素计算出插补对
象像素值并生成渐进图像(步骤S14)。
参照附图来详细地说明本发明的第二实施方式。
参照图5可知，本发明的第二实施方式包括最适利用像素搜索单元 11、插补单元12、亮度变化指标计算单元23、搜索范围计算单元34、以 及前像素搜索范围信息保存单元35。
与本发明的第一实施方式相比，本发明的第二实施方式的不同之处在 于在搜索范围计算单元34中，将通过某插补对象像素求出的搜索范围 和该搜索范围内的亮度变化的信息记录在前像素搜索范围信息保存单元35 中并用于其他的插补对象像素的搜索范围的计算。以下，详细地说明搜索 范围计算单元34的动作。
搜索范围计算单元34将亮度变化指标作为输入，针对每一插补行， 从左端开始依次计算出各插补对象像素的搜索范围并输出。如图6所示， 插补对象像素(x， y)的搜索范围可以限定为从与其左邻的插补对象像素 (x—l， y)的搜索范围的右端相一致的最小范围到与插补对象像素(x— 1， y)的搜索范围的左端相一致的最大范围中的某一范围。这些作为候选 的范围是在左邻的插补对象像素(x—l， y)的搜索范围的右端加上一个 或两个像素而获得的范围或者是将左邻的插补对象像素(x—l， y)的搜 索范围的左端除去一个或两个像素而获得的范围。因此，在作为候选的范 围内上下行的亮度变化是否在同一方向上增大或减小能够通过以下方法来 判断使插补对象像素(x—l， y)的搜索范围内的亮度变化指标为1 (增 大)的个数DInc (x—1， y)和为一l (减小)的个数DDec (x—l， y)反 映与在右端加上了的像素的量和从左端删除了的像素的量相应的亮度变化 指标的值。
因此，搜索范围计算单元34作为前像素搜索范围信息，将求出的搜 索范围和该搜索范围内的亮度变化指标为1 (增大)的个数和为一l (减 小)的个数记录在前像素搜索范围信息保存单元35中，在需要求出右邻 的插补对象像素的搜索范围时，读出所记录的信息，并利用所读出的信 息，通过搜索范围的候选的设定和各候选是否满足上下行的亮度变化在同一方向上增大或减小这一条件的判断来求出最大范围，作为搜索范围输 出。
接下来，参照图5和图7的流程图来详细地说明本实施方式的整体的 动作。
亮度变化指标计算单元23对图像Fin的各行计算出表示与相邻的像素 的亮度变化的亮度变化指标(步骤S21)。
搜索范围计算单元34针对每一插补对象像素，使用前像素搜索范围 信息，计算出上下行的亮度变化在同一方向上增大或减小的最大范围来作 为搜索范围(步骤S22)。
最适利用像素搜索单元11针对每一插补对象像素求出在搜索范围中 类似度最高的、以插补对象像素为中心而成点对称的上下行的像素对(步 骤S23)。
插补单元12对各插补对象像素，使用最适利用像素计算出插补对象 像素值并生成渐进图像(步骤S24)。
参照附图来详细地说明本发明的第三实施方式。
参照图8可知，本发明的第三实施方式包括最适利用像素搜索单元 11、插补单元12、亮度变化指标计算单元23、以及搜索范围计算单元 44。本发明的第三实施方式与本发明的第一实施方式相比，搜索范围计算 单元44的动作不同。以下，详细地说明搜索范围计算单元44的动作。
搜索范围计算单元44将亮度变化指标作为输入，并针对每一插补对 象像素将上下行的亮度变化满足以下三个条件中的某一条件的最大范围作 为搜索范围输出。
(1) 第一条件在同一方向上增大或减小
(2) 第二条件向同一方向凸
(3) 第三条件 一方凸， 一方增大或减小
搜索范围计算单元44将插补对象像素(x， y)的搜索范围(一小 (x， y) 4> (x， y))取4> (x， y) =0来作为初始值，并在使4) (x， y)逐次增大1的同时求出搜索范围内的上下各行的亮度变化模式，通过 判断是否满足这三个条件来求出最大范围。亮度变化模式被如下赋值如果所指定的范围内的亮度变化平坦，则被赋予0;如果单调增大，则被赋 予h如果单调减小，则被赋予2;如果向上凸，则被赋予3;如果向下 凸，则被赋予4;如果为其他的变化，则被赋予5。如图9所示，通过依 次调查所指定的范围内的亮度变化指标的值来求出所述亮度变化模式。 以下，说明搜索范围的计算方法的一个例子。 (处理l)
作为初始值，将4> (x， y)、搜索范围内的上下的各亮度变化模式 TPat和BPat的值分别设定为0。 (处理2)
将搜索范围向左右各扩展一个像素，更新TPat和BPat的值。在将搜 索范围(一小(x， y) 4) (x， y))向左右各扩展一个像素情况下的 TPat和BPat的更新方法中，有利用如图7所示的表的方法，该表表示原 来的亮度变化模式、在左右追加的像素的亮度变化指标、以及新的亮度变 化模式的关系。 (处理3)
如果TPat和BPat的组合满足上述三个条件中的某一条件，则使小 (x， y)增大1而进行更新。另外，在TPat和BPat的组合在相反方向上 增大或减小的情况下，不更新4> (x， y)，继续执行处理。在TPat和 BPat的组合为其他的情况下，输出d) (x， y)而结束。 (处理4)
通过在输出cj) (x， y)而结束之前重复地执行处理2和处理3，求出 满足上述三个条件中的某一条件的最大范围来作为搜索范围。另外，也可 以在4> (x， y)达到预先设定的最大范围时输出4) (x, y)而结束。
另外，搜索范围计算单元44也可以设定在相反方向上增大或减小来 作为第四条件，在处理3中更新cJ) (x， y)。
接下来，参照图8和图10的流程图来详细地说明本实施方式的整体 的动作。
亮度变化指标计算单元23对图像Fin的各行计算出表示与相邻的像素 的亮度变化的亮度变化指标(步骤S31)。
24搜索范围计算单元44针对每一插补对象像素，计算出满足上述第 一 第三或第四条件中的某一条件的最大范围来作为搜索范围(步骤
S32)。
最适利用图像搜索单元11针对每一插补对象像素，求出在搜索范围 中类似度最高的、以插补对象像素为中心而成点对称的上下行的像素对 (步骤S33)。
插补单元12对各个插补对象像素，使用最适利用像素计算出插补对 象像素值并生成插补图像(步骤S34)。
参照附图来详细地说明本发明的第四实施方式。
参照图11可知，本发明的第四实施方式包括最适利用像素搜索单元 51、插补单元12、亮度变化指标计算单元23、以及搜索范围计算单元 54。
本发明的第四实施方式与本发明的第三方式相比，最适利用像素搜索 单元51和搜索范围计算单元54的动作不同，在搜索范围计算单元54中， 在搜索范围内的亮度变化模式为凸的情况下分割为增大区域和减小区域， 在最适利用像素搜索单元51中，通过仅同一区域之间的类似度计算来搜 索最适利用像素。以下，详细地说明最适利用像素搜索单元51和搜索范 围计算单元54的动作。
搜索范围计算单元54将亮度变化指标作为输入，针对每一插补对象 像素，计算出上下行的亮度变化满足上述第三实施方式的所述搜索范围计 算单元44的上述第一 第三条件中的某一条件的最大范围或者满足上述 第一 第四条件中的某一条件的最大范围来作为搜索范围，并输出搜索范 围、以及该搜索范围内的亮度变化组合模式和区域分割点。亮度变化组合 模式是表示搜索范围内的上行的亮度变化模式和下行的亮度变化模式的组 合的值，其具有如下的值。
(1) 值0:在同一方向上增大或减小
(2) 值1:向同一方向凸
(3) 值2:上行单调增大、并且下行向上凸，或者上行单调减小、并 且下行向下凸(3) 值3:上行单调减小、并且下行向上凸 且下行向下凸
(4) 值4:上行向上凸、并且下行单调增大 下行单调减小
(5) 值5:上行向上凸、并且下行单调减小 下行单调增大
(6) 值6:在相反方向上增大或减小 这些值能够根据上行的亮度变化模式的值和下行的亮度变化模式的值
而容易地决定。
另外，区域分割点是指搜索范围内的、在上或下行的亮度变化为凸的 情况下表示增大区域的范围和减小区域的范围的点。如图12所示，由于 考虑到从增大到减小、或者从减小到增大之间的平坦的区域，因此区域分
割点有表示左区域的右端的位置的点R和表示右区域的左端的点L。 R与
L的关系为如果将从增大到减小或者从减小到增大之间的亮度变化指标
为O的连续数设为CZ， RljR=L+CZ。
与上述第三实施方式中的上述搜索范围计算单元44一样，搜索范围 计算单元54将插补对象像素(x， y)的搜索范围(一4) (x， y) 4> (x， y))取小(x， y) =0来作为初始值，并使d) (x， y)逐次增大 1，由此计算出搜索范围。搜索范围计算单元54在计算出搜索范围后计算 出亮度变化组合模式和区域分割点。另外，搜索范围计算单元54也可以 在计算搜索范围的同时计算区域分割点。以下，示出取小(x， y) =0来 作为初始值并使cl) (x， y)逐次增大1时的区域分割点的求出方法的一个 例子。
(处理1)
作为初始值，将4) (x， y)、搜索范围内的行的亮度变化模式LP、 以及搜索范围的右端的亮度梯度指标为0的连续数CZR和搜索范围的左端 的亮度变化指标为0的连续数CZL的值分别设定为0。 (处理2)
使搜索范围向左右各扩展一个像素，更新LP。当LP的值最初变为了
，或者上行单调增大、并 ，或者上行向下凸、并且 ，或者上行向下凸、并且3或4时，前进到处理3。在除此之外的情况下，使4> (x， y)增大1，使 用与扩展的量相应的亮度变化指标来更新CZR和CZL的值，重复处理 2。
(处理3)
求出区域分割点R和L。 LP的值变为3或4时的LP的值的变化方式 可以分类为以下三种情况LP的值从0变为3或4 (情况1) ; LP的值从 1变为3或者从2变为4 (情况2);以及LP的值从1变为4或者从2变 为3 (情况3)。区域分割点R和L在各情况下如下求出。
(1) 情况l: R=d> (x， y) ， L=—4) (x， y)
(2) 情况2: R二小(x， y) ， L=R—CZR
(3) 情况3: L=—cj) (x， y) ， R=L+CZL 最适利用像素搜索单元51将图像Fin、搜索范围、亮度变化组合模
式、以及区域分割点作为输入，并输出最适利用像素信息。最适利用像素 搜索单元51针对每一插补对象像素，根据搜索范围、亮度变化组合模 式、以及区域分割点而如下述那样地限制式(2)和式(3)中的p的范 围，以使式(2)和式(3)的类似度计算与增大区域之间或减小区域之间 匹配。其中，BR (x， y)表示插补对象像素(x， y)下行的亮度分割点R 的位置，BL (x， y)表示插补对象像素(x， y)下行的亮度分割点L的位 置，TR (x， y)表示插补对象像素(x， y)上行的亮度分割点R的位置， TL (x， y)表示插补对象像素(x， y)上行的亮度分割点L的位置。另 外，L (x， y)和R (x， y)是分别通过式(6)和式(7)计算出的值。
(1) 在亮度变化组合模式为0的情况下一4> (x， y)《p《cl) (x， y)
(2) 在亮度变化组合模式为1的情况下L (x， y)《p《R (x， y)
(3) 在亮度变化组合模式为2的情况下一BR (x, y)《p《4> (x， y)
(4) 在亮度变化组合模式为3的情况下一4> (x， y)《p《BL (x， y)
(5) 在亮度变化组合模式为4的情况下_4> (x， y)《p《TR(x， y)
(6) 在亮度变化组合模式为5的情况下TL (x， y)《p《4> (x，
y)
(7) 在亮度变化组合模式为6的情况下一4) (x， y)《p《4)
(x， y)
(数学式6)
接下来，参照图11和图13的流程图来详细地说明本实施方式的整体 的动作。
亮度变化指标计算单元23对图像Fin的各行计算出表示与相邻的像素 的亮度变化的亮度变化指标(步骤S41)。
搜索范围计算单元54针对每一插补对象像素，计算出满足上述第 一 第三或第四条件中的某一条件的最大范围，并计算出该范围内的亮度 变化组合模式和区域分割点(步骤S42)。
最适利用像素搜索单元51针对每一插补对象像素，通过增大或减小 区域间的类似度计算，来求出在搜索范围中类似度最高的、以插补对象像 素为中心而成点对称的上下行的像素对(步骤S43)。
插补单元12对各个插补对象像素，使用最适利用像素计算出插补对 象像素值并生成渐进图像(步骤S44)。
参照附图来详细地说明本发明的第五实施方式。
参照图14可知，本发明的第五方式包括最适利用像素搜索单元51、 插补单元12、亮度变化指标计算单元23、搜索范围计算单元64、以及前 像素搜索范围信息保存单元65。
与上述本发明的第四实施方式相比，本发明的第五实施方式的不同之 处在于在搜索范围计算单元64中，将通过某插补对象像素求出的搜索 范围和该搜索范围内的亮度变化的信息记录在前像素搜索范围信息保存单
(数学式7)元65中，并用于其他的插补对象像素的搜索范围的计算。以下，详细地
说明搜索范围计算单元64的动作。
搜索范围计算单元64将亮度变化指标作为输入，针对每一插补行， 从左端依次计算出满足上述第四实施方式中的上述第一 第四条件的最大 范围并作为搜索范围输出。与本发明的第二实施方式一样，插补对象像素 (x， y)的搜索范围可以限定为从与其左邻的插补对象像素(x—l， y， t)的搜索范围的右端相一致的最小范围到与插补对象图像(x—l， y， t) 的搜索范围的左端相一致的最大范围中的某一范围。这些作为候选的范围 是在左邻的插补对象像素(x—l， y， t)的搜索范围的右端增大一个或两 个像素或者将左端除去一个或两个像素而得到的范围。因此，作为候选的 范围的上下行的亮度变化是否满足上述第一 第四条件中的某一条件能够 通过以下方法来判断根据左邻的插补对象像素(x—l， y， t)的搜索范 围内的各行的亮度变化模式，计算出在右端增大一个或两个像素或者将左 端除去一个或两个像素而得到的范围中的各行的亮度变化模式。
在右端增大一个像素而扩展了搜索范围时的亮度变化模式可以通过以 下方法来计算对于上述第三实施方式中的上述图7的表，将在左边追加 的亮度变化指标设为0来使用。
如图15所示，从左边除去一个像素而縮窄了搜索范围时的亮度变化
模式可以通过以下方法求出使用搜索范围内的亮度变化指标为1的个数
DInc和亮度变化指标为一1的个数DDec，在DInc或DDec的值未由于縮 窄了搜索范围而改变的情况下，或者在变化了的DInc或DDec的值为正的 情况下，不改变亮度变化模式而进行输出，在由于縮窄了搜索范围而改变 的DInc或DDec为0的情况下，根据另外的DInc或DDec的值来设定平 坦、增大、减小中的一者的值。
因此，搜索范围计算单元64作为前像素搜索范围信息，将求出的搜 索范围、该搜索范围内的上下行的亮度变化模式、以及搜索范围内的亮度 变化指标为1 (增大)的个数和为一l (减少)的个数记录在前像素搜索范 围信息保存单元65中，在需要求出右邻的插补对象像素的搜索范围时， 读出所记录的信息，并利用所读出的信息来设定搜索范围的候选并判断作
29为各个候选的范围是否满足上述四个条件中的某一条件，由此求出最大范 围，作为搜索范围输出。
另外，搜索范围计算单元64计算出亮度变化组合模式和区域分割
点。搜索范围计算单元54也可以在计算搜索范围的同时计算区域分割 点。在该情况下，作为前像素搜索范围信息，能够通过使用左邻的插补对 象像素的搜索范围中的区域分割点和搜索范围的右端的亮度变化指标为0 的连续数CZR来计算。以下示出一个例子。在当将搜索范围向右扩展了一 个像素时插补对象像素的亮度变化模式改变为向上或下凸的情况下，使用 右端的位置和CZR的值来计算出区域分割点。在其他情况下，由于区域分 割点位于与扩展之前相同的位置，因此使用所存储的区域分割点的位置信 息来设定。
接下来，参照图14和图16的流程图来详细地说明本实施方式的整体 的动作。
亮度变化指标计算单元23对图像Fin的各行计算出表示与相邻像素的 亮度变化的亮度变化指标(步骤S51)。
搜索范围计算单元64针对每一插补对象像素，使用前像素搜索范围 信息65，计算出满足上述第一 第三或第四条件中的某一条件的最大范 围，并计算出该范围内的亮度变化组合模式和区域分割点(步骤S52)。
最适利用像素搜索单元51针对每一插补对象像素，通过增大或减小 区域之间的类似度计算求出在搜索范围中类似度最高的、以插补对象像素 为中心而成点对称的上下行的像素对(步骤S53)。
插补单元12对各插补对象像素，使用最适利用像素计算出插补对象 像素值并生成渐进图像(步骤S54)。
以上说明了实施方式，本发明的实施例如下所述。
艮P，本发明的第一实施例是一种图像插补方法，该图像插补方法根据 相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补方法的 特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插补的图 像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另一个图 像行的亮度变化中仅存在一个的所述两个图像行的区域；对于所述区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像素的组 中选择类似度最高的组；使用所选择的组的像素值来决定所述进行插补的 像素的像素值。
另外，本发明的第二实施例在上述第一实施例的基础上具有以下特 征，即，计算出与一个图像行的亮度变化的一部分相类似的另一个图像行 的亮度变化的一部分未在不同的位置存在两个以上的最宽的区域。
另外，本发明的第三实施例在上述第一或第二实施例的基础上具有以 下特征，即，作为相邻的像素之间的亮度变化，使用平坦、增大、减小这 三个指标。
另外，本发明的第四实施例在上述第一至第三中任一实施例的基础上 具有以下特征，即，作为区域内的各图像行的亮度变化，使用平坦、单调 增大、单调减小、向上凸、向下凸、其他这六个模式。
另外，本发明的第五实施例在上述第一至第四中任一实施例的基础上 具有以下特征，即，计算出两个图像行的亮度变化在同一方向上增大或减 小的区域。
另外，本发明的第六实施例在上述第一至第四中任一实施例的基础上 具有以下特征，即，计算出满足两个图像行的亮度变化在同一方向上增大 或减小，向同一方向凸，其中一个图像行的亮度变化为增大或减小而另一 个图像行的亮度变化为凸这三者中的一者的区域。
另外，本发明的第七实施例在上述第一至第三中任一实施例的基础上 具有以下特征，S卩，计算出满足两个图像行的亮度变化在同一方向上增大 或减小，向同一方向凸，其中一个图像行的亮度变化为增大或减小而另一 个图像行的亮度变化为凸、在相反方向上增大或减小这三者中的一者的区 域。
另外，本发明的第八实施例在上述第六或第七实施例的基础上具有以 下特征，即，在图像行的亮度变化为向上凸或向下凸的情况下，计算出表 示区域内的增大区域和减小区域的位置的区域分割点。
另外，本发明的第九实施例在上述第八实施例的基础上具有以下特 征，即，进行增大区域之间和减小区域之间的类似度计算。另外，本发明的第十实施例在上述第一至第八中任一实施例的基础上具有以下特征，即，在区域的计算中，禾IJ用与通过相邻接的插补行的像素计算出的区域相关的信息。
另外，本发明的第十一实施例在上述第十实施例的基础上具有以下特征，g口，作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小以及关于区域内的相邻像素之间的亮度变化的各指标的个数。
另外，本发明的第十二实施例在上述第十实施例的基础上具有以下特征，即，作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数、以及区域内的各行的亮度变化的模式。
另外，本发明的第十三实施例在上述第十实施例的基础上具有以下特征，即，作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数、区域内的各行的亮度变化的模式、以及区域分割点。
另外，本发明的第十四实施例是一种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，计算出两个图像行的亮度变化在同一方向上增大或减小的区域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补步骤，使用所选择的类似度最高的组来决定插补值。
另外，本发明的第十五实施例是一种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算步骤，使用与通过相邻接的插补行的像素计算出的区域相关的信息，计算出两个图像行的亮度变化在同一方向上增大或减小的区域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补步骤，使用所选择的类似度最高的组来决定插补值。另外，本发明的第十六实施例是一种图像插补方法，其特征在于，包 括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像 行的亮度变化在同一方向上增大或减小、向同一方向凸、其中一个图像行 的亮度变化为增大或减小而另一个图像行的亮度变化为凸这三者中的一者 的最大区域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心 而成点对称的图像行的像素的组中，选择类似度最高的组；以及插补步 骤，使用所选择的类似度最高的组来决定插补值。
另外，本发明的第十七实施例是一种图像插补方法，其特征在于，包 括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像 行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行 的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向上 增大或减小这三者中的一者的最大区域；最适利用像素搜索步骤，在以区 域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类似 度最高的组；以及插补步骤，使用所选择的类似度最高的组来决定插补 值。
另外，本发明的第十八实施例是一种图像插补方法，其特征在于，包 括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像 行的亮度变化在同一方向上增大或减小、向同一方向凸、其中一个图像行 的亮度变化为增大或减小而另一个图像行的亮度变化为凸这三者中的一者 的最大区域；最适利用像素搜索步骤，通过增大区域之间和减小区域之间 的类似度计算，在以区域内的插补对象像素为中心而成点对称的图像行的 像素的组中选择类似度最高的组；以及插补步骤，使用所选择的类似度最 高的组来决定插补值。
另外，本发明的第十九实施例是一种图像插补方法，其特征在于，包 括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行 的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向上 增大或减小这三者中的一者的最大区域；最适利用像素搜索步骤，通过增
大区域之间和减小区域之间的类似度计算，在以区域内的插补对象像素为
中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补步 骤，使用所选择的类似度最高的组来决定插补值。
另外，本发明的第二十实施例是一种图像插补方法，其特征在于，包 括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，使用与通过相邻接的 插补行的像素选择的区域相关的信息，计算出满足两个图像行的亮度变化 在同一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为 增大或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这 三者中的一者的最大区域；最适利用像素搜索步骤，通过增大区域之间和 减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中选择类似度最高的组；以及插补步骤，使用所选 择的类似度最高的组来决定插补值。
另外，本发明的第二十一实施例是一种图像插补装置，该图像插补装 置根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补 装置的特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插 补的图像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另 一个图像行的亮度变化中仅存在一个的所述两个图像行的区域；对于所述 区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像 素的组中选择类似度最高的组；使用所选择的组的像素值来决定所述进行 插补的像素的像素值。
另外，本发明的第二十二实施例在上述第二十一实施例的基础上具有 以下特征，即，计算出与一个图像行的亮度变化的一部分相类似的另一个 图像行的亮度变化的一部分未在不同的位置存在两个以上的最宽的区域。另外，本发明的第二十三实施例在上述第二十一或第二十二实施例的 基础上具有以下特征，即，作为相邻的像素之间的亮度变化，使用平坦、 增大、减小这三个指标。
另外，本发明的第二十三实施例在上述第二十一至第二十三中任一实 施例的基础上具有以下特征，即，作为区域内的各图像行的亮度变化，使 用平坦、单调增大、单调减小、向上凸、向下凸、其他这六个模式。
另外，本发明的第二十五实施例在上述第二十一至第二十四中任一实 施例的基础上具有以下特征，即，计算出两个图像行的亮度变化在同一方 向上增大或减小的区域。
另外，本发明的第二十六实施例在上述第二十一至第二十四中任一实 施例的基础上具有以下特征，g卩，计算出满足两个图像行的亮度变化在同 一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为增大 或减小而另 一个图像行的亮度变化为凸这三者中的一者的区域。
另外，本发明的第二十七实施例在上述第二十一至第二十四中任一实 施例的基础上具有以下特征，即，计算出满足两个图像行的亮度变化在同 一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为增大 或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这三者 中的一者的区域。
另外，本发明的第二十八实施例在上述第二十六或第二十七实施例的 基础上具有以下特征，即，在图像行的亮度变化为向上凸或向下凸的情况 下，计算出表示区域内的增大区域和减小区域的位置的区域分割点。
另外，本发明的第二十九实施例在上述第二十八实施例的基础上具有 以下特征，SP，进行增大区域之间和减小区域之间的类似度计算。
另外，本发明的第三十实施例在上述第二十一至第二十八中任一实施 例的基础上具有以下特征，即，在区域的计算中，利用与通过相邻接的插 补行的像素计算出的区域相关的信息。
另外，本发明的第三十一实施例在上述第三十实施例的基础上具有以 下特征，即，作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小以及关于区域内的相邻像素之间的亮度变化的各指标 的个数。
另外，本发明的第三十二实施例在上述第三十实施例的基础上具有以 下特征，即，作为与通过相邻接的插补行的像素计算出的区域相关的信 息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的 个数、以及区域内的各行的亮度变化的模式。
另外，本发明的第三十三实施例在上述第三十实施例的基础上具有以 下特征，即，作为与通过相邻接的插补行的像素计算出的区域相关的信 息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的 个数、区域内的各行的亮度变化的模式、以及区域分割点。
另外，本发明的第三十四实施例是一种图像插补装置，其特征在于， 包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、 增大、减小中的哪个指标相对应；搜索范围计算单元，计算出两个图像行 的亮度变化在同一方向上增大或减小的区域；最适利用像素搜索单元，在 以区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择 类似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
另外，本发明的第三十五实施例是一种图像插补装置，其特征在于，
包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、 增大、减小中的哪个指标相对应；搜索范围计算单元，使用与通过相邻接
的插补行的像素计算出的区域相关的信息，计算出两个图像行的亮度变化
在同一方向上增大或减小的区域；最适利用像素搜索单元，在以区域内的 插补对象像素为中心而成点对称的图像行的像素的组中，选择类似度最高 的组；以及插补单元，使用所选择的类似度最高的组来决定插补值。
另外，本发明的第三十六实施例是一种图像插补装置，其特征在于， 亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、 减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的 亮度变化在同一方向上增大或减小、向同一方向凸、其中一个图像行的亮 度变化为增大或减小而另一个图像行的亮度变化为凸这三者中的一者的最大区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成 点对称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使 用所选择的类似度最高的组来决定插补值。
另外，本发明的第三十七实施例是一种图像插补装置，其特征在于， 包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、 增大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图 像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像 行的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向 上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，在以 区域内的插补对象像素为中心而成点对称的图像行的像素的组中，选择类 似度最高的组；以及插补单元，使用所选择的类似度最高的组来决定插补 值。
另外，本发明的第三十八实施例是一种图像插补装置，其特征在于， 包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、 增大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图 像行的亮度变化在同一方向上增大或减小、向同一方向凸、其中一个图像 行的亮度变化为增大或减小而另一个图像行的亮度变化为凸这三者中的一 者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之 间的类似度计算，在以区域内的插补对象像素为中心而成点对称的图像行 的像素的组中选择类似度最高的组；以及插补单元，使用所选择的类似度 最高的组来决定插补值。
另外，本发明的第三十九实施例是一种图像插补装置，其特征在于， 包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、 增大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图 像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像 行的亮度变化为增大或减小而另一个图像行的亮度变化为凸、在相反方向 上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，通过 增大区域之间和减小区域之间的类似度计算，在以区域内的插补对象像素
37为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补 单元，使用所选择的类似度最高的组来决定插补值。
另外，本发明的第四十实施例是一种图像插补装置，其特征在于，包 括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算单元，使用与通过相邻接的 插补行的像素选择的区域相关的信息，计算出满足两个图像行的亮度变化 在同一方向上增大或减小，向同一方向凸，其中一个图像行的亮度变化为 增大或减小而另一个图像行的亮度变化为凸、在相反方向上增大或减小这 三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和 减小区域之间的类似度计算，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中选择类似度最高的组；以及插补单元，使用所选 择的类似度最高的组来决定插补值。
另外，本发明的第四十一实施例是一种图像插补的程序，该图像插补 的程序根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像 插补的程序的特征在于，使信息处理装置执行以下处理求出所述两个图
像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行
的亮度变化的一部分相类似的部分在另一个图像行的亮度变化中仅存在一
个的所述两个图像行的区域；对于所述区域内的像素，从以所述进行插补 的对象像素为中心而位于对称位置的像素的组中选择类似度最高的组；以 及使用所选择的组的像素值来决定所述进行插补的像素的像素值。
以上列举优选的实施方式和实施例来说明了本发明，但是本发明不必 限定于上述实施方式和实施例，可以在其技术思想的范围内进行各种变形 来实施。
本申请要求基于2007年7月3日提交的日本专利申请特愿2007 — 174823号的优先权，在此通过引用而记入了该申请的所有公开内容。 产业上的实用性
本发明能够应用于根据逐行扫描图像生成渐进图像的逐行扫描渐进转 换装置。另外，本发明能够应用于在纵向上进行图像的放大的图像插补装 置。
权利要求
1.一种图像插补方法，根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补方法的特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另一个图像行的亮度变化中仅存在一个的所述两个图像行的区域；对于所述区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像素的组中选择类似度最高的组；使用所选择的组的像素值来决定所述进行插补的像素的像素值。
2. 如权利要求1所述的图像插补方法，其特征在于， 计算出与一个图像行的亮度变化的一部分相类似的另一个图像行的亮度变化的一部分未在不同的位置存在两个以上的最宽的区域。
3. 如权利要求1或2所述的图像插补方法，其特征在于， 作为相邻的像素之间的亮度变化，使用平坦、增大、减小这三个指标。
4. 如权利要求1至3中的任一项所述的图像插补方法，其特征在于， 作为区域内的各图像行的亮度变化，使用平坦、单调增大、单调减小、向上凸、向下凸、其他这六个模式。
5. 如权利要求1至4中的任一项所述的图像插补方法，其特征在于，计算出两个图像行的亮度变化在同一方向上增大或减小的区域。
6. 如权利要求1至4中的任一项所述的图像插补方法，其特征在于， 计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一方向凸，其中一个图像行增大或减小而另一个图像行凸这三者中的一者的 区域。
7. 如权利要求l至4中的任一项所述的图像插补方法，其特征在于，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一 方向凸，其中一个图像行增大或减小而另一个图像行凸、在相反方向上增 大或减小这三者中的一者的区域。
8. 如权利要求6或7所述的图像插补方法，其特征在于， 在图像行的亮度变化为向上凸或向下凸的情况下，计算出表示区域内的增大区域和减小区域的位置的区域分割点。
9. 如权利要求8所述的图像插补方法，其特征在于， 进行增大区域之间和减小区域之间的类似度计算。
10. 如权利要求1至8中的任一项所述的图像插补方法，其特征在于，在区域的计算中，利用与通过相邻接的插补行的像素计算出的区域相 关的信息。
11. 如权利要求IO所述的图像插补方法，其特征在于， 作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数。
12. 如权利要求IO所述的图像插补方法，其特征在于， 作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数、以及 区域内的各行的亮度变化的模式。
13. 如权利要求IO所述的图像插补方法，其特征在于， 作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数、区域 内的各行的亮度变化的模式、以及区域分割点。
14. 一种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出两个像素行的亮度变化在同一方向上增大 或减小的区域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
15. —种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，使用与通过相邻接的插补行的像素计算出的区域 相关的信息，计算出两个像素行的亮度变化在同一方向上增大或减小的区 域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
16. —种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像行的亮度变化在同一方向上 增大或减小、向同一方向凸、其中一个图像行增大或减小而另一个图像行 凸这三者中的一者的最大区域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
17. —种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像行的亮度变化在同一方向上 增大或减小，向同一方向凸，其中一个图像行增大或减小而另一个图像行 凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索步骤，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
18. —种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像行的亮度变化在同一方向上 增大或减小、向同一方向凸、其中一个图像行增大或减小而另一个图像行 凸这三者中的一者的最大区域；最适利用像素搜索步骤，通过增大区域之间和减小区域之间的类似度 计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组 中选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
19. 一种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，计算出满足两个图像行的亮度变化在同一方向上 增大或减小，向同一方向凸，其中一个图像行增大或减小而另一个图像行 凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索步骤，通过增大区域之间和减小区域之间的类似度 计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组 中选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
20. —种图像插补方法，其特征在于，包括亮度变化指标计算步骤，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算步骤，使用与通过相邻接的插补行的像素选择的区域相 关的信息，计算出满足两个图像行的亮度变化在同一方向上增大或减小， 向同一方向凸，其中一个图像行增大或减小而另一个图像行凸、在相反方 向上增大或减小这三者中的一者的最大区域；5最适利用像素搜索步骤，通过增大区域之间和减小区域之间的类似度 计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补步骤，使用被选择的类似度最高的组来决定插补值。
21. —种图像插补装置，根据相邻接的两个图像行求出它们之间的图 像行的像素值，该图像插补装置的特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行的亮度变化的一部分 相类似的部分在另一个图像行的亮度变化中仅存在一个的所述两个图像行 的区域；对于所述区域内的像素，从以所述进行插补的对象像素为中心而位于 对称位置的像素的组中选择类似度最高的组；使用被选择了的组的像素值来决定所述进行插补的像素的像素值。
22. 如权利要求21所述的图像插补装置，其特征在于， 计算出与一个图像行的亮度变化的一部分相类似的另一个图像行的亮度变化的一部分未在不同的位置存在两个以上的最宽的区域。
23. 如权利要求21或22所述的图像插补装置，其特征在于， 作为相邻的像素之间的亮度变化，使用平坦、增大、减小这三个指标。
24. 如权利要求21至23中的任一项所述的图像插补装置，其特征在于，作为区域内的各图像行的亮度变化，使用平坦、单调增大、单调减 小、向上凸、向下凸、其他这六个模式。
25. 如权利要求21至24中的任一项所述的图像插补装置，其特征在于，计算出两个图像行的亮度变化在同一方向上增大或减小的区域。
26. 如权利要求21至24中的任一项所述的图像插补装置，其特征在于，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一 方向凸，其中一个图像行增大或减小而另一个图像行凸这三者中的一者的 区域。
27. 如权利要求21至24中的任一项所述的图像插补装置，其特征在于，计算出满足两个图像行的亮度变化在同一方向上增大或减小，向同一 方向凸，其中一个图像行增大或减小而另一个图像行凸、在相反方向上增 大或减小这三者中的一者的区域。
28. 如权利要求26或27所述的图像插补装置，其特征在于， 在图像行的亮度变化为向上凸或向下凸的情况下，计算出表示区域内的增大区域和减小区域的位置的区域分割点。
29. 如权利要求28所述的图像插补装置，其特征在于， 进行增大区域之间和减小区域之间的类似度计算。
30. 如权利要求21至28中的任一项所述的图像插补装置，其特征在于，在区域的计算中，利用与通过相邻接的插补行的像素计算出的区域相 关的信息。
31. 如权利要求30所述的图像插补装置，其特征在于， 作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数。
32. 如权利要求30所述的图像插补装置，其特征在于， 作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数、以及 区域内的各行的亮度变化的模式。
33. 如权利要求30所述的图像插补装置，其特征在于， 作为与通过相邻接的插补行的像素计算出的区域相关的信息，使用区域的大小、关于区域内的相邻像素之间的亮度变化的各指标的个数、区域 内的各行的亮度变化的模式、以及区域分割点。
34. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增大、减小中的哪个指标相对应；搜索范围计算单元，计算出两个像素行的亮度变化在同一方向上增大 或减小的区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
35. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算单元，使用与通过相邻接的插补行的像素计算出的区域 相关的信息，计算出两个像素行的亮度变化在同一方向上增大或减小的区 域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
36. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应;搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上 增大或减小、向同一方向凸、其中一个图像行增大或减小而另一个图像行 凸这三者中的一者的最大区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
37. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上 增大或减小，向同一方向凸，其中一个图像行增大或减小而另一个图像行 凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，在以区域内的插补对象像素为中心而成点对 称的图像行的像素的组中，选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
38. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上 增大或减小、向同一方向凸、其中一个图像行增大或减小而另一个图像行 凸这三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之间的类似度 计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组 中选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
39. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算单元，计算出满足两个图像行的亮度变化在同一方向上 增大或减小，向同一方向凸，其中一个图像行增大或减小而另一个图像行 凸、在相反方向上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之间的类似度 计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组 中选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
40. —种图像插补装置，其特征在于，包括亮度变化指标计算单元，计算出相邻像素之间的亮度变化与平坦、增 大、减小中的哪个指标相对应；搜索范围计算单元，使用与通过相邻接的插补行的像素选择的区域相 关的信息，计算出满足两个图像行的亮度变化在同一方向上增大或减小， 向同一方向凸，其中一个图像行增大或减小而另一个图像行凸、在相反方 向上增大或减小这三者中的一者的最大区域；最适利用像素搜索单元，通过增大区域之间和减小区域之间的类似度 计算，在以区域内的插补对象像素为中心而成点对称的图像行的像素的组中选择类似度最高的组；以及插补单元，使用被选择的类似度最高的组来决定插补值。
41. 一种图像插补的程序，根据相邻接的两个图像行求出它们之间的 图像行的像素值，该图像插补的程序的特征在于，使信息处理装置执行以 下处理求出所述两个图像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行的亮度变化的一部分 相类似的部分在另一个图像行的亮度变化中仅存在一个的所述两个图像行 的区域；对于所述区域内的像素，从以所述进行插补的对象像素为中心而位于 对称位置的像素的组中选择类似度最高的组；以及使用被选择了的组的像素值来决定所述进行插补的像素的像素值。
全文摘要
课题提供一种能够生成高图像质量的插补图像的图像插补方法、图像插补装置以及程序。解决手段本发明的图像插补方法根据相邻接的两个图像行求出它们之间的图像行的像素值，该图像插补方法的特征在于，求出所述两个图像行的像素的亮度变化；在所述进行插补的图像的附近决定与一个图像行的亮度变化的一部分相类似的部分在另一个图像行的亮度变化中仅存在一个的所述两个图像行的区域；对于区域内的像素，从以所述进行插补的对象像素为中心而位于对称位置的像素的组中选择类似度最高的组；使用所选择的组的像素值来决定进行插补的像素的像素值。
文档编号H04N7/01GK101690195SQ20088002326
公开日2010年3月31日 申请日期2008年7月3日 优先权日2007年7月3日
发明者户田真人 申请人:日本电气株式会社