电视电影变换方法和装置的制作方法

专利名称：电视电影变换方法和装置的制作方法
技术领域：
本发明涉及图像变换技术，特别涉及将电影(cinema)方式的图像信号变换成电视方式的图像信号的技术。
背景技术：
电影方式的图像(以下也简称为电影图像)一般是24帧/秒，另一方面，电视方式的图像(以下也简称为电视图像)是30帧/秒。为此，在把电影图像变换成电视图像的，所谓电视电影变换中，常使用关于2幅电影图像输出3幅电视图像，对接着的2幅电影图像输出2幅电视图像，所谓的3∶2的拉片(pulldown)方式的图像变换(例如专利文献1、2)。
在最近，作为电视图像采用逐行扫描方式的大型电视接收机正在增加。这时，电视电影变换最终不是从24帧/秒变换到30帧/秒，而是变换到60帧/秒。
日本专利申请公开特开2002-185933号公报[专利文献2]日本专利申请公开特开2000-165822号公报[专利文献3]日本专利特许第2927350号公报。
以往在一般的电视电影变换中，为了整合每秒的帧数，在拉片时权宜地插入在时间上逆行的帧或者半帧等，出现逻辑上的矛盾或者时间上的不统一的情况很多。

发明内容
本发明的目的在于，提供一种在从电影图像向电视图像进行变换时，避免逻辑上的矛盾使图像质量提高的技术。别的目的在于，在从电影图像向电视图像进行变换时，避免插入在时间上逆行那样的帧。进而别的目的在于，提供与电视接收机的规格相符合的电视电影变换技术。
本发明涉及电视电影变换技术。该技术中的图像匹配可利用本申请人先前在日本专利特许第2927350号中所提案的图像匹配技术(以下称为“前提技术”)。
本发明提供一种电视电影变换方法，包括输入电影方式的帧的步骤；在所输入的帧间实施二维匹配的步骤；以及以该匹配结果为基础，生成上述帧间的中间帧的步骤；生成中间帧的步骤，对于4幅电影方式的帧，以5幅或者10幅的比例输出中间帧，生成电视方式的帧。
由于中间帧基于图像匹配而生成，因此能够避免如以往的拉片处理那样，权宜地2次输出相同帧那样的不妥当的处理。
替换以上的各步骤、或者在方法和装置间，对表达全部或者部分替换或进行追加，或者将表达变更成计算机程序、记录介质等，作为本发明也是有效的。


图1(a)和图1(b)对两个人物的脸施加平均化滤波器后得到的图像的半色调图像的照片；图1(c)和图1(d)是在显示器上显示对两个人物的脸以前提技术求得的P(5，0)的图像的半色调图像的照片；图1(e)和图1(f)是在显示器上显示对两个人物的脸以前提技术求得的p(5，1)的图像的半色调图像的照片；图1(g)和图1(h)是在显示器上显示对两个人物的脸以前提技术求得的p(5，2)的图像的半色调图像的照片；图1(i)和图1(i)是在显示器上显示对两个人物的脸以前提技术求得的p(5，3)的图像的半色调图像的照片。
图2(R)表示原来的四边形，图2(A)、图2(B)、图2(C)、图2(D)、图2(E)分别表示继承四边形。
图3是用继承四边形表示始点图像和终点图像的关系，以及第m级和第m-1级的关系的图。
图4是表示参数η和能量Cf的关系的图。
图5(a)、图5(b)表示通过矢量积计算来求得与某点相关的映射是否满足全单射条件的情况。
图6是表示前提技术的整体步骤的流程图。
图7是表示图6中S1详情的流程图。
图8是表示图7中S10详情的流程图。
图9是表示第m级图像的一部分和第m-1级图像的一部分的对应关系的图。
图10是表示由前提技术生成的始点层级图像的图。
图11是表示在进入图6的S2之前，准备匹配评价的步骤的图。
图12是表示图6中S2详情的流程图。
图13是表示在第0级中确定副映射情况的图。
图14是表示在第1级中确定副映射情况的图。
图15是表示图12中S21详情的流程图。
图16表示对于某个f(m，s)，与改变λ而求得的f(m，s)(λ＝iΔλ)对应的能量C(m，s)f的行为。
图17表示与改变η而求得的f(n)(η＝iΔη)(i＝0，1，...)对应的能量C(n)f的行为。
图18是表示在改良后的前提技术中求取第m级中的副映射的流程图。
图19是实施形式的电视电影变换装置的结构图。
图20是表示图19的装置的第1模式的处理的图。
图21是表示图19的装置的第2模式的处理的图。
具体实施例方式
首先，作为“前提技术”，详细说明在实施形式中利用的多重分辨率奇异点滤波器技术和使用了该技术的图像匹配。这些技术是本申请人已经获得了日本专利第2927350号的技术，最适于与本发明进行组合。但是，可在实施形式中采用的图像匹配技术并不限于此。在图19以后，具体说明利用了前提技术的图像处理技术。
开始，在[1]中详细说明前提技术的关键技术，在[2]中具体说明处理步骤。进而在[3]中对基于前提技术加以改良的各点进行描述。
关键技术的详细情况[1.1]引论引入被称为奇异点滤波器的新的多重分辨率滤波器，正确计算图像间的匹配。一概不需要有关对象的予备知识。图像间匹配的计算，在进入分辨率的层级间，各分辨率进行计算。这时，按从粗级到精细级的顺序逐步提高分辨率的层级。计算所需要的参数，通过与人的视觉系统相似的动态计算，可完全自动地进行设定。不需要由人员特定图像间的对应点。
本前提技术，可以应用于例如完全自动的变形(morphing)、物体识别、立体照片测量、体绘制、从较少的帧生成平滑的动态图像等。用于变形(morphing)时，可以把给予的图像自动变形。用于体绘制时，可以正确地重新构建出断面间的中间图像。在断面间的距离较远，断面的形状变化较大的情况下也是一样。
奇异点滤波器的层级前提技术中的多重分辨率奇异点滤波器，虽然降低了图像分辨率，但能够保存图像所包含的各奇异点的亮度和位置。这里把图像的宽度设为N，高度设为M。以下为了简单起见，假设N＝M＝2n(n为自然数)。另外，把区间
∈R记述为I。将(i，j)中的图像的像素记述为p(i，j)(i，j∈I)。
这里引入多重分辨率的层级。层级化后的图像组用多重分辨率滤波器来生成。多重分辨率滤波器，对原来的图像进行二维搜索，检测奇异点，抽取检测到的奇异点，生成比原来图像的分辨率更低的其他图像。这里，将第m级中的各图像的尺寸设为2m×2m(0≤m≤n)。奇异点滤波器按n减小的方向递归地构成如下4种新的层级图像。
p(i,j)(m,0)=min(min(p(2i,2j)(m+1,0),p(2i,2j+1)(m+1,0)),min(p(2i+1,2j)(m+1,0),p(2i+1,2j+1)(m+1,0)))]]>p(i,j)(m,1)=max(min(p(2i,2j)(m+1,1),p(2i,2j+1)(m+1,1)),min(p(2i+1,2j)(m+1,1),p(2i+1,2j+1)(m+1,1)))]]>p(i,j)(m,2)=min(max(p(2i,2j)(m+1,2),p(2i,2j+1)(m+1,2)),max(p(2i+1,2j)(m+1,2),p(2i+1,2j+1)(m+1,2)))]]>p(i,j)(m,3)=max(max(p(2i,2j)(m+1,3),p(2i,2j+1)(m+1,3)),max(p(2i+1,2j)(m+1,3),p(2i+1,2j+1)(m+1,3)))]]>但是这里设为(式1)p(i,j)(n,0)=p(i,j)(n,1)=p(i,j)(n,2)=p(i,j)(n,3)=p(i,j)]]>(式2)以后把这4个图像称为副图像(子图像)。如果将minx≤1≤x+1、maxx≤t≤x+1分别记为α和β，则副图像可以分别记述如下。
P(m，0)＝α(x)α(y)p(m+1，0)P(m，1)＝α(x)β(y)p(m+1，1)P(m，2)＝β(x)α(y)p(m+1，2)P(m，3)＝β(x)β(y)p(m+1，3)即，可以把这些考虑成α和β的张量积。副图像分别与奇异点相对应。由这些公式可知，奇异点滤波器对原来的图像，按每个以2×2像素构成的块来检测奇异点。这时，在各块的两个方向，即纵向和横向中，搜索具有最大像素值或最小像素值的点。作为像素值，前提技术采用的是亮度，但也可以采用与图像有关的各种数值。在两个方向上都成为最大像素值的像素，作为极大点来检测；在两个方向上都成为最小像素值的像素，作为极小点来检测；在两个方向的一个方向上成为最大像素值，并且在另一个方向上成为最小像素值的像素，作为鞍点来检测。
奇异点滤波器通过用在各块内部检测出的奇异点图像(这里为1个像素)代表该块的图像(这里为4个像素)，从而降低图像的分辨率。从奇异点的理论性观点出发，α(x)α(y)保存极小点，β(x)β(y)保存极大点，α(x)β(y)和β(x)α(y)保存鞍点。
开始时，对应取得匹配的始点(源)图像和终点(目标)图像分别施加奇异点滤波器处理，生成各自的一系列图像组，即始点层级图像和终点层级图像。始点层级图像和终点层级图像，与奇异点的种类相对应，各自生成4种。
之后，在一系统分辨率级中，取得始点层级图像和终点层级图像的匹配。首先，用p(m，0)取得极小点的匹配。然后，根据其结果，利用p(m，1)取得鞍点的匹配、利用p(m，2)取得其他鞍点的匹配。最后，利用p(m，3)取得极大点的匹配。
图1(c)和图1(d)分别表示图1(a)和图1(b)的副图像p(5，0)。同样，图1(e)和图1(f)表示p(5，1)、图1(g)和图1(h)表示p(5，2)、图1(i)和图1(j)表示p(5，3)。由这些图可知，通过副图像很容易取得图像特征部分的匹配。首先通过p(5，0)，眼睛变得明确。因为眼睛在脸中是亮度的极小点。根据p(5，1)，嘴变得明确。因为嘴的横向亮度较低。根据p(5，2)，头两侧的纵线变得明确。最后，根据p(5，3)，耳朵和脸颊最明亮的点变得明确。因为这些是亮度的极大点。
由于利用奇异点滤波器可以抽取图像的特征，所以通过比较例如用照相机拍摄的图像的特征和预先记录的几个对象的特征，就可以识别映在照相机中的被摄物体。
图像间映射的计算将始点图像的位置(i，j)的像素记为p(n)(i，j)，同样，将终点图像的位置(k，l)的像素记为q(n)(k，l)。设i j，k，l∈I。定义图像间映射的能量(后述)。该能量通过始点图像的像素的亮度和终点图像的对应像素的亮度的差、以及映射的平滑度来确定。开始，计算具有最小能量的p(m，0)和q(m，0)之间的映射f(m，0)p(m，0)→q(m，0)。基于f(m，0)，计算具有最小能量的p(m，1)、q(m，1)之间的映射f(m，1)。该过程一直持续到p(m，3)和q(m，3)之间的映射f(m，3)计算结束为止。将各映射f(m，i)(i＝0，1，2，...)称为副映射。为了方便计算f(m，i)，i的顺序可以如下式那样重新排列。需要进行重新排列的理由将在后面说明。
f(m，i)p(m，σ(i))→q(m，σ(i))(式3)这里，σ(i)∈{0，1，2，3}。
全单射用映射来表现始点图像和终点图像间的匹配时，该映射必须满足两图像间的全单射条件。因为两图像不存在概念上的优劣，相互的像素应该以全射且单射来连接。但是，与通常的情况不同，这里应建立的映射为全单射的数字版。在前提技术中，像素通过网格点来确定。
从始点副图像(针对始点图像设定的副图像)向终点副图像(针对终点图像设定的副图像)映射通过f(m，s)I/2n-m×I/2n-m→I/2n-m×I/2n-m(s＝0，1，...)来表示。这里，f(m，s)(i，j)＝(k，l)表示始点图像p(m，s)(i，j)被映射到终点图像q(m，s)(k，l)。为了简单简单起见，在f(i，j)＝(k，l)成立时，将像素q(k，l)记述为qf(i，j)。
如用前提技术所处理的像素(网格点)那样，在数据是离散的情况下，全单射的定义就很重要。这里按如下所示进行定义(设i，i’，j，j’，k，l全部为整数)。首先，考虑在始点图像的平面中由R标示的各正方形区域p(i,j)(m,s)p(i+1,j)(m,s)p(i+1,j+1)(m,s)p(i,j+1)(m,s)]]>(式4)(i＝0，...，2m-1、j＝0，...，2m-1)。这里，R的各边(edge)的方向如下所示来确定。

该正方形必须通过映射f映射到终点图像平面中的四边形上。通过f(m，s)(R)表示的四边形qj(i,j)(m,s)qj(i+1,j)(m,s)qf(i+1,j+1)(m,s)qf(i+1,j+1)(m,s)]]>(式6)必须满足以下的全单射条件。
1.四边形f(m，s)(R)的边互不交差。
2.f(m，s)(R)的边的方向与R的相等(图2时，按顺时针方向)。
3.作为放宽条件，允许收缩映射(收缩映射retractions)。
因为只要不设置某种放宽条件，只有单位映射能够完全满足全单射条件。这里，f(m，s)(R)的一边长度可以为0，也就是说f(m，s)(R)可以成为三角形。但是，不能成为面积为0的图形，即不能成为1点或1条线。图2(R)为原来的四边形时，图2(A)和图2(D)满足全单射条件，但图2(B)、图2(C)、图2(E)不满足。
在实际的实施中，可以进一步增加以下的条件，使得容易保证映射是全射。这就是说，始点图像的边界上的各像素，被投影为在终点图像中占据相同位置的像素。也就是说，f(i，j)＝(i，j)(但是在i＝0，i＝2m-1，j＝0，j＝2m-1的4条线上)。下面也将该条件称为“付加条件”。
映射的能量[1.3.2.1]关于像素的亮度的负荷(cost)定义映射f的能量。目的是搜寻能量最小的映射。能量主要由始点图像的像素的亮度和与此对应的终点图像的像素的亮度的差来确定。也就是说，映射f(m，s)的点(i，j)的能量C(m，s)(i，j)通过下式来确定。
C(i,j)(m,s)=|V(p(i,j)(m,s))-V(qf(i,j)(m,s))|2]]>(式7)这里，V(p(m，s)(i，j))和V(q(m，s)f(i，j))分别是像素p(m，s)(i，j)和q(m，s)f(i，j)的亮度。f的总的能量C(m，s)是评价匹配的一个评价式，可以用如下所示的C(m，s)(i，j)的求和计算来定义。
Cf(m,s)=Σi=0i=2m-1Σj=0j=2m-1C(i,j)(m,s)]]>(式8)[1.3.2.2]关于为进行平滑映射的像素位置的价值为了得到平滑的映射，引入与映射相关的其他能量Df。该能量与像素的亮度无关，由p(m，s)(i，j)和q(m，s)f(i，j)的位置来确定(i＝0，...，2m-1，j＝0，...，2m-1)。点(i，j)中的映射f(m，s)的能量D(m，s)(i，j)通过下式来定义。
D(i,j)(m,s)=ηE0(i,j)(m,s)+E1(i,j)(m,s)]]>(式9)但是，系数参数η是最小为0的实数，另外，设E0(i,j)(m,s)=||(i,j)-f(m,s)(i,j)||2]]>(式10)E1(i,j)(m,s)=Σi′=i-1iΣj′=j-1j||(f(m,s)(i,j)-(i,j))-(f(m,s)(i′,j′)-(i′,j′))||2/4]]>这里||(x,y)||=x2+y2]]>(式11)(式12)对于i’＜0和j’＜0，f(i’，j’)确定为0。E0用(i，j)和f(i，j)的距离来确定。E0防止像素投影到过分远离的像素。但是，E0在后面用其他能量函数来替换。E1保证映射的平滑度。E1表示P(i，j)的位移和其相邻点位移之间的间隔。根据以上讨论，作为评价匹配的其他评价式的能量Df通过下式来确定。
Df(m,s)=Σi=0i=2m-1Σj=0j=2m-1D(i,j)(m,s)]]>(式13)[1.3.2.3]映射的总能量映射的总能量、即与多个评价式的综合相关的综合评价式用λC(m，s)f+D(m，s)f来定义。这里，系数参数λ是最小为0的实数。目的在于，检测出综合评价式取极值的状态，即找出给予下式所示的最小能量的映射。
minfλCf(m,s)+Df(m,s)]]>(式14)λ＝0和η＝0时，要注意映射将变成单位映射(也就是说，对于所有的i＝0，...，2m-1以及j＝0，...，2m-1，f(m，s)(i，j)＝(i，j))。如后面所述，在本前提技术中先评价λ＝0和η＝0时的情况，所以可以使映射从单位映射慢慢变形。假如改变综合评价式中λ的位置而定义为C(m，s)f+λD(m，s)f，则在λ＝0和η＝0的情况下，综合评价式仅为C(m，s)f，本来没有任何关联的像素之间单纯因为亮度接近而被赋予对应关系，映射变得没有意义。即使以这种无意义的映射为基础使映射变形，也完全没有意义。因此，要考虑系数参数的给出方法，使得单位映射在评价的开始时刻，被选择作为最佳的映射。
光流(optical flow)也与该前提技术一样，要考虑像素的亮度差和平滑度。但是，光流不能用来进行图像的变换。因为其只考虑对象的局部运动。通过使用前提技术中的奇异点滤波器，可以检测出大区域的对应关系。
通过引入多重分辨率确定映射给予最小能量，用多重分辨率的层级来求得满足全单射条件的映射fmin。在各分辨率级中计算始点副图像和终点副图像间的映射。从分辨率层级的最上位(最粗的级)开始，考虑其他级映射的同时确定各分辨率级的映射。各级中的映射的候选数，通过使用更高、即更粗级的映射来加以限制。更具体说，在确定某级中的映射时，在比其更粗一级的级中求得的映射作为一种约束条件来使用。
首先，(i′,j′)=([i2],[j2])]]>(式15)成立时，将p(m-1，s)(i’，j’)、q(m-1，s)(i’，j’)分别称作p(m，s)(i，j)、q(m，s)(i，j)的parent。[x]为不超过x的最大整数。另外，将p(m，s)(i，j)、q(m，s)(i，j)分别称作p(m-1，s)(i’，j’)、q(m-1，s)(i’，j’)的child。函数parent(i，j)由下式定义。
parent(i,j)=([i2],[j2])]]>(式16)p(m，s)(i，j)和q(m，s)(k，l)之间的映射f(m，s)通过进行能量计算，找出最小值来确定。f(m，s)(i，j)＝(k，l)的值通过使用f(m-1，s)(m＝1，2，...，n)，如下所示来确定。首先，对q(m，s)(k，l)课以必须满足在下面的四边形内部这一条件，并筛选出满足全单射条件的映射中现实性较高的。
qg(m,s)(i-1,j-1)(m,s)qg(m,s)(i-1,j+1)(m,s)qg(m,s)(i+1,j+1)(m,s)qg(m,s)(i+1,j-1)(m,s)]]>(式17)但这里是g(m，s)(i，j)＝f(m-1，s)(parent(i，j))+f(m-1，s)+(parent((i，j)+(1，1)))(式18)。下面，将这样确定的四边形称为p(m，s)(i，j)的继承(inherited)四边形。在继承四边形的内部，求出使能量最小的像素。
图3表示以上的步骤。在该图中，始点图像A、B、C、D的像素，在第m-1级中分别向终点图像的A’、B’、C’、D’投影。像素p(m，s)(i，j)必须向存在于继承四边形A’B’C’D’内部的像素q(m，s)f(m)(i，j)投影。根据以上的考虑，从第m-1级的映射向第m级的映射进行搭桥。
为了计算第m层级中副映射f(m，0)，将前面定义的能量E0替换为下式。
E0(i,j)=||f(m,0)(i,j)-g(m)(i,j)||2]]>(式19)另外，为了计算副映射f(m，s)，使用下式。
E0(i,j)=||f(m,s)(i,j)-f(m,s-1)(i,j)||2(1≤i)]]>(式20)这样，就得到了将所有副映射的能量保持较低值的映射。通过式20，使与不同的奇异点相对应的副映射，在同一级内相关联，以使多个副映射之间的近似度增高。式19表示f(m，s)(i，j)，与考虑为第m-1层级像素的一部分的(i，j)应被投影的点的位置之间的距离。
假定继承四边形A’B’C’D’的内部不存在满足全单射条件的像素，则采取以下措施。首先，检查与A’B’C’D’分界线的距离为L(开始时L＝1)的像素。其中，如果能量最小的满足全单射条件，则将其选择为f(m，s)(i，j)的值。一直增大L，直到发现这样的点，或者L到达其上限L(m)max。L(m)max对于各级m是固定的。如果完全没有发现这样的点，则暂时忽略全单射的第3条件，认为是变换目标的四边形的面积为零的映射，确定f(m，s)(i，j)。这样仍不能发现满足条件的点时，则将全单射的第1和第2条件予以剔除。
为了避免映射被图像细部所影响，并确定图像间全局的对应关系，使用多重分辨率的近似法是必须的。如果采用利用多重分辨率的近似法，则不能找出距离较远的像素间的对应关系。在这种情况下，必须将图像的尺寸限制到极小，只能处理变化小的图像。而且，因为对通常映射要求平滑度，就难以找出这种像素间的对应关系。因为从有距离的像素向像素的映射能量较高。根据利用多重分辨率的近似法，就可以找出这种像素间适当的对应关系。因为它们的距离，在分辨率层级的上位级(粗级)中较小。
最佳参数值的自动确定已有的匹配技术的主要缺点之一就是调整参数比较困难。大部分情况下，通过人工作业来调整参数，选择最佳值极为困难。如果采用与前提技术相关的方法，则可以完全地自动确定最佳参数值。
前提技术的系统包含有两个参数λ和η。简言之，λ是像素亮度差的权重，η表示映射的刚性。这些参数的值，初始值为0，首先固定η＝0，将λ从0开始慢慢增加。如果λ值变大，而综合评价式(式14)的值成为最小，那么与各副映射有关的C(m，s)f值一般情况下会变小。这一现象意味着基本上两个图像必须更加匹配。但是，如果λ超过最佳值，则会发生以下的现象。
1.本来不应该对应的像素之间，只因为亮度接近而被错误地进行对应。
2.其结果，像素之间的对应关系发生错误，映射开始崩溃。
3.其结果，在式14中D(m，s)f将急剧增加。
4.其结果，由于式14的值急剧增加，所以f(m，s)发生变化，使得抑制D(m，s)f的急剧增加，结果C(m，s)f增加。
因此，继续维持增加λ的同时式14取最小值这一状态，检测C(m，s)f从减少转为增加的阀值，该λ作为η＝0时的最佳值。然后，一点点地增加η，检查C(m，s)f的变化，用后述方法自动确定η。与该η相对应，也确定λ。
该方法与人视觉系统的焦点机构动作相似。在人的视觉系统中，一只眼睛在动时，左右两眼的图像同时获得匹配。当能够清晰地看到对象时，该眼睛就被固定。
λ的动态确定将λ从0开始以预定的步幅增加，每当λ的值变化时，副映射就被评价。如式14所示，总能量由λC(m，s)f+D(m，s)f来定义。式9的D(m，s)f表示的是平滑度，理论上来讲，如果是单位映射就成为最小，映射越偏斜，E0、E1都将增加。由于E1是整数，所以D(m，s)f的最小步幅为1。因此，如果当前的λC(m，s)(i，j)的变化(减少量)不高于1，则通过使映射变化，就可以减少总能量。这是因为，随着映射的变化，D(m，s)f至少增加1，只要λC(m，s)(i，j)不减少1或1以上，总能量就不会减少。
在此条件下，随着λ的增加，正常情况下表示C(m，s)(i，j)减少。将C(m，s)(i，j)的直方图记为h(l)。h(l)是能量C(m，s)(i，j)为l2的像素数。为了保证λl2≥1成立，可以考虑例如l2＝l/λ的情况。在λ从λ1至λ2微量变化时，用 (式21)表示的A个像素，变化为比具有Cf(m,s)-l2=Cf(m,s)-1λ]]>(式22)能量更稳定的状态。这里假定这些像素的能量全都近似为零。该式表示C(m，s)f的值仅变化∂Cf(m,s)=-Aλ]]>(式23)
，其结果，∂Cf(m,s)∂λ=-h(l)λ5/2]]>(式24)成立。由于h(l)＞0，所以通常C(m，s)f减少。但是，当λ要超过最佳值时，就会发生上述现象，即C(m，s)f增加。通过检测该现象，确定λ的最佳值。
另外，当H(h＞0)和k假定为常数时，如果假设h(l)=Hlk=Hλk/2]]>(式25)则∂Cf(m,s)∂λ=-Hλ5/2+k/2]]>(式26)成立。这时如果k≠-3，则变为Cf(m,s)=C+H(3/2+k/2)λ3/2+k/2]]>(式27)。这是C(m，s)f的一般式(C为常数)。
在检测λ的最佳值时，为保险起见，也可以检查不符合全单射条件的像素数。这里，在确定各像素的映射时，假设不符合全单射条件的概率为p0。在这种情况下，由于∂A∂λ=h(l)λ3/2]]>(式28)成立，所以不符合全单射条件的像素数按下式的比率增加。
B0=h(l)p0λ3/2]]>(式29)因此，
B0λ3/2p0h(l)=1]]>(式30)为常数。在假定h(l)＝Hlk时，例如B0λ3/2+k/2＝p0H (式31)成为常数。但是，一旦λ超过最佳值，上面的值会急速增加。检测该现象，检查B0λ3/2+k/2/2m的值是否超过异常值B0thres，，可以确定λ的最佳值。同样，通过检查B1λ3/2+k/2/2m的值是否超过异常值B1thres，确认不符合全单射的第3条件的像素的增加率B1。引入因数2m的原因将在后面说明。该系统对这两个阀值都不敏感。这些阀值可以在能量C(m，s)f的观察中用于检测受损映射的过度偏斜。
但是，在实验中，在计算副映射f(m，s)时，如果λ超过了0.1，就停止f(m，s)的计算，转至f(m，s+1)的计算。因为当λ＞0.1时，在像素的亮度255级中仅有“3”的差异影响到副映射的计算，而当λ＞0.1时，难以得到正确的结果。
直方图h(l)C(m，s)f的检查不依赖于直方图h(l)。在检查全单射和其第3条件时，可能影响到h(l)。实际上对(λ，C(m，s)f)作图后，k通常在1附近。实验中采用k＝1，检查B0λ2和B1λ2。假如k的真正值不足1，则B0λ2和B1λ2不为常数，而是随因数λ(1-k)/2慢慢增加。如果h(l)为常数，则例如因数则为λ1/2。但是，可以通过正确设定阀值B0thres来吸收此差这里，如下式所示，假设始点图像是以(x0，y0)为中心，半径为r的圆形对象。
p(i,j)=255rc((i-x0)2+(j-y0)2)((i-x0)2+(j-y0)2≤r)0(otherwise)]]>(式32)另一方面，假设终点图像是如下式所示的中心为(x1，y1)、半径为r的对象。
q(i,j)=255rc((i-x1)2+(j-y1)2)((i-x1)2+(j-y1)2≤r)0(otherwise)]]>(式33)这里，假设c(x)为c(x)＝xk的形式。中心(x0，y0)和(x1，y1)充分远时，直方图h(l)如下式所示。
h(l)∝rlk(k≠0)(式34)当k＝1时，图像表示具有被埋在背景中的鲜明的分界线的对象。该对象中心较暗，向周围延伸越来越明亮。当k＝-1时，图像表示具有模糊的分界线的对象。该对象中心最亮，向周围延伸越来越暗。考虑一般的对象处于这两种类型的对象的中间，不丧失一般性。因此，k作为-1≤k≤1时可覆盖大部分情况，保证式27一般为减函数。
但是，从式34可知，r受图像的分辨率影响。也就是说应该注意r与2m成比例。因此，在[1.4.1]中引入因数2m。
η的动态确定参数η也可用同样的方法自动确定。开始时设η＝0，计算最细分辨率中的最终映射f(n)和能量C(n)f。接着，使η仅增加某个值Δη，再重新计算最细分辨率中的最终映射f(n)和能量C(n)f。这一过程持续到求出最佳值。η表示映射的刚性。这是因为下式的权重的缘故。
E0(i,j)(m,s)=||f(m,s)(i,j)-f(m,s-1)(i,j)||2]]>(式35)η为0时，D(n)f与之前的副映射无关地进行确定，当前的副映射发生弹性变形，过度偏斜。另一方面，当η为非常大的值时，D(n)f几乎完全由之前的副映射确定。这时副映射的刚性非常高，像素被投影到相同地方。结果，映射成为单位映射。η的值从0开始递增时，如后面所述那样，C(n)f慢慢减少。但是，η值超过最佳值后，如图4所示那样，能量开始增加。该图的X轴为η，Y轴为Cf。
利用这种方法可以得到使C(n)f最小的最佳的η值。但是，与λ的情况相比，各种要素对计算产生影响的结果，C(n)f呈现微小的波动地进行变化。因为在λ的情况下，输入每进行微量变化，就仅重新计算1次副映射，而在η的情况下，要重新计算所有的副映射。因此，无法立即判断所得到的C(n)f值是否是最小值。如果找到最小值的候选，还必须通过设定更细的区间，来搜索真正的最小值。
超级取样在确定像素间的对应关系时，为了增加自由度，可以将f(m，s)的值域扩展到R×R(R为实数集合)。在这种情况下，插值终点图像像素的亮度，提供具有非整数点V(qf(m,s)(i,j)(m,s))]]>(式36)中的亮度的f(m，s)。即进行超级取样。在实验中，允许f(m，s)取整数和半整数值，V(q(i,j)+(0.5,0.5)(m,s))]]>(式37)是由(V(q(i,j)(m,s))+V(q(i,j)+(1,1)(m,s)))/2]]>(式38)给予的。
各图像的像素的亮度的归一化当始点图像和终点图像包含极为不同的对象时，计算映射时难以就此利用原来像素的亮度。这是因为，由于亮度差很大，所以与亮度相关的能量C(m，s)f过大，很难做出正确的评价。
例如，考虑获取人的脸和猫的脸相匹配的情况。猫的脸被毛所覆盖，非常亮的像素和非常暗的像素混杂在一起。在这种情况下，为了计算两个脸之间的副映射，首先要使副图像归一化。也就是说，最暗像素的亮度设定为0，最亮像素的亮度设定为255，其他像素的亮度通过线性插值来求得。
实施(implementation)按照始点图像的扫描，计算采用线性进行的归纳式方法。首先，关于最上边左端的像素(i，j)＝(0，0)，确定f(m，s)的值。然后，使I每增加1，就确定各f(m，s)(i，j)的值。当i的值达到图像的宽度时，使j的值增加1，i返回0。以后，随着始点图像的扫描，确定f(m，s)(i，j)。如果对于所有的点都确定了像素的对应，则确定一个映射f(m，s)。
对于某p(i，j)，如果确定了对应点qf(i，j)，则接下来p(i，j+1)的对应点qf(i，j+1)也被确定。此时，qf(i，j+1)的位置为了满足全单射条件，被qf(i，j)的位置所限制。因此，越是先确定对应点的点，在该系统中优先级就越高。(0，0)总是持续处于最优先的状态下时，对所求得的最终映射施加多余的偏向。在本前提技术中为了避免此状态，通过以下方法来确定f(m，s)。
首先，(s mod 4)为0时，以(0，0)为始点，慢慢增加I和j的同时确定f(m，s)。(s mod 4)为1时，以最上行的右端点为始点，减少i、增加j的同时确定f(m，s)。(s mod 4)为2时，以最下行的右端点为始点，减少I和j的同时确定f(m，s)。(s mod 4)为3时，以最下行的左端点为始点，增加i、减少j的同时确定f(m，s)。在分辨率最细的第n级中，由于副映射这一概念，即参数s不存在，则假定s＝0和s＝2，连续计算两个方向。
在实际实施中，通过对不符合全单射条件的候选给予惩罚，而从候选(k，l)当中尽可能选出满足全单射条件的f(m，s)(i，j)(m＝0，...，n)值。对不符合第3条件的候选的能量D(k，l)乘以，另一方面，对不符合第1或第2条件的候选乘以ψ。本次使用了＝2，ψ＝100000。
为了检查上述全单射条件，作为实际过程，在确定(k，l)＝f(m，s)(i，j)时，进行了以下的测试。也就是说对f(m，s)(i，j)的继承四边形所包含的各网格点(k，l)，确认下式的外积的z成分是否大于等于0。
W=A→×B→]]>(式39)但是这里是
(式40) (式41)(这里，矢量为三维矢量，在正交右手座标系中定义z轴)。如果W为负，则对于其候选，通过D(m，s)(k，1)乘以ψ来施加惩罚，尽量不选择。
图5(a)，图5(b)表示检查该条件的理由。图5(a)表示无惩罚的候选，图5(b)表示有惩罚的候选。在确定对相邻像素(i，j+1)的映射f(m，s)(i，j+1)时，如果W的z成分为负，则在始点图像平面上不存在满足全单射条件的像素。原因是，q(m，s)(k，l)超过了相邻的四边形的边界线。
副映射的顺序在实施中，分辨率级为偶数时，使用σ(0)＝0，σ(1)＝1，σ(2)＝2，σ(3)＝3，σ(4)＝0，为奇数时使用σ(0)＝3，σ(1)＝2，σ(2)＝1，σ(3)＝0，σ(4)＝3。由此，对副映射进行了适当的混洗(shuffle)。另外，本来副映射为4种，s为0～3的某一个。但是，实际上进行了相当于s＝4的处理。其理由将于后面说明。
插值计算始点图像和终点图像间的映射被确定后，插值相互对应的像素的亮度。实验中采用了试行线性插值。假设始点图像平面中的正方形p(i，j)p(i+1，j)p(i，j+1)p(i+1，j+1)被投影到终点图像平面上的四边形qf(i，j)qf(i+1，j)qf(i，j+1)qf(i+1，j+1)。为了简单起见，将图像间的距离设为1。距始点图像平面的距离为t(0≤t≤1)的中间图像的像素r(x，y，t)(0≤x≤N-1，0≤y≤M-1)按以下的方法来求得。首先，用下式求出像素r(x，y，t)的位置(但是x，v，t∈R)。(x，y)＝(1-dx)(1-dy)(1-t)(i，j)+(1-dx)(1-dy)tf(i，j)+dx(1-dy)(1-t)(i+1，j)+dx(1-dy)tf(i+1，j)+(1-dx)dy(1-t)(i，j+1)+(1-dx)dytf(i，j+1)+dxdy(1-t)(i+1，j+1)+dxdytf(i+1，j+1)(式42)接着用下式确定r(x，y，t)中的像素的亮度。V(r(x，y，t))＝(1-dx)(1-dy)(1-t)V(p(i，j))+(1-dx)(1-dy)tV(qf(i，j))+dx(1-dy)(1-t)V(p(i+1，j))+dx(1-dy)tV(qf(i+1，j))+(1-dx)dy(1-t)V(p(i，j+1))+(1-dx)dytV(qf(i，j+1))+dxdy(1-t)V(p(i+1，j+1))+dxdytV(qf(i+1，j+1))(式43)这里dx和dy为参数，从0到1变化。
课以约束条件时的映射至此说明了完全不存在约束条件时的映射的确定。但是，在对始点图像和终点图像的特定像素间预先规定了对应关系时，可以将此作为约束条件而确定映射。
基本思路是，首先，通过将始点图像的特定像素转移到终点图像的特定像素这一粗略的映射，使始点图像粗略变形，然后，正确计算映射f。
首先，确定将始点图像的特定像素投影到终点图像的特定像素、将始点图像的其他像素投影到适当的位置的粗略的映射。即，是接近特定像素的像素被投影到该特定像素所投影的地方附近的映射。这里将第m级的粗略的映射记为F(m)。
粗略的映射F按以下方法来确定。首先，对几个像素特定映射。在对始点图像特定ns个像素p(i0,j0),p(i1,j1),...,p(ins-1,jns-1)]]>(式44)时，确定以下的值。
F(n)(i0，j0)＝(k0，l0)，F(n)(i1，j0)＝(k1，l1)，...，F(n)(ins-1,jns-1)=(kns-1,lns-1)]]>(式45)始点图像的其他像素的位移量是对p(ih，jh)(h＝0，...，ns-1)的位移加权求得的平均值。也就是说，像素p(i，j)影到终点图像的以下像素。
F(m)(i,j)=(i,j)+Σh=0h=ns-1(kh-ih,lh-jh)weighth(i,j)2n-m]]>(式46)但是这里设weighth(i,j)=1/||(ih-i,jh-j)||2total weight(i,j)]]>(式47)total weight(i,j)=Σh=0h=ns-11/||(ih-i,jh-j)||2]]>(式48)接下来，为了使接近F(m)候选映射f拥有更少的能量，改变该映射f的能量D(m，s)(i，j)。正确地说，D(m，s)(i，j)是D(i,j)(m,s)=E0(i,j)(m,s)+ηE1(i,j)(m,s)+κE2(i,j)(m,s)]]>(式49)。但是， (式50)，设κ，ρ≥0。最后，根据上述映射的自动计算过程，完全确定f。
这里，f(m，s)(i，j)与F(m)(i，j)充分接近时，也就是说，它们之间的距离在[ρ222(n-m)]]]>(式51)以内时，应该注意E2(m，s)(i，j)成为0。这样定义的理由是，只要各f(m，s)(i，j)与F(m)(i，j)充分接近，就想自动确定其值，使得在终点图像中能落在适当的位置。根据这一理由，无须详细特定正确的对应关系，始点图像被自动映射地与终点图像相匹配。
具体的处理步骤说明由[1]的各关键技术进行的处理的流程。
图6为表示前提技术整体步骤的流程图。如该图所示，首先进行使用了多重分辨率奇异点滤波器的处理(S1)，接着获得始点图像和终点图像的匹配(S2)。但是，S2并不是必须的步骤，也可以根据由S1得到的图像特征进行图像识别等处理。
图7为表示图6中的S1的详情的流程图。这里是以在S2中获得始点图像和终点图像的匹配为前提的。为此，首先通过奇异点滤波器进行始点图像的层级化(S10)，得到一系列始点层级图像。接着用同样的方法进行终点图像的层级化(S11)，得到一系列终点层级图像。但是，S10和S11的顺序是任意的，也可以并行生成始点层级图像和终点层级图像。
图8为表示图7中的S10详情的流程图。假设原来的始点图像的尺寸是2n×2n。因为始点层级图像是按照从分辨率细开始的顺序制作的，所以将表示处理对象的分辨率级的参数m设定为n(S100)。接下来，用奇异点滤波器从第m级的图像p(m，0)、p(m，1)、p(m，2)、p(m，3)中检测出奇异点(S101)，分别生成第m-1级的图像p(m-1，0)、p(m-1，1)、p(m-1，2)、p(m-1，3)(S102)。这里，由于m＝n，所以p(m，0)＝p(m，1)＝p(m，2)＝p(m，3)＝p(n)，从一个始点图像生成4种副图像。
图9表示第m级图像的一部分和第m-1级图像的一部分的对应关系。该图的数值表示各像素的亮度。该图的p(m，s)是象征p(m，0)～p(m，3)的4个图像的，在生成p(m-1，0)时，认为p(m，s)是p(m，0)。根据[1.2]中所示的规则，例如对于该图内记载了亮度的块，其中包含的4个像素中，p(m-1，0)取得“3”，p(m-1，1)取得“8”，p(m-1，2)取得“6”，p(m-1，3)取得“10”，用各自取得的一个像素来置换该块。所以，第m-1级的副图像的尺寸为2m-1×2m-1。
接着，减少m(图8的S103)，确认m没有变为负值(S104)，返回S101，然后生成分辨率粗的副图像。这样反复处理的结果，在m＝0，即生成第0级副图像的时刻，S10结束。第0级副图像的尺寸为1×1。
图10对由S10生成的始点层级图像在n＝3时进行了例示。仅最初的始点图像通用于4个系列，以后根据奇异点的种类分别独立生成副图像。另外，图8的处理也与图7的S11是共通的，也经过同样的步骤生成终点层级图像。以上，由图6的S1进行的处理完成。
在前提技术中，为了进入到图6的S2，进行匹配评价的准备。图11表示该步骤。如该图所示，首先设定多个评价式(S30)。也就是在[1.3.2.1]中引入的与像素相关的能量C(m，s)f和在[1.3.2.2]中引入的与映射的平滑度相关的能量D(m，s)f。然后，归纳这些评价式建立综合评价式(S31)。也就是在[1.3.2.3]中引入的总能量λC(m，s)f+D(m，s)f，如果使用在[1.3.2.2]中引入的η，则成为∑∑(λC(m，s)(i，j)+ηE0(m，s)(i，j)+E1(m，s)(i，j))(式52)但是，对于i，j分别以0，1...，2m-1计算总和。则以上就完成了匹配评价的准备。
图12为表示图6的S2详情的的流程图。如[1]中所述，始点层级图像和终点层级图像，可在相互相同的分辨率级的图像之间取得匹配。为良好地取得图像间的全局匹配，按照从分辨率粗的级开始的顺序计算匹配。为了用奇异点滤波器生成始点层级图像和终点层级图像，奇异点的位置和亮度在分辨率的粗级中也要明确地保存，全局匹配的结果与过去相比要优异得多。
如图12所示，首先将系数参数η设为0，级参数m设为0(S20)。接下来，分别在始点层级图像中的第m级的4个副图像和终点层级图像中的第m级的4个副图像之间计算匹配，求出分别满足全单射条件，且使能量为最小的4种副映射f(m，s)(s＝0，1，2，3)(S21)。用[1.3.3]中所述的继承四边形来检查全单射条件。这时，如式17、18所示那样，第m级中的副映射因被第m-1级中的副映射所约束，所以顺序利用分辨率更粗的级中的匹配。这是不同级间的垂直参照。另外，当前m＝0，没有比它更粗的级，该例外处理将利用图13在后面说明。
另一方面，还进行同一级内的水平参照。如[1.3.3]的式20所示，f(m，3)类似于f(m，2)、f(m，2)类似于f(m，1)、f(m，1)类似于f(m，0)地进行确定。其理由是，尽管奇异点的种类不同，但既然它们原来都包含于相同的始点图像和终点图像，副映射完全不同这种情况就是不自然的。由式20可知，副映射相互之间越接近，能量就越小，匹配也越好。
而且，关于最初应该确定的f(m，0)，由于在同一级中没有可参照的副映射，所以如式19所示，参照粗一级的层级。但是，在实验中求到f(m，3)后，要进行将其作为约束条件、一次更新f(m，0)的步骤。这等同于将其s＝4代入式20中，将f(m，4)作为新的f(m，0)。这是为了避免f(m，0)和f(m，3)的关联度过低的倾向，通过该措施，实验结果变得更好。在该措施之上，实验中还进行了如[1.7.1]所示的副映射的正移(shuffle)。其目的是密切保持按本来奇异点的种类所确定的副映射的相互关联度。另外，为了避免依赖于处理开始点的偏向，按s的值来改变开始点位置，这一点如[1.7]中所述。
图1 3是表示在第0级中确定副映射的情况的图。由于在第0级中各副图像仅由一个像素构成，所以4个副映射f(0，s)全部自动确定为单位映射。图14是表示在第1级中确定副映射的情况的图。在第1级中副图像分别由4个像素构成。在该图中这4个像素用实线表示。现在，在q(1，s)中搜索p(1，s)的点x的对应点时，要按照以下的步骤进行。
1.用第1级的分辨率求出点x的左上点a，右上点b，左下点c，右下点d。
2.搜索点a～d在粗一级的层级中，即在第0级中所属的像素。在图14的情况下，点a～d分别属于像素A～D。但是，像素A～C是本来不存在的假想的像素。
3.在q(1，s)中绘出在第0级中已经求出的像素A～D的对应点A’～D’。像素A’～C’是假想的像素，是分别与像素A～C同一位置的像素。
4.像素A中的点a的对应点a’视为处于像素A’中，描绘点a’。这时，假定点a在像素A中所占的位置(在这种情况下为右下)和点a’在像素A’中所占的位置相同。
5.用与4相同的方法，描绘对应点b’～d’，用点a’～d’做出继承四边形。
6.搜索点x的对应点x’，使得在继承四边形中能量成为最小。作为对应点x’的候选，可以限定为例如像素的中心包含在继承四边形中的点。在图14的情况下，4个像素都成为候选。
以上为某个点x的对应点的确定步骤。对其他所有的点进行同样的处理，确定副映射。因为考虑到在第2级及其以上的级中，继承四边形的形状会逐渐崩溃，所以如图3所示，发生像素A’～D’空出间隔的状况。
这样，如果确定了某第m级的4个副映射，则使m增加(图12的S22)，确认m没有超过n(S23)，返回S21。下面，每当返回到S21，就求出逐渐变细的分辨率级的副映射，最后返回到S21时确定第n级的映射f(n)。由于该映射是关于η＝0而确定的，所以写作f(n)(η＝0)。
然后使η仅改变Δη，对m清零(S24)，使得求出与不同η相关的映射。确认新的η未超过预定的搜索停止值ηmax(S25)，返回到S21，就本次的η求出映射f(n)(η＝Δη)。反复进行该处理，在S21中求出f(n)(η＝iΔη)(i＝0，1，...)。当η超出ηmax时进入到S26，通过后述的方法确定最合适的η＝ηopt，将f(n)(η＝ηopt)最终设为映射f(n)。
图15为表示图12的S21详情的流程图。根据该流程图，对于某个确定的η，确定第m级中的副映射。确定副映射时，在前提技术中对每个副映射独立确定最佳λ。
如该图所示，首先将s和λ清零(S210)。然后，对此时的λ(以及隐藏的η)求出使能量最小的副映射f(m，s)(S211)，将其写作f(m，s)(λ＝0)。为求出与不同的λ相关的映射，将λ只变化Δλ，确认新的λ未超出预定的搜索停止值λmax(S213)，返回到S211，在以后的反复处理中求出f(m，s)(λ＝iΔλ)(i＝0，1，...)。λ超过λmax时进入到S214，确定最合适的λ＝λopt，将f(m，s)(λ＝λopt)最终设为映射f(m，s)(S214)。
然后，为求出同一级中其他副映射，将λ清零，使s增量(S215)。确认s没有超过4(S216)，返回S211。如果s＝4，则如上所述，利用f(m，3)更新f(m，0)，结束该级中的副映射的确定。
图16表示对于某m和s，与改变λ的同时求出的f(m，s)(λ＝iΔλ)(i＝0，1，...)相对应的能量C(m，s)f的变动。如[1.4]中所述，λ增加时，通常C(m，s)f会减少。但是，当λ超过最佳值后，C(m，s)f转而增加。因此，在本前提技术中，将C(m，s)f取极小值时的λ确定为λopt。如该图所示，在λ＞λopt的范围内即使C(m，s)f再次变小，由于在此时刻映射已经崩溃，没有意义了，所以只要关注最初的极小点即可。λopt对每个副映射独立进行确定，最后对f(n)也确定一个。
另一方面，图17表示与改变η的同时求出的f(n)(η＝iΔη)(i＝0，1，...)相对应的能量C(n)f的变动。这里同样，当η增加时，C(n)f通常会减少，但当η超过最佳值后，C(n)f转而增加。因此，将C(n)f取极小值时的η确定为ηopt。图17可以认为是扩大了图4的横轴的零附近的图。如果ηopt确定，则可以最终确定f(n)。
如上所述，利用本前提技术而获得各种样的好处。首先，因为没必要检测边，所以可以消除边检测类型的以往技术的课题。另外，也不需要对图像中所含有的对象的先验性的知识，实现了对应点的自动检测。使用奇异点滤波器，即使在分辨率较粗的级中也能够维持奇异点的亮度和位置，对对象识别、特征抽取、图像匹配极为有利。结果，能够建立大幅度减轻人工作业的图像处理系统。
另外，对于本前提技术，还可以考虑如下那样的变形技术。
(1)在前提技术中，在始点层级图像和终点层级图像间取得匹配时，进行了参数的自动确定，该方法不仅在层级图像间，在通常2幅图像间的匹配时也可以全面采用。
例如在两幅图像之间，将与像素的亮度的差相关的能量E0和与像素的位置偏差相关的能量E1二者作为评价式，将它们的线形和Etot＝αE0+E1作为综合评价式。关注该综合评价式的极值附近，自动确定α。也就是说，对于各种各样的α，求出Etot最小的映射。在这些映射中，关于α，将E1取极小值时的α定为最佳参数。将与该参数对应的映射视为两图像间的最终的最佳匹配。
此外，设定评价式还有许多方法，也可以象例如1/E1和1/E2那样，采用评价结果越良好就越取较大值的方法。综合评价式也未必一定是线性和，可以适当选择n次方和(n＝2，1/2，-1，-2等)、多项式、任意函数等。
参数也可以仅有α、或如前提技术中的η和λ两个的情况，或者更多的情况。当参数为大于等于3个时，使每一个变化而予以确定。
(2)在本前提技术中，确定映射使综合评价式的值最小后，检测构成综合评价式的一个评价式C(m，s)f成为极小的点，来确定参数。但是，取代这种两阶段处理，也可以根据情况，只使综合评价式的最小值达到最小而确定参数，也很有效。在这种情况下，例如可以将αE0+βE1作为综合评价式，设立α+β＝1的约束条件，采取平等使用各评价式等措施。因为自动确定参数的本质在于确定参数使能量达到最小。
(3)在前提技术中，在各分辨率级中生成与4种奇异点相关的4种副图像。但是，也可以选择性地采用4种中的1、2、3种。例如，如果图像中只存在一个亮点，则可以仅用与极大点有关的f(m，3)生成层级图像，应该也能得到相应的效果。在这种情况下，在同一级中不需要不同的副映射，所以有减少与s相关的计算量的效果。
(4)在本前提技术中，利用奇异点滤波器使级前进一个级后，像素变为1/4。例如可以采用以3×3作为1个块，在其中搜索奇异点的结构，在这种情况下，前进一个级时，像素变为1/9。
(5)始点图像和终点图像为彩色图像时，首先将其变换为黑白图像，然后计算映射。使用求得其结果的映射变换始点的彩色图像。作为此外的方法，也可以对RGB的各成分，计算副映射。
前提技术的改良点以上述前提技术为基础，提出了用于使匹配精度提高的几种改良。这里介绍其改良点。
考虑了颜色信息的奇异点滤波器和副图像为了有效利用图像的颜色信息，将奇异点滤波器进行如下所示的变更。首先，作为颜色空间，采用了据说最符合人的直觉的HIS。但在把颜色变换为亮度时，取代亮度I而选择了据说最接近人眼睛的灵敏度的亮度Y。
H=π2-tan-1(2R-G-R3(G-B))2π]]>I=R+G+B3]]>S=1-min(R,G,B)3]]>Y＝0.299×R+0.587×G+0.114×B(式53)这里将像素a中的Y(亮度)作为Y(a)，将S(色彩度)作为S(a)，定义如下记号。
αY(a,b)=a···(Y(a)≤Y(b))b···(Y(a)>Y(b))]]>βY(a,b)=a···(Y(a)≥Y(b))b···(Y(a)<Y(b))]]>βS(a,b)=a···(S(a)≥S(b))b···(S(a)<S(b))]]>(式54)使用上述定义准备以下5个滤波器。
p(i,j)(m,0)=βY(βY(p(2i,2j)(m+1,0),p(2i,2j+1)(m+1,0)),βY(p(2i+1,2j)(m+1,0),p(2i+1,2j+1)(m+1,0)))]]>p(i,j)(m,1)=αY(βY(p(2i,2j)(m+1,1),p(2i,2j+1)(m+1,1)),βY(p(2i+1,2j)(m+1,1),p(2i+1,2j+1)(m+1,1)))]]>p(i,j)(m,2)=βY(αY(p(2i,2j)(m-1,2),p(2i,2j+1)(m+1,2)),αY(p(2i+1,2j)(m+1,2),p(2i+1,2j+1)(m+1,2)))]]>p(i,j)(m,3)=αY(αY(p(2i,2j)(m+1,3),p(2i,2j+1)(m+1,3)),αY(p(2i+1,2j)(m+1,3),p(2i+1,2j+1)(m+1,3)))]]>p(i,j)(m,4)=βS(βS(p(2i,2j)(m+1,4),p(2i,2j+1)(m+1,4)),βS(p(2i+1,2j)(m+1,4),p(2i+1,2j+1)(m+1,4)))]]>(式55)其中上数第4个滤波器与改良前的前提技术中的滤波器几乎相同，一边留住颜色信息一边保存亮度的奇异点。最后的滤波器则是一边残留颜色信息一边保存颜色色彩度的奇异点。
利用这些滤波器，在各级中生成5种副图像(子图像)。另外，最高级的副图像与原来图像一致。
p(i,j)(n,0)=p(i,j)(n,1)=p(i,j)(n,2)=p(i,j)(n,3)=p(i,j)(n,4)=p(i,j)]]>(式56)[3.2]边图像及其副图像为了将亮度微分(边)的信息用于匹配，进一步采用一次微分边检测滤波器。该滤波器可以用与某个算子G的卷积积分来实现。将与第n级的图像的水平方向和垂直方向的微分对应的2种滤波器分别表示如下。
p(i,j)(n,h)=Y(p(i,j))⊗Gh]]>p(i,j)(n,v)=Y(p(i,j))⊗Gv]]>(式57)这里G可以适用图像解析中用来进行边检测的一般性算子，但考虑到运算速度等，选择了如下所示的算子。
Gh=1410-120-210-1]]>Gv=14121000-1-2-1]]>(式58)然后，对该图像进行多重分辨率化。为了通过滤波器生成具有以0为中心的亮度的图像，以如下所示的平均值图像作为副图像是最为适当的。
p(i,j)(m,h)=14(p(2i,2j)(m+1,h)+p(2i,2j+1)(m+1,h)+p(2i+1,2j)(m+1,h)+p(2i+1,2j+1)(m+1,h))]]>p(i,j)(m,v)=14(p(2i,2j)(m+1,v)+p(2i,2j+1)(m+1,v)+p(2i+1,2j)(m+1,v)+p(2i+1,j+1)(m+1,v))]]>(式59)式59的图像在后述的Forward Stage，即计算初次副映射导出阶段时，用于能量函数中新引入的亮度微分(边)的差所产生的能量。
边的大小，即绝对值对计算也是必要的，所以表示如下。
p(i,j)(n,e)=(p(i,j)(n,h))2+(p(i,j)(n,v))2]]>(式60)由于该值总为正值，所以在多重分辨率化中使用最大值滤波器。
p(i,j)(m,e)=βY(βY(p(2i,2j)(m+1,e),p(2i,2j+1)(m+1,e)),βY(p(2i+1,2j)(m+1,e),p(2i+1,2j+1)(m+1,e)))]]>(式61)式61的图像在进行后述的Forward Stage的计算时，用于确定计算顺序。
计算处理步骤计算从最粗分辨率的副图像开始按顺序进行。因为副图像有5个，所以在各级的分辨率中要多次进行计算。将此称为轮转(turn)，用t来表示最大计算次数。各轮转由上述Forward Stage和作为副映射再次计算阶段的Refinement Stage两个能量最小化计算构成。图18为确定第m级中的副映射的计算中、有关改良点的流程图。
如该图所示，将s清零(S40)。然后在Forward Stage(S41)中通过能量最小化依次求出从起点图像p到终点图像q的映射f(m，s)，，以及从终点图像q到起点图像p的映射g(m，s)。下面就映射f(m，s)的导出加以描述。这里，最小化的能量，在改良后的前提技术中，是对应的像素值的能量C和映射的平滑度的能量D的和。
minf(Cf(i,j)+Df(i,j))]]>(式62)能量C由亮度差的能量CI(与上述改良前的前提技术中的能量C等价)、色调、色度的能量CC，以及亮度微分(边)差的能量CE所构成，表示如下。
CIf(i,j)=|Y(p(i,j)(m,s))-Y(qf(i,j)(m,s))|2]]>CCf(i,j)=|S(p(i,j)(m,s))cos(2πH(p(i,j)(m,s)))-S(qf(i,j)(m,s))cos(2πH(q(i,j)(m,s)))|2]]>+|S(p(i,j)(m,s))sin(2πH(p(i,j)(m,s)))-S(q(i,j)(m,s))sin(2πH(qf(i,j)(m,s)))|2]]>CEf(i,j)=|p(i,j)(m,h)-qf(i,j)(m,h)|2+|p(i,j)(m,v)-qf(i,j)(m,v)|2]]>Cf(i,j)=λCIf(i,j)+ψCCf(i,j)+θCEf(i,j)]]>(式63)这里参数λ、ψ和θ为大于等于0的实数，在本改良后的技术中为常数。这里这些参数之所以可以为常数，是因为通过新导入的RefinementStage，相对参数的结果的稳定性提高了。而且，能量CE与副映射f(m，s)的种类s无关，是根据座标和分辨率的级来确定的值。
能量D使用与上述改良前的前提技术相同的计算。但是，在上述改良前的前提技术中，在导出保证映射平滑度的能量E1时，仅考虑了相邻的像素，而改良后为，可用参数d指定考虑周围的哪些像素。
E0f(i,j)=||f(i,j)-(i,j)||2]]>E1f(i,j)=Σi′=i-di+dΣj′=j-dj+d||(f(i,j)-(i,j))-(f(i′,j′)-(i′,j′))||2]]>(式64)为准备下面的Refinement Stage，在该阶段中，从终点图像q到起点图像p的映射g(m，s)也同样地进行计算。
在Refinement Stage(S42)中，基于在Forward Stage中求出的双方向的映射f(m，s)和g(m，s)，求出更妥当的映射f’(m，s)。这里对于新定义的能量M，进行能量最小化计算。能量M由从终点图像到始点图像的映射g的一致度M0以及与前面映射的差M1构成，求得使M最小的f’(m，s)。
M0f′(i,j)=||g(f′(i,j))-(i,j)||2]]>M1f′(i,j)=||f′(i,j)-f(i,j)||2]]>Mf′(i,j)=M0f′(i,j)+M1f′(i,j)]]>(式65)为不损害对称性，从终点图像q向始点图像p的映射g’(m，s)也用同样的方法求出。
然后，将s增量(S43)，确认s未超过t(S44)，进入到下一轮转的Forward Stage(S41)。这时，将上述E0如下所示地进行置换，进行能量最小化计算。
E0f(i,j)=||f(i,j)-f′(i,j)||2]]>(式66)[3.4]映射的计算顺序在计算表示映射平滑度的能量E1时，因为要用到周围点的映射，所以这些点是否全都已经计算过将对能量造成影响。即，根据从哪个点开始按顺序计算，整体的映射的精度将会有很大的变化。这里使用边的绝对值图像。因为边的部分含有较多信息量，所以先从边的绝对值大的地方进行映射计算。由此，特别是对于二值图像那样的图像，可以求出精度非常高的映射。
对部分利用了以上的前提技术的电视电影变换的具体例子进行说明。
图19表示电视电影变换装置10的结构。以下将场图像、帧图像分别简称为半帧、帧。图像输入部12将电影形式的帧(图中C、以下也称为电影帧)作为图像信号进行输入。输入以模拟、数字的任一形式均可。在模拟的情况下，图像输入部12同时具有A/D变换功能。此外，在电影帧和电视形式的帧(也称为电视帧)的图像形式、例如分辨率、纵横比、其他属性不同的情况下，图像输入部12通过已知的手法对电影帧的形式进行变换以与电视帧相符合。因此，后述的中间帧就已经成为电视帧的图像形式。
缓冲器14暂时保存所输入的电影帧。匹配处理器16根据前提技术、或者通过除此以外的任意技术，在邻接的电影帧间进行匹配计算，在它们之间检测出对应点。
匹配处理器16进行像素基准的二维匹配，但并不限于此，也可以在具有预定面积的像素块间进行二维匹配。中间图像生成部18以对应点信息为基础，在电影帧间进行插值计算，生成中间帧。信号生成部20大致来讲，适宜组合所生成的中间帧和从缓冲器14取得的原始电影帧，生成电视帧。电视帧以电视方式向任意的对象，这里是向未图示的显示装置进行输出。但是，电视电影变换装置10的全体或者部分也可以预先内置于电视接收机内。中间图像生成部18和信号生成部20的模式存在多种，各自不同。
图20表示根据第1模式的电视电影变换。“24F”的行表示与时刻t一起前进的电影帧C1、C2、...，“30F”的行表示变换后的电视帧T1、T2、...。“24F”“30F”分别为每秒24幅和30幅的速率。“60i”的行是从电视帧所生成的每秒60幅的半帧。在电视接收机为隔行扫描(interlace)方式的情况下，该行的图像信号被利用。处理以将电影帧4幅作为一组(以下也将其称为“组”)周期性地进行，因此将这4幅记为C1、C2、C3、C4，在必要的情况下，把下一组的开始帧记为C5。C1～C5的时刻分别为t＝0、a/4、a/2、3a/4、a。另一方面，T1～T6的时刻分别为t＝0、a/5、2a/5、3a/5、4a/5、a。即，处理周期为a。
在第1模式下，各部完成以下处理。
匹配处理器16在C1和C2、C2和C3、C3和C4、C4和C5间取得匹配。将匹配结果所得到的对应点信息传递给中间图像生成部18。
中间图像生成部18分别根据C1和C2的对应点信息通过内插插值生成T2，同样根据C2和C3的对应点信息生成T3、同样根据C3和C4的对应点信息生成T4、同样根据C4和C5的对应点信息生成T5，输出到信号生成部20。T1与C1在时序上是相同的，因此C1可原样，或者由图像输入部12进行必要的图像形式的变换后，原样从缓冲器14发送到信号生成部20。
信号生成部20从缓冲器14读出C1，从中间图像生成部18输入T2～T5，将C1视为T1将T1～T5组合(捆绑)起来生成电视帧。以下，对每组周期性地反复同样的处理。但是，在这里进一步将“30F”的电视帧变换为“60i”的隔行扫描信号后进行输出。此变换在从T1开始生成仅汇集奇数行的半帧i1和仅汇集偶数行的半帧i2后进行。一般是从Tn开始生成奇半帧i2n-1和偶半帧i2n。这些半帧每1/60秒由隔行扫描型的电视接收机进行显示。
此外，处于组中间的电影帧C3同样与在隔行扫描半帧序列中处于中间的半帧i6时序相同。因此，信号生成部20也可从缓冲器14读出C3，仅汇集其偶数行，生成半帧i6。
图21表示根据第2模式的电视电影变换。这里，从“24F”的电影帧以每秒60幅的速度直接生成“60p”的逐行扫描形式的帧p1、p2、...。此模式中的各部的处理如下所示。
匹配处理器16与第1模式相同。
中间图像生成部18分别根据C1和C2的对应点信息通过内插插值生成p2和p3，同样根据C2和C3的对应点信息生成p4和p5，同样根据C3和C4的对应点信息生成p7和p8，同样根据C4和C5的对应点信息生成p9和p10，输出到信号生成部20。p6与C3在时序上是相同的，因此C3可原样，或者由图像输入部12进行必要的图像形式的变换后，原样从缓冲器14发送到信号生成部20。
信号生成部20从缓冲器14读出C1和C3，从中间图像生成部18输入p2～p5和p7～p10，把C1和C3分别看作p1和p6，对p1～p10组合(捆绑)起来，生成电视帧。以下、对每组周期性地反复同样的处理。
以上各种实施形式只不过是示例，本发明还进一步具有各种变形技术，它们也包括在本发明的范围内，这为本领域技术人员所理解。例如在图21中，也可生成每秒60幅的隔行扫描用半帧，而不是逐行扫描的帧。这时，信号生成部20对逐行扫描的帧p1、p2、...等分别在奇偶行实施间取后进行场图像化即可。此外，在通过中间图像生成部18生成中间帧时，也可以预先作为场图像来生成。这时，对原样输出电影帧的，例如帧p1，由信号生成部20进行间取处理即可。
权利要求
1.一种电视电影变换方法，包括输入电影方式的帧的步骤；在所输入的帧间实施二维匹配的步骤；以及以该匹配结果为基础，生成上述帧间的中间帧的步骤；上述生成中间帧的步骤，对于上述4幅电影方式的帧，以5幅或者10幅的比例输出中间帧，生成电视方式的帧。
2.根据权利要求1所述的方法，其特征在于还包括进行用于使上述电影方式的帧的图像形式和上述中间帧的图像形式一致的处理的步骤。
3.根据权利要求1、2的任何一项所述的方法，其特征在于在上述生成中间帧的步骤输出5幅中间帧的情况下，该方法还包括将这些5幅中间帧分别分割成2幅的半帧进行输出的步骤。
4.根据权利要求1～3的任何一项所述的方法，其特征在于上述生成中间帧的步骤，对输出时序与上述电影方式的帧一致的电视方式的帧，不生成中间帧，上述电影方式的帧原样作为电视方式的帧进行输出。
5.一种电视电影变换装置，其特征在于，包括输入电影方式的帧的单元(12)；在所输入的帧间实施二维匹配的单元(16)；以及以该匹配结果为基础，生成上述帧间的中间帧的单元(18)；上述生成中间帧的单元，对于上述4幅电影方式的帧，以5幅或者10幅的比例输出中间帧。
6.根据权利要求5所述的装置，其特征在于还包括进行用于使上述电影方式的帧的图像形式和上述中间帧的图像形式一致的处理的单元(12)。
7.根据权利要求5、6的任何一项所述的装置，其特征在于在上述生成中间帧的单元(18)输出5幅中间帧的情况下，该装置还包括将这些5幅中间帧分别分割成2幅的半帧进行输出的信号生成单元(20)。
8.根据权利要求7所述的装置，其特征在于上述信号生成单元(20)周期性地将上述电影方式的帧的一部分原样与上述中间帧进行组合，输出电视方式的帧。
9.一种计算机程序，其特征在于使计算机执行输入电影方式的帧的处理；在所输入的帧间实施二维匹配的处理；以及以该匹配结果为基础，生成上述帧间的中间帧的处理；在生成上述中间帧的处理中，对于上述4幅电影方式的帧，以5幅或者10幅的比例输出中间帧，生成电视方式的帧。
全文摘要
一种电视电影变换方法和装置，在从电影形式向电视形式变换图像时，谋求改善图像质量。为此，输入电影形式的帧Cn。在这些相邻帧间进行二维匹配计算，生成假想的中间帧p2、p3等。对于4幅电影形式的帧生成10幅中间帧，从电影形式生成60幅/秒的电视用逐行扫描帧。
文档编号H04N7/01GK1665294SQ200410006950
公开日2005年9月7日 申请日期2004年3月1日 优先权日2004年3月1日
发明者平贺督基 申请人:特尔斐控股有限公司