专利名称：图像处理装置和方法、以及程序的制作方法
技术领域：
本发明涉及一种图像处理装置和方法、以及程序，特别是涉及能够使隔行扫描方式图像变换为像质更佳的逐行扫描方式图像的图像处理装置和方法、以及程序。
背景技术：
在拍摄向垂直方向运动的被摄体、或在垂直方向上移动摄影装置进行拍摄的情况下，在隔行扫描方式的图像(下面也称为隔行扫描图像)中，由于垂直方向的频带限制不够充分，会产生垂直方向的折叠失真(下面称为垂直折叠失真)，产生水平方向的线的粗细发生变化、或边缘的强度发生变化的现象。另外具有如下特征在将隔行扫描方式图像变换(下面称为IP变换)为逐行扫描方式图像(下面也称为逐行扫描图像)的情况下，垂直折叠失真更为明显。
另外，目前作为IP变换的一种方法，提出了如下方法通过利用运动向量进行运动补偿，来提高被摄体的运动部分的分辨率(例如参照专利文献1)。
另外，目前有如下方法求出当前帧的图像和1帧前的图像之间的运动向量，将当前帧的图像、和对1帧前的图像使用运动向量实施了运动补偿的图像，使用被称为循环系数的系数进行加权相加，从而降低垂直折叠失真这样的周期性失真、随机噪声。在该方法中，在将循环系数设为K(0≤K≤1)的情况下，将当前帧的像素值的1-k倍，与实施了运动补偿的图像的像素值的K倍相加。但是，当循环系数设得过大时，一方面会降低垂直折叠失真、随机噪声，另一方面有在被摄体移动的区域中产生由残留图像等造成的图像模糊的情况。因此，进一步提出了如下方法根据作为当前帧的图像和前一帧的图像之间的差的运动成分，使循环系数变化(例如参照专利文献2)。
专利文献1日本特开2000-261768号公报专利文献2日本特开2004-88234号公报发明内容但是，在专利文献1所述的发明中，IP变换后的逐行扫描图像中被摄体的运动区域的分辨率得到了提高，但是难以抑制垂直方向的折叠失真。
另外，在专利文献2所述的发明中，只是根据运动成分使循环系数变化，因此难以充分抑制图像的模糊。
本发明是鉴于这种状况作出的发明，其能够将隔行扫描方式图像变换为像质更佳的逐行扫描图像。
本发明的一个侧面的图像处理装置，是将隔行扫描方式的输入图像变换为逐行扫描方式的输出图像的图像处理装置，设置有IP变换单元、运动向量检测单元、循环系数设定单元、运动补偿单元、以及输出图像生成单元，其中，IP变换单元将前述输入图像变换为逐行扫描方式的中间图像；运动向量检测单元检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量；循环系数设定单元根据作为前述运动向量的垂直方向成分的垂直运动量，设定对于第1类像素的第1循环系数和对于第2类像素的第2循环系数，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；运动补偿单元根据前述运动向量生成运动补偿图像，该运动补偿图像是对过去的前述输出图像实施了运动补偿的图像；输出图像生成单元生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
在前述循环系数设定单元中，前述垂直运动量的绝对值越接近0或者前述中间图像的像素间隔的偶数倍，将前述第1循环系数以及前述第2循环系数设定为越小的值；前述垂直运动量的绝对值越接近前述中间图像的像素间隔的奇数倍，将前述第1循环系数以及前述第2循环系数设定为越大的值。
在前述循环系数设定单元中，对于相同值的前述垂直运动量，可将前述第2循环系数设定为比前述第1循环系数大的值。
可进一步设置有可靠度检测单元，检测前述运动向量的可靠度；校正单元，根据前述运动向量的可靠度来校正前述第1循环系数以及前述第2循环系数。
在前述可靠度检测单元中，对各个前述运动向量检测表示与周围的前述运动向量的偏差程度的第1运动分散，来作为前述运动向量的可靠度；前述校正单元，可进行如下校正前述第1运动分散越大，使前述第1循环系数以及前述第2循环系数越小。
在前述可靠度检测单元中，还对各个前述运动向量检测第2运动分散来作为前述运动向量的可靠度，该第2运动分散表示将与该前述运动向量对应的像素只移动了以前述运动向量表示的方向和距离后的位置周围的1帧前的运动向量的偏差程度；前述校正单元可进一步进行如下校正前述第2运动分散越大，使前述第1循环系数以及前述第2循环系数越小。
在前述运动向量检测单元中，对每个规定大小的块检测前述运动向量；前述可靠度检测单元检测前述输入图像的前述块内的像素值、和使前述块只移动了以前述运动向量表示的方向和距离后的前述过去的输出图像的块内的像素值之间的差分值；前述校正单元可进行如下校正前述差分值越大，使前述第1循环系数以及前述第2循环系数越小。
本发明的一个侧面的图像处理方法、或者程序，是将隔行扫描方式的输入图像变换为逐行扫描方式的输出图像的图像处理方法、或者使计算机执行将隔行扫描方式的输入图像变换为逐行扫描方式的输出图像的图像处理的程序，包括如下步骤将前述输入图像变换为逐行扫描方式的中间图像；检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量；根据作为前述运动向量的垂直方向成分的垂直运动量，设定对于第1类像素的第1循环系数和对于第2类像素的第2循环系数，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；根据前述运动向量生成运动补偿图像，该运动补偿图像是对过去的前述输出图像实施了运动补偿的图像；生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
在本发明的一个侧面中，将前述输入图像变换为逐行扫描方式的中间图像；检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量；根据作为前述运动向量的垂直方向成分的垂直运动量，设定对于第1类像素的第1循环系数和对于第2类像素的第2循环系数，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；根据前述运动向量生成运动补偿图像，该运动补偿图像是对过去的前述输出图像实施了运动补偿的图像；生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
如以上那样，根据本发明的一个侧面，能够将隔行扫描方式的图像变换为逐行扫描方式的图像。特别是，根据本发明的一个侧面，能够将隔行扫描方式的图像变换为像质更佳的逐行扫描方式的图像。
图1是表示应用了本发明的图像变换装置的一个实施方式结构的框图。
图2是表示图1的循环型IP变换部的功能结构的框图。
图3是用于说明逐行扫描图像的像素类型的图。
图4是表示图2的运动向量检测部的功能结构的框图。
图5是表示图2的循环系数设定部的功能结构的框图。
图6是用于说明通过图1的图像变换装置执行的图像变换处理的流程图。
图7是用于说明使用了运动适应型方法的IP变换处理的图。
图8是用于说明图6的步骤S2的循环型变换处理的详细情况的流程图。
图9是用于说明MC块差分值BD的检测方法的图。
图10是用于说明MC块差分值BD的检测方法的图。
图11是表示垂直运动量VY和基本循环系数KA0的关系的曲线图。
图12是表示垂直运动量VY和基本循环系数KB0的关系的曲线图。
图13是用于说明垂直运动量VY和垂直折叠失真大小的关系的图。
图14是表示运动向量分布的例子的图。
图15是表示运动向量分布的其他例子的图。
图16是用于说明运动分散MD0的算出方法的图。
图17是用于说明运动分散MD1的算出方法的图。
图18是用于说明图8的步骤S21的运动向量检测处理的详细情况的流程图。
图19是用于说明检测像素以下精度的运动向量的方法的图。
图20是表示循环型变换部的第2实施方式的结构的框图。
图21是表示循环型变换部的第3实施方式的结构的框图。
图22是表示个人计算机结构的例子的框图。
附图标记说明101图像变换装置；111循环型IP变换部；121IP变换部；122循环型变换部；131运动向量检测部；132MC块差分检测部；133循环系数设定部；134运动补偿部；135积和运算部；136帧存储器；151运动评价值检测部；152像素精度运动向量检测部；153、154抽头抽出部；156类分类部；157系数存储器；158预测运算部；159像素以下精度运动向量检测部；171基本循环系数设定部；172运动分散检测部；173循环系数算出部；181运动分散减去量算出部；182MC块差分减去量算出部；183减法部；201循环型变换部；211帧存储器；212运动向量检测部；213MC块差分检测部；301循环型变换部；311、312帧存储器；313运动向量检测部；314MC块差分检测部；401CPU；402ROM；403RAM；408存储部；410驱动器；411可移动介质。
具体实施例方式
下面，说明本发明的实施方式，下面举例说明本发明的结构要件与说明书或者附图中所述的实施方式的对应关系。该记载是为了确认支持本发明的实施方式被记载在发明的详细说明中。因此，即使有虽然记载在发明的详细说明中，但是没有作为与本发明的结构要件对应的实施方式而在这里记载的实施方式，也不意味该实施方式不与该结构要件对应。相反，即使实施方式作为与结构要件对应的部分而记载于此，也不意味该实施方式不与该结构要件以外的结构要件对应。
本发明的一个侧面的图像处理装置(例如，图2的循环型IP变换部111)，第1，是将隔行扫描方式的输入图像(例如，图像I1)变换为逐行扫描方式的输出图像(例如，图像P2)的图像处理装置，其具备IP变换单元(例如，图2的IP变换部121)，将前述输入图像变换为逐行扫描方式的中间图像(例如，图像P1)；运动向量检测单元(例如，图2的运动向量检测部131)，检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量(例如，运动向量V)；循环系数设定单元(例如，图2的循环系数设定部133)，根据作为前述运动向量的垂直方向成分的垂直运动量(例如，垂直运动量VY)，设定对于第1类像素(例如，类型A的像素)的第1循环系数(例如，循环系数KA0)和对于第2类像素(例如，类型B的像素)的第2循环系数(例如，循环系数KB0)，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；运动补偿单元(例如，图2的运动补偿部134)，根据前述运动向量生成运动补偿图像(例如，图像P4)，该运动补偿图像是对过去的前述输出图像(例如，图像P3)实施运动补偿的图像；以及输出图像生成单元(例如，图2的积和运算部135)，生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
本发明的一个侧面的图像处理装置，第2，进一步具备可靠度检测单元(例如，图5的运动分散减去量算出部181或者MC块差分减去量算出部182)，检测前述运动向量的可靠度；校正单元(例如，减法部183-1以及183-3、或者减法部183-2以及183-4)，根据前述运动向量的可靠度来校正前述第1循环系数以及前述第2循环系数。
本发明的一个侧面的图像处理方法、或者程序，是将隔行扫描方式的输入图像(例如，图像I1)变换为逐行扫描方式的输出图像(例如，图像P2)的图像处理方法、或者使计算机执行将隔行扫描方式的输入图像(例如，图像I1)变换为逐行扫描方式的输出图像(例如，图像P2)的图像处理的程序，包括如下步骤将前述输入图像变换为逐行扫描方式的中间图像(例如，图像P1)(例如，图6的步骤S1)；检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量(例如，运动向量V)(例如，图8的步骤S21)；根据作为前述运动向量的垂直方向成分的垂直运动量(例如，垂直运动量VY)，设定对于第1类像素(例如，类型A的像素)的第1循环系数(例如，循环系数KA0)和对于第2类像素(例如，类型B的像素)的第2循环系数(例如，循环系数KB0)，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上(例如，图8的步骤S23)；根据前述运动向量生成运动补偿图像(例如，图像P4)，该运动补偿图像是对过去的前述输出图像(例如，图像P3)实施了运动补偿后的图像(例如，图8的步骤S28)；生成前述输出图像(例如，图8的步骤29)，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
下面参照
本发明的实施方式。
图1是表示应用了本发明的图像变换装置101的一个实施方式的框图。图像变换装置101由循环型IP变换部111、输出相位变换部112、自然图像预测部113、人工图像预测部114、自然图像人工图像判断部115、以及合成部116构成。另外循环型IP变换部111由IP变换部121以及循环型变换部122构成。
成为处理对象的隔行扫描方式的SD(Standard Definition标准分辨率)图像被输入到循环型IP变换部111的IP变换部121以及循环型变换部122中。
IP变换部121根据规定的方法将输入的隔行扫描方式的SD图像(下面也称为输入图像)IP变换为逐行扫描方式的SD图像(下面也称为中间图像)，将进行了IP变换的逐行扫描方式的SD图像提供给循环型变换部122。
循环型变换部122求出输入图像、和1帧前从循环型变换部122输出的逐行扫描方式的SD图像(下面也称为输出图像)之间的运动向量。循环型变换部122将输入图像的像素值、和根据求出的运动向量在输出图像上实施了运动补偿的像素的像素值，使用循环系数进行加权相加，从而提高中间图像的像质。循环型变换部122将中间图像变换为作为更高像质的逐行扫描方式SD图像的输出图像，将输出图像提供给输出相位变换部112。此外，关于中间图像的各像素，根据其是否处于变换前的输入图像中存在像素的位置、运动向量的垂直方向大小、以及表示运动向量概率的可靠度概率来设定循环系数。
输出相位变换部112对从循环型变换部122提供的SD图像在水平方向以及垂直方向上进行插值，从而生成HD(HighDefinition高分辨率)图像。输出相位变换部112将该HD图像提供给自然图像预测部113、人工图像预测部114、以及自然图像人工图像判断部115。
自然图像预测部113从由输出相位变换部112提供的HD图像预测将该HD图像中的自然图像变换为高品质后的HD图像(下面称为自然高品质图像)。具体地说，自然图像预测部113根据HD图像的特征，将作为从该HD图像求出的自然高品质图像的像素的关注像素，分类到适合自然图像特征的类中。然后，自然图像预测部113使用与该类对应的用于预测自然高品质图像的预测系数、和HD图像进行运算，从而从由输出相位变换部112提供的HD图像预测自然高品质图像。自然图像预测部113将该自然高品质图像提供给合成部116。
这里，自然图像是指不是后述人工图像的图像，是通过直接拍摄自然界中存在的被摄体而得到的图像。
与自然图像预测部113相同，人工图像预测部114从由输出相位变换部112提供的HD图像预测将该HD图像中的人工图像变换为高品质后的HD图像(下面称为人工高品质图像)。具体地说，人工图像预测部114根据HD图像的特征，将作为从该HD图像求出的人工高品质图像像素的关注像素，分类到适合人工图像特征的类中。然后，人工图像预测部114使用与该类对应的用于预测人工高品质图像的预测系数、和HD图像进行运算，从而从由输出相位变换部112提供的HD图像预测人工高品质图像。人工图像预测部114将该人工高品质图像输出到合成部116。
这里，人工图像是指文字、单纯图形等、作为灰度等级少的相位信息的边缘相位信息鲜明、即平坦部分多的人工图像。换言之，人工图像是指文字、单纯图形等、几乎没有灰度等级、轮廓等相位信息占支配地位的图像。
自然图像人工图像判断部115对由输出相位变换部112提供的HD图像的各像素判断是属于分类到人工图像的区域、或者分类到自然图像的区域的哪个区域，将判断结果作为人工图像度输出到合成部116。即，人工图像度是指，在分类到人工图像和自然图像中间的区域中以0到1的值表示自然图像中的人工图像比例的值。
合成部116根据由自然图像人工图像判断部115提供的判断结果，将从自然图像预测部113提供的自然高品质图像的各像素的像素值、和从人工图像预测部114提供的人工高品质图像的各像素的像素值以根据人工图像度的比例进行合成，输出合成的结果所得到的HD图像。
图2是详细表示图1的循环型IP变换部111的循环型变换部122的功能结构的框图。循环型变换部122由运动向量检测部131、MC块差分检测部132、循环系数设定部133、运动补偿部134、积和运算部135、以及帧存储器136构成。
此外，下面关于表示由循环型IP变换部111处理的各图像的像素位置的坐标系，将水平(横)方向设为x轴方向，垂直(纵)方向设为y轴方向。即，各像素的坐标由(x，y)表示。另外，下面将从外部输入到IP变换部121的作为隔行扫描方式SD图像的输入图像也称为图像I1，从IP变换部121输出的作为逐行扫描方式SD图像的中间图像也称为图像P1。
另外，通常，在逐行扫描图像中，有在IP变换前的隔行扫描图像中处于像素存在的位置上的像素、和处于不存在的位置上的像素这2种像素。下面在区分该2种像素的情况下，将前者称为A类像素，后者称为B类像素。
图3是表示IP变换前的隔行扫描图像以及IP变换后的逐行扫描图像的像素位置关系的图。图3的横轴方向表示时间，纵轴方向表示像素位置。在该图3的例子中，以被白圆包围的黑圆表示的像素是A类像素，只以黑圆表示的像素是B类像素。
运动向量检测部131检测图像I1的各像素的运动向量。具体地说，运动向量检测部131从帧存储器136读出存储在帧存储器136中的图像(下面也称为图像P3)，该图像是作为在1帧前从循环型变换部122输出的逐行扫描SD图像的输出图像。参照图18如后所述，运动向量检测部131将图像I1分割为规定大小、即纵N×横M像素的块，对每块以像素以下精度、即比逐行扫描图像中的像素间隔短的距离为最小单位，来检测运动向量。此外对于图像I1中实际不存在的B类像素，应用包含该像素的块的运动向量。
此外，下面关于表示块等、各图像内的规定块的位置的坐标系，为了与表示像素位置的坐标系进行区别，将水平(横)方向设为X方向，垂直(纵)方向设为Y方向。即各块的坐标以(X，Y)表示。另外，下面将坐标(X，Y)的块的运动向量表示为V(X，Y)，将作为运动向量V(X，Y)的水平方向成分的水平运动量表示为VX(X，Y)，将作为运动向量V(X，Y)的垂直方向成分的垂直运动量表示为VY(X，Y)。此外，下面，以逐行扫描图像中的像素间隔作为基准来表示水平运动量以及垂直运动量的大小。另外，下面将各块的左上角像素称为基准像素，将基准像素的坐标称为基准坐标。
运动向量检测部131将表示检测的运动向量V(水平运动量VX以及垂直运动量VY)的信息提供给MC块差分检测部132、循环系数设定部133、以及运动补偿部134。另外，运动向量检测部131将在运动向量检测中使用了的图像I1以及图像P3提供给MC块差分检测部132。
参照图9以及图10如后所述，MC块差分检测部132对图像I1的每个块检测MC块差分值，该MC块差分值是各块的像素值、和位于与该块对应的图像P3的块、即、使图像I1的各块只移动了以运动向量V表示的方向和距离后的位置上的图像P3的块的像素值之间的差分值。MC块差分检测部132将表示检测出的MC块差分值的信息提供给循环系数设定部133。
此外，下面将与图像I1的坐标(X，Y)的块对应的块差分值表示为BD(X，Y)。
参照图8等如后所述，循环系数设定部133根据运动向量V、以及MC块差分值BD，设定对A类像素的循环系数KA、以及对B类像素的循环系数KB。此外，下面，将对坐标(x，y)的A类像素的循环系数KA表示为KA(x，y)，将对坐标(x，y)的B类像素的循环系数KB表示为KB(x，y)。循环系数设定部133将表示设定的循环系数KA以及KB的信息提供给积和运算部135。
运动补偿部134从帧存储器136读出图像P3。参照图8如后所述，运动补偿部134根据运动向量V生成对图像P3实施了运动补偿后的图像P4。运动补偿部134将图像P4提供给积和运算部135。
参照图10如后所述，积和运算部135生成作为逐行扫描方式的SD图像的输出图像(下面也称为图像P2)，该图像由将图像P1的A类像素的像素值和处于与图像P4对应位置的像素的像素值使用循环系数KA进行加权相加、将图像P1的B类像素的像素值和处于与图像P4对应位置的像素的像素值使用循环系数KB进行加权相加后的像素值构成。积和运算部135将图像P2提供给输出相位变换部112，并且存储在帧存储器136中。
此外，下面将图像I1以及图像P1到P4的坐标(x，y)的像素的像素值分别表示为I1(x，y)以及P1(x，y)到P4(x，y)。
图4是表示运动向量检测部131的功能结构的框图。运动向量检测部131由运动评价值检测部151、像素精度运动向量检测部152、抽头抽出部153、154、ADRC(Adaptive Dynamic RangeCoding自适应动态范围编码)处理部155、类分类部156、系数存储器157、预测运算部158、以及像素以下精度运动向量检测部159构成。
运动评价值检测部151取得从外部输入的图像I1，从帧存储器136取得图像P3。运动评价值检测部151将图像I1分割为规定大小的块，将各块依次设为关注块。并且，参照图18如后所述，运动评价值检测部151将图像P3的规定范围内的像素依次设为关注像素，取得与将关注像素设为基准像素的关注块相同大小的块(下面称为比较对象块)和处于与关注块对应的位置上的像素的像素值之间的差分，将该差分值的绝对值合计得到的值作为对关注像素的运动评价值求出。运动评价值检测部151将表示检测出的运动评价值的信息提供给像素精度运动向量检测部152、以及抽头抽出部153、154。另外，运动评价值检测部151将在运动向量检测中使用了的图像I1以及图像P3提供给MC块差分检测部132。
此外，下面将对坐标(x，y)的关注像素的运动评价值表示为M(x，y)。
参照图18如后所述，像素精度运动向量检测部152将连接运动评价值M最小的像素(下面称为最小评价值像素)的坐标、与关注块的基准像素的坐标的向量，作为对关注块的像素精度的、即与逐行扫描图像中的像素间隔相等的距离设为最小单位的运动向量检测出来。像素精度运动向量检测部152将表示检测出的像素精度的运动向量的信息提供给抽头抽出部153、154。
参照图18如后所述，抽头抽出部153将与包括最小评价值像素的最小评价值像素附近的图像P3的像素对应的运动评价值M作为预测抽头抽出，其中该像素是用于预测最小评价值像素和与最小评价值像素邻接的像素之间的位置、即像素以下精度的位置(下面也称为预测位置)处的运动评价值的像素。抽头抽出部153将抽出的预测抽头提供给预测运算部158。
参照图18如后所述，抽头抽出部154将与图像P3的几个像素对应的运动评价值M作为类抽头抽出，该几个像素用于进行将最小评价值像素分类到几个类中的某个类的类分类。抽头抽出部154将抽出的类抽头提供给ADRC处理部155。
ADRC处理部155对构成类抽头的像素的运动评价值M进行ADRC处理，将表示其结果所得到的ADRC码的信息提供给类分类部156。
此外，在K位ADRC中，例如检测构成类抽头的像素的运动评价值M的最大值MAX和最小值MIN，将DR＝MAX-MIN设为构成类抽头的运动评价值M的集合的局部动态范围，根据该动态范围DR将构成类抽头的运动评价值M再次量子化为K位。即，从构成类抽头的各像素的运动评价值M减去最小值MIN，将该减法值除以DR/2K(量子化)。然后，将由此得到的、构成类抽头的K位的各像素的运动评价值M以规定顺序排列的位串，作为ADRC码输出。
类分类部156根据来自ADRC处理部155的ADRC码，将最小评价值像素进行类分类，将表示与其结果所得到的类对应的类编码的信息提供给系数存储器157。
系数存储器157存储有通过后述的学习而预先求出的每类的抽头系数的集合。系数存储器157将该存储着的抽头系数集合中的、存储在与从类分类部156提供的类编码对应的地址中的抽头系数、即从类分类部156提供的类编码所表示的类的抽头系数，提供给预测运算部158。
参照图18如后所述，预测运算部158取得抽头抽出部153输出的预测抽头、和系数存储器157输出的抽头系数，使用该预测抽头和抽头系数进行求出预测位置处的运动评价值M的真值的预测值的规定预测运算。由此，预测运算部158求出预测位置处的运动评价值M’的预测值，提供给像素以下精度运动向量检测部159。
像素以下精度运动向量检测部159，从最小评价值像素和预测位置处检测运动评价值为最小的像素或者位置，将连接检测出的像素或者位置的坐标、和关注块的基准像素的坐标的向量，检测为对关注块的像素以下精度的运动向量V。像素以下精度运动向量检测部159将表示检测出的运动向量V的信息提供给MC块差分检测部132以及循环系数设定部133、以及运动补偿部134。
图5是表示循环系数设定部133的功能结构的框图。循环系数设定部133由基本循环系数设定部171、运动分散检测部172、以及循环系数算出部173构成。另外，循环系数算出部173由运动分散减去量算出部181、MC块差分减去量算出部182、以及减法部183-1到183-4构成。
参照图11到图12如后所述，基本循环系数设定部171根据垂直运动量VY设定对于图像P1的A类像素的基本循环系数KA0、以及对于B类像素的基本循环系数KB0。此外，下面将对于坐标(x，y)的像素的基本循环系数KA0表示为KA0(x，y)，将对于坐标(x，y)的像素的基本循环系数KB0表示为KB0(x，y)。基本循环系数设定部171将表示基本循环系数KA0的信息提供给减法部183-1，将表示基板循环系数KB0的信息提供给减法部183-3。
参照图14以及图17如后所述，运动分散检测部172作为通过运动向量检测部131检测出的运动向量V的可靠度，检测表示与周围运动向量V之间的偏差程度的运动分散MD。此外，下面将对于运动向量V(X，Y)的运动分散MD表示为MD(X，Y)。运动分散检测部172将表示运动分散MD的信息提供给分散减去量算出部181。
参照图8如后所述，运动分散减去量算出部181根据运动分散MD算出作为用于校正基本循环系数KA0、KB0的校正值的运动分散减去量KM1。此外，下面将对于图像P1的坐标(x，y)的像素的运动分散减去量KM1表示为KM1(x，y)。运动分散减去量算出部181将表示运动分散减去量KM1的信息提供给减法部183-1以及183-3。
参照图8如后所述，MC块差分减去量算出部182根据MC块差分值BD算出作为用于校正基本循环系数KA0、KB0的校正值的MC块差分减去量KM2。此外，下面将对于图像P1的坐标(x，y)的像素的MC块差分减去量KM2表示为KM2(x，y)。MC块差分减去量算出部182将表示MC块差分减去量KM2的信息提供给减法部183-2以及183-4。
减法部183-1从基本循环系数KA0减去运动分散减去量KM1，并且，减法部183-2从由减法部183-1的算出值减去MC块差分减去量KM2。由此算出循环系数KA。此外，下面将对于图像P1的坐标(x，y)的像素的循环系数KA表示为KA(x，y)。减法部183-2将表示循环系数KA的信息提供给积和运算部135。
减法部183-3从基本循环系数KB0减去运动分散减去量KM1，并且，减法部183-4从由减法部183-3的算出值减去MC块差分减去量KM2。由此算出循环系数KB。此外，下面将对于图像P1的坐标(x，y)的像素的循环系数KB表示为KB(x，y)。减法部183-4将表示循环系数KB的信息提供给积和运算部135。
下面参照图6的流程图说明通过图像变换装置101执行的图像变换处理。此外，该处理是例如从外部开始图像I1的输入时开始的。
在步骤S1中，IP变换部121进行IP变换处理。具体地说，IP变换部121通过将从外部输入的隔行扫描方式图像I1进行IP变换，生成图像P1。这里，参照图7说明作为IP变换部121进行的IP变换处理的一例的、使用了被称为运动适应型的方法的IP变换处理。
图7是表示隔行扫描图像中的垂直方向的像素排列的图。图7的横轴方向表示时间，纵轴方向表示像素位置。另外，图内的白圆表示像素。此外，图内的左端像素的列属于第n-1号场，正中像素的列属于第n号场，右端像素的列属于第n+1号场。
下面说明了在将第n号场的隔行扫描图像变换为逐行扫描图像的情况下，算出插值到位置x上的像素(B类的像素)的像素值的例子。此外，在第n-1号场中将处于与位置x对应位置上的像素的像素值设为a，在第n+1场号中将处于与位置x对应的位置上的像素的像素值设为b。另外，在第n号场中将与位置x的上侧邻接的像素的像素值设为c，下侧邻接的像素的像素值设为d。
例如，在|a-b|≤|c-d|的情况下，位置x被视为被包含在图像运动少的静止区域中，位置x的像素值被设为处于在前后的场中与位置x对应的位置上的像素的像素值的平均值即(a+b)/2。另一方面，在|a-b|＞|c-d|的情况下，位置x被视为被包含在图像运动大的动作区域中，位置x的像素值被设为上下方向邻接的像素值的平均值即(c+d)/2。此外，对于其他位置的B类像素，也通过同样方法求出像素值。
此外，IP变换部121所进行的IP变换的方法不被限定为特定的方法，例如也可以利用使用了类分类适应处理的方法。此外，关于使用了类分类适应处理的IP变换的方法，例如在本发明的申请人先前申请的日本特开2000-50213号公报等中公开有其详细内容。
另外，也可以不将图像I1直接进行IP变换，而在进行IP变换之前对图像I1实施噪声去除等提高像质的图像处理。
IP变换部121将生成的图像P1按顺序提供给积和运算部135。
在步骤S2中，循环型变换部122进行循环型变换处理。循环型变换处理的详细内容将参照图8在后面说明，通过该处理，将图像P1变换为更高像质的图像P2，并将图像P2提供给输出相位变换部112。
在步骤S3中，输出相位变换部112进行输出相位变换处理。具体地说，输出相位变换部112对于从循环型变换部122提供的SD图像在水平方向以及垂直方向进行插值，由此生成HD图像。输出相位变换部将该HD图像提供给自然图像预测部113、人工图像预测部114、以及自然图像人工图像判断部115。
在步骤S4中，自然图像预测部113进行自然图像预测处理。具体地说，从由输出相位变换部112提供的HD图像预测将该HD图像中的自然图像变换为高品质后的自然高品质图像。即，自然图像预测部113根据HD图像的特征，将作为从该HD图像求出的自然高品质图像的像素的关注像素分类到适合自然图像特征的类中。然后，自然图像预测部113通过使用与该类对应的用于预测自然高品质图像的预测系数、以及HD图像进行运算，从由输出相位变换部112提供的HD图像预测自然高品质图像。自然图像预测部113将该自然高品质图像提供给合成部116。
在步骤S5中，人工图像预测部114进行人工图像预测处理。具体地说，与自然图像预测部113相同，人工图像预测部114从由输出相位变换部112提供的HD图像预测将该HD图像中的人工图像变换为高品质后的人工高品质图像。即，人工图像预测部114根据HD图像的特征，将作为从该HD图像求出的人工高品质图像的像素的关注像素分类到适合人工图像特征的类中。然后，人工图像预测部114通过使用与该类对应的用于预测人工高品质图像的预测系数、和HD图像进行运算，从由输出相位变换部112提供的HD图像求出人工高品质图像。人工图像预测部114将该人工高品质图像输出到合成部116。
在步骤S6中，自然图像人工图像判断部115进行自然图像人工图像判断处理。具体地说，自然图像人工图像判断部115对由输出相位变换部112提供的HD图像的各像素进行判断，判断其是否属于分类到人工图像的区域、或者分类到自然图像的区域的某个区域，并将判断结果作为人工图像度输出到合成部116。
在步骤S7中，合成部116合成图像。具体地说，合成部116根据由自然图像人工图像判断部115提供的判断结果，将从自然图像预测部113提供的自然高品质图像的各像素的像素值、和从人工图像预测部114提供的人工高品质图像的各像素的像素值，以与人工图像度相应的比例进行合成。合成部116将合成后的图像输出到后级的装置中。
此外，在连续进行多个图像的图像变换的情况下，重复执行上述的步骤S1到S7的处理。
下面参照图8说明图6的步骤S2的循环型变换处理的详细内容。
在步骤S21中，运动向量检测部131进行运动向量检测处理。运动向量检测处理的详细内容将参照图18在后面说明，通过该处理检测图像I1的各像素的像素以下精度的运动向量V。另外，表示检测出的运动向量V的水平运动量VX以及垂直运动量VY的信息，被从运动向量检测部131提供给MC块差分检测部132、循环系数设定部133、以及运动补偿部134。另外，在运动向量V检测中使用了的图像I1以及图像P3，被从运动向量检测部131提供给MC块差分检测部132。
在步骤S22中，MC块差分检测部132检测MC块差分值。这里参照图9以及图10说明MC块差分值的检测方法。
首先，如图9所示，将处于与图像I1的块B0对应的位置上的图像P3的块设为B0’。另外，将使块B0’只移动了以块B0的运动向量V表示的方向和距离后的块设为块B1。
运动向量V是像素以下精度，因此在水平运动量VX或者垂直运动量VY中存在小数部分的情况下，块B1的像素位置与图像P3的实际像素位置不一致。这里，参照图10说明在块B1与图像P3中的实际像素位置不一致的情况下算出块B1的各像素的像素值的方法。
以图10的黑圆表示的像素z是块B1内的一个像素，是处于图像P3中实际不存在的位置上。以白圆表示的像素a到d是与像素z相邻(即最近)的图像P3中实际存在的像素。将像素a到d以及像素z的像素值分别设为a到d以及z，将处于像素z的左斜上方的像素a与像素z之间的x轴方向上的距离设为xd，将y轴方向上的距离设为yd的情况下，像素z的像素值z根据以下的式(1)算出。
z＝(1-yd)×((1-xd)×a+xd×b)+yd×((1-xd)×c+xd×d)…(1)此外，在块B1的像素位置与图像P3中实际存在的像素的位置一致的情况下，直接将图像P3的像素值设为块B1的各像素的像素值。
MC块差分检测部132在算出块B1的各像素的像素值后，根据下式(2)来算出MC块差分值BD。
BD=Σi=0M-1Σj=0N-1|B0(i,j)-B1(i,j)|···(2)]]>此外，B0(i，j)表示将作为块B0的左上角像素的基准像素设为原点(0，0)的、处于位置(i，j)上的块B0内的像素的像素值，B1(i，j)表示将作为块B1的基准像素设为原点(0，0)的、处于位置(i，j)上的块B1内的像素的像素值。即，MC块差分值BD取处于块B0和块B1对应的位置上的像素的像素值的差分，是该差分值的绝对值的合计值。
因而，当前帧和1帧前的对应的块内的图像变化越大，MC块差分值BD就越大。即，MC块差分值BD大的块是由于被摄体变形或者进行复杂的运动、或存在多个小的被摄体、或包括有被摄体的边缘部分等的原因而造成的图像运动复杂的区域的块的可能性高。因而，对该块检测出的运动向量V未被正确检测的可能性高，可以说该运动向量V的可靠度低。
MC块差分检测部132对于图像I1的各块检测MC块差分值BD，将表示检测出的MC块差分值BD的信息提供给MC块差分减去量算出部182。
在步骤S23中，基本循环系数设定部171设定基本循环系数。具体地说，基本循环系数设定部171将对图像P1的A类像素的基本循环系数KA0根据包括该像素的块的垂直运动量VY、以及图11所示的标志进行设定，将对B类像素的基本循环系数KB0根据包括该像素的块的垂直运动量VX、以及图12所示的标志进行设定。
这里，说明图11以及图12所示的曲线图。图11是表示垂直运动量VY和基本循环系数KA0的关系的曲线图，图12是表示垂直运动量VY和基本循环系数KB0的关系的曲线图。
另外，图像的垂直折叠失真具有根据像素以下精度的垂直运动量进行变化的性质。具体地说，各像素垂直运动量的绝对值越接近像素间隔的奇数倍的区域，垂直折叠失真越大，越接近0或者像素间隔的偶数倍的区域，垂直折叠失真越小。例如，图13所示的第n号帧的像素Pa的垂直运动量VY如图内的VY1、VY3、VY5、VY7那样，越接近像素间隔的奇数倍，垂直折叠失真越大，如VY2、VY4、VY6那样，越接近0.0或者像素间隔的偶数倍，垂直折叠失真越小。
此外如后所述，循环系数的值越大，抑制垂直折叠失真的效果越高，另一方面就越容易产生图像的模糊，值越小，抑制垂直折叠失真的效果越低，另一方面抑制图像模糊的产生。因而，如图11以及图12的曲线图所示，垂直运动量VY的绝对值越接近0或者偶数、即越接近垂直方向的像素间隔的偶数倍，为了能够抑制图像的模糊，将基本循环系数KA0、KB0设定为越小的值；垂直运动量VY的绝对值越接近奇数、即越接近垂直方向的像素间隔的奇数倍，为了抑制垂直折叠失真，将基本循环系数KA0、KB0设定为越大的值。
此外，在垂直运动量VY的绝对值是0或者偶数的情况下，不产生垂直折叠失真，但是如图11以及图12的曲线图，也可以将基本循环系数KA0、KB0设定为0以外的适当值，使得能够去除垂直折叠失真以外的随机噪声。
另外，B类像素是变换前的图像I1中原本没有的像素，允许少许的模糊。因而，对相同值的垂直运动量VY，KB0的一方设定为比KA0大的值，使得进一步抑制折叠失真以及随机噪声。
由此，根据像素类型以及垂直运动量来设定基本循环系数KA0、KB0，从而能够良好地保持图像P1的分辨率，即，不破坏图像地去除垂直折叠失真、噪声。
基本循环系数设定部171将表示基本循环系数KA0的信息提供给减法部183-1，将表示基本循环系数KB0的信息提供给减法部183-3。
在步骤S24中，运动分散检测部172检测运动分散。这里参照图14以及图15说明运动分散。
图14以及图15是表示运动向量分布的例子的图。如图14所示，以斜线表示的块的运动向量V0a与周围的运动向量V1a到V8a基本相同的情况下、即运动向量V0a和周围块的运动向量V1a到V8a的类似性高的情况下，正确求出运动向量V0a的可能性高，可以说运动向量V0a的可靠度高。
另一方面，如图15所示，在以斜线表示的块的运动向量V0b以及周围块的运动向量V1b到V8b的大小、方向大为不同的情况、即运动向量V0b和周围的运动向量V1b到V8b的类似性低的情况下，没有正确求出运动向量V0b的可能性高，可以说运动向量V0b的可靠度低。
因此，运动分散检测部172，对各运动向量V检测表示与周围的运动向量V的偏差程度的运动分散MD0，来作为由运动向量检测部131检测出的运动向量V的可靠度。
具体地说，例如以块Bp为中心的纵Nb0×横Mb0块(在以像素数表现的情况下，是纵Np0×横Mp0像素)的区域D0为对象，根据下式(3)算出对以图16的斜线表示的坐标(X，Y)的块Bp的运动向量V(X，Y)的运动分散MD0(X，Y)。此外，将区域D0的左上角像素的坐标设为(x0，y0)。
MD0=Σy=y0y0+Np0-1Σx=x0x0+Np0-1((vx0(x,y)-VX(X,Y))2+(vy0(x,y)-VY(X,Y))2)Mp0×Np0···(3)]]>此外，vx0(x，y)表示包括坐标(x，y)的像素的块的水平运动量，vy0(x，y)表示包括坐标(x，y)的像素的块的垂直运动量。
即，运动分散MD0表示块Bp的运动向量V、和区域D0内的各像素的运动向量V之间距离的平方的平均值。
另外，运动分散检测部172对于各运动向量V检测运动分散MD1来作为运动向量V的可靠度，该运动分散MD1表示，与将与该运动向量V对应的像素(或者块)只移动了以运动向量V表示的方向和距离后的位置周围的1帧前的运动向量V之间的偏差。
具体地说，例如，首先将处于与图16的块Bp对应的位置上的1帧前图像的块，设为图17的块Bp’。另外，将以块Bp的运动向量V(X，Y)的水平运动量VX(X，Y)和垂直运动量VY(X，Y)的小数点以下四舍五入后的值表示的方向和距离，来移动块Bp’后的块，设为块Bm。运动分散检测部172将以块Bm为中心的纵Nb1×横Mb1块(在以像素数表现的情况下，是纵Np1×横Mp1像素)的区域D1为对象，根据下式(4)算出对于块Bp的运动向量V(X，Y)的运动分散MD1(X，Y)。此外，将区域D1的左上角像素的坐标设为(x1，y1)。
MD1=Σy=y1y1+Np1-1Σx=x1x1+Np1-1((vx1(x,y)-VX(X,Y))2+(vy1(x,y)-VY(X,Y))2)Mp1×Np1···(4)]]>此外，vx1(x，y)表示包括1帧前的坐标(x，y)的像素的块的水平运动量，vy1(x，y)表示包括1帧前的坐标(x，y)的像素的块的垂直运动量。
即，运动分散MD1表示块Bp的运动向量V和区域D1内的各像素的运动向量V之间距离的平方的平均值。
并且，运动分散检测部172根据下式(5)算出运动分散MD(X，Y)。
MD(X，Y)＝MD1(X，Y)+MD2(X，Y)…(5)因而，成为对象的运动向量V和周围的运动向量V之间的偏差越大，运动分散MD(X，Y)越大。即与该运动向量V(X，Y)对应的像素以及其附近是由于被摄体变形或者进行复杂的运动、或存在多个小的被摄体等的原因而造成的图像运动复杂的区域的可能性高。因而，该运动向量V未被正确检测的可能性高，可以说该运动向量V(X，Y)的可靠度低。
运动分散检测部172按照上述方法算出对于各运动向量V的运动分散MD，将表示运动分散MD的信息提供给运动分散减去量算出部181。
在步骤S25中，运动分散减去量算出部181算出运动分散减去量。具体地说，运动分散减去量算出部181使用包括该像素的块的运动分散MD，根据下式(6)来算出对于图像P1的各像素的运动分散减去量KM1。
KM1(x，y)＝a1×MD(X，Y)+b1…(6)此外，a1和b1是规定值的常数。其中，常数a1是正值。另外，在式(6)的右边值小于0的情况下，KM1(x，y)校正为0。
运动分散减去量算出部181，将表示算出的运动分散减去量KM1的信息提供给减法部183-1以及183-3。
在步骤S26中，MC块差分减去量算出部182求出MC块差分减去量。具体地说，MC块差分减去量算出部182使用包括该像素的块的MC块差分值BD，根据下式(7)来算出对于图像P1各像素的MC块差分减去量KM2。
KM2(x，y)＝a2×BD(X，Y)+b2 …(7)此外，a2、b2是规定的常数。其中，将常数a2设为正值。另外，在式(7)的右边值小于0的情况下，KM2(x，y)被校正为0。
在步骤S27中，减法部183-1到183-4算出循环系数。具体地说，减法部183-1将从基本循环系数KA0减去运动分散减去量KM1后的值提供给减法部183-2。减法部183-2将从由减法部183-1提供的值减去MC块差分减去量KM2后的值作为循环系数KA提供给积和运算部135。即，根据下式(8)算出对于处于图像P1的坐标(x，y)的A类像素的循环系数KA(x，y)。
KA(x，y)＝KA0(x，y)-KM1(x，y)-KM2(x，y) …(8)另外，减法部183-3将从基本循环系数KB0减去运动分散减去量KM1后的值提供给减法部183-4。减法部183-4将从由减法部183-3提供的值减去MC块差分减去量KM2后的值作为循环系数提供给积和运算部135。即，根据下式(9)算出对于处于图像P1的坐标(x，y)上的B类像素的循环系数KB(x，y)。
KB(x，y)＝KB0(x，y)-KM1(x，y)-KM2(x，y) …(9)即，运动分散减去量KM1(x，y)或者MC块差分减去量KM2(x，y)越大、即运动分散MD(x，y)或者MC块差分值BD(x，y)越大，将循环系数KA(x，y)以及KB(x，y)校正为越小。
在步骤S28中，运动补偿部134对1帧前的输出图像实施运动补偿。具体地说，运动补偿部134从帧存储器136读出1帧前的图像P3。运动补偿部134使用运动向量V生成对图像P3实施了运动补偿后的图像P4。
此外，图像P4的各像素的像素值，是处于只移动了以处于与该像素对应的位置上的图像P1的像素的运动向量V表示的方向和距离后的位置上的图像P3的像素的像素值。其中，在运动向量V的水平运动量VX或者垂直运动量VY中存在小数部分、而在只移动了图像P3的运动向量V后的位置上不存在实际的像素的情况下，参照图10通过与上述方法相同的方法，算出图像P4的像素值。
运动补偿部134将图像P4的像素值P4(x，y)按顺序提供给积和运算部135。
在步骤S29中，积和运算部135合成图像，循环型变换处理结束。具体地说，积和运算部135使用循环系数KA或者KB，将处于与图像P1和图像P4对应的位置上的像素的像素值进行加权相加。即，积和运算部135对A类像素使用循环系数KA，根据下式(10)算出图像P2的像素值P2(x，y)，对B类像素使用循环系数KB，根据下式(11)算出图像P2的像素值P2(x，y)。
P2(x，y)＝(1-KA(x，y))×P1(x，y)+KA(x，y)×P4(x，y) …(10)P2(x，y)＝(1-KB(x，y))×P1(x，y)+KB(x，y)×P4(x，y) …(11)通常，循环系数KA(x，y)以及KB(x，y)的值越大，图像P2中的图像P4的成分所占的比例越大，因此，抑制图像P2中的垂直折叠失真的产生的抑制效果变高，另一方面容易产生图像的模糊；循环系数KA(x，y)以及KB(x，y)的值越小，在图像P2中图像P4的成分所占比例越小，因此，抑制图像P2中的垂直折叠失真的产生的抑制效果变低，另一方面抑制图像模糊的产生。
在本发明的实施方式中，如上所述，运动分散减去量KM1(x，y)或者MC块差分减去量KM2(x，y)越大、即运动分散MD(x，y)或者MC块差分值BD(x，y)越大，循环系数KA(x，y)以及KB(x，y)越小。
即，在坐标(x，y)的像素的运动向量V(X，Y)的可靠度低、进行加权相加的图像P1的像素和图像P4的像素的相关低的可能性高的情况下，或者在该像素的折叠失真或者随机噪声不显著、被包含在图像的运动复杂的区域中的可能性高的情况下，像素值P2(x，y)中的像素值P1(x，y)成分所占比例变大。另一方面，在坐标(x，y)的像素的运动向量V(X，Y)的可靠度高、进行加权相加的图像P1的像素和图像P4的像素的相关高的可能性高的情况下、或者在该像素折叠失真或者随机噪声显著、被包含在宽范围中图像运动少的区域的可能性高的情况下，像素值P2(x，y)中的像素值P1(x，y)成分所占比例变小。
另外，垂直运动量VY(X，Y)的绝对值越接近奇数、即垂直折叠失真越大，循环系数KA(x，y)以及KB(x，y)越大，像素值P2(x，y)中的像素值P4(x，y)成分所占比例越大。另一方面，垂直运动量VY(X，Y)的绝对值越接近0或者偶数、即垂直折叠失真越小，循环系数KA(x，y)以及KB(x，y)越小，像素值P2(x，y)中的像素值P1(x，y)成分所占比例越大。
并且，相对于相同垂直运动量VY，将对B类像素的基本循环系数KB0设定为比对A类像素的基本循环系数KA0大的值、且运动分散减去量KM1以及MC块减去量KM2的值并不根据像素类型的不同而改变，因此在相同的图像区域中，循环系数KB(x，y)比KA(x，y)大，图像P2的B类像素与A类像素相比，像素值P2(x，y)中的像素值P4(x，y)成分所占比例大。
因而，在图像P2中，能够抑制垂直折叠失真以及随机噪声，并且抑制图像的模糊，得到分辨率高的像质。
积和运算部135将生成的图像P2提供给输出相位变换部112，并且存储在帧存储器136中。
下面参照图18的流程图说明图8的步骤S21的运动向量检测处理的详细内容。
在步骤S41中，运动评价值检测部151取得1帧前的图像。具体地说，运动评价值检测部151将作为1帧前的输出图像的图像P3从帧存储器136读出。
在步骤S42中，运动评价值检测部151算出像素位置的运动评价值。具体地说，运动评价值检测部151从图像I1内的块中选择1个还没有检测运动向量的块，设为关注块。运动评价值检测部151将图像P3的规定范围内的像素依次设为关注像素，通过以下式(12)求出各关注像素中的运动评价值M(x，y)。
M(x,y)=Σi=0M-1Σj=0N-12|I1(xb+i,yb+2j)-P3(x+1,y+2j)|···(12)]]>此外，在式(12)中，将关注像素的坐标设为(x，y)，将关注块的基准像素(左上角)的坐标设为(xb，yb)。
即，运动评价值M是取以关注像素为基准像素的比较对象块和关注块的对应的位置上的像素的像素值的差分、并将该差分值的绝对值合计后的值，运动评价值M越小，可以说比较对象块内的图像越接近关注块内的图像。
运动评价值检测部151将表示检测出的各像素的运动评价值M的信息提供给像素精度运动向量检测部152、以及抽头抽出部153、154。
在步骤S43中，像素精度运动向量检测部152检测像素精度的运动向量。具体地说，像素精度运动向量检测部152检测运动评价值M为最小的最小评价值像素。像素精度运动向量检测部152将连接最小评价值像素的坐标和关注块的基准像素坐标的向量检测为关注块的像素精度的运动向量。像素精度运动向量检测部152将表示检测出的像素精度的运动向量的信息提供给抽头抽出部153、154。
在步骤S44中，抽头抽出部153抽出预测抽头。具体地说，抽头抽出部153将与包括最小评价值像素的最小评价值像素附近的图像P3的像素对应的运动评价值M作为预测抽头抽出。
图19是表示图像P3的一部分的图。此外，在图19中将最小评价值像素设为像素P0，与像素P0到P24对应的运动评价值设为运动评价值M0到M24。例如，抽头抽出部153抽出运动评价值M0到M24作为预测抽头，其中，该运动评价值M0到M24与作为最小评价值像素的像素P0、与像素P0的外周邻接的像素P1到P8、以及与像素P1到P8的外周邻接的像素P9到P24对应。抽头抽出部153将抽出的预测抽头提供给预测运算部158。
在步骤S45中，抽头抽出部154抽出类抽头。例如，在图19所示的例子中，抽头抽出部154抽出运动评价值M0到M8作为类抽头，其中，该运动评价值M0到M8与作为最小评价值像素的像素P0以及与像素P0邻接的像素P1到P8对应。抽头抽出部154将抽出的类抽头提供给ADRC处理部155。
在步骤S46中，ADRC处理部155进行ADRC处理。具体地说，ADRC处理部155将构成类抽头的像素的运动评价值M进行ADRC处理，将表示其结果所得到的ADRC码的信息提供给类分类部156。
在步骤S47中，类分类部156进行类分类。具体地说，类分类部156根据来自ADRC处理部155的ADRC码，将最小评价值像素进行类分类，将表示与其结果所得到的类对应的类编码的信息提供给系数存储器157。
在步骤S48中，系数存储器157提供抽头系数。具体地说，系数存储器157从存储在内部的抽头系数集合中取得与最小评价值像素的类编码对应的抽头系数。系数存储器157将取得的抽头系数提供给预测运算部158。
在步骤S49中，预测运算部158进行预测运算。具体地说，例如在图19所示的例子中，在将处于连接像素P0和像素P1到P8的直线上的位置上、正中间的位置P1’到P8’设为预测位置的情况下，预测运算部158根据以下式(13)算出位置P1’到P8’中的运动评价值M1’到M8’。
Mm′=Σn=024wmn×Mn=wm0×M0+···+wm24×M24···(13)]]>其中，取m＝1至8。
此外，wmn(n＝0至24)是用于算出位置Pm’(m＝1至8)的运动评价值Mm’(m＝1至8)的抽头系数。
预测运算部158将各预测位置处的运动评价值Mm’提供给像素以下精度运动向量检测部159。
在步骤S50中，像素以下精度运动向量检测部159检测像素以下精度的运动向量。具体地说，例如，在图19所示的例子的情况下，像素以下精度运动向量检测部159从像素P0以及位置P1’到P8’的运动评价值中检测成为最小的评价值。像素以下精度运动向量检测部159将连接运动评价值最小的像素或者位置的坐标、和关注块的基准像素坐标的向量，检测为对关注块的像素以下精度的运动向量V。即在该例子中，以像素间隔的2分之1的精度来检测运动向量。
此外，通过增加设定在像素间的预测位置的数量，能够以更高精度、即以更小的单位来检测运动向量。
像素以下精度运动向量检测部159将表示检测出的运动向量V的信息提供给MC块差分检测部132、循环系数设定部133、以及运动补偿部134。
在步骤S51中，运动评价值检测部151判断是否检测出了全部运动向量。在还剩有未检测运动向量的块的情况下，运动评价值检测部151判断为尚未检测全部运动向量，处理返回到步骤S42。其后，重复执行步骤S42到S51的处理，直到在步骤S51中判断为检测了全部运动向量为止。
在步骤S51中，在判断为检测出了全部运动向量的情况下，处理进入步骤S52。
在步骤S52中，运动评价值检测部151提供在运动向量检测中所用的图像，像素以下精度运动向量检测处理结束。具体地说，运动评价值检测部151将在运动向量检测中所用的图像I1以及图像P3提供给MC块差分检测部132。
下面说明存储在系数存储器157中的抽头系数的学习。
首先，根据更一般化的例子来说明类分类适应处理中的抽头系数的学习。具体地说，从构成SD图像的像素(下面适当称为SD像素)，将构成HD图像的像素(下面适当称为HD像素)的像素值y作为用于预测HD像素的预测抽头抽出，使用该抽出的多个SD像素和抽头系数，根据通过由下面的线性1次式的线性结合求出的线性1次结合模型的例子，来说明抽头系数的学习。
y=Σn=1Nwnxn···(14)]]>其中，在式(14)中，xn表示构成关于HD像素y的预测抽头的、第n号的SD图像数据的像素的像素值，wn表示与第n号SD像素的像素值相乘的第n号的抽头系数。此外在式(14)中，预测抽头设为由N个SD像素x1、x2、…、xN构成。
现在将第k样本的HD像素的像素值真值表示为yk，并且将通过式(14)得到的其真值yk的预测值表示为yk’时，其预测误差ek由下式表示。
ek＝yk-yk’…(15)式(15)的预测值yk’，是按照式(14)求出的，因此将式(15)的yk’按照式(14)置换时，得到下式。
ek=yk-(Σn=1Nwnxn,k)···(16)]]>其中，在式(16)中，xn’k表示构成关于第k样本的HD像素的预测抽头的第n号的SD像素。
式(16)的预测误差ek为0的抽头系数wn，成为对于预测HD像素最适合的系数，但是通常很难对全部的HD像素求出这样的抽头系数wn。
因此，作为表示抽头系数wn成为最佳系数的规范，例如当采用最小二乘法时，最佳抽头系数wn能够通过将作为统计误差的、例如以下式表示的平方差的总和E取最小来求出。
E=Σk=1Kek2···(17)]]>其中，在式(17)中，K表示构成HD像素yk和关于该HD像素yk的预测抽头的SD像素x1’K、x2’K、…、xN’K的集合的样本数。
将式(17)的平方误差的总和E取极小的抽头系数wn，是将该总和E以抽头系数wn进行偏微分后的值设为0的系数，因而有必要满足下式。
∂E∂wn=e1∂e1∂wn+e2∂e2∂wn+···+ek∂ek2∂wn=0,(n=1,2,···,N)···(18)]]>因此，当将上述的式(18)以抽头系数wn进行偏微分时，得到下式。
∂ek∂w1=-x1,k,∂ek∂w2=-x2,k,···,∂ek∂wN=-xN,k,,(k=1,2,···,K)···(19)]]>从式(18)和式(19)得到下式。
Σk=1Kekx1,k=0,Σk=1Kekx2,k=0,···Σk=1KekxN,k=0···(20)]]>通过将式(16)代入式(20)的ek中，式(20)能够以式(21)所示的正规方程式来表示。
通过准备一定程度个数的HD像素yk和SD像素xn’k的集合，能够建立与应求出的抽头系数wn的个数相同的个数的式(21)的正规方程式，从而通过求解式(21)能够求出最佳的抽头系数wn。此外，在求解式(21)时，例如能够采用扫出法(Gauss-Jordan的消去法)等。其中，为了求解式(21)，在式(21)中与抽头系数wn有关的左边的矩阵必须是正则矩阵。
如以上那样，将多个HD像素y1、y2、…、yk设为成为抽头系数的学习的教师的教师数据，并且将构成关于HD像素yk的预测抽头的SD像素x1’k、x2’k、…、xn’k设为成为抽头系数的学习的学生的学生数据，通过求解式(21)能够求出最佳的抽头系数wn。
这里，作为教师数据y，采用由对预测位置处也存在像素的、像素密度比图像P3高的图像的各像素进行检测得到的运动评价值M构成的图像(下面称为教师图像)，作为学生数据x，为了达到与图像P3相同的像素密度，通过采用从教师图像间除像素后的图像，求出式(13)中所使用的抽头系数。
此外，关于检测使用了类分类适应处理的像素以下精度的运动向量的方法，例如在本发明的申请人先前申请的日本特开平9-187013号公报等中公开有其详细内容。
由此，能够将隔行扫描方式的图像变换为像质更佳的逐行扫描方式的图像。
另外，例如，从循环型IP变换部111输出去除了垂直折叠失真、噪声后的图像，因此在后级的图像处理装置中，能够得到更佳的像质。例如，在本发明的申请人先前申请的日本特开2002-218413号公报中所述的、使用类分类适应处理将像质以多个轴自由调整的处理中，能够调整使得分辨率进一步提高，能够得到更佳的像质。
此外，在以上的说明中，说明了将成为检测图像I1的运动向量V的对象的图像设为作为1帧前的输出图像的图像P3的例子，但是，例如，也可以使用作为1场前的输入图像的图像I2或者作为2场前的输入图像的图像I3来代替图像P3。
图20是表示使用作为1场前的输入图像的图像I2作为成为检测图像I1的运动向量V的对象的图像时的循环型变换部201的功能结构的框图。循环型变换部201，由帧存储器211、运动向量检测部212、MC块差分检测部213、循环系数设定部133、运动补偿部134、积和运算部135、以及帧存储器136构成。此外，对于与图2对应的部分标记相同符号，由于对处理相同的部分说明重复，因此省略。
帧存储器211存储从外部输入的图像I1，并延迟1场提供给运动向量检测部212。即，将作为输入到循环型变换部201后延迟1场的图像I1的图像I2，提供给运动向量检测部212。
运动向量检测部212将图像I1相对于图像I2的运动向量V，通过与上述的运动向量检测部131相同的方法检测出来。运动向量检测部212将表示检测出的运动向量V的水平运动量VX以及垂直运动量VY的信息提供给MC块差分检测部213、循环系数设定部133、以及运动补偿部134。另外，运动向量检测部212将在运动向量V的检测中使用的图像I1以及图像I2提供给MC块差分检测部213。
MC块差分检测部213对图像I1的每个块检测MC块差分值，该差分值是各块的像素值、和与该块对应的图像I2的块、即处于将图像I1的各块只移动了以运动向量V表示的方向和距离后的位置上的图像I2的块的像素值之间的差分值。MC块差分检测部213将表示检测出的MC块差分值BD的信息提供给循环系数设定部133。
图21是表示使用作为2场前的输入图像的图像I3来作为成为检测图像I1的运动向量V的对象的图像时的循环型变换部301的功能结构的框图。循环型变换部301由帧存储器311、312、运动向量检测部313、MC块差分检测部314、循环系数设定部133、运动补偿部134、积和运算部135、以及帧存储器136构成。此外，对于与图2对应的部分标记相同符号，由于对于处理相同的部分其说明重复，因此省略。
帧存储器311存储从外部输入的图像I1，并延迟1场提供给帧存储器312。即，将作为输入到循环型变换部301后延迟1场后的图像I1的图像I2，提供给帧存储器312。
帧存储器312存储图像I2，并延迟1场提供给运动向量检测部313。即，将作为从输入到循环型变换部301后延迟2场后的图像I1的图像I3，提供给运动向量检测部313。
运动向量检测部313将图像I1相对于图像I3的运动向量V，通过与上述的运动向量检测部131相同的方法检测出来。此外，检测出的运动向量V，是输入图像I1的场间隔和输出图像P2的帧间隔的2倍间隔即2个场之间的运动向量，因此运动向量检测部313为了取得整合性，将表示取检测出的运动向量一半大小的向量、即将水平运动量VX以及垂直运动量VY取二分之一的值的信息提供给MC块差分检测部314、循环系数设定部133、以及运动补偿部134。另外，运动向量检测部313将在运动向量V检测中使用的图像I1以及图像I3提供给MC块差分检测部314。
MC块差分检测部314对图像I1的每个块检测MC块差分值，该差分值是各块的像素值、和与各块对应的图像I3的块、即处于将图像I1的各块只移动了以运动向量V的二分之一的向量表示的方向和距离后的位置上的图像I3的块的像素值之间的差分值。MC块差分检测部314将表示检测出的MC块差分值BD的信息提供给循环系数设定部133。
另外，像素以下精度的运动向量的检测方法，并不限定于上述的方法，也可以使用其他方法。
并且，在以上的说明中说明了将SD图像进行IP变换处理的例子，但是本发明当然也能够应用在高分辨率图像的IP变换处理中。
此外，本发明例如能够应用在电视接收机等、将隔行扫描图像变换为逐行扫描图像的图像处理装置中。
上述的一系列处理，可由硬件执行，也可由软件执行。在由软件执行一系列处理的情况下，将构成该软件的程序从程序记录介质安装在组装在专用硬件中的计算机中、或者可通过安装各种程序而执行各种功能的例如通用个人计算机等中。
图22是表示通过程序执行上述一系列处理的个人计算机400的结构例的框图。CPU(Central Processing Unit中央处理单元)401，根据存储在ROM(Read Only Memory只读存储器)402、或者记录部408中的程序，执行各种处理。RAM(Random AccessMemory随机存取存储器)403中适当存储有CPU401执行的程序、数据等。这些CPU401、ROM402、以及RAM403，通过总线404相互连接着。
在CPU401上，通过总线404还连接有输入输出接口405。在输入输出接口405上连接有由键盘、鼠标、麦克风等构成的输入部406；由显示器、扬声器等构成的输出部407。CPU401与从输入部406输入的指令对应，执行各种处理。然后，CPU401将处理结果输出到输出部407。
连接在输入输出接口405上的记录部408，例如由硬盘构成，存储CPU401执行的程序、各种数据。通信部409通过互联网、局域网络等网络与外部装置进行通信。
另外，也可以通过通信部409取得程序，存储在记录部408中。
当安装了磁盘、光盘、光磁盘、或者半导体存储器等可移动介质411时，连接在输入输出接口405上的驱动器410驱动它们，取得其中记录着的程序、数据等。将取得的程序、数据，根据需要转送并存储到记录部408中。
保存安装在计算机中、成为可通过计算机执行的状态的程序的程序记录介质，如图22所示，由作为封装介质的可移动介质411、或者暂时或永久性存储程序的ROM402、构成记录部408的硬盘等构成，其中，可移动介质411由磁盘(包含软盘)、光盘(包含CD-ROM(Compact Disk-Read Only Memory光盘只读存储器))、DVD(Digital Versatile Disk数字通用盘)、光磁盘、或者半导体存储器等构成。根据需要通过作为路由器、调制解调器等的接口的通信部409，利用所谓局域网络、互联网、数字卫星广播这样的有线或者无线的通信介质来将程序保存在程序记录介质中。
此外，在本说明书中，对存储在存储介质中的程序进行记述的步骤，当然包括按记载的顺序按时间顺序进行的处理，也包括未必按时间顺序进行处理，而是并行或者分别执行的处理。
并且本发明的实施方式并不限定于上述实施方式，在不脱离本发明精神的范围内，能够做出各种变更。
权利要求
1.一种图像处理装置，将隔行扫描方式的输入图像变换为逐行扫描方式的输出图像，其特征在于，具备IP变换单元，将前述输入图像变换为逐行扫描方式的中间图像；运动向量检测单元，检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量；循环系数设定单元，根据作为前述运动向量的垂直方向成分的垂直运动量，设定对于第1类像素的第1循环系数和对于第2类像素的第2循环系数，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；运动补偿单元，根据前述运动向量生成运动补偿图像，该运动补偿图像是对过去的前述输出图像实施了运动补偿后的图像；以及输出图像生成单元，生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
2.根据权利要求1所述的图像处理装置，前述垂直运动量的绝对值越接近0或者前述中间图像的像素间隔的偶数倍，前述循环系数设定单元将前述第1循环系数以及前述第2循环系数设定为越小的值；前述垂直运动量的绝对值越接近前述中间图像的像素间隔的奇数倍，前述循环系数设定单元将前述第1循环系数以及前述第2循环系数设定为越大的值。
3.根据权利要求1所述的图像处理装置，前述循环系数设定单元对于相同值的前述垂直运动量，将前述第2循环系数设定为比前述第1循环系数大的值。
4.根据权利要求1所述的图像处理装置，其还具备可靠度检测单元，检测前述运动向量的可靠度；以及校正单元，根据前述运动向量的可靠度来校正前述第1循环系数以及前述第2循环系数。
5.根据权利要求4所述的图像处理装置，前述可靠度检测单元，对各个前述运动向量检测表示与周围的前述运动向量的偏差程度的第1运动分散，来作为前述运动向量的可靠度，前述校正单元进行如下校正前述第1运动分散越大，使前述第1循环系数以及前述第2循环系数越小。
6.根据权利要求5所述的图像处理装置，前述可靠度检测单元，还对各个前述运动向量检测第2运动分散来作为前述运动向量的可靠度，该第2运动分散表示与将与该前述运动向量对应的像素只移动了以前述运动向量表示的方向和距离后的位置周围的1帧前的运动向量的偏差程度，前述校正单元，进一步进行如下校正前述第2运动分散越大，使前述第1循环系数以及前述第2循环系数越小。
7.根据权利要求4所述的图像处理装置，前述运动向量检测单元对每个规定大小的块检测前述运动向量；前述可靠度检测单元检测前述输入图像的前述块内的像素值、和使前述块只移动了以前述运动向量表示的方向和距离后的前述过去的输出图像的块内的像素值之间的差分值；前述校正单元进行如下校正前述差分值越大，使前述第1循环系数以及前述第2循环系数越小。
8.一种图像处理方法，将隔行扫描方式的输入图像变换为逐行扫描方式的输出图像，包括如下步骤将前述输入图像变换为逐行扫描方式的中间图像；检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量；根据作为前述运动向量的垂直方向成分的垂直运动量，设定对于第1类像素的第1循环系数和对于第2类像素的第2循环系数，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；根据前述运动向量生成运动补偿图像，该运动补偿图像是对过去的前述输出图像实施了运动补偿的图像；生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
9.一种程序，使计算机执行将隔行扫描方式的输入图像变换为逐行扫描方式的输出图像的图像处理，包括如下步骤将前述输入图像变换为逐行扫描方式的中间图像；检测将比前述中间图像的像素间隔短的距离设为最小单位的前述输入图像的运动向量；根据作为前述运动向量的垂直方向成分的垂直运动量，设定对于第1类像素的第1循环系数和对于第2类像素的第2循环系数，其中第1类像素处于前述输入图像中存在像素的位置上，第2类像素处于前述输入图像中不存在像素的位置上；根据前述运动向量生成运动补偿图像，该运动补偿图像是对过去的前述输出图像实施了运动补偿的图像；生成前述输出图像，该输出图像由将前述中间图像的前述第1类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第1循环系数进行加权相加、将前述中间图像的前述第2类像素的像素值和处于前述运动补偿图像的对应位置上的像素的像素值使用前述第2循环系数进行加权相加得到的像素值构成。
全文摘要
提供图像处理装置和方法、以及程序。将隔行扫描图像变换为像质更佳的逐行扫描图像。运动向量检测部(131)检测输入的隔行扫描方式图像I1的像素以下精度的运动向量。运动补偿部(134)根据检测的运动向量生成对1帧前的输出图像实施运动补偿后的图像P4。循环系数设定部(133)对将图像I1进行IP变换后的逐行扫描方式图像P1的各像素，根据是否是处于IP变换前的图像I1中存在像素的位置上的像素、垂直运动量的大小、及运动向量的可靠度，设定循环系数(KA、KB)。积和运算部135使用循环系数(KA或KB)，将处于图像P1和图像P4对应位置上的像素的像素值加权相加。本发明可应用于进行IP变换的图像处理装置。
文档编号H04N5/14GK101039406SQ200710087448
公开日2007年9月19日 申请日期2007年3月16日 优先权日2006年3月16日
发明者近藤哲二郎, 宫井岳志, 内田真史, 守村卓夫, 近冈志津男, 菊地大介, 国弘威, 森英树 申请人:索尼株式会社