专利名称：帧率变换装置及方法
技术领域：
本发明涉及使用动态图像的运动矢量生成插补像素，在实际帧之间内插插补帧来变换帧率的帧率变换装置及方法。
背景技术：
在使用液晶屏的图像显示装置中显示动态图像时，容易产生余像。因此为了减少余像，在视频信号的实际帧之间内插插补帧，使帧数增加，例如将垂直频率60Hz的帧率变换为两倍的120Hz或120Hz以上的垂直频率来进行图像显示。在进行帧率变换的视频信号处理装置中，检测图像的运动矢量，使用运动矢量来生成各插补像素，生成在实际帧之间内插的插补帧。作为一例，在专利文献1中记载了使用运动矢量生成插补像素，在实际帧之间内插插补帧来变换帧率的运动补偿型的帧率变换装置。现有技术文献专利文献专利文献1 日本特开2006-331136号公报
发明内容
发明要解决的课题在运动补偿型的帧率变换装置中，根据时间上前后的图像来预测并生成原本不存在的图像，因此有时生成错误的图像，即有时发生错误插补。作为一例，当在空间上位于前面的前景图像和在空间上位于后面的背景图像的运动不同时，容易发生误插补。在前景和背景的边界附近容易发生运动矢量的误检测，存在因误插补导致发生不自然具有异样感的插补图像的问题。本发明是鉴于上述问题而提出的，其目的在于提供一种能够减少因运动矢量的误检测导致的误插补的帧率变换装置及方法。本发明为了解决上述现有技术问题提供了一种帧率变换装置，其特征在于具备 第一相关检测部(21)，其检测第一像素数据与第二帧上的多个像素数据中的各个像素数据的相关值，所述第一像素数据是第一帧上的像素数据，位于与在所述第一帧和所述第一帧之前的第二帧之间内插的插补帧上的插补像素数据相同的位置；第一相关比较部(23)， 其把从所述第一相关检测部输出的相关值中的、相关最大的第一最大相关值和表示该第一最大相关值的方向作为第一运动矢量进行输出；第二相关检测部(22)，其检测第二像素数据与所述第一帧上的多个像素数据中的各个像素数据的相关值，所述第二像素数据是所述第二帧上的像素数据，位于与所述插补像素数据相同的位置；第二相关比较部(M)，其把从所述第二相关检测部输出的相关值中的、相关最大的第二最大相关值和表示该第二最大相关值的方向作为第二运动矢量进行输出；第三相关比较部(25)，其把所述第一运动矢量和所述第二运动矢量中的、所述第一最大相关值和所述第二最大相关值中相关大的一方的运动矢量作为最终的第三运动矢量进行输出；第一像素数据选择部(31)，其根据所述第三运动矢量，选择并输出所述第一帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第三像素数据；第二像素数据选择部(32)，其根据所述第三运动矢量，选择并输出所述第二帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第四像素数据； 插补像素数据生成部(34)，其选择仅使用了所述第三像素数据的单侧插补、仅使用了所述第四像素数据的单侧插补、使用了所述第三及第四像素数据的两侧插补中的某一个插补， 来生成所述插补像素数据，并将其输出；以及帧率变换部G)，其使用所述插补像素数据生成所述插补帧，并将其内插在所述第一帧和所述第二帧之间，来变换帧率。在此，优选所述第三相关比较部在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内的第一条件时，输出用于使所述插补像素数据生成部的插补成为两侧插补的判定信号，所述插补像素数据生成部在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。此外，优选所述第三相关比较部在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内，并且所述第一最大相关值与所述第二最大相关值的差分的绝对值小于第一阈值的第二条件时，输出用于使所述插补像素数据生成部的插补成为两侧插补的判定信号，所述插补像素数据生成部在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。另外，优选所述第三相关比较部在除了满足所述第二条件之外，还满足所述第一最大相关值与所述第二最大相关值的差分的绝对值小于比所述第一阈值小的第二阈值的第三条件时，输出用于使所述插补像素数据生成部的插补成为两侧插补的判定信号。另外，本发明为了解决上述现有技术的问题，提供一种帧率变换方法，其特征在于具备第一相关检测步骤，其检测第一像素数据与第二帧上的多个像素数据中的各个像素数据的相关值，所述第一像素数据是第一帧上的像素数据，位于与在所述第一帧和所述第一帧之前的第二帧之间内插的插补帧上的插补像素数据相同的位置；第一相关比较步骤， 其把在所述第一相关检测步骤中检测的相关值中的、相关最大的第一最大相关值和表示该第一最大相关值的方向作为第一运动矢量进行输出；第二相关检测步骤，其检测第二像素数据与所述第一帧上的多个像素数据中的各个像素数据的相关值，所述第二像素数据是所述第二帧上的像素数据，位于与所述插补像素数据相同的位置；第二相关比较步骤，其把在所述第二相关检测步骤中检测的相关值中的、相关最大的第二最大相关值和表示该第二最大相关值的方向作为第二运动矢量进行输出；第三相关比较步骤，其把所述第一运动矢量和所述第二运动矢量中的、所述第一最大相关值和所述第二最大相关值中相关大的一方的运动矢量作为最终的第三运动矢量进行输出；第一像素数据选择步骤，其根据所述第三运动矢量，选择并输出所述第一帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第三像素数据；第二像素数据选择步骤，其根据所述第三运动矢量，选择并输出所述第二帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第四像素数据；插补像素数据生成步骤，其选择仅使用了所述第三像素数据的单侧插补、仅使用了所述第四像素数据的单侧插补、使用了所述第三及第四像素数据的两侧插补中的某一个插补，来生成所述插补像素数据，并将其输出；以及帧率变换步骤，其使用所述插补像素数据生成所述插补帧，并将其内插在所述第一帧和所述第二帧之间，来变换帧率。
在此，优选所述第三相关比较步骤在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内的第一条件时，输出用于使所述插补像素数据生成步骤的插补成为两侧插补的判定信号，所述插补像素数据生成步骤在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。另外，所述第三相关比较步骤在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内，并且所述第一最大相关值与所述第二最大相关值的差分的绝对值小于第一阈值的第二条件时，输出用于使所述插补像素数据生成步骤的插补成为两侧插补的判定信号，所述插补像素数据生成步骤在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。另外，所述第三相关比较步骤在除了满足所述第二条件之外，还满足所述第一最大相关值与所述第二最大相关值的差分的绝对值小于比所述第一阈值小的第二阈值的第三条件时，输出用于使所述插补像素数据生成步骤的插补成为两侧插补的判定信号。根据本发明的帧率变换装置及方法，能够减少因运动矢量的误检测导致的误差值，因此能够获得自然没有异样感的帧率变换图像。
图1是表示本发明的帧率变换装置的一个实施方式的框图。图2是用于说明在一个实施方式中使用的第一相关检测方法的图。图3是用于说明在一个实施方式中使用的第二相关检测方法的图。图4是用于说明基于运动矢量的插补矢量的图。图5是表示图1中的相关比较部25的具体结构例的框图。图6是用于说明图5所示的相关比较部25的动作的图。图7是表示图1中的选择平均值化部34的具体结构例的框图。图8是用于说明一个实施方式中的插补动作的图。图9是用于说明一个实施方式中的插补动作的图。图10是用于说明根据一个实施方式所获得的效果的图。
具体实施例方式以下，参照附图对本发明的帧率变换装置及方法的一个实施方式进行说明。在图 1中，将具有60Hz的帧频率的视频信号Sin的各像素数据依次输入给帧存储器1、运动矢量检测部2、插补部3、时间序列变换存储器4。帧存储器1将所输入的像素数据延迟一帧后输出。将所输入的视频信号Sin的当前帧设为F0、从帧存储器1输出的当前帧的一帧之前的帧设为Fl。将帧Fl的像素数据依次输入到运动矢量检测部2及插补部3。运动矢量检测部2具备相关检测部21、22和相关比较部23 25。相关检测部21 通过图2所示的第一相关检测方法检测多个方向的相关。使用图2对在相关检测部21中进行的第一相关检测方法进行说明。图2表示在相邻的帧F1、F0中，由“ABCDEF”的文字图像构成的物体OBl水平移动的状态。帧FpO是在帧F1、F0之间内插的插补帧。为了求出生成插补帧FpO上的插补像素数据PfpO时所需要的运动矢量，如图2所示那样生成多个方向的差分值。所谓差分值严格地说是像素数据的亮度值的差分绝对值，以下简单称为差分值。
在图2中，将与插补像素数据PfpO处于相同水平及垂直位置的帧FO上的像素数据PfOO固定为移动后的像素数据，将帧Fl上的多个像素数据分为设为移动前的像素数据。 帧Fl上的移动前的像素数据是将与插补像素数据PfpO处于相同水平及垂直位置上的像素数据PflO为中心的预定的范围内的像素数据。并且，为了简化，仅将帧Fl上的像素数据 PflO用圆圈表示，省略其它像素数据的圆圈。相关检测部21分别求出像素数据PfOO与帧 Fl上的多个像素数据的差分值Dfll Df 1M。如图1所示，将差分值Dfll DflM输入到相关比较部23。也可以将差分值Dfll DflM称为相关值。差分值越小相关越大，差分值越大相关越小。相关比较部23对差分值Dfll DflM进行大小比较，将表示最小值的方向作为运动矢量MVl输出，并且将最小的差分值，即运动矢量MVl具有的差分值作为DFl输出。具有最小差分值DFl的方向相关最大。最小差分值DFl是最低相关值。在图2中，分别连结了像素数据PfOO和帧Fl上的多个像素数据的虚线表示未被选择为运动矢量MVl的候补矢量。 将从相关比较部23输出的运动矢量MVl和差分值DFl提供给相关比较部25。另一方面，相关检测部22通过图3所示的第二相关检测方法检测多个方向的相关。使用图3对在相关检测部22中进行的第二相关检测方法进行说明。图3与图2相同， 表示在相邻的帧Fl、FO中、由“AB⑶EF”的文字图像构成的物体OBl水平移动的状态。为了求出生成插补帧FpO上的插补像素数据PfpO时所需要的运动矢量，如图3所示那样生成多个方向的差分值。在图3中，将与插补像素数据PfpO处于相同水平及垂直位置的帧Fl上的像素数据Pfio固定为移动前的像素数据，将帧FO上的多个像素数据分别设为移动后的像素数据。 帧FO上的移动后的像素数据是将与插补像素数据PfpO处于相同水平及垂直位置上的像素数据PfOO为中心的预定的范围内的像素数据。并且，为了简化，仅将帧FO上的像素数据 PfOO用圆圈表示，省略其它像素数据的圆圈。相关检测部22分别求出像素数据PflO与帧 FO上的多个像素数据的差分值Df21 Df2M。如图1所示，将差分值Df21 Df2M输入到相关比较部对。同样，也可以将差分值Df21 Df2M称为相关值。相关比较部M对差分值Df21 Df2M进行大小比较，将表示最小值的方向作为运动矢量MV2输出，并且将最小的差分值(最大相关值)，即运动矢量MV2具有的差分值作为 DF2输出。在图3中，分别连结像素数据PflO和帧FO上的多个像素数据的虚线表示未被选择为运动矢量MV2的候补矢量。将从相关比较部对输出的运动矢量MV2和差分值DF2提供给相关比较部25。在图2、图3中，求出一对像素数据间的差分值来检测相关，但是，可以根据针对每个包含多个像素数据的块求出差分值并进行积分后的差分绝对值和来求出相关。相关检测方法可以为任意的方法。相关比较部25根据差分值DF1、DF2以及运动矢量MVl、MV2，生成最终的运动矢量 MV3和用于决定插补部3中的插补方法的插补控制信号FS1，并进行输出。当运动矢量MV3 为图4所示的矢量时，用于生成插补像素数据PfpO的一对插补矢量为从帧Fl上的像素数据Pfll向插补像素数据PfpO的矢量(1/2) XMV3(以下表记为1/2MV3)和从帧FO上的像素数据PfOl向插补像素数据PfpO的矢量(-1/2) XMV3(以下表记为-1/2MV3)。在本实施方式中，如后述那样，插补部3在根据插补控制信号FS1，生成插补像素数据PfpO时，选择地使用仅使用帧Fl上的像素数据(在图4的例子中为像素数据Pfll) 的单侧插补的插补方法、仅使用帧FO上的像素数据(在图4的例子中为像素数据PfOl)的单侧插补的插补方法、以及将帧Fl上的像素数据和帧FO上的像素数据平均值化来生成新的像素数据的两侧插补的插补方法。使用图5对相关比较部25的具体结构及动作进行说明。在图5中，将差分值DFl、 DF2输入给相关比较部251，相关比较部251在差分值DF2小于差分值DFl时，将1作为比较信号kpO输出，在为这以外时，将O作为比较信号kpO输出。矢量选择部252在比较信号kpO为O时，将运动矢量MVl作为运动矢量MV3输出，在比较信号kpO为1时，将运动矢量MV2作为运动矢量MV3输出。向矢量等价判定部253输入运动矢量MV1、MV2。矢量等价判定部253在运动矢量 MV1、MV2的差分在比较小的预定的范围内时，将1作为判定信号SjO输出，在为这以外时，将 O作为判定信号SjO输出。另外，作为一例，可以如下那样求出运动矢量MV1、MV2的差分。 将运动矢量MVl的水平方向和垂直方向的成分设为(xl、yl)，把运动矢量MV2的水平方向和垂直方向的成分设为(x2、y2)。xl、yl、x2、y2为正或负的值。如果(| xl_x2 |、| yl_y2 |) 在预定的(a、b)以内，则运动矢量MV1、MV2的差分在预定的范围内。只要适当地设定a、b 的值即可。向相关差分绝对值计算部邪4输入差分值DF1、DF2，相关差分绝对值计算部254 计算差分值DFl、DF2的差分的绝对值Sda，并进行输出。阈值比较部255比较第一阈值THl和差分绝对值Sda，当差分绝对值Sda小于第一阈值THl时，将1作为比较信输出，在这以外时，将O作为比较信输出。阈值比较部256比较第二阈值TH2和差分绝对值Sda，当差分绝对值Sda小于第二阈值TH2时， 将1作为判定信号Sj2输出，在这以外时，将O作为判定信号Sj2输出。第二阈值TH2是小于第一阈值THl的值。向AND电路257输入来自矢量等价判定部253的判定信号SjO和来自阈值比较部 255的比较信号kpl。AND电路257在两个输入信号为1时，将1作为判定信号Sjl输出， 在这以外时，将O作为判定信号Sjl输出。根据以上的说明可知，从AND电路257输出1是指运动矢量MVl、MV2的差分微小，差分绝对值Sda也较小，是看做运动矢量MVl、MV2实施上相同的情况。关于从AND电路257输出的判定信号Sjl，作为一例，在为前景静止，背景运动的图像时，是用于设为在背景区域中使用了图4所示的矢量1/2MV3、-1/2MV3的两侧插补的信号。向OR电路258输入来自AND电路257的判定信号Sjl和来自阈值比较部256的判定信号Sj2。从阈值比较部256输出的判定信号Sj2是在背景和前景的边界附近区域，差分值DF1、DF2几乎没有差时，用于设为两侧插补的信号。这是因为在背景和前景的边界附近区域，差分值DF1、DF2几乎没有差时，如果进行单侧插补，则容易发生误差值，为了避免误差值。OR电路258在判定信号Sjl、Sj2的至少一方为1时，将1作为判定信号Sj3输出， 在双方为O时，将O作为判定信号Sj3输出。由此，能够在优选设为两侧插补的背景区域使判定信号Sj3为1。另外，在边界附近区域设为单侧插补不理想时，也可使判定信号Sj3为 1。向插补控制信号生成部259输入来自比较部251的比较信号kpO和来自OR电路 258的判定信号Sj3。插补控制信号生成部259根据判定信号Sj3和比较信号kpO，如图6所示生成2比特的插补控制信号FS1。如图6所示，如果判定信号Sj3和比较信号kpO双方为0，则插补控制信号FSl为10，如果判定信号Sj3为0，比较信号ScpO为1，则插补控制信号FSl为01。如果判定信号Sj3为1，则与比较信号MpO无关成为11。返回图1，把从相关比较部25输出的运动矢量MV3输入给插补部3内的矢量延迟量变换部33，将插补控制信号FSl输入到插补部3的选择平均值化部34。插补部3除了矢量延迟量变换部33和选择平均值化部34外，还具备数据保持选择部(像素数据选择部)31、 32。数据保持选择部31保持生成插补像素数据PfpO时所需要的帧FO上的多个像素数据。 数据保持选择部32保持生成插补像素数据PfpO时所需要的帧Fl上的多个像素数据。矢量延迟量变换部33将所输入的运动矢量MV3，如通过图4说明的那样，作为一对插补矢量， 将该一对插补矢量变换为用于生成插补像素数据PfpO的延迟量DLO、DLl后输出。矢量延迟量变换部33将矢量1/2MV3变换为延迟量DL1，将矢量-1/2MV3变换为延迟量DL0。延迟量DL0、DL1是表示将插补像素数据PfpO的位置作为基准，在正方向或负方向上延迟(移位)几个像素的值。向数据保持选择部31输入延迟量DL0，向数据保持选择部32输入延迟量DLl。数据保持选择部31根据延迟量DL0，从预先保持的帧FO上的多个像素数据中选择某个像素数据，数据保持选择部32根据延迟量DL1，从预先保持的帧Fl上的多个像素数据中选择某个像素数据。在图4的例子中，数据保持选择部31选择像素数据Pf 11，数据保持选择部32选择像素数据PfOl。将数据保持选择部31选择出的像素数据设为1^0，将数据保持选择部32 选择的像素数据设为1^1。向选择平均值化部34输入像素数据I^sOlsl。选择平均值化部 34根据插补控制信号FS1，使用像素数据1^0、Psl中的某一方或双方，生成插补像素数据 PfpO并输出。选择平均值化部34是插补像素数据生成部。严格地讲在插补部3中生成亮度及颜色(包含色差)的插补像素数据。在此，使用图7对选择平均值化部34的具体结构和动作进行说明。如图7所示那样，选择平均值化部；34具备选择部341、342和使选择部341、342的输出平均化进行输出的平均值化部343。向选择部341、342分别输入像素数据1^0、1^1。向选择部341输入插补控制信号FSl的下位比特，向选择部342输入插补控制信号FSl的上位比特。选择部341 在插补控制信号FSl的下位比特为1时，选择像素数据1^0，在下位比特为0时选择像素数据PS1。选择部342在插补控制信号FSl的上位比特为1时，选择像素数据1^1，在下位比特为0时选择像素数据PSO。当插补控制信号FSl为10时，选择部341、342 —同选择像素数据Psl并输出，因此从平均值化部343作为插补像素数据PfpO输出像素数据1^1。当插补控制信号FSl为01 时，选择部341、342 —同选择像素数据PsO输出，因此从平均值化部343作为插补像素数据 PfpO输出像素数据1^0。S卩，当插补控制信号FSl为10时，如图8所示那样，成为使用了帧 Fl上的像素数据(在图8中为像素数据Pfll)的单侧插补。另外，当插补控制信号FSl为 01时，如图9所示那样，成为使用了帧FO上的像素数据(在图9中为像素数据PfOl)的单侧插补。当插补控制信号FSl为11时，选择部341选择像素数据1^0，选择部342选择像素数据Psl进行输出，所以从平均值化部343作为插补像素数据PfpO输出使像素数据PsO 和像素数据Psl平均化后的数据。即，当插补控制信号FSl为11时，如图4所示那样，成为使用了帧F0、Fl上的像素数据(在图4的例子中为像素数据Pf01、Pfll)的两侧插补。返回图1，向时间序列变换存储器4依次输入帧FO的像素数据和从插补部3输出的插补像素数据PfpO。时间序列变换存储器4根据依次输入的帧FO中的像素数据生成作为实际帧的帧FO的图像数据，以及根据依次输入的插补像素数据PfpO，生成作为插补帧的插补帧FpO的像素数据。然后，以120Hz将两者交替输出，输出具有120Hz的帧频率的视频信号Sout。接着，使用图10对本实施方式的帧率变换装置及方法的效果进行说明。图10表示前景静止，背景在水平方向运动的状态。在图10中，帧F2是相比帧Fl —帧之前的帧，MV 是背景的运动矢量。图10所示的区域AR1、AR4是背景区域，通过图5 图7所说明的动作，通过使用了帧F0、F1双方的像素数据PsO、Psl的两侧插补来生成区域ARl、AR4内的插补像素数据。区域AR2是在前景和背景的边界处相邻的区域，根据在图5 图7中说明的动作，在生成区域AR2内的插补像素数据时使用的运动矢量中，选择以帧Fl上的像素数据 Pfla Pflb为基点检测出的运动矢量MV2。结果，如虚线的箭头所示那样，通过使用矢量-1/2MV2仅根据帧FO上的像素数据进行插补的单侧插补来生成区域AR2内的插补像素数据。因此，区域AR2内的插补像素数据成为从帧FO上的像素数据背景图像正确移位后的图像。帧Fl上的像素数据Pfla Pflb的范围Rgl是选择了运动矢量MV2的范围。同样的区域AR3是在前景和背景的边界处的相邻的区域，根据通过图5 图7说明的动作，在生成区域AR3内的插补像素数据时使用的运动矢量中，选择以帧FO上的像素数据PfOc PfOd为基点检测出的运动矢量MVl。结果，如虚线的箭头所示那样，通过使用矢量1/2MV1仅根据帧Fl上的像素数据进行插补的单侧插补来生成区域AR3内的插补像素数据。因此，区域AR3内的插补像素数据成为从帧Fl上的像素数据背景图像正确移位后的图像。帧FO上的像素数据PfOc PfOd的范围RgO是选择了运动矢量MVl的范围。另外， 通过两侧插补对区域Rgsv进行插补。另外，区域AR21、AR31是区域AR2、AR3内的边界附近的区域，在该边界附近区域 AR21、AR31中，在通过图5 图7说明的特定的条件时，不是单侧插补而是设为两侧插补。 例如，在前景和背景的亮度相近时，在区域AR21、AR31中，差分值DF1、DF2成为相近的值， 不将从图5的相关比较部251输出的比较信号kpO固定为0或1的一方，而是频繁在0和 1之间变化。此时，如果进行单侧插补，则区域AR21、AR31成为前景双重抖动的图像。在通过图5 图7说明的特定的条件时，通过进行两侧插补，能够减轻区域AR21、AR31中的异样感。如此，在本实施方式中，即使在如图10所示那样，前景和背景进行不同的运动时， 也能够防止在前景和背景的边界附近容易发生的运动矢量的误检测。因此，能够减少因运动矢量的误检测而导致的误插补，能够获得自然异样感少的帧率变换图像。在以上说明的本实施方式中，为了减轻图10的区域AR21、AR31中的异样感，在图 5中设置了阈值比较部256及OR电路258，但是为了简化也可以删除阈值比较部256及OR 电路258。但是，优选设置阈值比较部256及OR电路258。另外，也可以删除阈值比较部 255及AND电路257，仅通过矢量等价判定部253来判断为背景。但是，优选设置阈值比较部255及AND电路257。
当满足来自矢量等价判定部253的判定信号SjO为1的第一条件时，设为两侧插补为基本。当追加阈值比较部255时，尽管在边界附近本来优选单侧插补，但是也能够避免在运动矢量MV1、MV2等价时成为两侧插补的不良情况。因此，当满足判定信号SjO和比较信号kpl双方为1的第二条件时，优选设为两侧插补。并且，追加阈值比较部256，在满足判定信号Sj2为1的第三条件时，当设为两侧插补时，也能够减轻在边界附近区域AR21、 AR31中的异样感。当满足第一条件和第三条件时，可以设为两侧插补。在图1所示的本实施方式中，表示了将帧率变换为两倍的帧率变换装置及方法， 但是也可以为变换为三倍或三倍以上的垂直频率的帧率变换装置及方法。可以将本实施方式用于电影抖动(film judder)去除装置中。本发明并不限于以上说明的实施方式，可以在不脱离本发明宗旨的范围内进行各种变更。产业上的应用如以上说明那样，根据本发明，能够提供一种减少因运动矢量误检测导致的误插补，获得自然异样感少的帧率变换图像的帧率变换装置。
符号说明 1帧存储器 2运动矢量检测部 3插补部
4时间序列变换存储器 21、22相关检测部 23 25相关比较部
31、32数据保持选择部(像素数据选择部) 33矢量延迟量变换部
34选择平均值化部(插补像素数据生成部)
权利要求
1.一种帧率变换装置，其特征在于，具备第一相关检测部，其检测第一像素数据与第二帧上的多个像素数据中的各个像素数据的相关值，所述第一像素数据是第一帧上的像素数据，位于与在所述第一帧和所述第一帧之前的第二帧之间内插的插补帧上的插补像素数据相同的位置；第一相关比较部，其把从所述第一相关检测部输出的相关值中的、相关最大的第一最大相关值和表示该第一最大相关值的方向作为第一运动矢量进行输出；第二相关检测部，其检测第二像素数据与所述第一帧上的多个像素数据中的各个像素数据的相关值，所述第二像素数据是所述第二帧上的像素数据，位于与所述插补像素数据相同的位置；第二相关比较部，其把从所述第二相关检测部输出的相关值中的、相关最大的第二最大相关值和表示该第二最大相关值的方向作为第二运动矢量进行输出；第三相关比较部，其把所述第一运动矢量和所述第二运动矢量中的、所述第一最大相关值和所述第二最大相关值中相关大的一方的运动矢量作为最终的第三运动矢量进行输出；第一像素数据选择部，其根据所述第三运动矢量，选择并输出所述第一帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第三像素数据；第二像素数据选择部，其根据所述第三运动矢量，选择并输出所述第二帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第四像素数据；插补像素数据生成部，其选择仅使用了所述第三像素数据的单侧插补、仅使用了所述第四像素数据的单侧插补、使用了所述第三及第四像素数据的两侧插补中的某一个插补， 来生成所述插补像素数据，并将其输出；以及帧率变换部，其使用所述插补像素数据生成所述插补帧，并将其内插在所述第一帧和所述第二帧之间，来变换帧率。
2.根据权利要求1所述的帧率变换装置，其特征在于，所述第三相关比较部在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内的第一条件时，输出用于使所述插补像素数据生成部的插补成为两侧插补的判定信号，所述插补像素数据生成部在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。
3.根据权利要求1所述的帧率变换装置，其特征在于，所述第三相关比较部在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内，并且所述第一最大相关值与所述第二最大相关值的差分的绝对值小于第一阈值的第二条件时，输出用于使所述插补像素数据生成部的插补成为两侧插补的判定信号，所述插补像素数据生成部在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。
4.根据权利要求2或3所述的帧率变换装置，其特征在于，所述第三相关比较部在除了满足所述第二条件之外，还满足所述第一最大相关值与所述第二最大相关值的差分的绝对值小于比所述第一阈值小的第二阈值的第三条件时，输出用于使所述插补像素数据生成部的插补成为两侧插补的判定信号。
5.一种帧率变换方法，其特征在于，具有第一相关检测步骤，其检测第一像素数据与第二帧上的多个像素数据中的各个像素数据的相关值，所述第一像素数据是第一帧上的像素数据，位于与在所述第一帧和所述第一帧之前的第二帧之间内插的插补帧上的插补像素数据相同的位置；第一相关比较步骤，其把在所述第一相关检测步骤中检测的相关值中的、相关最大的第一最大相关值和表示该第一最大相关值的方向作为第一运动矢量进行输出；第二相关检测步骤，其检测第二像素数据与所述第一帧上的多个像素数据中的各个像素数据的相关值，所述第二像素数据是所述第二帧上的像素数据，位于与所述插补像素数据相同的位置；第二相关比较步骤，其把在所述第二相关检测步骤中检测的相关值中的、相关最大的第二最大相关值和表示该第二最大相关值的方向作为第二运动矢量进行输出；第三相关比较步骤，其把所述第一运动矢量和所述第二运动矢量中的、所述第一最大相关值和所述第二最大相关值中相关大的一方的运动矢量作为最终的第三运动矢量进行输出；第一像素数据选择步骤，其根据所述第三运动矢量，选择并输出所述第一帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第三像素数据；第二像素数据选择步骤，其根据所述第三运动矢量，选择并输出所述第二帧上的多个像素数据中的、为了生成所述插补像素数据而需要的第四像素数据；插补像素数据生成步骤，其选择仅使用了所述第三像素数据的单侧插补、仅使用了所述第四像素数据的单侧插补、使用了所述第三及第四像素数据的两侧插补中的某一个插补，来生成所述插补像素数据，并将其输出；以及帧率变换步骤，其使用所述插补像素数据生成所述插补帧，并将其内插在所述第一帧和所述第二帧之间，来变换帧率。
6.根据权利要求5所述的帧率变换方法，其特征在于，所述第三相关比较步骤在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内的第一条件时，输出用于使所述插补像素数据生成步骤的插补成为两侧插补的判定信号，所述插补像素数据生成步骤在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。
7.根据权利要求5所述的帧率变换方法，其特征在于，所述第三相关比较步骤在满足所述第一运动矢量与所述第二运动矢量的差分在预定的范围内，并且所述第一最大相关值与所述第二最大相关值的差分的绝对值小于第一阈值的第二条件时，输出用于使所述插补像素数据生成步骤的插补成为两侧插补的判定信号，所述插补像素数据生成步骤在被输入了所述判定信号后，使所述第三及第四像素数据平均值化，生成所述插补像素数据。
8.根据权利要求6或7所述的帧率变换方法，其特征在于，所述第三相关比较步骤在除了满足所述第二条件之外，还满足所述第一最大相关值与所述第二最大相关值的差分的绝对值小于比所述第一阈值小的第二阈值的第三条件时，输出用于使所述插补像素数据生成步骤的插补成为两侧插补的判定信号。
全文摘要
相关检测部(21、22)通过两种相关检测方法来求出相关。相关比较部(23、24)输出表示最大相关值的方向的运动矢量(MV1、MV2)和相关值(DF1、DF2)。相关比较部(25)选择相关大的一方的运动矢量作为运动矢量(MV3)，输出用于决定插补部(3)中的插补方法的插补控制信号(FS1)。插补部(3)根据插补控制信号(FS1)选择单侧插补和两侧插补两种中的某一种，生成插补像素数据(Pfp0)。
文档编号H04N7/01GK102292981SQ201080003851
公开日2011年12月21日 申请日期2010年10月7日 优先权日2009年10月8日
发明者野口浩史 申请人:日本胜利株式会社