专利名称：帧插值装置和帧插值方法
技术领域：
本发明涉及使用包含在视频信号中的多帧图像，在这些帧之间生成插值帧的图像而使动态图像顺畅的帧插值装置以及方法。本发明还涉及在该帧插值方法的实施中使用的程序、以及记录有该程序的记录介质。
背景技术：
液晶电视等维持型的图像显示装置在1帧期间持续显示相同的图像，对于图像中的运动物体，人眼的活动追随运动的物体，另一方面，显示的位置在1帧期间内相同，因此存在边界部分看起来模糊的问题。针对于此，考虑如下情况通过插值帧来增加显示帧数，使显示物体的位置追随运动，同时细微改变该位置，由此顺畅地显示物体的运动。此外，在将帧频不同的视频、或实施了计算机处理的视频转换为电视信号进行显示的情况下，由于多个帧成为相同的图像，由此存在产生运动模糊或运动不平滑(jerky)的被称作抖动(judder)的现象。该问题也能够通过插值帧而增加显示帧数来解决。作为帧插值的一个方法，公知有如下的运动补偿型帧插值方法根据输入视频的帧间的运动矢量生成插值帧。作为该运动补偿型帧插值的方法，提出了块匹配法等各种方法，该块匹配法中，将当前帧分割为一定大小的块，关于各块，在上一个帧上，移动同样大小的块的同时搜索块内的各像素的绝对亮度差总和最小的位置，根据绝对亮度差总和最小的位置关系来估计运动矢量，但是仅根据图像信息不容易准确地估计运动矢量。在检测到与真正的运动不同的运动矢量的情况下，在根据该运动矢量生成的插值帧中产生图像的紊乱。因此，存在如下方法根据估计了运动矢量的块之间的相似度等的像素值定义运动矢量的可靠度，可靠度低的运动矢量作为错误检测到的引起图像紊乱的矢量，用另外准备的破绽防止图像进行校正(例如，参照专利文献1)。专利文献1日本特开2008-244846号公报在以专利文献1为代表的以往的帧插值方法中，根据像素值判断运动矢量的可靠度，因此由于作为运动矢量的错误检测原因的局部性周期图案和/或噪声的影响，不能准确掌握可靠度。特别是，不同的运动在物体和背景的边界附近等相邻，因此根据图像信息估计的运动矢量的可靠度相比于图像的破绽程度大幅降低。因此，在可靠度相比于图像的破绽程度大幅降低的区域中，尽管图像破绽较小，也进行了校正。进行校正的破绽防止图像大多使用前后帧的平均图像，从而产生物体轮廓看起来模糊的问题。此外，由于重复图案等原因，尽管检测到与真正的运动矢量不同的运动矢量，但是由于像素值的结果也相似，从而可靠度变得比原本高，在这种情况下，存在不能适当校正图像紊乱的问题。
发明内容
本发明的帧插值装置在从视频信号输入得到的第1帧、和与所述第1帧不同的过去的第2帧之间，根据包含所述第1帧和所述第2帧在内的2个以上的帧的组生成插值帧，该帧插值装置的特征在于，具有运动矢量估计部，其根据所述帧的组，求出所述第1帧和所述第2帧之间的运动矢量；插值帧生成部，其根据由所述运动矢量估计部求出的运动矢量生成运动补偿型插值帧；以及插值帧校正部，其对由所述插值帧生成部生成的运动补偿型插值帧进行校正，所述插值帧校正部包含运动矢量边界检测部，并根据所述运动矢量边界检测部输出的运动矢量边界校正所述运动补偿型插值帧，所述运动矢量边界检测部检测由所述运动矢量估计部求出的运动矢量的一次微分值或二次微分值的绝对值为预定值以上的位置，作为运动矢量的边界。根据本发明，根据运动矢量分布估计图像紊乱，并进行校正，由此能够生成抑制了图像紊乱的插值帧，从而能够生成闪烁少且运动顺畅的视频。
图1是表示本发明实施方式1的帧插值装置的框图。图2是示出图1的插值帧生成部4的一例的框图。图3是示出图1的插值帧校正部5的一例的框图。图4是示出基于运动补偿插值的插值帧像素值的决定方法的图。图5是示出图3的插值帧校正部5内的边界集中块检测部53的处理流程的流程图。图6是示出以一个边界集中块的中心为中心的边界集中区域的一例的图。图7是示出由多个边界集中区域构成的校正对象区域AH的一例的图。图8是示出以一个边界集中块的中心为中心的边界集中区域的另一例子的图。图9是示出以一个边界集中块的中心为中心的边界集中区域的另一例子的图。图10是示出以一个边界集中块的中心为中心的边界集中区域的另一例子的图。图11是对决定边界集中区域范围的参数的计算方法进行说明的图。图12是示出以多个边界集中块的中心为中心的边界集中区域所包含的像素的例子的图。图13是关于各像素示出距边界集中区域中心的距离、和到相同方向上的边缘的距离的一例的图。图14是对插值帧校正部的处理流程进行总结得到的图。图15是示出在本发明实施方式2的插值装置中使用的插值帧校正部的一例的框图。标号说明1 视频输入端子；2 帧缓存器；3 运动矢量估计部；4 插值帧生成部；5 插值帧校正部；6 输出端子；40、41a、41b 输入端子；42 运动补偿型插值帧生成部；43 混合型插值帧生成部；45a,45b 输出端子；50.51a.51b 输入端子；52 运动矢量边界检测部；52 边界集中块检测部；54 边界集中区域决定部；55 校正映射图生成部；56 插值帧合成部；57 输出端子；58 边界集中区域决定部。
具体实施例方式实施方式1.以下，根据
本发明的实施方式1。
图1是示出本发明实施方式1的帧插值装置的框图。图示的帧插值装置具有视频输入端子1、帧缓存器2、运动矢量估计部3、插值帧生成部4、插值帧校正部5和插值帧输出端子6。从视频输入端子1输入的视频被蓄积在帧缓存器2中。 运动矢量估计部3接收从帧缓存器2读出的第1帧Fl及第2帧F2的数据(以下有时将“帧的数据”简称作“帧”)并输出运动矢量MV。此处，第1帧Fl是最新的帧(当前帧)，第2帧F2是在时间上比第1帧Fl靠前的帧(过去帧)。插值帧生成部4接收从运动矢量估计部3输出的运动矢量MV和从帧缓存器2读出的第1帧Fl及第2帧F2，输出考虑了图像运动的运动补偿型插值帧Fe，并且输出以与插值帧的时间相位对应的比例将第1帧Fl及第2帧F2相加而得到的混合型插值帧冊。此处所说的时间相位，是以第1帧Fl和第2帧F2的间隔作为1个周期，来表示第1帧Fl和第2帧F2之间的插值帧在时间轴上的位置的相位。插值帧校正部5接收从运动矢量估计部3输出的运动矢量MV和从插值帧生成部4输出的运动补偿型插值帧Fc以及混合型插值帧冊，使用混合型插值帧冊，根据运动矢量MV校正运动补偿型插值帧Fe，并输出校正后的运动补偿型插值帧(校正插值帧)冊。从插值帧校正部5输出的校正插值帧1 经由插值帧输出端子6输出。图2是示出插值帧生成部4的一例的框图。图示的插值帧生成部4具有运动矢量输入端子40、帧输入端子41a及41b、运动补偿型插值帧生成部42、混合型插值帧生成部43、插值帧输出端子4 和混合型插值帧输出端子45b。运动矢量输入端子40接收从运动矢量估计部3输出的运动矢量MV (表示运动矢量MV的数据)。帧输入端子41a及41b分别从帧缓存器2接收第1帧Fl及第2帧F2。运动补偿型插值帧生成部42通过输入端子40接收运动矢量MV，并且通过输入端子41a及41b接收第1帧Fl及第2帧F2，输出运动补偿型插值帧Fe。混合型插值帧生成部43通过帧输入端子41a及41b接收第1帧Fl及第2帧F2，进行相位加权混合(加权平均)而输出混合型插值帧冊。运动补偿型插值帧Fc通过输出端子4 输出，混合型插值帧Fb通过输出端子4 输出。图3是示出插值帧校正部5的一例的框图。图示的插值帧校正部5具有运动矢量输入端子50、帧输入端子51a及51b、运动矢量边界检测部52、边界集中块检测部53、边界集中区域决定部M、校正映射图生成部55、插值帧合成部56和校正插值帧输出端子57。运动矢量输入端子50接收从运动矢量估计部3输出的运动矢量MV。帧输入端子51a及51b接收从插值帧生成部4输出的运动补偿型插值帧Fc和混合型插值帧冊。运动矢量边界检测部52通过输入端子50接收运动矢量MV，并输出由位于运动矢量边界的像素构成的边界图像EV。在运动矢量的边界检测时，将运动矢量的空间方向的一次微分(一次差分)或二次微分(二次差分)的绝对值在预定值以上的位置设为运动矢量MV的边界，检测位于该边界的像素(边界像素)，并将由该边界像素构成的图像设为运动矢量边界图像EV。作为一例，在后述的图11中，用黑圆点表示边界像素。边界集中块检测部53接收从运动矢量边界检测部52输出的运动矢量边界图像EV,并输出运动矢量边界集中度分布信息DC。边界集中块检测部53例如进行分别形成画面的一部分的各个块是否包含预定比例以上边界像素的判定，将判断为包含预定比例以上边界像素的块检测为边界集中块，并输出表示该边界集中块的信息作为上述的运动矢量边界集中度分布信息DC。形成画面的一部分的块能够通过将画面分割为预定大小来得到，例如设为各块在横向上由w个像素构成，在纵向上由h个像素(h行)构成。此外，以下，画面被分割为横向m个、纵向η个。表示各块的信息是用于识别该块的信息，例如是在画面内根据位置赋予的编号。边界集中区域决定部M从边界集中块检测部53接收表示边界集中块的信息，并与各边界集中块对应地决定边界集中区域。在该边界集中区域的决定时，接收从边界集中块检测部53输出的表示边界集中块的信息，将各边界集中块的中心(几何学的中心)或其附近作为中心，例如将具有预定尺寸(大小)和形状的区域或具有根据该边界集中块的周边运动矢量确定的尺寸和形状的区域设为边界集中区域，输出表示该边界集中区域的信息。这种边界集中区域的决定也可以说是在画面内生成新的边界集中区域的处理。关于边界集中区域的例子，将在后面参照图6、图8、图9、图10进行说明。校正映射图生成部55接收从边界集中区域决定部M输出的表示边界集中区域的信息，生成插值帧校正映射图ΗΜ。该插值帧校正映射图HM包含表示画面内的各像素是否为需要校正的像素(校正对象像素)的信息。优选插值帧校正映射图HM还包含针对各个校正对象像素示出其校正度(将后述)的信息。插值帧合成部56接收从校正映射图生成部55输出的插值帧校正映射图ΗΜ、从输入端子51a输入的运动补偿型插值帧Fe、和从输入端子51b输入的混合型插值帧冊，并输出校正插值帧冊。校正插值帧冊从输出端子57输出。通过边界集中块检测部53、边界集中区域决定部M、校正映射图生成部55以及插值帧合成部56，校正位于由运动矢量边界检测部52检测到的边界像素集中的区域(边界集中区域)内的、由插值帧生成部4生成的运动补偿型插值帧Fc的像素(的像素值)。以下，说明实施方式1的处理流程。将帧缓存器2所蓄积的帧中的第1帧Fl及第2帧F2送出至运动矢量估计部3，并求出第1帧Fl及第2帧F2之间的运动矢量MV。以下，作为求出两帧之间的运动矢量的一般方法，对块匹配法进行说明。在块匹配法中，首先将一方的帧分割为预定大小的块，并求出每个块的运动矢量MV。此处，说明为将第2帧F2分割为块。各块是通过将画面分割为横向ρ个、纵向q个而得到的，由横向s个、纵向t个的像素(t行)构成。另外，这些分割数(p，q)和各块的尺寸(s，t)可以与关于边界集中块检测部53的动作进行说明的分割数(m，n)和各块的尺寸(w，h)相同，也可以不同。为了求出第2帧F2上的分割后的各个块(关注块)的运动矢量，在第1帧Fl上配置与关注块相同大小的块(参照块)，并求出关注块与参照块的图案相似度。相似度的定义各种各样，但是一般使用如下定义以预定的值为基准对块间的每个像素的亮度差的绝对值总和(以下称作SAD)的极性进行了反转而得到的值。使极性反转是为了使计算出的值越大，相似度越高。针对关注块，在改变参照块的位置的同时求出各位置上的相似度，根据相似度最高的位置(参照块相对于关注块的相对位置)求出关注块的运动矢量MV。比较理想的是移动参照块的位置，使其处于整个画面中的每个可能的位置，但是为了针对图像的所有位置计算相似度需要庞大的运算，因此一般在以关注块为中心的一定范围内移动参照块的位置。此外，在用于针对各块求出运动矢量的块匹配中，可以使用该块的所有像素，也可以进行替代而仅使用该块的一部分像素。例如也可以将第2帧F2上的接近各块中心的部分设为关注区域，使用第1帧Fl上的与上述关注区域相同大小的区域(参照区域)内的像素，求出上述关注区域与参照区域的相似度。通过针对第2帧F2的所有块重复该处理，能够求出第1帧Fl及第2帧F2之间的以块为单位的运动矢量MV。利用块匹配法以块为单位求出运动矢量MV。接着，根据块单位的运动矢量求出像素单位的运动矢量。求出像素单位的运动矢量的方法各种各样，可以采取任何方法。最简单的方法是如下方法将块内的像素全部一律处理为具有与块的运动矢量MV相同的值。如果块足够小，则即使一个块内的像素全部具有相同的运动矢量MV，对根据该运动矢量MV生成的插值帧等的画质的影响也较小。另外，根据块单位的运动矢量MV求出像素单位的运动矢量的方法不限于前述方法，也可以使用其他方法。以上是利用块匹配法求出运动矢量MV的运动矢量估计部3的一例，但是估计运动矢量的方法不限于块匹配法，也可以用其他方法求出运动矢量。在插值帧生成部4中，运动补偿型插值帧生成部42根据由运动矢量估计部3估计出的运动矢量MV，生成第1帧Fl及第2帧F2之间的运动补偿型插值帧Fe。并且，在插值帧生成部4中，混合型插值帧生成部43根据第1帧Fl及第2帧F2生成混合型插值帧1 。此处，设为运动补偿型插值帧Fc和混合型插值帧Fc在时间上位于第1帧Fl及第2帧F2中央的情况进行说明。运动补偿型插值帧生成部42根据第1帧Fl及第2帧F2之间的运动矢量MV生成运动补偿型插值帧Fe。运动补偿型插值帧Fc的各像素的值能够如下求出。图4示出运动补偿型插值帧Fc的各像素的像素值决定方法。第2帧F2上的像素P2依照运动矢量MV，随着时间经过，移动到运动补偿型插值帧Fc上的像素Pc、第1帧Fl上的像素Pl的位置。S卩，像素P2和Pc、Pl应该具有相同的像素值。因此，运动补偿型插值帧Fc上的像素Pc的值由第2帧F2的像素P2和第1帧Fl上的像素Pl决定。但是，还考虑像素值随着时间经过发生变化的情况，将运动补偿型插值帧Fc上的像素值Pc的值设为第2帧F2的像素P2和第1帧Fl上的像素Pl的值的平均值。另外，此处，说明为运动补偿型插值帧Fc位于第1帧Fl及第2帧F2的中央，但是运动补偿型插值帧Fc的位置不限于第1帧Fl及第2帧F2的中央，也可以处于其他位置。但是，此时，不通过第1帧Fl及第2帧F2上的像素的平均，而通过与第1帧Fl及第2帧F2之间的位置的内分比对应的加权平均来决定运动补偿型插值帧Fc的像素值。即，运动补偿型插值帧Fc上的像素值用下述式(1)表示。式1
权利要求
1.ー种帧插值装置，其在从视频信号输入得到的第1帧和与所述第1帧不同的过去的第2帧之间，根据包含所述第1帧和所述第2帧在内的2个以上的帧的组生成插值帧，其特征在于，该帧插值装置具有运动矢量估计部，其根据所述帧的組，求出所述第1帧和所述第2帧之间的运动矢量；插值帧生成部，其根据由所述运动矢量估计部求出的运动矢量生成运动补偿型插值帧；以及插值帧校正部，其对由所述插值帧生成部生成的运动补偿型插值帧进行校正，所述插值帧校正部包含运动矢量边界检测部，并根据所述运动矢量边界检测部输出的运动矢量边界校正所述运动补偿型插值帧，所述运动矢量边界检测部检测由所述运动矢量估计部求出的运动矢量的一次微分值或二次微分值的绝对值为预定值以上的位置，作为运动矢量的边界。
2.根据权利要求1所述的帧插值装置，其特征在干，所述插值帧校正部具有校正映射图生成部，所述校正映射图生成部生成将由所述运动矢量边界检测部检测到的边界像素集中的区域示出为校正对象区域的插值帧校正映射图。
3.根据权利要求2所述的帧插值装置，其特征在干，所述插值帧校正部具有边界集中块检测部，所述边界集中块检测部将帧分割为预定大小的块，并针对分割后的各个块，将该块内的运动矢量边界像素数为预定比例以上的块判断为边界像素集中的区域。
4.根据权利要求3所述的帧插值装置，其特征在干，所述插值帧校正部具有边界集中区域决定部，所述边界集中区域决定部决定以各边界集中块的几何中心为中心的边界集中区域，并输出表示所決定的边界集中区域的信息，所述插值帧校正部将由所述边界集中区域决定部所決定的边界集中区域内的像素设为校正对象像素。
5.根据权利要求3所述的帧插值装置，其特征在干，所述插值帧校正部具有边界集中区域决定部，所述边界集中区域决定部决定以各边界集中块内的所有边界像素的重心为中心的边界集中区域，并输出表示所決定的边界集中区域的信息，所述插值帧校正部将由所述边界集中区域决定部所決定的边界集中区域内的像素设为校正对象像素。
6.根据权利要求4或5所述的帧插值装置，其特征在干，所述插值帧校正部针对各边界集中块，根据其周边的运动矢量决定所述边界集中区域的尺寸。
7.根据权利要求6所述的帧插值装置，其特征在干，所述插值帧校正部根据距所述边界集中区域的中心处于上下方向的预定距离处的一对像素的运动矢量的上下方向分量的差，决定所述边界集中区域的上下方向的尺寸，所述插值帧校正部根据距所述边界集中区域的中心处于左右方向的预定距离处的一对像素的运动矢量的左右方向分量的差，决定所述边界集中区域的左右方向的尺寸。
8.根据权利要求1所述的帧插值装置，其特征在干，所述插值帧校正部根据相应的校正对象像素的校正度，用混合型插值帧的像素值置換各校正对象像素的像素值，由此进行校正，其中，该混合型插值帧是以与插值帧的时间相位对应的比例将所述第1帧和所述第2帧相加而得到的。
9.根据权利要求8所述的帧插值装置，其特征在于，所述插值帧校正部根据从要施加所述校正的区域的中心部分朝向其周围逐渐减小的校正度，针对各校正对象像素，进行基于所述混合型插值帧的像素值的置换。
10.根据权利要求9所述的帧插值装置，其特征在于，所述插值帧校正部还具有边界集中区域决定部，所述边界集中区域决定部针对位于由所述运动矢量边界检测部检测到的运动矢量边界处的像素集中的边界集中块决定边界集中区域，所述边界集中区域决定部针对各个所述边界集中区域，以从所述边界集中区域的中心朝向周围逐渐减小的方式决定针对各像素的校正度，所述插值帧校正部将针对由所述边界集中区域决定部决定的边界集中区域内的各像素的校正度中的最大校正度作为针对该像素的校正度，进行基于所述混合型插值帧的像素值的置换。
11.一种帧插值方法，在从视频信号输入得到的第1帧和与所述第1帧不同的过去的第2帧之间，根据包含所述第1帧和所述第2帧在内的2个以上的帧的组生成插值帧，其特征在于，该帧插值方法包含运动矢量估计步骤，根据所述帧的组，求出所述第1帧和所述第2帧之间的运动矢量；插值帧生成步骤，根据在所述运动矢量估计步骤中求出的运动矢量生成运动补偿型插值帧；以及插值帧校正步骤，对在所述插值帧生成步骤中生成的运动补偿型插值帧进行校正，所述插值帧校正步骤包含运动矢量边界检测步骤，并根据所述运动矢量边界检测步骤中输出的运动矢量边界校正所述运动补偿型插值帧，在所述运动矢量边界检测步骤中，检测在所述运动矢量估计步骤中求出的运动矢量的一次微分值或二次微分值的绝对值为预定值以上的位置，作为运动矢量的边界。
12.根据权利要求11所述的帧插值方法，其特征在于，所述插值帧校正步骤具有校正映射图生成步骤，在所述校正映射图生成步骤中，生成将在所述运动矢量边界检测步骤中检测到的边界像素集中的区域示出为校正对象的插值帧校正映射图。
13.根据权利要求12所述的帧插值方法，其特征在于，所述插值帧校正步骤包含边界集中块检测步骤，在所述边界集中块检测步骤中，将帧分割为预定大小的块，并针对分割后的各个块，将该块内的运动矢量边界像素数为预定比例以上的块判断为边界像素集中的区域。
14.根据权利要求13所述的帧插值方法，其特征在于，所述插值帧校正步骤包含边界集中区域决定步骤，在所述边界集中区域决定步骤中，决定以各边界集中块的几何中心为中心的边界集中区域，并输出表示所决定的边界集中区域的信息，在所述插值帧校正步骤中，将在所述边界集中区域决定步骤中决定的边界集中区域内的像素设为校正对象像素。
15.根据权利要求13所述的帧插值方法，其特征在于，所述插值帧校正步骤包含边界集中区域决定步骤，在所述边界集中区域决定步骤中，决定以各边界集中块内的所有边界像素的重心为中心的边界集中区域，并输出表示所决定的边界集中区域的信息，所述插值帧校正步骤将在所述边界集中区域决定步骤中决定的边界集中区域内的像素设为校正对象像素。
16.根据权利要求14或15所述的帧插值方法，其特征在于，在所述插值帧校正步骤中，针对各边界集中块，根据其周边的运动矢量决定所述边界集中区域的尺寸。
17.根据权利要求16所述的帧插值方法，其特征在于，在所述插值帧校正步骤中，根据距所述边界集中区域的中心处于上下方向的预定距离处的一对像素的运动矢量的上下方向分量的差，决定所述边界集中区域的上下方向的尺寸，在所述插值帧校正步骤中，根据距所述边界集中区域的中心处于左右方向的预定距离处的一对像素的运动矢量的左右方向分量的差，决定所述边界集中区域的左右方向的尺寸。
18.根据权利要求11所述的帧插值方法，其特征在于，在所述插值帧校正步骤中，根据相应的校正对象像素的校正度，用混合型插值帧的像素值置换各校正对象像素的像素值，由此进行校正，其中，该混合型插值帧是以与插值帧的时间相位对应的比例将所述第1帧和所述第2帧相加而得到的。
19.根据权利要求18所述的帧插值方法，其特征在于，在所述插值帧校正步骤中，根据从要施加所述校正的区域的中心部分朝向其周围逐渐减小的校正度，针对各校正对象像素，进行基于所述混合型插值帧的像素值的置换。
20.根据权利要求19所述的帧插值方法，其特征在于，所述插值帧校正步骤还包含边界集中区域决定步骤，在所述边界集中区域决定步骤中，针对位于由所述运动矢量边界检测步骤检测到的运动矢量边界处的像素集中的边界集中块决定边界集中区域，在所述边界集中区域决定步骤中，针对各个所述边界集中区域，以从所述边界集中区域的中心朝向周围逐渐减小的方式决定针对各像素的校正度，在所述插值帧校正步骤中，将针对在所述边界集中区域决定步骤中决定的边界集中区域内的各像素的校正度中的最大校正度作为针对该像素的校正度，进行基于所述混合型插值帧的像素值的置换。
全文摘要
本发明提供一种帧插值装置和帧插值方法。其壳体在于，抑制视频的动态图像模糊和抖动，生成实现顺畅运动的高画质插值帧(Fh)。作为解决手段，根据运动矢量(MV)的边界校正运动补偿型插值帧(Fc)，该运动补偿型插值帧(Fc)根据由运动矢量估计部(4)求出的运动矢量(MV)生成。将一次微分值或二次微分值的绝对值在预定值以上的位置设为运动矢量(MV)的边界，校正位于边界像素集中的区域内的运动补偿型插值帧(Fc)的像素的像素值。针对各个块，将该块内的运动矢量边界像素数为预定比例以上的块判断为边界像素集中的区域。
文档编号H04N7/01GK102572358SQ201110424960
公开日2012年7月11日 申请日期2011年12月16日 优先权日2010年12月16日
发明者久保俊明, 堀部知笃, 小野良树, 藤山直之, 那须督 申请人:三菱电机株式会社