影像处理装置和包括该影像处理装置的影像显示装置的制作方法

专利名称：影像处理装置和包括该影像处理装置的影像显示装置的制作方法
技术领域：
本发明涉及影像处理装置和包括该影像处理装置的影像显示装 置。特别是关于具备用于对输入的影像信号的帧频进行变换的结构的 影像处理装置和包括该影像处理装置的影像显示装置。
背景技术：
近年来，作为用于提高动画性能的技术，提出有被称之为帧频变 换的技术。这是将影像信号中包含的多个帧与使用该输入影像信号的 动态矢量在装置内部生成的插补帧进行组合，从而生成新的帧列信号 的技术。由此，能够改善动画显示装置中的残像感和生硬感等不自然 的动作，提高动画性能。为了进一步提高动画性能，必须生成高精度的插补帧。因此，必 须提高插补帧的生成中所使用的动态矢量的检测精度。关于提高动态 矢量的检测精度的技术，例如在专利文献1等中有被公开。专利文献1:日本专利特开2002-27414号公报(段落0009,图9) 发明内容但是，在上述现有技术中，未考虑在一个画面中存在多个动作的 图像、和多个动作物体交叉的图像。关于这种图像的动作物体难以求 出正确的动态矢量(即容易发生动态矢量的误检测)，难以进行高精度 的插补帧的生成，结果是，在帧频变换后的影像中产生破绽。这里， 所谓破绽，是指与原始(输入影像信号)的影像动作无关联性或关联 性低的影像出现在原始的影像中。在该出现频率高的情况下，破绽变 得容易引人注目。本发明鉴于上述问题而提出，其目的在于提供能够降低上述破绽， 得到高画质的影像的帧频变换技术。为了达到上述目的，本发明以权利要求范围中所述的结构为特征。
例如，在进行在输入信号的2个帧之间插入多个插补帧，或将该2 个插补帧之间的原始帧置换为多个插补帧的变换的情况下，插补帧为 吋间上连续地显示。此时，在原始影像中的动作物体的动作复杂的情 况下，难以正确地检测出动态矢量，所以容易产生影像的破绽。因此， 如果是在影像复杂的情况下进行上述变换，则影像破绽大的插补帧在 时间上连续出现，所以该破绽变得更容易引人注目。因此，在本发明中具有以下特征如上所述，在输入信号的2个 帧之间进行多个插补帧连续变换的情况下，使该多个插补帧中的至少 一个，为不使用动态矢量(即不依赖于影像的动作)的插补帧。根据本发明，能够得到帧频变换的动画质量的改善效果，并且能 够得到破绽少的影像。


图I是表示本发明的第一实施例的框图。图2是表示FRC3的一个结构例。图3是表示块匹配(block matching)法的插补帧生成的一个例子 的图。图4是表示块匹配法的插补帧生成的另一个例子的图。 图5说明FRC中时间方向的负载加法。图6是表示容易对动态矢量进行误检测的影像图形的一个例子的图。图7是表示作为插补方式的一种的帧滑动方式的例子。图8是表示作为插补方式的一种的直线插补方式的例子的图。图9是表示第一实施例中插补帧生成部的一个结构例的图。图10是表示第一实施例中插补帧生成部的一个结构例的图。图11是表示本发明的第二实施例的框图。图12是表示柱状图检测结果的一个例子的图。图13是表示矢量柱状图分布的一个例子的图。图14是表示矢量柱状图分布的一个例子的图。图15是表示矢量柱状图分布的一个例子的图。图16是表示矢量柱状图分布的一个例子的图。
图17是表示第二实施例中插补帧生成部的一个结构例的图。 图18是表示本发明的第三实施例的框图。图19是表示第三实施例中插补帧生成部的一个结构例的图。图20是表示本发明的第四实施例的框图。图21是表示第四实施例中插补帧生成部的一个结构例的图。符号说明l一输入影像信号2— 解析度变换部3— 帧频变换(FRC)部 4一图像存储器5— 吋间控制部6— 显示部7— FRC变换模式信号24— 动态矢量检测部25— 插补帧生成部26— 帧列生成部(存储器I/F)具体实施方式
下面参照附图详细说明本发明的实施方式。 [实施例1]图1是表示本发明的第一实施例的图像处理装置的结构一个例子 的框图。在图1中，输入影像信号1例如是数字电视播放信号，由TS(传输信息流)所构成。该输入影像信号1首先输入解析度变换部2， 由该解析度变换部2实施垂直和/或水平方向的像素数变换。由于该像 素数变换处理不是本实施例的主旨，所以其详细说明予以省略，进行 滤波处理，使得例如输入影像信号1的垂直、水平方向的像素数与显 示部5的垂直、水平方向的像素数相等。来自该解析度变换部2的输 出信号，被输入到作为本实施方式的特征部分的帧频变换部3 (以下称 为FRC: Frame Rate Conversion (帧频转换))，在此，进行后述的帧频 变换。例如FRC3在输入影像信号为非拉开格式(通常格式)、其帧频(帧频率)为60Hz的情况下，通过在该影像信号的各帧中，插入在 FRC 3内部生成的插补帧，而变换输出具有120Hz帧频的新帧列。而 在输入信号为2-3拉开格式、其帧频(帧频率)为60Hz的情况下，通 过将该拉开格式的影像信号中的几个帧置换成在FRC 3内部生成的插 补帧，而变换输出具有使动作圆滑的60Hz帧频的新帧列。这里，所谓2-3拉开是指用于将电影胶片等以每秒24画面摄影的 影像变换为60帧(场)的方式的一种。具体而言，通过将上述24画 面的影像的奇数号的画面连续2帧(场)地重复，将偶数号的画而连 续3帧(场)地重复，由此将24画面的影像变换为60帧。例如，在 上述24画面的影像排列为A、 B、 C……的情况下，通过2-3拉开，变 为AA、 BBB、 CC……。此外，虽然也存在2-2拉开格式的影像信号， 但在本实施例中省略其说明。在本实施例中，虽然2-3拉开的影像信号的帧频和新帧列的帧频的 任意一个都是以60Hz而不变化，但在本实施例中，为了方便，将2-3 拉开的影像信号作为具有24Hz帧频的影像信号进行处理。此外，将 2-3拉开的影像信号如上所述进行变换的处理，帧频也不变化，在此作 为帧频变换处理的一种进行处理。图像存储器4存储原始帧的信号，FRC 3在对该图像存储器4进 行访问的同时，进行上述插补帧的生成。此外，图像存储器4也存储 该插补帧，FRC 3通过在对该图像存储器4进行访问的同时，将上述 存储的原始帧与插补帧进行组合，由此输出上述新帧列的影像信号。此外，FRC 3内部的插补帧的生成方法，可根据输入影像信号的 格式(即是否为2-3拉开格式)或帧频变换处理而变更。为了判定输入影像信号是否为2-3拉开，例如，在作为控制电路的 CPU8中，输入表示输入影像信号的格式的标记7。 CPU8通过该标记 7判定输入影像信号的格式的种类。该标记7例如能够使用数字电视信 号的TS中包含的信头(header)。 g卩，能够使TS的信头中包含输入影 像信号的格式，例如解析度、屏幕高宽比等信息，还能够使其包含表 示该影像信号是否为2-3拉开格式的信息。在本实施例中，将该信头 中包含的关于拉开格式的信息作为上述标记7而使用。在不能够检测 出该标记7的情况下，也可以通过影像信号的变化来判别该影像信号 是否为2-3拉开格式。例如可以检测各帧的特定位置的影像信号的差
值，在从该差值中检测出上述AA、 BBB、 CC的排列的情况下，判定 该影像信号为2-3拉开格式。CPU 8通过上述标记7等判定输入影像信号是否为2-3拉幵格式， 并输出用于控制FRC 3的变换处理的FRC变换模式信号9。艮卩，CPU 8 控制FRC3，使得如果输入信号为非拉开格式，则FRC3生成使用动 态矢量的插补帧；而如果输入信号为2-3拉开格式，则生成不使用动态 矢量的(不依赖于影像的动作)插补帧。其详细内容在后面叙述。来自FRC 3的新帧列的信号，经由时间控制器5，供给到例如由 PDP(Plasma Display Panel:(等离子体显示面板))或LCD(liquid Crystal Display:(液晶显示器))等平面面板所构成的显示部6。时间控制器5 对应于水平、垂直扫描的时间将来自FRC3的输出信号供给显示部6， 山此在显示部6的画面上显示帧频变换后的影像。接着参照图2对FRC 3的结构的一个例子加以说明。该FRC包括 输入当前帧信号21、和与之相比在时间上靠前1帧的前帧信号22，用 于从这些帧中检测影像的动态矢量的动态矢量检测部24。此外，在动 态矢量检测部24中，输入来自上述CPU8的FRC变换模式信号9，动 态矢量的检测模式对应于该FRC变换模式信号9的状态而变化。其中， 当前帧信号21通过用于控制向图像存储器4的写入的存储器I/F26而 写入图像存储器4。而存储器I/F26还具有通过对从图像存储器4的读 取进行控制，而将原始帧与插补帧进行组合，生成新帧列的帧列生成 部的功能。如上所述，在动态矢量检测部24中，通过当前帧信号21和前帧 信号22检测动态矢量27。作为该检测方法，可以使用例如块匹配法、 梯度法、相位相关法等的任意一种，在这里，使用例如图3所示的N XN (N为整数)的块匹配法。参照图3对该块匹配法的一个例子进行 说明。图3例示从输入影像信号中包含的作为第一帧的当前帧信号21和 前帧信号22，生成插入该2帧之间的插补帧信号33的情况。在想要 对插补帧信号33上的对象块(也可以是一个像素)34进行插补(生成 插补像素)的情况下，分别对当前帧信号21和前帧信号22，以位于与 对象块34在空间上为同一位置的块为中心，设置图3中虚线所示的规
定块数的检索范围35。在图3的例子中，将该检索范围35设定为水平 11块、垂直5块。接着，以对象块34为中心，将在时间方向上位于点 对称位置的当前帧信号21和前帧信号22上的块彼此作为一组的块而 抽出。对上述检索范围35的全部块进行该块对(blockpair)的抽出， 求出各块对彼此的差值。而且，检测出该差值最小的块对36，将连接 该块对36的直线方向作为动态矢量27而检测(以下将这种处理称为"差值匹配运算")。这样得到的动态矢量27被输入到插补帧生成部25。在插补帧生成 部25中，将插补帧信号33中的对象块34的像素值作为所述差值最小(即动态矢量27指示)的块对的像素值的平均值而算出。这样，求出 插补帧33中的插补像素。通过对插补帧的全部像素进行该处理，完成 一张插补帧。该图3表示，例如在将帧频从60Hz变换为120Hz的情况下、在输 入的影像信号中的2张原始帧之间的时间上的中间的重心位置上插入 —张插补帧的情况。与之相对，也存在如图4所示，如2-3拉开格式那 样，将帧频从24Hz变换为60Hz的情况(更为正确地讲，是将2-3拉 开格式的帧频为60Hz的信号转换为非拉开格式的帧频为60Hz的信号 的情况)等、在关键帧之间插入多张插补帧的情况。对这种情况下的 插补帧生成的一个例子，参照图4进行说明。在图4中，在当前帧信号21与前帧信号22之间，插入第一插补 帧43和第二插补帧44。这里，当前帧信号21和前帧信号22为2-3拉 开信号中的原始帧，其影像内容互不相同。g口，不是将上述2-3拉开格 式信号的帧列AA、 BBB、 CC…中的邻接帧"A"、 "A"或"B"、 "B" 作为第一和第二插补帧使用，而是在将第一插补帧43作为"A"的情 况下，使第二插补帧44为"B"。此外在将第一插补帧43作为"B"的 情况下，使第二插补帧44为"C"。对于第一插补帧43中的对象块45，在当前帧信号21上设定第一 检索范围41，在前帧信号22上设定第二检索范围42。由图4可知， 检索范围42大于检索范围41。这是因为从当前帧信号21到第一插补 帧43的时间上的距离，比从前帧信号22到第一插补帧43的时间上的 距离要短。由此，在从位于以第一插补帧43的对象块45为中心的点
对称位置上的当前帧信号21和前帧信号22上的块，进行上述差值匹 配运算时，能够设定的检索范围的大小不同。同样地，对于第二插补帧44上的对象块46，也由于其当前帧信号21和前帧信号22的时间上 的距离(重心位置)不同，所以对于当前帧信号21上的检索范围42， 在前帧信号22上，设定与其大小不同的检索范围41。与上述图3所示的变换(60Hz—120Hz)的变换处理相同，分别对 第一插补帧43的对象块45、第二插补帧44的对象块46，在当前帧信 号21和前帧信号22上设定的检索范围41、 42内进行差值匹配运算。 由此，与上述同样地抽出差值最小的块对，将连接该块彼此之间的直 线的方向作为动态矢量27-l、 27-2进行检测。在该例子中，由于存在 2个插补帧，所以为了生成插补像素也必需2个动态矢量(图4中的符 号27-l、 27-2)。这样得到的动态矢量27-1、 27-2，与上述同样地输入到插补帧生 成部25。在插补帧生成部25中，使用这2个动态矢量27-l、 27-2，考 虑第一插补帧43和第二插补帧44各自的时间上的重心位置，算出插 补像素值。具体而言，第一插补帧43上的对象块45和第二插补帧44 —匕的对象块46的像素值(分别为I (1)、 I (2))通过考虑过时间方向 的重心位置的负载加法，分别由以下的式1和式2算出。 (式1) 1(1) = (3*Y1—a+2*Y0—a) /5 (式2) I (2) = (Y1—b+4*Y0—b) /5其中，Yl一a是动态矢量27-1所指示的当前帧信号21的像素值， Y0一a是动态矢量27-1所指示的前帧信号22的像素值，Yl—b是动态矢 量27-2所指示的当前帧信号21的像素值，Y0_b是动态矢量27-2所指 示的前帧信号22的像素值。这里，在式1中对像素Yl一a乘以系数"3"，对像素Y0—a乘以系 数"2"，是由于第一插补帧43与当前帧信号21的时间上的距离，和 第一插补帧43与前帧信号22的时间上的距离之比是2: 3。同样地， 在式2中，对像素Y1—b乘以系数"1"，对像素Y0—b乘以系数"4", 是由于第二插补帧44与当前帧信号21的时间上的距离，和第二插补 帧44与前帧信号22的时间上的距离之比是4: 1。图5是表示上述时间方向的负载加法的一个例子，表示的是将24Hz的帧51 53变换为60Hz的帧54 59的情况的例子。其中，在 图5中，圆圈内的数字表示插补帧生成时的负载值(系数)。如图5所 示，对帧51的像素值乘以系数"3"，对帧52乘以系数"2"，通过上 述式1或式2所示的运算求出帧55。同样地；在求帧56的情况下，对 帧51的像素值乘以系数"1"，对帧52乘以系数"4";在求帧57的情 况下，对帧52的像素值乘以系数"4"，对帧53乘以系数"1";在求 帧58的情况下，对帧52的像素值乘以系数"2"，对帧53乘以系数"3"。 此外，帧54、 59分别具有与帧51、 53相同的影像内容，就这样分别 复制帧51、 53而生成。插补帧生成部25，通过进行这样的运算，生成在2个原始帧之间 插入多个插补帧时的插补帧。在存储器接口部26中，将来自插补帧生成部25的插补帧的数据 写入图像存储器4。而存储器接口部26在对应于FRC变换模式信号9 的吋间对已存储的原始帧信号和上述写入的插补帧进行读取，由此进 行原始帧与插补帧的组合。例如，在FRC变换模式信号9表示将帧频 从60Hz变换为120Hz的模式的情况下，存储器接口部26通过以1/120 秒周期交互地读取原始帧信号和插补帧，在2个原始帧之间插入插补 帧。由此，生成并输出包含插补帧的新帧列29。而在FRC变换模式信 号9表示将帧频从24Hz变换为60Hz的模式的情况下，如图5所示， 存储器接口部26以1/60秒周期交互地读取这些帧，使得在帧54 (原 始帧51)与帧59 (原始帧53)之间插入4个帧55 58。此时，原始 帧52被删除。由此该处理将原始帧52置换为插补帧55 58。正确地 讲，在原始帧51和52之间的与原始帧51或52相同内容的帧，以及 在原始帧52与53之间的与原始帧52或53相同内容的帧，也与原始 帧52 —起被置换为插补帧55 58。在此，对本发明的发明人等通过对帧频变换的动画质量评价而得 到的新见解说明如下。在从60Hz到120Hz或从30Hz到60Hz的变换等将帧频变换为整 数倍的变换中，在原始帧之间仅插入一个插补帧的情况下，即使上述 插入的插补帧的画质因动态矢量的误检测等而多少出现劣化，但由人 的肉眼几乎不能识别。结果是，由时间上的解析度的提高而得到的视
觉效果(动画的圆滑程度的提高)大。与之相对，在从24Hz到60Hz、 从50Hz到60Hz的变换等将帧频变换为非整数倍的变换中，在原始帧 之间插入多个插补帧的情况下，若上述插补帧的画质因动态矢量误检 测等出现劣化时，该劣化图像在时间上持续2张以上。因此，即使人 的肉眼也可识别该劣化图像，比起时间上的解析度提高的效果，画质 的劣化更为明显。即，在时间上连续有2张以上的劣化图像的情况下， 导致人的肉眼就可识别。接着，对由上述动态矢量误检测引起的劣化图像进行说明。在动 态矢量的检测中，如上所述，基本上由当前帧影像与前帧影像，利用 以块单位、像素单位的差值匹配运算而求出帧间的相关，从该相关最 高的位置的像素值算出插补帧的像素值。但是，例如如图6所示，在 帧间为对象动作物体60穿过障碍物61的背面的这种图像的情况下， 对象动作物体60的一部分不存在于数帧间影像中。在这种情况下，不 能算出关于对象动作物体60的正确的动态矢量。此外，通常在动态矢量检测中，为了提高其可靠性，大多数情况 是，参照某像素周围的像素的动态矢量、画面整体的动态矢量，对该 上述某像素的动态矢量进行修正。由此，在画面整体向一定方向摇摄 的这种影像中能够得到精度相当高的动态矢量，但是在画面中存在有 多个不同动作的这种影像的情况下，正确的动态矢量检测急剧变难。 再者，在2帧之间，超过如图3、图4所示的动态矢量的检测范围35、 41和42的快动作的情况下，也不能进行正确的矢量检测，招致图像的 破绽。作为最简单的对策，可考虑扩大动态矢量的检索范围，但是也 增加这--部分的误检测的可能性，并且会引起运算量的增大、以及考 虑到硬件化的情况下的电路规模的增大。因此，在本实施例中，对应于输入影像信号的格式、或帧频变换 的模式，对其插补方法即插补帧的生成方法进行切换，由此来解决该 问题。艮卩，根据帧频变换的模式是整数倍(的变换例如60Hz—120Hz)， 还是非整数倍的变换(例如50Hz—60Hz)，变更其插补方法。在后者 的情况下，也包括例如将2-3拉开信号变换为非拉开格式的60Hz的信 号的这种将插补帧置换为原始帧并且不使帧频变化的处理。图7是表示本实施例的插补方法的变更的概念的图。如上所述，
在产生动态矢量的误检测的情况下，在连续4张插补帧的变换模式中， 图像的破绽容易被人的肉眼识别。因此，如图7所示，将通常删除的原始帧72就这样作为插补帧75、 76而生成并使用。对于插补帧74、 77，以图4所示的方法如通常进行生成。即，在将帧频从24Hz变换为 60Hz的情况下，将为了使变换后的帧列在时间上等间隔而删除的原始 帧72，就这样滑动到插补帧的位置加以使用。上述插补帧75、 76是复 制原始帧72而生成的帧，不使用动态矢量而生成。即，具有与原始帧 72相同的影像内容。由此，能够使原始帧71、 72之间的插补帧为使用动作矢量而生成 的插补帧不连续2张以上的帧结构。由此，能够减轻因使用动态矢量 而产生的图像破绽的识别。这里，将这种插补方式称为帧滑动方式。 当然，通过本方式，帧频变换的作为本来效果的动画的圆滑性，与生 成完突的插补帧的情况相比有所降低。但是，在现实的运算量、硬件 结构的现在的矢量检测技术中，无论对于哪种图像都难以生成完美的 插补帧。因此，比起结果被识别出影像的破绽，考虑更为优选虽然上 述动画改善效果多少有所降低，但不会被识别出破绽的变换。此外，在图7的例子中，通过将删除的原始帧72重复2次，生成 插补帧75和76,但是并不限定于此。例如也可以通过将删除的原始帧 72重复2次，生成插补帧71和74，再通过将帧73重复2次，生成插 补帧77和77。此吋，插补帧75是使用动态矢量从原始帧71和72而 生成，插补帧76是使用动态矢量从原始帧72和73而生成。此外，在 图7的例子中，插补帧75和76这两者均为删除的原始帧72的复制， 但也可以仅任意的一方。此时，另一方与上述同样，使用动态矢量， 从原始帧72和71或73而生成。图8表示与图7不同的插补方式。在图8中，关于与图7的结构 要素相同的结构要素，釆用同一符号标示并省略其说明。在图8中，不是如图7所示，将原始帧72，就这样滑动到插补帧 位置，而是通过原始帧71与72的直线插补而生成插补帧81。即，通 过原始帧71与72的平均值求出插补帧81。同样地，通过原始帧72 与73的直线插补生成插补帧82。即，通过原始帧72与73的平均值求 出插补帧82。此时，如图5所示，进行考虑过时间方向的重心位置的
负载加法。将这种插补方法称为直线插补方式。此外，在图8的例子中，通过平均插补而生成插补帧81和82，但 也可以将其改换，通过平均插补而生成插补帧74和77。此时，插补帧 81是使用动态矢量从原始帧71和72而生成，插补帧77是使用动态矢 量从原始帧72和73而生成。此外，在图8的例子中，插补帧75和76 这两者均通过平均插补而生成，但也可以仅任意的一方。此时，另一 方与上述同样，使用动态矢量从原始帧72和71或73而生成。其中，在上述图7、图8的例子中，将帧滑动方式的插补、和直线 插补方式的插补应用于2个地方的插补帧位置，但也不限于此，也可 以应用于1个或3个地方。图9、图10分别表示用于进行上述图7、图8所示的插补方式的 插补帧生成部25的一个结构例。在图9中，当前帧信号21、前帧信号22被输入到水平/垂直方向 插补像素选择部95和FRC输出选择器(selector)部97。在水平/垂直 方向插补像素选择部95中，分别选择由动态矢量27所指示的当前帧 信号21、前帧信号22上的对象像素。这里，动态矢量27以与用图3 或图4说明过的同样的方法进行检测。在时间方向插补处理部96中， 使用上述选择后的水平/垂直方向的对象像素，通过对应于FRC变换模 式信号9的负载加法运算，算出插补像素。在FRC变换模式信号9表 示例如从24Hz到60Hz的变换模式的情况下，时间方向插补处理部96 执行图5所示的运算。在选择器部97中，对应于FRC变换模式信号9，进行向帧滑动方 式的切换。即，在FRC变换模式信号9表示例如从24Hz到60Hz的变 换模式的情况下，如图7所示，在插补帧75、 76的时间重心位置进行 重复关键帧的控制。S卩，选择器部97，在FRC变换模式信号9表示上 述变换模式的情况下，选择并输出当前帧信号21或前帧信号22的信 号，代替时间方向插补处理部96的输出。其中，在本结构中为通过FRC变换模式强制地进行帧滑动方式的 结构，但也不限于此。例如，也可以是通过FRC变换模式，设置不利 用帧滑动方式的模式的结构。此外，FRC 3的输出切换也可以不由插 补帧生成部25执行，通过存储器接口部26的数据读取控制而执行也可以。图10表示直线插补方式的结构例，关于与图9的结构要素相同的 结构要素，采用同一符号进行标示并省略其说明。在图io中，正在向 选择器部97输入由动态矢量检测部23检测出的动态矢量27、和矢量 "0"。这里，所谓矢量"0"表示没有动作。对应于FRC变换模式信 号9，切换由动态矢量检测部23检测出的动态矢量27与矢量"0"。艮口， 在FRC变换模式信号9表示例如从24Hz向60Hz的变换模式的情况下， 如图8所示，在插补帧75、 76的吋间重心位置，动态矢量变为"0"， 由此执行直线插补。其中，在本例中，用"0"来表现没有动作的情况下的矢量，但并 不限于此，只要能够进行直线插补，则无论怎样的结构都可以。如以上所述，在本实施例中，对应于输入影像信号的格式、或FRC 的变换模式，执行图像破绽少的最佳变换，能够得到最佳的图像。接着，使用图11 图17，对本发明的第二实施例进行说明。图11 表示第二实施例的帧频变换部的一个结构例，关于与图2所示的结构 要素相同的结构要素，采用同一符号进行标示并省略其说明。本实施 例的特征在于，对应于检测出的动态矢量的特征，进行插补方法的切 换。以下，对其详细内容，以与上述第一实施例的不同部分为中心进 行说明。图11的例子是在图2所示的例子中，进一步设置有从动态矢量27 生成动作判定信号12并控制插补帧生成部25的动作判定部11。动作 判定部11基于动态矢量27检测对象帧的动作特征，输出动作判定信 号12。该动作特征，例如可以通过一个画面中的动态矢量的柱状图进 行检测。图12表示动作柱状图检测结果的一个例子。在图12的表中， 列方向与动态矢量检测部24中的矢量检测范围的垂直方向的5块相对 应，行方向与矢量检测范围的水平方向的1块相对应。将图12的表做图后示于图13。图13的图的X轴与矢量检测范围 的水平方向相对应，Y轴与矢量检测范围的垂直方向相对应。而Z轴 则表示动态矢量的出现频度。在图13的例子中，可知在矢量(0， 0) 的周边集中有很多动态矢量，几乎没有动作。在本实施例中，将该柱 状图称为矢量柱状图分布。在动作判定部11中使用该矢量柱状图分布，
判定动作的特征。根据判定的动作特征，切换为帧滑动方式、或直线 插补方式。例如在如图14所示，在检索范围的边界部分集中规定阈值以上的 情况下，该画面判定为超过检索范围的快动作的物体多。作为别的判 定方法，在动作超过检索范围的情况下，也可以利用不存在取得正确 匹配(即当前帧与前帧的差值)的图形(以插补帧内的插补像素为中 心的直线图形)。即，在不能够取得正确匹配时，有在检索范围内存在 具有相同匹配值的多个块的情况。在这种情况下，使用在匹配值相同 的情况下使矢量(0， 0)、或与其接近的矢量优先进行计数的这种算法的情况下，如图15所示，可认为分布集中在矢量(0， 0)。在这种情 况下，在规定阈值以上的矢量(0， 0)的分布集中的情况下判定为存 在有超过检索范围的动作。其中，是否集中于矢量(0， 0)基于动态 矢量的检测算法，但并不限于此。此外，如图16所示，在规定阈值以上的分布散乱的情况下，判定 为存在多个动作的图像。动作判定部11，在输入有具有上述图14 16的矢量柱状图分布的 影像时，输出表示其旨意的动作判定信号12。动作判定信号12可以是 例如表示1或0的1位的信号。S卩，如果是具有图14 16的矢量柱状 图分布、可预知矢量误检测的影像图形，则输出l，否则输出0。而且 插补帧生成部25在动作判定信号12为1的情况下，如上述帧滑动方 式或直线插补放弃那样不使用动态矢量，生成插补帧。另一方面，在0 的情况下，使用图3、图4所示的动态矢量，生成插补帧。图17是表示本实施例中的插补帧生成部25的一个结构例的框图。 在图17中，关于与图9所示的结构要素相同的结构要素，采用同一符 号进行标示并省略其说明。在选择器部97中，输入使用由动态矢量检 测部24检测出的动态矢量27而生成的插补帧数据、和原始帧数据21、 22。另一方面，逻辑积运算部13中输入FRC变换模式信号9和动作 判定信号12。而且逻辑积运算部13在FRC变换模式信号9表示例如 从24Hz向60Hz的变换模式，且动作判定信号12为1的情况下，输出 "1"，在除此之外的情况下向选择器部97输出"0"。选择器部97，在 来自逻辑积运算部13的信号为"1"的情况下，选择原始帧数据并执
行帧滑动方式。在来自逻辑积运算部13的信号为"0"的情况下，选择器部97选择时间方向插补处理部96。在利用直线插补方式的情况下，作为图10的对选择器部97的控 制信号，可以使用上述来自逻辑积运算部13的信号。S卩，在上述条件 下，在来自逻辑积运算部13的信号为"1"的情况下，执行直线插补 方式，"0"的情况下，生成使用动态矢量的插补帧。如以上所述，在本实施例中，根据输入的图像的动作特征，能够 切换插补方法，能够实现影像破绽更少的帧频变换。[实施例3]图18表示本发明的第三实施例，关于与其他附图所示的结构要素 相同的结构要素，采用同一符号进行标示并省略其说明。本实施例的特征在于，根据FRC变换模式，检测输入的图像整体 的大致动作(全局矢量)，根据该全局矢量切换插补方法。由此，在保 持更好的动画改善效果的同时，使图像破绽减轻。以下参照图18和19， 对其详细内容，以与上述第一实施例不同的部分为中心进行说明。在动作判定部ll中，如上述第二实施例中的说明，检测动态矢量 的柱状图。进而动作判定部19从该柱状图，将计数数目为规定阈值以 上的矢量作为全局矢量18，与上述动作判定信号12 —起输出至插补帧 生成部25。在例如柱状图检测结果为图12所示的情况，在规定阈值为 30000的情况下，全局矢量为(0， 0)。如第二实施例中的说明，根据 动态矢量的检测算法，可认为关于超过检索范围的动作，分布集中于 (0， 0)的情况。在这种情况下，可以设置2个以上的规定阈值，在 计数值为第一阈值以上第二阈值2以下的情况下，将该矢量作为全局图19是表示第三实施例中的插补帧生成部25的一个结构例的框 图。在图19中，关于与其他附图所示的结构要素相同的结构要素，采 用同一符号进行标示并省略其说明。在选择器部97中，输入由动态矢 量检测部24所检测的动态矢量27和从动作判定部11输出的全局矢量 18。另一方面，逻辑积运算部13与图17的例子相同，输入FRC变换 模式信号9和来自动作判定部19的动作判定信号12。而且，逻辑积运 算部13在FRC变换模式信号9表示例如从24Hz到60Hz的变换模式，
且动作判定信号12为"1"的情况下，输出"1"，在除此之外的情况下向选择器部97输出"0"。选择器部97，在来自逻辑积运算部13的 信号为"1"的情况下，选择全局矢量18作为动态矢量。而在来自逻 辑积运算部13的信号为"0"的情况下，选择动态矢量27。
在水平/垂直方向插补像素选择部95中，对于插补帧中全部的插补 像素，选择上述全局矢量18所示的当前帧信号21、前帧信号22内的 像素。在时间方向插补处理部96中，使用全局矢量18所表示的水平/ 垂直方向的像素，通过对应于FRC变换模式的负载加法运算，算出插 补像素。即，在本实施例中，对于动作判定信号为1的插补帧，使用 全部相同方向的动态矢量(全局矢量)，进行插补运算。
如以上所述，在本实施例中，特别是对于画面整体向一定方向摇 摄的影像，能够最大限度地得到FRC的动画改善效果，并且能够减轻 由矢量误检测引起的影像破绽。
图20表示本发明的第四实施例，关于与其它附图所示的结构要素 相同的结构耍素，采用同--符号进行标示并省略其说明。本实施形式 的特征在于，对应于体育、新闻、电影等节目的种类，切换为最佳的 插补方法。以下参照图20和21，对其详细内容，以与上述第一实施例 不同的部分为中心进行说明。
在BS/CS/地上数字电视播放中，关于影像/声音/数据播放以外的节 目的信息(例如节目的名称、节目内容、节目播放日期、节目播放开 始时间、节目播放持续时间、播放频道、节目种类编码等)也重叠于 电波而送出。在BS/CS/地上数字电视播放接收装置中，利用从播放局 送出的被称之为EIT (Event Information Table:事件信息表)的节目信 息，向用户提供电子节目表功能。在本实施例中，设置有用于利用该 EIT控制FRC 3的EIT数据处理部202。具体而言，EIT数据处理部202 利用在接收的EIT内的内容描述符(content descriptor)中使用的1个 字节的节目种类编码，判定当前接收中的电视信号的节目为什么种类， 生成与该种类相对应的EIT判定信号203。节目种类与判定信号203 的对应关系的例子示于图21， EIT数据处理部202参照例如保持有图 21的对应关系的表，选择与接收节目相对应的EIT判定信号203。将
该EIT判定信号203作为用于控制FRC3的控制信号输出至FRC 3。 本实施例的系统有效用于搭载有以下两种FRC变换模式的情况 例如在输入有帧频为60Hz的内容的情况下生成120Hz的帧列的模式； 和在输入有帧频为24Hz的内容的情况下生成60Hz的帧列的模式。在 本实施例中，如图21所示，按照如果接收节目为具有60Hz的帧频的 种类则为"0"，如果是像动画片、电影等具有24Hz的帧频的可能性高 的种类则将"1"作为EIT判定信号203输出的方式构成上述表。而且，当EIT判定信号203为"0"时，生成使用图3或图4所示 的动态矢量的插补帧，进行帧频变换，为"1"时，通过帧滑动方式、 直线插补方式，不使用动态矢量，也生成插补帧，进行帧频变换。在以上所示的本实施例中，能够根据用户视听的节目的种类数据， 切换插补方式。其中，在本实施例中，将节目种类分为8类，当然并不限于此。 例如，也可以将这8个分类作为主分类，再设定从属于该主分类的多 个副分类，由此，能够根据更详细的节目种类，切换插补方法。
权利要求
1.一种影像信号处理装置，其特征在于，包括从包含在输入影像信号中的多个帧，检测影像的动态矢量的信息的动态矢量检测部；用于生成插补帧的插补帧生成部；和将通过所述插补帧生成部生成的插补帧与所述输入影像信号的帧进行组合，生成新的帧列的影像信号并进行输出用的帧列生成部，其中，所述插补帧生成部使用通过所述动态矢量检测部检测的动态矢量，能够生成所述插补帧，并且根据所述输入影像信号的格式，进行不同的插补帧生成处理。
2. 根据权利耍求1所述的影像信号处理装置，其特征在于 所述插补帧生成部在所述输入影像信号是非拉开格式的情况下，进行第一插补帧生成处理，在所述输入影像信号是2-3拉开格 式的情况下，进行第二插净卜帧生成处理。
3. 根据权利要求2所述的影像信号处理装置，其特征在于所述第一插补帧生成处理，是使用从所述非拉开的影像信号内 在时间上连续的第- - 和第二帧检测出的动态矢量，生成在该第 一 和 第二帧之间插入的插,卜帧的处理，所述第二插补帧生成处理，是使用从所述2-3拉开的影像信号 内具有相互不同的影像信息、且在时间上连续的第一、第二和第三 帧中第一和第二或第二和第三帧检测出的动态矢量，生成第一插补 帧，并且生成具有与所述第二帧相同的影像信息的第二插补帧的处 理，存在于所述第一到第三帧之间的帧，被置换为所述第一和第二 插补帧。
4. 根据权利要求2所述的影像信号处理装置，其特征在于 所述第一插补帧生成处理，是使用从所述非拉开的影像信号内 在时间上连续的第一和第二帧检测出的动态矢量，生成在该第一和 第二帧之间插入的插补帧的处理，所述第二插补帧生成处理，是使用从所述2-3拉开的影像信号 内具有相互不同的影像信息、且在时间上连续的第一、第二和第三 帧中第 一 和第二或第二和第三帧检测出的动态矢量，生成第 一 插韦卜 帧，并且生成根据所述第 一 和第二或第二和第三帧的平均值所得到 的第二插补帧的处理，存在于所述第 一 到第三i l贞之间的i顷，被置换为所述第 一 和第二 插补帧。
5. —种影像信号处理装置，其特征在于，包括从包含在输入影像信号中的多个帧，检测影像的动态矢量的信 息的动态矢量检测部；用于生成插补帧的插补帧生成部；和将通过所述插补帧生成部生成的插补帧与所述输入影像信号的 帧进行组合，生成新的帧列的影像信号并进行输出用的帧列生成部， 其中，所述插,卜帧生成部使用通过所述动态矢量检测部检测的动态矢 量，能够生成所述插补帧，所述帧列生成部能够执行第 一 帧列生成处理与第二帧列生成处理，所述第一帧列生成处理为对使用第一影像信号内的第一和第二 帧之间的动态矢量而生成的插补帧进行插入的处理，所述第二帧列生成处理为将第二影像信号内的第一和第二帧之 间的帧，置换为使用该第一和第二帧之间的所述动态矢量而生成的 第一插补帧和不使用所述动态矢量而生成的第二插补帧的处理。
6. 根据权利要求5所述的影像信号处理装置，其特征在于 所述第一帧列生成处理是使所述新的帧列信号的帧频大于所述输入影像信号的帧频的处理，所述第二帧列生成处理是不使所述新的帧列信号的帧频从所述 输入影像信号的帧频发生变化的处理。
7. 根据权利要求6所述的影像信号处理装置，其特征在于 所述第一影像信号是具有非拉开形式的60HZ帧频的影像信号，所述第二影像信号是具有2-3拉开格式的60Hz帧频的影像信号， 所述第一帧列生成处理是将所述第一影像信号变换为包含所述插补帧具有120Hz或90Hz帧频的所述新帧列信号的处理，所述第二帧列生成处理是将具有2-3拉幵格式的60Hz帧频的输入影像信号，变换为包含所述第一和第二插补帧具有60Hz帧频的所述新帧列信号的处理。
8. —种影像信号处理装置，其特征在于，包括从包含在输入影像信号中的多个帧，检测影像的动态矢量的信 息的动态矢量检测部；用于生成插补帧的插补帧生成部；和将通过所述插,卜帧生成部生成的插净卜帧与所述输入影像信号的 帧进行组合，生成新的帧列的影像信号并进行输出用的帧列生成部， 其中，所述插补帧生成部，在所述输入影像信号具有规定格式的情况 下，生成第一插补帧和第二插补帧，作为所述插补帧，所述帧列生成部，将所述规定格式的影像信号的、具有相互不 同的影像内容的第一和第二帧之间的帧，置换为所述第一和第二插 补帧，并生成新帧列的影像信号，所述第一和第二插补帧中至少任意一个的生成方法，根据通过 所述动态矢量检测部检测出的动态矢量的特征而进行变更。
9. 根据权利要求8所述的影像信号处理装置，其特征在于 所述规定格式的影像信号是2-3拉开格式的影像信号。
10. 根据权利要求8所述的影像信号处理装置，其特征在于所述插补帧的生成方法的一方是使用所述动态矢量生成插补帧 的第一生成方法，另一方是不使用该动态矢量而生成插补帧的第二 生成方法。
11. 根据权利要求IO所述的影像信号处理装置，其特征在于 所述动态矢量的特征是该动态矢量的规定检测范围中的柱状图。
12. 根据权利要求ll所述的影像信号处理装置，其特征在亍 根据所述动态矢量的柱状图判定是否存在有超过所述规定检测范围的动作，当存在超过该规定检测范围的动作时，选择所述第一 生成方法，当不存在时，选择所述第二生成方法。
13. 根据权利要求IO所述的影像信号处理装置，其特征在于 所述第二生成方法，是通过重复第三帧生成所述一方的插补帧的方法，所述第三帧存在于所述第一和第二帧之间且具有与第一和 第二帧不同的影像内容。
14. 根据权利要求IO所述的影像信号处理装置，其特征在于 所述第二生成方法，是通过第三帧与所述第一或第二帧的平均值生成所述一方的插补帧的方法，所述第三帧存在于所述第一和第 二帧之间且具有与第 一 和第二帧不同的影像内容。
15. 根据权利要求8所述的影像信号处理装置，其特征在于 将输入影像中被最多地检测出的动态矢量作为全局矢量，并且使用该全局矢量生成所述第一和第二插补帧。
16. 根据权利要求9所述的影像信号处理装置，其特征在于 还根据输入影像信号表示的节目的种类对所述插补帧的生成方法进行变更。
17. —种影像显示装置，其特征在于-包括权利要求1 16中任一项所述的影像信号处理装置。
全文摘要
本发明涉及影像处理装置和包括该影像处理装置的影像显示装置。本发明的影像信号处理装置包括从输入影像信号的多个帧中检测影像的动态矢量信息的动态矢量检测部(24)；使用动态矢量，生成插补帧用的插补帧生成部(25)；和将所述插补帧生成部生成的插补帧与所述输入影像信号的帧进行组合，生成新的帧列的影像信号并进行输出用的帧列生成部(26)。而且，在进行在输入影像信号的2个帧之间多个插补帧连续的变换的情况下，该多个插补帧中的至少一个为不使用动态矢量(即不依赖于影像的动作)的插补帧。
文档编号H04N5/44GK101212593SQ20071016056
公开日2008年7月2日 申请日期2007年12月25日 优先权日2006年12月28日
发明者中嶋满雄, 荻野昌宏 申请人:株式会社日立制作所