图像处理装置、图像处理方法和程序的制作方法

图像处理装置、图像处理方法和程序的制作方法
【专利摘要】本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置，该图像处理装置包括控制单元，该控制单元从输入图像提取静止图像部分并且改变静止图像部分。
【专利说明】图像处理装置、图像处理方法和程序
【技术领域】
[0001 ] 本发明涉及图像处理装置、图像处理方法和程序。
【背景技术】
[0002]专利文献I和2公开了为了防止显示器的烙印(burn-1n)将整个显示图像在显示器的显示画面内移动的技术。
[0003][引用列表]
[0004][专利文献]
[0005][专利文献I]
[0006]JP2007-304318A
[0007][专利文献2]
[0008]JP2005-49784A

【发明内容】

[0009][技术问题]
[0010]然而，因为在上述技术中移动显示图像，所以用户在用视觉认识时感到烦恼。因此，寻求的是能够减少用户感到的烦恼并且减少显示器的烙印的技术。
[0011][问题的解决方法]
[0012]根据本发明，提供了一种图像处理装置，该图像处理装置包括:控制单元，该控制单元被构造为从输入图像提取静止图像部分，并且改变所述静止图像部分。
[0013]根据本发明，提供了 一种图像处理方法，该图像处理方法包括:从输入图像提取静止图像部分；以及改变所述静止图像部分。
[0014]根据本发明，提供了一种程序，该程序致使计算机实现控制功能，该控制功能用于从输入图像提取静止图像部分并且改变所述静止图像部分。
[0015]根据本发明，可以从输入图像提取静止图像部分并且可以改变静止图像部分。
[0016][本发明的有益效果]
[0017]如上所述，根据本发明，图像处理装置能够在显示器上显示静止图像部分已改变的输入图像。因此，图像处理装置可以在固定整个所显示图像的显示位置之后改变静止图像部分，从而减少用户感到的烦恼和显示器的烙印。
【专利附图】

【附图说明】
[0018]图1是示出根据本发明的实施方式的将被输入到图像处理装置的输入图像的例子的说明图。
[0019]图2是示出根据本发明的实施方式的将被输入到图像处理装置的输入图像的例子的说明图。
[0020]图3是示出根据本发明的实施方式的将被输入到图像处理装置的输入图像的例子的说明图。
【具体实施方式】
[0031]本文中将参照附图详细描述本发明的有利实施方式。注意的是，用相同的参考标号表示具有基本相同功能的构造元件，使得省略了对其的重复描述。
[0032]注意的是，将以下面的次序提供描述。
[0033]1.【背景技术】研究
[0034]2.由图像处理装置进行处理的概述
[0035]3.图像处理装置的构造
[0036]4.由图像处理装置进行的处理的过程
[0037]〈1.【背景技术】研究〉
[0038]发明人已经通过研究背景技`术得出根据本发明实施例的图像处理装置10。因此，首先，将描述发明人进行的研究。
[0039]在运动图像性质、视角性质、颜色再现性等方面，自发光型显示装置(如阴极射线管(CRT)、等离子体显示面板(PDP)和有机发光显示器(OLED))优于需要背光的液晶显示装置。然而，当长时间显示静止图像时，显示静止图像的元件持续发射相同颜色的光，因此，发光性质可能劣化。另外，发光性质劣化的元件在图像切换时可能显示先前图像的残像。这种现象被称为烙印(burn-1n)。静止图像的亮度(对比度)越大，越容易出现烙印。
[0040]为了防止/减少烙印，已经提出了一种方法，该方法通过随着时间推移将整个显示画面移动若干像素来分散发光的像素，并且使静止图像的烙印边界不太引人注意。
[0041]例如，专利文献I公开了一种在考虑OLED的发光性质的情况下移动整个画面的显示位置的方法。专利文献2公开了一种从运动图像的运动向量得到整个图像被在哪个方向上移动的方法。也就是说，专利文献I和2公开了为了防止显示器的烙印将整个显示图像在显示画面内移动的技术。
[0042]然而，在这种技术中，整个显示图像被移动。另外，当显示图像被移动时,显示图像的外部部分(即，黑框的宽度)改变。因此，用户容易认识到显示图像的显示位置已经改变。因此，用户因显示图像的移动而感到烦恼。另外，为了即使在整个显示图像被左右和上下移动时也显示整个显示图像，必须将显示装置的像素数量增加至比所显示图像的像素数量多。[0043]因此，发明人已经努力研究了上述【背景技术】，并且已经得到根据本实施方式的图像处理装置10。图像处理装置10 (示意性地讲)从输入图像提取静止图像部分，并且改变静止图像部分(例如，移动静止图像部分，改变显示放大倍数等)。图像处理装置10然后将输入图像作为显示图像在显示器上显示。因此，图像处理装置10可以在固定整个所显示图像的显示位置之后改变静止图像部分，从而减少用户感到的烦恼和显示器的烙印。另外，显示器的像素数量可能只是与所显示图像的程度近似的程度。因此，图像处理装置10可以减少显示器的像素数量。
[0044]〈2.由图像处理装置进行处理的概述〉
[0045]然后，将参照图1至图5描述由图像处理装置10进行处理的概述。图1至图3示出将被输入到图像处理装置10的输入图像的例子。在这些例子中，构成同一场景的第(n-1)帧的输入图像Fl (η-1)、第η帧的输入图像Fl (η)和第(η+1)帧的输入图像Fl (η+1)被顺序输入到图像处理装置10 (η是整数)。注意的是，在本实施方式中，构成每个输入图像的像素具有xy坐标。X轴是在图1中的水平方向上延伸的轴，并且y轴是在垂直方向上延伸的轴。在本实施方式中，虽然绘出简单图像(星形图像等)作为用于描述处理的输入图像，但更复杂的图像(字幕等)当然可应用于本实施方式。
[0046]圆形图像110和星形图像120被绘于输入图像Fl (n-1)、F1 (η)和Fl (η+1)(下文中，这些输入图像被统称为“输入图像F1”)中。因为在每个帧中星形图像120的显示位置是固定的，所以它表现为静止图像部分，而在每个帧中圆形图像110的显示位置是移动的(从左端移到右端)，并因此表现为运动图像部分。如果星形图像120长时间显示于同一显示位置，则有可能造成星形图像120的显示位置出现烙印。星形图像120的亮度越高，出现烙印的可能性越大。
[0047]因此，图像处理装置10改变星形图像120。具体地讲，如图2和图4中所示，图像处理装置10移动星形图像120在输入Fl (η)中的显示位置(执行所谓的“轨道处理(orbitprocessing)”)以产生静止插补图像Fla(n)。这里,运动方向与构成圆形图像110的周边区域的运动图像部分(这里，圆形图像110的运动向量)处于相同方向或相反方向。另外，虽然运动量等于运动向量的绝对值，但运动量可以不同于绝对值。
[0048]这里，在静止插补图像Fla(n)中，由于星形图像120的运动，导致形成空白部分120a。空白部分120a形成在输入图像Fl (η)中的星形图像120的显示区域中与静止插补图像Fla(n)中的星形图像120的显示区域不重叠的部分中。
[0049]因此，图像处理装置10对空白部分120a进行插补。具体地讲，图像处理装置10从输入图像Fl (η-1)和Fl (η+1)(即先前帧和后续帧)提取与空白部分120a对应的空白对应部分。更具体地讲，当期望以与圆形图像110的运动向量相同的方向移动星形图像120时，图像处理装置10从作为先前帧的输入图像Fl (η-1)提取空白对应部分。同时，当期望以与圆形图像110的运动向量相反的方向移动星形图像120时，图像处理装置10从作为后续帧的输入图像Fl (η+1)提取空白对应部分。然后，如图5中所示，图像处理装置10通过将所提取区域叠加在空白部分120a上，产生合成图像Flb (η)。图像处理装置10然后把合成图像Flb (η)作为第η帧输入图像进行显示来取代输入图像Fl (η)。
[0050]因此，图像处理装置10可以改变星形图像120 (在这个例子中，可以将星形图像120移动若干像素)，从而抑制显示星形图像120的元件的劣化，这导致显示器的烙印减少。另外，因为图像处理装置10不必移动整个显示图像的显示位置，所以用户感到的烦恼可以减少。另外，因为显示器的像素数量可以只是与所显示图像的像素数量近似的程度，所以图像处理装置10可以减少显示器的像素数量。注意的是，虽然在这个例子中，只调节了第η帧的输入图像Fl (η)的星形图像120，但还可以类似地调节其它帧的输入图像。另外，虽然星形图像120在图4中的右方向上移动，但是星形图像120也可以在左方向上移动。
[0051]<3.图像处理装置的构造〉
[0052]接下来，将基于图6中示出的框图描述图像处理装置10的构造。图像处理装置10包括存储器11和18和控制单元10a。控制单元IOa包括运动向量计算单元12、像素差计算单元13、移动部分检测单元14、静止部分检测单元15、静止类型确定单元16和方向等确定单元17。另外,控制单元IOa包括静止插补单元19、运动插补单元20、缩放插补单元21和合成单元22。
[0053]注意的是，图像处理装置10包括硬件构造，包括CPU、ROM、RAM、硬盘等。允许图像处理装置10实现控制单元IOa的程序被存储在ROM中。CPU读取ROM中记录的程序并且执行程序。因此，这些硬件构造实现控制单元10a。注意的是，在本实施方式中，“先前帧”意思是当前帧之前的一个帧并且“后续帧”意思是当前帧之后的一个帧。也就是说，控制单元IOa从前一帧和后一帧中检测空白对应部分。然而，控制单元IOa可以从其它先前帧(或其它后续)帧中提取空白对应部分。
[0054]存储器11还用作帧存储器，并且存储具有至少两个或更多个场、或两个或更多个帧的输入图像。运动向量计算单元12从存储器11获取当前帧的输入图像和先前帧的输入图像。另外，运动向量计算单元12从静止部分检测单元15获取静止图像部分信息。这里，静止图像部分信息指示构成静止图像部分的像素。
[0055]然后，运动向量计算单元12基于该信息以块为单位计算当前帧的输入图像的运动向量。也就是说，运动向量计算单元12从当前帧排除静止图像部分，并且将除了静止图像部分之外的区域划分成多个块。这里，运动向量计算单元12将静止图像部分的周边区域划分成第一块并且将除了周边区域之外的区域(即，被分开的区域)划分成第二块。第一块小于第二块。也就是说，在详细检测静止图像部分的周边区域的运动的同时，与周边区域相比，运动向量计算单元12粗略检测其它区域的运动。如以下描述的，这是因为，静止图像部分的周边区域是必须对空白部分进行插补的区域。虽然第一块和第二块的大小不受特别限制，但第一块具有(例如)2X2个像素的大小，并且第二块具有16X16个像素的大小。周边区域的大小也不受特别限制。然而，周边区域的外边缘部分和静止图像部分之间的距离可以是许多像素(例如，5个至6个像素)。
[0056]运动向量计算单元12然后从存储器11获取先前帧的运动向量信息，并且匹配当前帧的块和先前帧的块(执行块匹配)，以将当前帧的块和先前帧的块彼此相关联。运动向量计算单元12然后基于当前帧的块和先前帧的块，计算当前帧的块的运动向量。运动向量是指示一个帧期间每个块的移动方向和移动量的向量信息。块匹配和计算运动向量的方法不受特别限制。例如，使用用于MPEG图像的运动评估的绝对偏差估计(SAD)之和，执行其处理。
[0057]运动向量计算单兀12将与每个块的运动向量相关的运动向量信息输出到移动部分检测单元14、静止部分检测单元15、静止插补单元19和运动插补单元20。运动向量计算单元12将运动向量信息存储在存储器11中。当计算下一帧的运动向量时，使用存储器11中存储的运动向量信息。
[0058]像素差计算单元13从存储器11获取当前帧的输入图像、先前帧的输入图像和后续帧的输入图像。像素差计算单元13然后比较构成当前帧的像素和构成先前帧和后续帧的像素，以提取每个像素的静止图像部分。
[0059]具体地讲，像素差计算单元13基于以下的表达式(I)计算每个像素P(x，y)的亮度差值APL。
[0060]Δ PL= IP (F (n-1)，x, y) +P (F (η+1)，x, y) _2*Ρ (F (η), χ, y) |...(I)
[0061]在表达式(I)中，P(F(n-1), x, y)、P (F (n), x, y)和 P(F(n+l), x, y)分别代表先前帧、当前帧和后续帧中的像素P(x，y)的亮度。
[0062]这里，将参照图8和图9描述亮度差值APL的计算例子。在这个例子中，如图8中所示，第(η-1)帧至第(n+2)帧的输入图像F2 (η-1)至F2 (n+2)被输入到图像处理装置10。这些输入图像F2(n-1)至F2(n+2)构成同一场景。在这个例子中，因为在每个帧中圆形图像210的显示位置是固定的，所以圆形图像210用作静止图像部分。在每个帧中，三角形图像220的显示位置是移动的(从右下端部分移动到上左端部分)，因此三角形图像220用作运动图像部分。箭头220a代表三角形图像220的运动向量。在这个例子中，用上述表达式(I)计算圆形图像210内的像素P(x，y)的亮度差值APL。
[0063]像素差计算单元13产生与每个像素的亮度差值Λ PL相关的亮度差值信息，并且将该信息输出到移动部分检测单元14和静止部分检测单元15。
[0064]注意的是，针对每个像素执行像素差计算单元13的处理，因此处理的负荷大于针对每个块进行计算的负荷。因此，由运动向量计算单元12将输入图像粗略划分成静止图像块和运动图像块，并且可以针对静止图像块执行像素差计算单元13的处理。
[0065]在这种情况下，例如，运动向量计算单元12将输入图像划分成具有相同尺寸的块，并且针对每个块执行块匹配等，以计算每个块的运动向量。运动向量计算单元12然后将运动向量信息输出到像素差计算单元13。当运动向量的绝对值(大小)小于预定的参考向量的大小时，像素差计算单元13将具有运动向量的块识别为静止图像块。像素差计算单元13然后计算构成静止图像块的像素的亮度差值APL，并且将亮度差值信息输出到静止部分检测单元15。静止部分检测单元15通过下述的处理产生静止图像部分信息，并且将该信息输出到运动向量计算单元12。运动向量计算单元12基于静止图像部分信息只将静止图像部分的周边区域再划分成第一块，并且针对第一块执行上述处理。运动向量计算单元12然后将运动向量信息输出到移动部分检测单元14等。根据该处理，像素差计算单元13可以从输入图像之中仅仅计算具有高概率成为静止图像部分的那部分的亮度差值APL，从而降低处理负荷。
[0066]移动部分检测单元14基于运动向量信息和亮度差值信息从当前帧的输入图像中检测运动图像部分。具体地讲，移动部分检测单元14将包括其中亮度差值等于或大于预定参考差值的像素的块识别为运动图像部分。另外，如果运动向量的绝对值(大小)等于或大于预定参考向量的大小，则移动部分检测单元14将具有运动向量的块识别为运动图像部分。移动部分检测单元14然后产生指示用作运动图像部分的块的运动图像部分信息，并且将该信息输出到静止类型确定单元16。[0067]静止部分检测单元15基于亮度差值信息从当前帧的输入图像中检测静止图像部分。具体地讲，静止部分检测单元15将其中亮度差值小于参考差值的像素识别为静止图像部分。以此方式，在本实施方式中，静止部分检测单元15以像素为单位检测静止图像部分。因此，静止图像部分的检测精度提高。静止部分检测单元15产生指示构成静止图像部分的像素的静止图像信息，并且将该信息输出到运动向量计算单元12和静止类型确定单元16。
[0068]注意的是，静止图像部分的例子包括具有给定大小的区域、图、符号等。具体地讲，静止图像部分的例子包括标识、时钟图、屏幕底部出现的字幕。静止部分检测单元15将静止图像信息存储在存储器18中。另外，当发生场景改变时，静止部分检测单元15删除存储器18中的静止图像信息。
[0069]静止类型确定单元16基于运动图像部分信息和静止图像信息确定移动输入图像的静止类型。这里，在本实施方式中，静止类型是“运动图像”、“部分区域静止”和“整个区域静止”中的一种。
[0070]“运动图像”指示其中静止图像部分形成不同于“部分区域静止”的形状的输入图像。在“运动图像”的输入图像中，静止图像部分常常小于运动图像部分，如标识、时钟的图和赛事得分。
[0071]“部分区域静止”指示其中在χ方向上或者在y方向上在横跨输入图像的两端之间的长度上形成静止图像部分的输入图像。在图11中示出用作“部分区域静止”的输入图像的例子。在这个例子中，在横跨X方向上的两端之间的长度上形成静止图像部分320。“部分区域静止”的输入图像的例子包括其中图像的下部是用于字幕等的区域的输入图像、和其中在被划分成“运动图像”的图像周围形成黑带图像(或某种静止图像部分)的输入图像。在这些输入图像中，静止图像部分和运动图像部分之间的边界往往是固定的，因此往往出现烙印。
[0072]“整个区域静止”指示其中整个区域出于某些原因(例如，用户已经执行停止操作)保持静止的“运动图像”或“部分区域静止”。“整个区域静止”的输入图像的例子包括其中整个区域保持完全静止的图像、和显示人正在中心处说话的输入图像。注意的是，当前一例子的完全静止继续更长时间时，画面可以被转换到屏幕保护程序等。在本实施方式中，主要假设运动图像状态和静止状态之间状态转变和这类状态转变的重复。注意的是，即使输入图像的状态被转换，静止图像部分如字幕的显示位置也是相同的。因此，静止图像部分往往出现烙印。在图13中示出用作“整个区域静止”的输入图像的例子。在这个例子中，当输入图像F5包括静止图像部分520和运动图像部分510时，运动图像部分510在某些时刻保持静止。在这种情况下，不管输入图像F5的状态如何，静止图像部分520的显示位置是固定的，因此，与显示运动图像部分510的元件相比，显示静止图像部分520的元件更有可能造成烙印。
[0073]如上所述，在本实施方式中，静止类型的输入图像被划分成三种类型。另外，如下所述，必须针对每种静止类型变化改变静止图像部分的方法。因此，静止类型确定单元16基于运动图像部分信息和静止图像部分信息确定输入图像的静止类型。静止类型确定单元16然后将与判断结果相关的静止类型信息输出到方向等确定单元17。
[0074]方向等确定单元17基于静止类型信息等确定静止图像部分的改变方法、改变方向和改变量。[0075]当输入图像是“运动图像”时，方向等确定单元17确定改变方法是“移动”。如上所述，这是因为，当移动静止图像部分时，形成空白部分，并且可以使用另一帧的空白对应部分对空白部分进行插补。当然，方向等确定单元17可以确定改变方法是用于“改变显示倍率”。在这种情况下，执行类似于下述“整个区域静止”的调节。
[0076]方向等确定单元17基于运动图像部分的运动向量确定静止图像部分的改变方向。也就是说，方向等确定单元17提取构成静止图像部分的周边区域的运动图像部分的运动向量，并且计算运动向量的算术平均值。方向等确定单元17然后确定静止图像部分的改变方向，也就是说，移动方向与运动向量的算术平均值是相同方向或相反方向。
[0077]这里，方向等确定单元17从存储器18获取图像劣化信息并且基于图像劣化信息确定移动方向。这里，图像劣化信息指示通过针对每个元件累积元件的显示亮度而得到的值。较大的值指示元件被更频繁使用(换句话说，元件劣化)。也就是说，图像劣化信息指示构成显示器的显示屏幕的每个像素的使用状况。从抑制烙印的角度来看，有利的是，致使劣化程度低的元件显示静止图像部分。因此，方向等确定单元17参考移动方向上元件的图像劣化信息，并且在存在劣化程度低的像素的方向上移动静止图像部分。注意的是，图像劣化信息可以是显示亮度累计值之外的值。例如，图像劣化信息可以是显示大于或等于预定值的亮度的次数。
[0078]注意的是，因为“运动图像”的输入图像的静止图像部分和运动图像部分的显示位置频繁切换，所以显示“运动图像”的输入图像的元件被平均使用。因此，在所有元件中，劣化程度大致是平均的。同时，在下述的“部分区域静止”中，因为特定元件持续显示静止图像部分，所以劣化程度变大。因此，图像劣化信息尤其可用于确定“部分区域静止”的静止图像部分的移动方向。
[0079]方向等确定单元17基于运动图像部分的运动向量确定静止图像部分的改变量，即，移动量。也就是说，方向等确定单元17提取构成静止图像部分的周边区域的运动图像部分的运动向量，并且计算运动向量的算术平均值。方向等确定单元17然后确定静止图像部分的移动量是与运动向量的算术平均值相同的值。当然，移动量不限于以上值，并且例如可以是比运动向量的算术平均值小的值。例如，方向等确定单元17可以基于图像劣化信息确定改变量。具体地讲，当如果改变量小于运动向量的算术平均值可以减少器件的劣化时，则方向等确定单元17确定改变量小于运动向量的算术平均值。
[0080]当输入图像是“部分区域静止”时，方向等确定单元17确定改变方法为“移动”。这是因为，即使在这种静止类型中，由于静止图像部分移动也造成空白部分，并且可以通过另一帧的空白对应部分或者通过当前帧的静止图像部分对这个空白部分进行插补。以下将描述细节。
[0081 ] 方向等确定单元17确定静止图像部分的改变方向(也就是说，移动方向)是X方向或y方向。具体地讲，当静止图像部分在横跨χ方向上的两端之间的长度上形成时，方向等确定单元17确定改变方向是y方向。同时，当静止图像部分在横跨y方向上的两端之间的长度上形成时，方向等确定单元17确定改变方向是χ方向。静止图像部分的移动方向是与运动图像部分的运动向量相交、相同或相反的方向。注意的是，方向等确定单元17可以确定移动方向是倾斜方向。在这种情况下，移动方向是χ方向和y方向的组合。当移动方向是倾斜方向时，下述的静止插补单元19和运动插补单元20进行的处理也是对应于χ方向和I方向的处理的组合。
[0082]这里，方向等确定单元17可以从存储器18获取图像劣化信息并且基于图像劣化信息确定移动方向。也就是说，方向等确定单元17参照移动方向上的元件的图像劣化信息，并且将静止图像部分移动到其中存在劣化程度较低的元件的方向上。
[0083]方向等确定单元17基于运动图像部分的运动向量确定静止图像部分的改变量，也就是说，移动量。也就是说，方向等确定单元17提取构成静止图像部分的周边区域的运动图像部分的运动向量，并且计算运动向量的算术平均值。方向等确定单元17然后确定静止图像部分的移动量是与运动向量的算术平均值相同的值。当然，移动量不限于这个值，并且例如可以是比运动向量的算术平均值小的值。例如，方向等确定单元17可以基于图像劣化信息确定改变量。具体地讲，当如果改变量小于运动向量的算术平均值可以减少元件的劣化时，则方向等确定单元17确定改变量小于运动向量的算术平均值。
[0084]可供选择地，方向等确定单元17可以在将静止图像部分移动到与运动向量相交的方向上，或者尤其是与运动向量垂直的方向上时，在不考虑运动向量的情况下确定改变量。这是因为，如下所述，当将静止图像部分移动到与运动向量垂直的方向上时，通过静止图像部分对空白部分进行插补，因此不必考虑运动向量。
[0085]当输入图像是“整个区域静止”时，方向等确定单元17确定改变方法是“改变显示倍率”。当输入图像是“整个区域静止”时，运动图像部分也被暂时停止。因此，没有精确计算运动图像部分的运动向量(运动向量暂时变成O或接近O的值)。因此，图像处理装置10不必基于运动向量对由于静止图像部分的移动而造成的空白部分进行插补。因此，当输入图像是“整个区域静止”时，方向等确定单元17确定改变方法是“改变显示倍率”。
[0086]方向等确定单元17确定静止图像部分的改变方向和改变量，也就是说，显示倍率的X分量和y分量。当X分量大于I时，静止图像部分在X方向上被放大，并且当X分量的值小于I时，静止图像部分在χ方向上被缩小。对于y分量，同样如此。这里，方向等确定单元17可以从存储器18获取图像劣化信息并且基于图像劣化信息确定显示倍率的χ分量和I分量。具体内容与“运动图像”和“部分区域静止”的具体内容近似。
[0087]方向等确定单元17将与改变量相关的改变方法、改变方向和改变信息输出到静止插补单元19、运动插补单元20和缩放插补单元21。
[0088]静止插补单元19从存储器11获取当前帧的输入图像，并且基于从运动向量计算单元12和方向等确定单元17提供的信息和当前帧的输入图像，产生静止插补图像。
[0089]将基于图8和图10至图13描述静止插补单元19进行的处理的具体例子。首先，将描述当输入图像是“运动图像”时执行的处理的例子。在这个例子中，图8中示出的输入图像F2(n-1)至F2(n+2)被输入到图像处理装置10。另外，当前帧是第η帧。
[0090]如图10中所示，静止插补单元19将圆形图像210(即输入图像F2(n)的静止图像部分)在箭头210a的方向(与三角形图像220的运动向量相同的方向)上移动以产生静止插补图像F2a (η)。这里，移动量是与三角形图像220的运动向量的大小近似的程度。因此，在静止插补图像F2a(n)中形成空白部分210b。
[0091]接下来，将描述当输入图像的静止类型是“部分区域静止”时执行的处理的例子。在这个例子中，图11中示出的输入图像F3被输入到图像处理装置10。输入图像F3包括运动图像部分310和静止图像部分320。箭头310a指不运动图像部分310的运动向量。[0092]如图11中所示，静止插补单元19将静止图像部分320向上移动(在箭头320a的方向上)。也就是说，静止插补单元19将静止图像部分320在垂直于运动向量的方向上移动。因此，静止插补单元19产生静止插补图像F3a。在静止插补图像F3a中形成空白部分330。
[0093]接下来，将描述当输入图像的静止类型是“部分区域静止”时执行的处理的另一个例子。在这个例子中，图12中示出的输入图像F4被输入到图像处理装置10。输入图像F4包括运动图像部分410和静止图像部分420。箭头410a指示运动图像部分410的运动向量。
[0094]如图12中所示，静止插补单元19将静止图像部分420向下移动(在箭头420a的方向上)。也就是说，静止插补单元19将静止图像部分420在与运动向量相同的方向上移动。因此，静止插补单元19产生静止插补图像F4a。在静止插补图像F4a中形成空白部分430。注意的是，因为由于静止图像部分420向下移动导致静止插补图像F4a被放大，所以静止插补单元19对静止图像部分420执行缩小、剪辑等，以使静止插补图像F4a和输入图像F4的大小一致。
[0095]注意的是，静止插补单元19可以基于静止图像部分420的性质，判定是执行缩小还是剪辑。例如，当静止图像部分420是单色(例如，黑色)的带时，静止插补单元19可以执行缩小处理或剪辑处理。同时，当在静止图像部分420上绘出某种图案(字幕等)时，有利的是，静止插补单元19执行缩小处理。这是因为，当执行剪辑处理时，有可能丢失静止图像部分420的一部分信息。
[0096]接下来，将描述当输入图像的静止类型是“整个区域静止”时执行的处理的例子。在这个例子中，图13中示出的输入图像F5被输入到图像处理装置10。输入图像F5包括运动图像部分510和静止图像部分520。注意的是，运动图像部分510也被暂时停止。
[0097]如图13中所示，静止插补单元19将输入图像F5在χ方向和y方向上(在箭头500的方向上)放大，以产生静止插补图像F5a。因此，在这种情况下，显示倍率的χ分量和y分量都大于I。因此，静止图像部分520放大以变成经放大静止图像部分520a，并且运动图像部分510放大以变成经放大运动图像部分510a。注意的是，经放大运动图像部分510a中的外边缘部分510b超出输入图像F5，因此这个部分不能在显示器上显示。因此，如下所述，运动插补单元20执行非线性缩放，使得不形成外边缘部分510b。以下将描述细节。静止插补单元19将静止插补图像输出到合成单元22。
[0098]注意的是，在图13中示出的例子中，静止插补单元19放大输入图像F5。然而，如果方向等确定单元17提供的改变信息指示输入图像的缩小，则静止插补单元19缩小输入图像F5。在这种情况下，静止插补图像变得比输入图像小。因此，运动插补单元20对运动图像部分应用非线性缩放，以放大静止插补图像。以下将描述细节。
[0099]运动插补单元20从存储器11获取当前帧和先前帧和后续帧的输入图像，并且基于当前帧和先前帧和后续帧的输入图像和运动向量计算单元12和方向等确定单元17提供的信息，产生空白对应部分或经调节运动图像部分。
[0100]将基于图8和图10至图13描述由运动插补单元20进行的处理的具体例子。首先，将描述当输入图像是“运动图像”时执行的处理的例子。在这个例子中，图8中示出的输入图像F2 (η-1)至F2 (n+2)被输入到图像处理装置10。另外，当前帧是第η帧。在这个例子中，由静止插补单元19将圆形图像210在与三角形图像220的运动向量相同的方向上移动，并且形成空白部分210b。
[0101]这里，运动插补单元20从构成先前帧的输入图像的块(特别是，从第一个块)提取与空白部分210b对应的空白对应部分210c。具体地讲，运动插补单元20基于先前帧的每个块的运动向量，预测当前帧中每个块的位置。运动插补单元20然后从先前帧中的各个块之中，将被预测移动到当前帧中的空白部分210b的块识别为空白对应部分210c。因此，运动插补单元20提取空白对应部分210c。
[0102]同时，当将静止图像部分在与运动向量相反的方向上移动时，运动插补单元20从构成后续帧的块(具体地讲，从第一个块)中提取与空白部分对应的空白对应部分。具体地讲，运动插补单元20替换后续帧的运动向量的符号以计算反向运动向量，并且估计后续帧的各个块存在于当前帧中哪个位置。运动插补单元20然后将被估计存在于当前帧中的空白部分的那部分识别为空白对应部分。因此，运动插补单元20提取空白对应部分210c。
[0103]接下来，将描述当输入图像的静止类型是“部分区域静止”时执行的处理的例子。在这个例子中，图11中示出的输入图像F3被输入到图像处理装置10。输入图像F3包括运动图像部分310和静止图像部分320。箭头310a指示运动图像部分310的运动向量。另外，由静止插补单元19将静止图像部分320向上(在箭头320a的方向上)移动，并且形成空白部分330。
[0104]在这种情况下，静止图像部分320的移动方向垂直于运动向量，并且因此，可以不执行基于运动向量的插补。这是因为，在先前帧和后续帧中不存在空白对应部分。因此，运动插补单元20基于静止图像部分320对空白部分330进行插补。具体地讲，运动插补单元20放大静止图像部分320，以产生与空白部分330对应的空白对应部分330a (缩放处理)。另外，运动插补单元20可以将静止图像部分320中与空白部分330相邻的那部分识别为空白对应部分330a (重复处理)。在这种情况下，静止图像部分320的一部分被重复显示。
[0105]注意的是，运动插补单元20可以根据静止图像部分320的性质，确定执行哪个处理。例如，当静止图像部分320是单色(例如，黑色)的带时，运动插补单元20可以执行缩放处理或重复处理。同时，当在静止图像部分320上绘出某种图案(字幕等)时，有利的是，运动插补单元20执行缩放处理。这是因为，当执行重复处理时，静止图像部分320的图案可能在空白对应部分330a中变成不连续的。另外，在这个例子中，因为静止图像部分320被叠加在运动图像部分310的下端部分上，所以运动插补单元20可以对运动图像部分310执行缩小、剪辑等。
[0106]接下来，将描述当输入图像的静止类型是“部分区域静止”时执行的处理的另一个例子。在这个例子中，图12中示出的输入图像F4被输入到图像处理装置10。输入图像F4包括运动图像部分410和静止图像部分420。箭头410a指示运动图像部分410的运动向量。另外，由静止插补单元19将静止图像部分420向下(在箭头420a的方向上)移动，并且形成空白部分430。
[0107]在这个例子中，因为静止图像部分420的移动方向是与运动向量相同的方向，所以基于运动向量的插补变得可能。具体地讲，与图10中示出的例子类似的插补是可能的。因此，运动插补单元20从先前帧的输入图像提取空白对应部分。
[0108]接下来，将描述当输入图像的静止类型是“整个区域静止”时执行的处理的例子。在这个例子中，图13中示出的输入图像F5被输入到图像处理装置10。输入图像F5包括运动图像部分510和静止图像部分520。然而，运动图像部分510也被暂时停止。另外，由静止插补单元19将输入图像F5在xy方向上放大，并且外边缘部分510b超出输入图像F5。
[0109]因此，运动插补单元20将经放大运动图像部分510a划分成经放大静止图像部分520a的周边区域510a-l和外侧区域510a_2，并且缩小外侧区域510a_2 (在箭头501的方向上缩小)。因此，运动插补单元20产生经调节运动图像部分510c。因此，运动插补单元20对运动图像部分510执行非线性缩放。下述的合成单元22用运动图像部分510c替代静止插补图像F5a的外侧区域510a-2，以产生合成图像。
[0110]注意的是，当静止插补单元19已缩小输入图像F5时，运动插补单元20执行放大外侧区域510a-2的处理，以产生经调节运动图像部分510c。当存在多个静止图像部分时，运动插补单元20可以执行类似处理。也就是说，运动插补单元20可以只放大(或缩小)每个静止图像部分的外围区域，并且缩小(或放大)除了外围区域之外的区域，也就是说，运动图像部分。
[0111]运动插补单元20将与所产生的空白对应部分或经调节运动图像部分相关的运动图像插补信息输出到合成单元22。
[0112]缩放插补单元21对运动插补单元20还没有进行插补的空白部分执行插补处理。也就是说，当所有像素的运动图像部分的运动在运动图像部分内是平均的时候，通过运动插补单元20进行的处理对空白部分进行插补。然而，在各个像素中，运动图像部分的运动可以有所不同(可以无序化)。另外，运动图像部分可以按不规则方式移动。也就是说，当运动图像部分在某个时间在给定方向上移动时，运动图像可以突然在特定帧改变运动。在这些情况下，只是运动插补单元20进行的处理可能没有完全对空白部分进行插补。
[0113]另外，当运动图像部分在改变其倍数的同时移动时(例如，当运动图像部分在缩小的同时移动时)，空白对应部分的图案和空白部分周围的图案可能不连接。
[0114]因此，首先，缩放插补单元21从存储器11获取当前帧的输入图像，并且进一步地，从静止插补单元19和运动插补单元20获取静止插补图像和空白对应部分。然后，缩放插补单元21将空白对应部分叠加在空白部分上，以产生合成图像。然后，缩放插补单元21判定是否在空白部分中形成间隙。当形成间隙时，缩放插补单元21过滤和缩放空白对应部分以填充间隙。
[0115]另外，当空白对应部分的图案和空白部分周围的图案不连接时，缩放插补单元21在空白对应部分和空白部分的周边部分之间的边界处执行过滤处理，以将边界模糊化。然后，缩放插补单元21将经过上述处理调节的合成图像(也就是说，经调节图像)输出到合成单元22。
[0116]合成单元22将静止插补图像、空白对应部分(或经调节运动图像部分)和经调节图像组合，以产生合成图像。图11示出静止插补图像F3a和空白对应部分330a的合成图像F3b。另外，图12示出静止插补图像F4a和空白对应部分410b的合成图像F4b。另外，图13示出静止插补图像F5a和经调节运动图像部分510c的合成图像F5b。如这些例子中示出的，在合成图像中，静止图像部分改变并且静止图像部分的周边区域经过某种方式的调节。合成单元22将合成图像输出到(例如)显示器。显示器显示合成图像。注意的是，因为显示器不必改变合成图像的显示位置，所以显示器的元件数量是与合成图像的像素数量近似的程度。
[0117]<4.由图像处理装置进行的处理的过程〉
[0118]接下来，将参照图7中示出的流程图描述由图像处理装置10进行的处理的过程。注意的是，如上所述，在运动向量计算中，静止图像部分的周边区域的块变小，因此必须预先得知静止图像部分。
[0119]因此，首先，在步骤SI中，像素差计算单元13从存储器11获取当前帧的输入图像、先前帧的输入图像和后续帧的输入图像。然后，像素差计算单元13将构成当前帧的像素与构成后续帧和先前帧的像素进行比较，以针对每个像素提取静止图像部分。具体地讲，像素差计算单元13基于上述表达式(I)计算每个像素P(x，y)的亮度差值APL。
[0120]像素差计算单元13产生与每个像素的亮度差值Λ PL相关的亮度差值信息，并且将该信息输出到移动部分检测单元14和静止部分检测单元15。
[0121]在步骤S2中，静止部分检测单元15判定是否存在场景变化，当存在场景变化时前进至步骤S3，并且当场景没有变化时前进至步骤S4。注意的是，例如，可以由输入图像的输出源的装置告知是否存在场景变化。在步骤S3中，静止部分检测单元15删除存储器18中的静止图像信息。
[0122]在步骤S4中，静止部分检测单元15基于亮度差值信息从当前帧的输入图像中检测静止图像部分(静止部分)。具体地讲，静止部分检测单元15确定其中亮度差值小于预定参考差值的像素是静止图像部分。静止部分检测单元15产生指示构成静止图像部分的像素的静止图像信息，并且将该信息输出到运动向量计算单元12和静止类型确定单元16。注意的是，静止部分检测单元15将静止图像信息存储在存储器18中。
[0123]在步骤S5中，运动向量计算单元12从存储器11获取当前帧的输入图像和先前帧的输入图像。另外，运动向量计算单元12从静止部分检测单元15获取静止图像部分信息。
[0124]运动向量计算单元12然后基于该信息以块为单位计算当前帧的输入图像的运动向量。也就是说，运动向量计算单元12从当前帧中排除静止图像部分，并且将除了静止图像部分之外的区域划分成多个块。这里，运动向量计算单元12将静止图像部分的周边区域划分成第一块并且将除了周边区域之外的区域划分成第二块。第一块小于第二块。也就是说，在详细检测静止图像部分的周边区域的运动的同时，运动向量计算单元12粗略检测与周边区域相比是其它区域的运动。
[0125]运动向量计算单元12然后从存储器11获取先前帧的运动向量信息，并且执行块匹配等，以计算当前帧的块的运动向量。
[0126]运动向量计算单元12将与每个块的运动向量相关的运动向量信息输出到移动部分检测单元14、静止部分检测单元15、静止插补单元19和运动插补单元20。另外，运动向量计算单元12将运动向量信息存储在存储器11中。当计算下一帧的运动向量时，使用存储器11中存储的运动向量信息。
[0127]在步骤S6中，移动部分检测单元14基于运动向量信息和亮度差值信息，从当前帧的输入图像中检测运动图像部分(移动部分)。具体地讲，移动部分检测单元14将其中亮度差值等于或大于预定参考差值的像素识别为运动图像部分。另外，当运动向量的绝对值(大小)大于或等于预定参考向量的大小时，移动部分检测单元14将具有运动向量的块识别为运动图像部分。移动部分检测单元14然后产生指示用作运动图像部分的块的运动图像部分信息，并且将该信息输出到静止类型确定单元16。
[0128]在步骤S8中，静止类型确定单元16基于运动图像部分信息和静止图像信息，确定输入图像的移动静止类型。这里，在本实施方式中，静止类型是“运动图像”、“部分区域静止”和“整个区域静止”中的任一种。静止类型确定单元16然后将与判断结果相关的静止类型信息输出到方向等确定单元17。
[0129]方向等确定单元17基于静止类型信息等，确定静止图像部分的改变方法、改变方向和改变量。
[0130]也就是说，在步骤S9中，当输入图像是“运动图像”时，方向等确定单元17确定改变方法是“移动”。这是因为，如上所述，当静止图像部分移动时，形成空白部分，并且可以使用另一个帧的空白对应部分对空白部分进行插补。
[0131]同时，在步骤SlO中，当输入图像是“部分区域静止”时，方向等确定单元17确定改变方法是“移动”。在这种静止类型中，由于静止图像部分的移动也造成空白部分，并且可以通过另一个帧的空白对应部分或当前帧的静止图像部分对空白部分进行插补。
[0132]同时，在步骤Sll中，当输入图像是“整个区域静止”时，方向等确定单元17确定改变方法是“改变显示倍率”。当输入图像是“整个区域静止”时，运动图像部分也被暂时停止。因此，没有精确计算运动图像部分的运动向量。因此，图像处理装置10不能基于运动向量对由于静止图像部分的移动造成的空白部分进行插补。因此，当输入图像是“整个区域静止”时，方向等确定单元17确定改变方法是“改变显示倍率”。
[0133]在步骤S12中，方向等确定单元17确定静止图像部分的改变方向(移动方向)、改变量(移动量)和亮度。
[0134]具体地讲，当输入图像是“运动图像”时，方向等确定单元17基于改变方向的运动向量确定静止图像部分的改变方向。也就是说，方向等确定单元17提取构成静止图像部分的周边区域的运动图像部分的运动向量，并且计算运动向量的算术平均值。方向等确定单元17然后确定静止图像部分的改变方向(也就是说，移动方向)是与运动向量的算术平均值相同的方向或相反的方向。这里，方向等确定单元17从存储器18获取图像劣化信息并且基于图像劣化信息确定移动方向。
[0135]另外，方向等确定单元17基于运动图像部分的运动向量，确定静止图像部分的改变量，即移动量。也就是说，方向等确定单元17提取构成静止图像部分的周边区域的运动图像部分的运动向量，并且计算运动向量的算术平均值。方向等确定单元17然后确定静止图像部分的移动量是与运动向量的算术平均值相同的值。
[0136]另外，当静止图像部分的亮度大于预定亮度时，方向等确定单元17可以确定亮度是小于或等于预定亮度的值。因此，可以可靠地减少烙印。可以不管输入图像的静止类型而执行这个处理。
[0137]同时，当输入图像是“部分区域静止”时，方向等确定单元17确定静止图像部分的改变方向(也就是说，移动方向)是X方向或y方向。具体地讲，当静止图像部分在横跨X方向上的两端之间的长度上形成时，方向等确定单元17确定改变方向是I方向。同时，当静止图像部分在横跨y方向上的两端之间的长度上形成时，方向等确定单元17确定改变方向是X方向。这里，方向等确定单元17可以从存储器18获取图像劣化信息并且基于图像劣化信息确定移动方向。[0138]另外,方向等确定单元17基于运动图像部分的运动向量,确定静止图像部分的改变量，即移动量。也就是说，方向等确定单元17提取构成静止图像部分的周边区域的运动图像部分的运动向量，并且计算运动向量的算术平均值。方向等确定单元17然后确定静止图像部分的移动量是与运动向量的算术平均值相同的值。
[0139]同时，当输入图像是“整个区域静止”时，方向等确定单元17确定静止图像部分的改变方向和改变量，也就是说，显示倍率的X分量和I分量。当X分量大于I时，静止图像部分在X方向上被放大，并且当X分量的值小于I时，静止图像部分在X方向上被缩小。对于I分量，同样如此。这里，方向等确定单元17可以从存储器18获取图像劣化信息并且基于图像劣化信息确定显示倍率的X分量和I分量。
[0140]方向等确定单元17将与改变方法、改变方向和改变量相关的改变信息输出到静止插补单元19、运动插补单元20和缩放插补单元21。
[0141]在步骤S14中，运动插补单元20从存储器11获取当前帧和先前帧和后续帧的输入图像。运动插补单元20然后基于当前帧和先前帧和后续帧的输入图像和从运动向量计算单元12和方向等确定单元17提供的信息，产生空白对应部分或经调节运动图像部分。运动插补单元20然后将与空白对应部分或经调节运动图像部分相关的运动图像插补信息输出到合成单元22。
[0142]同时，在步骤S15中，静止插补单元19从存储器11获取当前帧的输入图像，并且基于当前帧的输入图像和从运动向量计算单元12和方向等确定单元17提供的信息，产生静止插补图像。静止插补单元19将静止插补图像输出到合成单元22。
[0143]同时，在步骤S16中，缩放插补单元21对运动插补单元20没有进行插补的空白部分进行插补处理。也就是说，缩放插补单元21从存储器11获取当前帧的输入图像，并且进一步从静止插补单元19和运动插补单元20获取静止插补图像和空白对应部分。缩放插补单元21然后将空白对应部分叠加在空白部分上，以产生合成图像。缩放插补单元21然后判定在空白部分中是否形成间隙，并且过滤和缩放空白对应部分以填充间隙。
[0144]另外，当空白对应部分的图案和空白部分周围的图案不连接时，缩放插补单元21在空白对应部分和空白部分的周边部分之间的边界处执行过滤处理，以将边界模糊化。缩放插补单元21然后将经过上述处理调节的合成图像(也就是说，经调节图像)输出到合成单元22。
[0145]在步骤S17中，合成单元22将静止插补图像、空白对应部分(或经调节运动图像部分)和经调节图像组合，以产生合成图像。合成单元22将合成图像输出到(例如)显示器。显示器显示合成图像。
[0146]如上所述，根据本实施方式，图像处理装置10可以通过只移动输入图像内的静止图像部分，保持整个输入画面的显示位置固定。因此，用户不太可能感到显示位置已移动。例如，图像处理装置10可以只移动画面角落处显示的时钟的符号。另外，因为与整个输入图像移动的情况相比，只有图像处理装置10的静止图像部分的一部分移动，所以用户不太可能注意到静止图像部分的移动。因此，图像处理装置10可以增加静止图像部分的改变量，并且增加烙印的减少量。另外，因为图像处理装置10可以基于图像劣化信息计算静止图像部分的改变方向和改变量，所以在整个画面内元件的劣化可以是均一的，并且不平均性可以降低。[0147]更具体地讲，图像处理装置10从输入图像提取静止图像部分，并且改变静止图像部分以产生合成图像。图像处理装置10然后在显示器上显示合成图像。因此，图像处理装置10可以在固定整个所显示图像的显示位置之后改变静止图像部分。因此，用户感到的烦恼和显示器的烙印可以减少。另外，因为显示器的像素数量可以是与所显示图像的像素数量近似的程度，所以图像处理装置10可以减少显示器的像素数量。也就是说，在整个所显示图像在显示器的显示画面内移动的技术中，必须在显示器中准备供所显示图像移动用的空白空间(用于进行轨道处理的空白空间)。然而，在本实施方式中，准备这种空白空间不是必须的。
[0148]另外，因为图像处理装置10调节静止图像部分的周边区域，所以静止图像部分的移动不容易被用户注意到。另外，图像处理装置10可以产生减少用户不适的合成图像。
[0149]另外，因为图像处理装置10基于移动区域调节静止图像部分的周边区域，所以静止图像部分的移动可以不太能够被用户注意到。另外，图像处理装置10可以产生减少用户不适的合成图像。
[0150]另外，因为图像处理装置10对由于静止图像部分改变造成的空白部分进行插补以调节静止图像部分的周边区域，所以静止图像部分的移动更不容易被用户注意到。另外，图像处理装置10可以产生减少用户不适的合成图像。
[0151]另外，图像处理装置10从输入图像提取运动图像部分，并且基于运动图像部分对空白部分进行插补，从而产生减少用户不适的合成图像。
[0152]另外，图像处理装置10基于运动图像部分的运动向量对空白部分进行插补，从而产生减少用户不适的合成图像。
[0153]另外，图像处理装置10基于运动图像部分的运动向量，从另一个帧提取与空白部分对应的空白对应部分，并且将空白对应部分叠加在空白部分上，以对空白部分进行插补。因此，图像处理装置10可以产生减少用户不适的合成图像。
[0154]另外，图像处理装置10在与运动图像部分的运动向量相同的方向上改变静止图像部分，并且基于运动图像部分的运动向量从先前帧提取空白对应部分。因此，图像处理装置10可以产生减少用户不适的合成图像。
[0155]另外，图像处理装置10在与运动图像部分的运动向量相反的方向上改变静止图像部分，并且基于运动图像部分的运动向量从后续帧提取空白对应部分。因此，图像处理装置10可以产生减少用户不适的合成图像。
[0156]另外，图像处理装置10在与运动图像部分的运动向量相交的方向上改变静止图像部分，并且基于当前帧的静止图像部分对空白部分进行插补。因此，图像处理装置10可以产生减少用户不适的合成图像。
[0157]另外，图像处理装置10基于运动图像部分的运动向量的大小设置静止图像部分的改变量，从而产生减少用户不适的合成图像。
[0158]另外，图像处理装置10对运动图像部分应用非线性缩放以调节静止图像部分的周边区域，从而产生减少用户不适的合成图像。
[0159]另外，图像处理装置10比较构成当前帧的像素和构成另一帧的像素以提取静止图像部分，从而更精确地提取静止图像部分。
[0160]另外，在以第一块为单位从静止图像部分的周边区域提取运动图像部分的同时，图像处理装置10以比第一块大的第二块为单位从与静止图像部分分开的分开区域提取运动图像部分。因此，图像处理装置10可以更精确地提取运动图像部分，并且可以更精确地对空白部分进行插补。
[0161]另外，图像处理装置10基于输入图像(也就是说，显示合成图像的显示元件的使用)改变静止图像部分，从而可靠地减少烙印。
[0162]如上所述，虽然已经参照附图描述了本发明的有利实施方式，但本发明的技术范围不受这些实施方式限制。本领域的技术人员应该理解，可以根据设计要求和其它因素，出现各种修改形式、组合形式、子组合形式和替代形式，使这些形式在所附权利要求书或其等同物的范围内。
[0163]本发明包含与2012年8月17日在日本专利局提交的日本优先权专利申请JP2012-180833中公开的主题相关的主题，该专利申请的全部内容特此以引用方式并入。
[0164]例如，虽然在上述实施方式中已经通过示例性示出一些输入图像描述了本实施方式的处理，但输入图像不限于上述例子。
[0165]注意的是，以下的构造也属于本发明的技术范围。
[0166](I) 一种图像处理装置，包括:
[0167]控制单元，被构造为从输入图像提取静止图像部分，并且改变所述静止图像部分。
[0168](2)根据(I)所述的图像处理装置，其中所述控制单元调节所述静止图像部分的周边区域。
[0169](3)根据(2)所述的图像处理装置，其中所述控制单元从所述输入图像提取运动图像部分，并且基于所述运动图像部分调节所述静止图像部分的周边区域。
[0170](4)根据(3)所述的图像处理装置，其中所述控制单元基于所述运动图像部分对由于所述静止图像部分改变造成的空白部分进行插补。
[0171](5)根据(4)所述的图像处理装置，其中所述控制单元基于所述运动图像部分的运动向量对所述空白部分进行插补。
[0172](6)根据(5)所述的图像处理装置，其中所述控制单元基于所述运动图像部分的运动向量从另一帧提取与所述空白部分对应的空白对应部分，并且将所述空白对应部分叠加在所述空白部分上，以对所述空白部分进行插补。
[0173](7)根据(6)所述的图像处理装置，其中所述控制单元在与所述运动图像部分的运动向量相同的方向上改变所述静止图像部分，并且基于所述运动图像部分的运动向量从先前帧提取所述空白对应部分。
[0174](8)根据(6)所述的图像处理装置，其中所述控制单元在与所述运动图像部分的运动向量相反的方向上改变所述静止图像部分，并且基于所述运动图像部分的运动向量从后续帧提取所述空白对应部分。
[0175](9)根据(5)所述的图像处理装置，其中所述控制单元在与所述运动图像部分的运动向量相交的方向上改变所述静止图像部分，并且基于当前帧的静止图像部分对所述空白部分进行插补。
[0176](10)根据(3)至(9)中任一项所述的图像处理装置，其中所述控制单元基于所述运动图像部分的运动向量的大小，设置所述静止图像部分的改变量。
[0177](11)根据(3)至(9)中任一项所述的图像处理装置，其中所述控制单元对所述运动图像部分应用非线性缩放，以调节所述静止图像部分的周边区域。
[0178](12)根据(3)至(11)中任一项所述的图像处理装置，其中所述控制单元以第一块为单位从所述静止图像部分的周边区域提取运动图像部分，同时以第二块为单位从与所述静止图像部分分开的分开区域提取所述运动图像部分，所述第二块比所述第一块宽。
[0179](13)根据(I)至(12)中任一项所述的图像处理装置，其中所述控制单元比较构成当前帧的像素和构成另一帧的像素，以针对每个像素提取静止图像部分。
[0180](14)根据(I)至(13)中任一项所述的图像处理装置，其中所述控制单元基于显示所述输入图像的元件的使用状况，改变所述静止图像部分。
[0181](15) 一种图像处理方法，包括:
[0182]从输入图像提取静止图像部分，以及
[0183]改变所述静止图像部分。
[0184](16) 一种致使计算机实现以下功能的程序:
[0185]控制功能，用于从输入图像提取静止图像部分并且改变所述静止图像部分。
[0186][参考标号列表]
[0187]10图像处理装置
[0188]11存储器
[0189]12运动向量计算单元
[0190]13像素差计算单元
[0191]14移动部分检测单元
[0192]15静止部分检测单元
[0193]16静止类型确定单元
[0194]17方向等确定单元
[0195]18存储器
[0196]19静止插补单元
[0197]20运动插补单元
[0198]21缩放插补单元
[0199]22合成单元
【权利要求】
1.一种图像处理装置，包括:控制单元，被构造为从输入图像提取静止图像部分，并且改变所述静止图像部分。
2.根据权利要求1所述的图像处理装置，其中所述控制单元调节所述静止图像部分的周边区域。
3.根据权利要求2所述的图像处理装置，其中所述控制单元从所述输入图像提取运动图像部分，并且基于所述运动图像部分调节所述静止图像部分的周边区域。
4.根据权利要求3所述的图像处理装置，其中所述控制单元基于所述运动图像部分对由于所述静止图像部分改变造成的空白部分进行插补。
5.根据权利要求4所述的图像处理装置，其中所述控制单元基于所述运动图像部分的运动向量对所述空白部分进行插补。
6.根据权利要求5所述的图像处理装置，其中所述控制单元基于所述运动图像部分的运动向量从另一帧提取与所述空白部分对应的空白对应部分，并且将所述空白对应部分叠加在所述空白部分上，以对所述空白部分进行插补。
7.根据权利要求6所述的图像处理装置，其中所述控制单元在与所述运动图像部分的运动向量相同的方向上改变所述静止图像部分，并且基于所述运动图像部分的运动向量从先前帧提取所述空白对应部分。
8.根据权利要求6所述的图像处理装置，其中所述控制单元在与所述运动图像部分的运动向量相反的方向上改变所述静止图像部分，并且基于所述运动图像部分的运动向量从后续帧提取所述空白对应部分。
9.根据权利要求5所述的图像处理装置，其中所述控制单元在与所述运动图像部分的运动向量相交的方向上改变所述静止图像部分，并且基于当前帧的静止图像部分对所述空白部分进行插补。
10.根据权利要求3所述的图像处理装置，其中所述控制单元基于所述运动图像部分的运动向量的大小，设置所述静止图像部分的改变量。
11.根据权利要求3所述的图像处理装置，其中所述控制单元对所述运动图像部分应用非线性缩放，以调节所述静止图像部分的周边区域。
12.根据权利要求3所述的图像处理装置，其中所述控制单元以第一块为单位从所述静止图像部分的周边区域提取运动图像部分，同时以第二块为单位从与所述静止图像部分分开的分开区域提取所述运动图像部分，所述第二块比所述第一块宽。
13.根据权利要求1所述的图像处理装置，其中所述控制单元比较构成当前帧的像素和构成另一帧的像素，以针对每个像素提取静止图像部分。
14.根据权利要求1所述的图像处理装置，其中所述控制单元基于显示所述输入图像的元件的使用状况，改变所述静止图像部分。
15.—种图像处理方法,包括:从输入图像提取静止图像部分，以及改变所述静止图像部分。
16.一种致使计算机实现以下功能的程序:控制功能，用于从输入图像提取静止图像部分并且改变所述静止图像部分。
【文档编号】G09G5/20GK103595897SQ201310345047
【公开日】2014年2月19日 申请日期:2013年8月9日 优先权日:2012年8月17日
【发明者】須藤信幸 申请人:索尼公司