专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本公开涉及图像处理装置、图像处理方法和程序，更具体地，涉及能够改善例如所产生的用于编辑的图像信号的图像质量的图像处理装置、图像处理方法和程序。
背景技术：
例如存在用于将新的帧内插在包括多个帧(或场)的运动图像并且改善帧速的帧内插处理(例如，参见日本专利申请特开No. 2007-288681)。根据帧内插处理，由于内插了构成运动图像的帧之间的新帧，因此每个帧上的对象可以平滑地运动。同时，代表运动图像的图像信号主要包括所产生的用于显示的图像信号(下文称 为用于显示的图像信号)和所产生的用于编辑的图像信号(下文称为用于编辑的图像信号)。如图IA中所示，产生用于显示的图像信号，以使得运动图像包括多个不同的帧。此外，例如，如图IB中所示，由于产生出现在电影胶片中的颤动(不平滑的动作)，因此相同帧交替地重复三次和两次作为使得相同帧依次显现的重复数目。根据帧内插处理，当如图IA中所示的运动图像经历帧内插时，可以使得帧上对象的运动更平滑。此外，例如，当图IB中所示的运动图像经历帧内插时，可以在保持原始颤动的同 时使得帧上对象的运动更平滑。这里，如图IC中所示，作为重复数目，用于编辑的图像信号包括四次、两次、两次和两次的重复图案。此外,例如,如图ID中所示，重复数目包括五次、三次和两次的重复图案。可替换地，例如，在所谓的3维(3D)运动图像中，用于编辑的图像信号包括两次、一次、一次和一次的重复图案作为由用户的左眼识别的帧的重复数目以及两次、一次、一次和一次的重复图案作为由用户的右眼识别的帧的重复数目。
发明内容
依据编辑的便利、压缩编码的效率等，如图IC 图IE中所示那样配置用于编辑的图像信号，以便不考虑图像信号中包括的帧的显示。于是，当显示用于编辑的图像信号中包括的帧时，产生不规则(不自然)的颤动。因此，通常期望对用于编辑的图像信号进行诸如编辑之类的工作并且将编辑后的图像信号转换为用于显示的图像信号以进行广播等。然而，当前，由于诸如成本和工时之类的原因，在许多情况下，用于编辑的图像信号未被转换为用于显示的图像信号并且被广播。因此，例如，当用于编辑的图像信号在接收要广播的图像信号的电视接收器等中经历帧内插处理时，可能不可以获得使得帧上对象的运动更平滑的效果。
此外，由于用于编辑的图像信号经历帧内插处理，不规则的颤动被加强，使得可能不可以清楚地看到运动图像。进而，例如，同样在用于编辑的图像信号经历对用于显示的图像信号所进行的降噪、隔行逐行(IP)转换等的情况下，可能不可以获得与帧内插处理一样的期望效果，从而难以清楚地看到运动图像。已经鉴于上述情形设想出本公开，以便改善所产生的用于编辑的图像信号的图像质量。根据本公开的实施例，提供了一种对由多个图像构成的图像信号进行图像处理的图像处理装置，包含确定单元，其配置为确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目；以及图像处理单元，其配置为根据确定单元的确定结果对所述图像信号进行图像处理。 所述图像处理装置可以还包括转换单元，其配置为响应于所述出现图案是与规则图案不同的图案的确定单元的确定结果，将具有不同图案的第一图像信号转换为具有规则图案的第二图像信号，其中所述图像处理单元可以对所述第二图像信号进行规则图案的图像处理。所述图像处理装置可以还包括检测单元，其配置为检测表示在构成所述第二图像信号的多个图像之中依次出现相同图像的定时的定时信号；以及调节单元，其配置为调节所述定时信号并且将所述定时之间的间隔改变为相等的间隔，其中所述图像处理单元可以基于调节后的定时信号进行用于从所述第二图像信号中产生由所述多个不同图像构成的第三图像信号的图像处理。所述调节单元可以调节所述定时信号，并且将用于再现所述第二图像信号的再现时间内产生的定时之间的间隔改变到相等的间隔。所述转换单元可以根据基于出现图案的转换规则，将所述第一图像信号转换为所述第二图像信号。所述图像处理单元可以执行作为图像处理的如下处理中的至少一个将隔行图像转换为逐行图像的IP转换处理、降低图像中产生的噪声的降噪处理、将图像分辨率转换为更高分辨率的分辨率创建处理、将新图像内插至所述图像信号的内插处理。根据本公开的一实施例，提供了一种图像处理装置的图像处理方法，所述图像处理装置对由多个图像构成的图像信号进行图像处理，所述方法包含通过所述图像处理装置，确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目；以及根据确定的确定结果对所述图像信号进行图像处理。根据本公开的一实施例，提供了一种程序，其使得对由多个图像构成的图像信号进行图像处理的图像处理装置的计算机用作确定单元，其配置为确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目；以及图像处理单元，其配置为根据确定单元的确定结果对所述图像信号进行图像处理。
根据本公开的实施例，确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目，并且根据所述确定结果对所述图像信号进行图像处理。根据本公开的实施例，可以改善所产生的用于编辑的图像信号的图像质量。本公开的这些和其它目标、特征和优点将鉴于附图中图示的本公开的具体实施方式
的以下详细描述而变得更加明显。
图IA IE是示出用于显示的图像信号和用于编辑的图像信号的示例的示图；图2是示出根据第一实施例的图像处理装置的配置示例的方框示图；图3是示出序列确定单元进行的处理的细节的示图； 图4是用于说明第一图像处理的流程图；图5是示出图2中的图像处理装置的另一配置示例的方框示图；图6是示出根据第二实施例的图像处理装置的配置示例的方框示图；图7是用于说明将规则序列转换为不规则序列的转换方法的第一示图；图8是用于说明将规则序列转换为不规则序列的转换方法的第二示图；图9是用于说明将规则序列转换为不规则序列的转换方法的第三示图；图10是用于说明将规则序列转换为不规则序列的转换方法的第四示图；图11是用于说明第二图像处理的流程图；图12是示出根据第三实施例的图像处理装置的示例的方框示图；图13是示出由图12中的转换单元和帧内插单元进行的处理的示例的示图；图14是示出由图12中的转换单元和帧内插单元进行的处理所改变的颤动的示例的示图；图15是示出由图12中的转换单元和帧内插单元进行的处理的另一示例的示图；图16是示出由图12中的转换单元和帧内插单元进行的处理的又一个示例的示图；图17是用于说明第三图像处理的流程图；以及图18是示出计算机的配置示例的方框示图。
具体实施例方式下文描述用于实施本公开的实施例(下文称为实施例)。这里，将按下列顺序进行说明。I.第一实施例(根据要输入的图像信号的出现图案是否是规则序列的图像处理的示例)2.第二实施例(将不规则序列转换为规则序列的示例)3.第三实施例(将产生颤动的图像信号校正为平滑运动的图像信号的示例)4.修正示例I.第一实施例[图像处理装置21的配置示例]
图2示出根据第一实施例的图像处理装置21的配置示例。这里，图像处理装置21检测其中在构成要输入的图像信号的多个帧(或场)之中出现表示相同巾贞的序列的数目的重复数目的出现图案(appearance pattern)。此外，图像处理装置21确定检测到的出现图案是表示用于显示的预定出现图案的规则序列，还是表示用于编辑的预定出现图案的不规则序列。然后，当图像处理装置21确定要输入的图像信号的出现图案是不规则序列时，图像处理装置21输出要输入的图像信号。此外，当图像处理装置21确定要输入的图像信号的出现图案是规则序列时，图像处理装置21将新的帧插入至要输入的图像信号中包括的每个帧并且将其输出。
图像处理装置21包括帧存储器41、差异计算单元42、序列确定单元43、控制单元44、操作单元45和帧内插单元46。图像处理装置21接收来自外部的帧η作为图像信号。这里，帧η是第η个输入的帧。帧存储器41接收来自外部的帧η。帧存储器41将来自外部的帧η相对于从外部提供给差异计算单元42的帧η延迟一个帧，并且将其提供给差异计算单元42。即，当差异计算单元42接收帧η时，帧存储器41将一帧前的帧η_1提供给差异计算单元42。差异计算单元42计算来自外部的帧η和来自帧存储器41的帧η_1之间的差异D (η, η-1)，并且将其提供给序列确定单元43。序列确定单元43基于来自差异计算单元42的差异D(η，η-i)确定要输入的图像信号的出现图案是规则序列还是不规则序列，并且将确定结果提供给控制单元44。这里，稍后将参照图3详细描述序列确定单元43进行的处理。控制单元44基于来自序列确定单元43的确定结果控制帧内插单元46。即，例如，当控制单元44接收要输入的图像信号的出现图案是规则序列的确定结果时，控制单元44使得帧内插单元46进行帧内插处理。此外，例如，当控制单元44接收要输入的图像信号的出现图案是不规则序列的确定结果时，控制单元44控制帧内插单元46不进行帧内插处理。此外，例如，控制单元44响应于来自操作单元45的操作信号控制帧存储器41、差异计算单元42、序列确定单元43和帧内插单元46。操作单元45例如包括操作按钮等，并且由用户操作。然后，操作单元45根据用户的操作将对应的操作信号提供给控制单元44。帧内插单元46从外部接收帧η。例如，帧内插单元46在要输入的帧η_1和帧η之间内插新的帧，并且根据控制单元44的控制输出帧。此外，例如，帧内插单元46根据控制单元44的控制输出要输入的帧η。[序列确定单元43进行的处理的细节]接下来，图3示出序列确定单元43进行的处理的细节。图3示出表示相同帧A的四个序列、相同帧B的两个序列、相同帧C的两个序列和相同帧D的两个序列的出现图案的4-2-2-2不规则序列的示例。序列确定单元43根据来自差异计算单元42的差异D (η, η-1)(的绝对值)是否低于预定阈值，检测巾贞η和巾贞η-I是否是相同的中贞。
SM列如，当帧η和帧η-1是相同帧时，来自差异计算单元42的差异D(n，n_l)(几乎)为零并且低于预定阈值。在此情况下，序列确定单元43检测帧η和帧η-I是相同的帧。此外，例如，当帧η和帧η-I是不同帧时，来自差异计算单元42的差异D(n，n_l)是相对高的值并且大于或等于该阈值。在此情况下，序列确定单元43检测帧η和帧η-I是不同的帧。序列确定单元43根据来自差异计算单元42的与两个不同帧的组合对应的多个差异D，计算要输入至图像处理装置21的图像信号的出现图案。然后，序列确定单元43确定计算出的出现图案是规则序列还是不规则序列，并且将确定结果提供至控制单元44。 [图像处理装置2I的操作的细节]接下来，参照图4中的流程图，描述图像处理装置21进行的图像处理(下文称为第一图像处理)。这里，第一图像处理例如在图像处理装置21从外部接收图像信号时开始。在步骤S21中，帧存储器41将来自外部的图像信号中包括的帧η相对于从外部提供给差异计算单元42的帧η延迟一个帧，并且将其提供给差异计算单元42。即，当差异计算单元42接收帧η时，帧存储器41将一帧前的帧η_1提供给差异计算单元42。在步骤S22中，差异计算单元42计算来自外部的帧η和来自帧存储器41的帧η_1之间的差异D (η，η-1)，并且将其提供至序列确定单元43。通过步骤S21和步骤S22中的处理，当序列确定单元43从差异计算单元42接收与两个不同帧的组合对应的多个差异D时，处理前进至步骤S23。在步骤S23中，序列确定单元43基于来自差异计算单元42的多个差异D确定要输入的图像信号的出现图案是规则序列还是不规则序列。然后，在步骤S23中，当序列确定单元43基于来自差异计算单元42的多个差异D确定要输入的图像信号的出现图案是规则序列时，序列确定单元43将确定结果提供给控制单元44并且处理前进至步骤S24。在步骤S24中，控制单元44根据来自序列确定单元43的确定结果控制帧内插单元46，并且使得帧内插单元46对规则序列进行图像处理。即，例如，帧内插单元46在来自外部的帧η和帧η_1之间内插新的帧，并且根据控制单元44的控制将其输出。此外，在步骤S23中，当序列确定单元43基于来自差异计算单元42的多个差异D确定要输入的图像信号的出现图案是不规则序列时，序列确定单元43将确定结果提供至控制单元44并且处理前进至步骤S25。在步骤S25中，控制单元44根据来自序列确定单元43的确定结果控制帧内插单元46，并且使得帧内插单元46对不规则序列进行图像处理。即，例如，帧内插单元46不在来自外部的帧η和帧η-I之间内插新的帧，并且根据控制单元44的控制输出来自外部的帧η。这里，例如，当输入至图像处理装置21的图像信号经历图像处理并且构成由图像处理获得的图像信号的所有帧被输出时，第一图像处理完成。
如上所述，根据第一图像处理，当要输入的图像信号的出现图案是规则序列时内插帧，而当要输入的图像信号的出现图案是不规则序列时不内插帧。因此，在第一图像处理中，例如，当图像信号的出现图案是不规则序列时内插帧，从而可以防止不自然颤动的加重。此外，例如，当图像信号的出现图案是规则序列时内插帧，从而可以在图像信号的再现时使得帧上对象的运动更平滑。这里，在步骤S23中，序列确定单元43进行用于基于来自差异计算单元42的多个差异D确定要输入的图像信号的出现图案是否是规则序列的确定处理。在确定处理中，可以通过优化用于确定的差异D的数目和参照图3描述的要与差 异D比较的阈值等来改善确定精度和稳定操作。此外，例如，当确定处理中确定要输入的图像信号的出现图案是规则序列的确定的数目达到预定数目时，可最终确定要输入的图像信号的出现图案是规则序列。同样在此情况下，可以通过优化用于确定的差异D的数目、参照图3描述的要与差异D比较的阈值等以及此外的预定数目来改善确定精度和稳定操作。此外，在第一实施例中，对图像信号进行作为图像处理的帧内插，然而图像处理不限于此。S卩，例如，如图5中所示的图像处理装置61 —样，除了帧内插单元46之外还可以提供IP转换单元81、图像处理单元82等并且进行各种处理。图5示出除了包括巾贞内插单元46之外还包括IP转换单元81和图像处理单元82的图像处理装置61的配置示例。在图5中，将相同的附图标记给予以与图2中所示的图像处理装置21相同方式配置的组成部分，因此，下面将省略其说明。S卩，除了新提供IP转换单元81和图像处理单元82之外，以与图2中所示的图像处理装置21相同方式配置图像处理装置61。当来自外部的图像信号的出现图案是规则序列时，IP转换单元81根据控制单元44的控制对来自外部的图像信号进行IP转换，并且将IP转换获得的图像信号提供给图像处理单元82。这里，IP转换是将以隔行模式显示的隔行图像(场)转换为以逐行模式显示的逐行图像(帧)的处理。因此，当输入场作为来自外部的图像信号时，IP转换单元81进行IP转换。这里，当输入帧作为来自外部的图像信号时，IP转换单元81不进行IP转换并且将帧提供给图像处理单元82。此外，当来自外部的图像信号的出现图案是不规则序列(不是规则序列)时，IP转换单元81根据控制单元44的控制对来自外部的图像信号进行加强梳状噪声的抑制的IP转换，并且将通过IP转换获得的图像信号提供给图像处理单元82。这是由于这样的原因当图像信号的出现图案是不规则序列时，图像信号经历IP转换，从而容易地产生梳状噪声。此外，例如，当图像信号的出现图案是规则序列时，IP转换单元81可以使用基于每个场检测到的运动矢量进行IP转换，而当图像信号的出现图案是不规则序列时，IP转换单元81可以在不使用运动矢量的情况下进行IP转换。这是由于这样的原因当图像信号的出现图案是不规则序列时，减小了运动矢量的检测精度。可替换地，例如，代之IP转换，IP转换单元81可以进行用于将电视广播中使用的每秒30帧(60场)的第一图像信号转换(下拉，pull-down)为以每秒24帧记录的第二图像信号(如，电影)的下拉处理。在此情况下，例如，当要输入的图像信号的出现图案是规则序列时，IP转换单元81进行上面描述的下拉处理，而当要输入的图像信号的出现图案是不规则序列时，IP转换单元81不进行上面描述的下拉处理。此外，例如，代之下拉处理，IP转换单元81可以进行用于将第二图像信号反向转换为第一图像信号的反向下拉处理。 同样在此情况下，当要输入的图像信号的出现图案是规则序列时，IP转换单元81进行反向下拉处理，而当要输入的图像信号的出现图案是不规则序列时，IP转换单元81不进行反向下拉处理。图像处理单元82对来自IP转换单元81的图像信号进行用于降低噪声的降噪处理、用于将图像信号分辨率转换为更高分辨率的分辨率创建处理等。S卩，例如，图像处理单元82基于来自外部的图像信号的出现图案是否是不规则序列，利用不同的降噪滤波器等进行降噪处理。可替换地，例如，图像处理单元82可以根据出现图案中的重复数目动态地改变降噪滤波器等以进行降噪处理。此外，例如，图像处理单元82基于来自外部的图像信号的出现图案是否是不规则序列，利用不同的参数进行分辨率创建处理。图像处理单元82将处理后的图像信号提供给帧内插单元46。这里，图像处理装置61通过IP转换单元81进行IP转换处理，通过图像处理单元82进行降噪处理和分辨率创建处理，并通过帧内插单元46进行帧内插处理，并且例如通过省略图像处理单元82和帧内插单元46，还可以只进行IP转换处理。S卩，例如，图像处理装置61可以进行IP转换处理、降噪处理、分辨率创建处理和帧内插处理中的至少一个。这里，这也类似地适用于下面讨论的第二实施例和第三实施例。2.第二实施例[图像处理装置101的配置示例]接下来，图6示出根据第二实施例的图像处理装置101的配置示例。这里，在图像处理装置101中，将相同的附图标记给予以与图2中所示的图像处理装置21相同方式配置的组成部分，因此，下面将省略其说明。S卩，除了提供控制单元121而不是图2中所示的控制单元44并且还新提供了转换单元122之外，以与图2中所示的图像处理装置21相同方式配置图像处理装置101。控制单元121基于来自序列确定单元43的确定结果控制转换单元122。S卩，例如，当控制单元121接收到要输入的图像信号的出现图案是规则序列的确定结果时，控制单元121控制转换单元122将图像信号提供给帧内插单元46。此外，例如，当控制单元121接收要输入的图像信号的出现图案是不规则序列的确定结果时，控制单元121控制转换单元122将具有不规则序列的出现图案的图像信号转换为具有规则序列的出现图案的图像信号并将其提供给帧内插单元46。此外，例如，控制单元121控制帧内插单元46，并且针对规则序列进行图像处理，而不管来自序列确定单元43的确定结果。在此情况下，例如，帧内插单元46根据控制单元121的控制对来自转换单元122的规则序列的图像信号进行帧内插，并且输出内插的图像信号。当要输入的图像信号的出现图案是不规则序列时，转换单元122根据控制单元121的控制将不规则序列的图像信号转换为规则序列的图像信号，并且将其提供给帧内插单元46。这里，稍后将参照图7到图10详细描述转换单元122进行的处理。在此情况下，在图6中所示的图像处理装置101中，例如，可以在转换单元122之前提供IP转换单元81并且将经IP转换单元81IP转换的图像信号提供给转换单元122。 可替代地，例如，可以将对转换单元122处理的图像信号进行降噪处理和分辨率创建处理的图像处理单元82提供在转换单元122和帧内插单元46之间。[转换单元122进行的第一转换方法]接下来，图7示出转换单元122将不规则序列的图像信号转换为规则序列的图像信号并且将其输出的第一转换方法。图7的A示出表示相同帧A的五个序列、相同帧B的三个序列和相同帧C的两个序列的出现图案5-3-2的5-3-2不规则序列的图像信号。图7的B示出表示相同帧A的四个序列、相同帧B的三个序列和相同帧C的三个序列的出现图案4_3_3的4_3_3规则序列的图像信号。如图7的A中所示，转换单元122根据控制单元121的控制，使得将包括来自外部的图像信号的多个帧之中的十个帧(例如，图7的五个帧A、三个帧B和两个帧C)存储于内置存储器(未不出)。然后，如图7的B中所示，例如，转换单元122将存储的十个帧的出现图案5_3_2转换为表示出现图案4-3-3的4-3-3规则序列，并且将转换后的十个帧输出至帧内插单元46。这里，例如将稍后参照图8描述出现图案的转换方法。由此，转换单元122将对于每十个帧的出现图案5-3-2转换为出现图案4-3-3。这里，如图7中所示，转换单元122例如将出现图案5-3-2的图像信号转换为出现图案4-3-3的图像信号。S卩，转换单元122基于重复数目的量度关系转换到与要输入的图像信号的出现图案5-3-2类似的出现图案4-3-3的图像信号。确切地，例如，如图7的A中所示，在要输入的图像信号中，帧A的重复数目(在此情况下，五次)大于帧B的重复数目(在此情况下，三次)。因此，如图7的B中所示，转换单元122将要输入的图像信号转换为图像信号，使得帧A的重复数目(在此情况下，四次)大于帧B的重复数目(在此情况下，三次)。因此，由于转换单元122将要输入的图像的出现图案转换为类似的出现图案，因此可以减小转换中所使用的时间。这将在稍后通过参照图10详细加以描述。接下来，图8示出转换单元122将5-3-2不规则序列的图像信号转换为4_3_3规则序列的图像信号的情况的示例。
转换单元122以十帧为单元将如图8的A中所示的5_3_2不规则序列的图像信号存储至内置存储器(未示出)。即，例如，转换单元122将图8的A中所示的五个帧A、三个帧B和两个帧C存储至内置存储器(未不出)。然后，例如，如图8的B中所示，转换单元122从内置存储器中存储的五个帧A、三个帧B和两个帧C提取顶部帧A、顶部帧B和顶部帧C。如图8的C中所示，转换单元122基于所提取的顶部帧A产生四个帧A。同样地，转换单元122基于所提取的顶部帧B产生三个帧B，并且基于所提取的顶部帧C产生两个帧C0由此，转换单元122将如图8的A中所示的5_3_2不规则序列的图像信号转换为如图8的C中所示的以十个帧为单位的4-3-3规则序列的图像信号。然后，转换单元122 将转换后的4-3-3规则序列的图像信号提供给帧内插单元46。这里，转换单元122不仅可以将5-3-2不规则序列的图像信号而且可以将不同出现图案的不规则序列的图像转换为规则序列的图像信号。S卩，例如，转换单元122可以将4-2-2-2不规则序列的图像信号转换为3_2规则序列的图像信号。确切地，例如，转换单元122以十帧为单位将如图9的A中所示的4_2_2_2不规则序列的图像信号存储至内置存储器(未示出)。S卩，例如，转换单元122将图9的A中所示的四个帧A、两个帧B和两个帧C以及两个帧D存储至内置存储器(未示出)。然后，例如，如图9的B中所示，转换单元122从内置存储器中存储的四个帧A、两个帧B和两个帧C以及两个帧D提取顶部帧A、顶部帧B、顶部帧C和顶部帧D。如图9的C中所示，转换单元122基于所提取出的顶部帧A产生三个帧A。同样地，转换单元122基于所提取出的顶部帧B产生两个帧B，基于所提取出的顶部帧C产生三个帧C，并且基于所提取出的顶部帧D产生两个帧D。由此，转换单元122将如图9的A中所示的4_2_2_2不规则序列的图像信号转换为如图9的C中所示的以十个帧为单位的3-2规则序列的图像信号。这里，转换单元122不限于图7中描述的第一转换方法，而是也可以进行例如参照图10描述的第二转换方法的转换。[转换单元122进行的第二转换方法]接下来，图10示出转换单元122将不规则序列的图像信号转换为规则序列的图像信号并且将其输出的第二转换方法。例如，当控制单元121从序列确定单元43接收图像信号的出现图案具有5_3_2不规则序列的确定结果时，控制单元121控制转换单元122通过基于5-3-2不规则序列的转换规则进行转换。转换单元122例如接收如图10的A中所示的5_3_2不规则序列的图像信号。转换单元122根据控制单元121的控制，通过使用基于5_3_2不规则序列的转换规则将要从外部提供的5-3-2不规则序列转换为如图10的B中所示的4-3-3规则序列的图像信号，并且将其输出至帧内插单元46。
S卩，例如，如图10的A中所示，当转换单元122接收其重复数目为五的帧(例如，帧D)之中的顶部帧时，转换单元122根据图10的B中所示的转换规则将在前一个帧提供的帧(例如，帧C)而不是顶部帧输出至帧内插单元46。此外，例如，如图10的A中所示，当转换单元122接收其重复数目为五的帧(例如，帧D)之中的除了顶部帧之外的帧时，转换单元122根据图10的B中所示的转换规则将其输出至帧内插单元46。此外，例如，如图10的A中所示，当转换单元122接收其重复数目为三的帧(例如，帧B)时，转换单元122根据如图10的B中所示的转换规则将帧输出至帧内插单元46。此外，例如，如图10的A中所示，当转换单元122接收其重复数目为二的帧(例如，
帧C)时，转换单元122根据图10的B中所示的转换规则将帧输出至帧内插单元46。因此，例如，如图7中所示，转换单元122无需包括用于存储十个帧的内置存储器，从而防止由于帧转换引起的延迟。此外，由于转换单元122将要输入的图像的出现图案转换为类似的出现图案，因此相比于例如转换与要输入的图像的出现图案不类似的任意出现图案的情况，可以以更简单的转换规则进行转换。因此，根据第二转换规则，可以进一步降低转换中使用的时间。因此，例如，相比于例如转换与要输入的图像的出现图案不类似的出现图案的情况，转换单元122可以可靠地防止由于帧转换引起的延迟。[图像处理装置101的操作的描述]接下来参照图11的流程图，描述图像处理装置101进行的图像处理(下文称为第二图像处理)。这里，第二图像处理例如在图像处理装置101从外部接收图像信号时开始。在步骤S41到S43中，进行与图4中的步骤S21 S23的处理类似的处理。这里，在步骤S43中，当序列确定单元43基于来自差异计算单元42的多个差异D确定要输入的图像信号的出现图案不是规则序列(不规则序列)时，序列确定单元43将确定结果提供给控制单元121。控制单元121根据来自序列确定单元43的确定结果控制转换单元122和帧内插单元46以进行步骤S44和S45的处理。S卩，在步骤S44中，转换单元122根据控制单元121的控制将不规则序列的图像信号转换为规则序列的图像信号，并且将其提供给帧内插单元46。在步骤S45中，帧内插单元46根据控制单元121的控制，对来自转换单元122的图像信号进行帧内插处理。此外，在步骤S43中，当序列确定单元43基于来自差异计算单元42的多个差异D确定要输入的图像信号的出现图案是规则序列时，序列确定单元43将确定结果提供给控制单元121。控制单元121根据来自序列确定单元43的确定结果控制转换单元122和帧内插单元46。转换单元122根据控制单元121的控制将规则序列的图像信号提供给帧内插单元46。此外，在步骤S45中，帧内插单元46根据控制单元121的控制，对来自转换单元122的规则序列的图像信号进行帧内插处理。这里，例如，当输入至图像处理装置101的图像信号经历图像处理并且包括通过图像处理获得的图像信号的所有帧被输出时，完成第二图像处理。如上所述，根据第二图像处理，当要输入的图像信号的出现图案是不规则序列时，要输入的图像信号被转换为规则序列的图像信号。因此，例如，不规则序列的图像信号经历帧内插等，从而可以防止不自然颤动的加重。3.第三实施例[图像处理装置141的配置示例]接下来，图12示出根据第三实施例的图像处理装置141的配置示例。这里，在图像处理装置141中，将相同的附图标记给予以与图6中所示的图像处理装置101相同方式配置的组成部分，因此，下面将省略其说明。 即，除了提供转换单元161和帧内插单元162而不是图6中所示的转换单元122和 帧内插单元46之外，以与图6中所示的图像处理装置101相同方式配置图像处理装置141。转换单元161进行与转换单元122的处理类似的处理。S卩，例如，当来自外部的图像信号的出现图案是不规则序列时，转换单元161根据控制单元121的控制将不规则序列的图像信号转换为规则序列的图像信号，并且将其提供给帧内插单元162。 此外，转换单元161基于从转换单元161输出的规则序列的图像信号，检测表示相同帧依次出现的定时的定时信号。S卩，例如，转换单元161基于从转换单元161输出的规则序列的图像信号，检测作为定时信号的顶部帧相位信号。这里，顶部帧相位信号表示顶部帧(最早出现的帧)在相同序列帧之中出现的时刻。然后，转换单元161将检测到的顶部帧相位信号与输出至帧内插单元162的图像信号同步，并且将其提供给帧内插单元162。这里，例如，转换单元161使用就硬件而言的低电压差分信令(LVDS)来将顶部帧相位信号与输出至帧内插单元162的图像信号同步，并且将其提供给帧内插单元162。帧内插单元162基于来自转换单元161的顶部帧相位信号，产生并输出具有比从转换单元161获得的图像信号的帧速更高的帧速的图像信号。接下来，图13是示出转换单元161和帧内插单元162进行的处理的示例。图13的A示出作为输入至图像处理装置141的图像信号的示例的5_3_2不规则序列的图像信号。图13的B示出通过利用转换单元122的转换所获得的4_3_3规则序列的图像信号。图13的C示出具有比响应于顶部帧相位信号产生的4-3-3规则序列的图像信号的帧速更高帧速的图像信号。例如，转换单元161将如图13的A中所示的从外部提供5_3_2不规则序列的图像信号转换为如图13的B中所示的4-3-3规则序列的图像信号，并且将其提供给帧内插单元162。此外，例如，如图13的B中所示，转换单元161基于通过转换获得的4_3_3规则序列的图像信号检测顶部帧相位信号，并且与4-3-3规则序列的信号同步地将其转换给帧内插单元162。
如图13的C中所示，帧内插单元162调节来自转换单元161的顶部帧相位信号，并且将由顶部帧相位信号表示的凸出部分(顶部帧出现在图13的B中的时刻)改变到相等的间隔。即，例如，帧内插单元162调节来自转换单元161的顶部帧相位信号，并且在用于再现如图13的B中所示的4-3-3规则序列的图像信号的再现时间的范围内将顶部帧相位信号表示的凸出部分改变到相等的间隔。然后，帧内插单元162基于调节后的顶部帧相位信号，确定构成通过帧内插等新产生的图像信号的每个帧上对象的位置。S卩，例如，当通过改变后的凸出部分显示帧时，帧内插单元162确定帧上对象的位置对应于与凸出部分对应的顶部帧A、B、C、D、E···上显示的对象的位置。帧内插单元162产生并输出包括其上在确定位置绘制对象的每个帧的新图像信 号。接下来，图14示出在图13的k C中所示的每个图像信号中产生的颤动的示例。在如图13的A中所示的图像信号的情况下，如图14的曲线图181中所示那样，帧上对象的位置随着时间经过不规则地改变。这是由于图13的A中所示的图像信号的出现图案是不规则序列的原因。在如图13的B中所示的图像信号的情况下，如图14的曲线图182中所示那样，帧上对象的位置随着时间经过规则地改变。这是由于图13的B中所示的图像信号的出现图案是规则序列的原因。在如图13的C中所示的图像信号的情况下，如图14的曲线图183中所示那样，帧上对象的位置随着时间经过平滑地改变。这是由于图13的C中所示的图像信号是由不同帧构成的规则序列的图像信号的原因。这里，在上述图13中，已经针对来自外部的图像信号的出现图案是5-3-2不规则序列的情况给出了描述。同时，同样在来自外部的图像信号的出现图案与5-3-2不规则序列不同的不规则序列的情况下，进行与图13中的描述的处理类似的处理。SM列如，如图15的A中所示，当转换单元161从外部接收4-2_2_2不规则序列的图像信号时，转换单元161将其转换为如图15的B中所示的3-2规则序列的图像信号，并且检测对应的顶部帧相位信号。然后，如图15的C中所示，帧内插单元162将来自转换单元161的顶部帧相位信号所表示的凸出部分改变到相等的间隔，并且基于改变后的顶部帧相位信号，对凸出部分进行帧内插。此外，例如，如图16的A中所示，当转换单元161从外部接收5-3-2不规则序列的图像信号时，转换单元161将其转换为如图16的B中所示的4-3-3规则序列的图像信号，并且检测对应的顶部帧相位信号。然后，如图16的C中所示，帧内插单元162将来自转换单元161的顶部帧相位信号所表示的凸出部分改变到相等的间隔，并且基于改变后的顶部帧相位信号，对凸出部分进行帧内插。[图像处理装置141的操作的描述]接下来，参照图17中的流程图，描述图像处理装置141进行的图像处理(下文称为第三图像处理)。这里，第三图像处理例如在图像处理装置141从外部接收图像信号时开始。在步骤S61 S64中，进行与图11中的步骤S41 S44的处理类似的处理。这里，在步骤S64之后或者当在步骤S63中将要输入的图像信号的出现图案确定为规则序列时，进行步骤S65。在步骤S65中，转换单元161基于从转换单元161输出的图像信号检测顶部帧相位信号，并且与通过步骤S64中的处理所获得的规则序列的图像信号或者来自外部的规则序列的图像信号同步地将其提供给帧内插单元162。在步骤S66中，帧内插单元162调节来自转换单元161的顶部帧相位信号，并且将顶部帧相位信号表示的定时(凸出部分)改变到相等的间隔。
在步骤S67中，帧内插单元162基于调节后的顶部帧相位信号确定构成由帧内插新生成的图像信号的每个帧上对象的位置。然后，帧内插单元162产生并输出由其上在确定位置绘制对象的每个帧构成的新图像信号。这里，例如，当输入至图像处理装置141的图像信号经历图像处理并且构成由图像处理获得的图像信号的所有帧被输出时，第三图像处理完成。如上所述，根据第三图像处理，基于其中将顶部帧相位信号表示的定时改变为相等间隔的顶部帧相位信号来内插帧。因此，可以使得构成图像信号的每个帧上对象的运动更平滑而没有颤动。4.修正示例在第一实施例 第三实施例中，当要输入的图像信号的出现图案是不规则序列时，进行针对不规则序列的图像处理(例如，第二实施例中将不规则序列转换为规则序列)。然而，例如，当出现图案是不规则序列的图像信号被输入作为所谓的测试图案时，期望暂时关闭用于对不规则序列进行图像处理的每个功能。因此，图像处理装置21、61、101、141等中提供的操作单元45可以开启或关闭每个功能。确切地，例如，准备第一操作模式到第三操作模式，并且可以根据对于操作单元45的用户操作改变操作模式。这里，例如，第一操作模式对应于利用第一实施例描述的内容，并且是根据要输入的图像信号的出现图案是否为规则序列来进行IP转换、分辨率创建处理、降噪处理等的操作模式。此外，例如，第二操作模式对应于利用第二实施例描述的内容，并且是当输入不规则序列的图像信号时将不规则序列的图像信号转换为规则序列的图像信号并且进行对于规则序列的图像处理的操作模式。进一步，例如，第三操作模式对应于利用第三实施例描述的内容，并且是图像处理还包括用于除了第二操作模式的内容之外还基于顶部帧相位信号产生高帧速的图像信号的处理的操作模式。这里，可以使得图像处理装置21、61、101和141用作电视接收器、硬盘记录器等。此外，本公开可以按照如下这样配置。
(I) 一种对由多个图像构成的图像信号进行图像处理的图像处理装置，包含确定单元，其配置为确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目；以及图像处理单元，其配置为根据确定单元的确定结果对所述图像信号进行图像处理。(2)如项⑴所述的图像处理装置，还包括转换单元，其配置为响应于所述出现图案是与规则图案不同的图案的确定单元的确定结果，将具有不同图案的第一图像信号转换为具有规则图案的第二图像信号，其中所述图像处理单元对所述第二图像信号进行规则图案的图像处理。(3)如项(2)所述的图像处理装置，还包括检测单元，其配置为检测表示在构成所述第二图像信号的多个图像之中依次出现相同图像的定时的定时信号；以及调节单元，其配置为调节所述定时信号并且将所述定时之间的间隔改变为相等的间隔，其中所述图像处理单元基于调节后的定时信号进行用于从所述第二图像信号中产生由所述多个不同图像构成的第三图像信号的图像处理。(4)如项(3)所述的图像处理装置，其中所述调节单元调节所述定时信号，并且将 用于再现所述第二图像信号的再现时间内产生的定时之间的间隔改变到相等的间隔。(5)如项(2)所述的图像处理装置，其中所述转换单元根据基于出现图案的转换规则，将所述第一图像信号转换为所述第二图像信号。(6)如项(I)所述的图像处理装置，其中，所述图像处理单元执行作为图像处理的如下处理中的至少一个将隔行图像转换为逐行图像的IP转换处理、降低图像中产生的噪声的降噪处理、将图像分辨率转换为更高分辨率的分辨率创建处理、将新图像内插至所述图像信号的内插处理。应当注意，上述一系列处理可以通过硬件执行，或者通过软件执行。当通过软件执行这一序列处理时，例如，将构成软件的程序从程序记录介质安装至专用硬件里所并入的计算机中或者能够安装用于运行各种功能的各种程序的通用计算机中。[计算机的配置示例]图18是示出用于利用程序实施上述一系列处理的计算机的硬件的配置示例的框图。中央处理单元(CPU) 201根据只读存储器(ROM) 202或存储单元208中存储的程序运行各种处理。要由CPU 201运行的程序、数据等适当地存储在随机存取存储器(RAM)203中。CPU 201、ROM 202和RAM 203通过总线204彼此连接。此外，输入/输出接口 205通过总线204连接至CPU 201。输入单元(其包括键盘、鼠标、麦克风等)和输出单元207 (其包括显示单元、扬声器等)连接至输入/输出接口205。CPU 201根据从输入单元206输入的指令运行各种处理。然后，CPU 201将处理的结果输出至输出单元207。连接至输入/输出接口 205的存储单元208例如由硬盘构成，并且存储要由CPU201运行的程序和各种数据。通信单元209与通过网络(如，因特网和/或局域网)与之连接的外部装置通信。程序可以通过通信单元209获取并且存储在存储单元208中。驱动器210连接至输入/输出接口 205。当将可移除介质211 (如，磁盘、光盘、磁光盘、半导体存储器等)记载至驱动器210时，驱动器210驱动可移除介质211。随即，驱动器210获取可移除介质211上记录的程序、数据等。所获取的程序或数据按场合需要被传输或存储至存储单元208。例如，如图18中所示，记录(存储)了要安装至计算机或者通过计算机置入可执行条件的程序的程序记录介质可以是由磁盘(软盘)、光盘(包括CD-ROM (CompactDisc-Read Only Memory,致密盘只读存储器)和 DVD (Digital Versatile Disc,数字多功能盘))、磁光盘(包括MD (Mini-Disc，迷你盘))或者半导体存储器构成的封装介质形式的可移除介质211，或者可以由其中暂时或永久存储程序的ROM 202、存储单元208中包括的硬盘等构成。按场合需要，利用有线或无线通信介质( 如，局域网、因特网和数字卫星广播)，通过作为接口(如，路由器和调制解调器)的通信单元209实施程序记录介质上程序的记录。应当注意，在本说明书中，描述上述一系列处理的步骤可以但不一定以上面描述的次序按时间顺序加以处理，而是可以包括并行或单独运行的处理而不按时间顺序处理。进一步，本公开不限于上文描述的第一到第三实施例，可以在不脱离本公开的精神和范围的情况下进行各种变更和修正。本公开包含与2011年6月6日向日本专利局提交的日本优先权专利申请JP2011-126404中公开的主题有关的主题，其全部内部通过引用的方式合并在此。
权利要求
1.一种对由多个图像构成的图像信号进行图像处理的图像处理装置，包含 确定单元，其配置为确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目；以及 图像处理单元，其配置为根据确定单元的确定结果对所述图像信号进行图像处理。
2.如权利要求I所述的图像处理装置，还包括 转换单元，其配置为响应于所述出现图案是与规则图案不同的图案的确定单元的确定结果，将具有不同图案的第一图像信号转换为具有规则图案的第二图像信号，其中 所述图像处理单元对所述第二图像信号进行规则图案的图像处理。
3.如权利要求2所述的图像处理装置，还包括 检测单元，其配置为检测表示在构成所述第二图像信号的多个图像之中依次出现相同图像的定时的定时信号；以及 调节单元，其配置为调节所述定时信号并且将所述定时之间的间隔改变为相等的间隔，其中 所述图像处理单元基于调节后的定时信号进行用于从所述第二图像信号中产生由所述多个不同图像构成的第三图像信号的图像处理。
4.如权利要求3所述的图像处理装置，其中 所述调节単元调节所述定时信号，并且将用于再现所述第二图像信号的再现时间内产生的定时之间的间隔改变到相等的间隔。
5.如权利要求2所述的图像处理装置，其中 所述转换単元根据基于出现图案的转换规则，将所述第一图像信号转换为所述第二图像信号。
6.如权利要求I所述的图像处理装置，其中， 所述图像处理单元执行作为图像处理的如下处理中的至少ー个将隔行图像转换为逐行图像的IP转换处理、降低图像中产生的噪声的降噪处理、将图像分辨率转换为更高分辨率的分辨率创建处理、以及将新图像内插至所述图像信号的内插处理。
7.ー种图像处理装置的图像处理方法，所述图像处理装置对由多个图像构成的图像信号进行图像处理，所述方法包含通过所述图像处理装置， 确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数目；以及 根据确定的确定结果对所述图像信号进行图像处理。
8.ー种程序，其使得对由多个图像构成的图像信号进行图像处理的图像处理装置的计算机用作 确定单元，其配置为确定出现图案是否是用于显示图像信号的预定规则图案，在所述出现图案中，在构成所述图像信号的多个图像中出现表示相同图像的序列数目的重复数 目；以及 图像处理单元，其配置为根据确定单元的确定结果对所述图像信号进行图像处理。
全文摘要
本发明公开了图像处理装置、图像处理方法和程序。对由多个图像构成的图像信号进行图像处理的图像处理装置包含确定单元，其配置为确定其中在构成图像信号的多个图像之中出现表示相同图像的序列的数目的重复数目的出现图案是否是用于显示所述图像信号的预定规则图案；以及图像处理单元，其配置为根据确定单元的确定结果对所述图像信号进行图像处理。
文档编号H04N7/01GK102821264SQ20121018533
公开日2012年12月12日 申请日期2012年6月6日 优先权日2011年6月6日
发明者滨崎浩树 申请人:索尼公司