专利名称：图像处理装置和方法、视频显示装置及记录信息重现装置的制作方法
技术领域：
本发明涉及用于执行伴随着诸如从隔行扫描到逐行(顺序)扫描的转换(IP转换)等的图像内插的图像处理装置和图像处理方法，也涉及包括诸如IP转换的图像内插功能的视频显示装置以及记录的信息重现装置。
背景技术：
在主流TV(电视)广播系统中，例如，NTSC(全国电视系统委员会制式)TV广播系统，每秒显示262.5水平扫描行的60场图像，相当于每秒显示30帧图像(每帧水平扫描行数＝525行)。组合两场图像来形成和显示一帧图像的系统被称作隔行扫描系统。相反，不划分扫描行的数量而一次显示一帧图像的系统被称作逐行扫描系统。例如，在隔行扫描系统中每1/60秒显示262.5水平扫描行的一场图像的同时，在逐行扫描系统中每1/60秒显示525水平扫描行的一帧图像，所以减小了图像闪烁，从而，可以显示高分辨率的图像。在一些情况下，由隔行扫描系统显示525扫描行的一帧图像的视频标准被称作“525i”，由逐行扫描系统显示525扫描行的一帧图像的视频标准被称作“525p”。
传统上讲，已经知道用于转换隔行扫描图像为逐行扫描图像的IP转换器。当将隔行扫描图像(例如，262.5扫描行的一场图像)转换为逐行扫描图像(例如，525扫描行的一帧图像)时，对于不包括在原始场图像中的一部分要求内插像素数据。
在IP转换中，内插像素数据的处理通常根据信号源而改变。更具体地讲，在静止画面的情况下，执行场间内插，以及在动态画面的情况下，在场内执行内插。例如，如图11所示，假设在场FE2中的像素h是内插点，以场间内插法的方式，使用前一场FE1和后一场FE3的数据将数据内插在将要内插的场FE2中。另一方面，以场内内插法的方式，使用要内插的场FE2中的数据来内插数据。在如图11的场FE1、FE2和FE3中，实线表示视频数据实际存在的行，以及虚线表示生成内插数据的行。
参看图12，以下将说明典型场内内插法的概念。图12示出了隔行扫描系统中一部分任意场图像。在图中，行W和X表示视频数据实际存在的像素行(实际数据行)。行Y表示存在当前场的前一场和后一场中的视频数据的行以及在场内内插期间生成的内插数据的行(内插数据行)。每行上的符号o表示像素存在的位置。
在图12中，假设像素h是要被内插的点，例如，根据场内内插法的简单技术，存在一种方法，该方法使用通过将像素h正上方的像素c和像素h正下方的像素m的像素数据(诸如亮度或色度数据)之和除2所确定的值(平均值)作为内插数据。根据场内内插法的另一种技术，有一种称作“对角线内插法”的技术。例如，在日本专利申请号2001-506113的PCT国际公布的公开的日文译本中对下列方法进行了说明，该方法是从相邻于要被内插的像素的上方和下方的两个实际数据行W和X通过对角线内插法将数据内插在要被内插的像素中。
所述对角线内插法是一种通过不仅计算涉及到在要被内插的像素的正上方和正下方的像素，而且计算涉及到对角线方向上的像素来确定内插数据的技术。例如，不仅通过计算涉及到垂直(中心)方向内插轴C1上的实际数据行W和X上的像素，而且通过计算涉及到以作为内插点的所述像素h为中心的左对角方向的内插轴L1和L2以及右对角方向的内插轴R1和R2上的实际数据行W和X上的像素，来确定内插数据。在这种情况下，在每个内插轴像素的组合中检测具有最强相关性的组合，也就是说，(a-o)、(b-n)、(c-m)、(d-l)和(e-k)，以及通过使用所述数据内插像素h的数据。
例如，为了检测相关性，对每个像素执行减法以获得它的绝对值。例如，通过下列公式1表达像素(d-l)组合的相关性。ABS表示得到绝对值。在这种方法中，在数据具有强的相关性的情况下，公式1的值是小的。
公式1ABS(d-l)然而，在使用公式1的方法中，仅仅确定一个像素和一个像素之间的相关性，所以尽管最初数据完全和视频序列无关，能够显示强的相关性(即，能够选择错的内插轴)，从而，经常生成不足的内插数据。例如，如图13所示，在内插轴R1的方向上具有细线状的图像的情况下，可以错误地选择与合适方向有偏差的方向的内插轴。所以，通常使用一些作为组的数据来检测相关性。
例如，如下列公式2所示，为了检测像素d的数据和像素1的数据之间的相关性，使用在像素d周围的数据组2-1(c、d和e)和在像素1周围的数据组2-2(k、l和m)，从而能够减少相关性检测误差。
公式2ABS(c-k)+ABS(d-l)+ABS(e-m)在公式2的情况下，如公式1，相关性越强，相关性的结果越小。然而，甚至在使用公式2的方法中，在左和右对角线的方向上具有强相关性的图像的情况下，检测错误对角线方向上的强相关性，从而，结果是可能产生不合适的内插数据。
因此，在使用传统的对角线内插法的场内内插法中，在对角线方向上从内插点的上方和下方的两个相邻像素行检测最佳基准像素的情况下，当具有同样亮度的像素存在时，显示强的相关性，从而，引起错误地内插与视频序列无关的对角线方向上的像素的问题。
鉴于上述观点，本发明的目的在于提供一种在使用对角线内插法以实现高品质场内内插的情况下能够减少内插误差的图像处理装置、图像处理方法、视频显示装置和记录信息重现装置。
发明内容
根据本发明的图像处理装置包括第一相关性检测部分，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二相关性检测部分，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定装置，用于基于第一相关性检测部分和第二相关性检测部分检测的结果来确定内插方向；以及生成装置，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据。在第二相关性检测部分中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
根据本发明的图像处理方法包括第一检测步骤，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二检测步骤，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定步骤，用于基于第一检测步骤和第二检测步骤检测的结果来确定内插方向；以及生成步骤，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据。在第二检测步骤中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
根据本发明的视频显示装置包括图像处理部分，用于执行输入视频信号的场内内插；显示部分，用于根据由图像处理部分处理的视频信号来显示画面。所述图像处理部分包括第一相关性检测部分，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二相关性检测部分，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定装置，用于基于第一相关性检测部分和第二相关性检测部分检测的结果来确定内插方向；以及生成装置，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据。在第二相关性检测部分中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
根据本发明的记录信息重现装置重现通过对记录在记录介质上的视频信息执行场内内插获得的信号以输出信号，并且如用于实现场内内插的装置，所述记录信息重现装置包括第一相关性检测部分，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二相关性检测部分，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定装置，用于基于第一相关性检测部分和第二相关性检测部分检测的结果来确定内插方向；以及生成装置，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据。在第二相关性检测部分中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
在根据本发明的图像处理装置、图像处理方法、视频显示装置和记录信息重现装置中，“像素行”表示包括在垂直方向或者在水平方向上连续的像素行。
在根据本发明的图像处理装置、图像处理方法、视频显示装置和记录信息重现装置中，在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性。此外，在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行。根据检测的结果，确定内插方向，以及参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据，所以，对比参考仅两个像素行执行对角线内插的情况，能够实现较小误差的对角线内插。
如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素。如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
在这种情况下，因为能够减小涉及用于确定相关性的像素数据范围，所以最好设置最靠近要被内插的像素的像素或者与最靠近要被内插的像素的像素相接近的像素为辅助像素。“相接近的像素”表示包括围绕最靠近要被内插的像素的几个像素范围中的像素。例如，如果执行诸如IP转换的在垂直方向上的像素行的内插，在要被内插的像素的上方和下方放置第一像素行和第二像素行，以及在第一像素行的上方放置第三像素行。在这种情况中，设置在第一像素行和第二像素行之间的虚像行上的、要被内插的像素的正上方的像素作为辅助像素的像素，或者设置在第一像素行和第二像素行之间的虚像行上的、位于偏离要被内插的像素的正上方像素几个像素的像素作为辅助像素的像素。
图1是作为根据本发明实施例的图像处理装置的IP转换器的整个结构方框图；图2是图1示出的IP转换器的场内内插部分的具体结构方框图；图3是根据本发明实施例的图像处理装置所应用的视频显示装置的示例方框图；图4使用是根据本发明实施例的图像处理装置的记录信息重现系统的示例方框图；图5是用于描述场内内插的图解；图6是用于描述围绕内插点的相关性检测的图解；图7是用于描述围绕辅助内插点的相关性检测的图解；图8是用于描述相关性检测的普通流程的图解；
图9是用于描述与其他相关性检测方法进行比较的图解；图10是用于描述分辨率转换的图解；图11是用于描述IP转换概念的图解；图12是用于描述传统的场内内插法概念的图解；图13是用于描述当使用对角线内插法时所出现问题的图解。
具体实施例方式
下面将参考附图来详细说明本发明的优选实施例。
图1示出了作为根据本发明实施例的图像处理装置的IP转换器的整个结构。IP转换器10将诸如525i、625i和1125i的隔行扫描视频信号Vi转换为525p、625p和1125p的逐行扫描视频信号Vp。
IP转换器10包括确定部分11，用于确定是否应该使用场内内插或场间内插以处理输入的视频信号Vi；场内内插部分12，用于执行输入的视频信号Vi的场内内插；以及场间内插部分13，用于执行输入的视频信号Vi的场内内插。
IP转换器10还包括图像存储器14，用于例如记录输入视频信号Vi的两个场；以及地址生成部分15，用于根据水平和垂直同步信号Sh和Sv产生图像存储器14中数据的读和写地址。转换器10还包括转换部分16，用于根据由确定部分11确定要输出的信号从场内内插部分12或场间内插部分13选择作为最终输出信号Vp的信号。
场内内插部分12是IP转换器10的最典型的部分。该场内内插部分12使用对角线内插法执行场内内插，以及为了确定内插方向(内插轴)使用至少三个像素行的数据。
例如，如图5所示，假设像素h是一个要被内插的点，使用在上下垂直方向的相邻于像素h的行W和X以及至少一个其他像素行。如其他像素行，使用置于行W之上的行V(在行W的方向离开像素h两行的像素行)或者置于行X之下的行(在行X的方向离开像素h两行的像素行)。在实施例中，将这样一种情况下作为示例来进行描述，即参考包括在像素h上方的两行V和W以及在像素h下方一行X的三行的数据来执行内插。
图5示出了一部分任意隔行扫描场图像。在附图中，行V、W和X表示视频数据(例如，亮度和色度数据)实际存在的像素行(实际的数据行)。行A和Y表示存在于当前场的前场和后场的视频数据的行，以及在场内内插期间生成内插数据的行。每一行的符号o表示像素存在的位置。其后，将行Y上的像素h描述为内插点，行Y特别地称作“内插数据行”。此外，在实施例中，为了确定当获得像素h的内插数据时的内插方向，将行A上的像素z设置为辅助内插点。其后，将行A特别称作“虚行”。如附图所示，例如，将辅助内插点的像素z设置在内插点像素h的正上方的行A上。
此处，在实施例中，实际数据行W和X是分别对应于本发明的“第一像素行”和“第二像素行”的特定示例。此外，实际数据行V是对应于本发明的“第三像素行”的特定示例。而且，在实际数据行X正下方的实际数据行(未示出)是对应于本发明的“第四像素行”的特定示例。
图2示出了IP转换器10的典型部分的场内内插部分12的详细结构。将更上方数据行41、上方数据行42和下方数据行43输入到场内内插部分12。上方数据行42表示包括从一端到另一端位于内插点(像素h)上方的几个像素的数据行，例如，这几个像素是图5示出的在实际数据行W上的像素a、b、c、d和e。下方数据行43表示包括从一端到另一端位于内插点(像素h)下方的几个像素的数据行，例如，这几个像素是图5示出的在实际数据行X上的像素k、l、m、n和o。更上方数据行41表示包括从一端到另一端位于辅助内插点(像素z)上方的几个像素的数据行，例如，这几个像素是图5示出的在实际数行V上的像素p、q、r、s和t。
场内内插部分12包括上方对角线相关性检测部分21和下方对角线相关性监测部分22。上方对角线相关性检测部分21根据更上方数据行41和上方数据行42确定围绕辅助内插点像素z的多个方向(即，左对角线方向，中心方向和右对角线方向)上的每个内插轴上像素的相关性。例如，如图7所示，上方对角线相关性检测部分21确定围绕像素z的实际数据行V和W上的左对角线方向上两个内插轴L2和L1、中心方向上内插轴C1和在右对角线方向上两个内插轴R2和R1上的像素的相关性。下方对角线相关性检测部分22基于上方数据行42和下方数据行43确定围绕内插点像素h的多个方向上的每个内插轴上的像素相关性。换句话说，正如在上方对角线相关性检测部分21的情况，例如，如图6所示，下方对角线相关性检测部分22确定在左对角线方向上两个内插轴L1和L2、中心方向上内插轴C1和右对角线方向上两个内插轴R2和R1上的像素的相关性。后面将说明确定相关性的特定方式。
场内内插部分12还包括上方右对角线方向检测部分23和上方左对角线方向检测部分24。上方右对角线方向检测部分23从由上方对角线相关性检测部分21确定的中心方向上的内插轴C1和右对角线方向上的内插轴R2和R1上的像素的相关性数据D4中选择具有最强相关性的数据D4min以输出数据D4min。上方左对角线方向检测部分24从由上方对角线相关性检测部分21确定的中心方向上的内插轴C1和左对角线方向上的内插轴L1和L2上的像素的相关性数据D3中选择具有最强相关性的数据D3min以输出数据D3min。
场内内插部分12还包括下方右对角线方向检测部分25和下方左对角线方向检测部分26。下方右对角线方向检测部分25从由下方对角线相关性检测部分22确定的中心方向上的内插轴C1和右对角线方向上的内插轴R2和R1上的像素的相关性数据D2中选择具有最强相关性的数据D2min以输出数据D2min。下方左对角线方向检测部分26从由下方对角线相关性检测部分22确定的中心方向上的内插轴C1和左对角线方向上的内插轴L1和L2上的像素的相关性数据D1中选择具有最强相关性的数据D1min以输出数据D1min。
场内内插部分12还包括右/左方向确定部分27和相关性数据生成部分28。右/左方向确定部分27基于从上方右对角线方向检测部分23、上方左对角线方向检测部分24、下方右对角线方向检测部分25和下方左对角线方向检测部分26输出数据D4min、D3min、D2min和D1min来相应地确定内插轴的方向。相关性数据生成部分28通过使用由右/左方向确定部分27确定的内插周方向上的像素数据来生成内插点为像素h的相关性数据。
此处，在实施例中，下方对角线相关性检测部分22对应于本发明中“第一相关性检测部分”的特定示例，以及上方对角线相关性检测部分21对应于本发明中“第二相关性检测部分”的特定示例。此外，在实施例中，右/左方向确定部分27主要对应于本发明中“确定装置”的特定示例。相关性数据生成部分28对应于本发明中“生成装置”的特定示例。
图3示出了使用IP转换器10的视频显示装置的示例。所述视频显示装置包括前端视频处理部分31、IP转换部分32、驱动部分33和视频显示部分34。
前端视频处理部分31对隔行扫描输入视频信号Vi执行诸如A/D转换的信号处理以将处理的视频信号Vi输出到IP转换部分32。IP转换部分32包括上述的IP转换器10，并且将通过前端视频处理部分31输入的视频信号Vi转换为逐行扫描视频信号Vp。
视频显示部分34是基于视频信号Vp实际显示画面的部分。驱动部分33驱动视频显示部分34。不特定限制视频显示部分34的结构，例如，能够使用CRT(阴极射线管)、LCD(液晶显示器)或PDP(]等离子体显示面板)等等来作为视频显示部分34。
图4示出了使用IP转换器10的记录信息重现系统的示例。该系统包括记录信息重现装置50和显示由记录信息重现装置50重现的画面的视频显示装置60。
记录信息重现装置50重现记录在信息记录介质51上的视频信息。信息记录介质51是DVD(数字化视频光盘)等等，以及在信息记录介质51记录至少隔行扫描视频信息。当信息记录介质51是DVD时，在信息记录介质51上记录根据MPEG(运动图像专家组)标准压缩和编码的视频信息。
记录信息重现装置50包括解码部分52和IP转换部分53。解码部分52对记录在信息记录介质51上的视频信息解码以输出隔行扫描视频信号Vi。IP转换部分53包括上述的IP转换器10，并且将通过解码部分52输入的隔行扫描视频信号Vi转换为逐行扫描视频信号Vp以输出逐行扫描视频信号Vp。
不特定限制视频显示装置60的结构，例如，能够使用CRT、LCD或PDP等等来作为视频显示装置60。视频显示装置60包括用于逐行扫描视频信号Vp的视频输入终端61，例如，D终端，并且视频显示装置60具有基于通过视频输入终端61输入的视频信号Vp来显示画面的功能。
接着，以下将说明上述结构的IP转换器10、视频显示装置和使用IP转换器10的记录信息重现设备的活动。
将诸如525i、625i、和1125i的隔行扫描视频信号Vi输入到图1所示的IP转换器10中。例如，输入视频信号Vi的两场(当前场和前场)输入到图像存储器14。在场内内插部分12中，通过后面将说明的方法对输入的视频信号Vi执行场内内插，然后将所获得的逐行扫描视频信号Vp输出到转换部分16。在场间内插部分13中，对输入信号Vi执行场间内插，然后将获得的逐行扫描视频信号Vp输出到转换部分16。
确定部分11基于记录在图像存储器14中的当前场的视频信号Vi和前一场视频信号Vi来确定是否应该输出由场间内插法或场内内插法获得的作为最终输出信号Vp的信号，并且根据所确定的结果来控制转换部分16的转换。例如，在视频信号Vi被确定为移动图像时，将通过场内内插部分12执行场内内插的信号输出作为最终输出信号Vp。此外，例如，在视频信号Vi被确定为静止图像时，将通过场间内插部分13执行场间内插的信号输出作为最终输出信号Vp。
在图3示出的视频显示装置中，在前端视频处理部分31对隔行扫描输入视频信号Vi执行诸如A/D转换的信号处理。IP转换部分32将通过前端视频处理部分31输入的视频信号Vi转换为逐行扫描视频信号Vp以输出它们。驱动部分33基于逐行扫描视频信号Vp来驱动视频显示部分34，从而，驱动视频显示部分34显示逐行画面。
在图4示出的记录信息重现系统中，记录在诸如DVD的信息记录介质51上的视频信息由解码部分52进行解码，然后，将作为隔行扫描视频信号Vi的解码视频信息输出到IP转换部分53。在IP转换部分53中，将解码视频信号Vi转换成逐行扫描视频信号Vp。将转换的视频信号Vp从记录信息重现装置50输出到视频显示装置60的视频输入终端61。在视频显示装置60中，基于通过视频输入终端61输入的视频信号Vp来显示逐行扫描画面。
接着，以下将说明是IP转换器10的典型部分的场内内插部分12(参考图2)的处理活动。
在场内内插部分12中，将更上方数据行41和上方数据行42输入到上方对角线相关性检测部分21，以及将上方数据行42和下方数据行43输入到下方对角线相关性检测部分22。例如，如图7所示，上方对角线相关性检测部分21确定围绕辅助内插点像素z的实际行V和W上的左对角线方向上的两个内插轴L2和L1、中心方向上的内插轴C1和右对角线方向上的两个内插轴R2和R1上的像素的相关性。下方对角线相关性检测部分22确定围绕内插点像素h的实际行W和X上的左对角线方向上的两个内插轴L2和L1、中心方向上的内插轴C1和右对角线方向上的两个内插轴R2和R1上的像素的相关性。
当不仅使用每个内插轴上的像素而且使用作为组的包括在插轴上的像素的多个像素并通过上方对角线相关性检测部分21和下方对角线相关性检测部分22来执行像素的相关性检测时，改善了相关性检测的精度。
例如，在下方对角线相关性检测部分22中，当在内插轴R1上的像素d的数据和像素l的数据之间检测相关性时，如图6所示，通过使用围绕像素d的数据组2-1(像素c、d和e)以及围绕像素l的数据组2-2(像素k、l和m)能够减少相关性检测中的误差，从而，能够改善检测精度。
更具体地讲，如下列等式3所示，通过计算数据组的差绝对值的总数(DiffGroup)能够确定使用数据组2-1和2-2的相关性。
等式3DiffGroup右1＝α1*ABS(c-k)+α2*ABS(d-l)+α3*ABS(e-m)在等式3中，*表示乘号，以及ABS表示得到绝对值。例如，ABS(c-k)表示在像素c的数据和像素k的数据之间的差绝对值。此外，α1、α2和α3是预定的系数。例如，在α1、α2和α3中，为一个在组中靠近中心(即，ABS(d-l))的组设置大的值(即，安排大的加权)。在这种情况下，每行三个像素组成一个组，但是能够增加像素的数量。
在等式3中的DiffGroup右1是在一右对角线方向上(在内插轴R1上)像素d和l的组的算术表达，其他轴方向的算术表达式能够以同样的方式执行。因此，下方对角线相关性检测部分22分别地确定在L2、L1、C1、R1和R2轴向上的DiffGroup左2、DiffGroup左1、DiffGroup中心、DiffGroup右1和DiffGroup右2的值。
以类似的方法，上方对角线相关性检测部分21通过使用等式3的技术来确定围绕虚像行A上辅助内插点(像素z)的实际数据行V和W上的数据组的差绝对值的总数以检测每个组的组合的相关性。例如，如图7所示，当检测在内插轴R1上的像素s的数据和像素b的数据之间的相关性时，通过使用围绕像素s的数据组2-3(像素r、s和t)和围绕像素b的像素组2-4来检测相关性。
将由下方对角线相关性检测部分22计算的相关性的数据输入到下方右对角线方向检测部分25和下方左对角线方向检测部分26。下方右对角线方向检测部分25从输入的数据D2(DiffGroup中心、DiffGroup右1和DiffGroup右2)中选择具有最强相关性(小的DiffGroup)的数据D2min以输出数据D2min。下方左对角线方向检测部分26从输入的数据D1(DiffGroup中心、DiffGroup左2和DiffGroup左1)中选择具有最强相关性的数据D1min以输出数据D1min。
将由上方对角线相关性检测部分21计算的相关性数据输入到上方右对角线方向检测部分23和上方左对角线方向检测部分24。如在下方右对角线方向检测部分25和下方左对角线方向检测部分26的情况，上方右对角线方向检测部分23和上方左对角线方向检测部分24从输入的DiffGroup数据D4和D3中分别地选择具有最强相关性的数据D4min和D3min以输出它们。
发送来自上方右对角线方向检测部分23、上方左对角线方向检测部分24、下方右对角线方向检测部分25和下方左对角线方向检测部分26相应的输出数据D1min、D2min、D3min和D4min到右/左方向确定部分27，然后右/左方向确定部分27通过计算来确定用来决定内插数据的内插轴的方向。图8示出了通过右/左方向确定部分27确定的内插轴的方向的概念。
如图8所示，在右/左方向确定部分27中，将通过上方右对角线方向检测部分23选择的DiffGroup数据D4min和通过下方右对角线方向检测部分25选择的DiffGroup数据D2min加在一起来计算有关右内插轴的方向的相关性。此外，将通过上方左对角线方向检测部分24选择的DiffGroup数据D3min和通过下方左对角线方向检测部分26选择的DiffGroup数据D1min加在一起来计算有关左内插轴的方向的相关性。假设在右侧和左侧的两个计算结果之间的较小的值具有较强的相关性，所以确定或是左对角线方向或是右对角线方向作为最终的内插轴方向，然后发送确定的结果到相关数据生成部分28。
在右/左方向确定部分27中，即使确定具有较强相关性的方向，在计算结果超出预定的范围的情况下，例如，在计算结果大于阈值的情况下，判断在相关性方向上误差存在的可能性，从而能够拒绝最终内插轴的方向的确定。所述判断也发送到相关数据生成部分28。
除了右/左方向确定部分27的确定结果，将上方数据行42、下方数据行43以及下方右对角线方向检测部分25和下方左对角线方向检测部分26输出的结果输入到相关数据生成部分28。相关数据生成部分28基于表示确定内插方向的右/左方向确定部分27的确定结果、使用或是下方右对角线方向检测部分25或是下方左对角线方向检测部分26的结果、从具有最强相关性的方向等的信息中来确定更明确的方向，以及使用输入的数据产生是内插点的像素h的内插数据44以输出内插数据44。例如，在基于右/左方向确定部分27的确定结果来确定右对角线方向上的内插轴R1作为内插轴的方向的情况下，通过将内插轴R1上的像素d和像素l的像素数据的总和除2确定的值(平均值)被认为是内插数据44。此外，在右/左方向确定部分27拒绝内插轴的方向确定的情况下，例如，至少不是在对角线方向的像素而是在像素h的正上方和正下方的像素c和m的像素数据的平均值被认为是内插数据44。
如上所述，在实施例中，因为不仅涉及内插点上和下的两个相邻实际数据行W和X而且涉及实际数据行W上方的实际数据行V上的像素来确定内插轴的方向以生成内插数据44，所以与参考仅仅两个实际数据行W和X执行对角线内插的情况相比较，能够阻止或减少内插中的误差，从而能够实现具有较小误差的对角线内插。所以，能够实现高品质IP转换。
在实施例中，设置辅助内插点(像素z)以执行涉及三行的对角线内插法。然而，存在执行没有设置辅助内插点的涉及三行的对角线内插法的方法。
例如，如图9所示，为了检测右对角线方向上的相关性，能够考虑延伸内插轴R1的长度到位于离开内插点两行的实际数据行V并涉及实际数据行V上的像素u来检测相关性的方法。换句话说，除了涉及像素d和像素l的数据还涉及像素u的数据来检测在右对角线内插轴R1的方向上的相关性。在所述方法中，检测相关性的方法与实施例的技术相差甚远，因为没有设置辅助内插点的像素z，以及通过所述方法能够获得的功能和效果是不同于实施例中所获得的。
例如，在实施例的技术中，当确定右对角线内插轴R1的方向上的相关性时，位于像素h上两行的实际数据行V上所牵涉的像素是偏离垂直方向上内插点的像素h放置一个像素的点s(此处，为了简化描述，对像素不进行分组)。另一方面，在延伸内插轴的技术中，在像素h上两行放置的实际数据行V上所牵涉的像素是偏离垂直方向上内插点的像素h放置三个像素的点u。这意味着与实施例相比涉及了置于三倍远于内插点的像素。所以，在实施例的技术中，对于内插检测所涉及的像素数据的范围按照时间是较窄的，所以用于处理(用于记录所涉及像素的数据)所需存储器的量要求较小。
本发明不限于以上的实施例，并且能够进行各种调整。例如，在以上的实施例中，将说明使用在内插点上方的两个实际数据行W和V上的像素和直接在内插点的下方的实际数据行上的像素来检测相关性的情况；然而，相关性可以通过使用位于内插点下两行的行(即，直接在实际数据行X下的行)上的像素而不是使用在所述内插点上的实际数据行V上的像素来检测。在这种情况下，在所述内插点下的两个实际数据行之间设置的虚像行上直接设置辅助内插点。此外，用在检测相关性的像素行的数量不限于三个，像素行的数量能够增加到4个。换句话说，可以使用所述内插点上方和下方的两个实际数据行的每一个。权衡增加行的数量是花费。然而，使用四行，能够期望得到在相关性检测中的高精度。
此外，在实施例中，设置包括中心方向的五个方向(L2、L1、C1、R1和R2)作为内插检测的方向(内插轴的方向)。然而，能够设置多于五个的检测方向。此外，在上面的实施例中，如公式3所示，当执行DiffGroup的计算时，设置三个像素的值作为组，但是通过使用更多的像素能够改善检测精度。此外，能够增加组的数量。
此外，在上面的实施例中，尽管用作辅助内插点的像素是在所述内插点正上方的像素z，但是用作辅助内插点的像素可以是在所述内插点正上方(或正下方)接近像素z放置的偏离像素z几个像素的任何像素。
此外，根据实施例的场内内插技术不仅能够应用到IP转换而且能够应用到诸如分辨率转换。例如，如图10所示，通过根据实施例的场内内插技术，具有水平像素数H1和垂直像素数V1的图像通过成倍垂直像素数V1然后成倍水平像素数H1进行转换。从而，用于成倍水平和垂直方向上的分辨率的转换能够达到高的品质。如从这里所知道的，根据实施例的场内内插技术能够不仅应用到增加垂直方向上像素的数量的情况，而且能够应用到增加水平方向上像素的数量的情况。在增加水平方向上像素的数量的情况下，垂直方向上一系列连续的像素作为一个像素行来对待。
如上所述，在根据实施例的图像处理装置中，基于实施例的图像处理方法、视频显示装置和记录信息重现装置，参考至少三个像素行上的像素来确定内插方向，该三个像素行上的像素包括水平或垂直相邻于要被内插的像素的第一像素行和第二像素行上的像素以及产生要被内插的像素数据的第三或第四像素行的像素，所以，与参考仅两个像素行来执行对角线内插的情况相比，能够阻止和减小内插中的误差，从而，能够实现具有较小误差的对角线内插法。所以，能够实现高品质场内内插，从而，能够达到高品质IP转换。
更具体地讲，将在最靠近要被内插的像素的像素或在虚像行上接近最靠近要被内插的像素的位置中像素的像素设置为辅助像素，所以，能够减小涉及用于确定相关性的像素数据的范围。
权利要求
1.一种图像处理装置，从存在于场中的其他像素数据为输入信号的场中没有数据存在的部分内插像素数据，该图像处理装置包括第一相关性检测部分，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二相关性检测部分，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定装置，用于基于第一相关性检测部分和第二相关性检测部分检测的结果来确定内插方向；以及生成装置，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据，其中，在第二相关性检测部分中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
2.根据权利要求1所述的图像处理装置，其中设置最靠近要被内插的像素的位置上的像素或者与最靠近要被内插的像素的位置上的像素相接近的像素为辅助像素。
3.根据权利要求1所述的图像处理装置，其中所述第一相关性检测部分相对于要被内插的像素检测垂直方向上的像素、左对角线方向上的像素和右对角线方向上的像素的相关性，以及所述第二相关性检测部分相对于辅助像素检测垂直方向上的像素、左对角线方向上的像素和右对角线方向上的像素的相关性。
4.根据权利要求3所述的图像处理装置，其中确定装置基于第一算法结果和第二算法结果之间的比较来确定内插方向，第一算法结果依据至少从第一相关性检测部分和第二相关性检测部分输出的左对角线方向上像素的相关性值，第二算法结果依据至少从第一相关性检测部分和第二相关性检测部分输出的右对角线方向上像素的相关性值。
5.根据权利要求4所述的图像处理装置，其中第一算法结果是将第一相关性检测部分的相关性值和第二相关性检测部分的相关性值相加的结果，该第一相关性检测部分的相关性值表示包括至少左对角线方向的多个方向中的最强相关性，该第二相关性检测部分的相关性值表示包括至少左对角线方向的多个方向中的最强相关性，以及第二算法结果是将第一相关性检测部分的相关性值和第二相关性检测部分的相关性值相加的结果，该第一相关性检测部分的相关性值表示包括至少右对角线方向的多个方向中的最强相关性，该第二相关性检测部分的相关性值表示包括至少右对角线方向的多个方向中的最强相关性。
6.根据权利要求5所述的图像处理装置，其中生成装置基于由确定装置确定的内插方向来生成内插方向上的内插数据，该内插数据对应于表示包括左对角线方向的多个方向中的最强相关性的第一相关性检测部分的相关性值或者表示包括右对角线方向的多个方向中的最强相关性的第一相关性检测部分的相关性值。
7.根据权利要求4所述的图像处理装置，其中如果第一算法结果或者第二算法结果不是在预定范围内的值，使用垂直相邻与要被内插的像素的至少两个像素来执行内插。
8.根据权利要求1所述的图像处理装置，其中为将隔行扫描输入信号转换成逐行扫描信号执行场内内插。
9.一种图像处理方法，从存在于场中的其他像素数据为输入信号的场中没有数据存在的部分内插像素数据，该方法包括第一检测步骤，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二检测步骤，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定步骤，用于基于第一检测步骤和第二检测步骤检测的结果来确定内插方向；以及生成步骤，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据，其中，在第二检测步骤中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
10.一种视频显示装置，包括图像处理部分，用于执行输入视频信号的场内内插；显示部分，用于根据由图像处理部分处理的视频信号来显示画面；所述图像处理部分包括第一相关性检测部分，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二相关性检测部分，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定装置，用于基于第一相关性检测部分和第二相关性检测部分检测的结果来确定内插方向；以及生成装置，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据，其中，在第二相关性检测部分中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
11.一种记录信息重现装置，重现通过对记录在记录介质上的视频信息执行场内内插获得的信号以输出信号，如用于实现场内内插的装置，所述记录信息重现装置包括第一相关性检测部分，用于在围绕要被内插的像素的多个方向上检测垂直或水平相邻于要被内插的像素的第一像素行和第二像素行上的像素的相关性；第二相关性检测部分，用于在围绕辅助像素的多个方向上检测至少一个在第一像素行上的像素和第三像素行上的像素之间的相关性或者在第二像素行上的像素和第四像素行上的像素之间的相关性，该辅助像素设置在不同于要被内插的像素的位置，所述第三像素行位于第一像素行的方向上离开要被内插的像素两行，所述第四像素行位于第二像素行的方向上离开要被内插的像素两行；确定装置，用于基于第一相关性检测部分和第二相关性检测部分检测的结果来确定内插方向；以及生成装置，用于参考存在于所确定的内插方向上的第一像素行和第二像素行上像素的数据来生成要被内插的像素的内插数据，其中，在第二相关性检测部分中，如果确定第一像素行上的像素和第二像素行上的像素之间的相关性，设置在第一像素行和第三像素行之间的虚像行上的像素被设置为辅助像素，以及如果确定在第二像素行上的像素和第四像素行上的像素之间的相关性，设置在第二像素行和第四像素行之间的虚像行上的像素被设置为辅助像素。
全文摘要
在使用倾斜内插法的情况下能够减轻内插误差，并且实现在场内内插的高品质图像。向上方对角线相关性检测部分(21)提供最上方数据串(41)和上方数据串(42)，而向下方对角线相关性监测部分(22)提供上位数据串(42)和下方数据串(43)。下方对角线相关性监测部分(22)计算围绕内插点的在内插点的上方和下方实值数据行上的、在左倾斜方向、中心、和右倾斜方向上的像素的相关性。例如，上方对角线相关性检测部分(21)计算围绕辅助设置的辅助内插点的在辅助内插点的上方和下方实值数据行上的、在左倾斜方向、中心、和右倾斜方向上像素的相关性。根据这些相关性，检测高强度的方向和通过使用内插方向上的像素来生成内插数据。
文档编号H04N7/01GK1572112SQ0380134
公开日2005年1月26日 申请日期2003年8月19日 优先权日2002年8月19日
发明者田中铁朗 申请人:索尼株式会社