图像处理设备、图像处理方法和图像处理程序的制作方法

专利名称：图像处理设备、图像处理方法和图像处理程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和图像处理程序，尤其涉及能够有效地将一维图像处理扩展成二维图像处理的图像处理设备、图像处理方法和图像处理程序。
背景技术：
作为对包括在构成图像的多个像素中的待处理目标像素(下文简称为“目标像素”)进行的图像处理，已知利用沿着水平方向或垂直方向排列的多个像素(包括目标像素)的像素值的图像处理。在下文中，将这样的图像处理称为“一维图像处理”。
作为对目标像素的像素值进行的图像处理，已知的有利用包括在预定二维区域中的多个像素(包括目标像素)的像素值的图像处理。在下文中，将这样的图像处理称为“二维图像处理”。
通常，为了进行二维图像处理，采用推广一维图像处理的方法。作为这样的方法，已知的有二维转换滤波器和沿着水平方向和沿着垂直方向进行一维图像处理并将处理结果加在一起的方法(例如，参照日本待审专利申请公布第2004-272657号)。

发明内容
当将前一种方法用于进行图像处理时，即，当采用进行采用二维矩阵的处理(下文称为“二维滤波”)的图像处理设备时，不会出现什么问题。但是，当必须采用不能进行二维滤波的图像处理设备时，就会出现如下所述的问题。
为了进行不利用二维滤波的二维图像处理，采用后一种方法，即，组合只沿着水平方向进行的一维图像处理的结果和只沿着垂直方向进行的一维图像处理的结果的方法。
当按照这样的方法进行图像校正时，可能会出现像过校正和未处理区(未校正的区域)那样的问题。换句话说，这样的方法不允许将处理有效地从一维图像处理扩展成二维图像处理。
本发明考虑了这样的问题，和提供了有效地将一维图像处理扩展成不利用二维滤波的二维图像处理的方法。
根据本发明一个实施例的图像处理设备被配置成对包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据进行图像处理，该设备包括水平方向图像处理装置，用于对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；垂直方向图像处理装置，用于利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；对角方向图像处理装置，用于利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；校正值确定装置，用于根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和校正装置，用于通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
对角方向图像处理装置包括45°左对角方向图像处理装置，用于利用位于相对于水平方向45°左对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；和45°右对角方向图像处理装置，用于利用位于相对于水平方向45°右对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理。
图像处理设备可以进一步包括改变装置，用于根据目标像素的校正方向和用作校正值的指标的校正指标值，改变水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，其中，校正值确定装置根据水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值，处理结果由改变装置改变。
改变装置可以将具有与校正指标值相对应的长度的目标像素在校正方向上的向量设置成校正指标向量，将校正指标向量分解成沿着水平方向、垂直方向、45°左对角方向和45°右对角方向上的向量，可以根据沿着水平方向、垂直方向、45°左对角方向和45°右对角方向上的向量，改变水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，这些向量通过分解校正指标向量获得。
图像处理设备可以进一步包括运动向量检测装置，用于检测目标像素的运动向量，其中，所述图像数据是构成运动图像的多个访问单元的预定访问单元上的图像数据，并且其中，改变装置将运动向量检测装置检测到的运动向量用作目标像素的校正指标向量。
本发明还提供了处理包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据的图像处理方法，或由计算机执行控制对包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据的图像处理的程序，该方法或程序包括如下步骤对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
根据本发明的一个实施例，对包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据进行如下图像处理，该处理包括如下步骤对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
如上所述，本发明能够通过二维图像处理对包括在图像数据中的像素的像素值进行校正。尤其，本发明使得从一维图像处理到二维图像处理的有效扩展成为可能，而不利用二维滤波。


图1是图解已知图像处理设备的功能结构的方块图；图2图解了要对其进行图像处理的帧；图3图解了要对其进行图像处理的帧；图4图解了沿着水平方向对如图3所示的帧进行已知一维图像处理的处理结果的例子；图5图解了沿着垂直方向对如图3所示的帧进行已知一维图像处理的处理结果的例子；图6图解了沿着对角方向对如图3所示的帧进行根据本发明一个实施例的一维图像处理的处理结果的例子；图7图解了根据本发明一个实施例的图像处理方法；图8是图解根据本发明一个实施例的图像处理设备的功能结构的方块图；图9是图解如图8所示的图像处理设备进行的校正过程的流程图；图10是图解根据本发明另一个实施例的图像处理设备的功能结构的方块图；图11是图解根据本发明另一个实施例的图像处理设备的功能结构的方块图；图12是图解如图11所示的图像处理设备的总校正单元的功能结构的细节的方块图；图13是图解根据本发明另一个实施例的图像处理设备的功能结构的方块图；图14是图解根据本发明另一个实施例的图像处理设备的所有或部分硬件结构的方块图；
图15是图解根据本发明另一个实施例的图像处理设备的所有或部分硬件结构的方块图；图16是图解如图15所示的图像处理设备的VLPF单元的详细功能结构的方块图；图17图解了如图16所示的增益确定单元拥有的函数的特性；和图18是图解根据本发明另一个实施例的图像处理设备的所有或部分硬件结构的方块图。
具体实施例方式
在描述本发明的实施例之前，首先讨论权利要求书的特征与公开在本发明实施例中的具体元件之间的对应关系。这个描述旨在保证在本说明书中描述支持要求保护的发明的实施例。因此，即使如下实施例中的一个元件未被描述成与本发明的某个特征有关，也未必意味着该元件与权利要求书的那个特征无关。相反，即使一个元件在这里被描述成与权利要求书的某个特征有关，也未必意味着该元件与权利要求书的其它特征无关。
此外，这个描述不应该理解成在权利要求书中描述了公开在实施例中的本发明所有方面的限制。换句话说，该描述不否认在实施例中描述的但在本申请的发明中未要求的本发明一些方面的存在，即，将来可能通过分案申请要求的，或可能通过修改另外要求的本发明一些方面的存在。
根据本发明一个实施例的图像处理设备(例如，如图8、10或11所示的图像处理设备)被配置成对包括位于沿着水平方向和垂直方向定义的平面(例如，如图7所示，沿着水平方向H和垂直方向V定义的平面)上的多个像素的像素值的图像数据进行图像处理，该设备包括水平方向图像处理装置(例如，如图8、10或11所示的水平校正单元21)，用于对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；垂直方向图像处理装置(例如，如图8、10或11所示的垂直校正单元22)，用于利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；对角方向图像处理装置(例如，如图8、10或11所示的左对角校正单元23)，用于利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；校正值确定装置(例如，如图8所示的总校正单元30、如图10所示的总校正单元35或如图11所示的总校正单元42)，用于根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和校正装置(例如，如图8、10或11所示的相加单元31)，用于通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
对角方向图像处理装置包括45°左对角方向图像处理装置(例如，如图8、10或11所示的左对角校正单元23)，用于利用位于相对于水平方向45°左对角方向(例如，与如图7所示的直线L平行的方向)的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；和45°右对角方向图像处理装置(例如，如图8、10或11所示的右对角校正单元24)，用于利用位于相对于水平方向45°右对角方向(例如，与如图7所示的直线R平行的方向)的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理。
图像处理设备进一步包括改变装置(例如，包括在如图8所示的总校正单元30、如图10所示的总校正单元35和如图11所示的总校正单元42的每一个中的执行如图9所示的过程的步骤S2的部件，或更具体地说，例如，包括在如图11所示的总校正单元42中的水平/垂直校正值确定单元51或左/右对角校正值确定单元52)，用于根据目标像素的校正方向和用作校正值的指标(index)的校正指标值，改变水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，其中，校正值确定装置根据水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值，处理结果由改变装置改变。
改变装置将具有与校正指标值相对应的长度的目标像素在校正方向上的向量(例如，如图7所示的向量vt1)设置成校正指标向量，将校正指标向量分解成沿着水平方向、垂直方向、45°左对角方向和45°右对角方向上的向量，和根据沿着水平方向、垂直方向、45°左对角方向和45°右对角方向上的向量(例如，如图7所示的校正指标向量vt1在水平方向上的向量v1、垂直方向和45°左对角方向上的零向量和45°右对角方向上的向量v2)，改变水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，这些向量通过分解校正指标向量获得。
图像处理设备进一步包括运动向量检测装置(例如，如图10所示的运动向量检测单元32)，用于检测目标像素的运动向量，其中，所述图像数据是构成运动图像的多个访问单元的预定访问单元上的图像数据，并且其中，改变装置将运动向量检测装置检测到的运动向量用作目标像素的校正指标向量。
本发明还提供了根据本发明实施例的图像处理设备(例如，如图8、10或11所示的图像处理设备)的图像处理方法，该方法用于处理包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据，该方法包括如下步骤对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理(例如，如图9所示的过程的步骤S1)；根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值(例如，如图9所示的过程的步骤S3)；和通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值(例如，如图9所示的过程的步骤S4)。
根据本发明一个实施例的程序对应于根据本发明另一个实施例的上述图像处理方法。正如下面详细描述的那样，程序记录在例如如图18所示的像可换式媒体111或包括在存储单元108中的硬盘那样的记录媒体上，并由具有如图18所示的配置的计算机执行。
存储根据本发明实施例的程序的记录媒体也在本发明的范围之中。
根据本发明实施例的上述图像处理设备可以用作例如电视系统或它的部件。电视系统是构成包括电视广播图像接收器件的至少一个视听(AV)设备的系统。
现在描述将一维图像处理扩展成二维图像处理的已知方法。已知方法是不采用二维滤波的上述两种方法之一。换句话说，根据这种已知方法，进行沿着水平和垂直方向上的校正(即，一维图像处理)，并加入(组合)校正结果(校正值)。在下文中，将这种已知方法称为“已知扩展方法”。
图1图解了采用已知扩展方法的图像处理设备的功能结构。在下文中，将如图1所示的图像处理设备简称为“已知图像处理设备”。
在下面的描述中，如下前提成立。
换句话说，假设已知图像处理设备对访问单元中的运动图像数据进行各种类型的图像处理。访问单元是像帧或场那样的运动图像单元。更具体地说，访问单元是例如构成运动图像的每个静态图像(像帧那样)或静态图像的一部分(像场那样)。为了简化下面的描述，假设已知图像处理设备对帧单元中的运动图像数据进行各种类型的图像处理。
此外，在一些情况下，将输入包括在已知图像处理设备中的功能块(包括像相加单元那样的计算单元)中的信号统称为“输入信号”。换句话说，在一些情况下，与像运动图像、包括在运动图像中的帧和包括在帧中的像素(像素值)那样的输入单元无关，将输入功能块中的信号统称为“输入信号”。类似地，在一些情况下，与输出单元无关，将从功能块输出的信号统称为“输出信号”。换句话说，当必须区分输入单元和输出单元时，在本描述中使用它们的单元(主要是像素值)，而在其它情况下，简单使用“输入信号”和“输出信号”)。
上述的前提对于下述的根据本发明实施例的各种图像处理设备都成立。
如图1所示的已知图像处理设备包括水平校正单元1、垂直校正单元2、相加单元3和相加单元4。
在已知图像处理设备中，将预定帧数据或帧数据的一部分作为输入信号T0供应给水平校正单元1、垂直校正单元2和相加单元4。
水平校正单元1对输入信号T0进行水平方向上的一维图像处理并将输出信号T1提供到相加单元3。进行水平方向上的一维图像处理是为了根据目标像素的像素值和位于穿过目标像素的水平直线上的其它像素的像素值确定目标像素的水平方向校正值。
垂直校正单元2对输入信号T0进行垂直方向上的一维图像处理并将输出信号T2提供到相加单元3。进行垂直方向上的一维图像处理是为了根据目标像素的像素值和位于穿过目标像素的垂直直线上的其它像素的像素值确定目标像素的垂直方向校正值。
相加单元3相加来自水平校正单元1的输出信号T1和来自垂直校正单元2的输出信号T2，和提供所得信号T1+T2作为输出信号T3。
相加单元4相加相加单元3的输出信号T3和输入信号T0，并将所得信号T0+T3作为最后输出信号T4供应给外部单元。
于是，水平校正单元1的输出信号T1是水平方向校正信号，而垂直校正单元2的输出信号T2是垂直方向校正信号。因此，将作为相加输出信号T1和T2获得的信号的相加单元3的输出信号T3加入输入信号T0中作为总校正信号。换句话说，当输入信号T0由例如像素值(包括在帧中的像素的像素值)构成时，水平校正单元1的输出信号T1由像素值的水平方向校正值构成，而垂直校正单元2的输出信号T2由像素值的垂直方向校正值构成。因此，相加单元3的输出信号T3由像素值的水平方向校正值和垂直方向校正值的组合值(即，总校正值)构成。
接着，参照图2到4描述如图1所示的已知图像处理设备进行校正的结果的例子。
例如，如图2所示，将处在对角线左侧是白色和右侧是黑色的正方形的中心的区域11输入已知图像处理设备中，作为如图3所示，在水平方向含有10个像素和在垂直方向含有9个像素的帧11-1(下文称为“10×9像素”)。
更具体地说，将如图3所示的帧11-1的10×9像素的像素值输入已知图像处理设备中作为输入信号T0，和对这个输入信号T0进行图像处理(校正)。但是，为了简化下面的描述，假定如图3所示的帧11-1是输入信号T0。
水平校正单元1进行的处理，即，水平方向上的一维图像处理是对沿着水平方向彼此相邻排列的7个像素进行的滤波，即，通过7抽头滤波器的水平校正。在这种情况下，水平校正单元1校正的如图3所示的帧11-1中的区域被显示成如图4所示的帧11-2中的灰色区域。
垂直校正单元2进行的处理，即，垂直方向上的一维图像处理是对沿着垂直方向彼此相邻排列的7个像素进行的滤波，即，通过7抽头滤波器的垂直校正。在这种情况下，垂直校正单元2校正的如图3所示的帧11-1中的区域被显示成如图5所示的帧11-3中的灰色区域。
通过比较图4和5，可以注意到，水平校正单元1和垂直校正单元2校正的如图3所示的帧11-1中的区域(即，如图4和5所示的灰色区域)是相同的。
因此，结果是，对于已知图像处理设备，只对与如图4和5所示的灰色区域相对应的如图3所示的帧11-1中的区域进行校正。这些区域的校正值等于水平方向校正值和垂直方向校正值的相加值(即，总校正值)。未对与除了如图4和5所示的非灰色区域以外的区域相对应的如图3所示的帧11-1中的区域进行校正。
于是，对于已知图像处理设备，与图4和5中的灰色区域相对应的如图3所示的帧11-1中的区域被过校正了，而不能处理(即，不能校正)与图4和5中的黑色区域相对应的区域。这就是上面已经描述过的问题。
因此，本发明人进行对如图3所示的帧11-1进行通过7抽头滤波器的对角校正的测试。换句话说，对沿着45°左对角方向(即，与如图2所示将帧划分成黑白区域的对角线正交的方向，或在图2中未示出的另一条对角线的方向)彼此相邻的7个像素进行滤波。测试结果显示在图6中。如图6所示的帧11-4中的灰色区域是通过进行对角校正校正的区域，其中黑色区域是未得到校正的区域。
通过将图6与图4和5比较，可以注意到，校正区域(灰色区域)扩大了。换句话说，对角校正的校正范围大于水平和垂直校正的校正范围。
于是，本发明人发明了将一维图像处理扩展成二维图像处理的如下所述的新方法。更具体地说，本发明人发明了组合水平校正、垂直校正和预定对角校正的校正结果(即，各个方向上的校正值)的扩展方法。在下文中，将这种扩展方法称为“对角扩展方法”。
通过采用对角扩展方法，可以缩小未处理区(即，未校正区)的范围。
但是，对于对角扩展方法的组合过程，如果总校正值(组合校正值)被定义成水平、垂直和对角方向上的校正值之和，和通过简单相加这些校正值确定，则在沿着水平、垂直和对角方向校正的区域(即，在图4和5中也显示成灰色的图6中的灰色区域)中会出现过校正。换句话说，如果将沿着水平、垂直和对角方向上的校正值之和用作总校正值(组合校正值)，不能防止作为上面识别的问题之一的过校正。
于是，为了提供过校正问题的解决方案，本发明人发明了作为对角扩展方法的采用方法的如下所述的新方法。这种新方法直到进行水平、垂直和对角方向校正那一点都与上述对角扩展方法相同。在随后的步骤中，作为组合水平、垂直和对角方向上的校正结果(即，水平、垂直和对角方向上的校正值)的组合过程，本发明人发明了视觉进行校正的方向(下文称为“校正方向”)而定分别改变(重新校正)每个方向上的校正值和相加水平、垂直和对角方向上的改变校正值的方法。在下文中，将这种方法称为“对角扩展采用方法”。
现在描述采用对角扩展采用方法的图像处理设备进行的处理(尤其，组合过程)的概貌(以后描述其结构)。在下文中，将采用对角扩展采用方法的图像处理设备称为“根据本发明一个实施例的图像处理设备”。
例如，如图7所示，考虑具有水平轴H和垂直轴V的与要校正的帧(对应于如上所述的例子中的图3中的帧11-1)相对应的二维坐标系。在这种情况下，在该坐标系中，可以用预定向量表示目标像素的校正方向。更具体地说，对于图7中的例子，用向量vt1或vt2表示校正方向。在这种情况下，向量vt1或vt2的长度对应于目标像素的总校正值。
在这种情况下，对于如图7所示的例子，可以将向量vt1＝(a，b)分解成水平向量v1、45°右对角向量v2(与直线R平行)和沿着垂直方向和45°左对角向量(与直线L平行)的零向量。
对于根据本发明一个实施例的图像处理设备，将水平方向校正值改变成与向量v1相对应的值；将45°右对角方向上的校正值改变成与向量v2相对应的值；并将垂直和45°左对角方向上的校正值改变成零(即，与零向量相对应的值)。然后，在改变了校正值之后，根据本实施例的图像处理设备相加各个方向上的校正值。这一系列处理是根据对角扩展采用方法的组合过程的例子，并且等效于通过组合如图7所示的向量v1和v2生成向量vt1的过程。因此，对于根据本实施例的图像处理设备，将一系列处理的结果(即，组合过程的结果)加入目标像素的像素值中的过程等效于将总校正值(即，与向量vt1的长度相对应的值)加入目标像素的像素值中进行的沿着校正方向(即，向量vt1的方向)的校正。其结果是，目标像素的像素值得到适当校正。换句话说，过校正得到防止。
类似地，对于如图7所示的例子，可以将向量vt2＝(-a，b)分解成水平向量v3、45°左对角向量v4(与直线L平行)和沿着垂直方向和45°右对角方向(与直线R平行)的零向量。
对于根据本发明一个实施例的图像处理设备，将水平方向校正值改变成与向量v3相对应的值；将45°左对角方向上的校正值改变成与向量v4相对应的值；并将垂直和45°右对角方向上的校正值改变成零(即，与零向量相对应的值)。然后，在改变了校正值之后，根据本实施例的图像处理设备相加各个方向上的校正值。这一系列处理是根据对角扩展采用方法的组合过程的例子，并且等效于通过组合如图7所示的向量v3和v4生成向量vt2的过程。因此，对于根据本实施例的图像处理设备，将一系列处理的结果(即，组合过程的结果)加入目标像素的像素值中的过程等效于将总校正值(即，与向量vt2的长度相对应的值)加入目标像素的像素值中沿着校正方向(即，向量vt2的方向)进行的校正。其结果是，目标像素的像素值得到适当校正。换句话说，过校正得到防止。
在如图7所示的例子中，将向量vt1分解成水平向量v1和45°右对角向量v2(其中，其它向量被定义成零向量)。但是，取而代之，也可以将向量vt1分解成垂直向量和45°右对角向量。类似地，在如图7所示的例子中，将向量vt2分解成水平向量v3和45°左对角向量v4。但是，取而代之，也可以将向量vt2分解成垂直向量和45°左对角向量。
校正方向不局限于向量vt1或vt2的方向，可以是任何其它方向。与校正方向无关，可以将校正方向上的向量分解成水平、垂直、45°左对角和45°右对角方向上的向量(包括零向量)。
总而言之，根据本实施例的图像处理设备按如下所述对目标像素进行一系列处理。
首先，根据本实施例的图像处理设备沿着水平、垂直、45°左对角和45°右对角方向进行一维校正。
其次，根据本实施例的图像处理设备执行组合过程。
根据本实施例的图像处理设备定义具有与总校正值的指标的幅度(下文称为“校正指标值”)相对应的长度和具有与校正方向相对应的方向上的向量(下文称为“校正指标向量”)。然后，根据本实施例的图像处理设备将校正指标向量分解成水平、垂直、45°左对角和45°右对角方向上的向量(包括零向量)。
接着，根据本实施例的图像处理设备按照相应方向上的向量改变水平、垂直、45°左对角和45°右对角方向上的一维校正结果(校正值)(当相应向量是零向量时，校正值被设置成零)。
最后，根据本实施例的图像处理设备相加改变校正值并将这个值设置成总校正值。
上述一系列处理就是组合过程。
根据本实施例的图像处理设备通过将通过组合过程获得的总校正值加入目标像素的像素值中进行目标像素的校正。
图8图解了根据本发明另一个实施例的图像处理设备的功能结构。这个图像处理设备进行上述一系列处理。
如图8所示的根据本实施例的图像处理设备包括水平校正单元21、垂直校正单元22、左对角校正单元23、右对角校正单元24、总校正单元30和相加单元31。
对于根据本实施例的图像处理设备，将与如图1所示的那个类似的信号T0输入水平校正单元21、垂直校正单元22、左对角校正单元23、右对角校正单元24和相加单元31中。
水平校正单元21对输入信号T0进行水平方向上的一维图像处理，并将输出信号T1(是与如图1所示的水平校正单元1的输出信号T1类似的信号)输出到总校正单元30。换句话说，已知水平校正单元1可以用作水平校正单元21。
垂直校正单元22对输入信号T0进行垂直方向上的一维图像处理，并将输出信号T2(是与如图1所示的垂直校正单元2的输出信号T2类似的信号)输出到总校正单元30。换句话说，已知垂直校正单元2可以用作垂直校正单元22。
左对角校正单元23对输入信号T0进行45°左对角方向上的一维图像处理，并将输出信号T3输出到总校正单元30。
45°左对角方向上的一维图像处理是利用目标像素的像素值和位于目标像素的45°左对角方向上的其他像素的像素值确定45°左对角方向上的校正值的处理。换句话说，当输入信号T0由例如像素值(包括在帧中的像素的像素值)构成时，来自左对角校正单元23的输出信号T3是由45°左对角方向上的像素值的校正值构成的信号。
右对角校正单元24对输入信号T0进行45°右对角方向上的一维图像处理，并将输出信号T4输出到总校正单元30。
45°右对角方向上的一维图像处理是利用目标像素的像素值和位于目标像素的45°右对角方向上的其他像素的像素值确定45°右对角方向上的校正值的处理。换句话说，当输入信号T0由例如像素值(包括在帧中的像素的像素值)构成时，来自右对角校正单元24的输出信号T4是由45°右对角方向上的像素值的校正值构成的信号。
总校正单元30对来自水平校正单元21的输出信号T1、来自垂直校正单元22的输出信号T2、来自左对角校正单元23的输出信号T3和来自右对角校正单元24的输出信号T4进行采用上面参照图7所述的向量概念的组合过程；生成作为组合过程的结果获得的总校正信号T5(与图7中的向量vt1或vt2相对应)；并将总校正信号T5输出到相加单元31。
相加单元31将来自总校正单元30的总校正信号T5加入输入信号T0中，并将所得信号T0+T5作为最后输出信号T6输出到外部单元。
下面参照如图9所示的流程图再次描述如图8所示的根据本实施例的图像处理设备进行的处理(下文称为“校正”)。
在步骤S1中，水平校正单元21、垂直校正单元22、左对角校正单元23和右对角校正单元24分别沿着水平、垂直、45°左对角和45°右对角方向从原始信号(输入信号)T0中分别生成校正信号T1、T2、T3和T4。在将校正信号T1、T2、T3和T4供应给总校正单元30之后，该过程转到步骤S2。
在步骤S2中，总校正单元30通过采用参照图7所述的向量概念重新校正校正信号T1、T2、T3和T4。
在步骤S3中，总校正单元30从重新校正校正信号T1、T2、T3和T4中生成总校正信号T5。
更具体地说，例如，当校正指标向量相对应如图7所示的向量vt1时，通过按照向量v1改变校正信号T1获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T1；通过按照零向量(即，零信号)改变校正信号T2获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T2；通过按照零向量(即，零信号)改变校正信号T3获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T3；和通过按照向量v2改变校正信号T4获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T4。因此，在步骤S3中生成的总校正信号T5对应于向量vt1。
此外，例如，当校正指标向量相对应如图7所示的向量vt2时，通过按照向量v3改变校正信号T1获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T1；通过按照零向量(即，零信号)改变校正信号T2获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T2；通过按照向量v4改变校正信号T3获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T3；和通过按照零向量(即，零信号)改变校正信号T4获得的信号对应于作为执行步骤S2的结果获得的重新校正校正信号T4。因此，在步骤S3中生成的总校正信号T5对应于向量vt2。
这样，步骤S2和S3对应于根据上述对角扩展采用方法的组合过程。
这里，为了简化描述，整个组合过程都在总校正单元30上执行。但是，如下面参照图10所述，一部分组合过程可以在校正单元(即，水平校正单元21、垂直校正单元22、左对角校正单元23和右对角校正单元24)上执行。
当将总校正信号T5供应给相加单元31时，该过程转到步骤S4。在步骤S4中，相加单元31将相加总校正信号T5和原始信号(输入信号)T0获得的信号T0+T5作为最后输出信号T6输出到外部单元。然后，该过程结束。
上面已经描述了如图8所示的根据本实施例的图像处理设备进行的校正。
如图8所示的根据本实施例的图像处理设备可以用作例如根据本发明人已经提出的日本专利申请第2004-354571号的图像处理设备，即，能够利用与运动向量的幅度(长度)相对应的校正值进行校正以便在图像捕获期间抑制模糊的图像处理设备。
在这样的情况下，通过将运动向量用作校正指标向量，根据本发明一个实施例的图像处理设备可以配置成如图10所示那样。
在图10中，与图8中的那些相对应的部件用相同标号表示，和不再重复对它们的描述。
如图10所示的根据本实施例的图像处理设备包括未包括在图8中的分解单元29和运动向量检测单元32。此外，取代包括在图8中的总校正单元30，配备了总校正单元35。换句话说，正如下面详细描述的那样，上述组合过程的一部分(如图9所示的过程中的步骤S2)由如图10所示的单元21到24执行，和总校正单元35只执行步骤S3。
包括在如图10所示的根据本实施例的图像处理设备中的运动向量检测单元32根据预定帧和与预定帧相邻的几个帧检测包括在与输入信号T0相对应的预定帧中的每个像素的水平方向运动向量和垂直方向运动向量。然后，运动向量检测单元32将与包括在预定帧中的像素的水平方向运动向量相对应的信号MV_H(下文简称为“MV_H”)和与包括在预定帧中的像素的垂直方向运动向量相对应的信号MV_V(下文简称为“MV_V”)供应给分解单元29。
分解单元29将通过组合MV_H的水平方向运动向量和MV_V的垂直方向运动向量获得的像素的组合向量(即，运动向量)设置成像素的校正指标向量。然后，分解单元29将像素的校正指标向量分解成水平、垂直、45°左对角和45°右对角方向上的向量。分解单元29将由像素的水平向量构成的信号作为运动向量信号MV0(下文简称为MV0)供应给水平校正单元21，将由像素的垂直向量构成的信号作为运动向量信号MV1(下文简称为MV1)供应给垂直校正单元22，将由像素的45°左对角向量构成的信号作为运动向量信号MV2(下文简称为MV2)供应给左对角校正单元23，并将由像素的45°右对角向量构成的信号作为运动向量信号MV3(下文简称为MV3)供应给右对角校正单元24。
在下文中，当描述对目标像素进行的处理时，将目标像素的水平方向运动向量称为MV_H，并将目标像素的垂直方向运动向量称为MV_V。此外，将提供给水平校正单元21的目标像素的运动向量称为MV0；将提供给垂直校正单元22的目标像素的运动向量称为MV1；将提供给左对角校正单元23的目标像素的运动向量称为MV2；并将提供给右对角校正单元24的目标像素的运动向量称为MV3。
更具体地说，对于如图10所示的设备，将目标像素的校正指标向量(即，作为MV_H和MV_V的组合向量的运动向量)分解成水平向量、垂直向量、45°左对角向量和45°右对角方向向量。在这些向量当中，将水平向量作为MV0供应给水平校正单元21；将垂直向量作为MV1供应给垂直校正单元22；将45°左对角向量作为MV2供应给左对角校正单元23；并将45°右对角向量作为MV3供应给右对角校正单元24。
例如，对于每个方向，将第一方向定义成正(+)方向并将与第一方向相反的第二方向定义成负(-)方向。更具体地说，对于图7中的例子，对于水平方向H，将图中的向右方向定义成水平方向H的正(+)方向，而将图中的向左方向定义成水平方向H的负(-)方向。对于垂直方向V，将图中的向上方向定义成垂直方向V的正(+)方向，而将图中的向下方向定义成垂直方向V的负(-)方向；对于45°左方向(直线L的方向)，将图中的向上方向定义成45°左方向的正(+)方向，而将图中的向下方向定义成45°左方向的负(-)方向；和对于45°右方向(直线R的方向)，将图中的向上方向定义成45°右方向的正(+)方向，而将图中的向下方向定义成45°右方向的负(-)方向。
在这种情况下，可以将MV_H、MV_V、MV0、MV1、MV2和MV3表示成+k或-k(其中，k代表表示向量幅度的任意整数值)。
现在根据上述预设描述分解单元29对目标像素进行的处理。
如上所述，如图10所示的设备采用MV_H和MV_V的组合向量，即，运动向量作为校正指标向量。因此，例如，当MV_H＝+a和MV_V＝+b时，校正指标向量(即，运动向量)等于如图7所示的向量vt1。例如，当MV_H＝-a和MV_V＝+b时，校正指标向量等于向量vt2。为了简化描述，假设运动向量等于如图7所示的向量vt1或vt2。换句话说，在下面的描述中，MV_H的幅度是a，和MV_V的幅度是b。
在这种情况下，分解单元29将校正指标向量分解成水平、垂直、45°左对角和45°右对角方向上的向量。在这些向量当中，按如下所述生成水平向量和垂直向量(通过分解)。无论哪一个具有较大幅度(a或b)，分解单元29都生成幅度为[max(a，b)-min(a，b)]的向量作为与水平或垂直方向相对应的向量(换句话说，如果a较大，生成水平方向上的向量，而如果b较大，生成垂直方向上的向量)。这里，max()代表输出最大值的函数，和min()代表输出最小值的函数。在这种情况下，对于其它方向，分解单元29生成零向量。
更具体地说，当a较大时(即，如图7所示的情况)，生成幅度为a-b的水平向量，并将它作为MV0供应给水平校正单元21。在这种情况下，垂直向量是零向量，并将它作为MV1供应给垂直校正单元22。
相反，当b较大时(即，非如图7所示的情况)，生成幅度为b-a的垂直向量，并将它作为MV1供应给垂直校正单元22。在这种情况下，水平向量是零向量，并将它作为MV0供应给水平校正单元21。
分解单元29将校正指标向量分解成水平、垂直、45°左对角和45°右对角方向上的向量。在这些向量当中，按如下所述生成45°左对角向量和45°右对角向量(通过分解)。当MV_H和MV_V的符号相同时(即，当向量vt1被设置成图7中的运动向量时)，分解单元29生成幅度为min(a，b)的45°右对角向量，并将生成的向量作为MV3供应给右对角校正单元24。在这种情况下，分解单元29将45°左对角向量设置成零向量(即，生成零向量)，并将零向量作为MV2供应给左对角校正单元23。
相反，当MV_H和MV_V的符号不同时(即，当向量vt2被设置成图7中的运动向量时)，分解单元29生成幅度为min(a，b)的45°左对角向量，并将生成的向量作为MV2供应给左对角校正单元23。在这种情况下，分解单元29将45°右对角向量设置成零向量(即，生成零向量)，并将零向量作为MV3供应给右对角校正单元24。
这样，将校正指标向量(运动向量)分解成水平、垂直、45°左对角和45°右对角方向上的向量。将作为分解结果获得的向量作为MV0、MV1、MV2和MV4(包括零向量)分别供应给水平校正单元21、垂直校正单元22、左对角校正单元23和右对角校正单元24。
于是，水平校正单元21根据MV0对输入信号(原始信号)T0进行水平方向上的一维图像处理，并将所得输出信号T11输出到总校正单元35。
类似地，垂直校正单元22根据MV1对输入信号(原始信号)T0进行垂直方向上的一维图像处理，并将所得输出信号T12输出到总校正单元35。
左对角校正单元23根据MV2对输入信号(原始信号)T0进行45°左对角方向上的一维图像处理，并将所得输出信号T13输出到总校正单元35。
右对角校正单元24根据MV3对输入信号(原始信号)T0进行45°右对角方向上的一维图像处理，并将所得输出信号T14输出到总校正单元35。
在这种情况下，如上所述，MV0、MV1、MV2和MV3(包括零向量)是根据参照图7所述的向量概念生成的向量(即，通过沿着水平、垂直、45°左对角和45°右对角方向分解校正指标向量生成的向量)。因此，来自水平校正单元21的输出信号T11、来自垂直校正单元22的输出信号T12、来自左对角校正单元23的输出信号T13和来自右对角校正单元24的输出信号T14是作为执行如图9所示的过程中的步骤S2的结果获得的信号(即，重新校正之后获得的各个方向上的校正信号)。换句话说，MV0、MV1、MV2和MV3是与水平、垂直、45°左对角和45°右对角方向上的向量相对应的信号。这样，对于如图10所示的设备，单元21到24执行如图9所示的过程中的步骤S1和步骤S2。
因此，如上所述，总校正单元35只执行该过程的步骤S3。换句话说，在步骤S3中，总校正单元35将相加信号T11、T12、T13和T14获得的信号T11+T12+T13+T14供应给相加单元31。然后，在步骤S4中，相加单元31将相加总校正信号T5和原始信号(输入信号)T0获得的信号T0+T5作为输出信号T6输出到外部单元。
如图10所示的单元21到24进行的处理不局限于根据运动向量(MV0、MV1、MV2和MV3)的沿着各个方向(水平、垂直、45°左对角和45°右对角方向)的一维图像处理，取而代之，例如，可以采用如下所述的处理。
例如，可以进行如下的处理。在处理的第一步骤中，对输入信号进行预定一维图像处理(例如，滤波)。在处理的第二步骤中，对在第一步骤中获得的信号进行利用运动向量的另一种处理(例如，当增益等于运动向量的幅度时，改变增益的处理)。
当这个过程与如图9所示的过程匹配时，第一步骤对应于步骤S1，和第二步骤对应于步骤S2。更具体地说，例如，水平校正单元21进行的第一一维图像处理是如下所述的过程。在步骤S1中，水平校正单元21对输入信号(原始信号)T0进行水平方向上的一维图像处理，和生成与如图8所示的水平校正单元21的输出信号T1类似的校正信号T1。然后，在步骤S2中，水平校正单元21按照来自分解单元29的MV0重新校正校正信号T0，并将所得输出信号T11输出到总校正单元35。由于单元22到24进行的处理基本上相同，这里省略对它们的描述。
如图10所示的单元21到24进行的另一种处理可能只需要例如第一步骤。但是，可以采用可变地设置按照运动向量的执行处理的第一步骤所需的各种条件(例如，可变地设置按照运动向量幅度的抽头数)的处理，和按照根据运动向量设置的各种条件对输入信号进行一维图像处理(例如，滤波)。
这样，根据本发明这个实施例的如图10所示的图像处理设备可以通过将运动向量用作校正指标向量进行校正。此外，能够通过将运动向量用作校正指标向量进行校正的根据本发明另一个实施例的图像处理设备图解在图11中。图11图解了根据本发明另一个实施例的图像处理设备，它不同于上述的图像处理设备。
在图11中，与图10中的那些相对应的部件用相同标号表示，和不再重复对它们的描述。
如图11所示的根据本实施例的图像处理设备包括未包括在图10中的MAX输出单元41。此外，取代包括在图10中的总校正单元35，配备了总校正单元42。总校正单元42的细节将在下面参照图12加以描述。其它结构与如图10所示的设备的那些结构相同。
运动向量检测单元32将MV_H供应给MAX输出单元41、水平校正单元21和总校正单元42，而将MV_V供应给MAX输出单元41、垂直校正单元22和总校正单元42。
无论MV_H和MV_V哪一个较大，MAX输出单元41都将MV_H和MV_V的较大者供应给左对角校正单元23和右对角校正单元24。
为了简化参照图11的描述，假设MV_H的幅度是a，和MV_V的幅度是b。在这种情况下，当a较大时，从MAX输出单元41输出，和输入左对角校正单元23和右对角校正单元24中的是MV_H。相反，当b较大时，从MAX输出单元41输出，和输入左对角校正单元23和右对角校正单元24中的是MV_V。
换句话说，对于如图11所示的设备，将MV_H作为MV0供应给水平校正单元21，并将MV_V作为MV1供应给垂直校正单元22。将来自MAX输出单元41的输出(即，MV_H或MV_V)作为MV2供应给左对角校正单元23和作为MV3供应给右对角校正单元24。
水平校正单元21根据MV0对输入信号(原始信号)T0进行水平方向上的一维图像处理，并将所得输出信号T21供应给总校正单元42。
类似地，垂直校正单元22根据MV1对输入信号(原始信号)T0进行垂直方向上的一维图像处理，并将所得输出信号T22供应给总校正单元42。
左对角校正单元23根据MV2对输入信号(原始信号)T0进行45°左对角方向上的一维图像处理，并将所得输出信号T23供应给总校正单元42。
右对角校正单元24根据MV3对输入信号(原始信号)T0进行45°右对角方向上的一维图像处理，并将所得输出信号T24供应给总校正单元42。
对于如图10所示的设备，MV0、MV1、MV2和MV4是将组合MV_H和MV_V获得的运动向量(校正指标向量)分解成水平、垂直、45°左对角和45°右对角方向上的向量获得的向量(包括零向量)。因此，分别来自单元21到24的输出信号T11到T14是将运动向量分解成各个方向上的向量获得的信号。对于如图10所示的设备，分别来自单元21到24的输出信号T11到T14是作为执行如图9所示的过程中的步骤S2的结果获得的信号。
相反，对于如图11所示的设备，MV0、MV1、MV2和MV4的每一个是MV_H或MV_V。因此，分别来自单元21到24的输出信号T21到T24是未经分解的向量的信号。对于如图11所示的设备，分别来自单元21到24的输出信号T21到T24是作为执行如图9所示的过程中的步骤S1的结果获得的信号(或在步骤S2的中途获得的信号)。
换句话说，对于如图10所示的设备，已经供应给总校正单元35、分别来自单元21到24的输出信号T11到T14所代表的各个方向上的校正值对应于将校正指标向量分解成各个方向上的向量获得的向量的幅度。因此，总校正单元35能够直接采用相加分别来自单元21到24的输出信号T11到T14获得的总和信号作为总校正信号T5。换句话说，总校正单元35只需要执行如图9所示的过程中的步骤S3。
相反，对于如图11所示的设备，供应给总校正单元42、分别来自单元21到24的输出信号T21到T24所代表的各个方向上的校正值对应于MV_H或MV_V的幅度，而不对应于将校正指标向量分解成各个方向上的向量获得的向量的幅度。因此，总校正单元35不能简单地将总校正信号T5设置成相加分别来自单元21到24的输出信号T11到T14获得的总和信号。更具体地说，总校正单元42应该执行如图9所示的过程的步骤S2的至少一部分，然后将分别来自单元21到24的输出信号T21到T24所代表的校正值改变成与将校正指标向量分解成各个方向上的向量获得的向量的幅度相对应的值，最后，在改变了校正值之后，执行该过程的步骤S3(即，在改变了校正值之后相加各个方向上的校正值)。
因此，例如，包括在如图12所示的图像处理设备中的总校正单元42包括水平/垂直校正值确定单元51、左/右对角校正值确定单元52和相加单元53。
为了使人们更容易理解与如图7所示的向量有关的如图12所示的设备，假设MV_H的幅度是a，和MV_V的幅度是b。
水平/垂直校正值确定单元51从信号T21或T22中生成与水平或垂直方向上的运动向量(即，分解通过组合MV_H和MV_V获得的运动向量获得的水平或垂直方向上的运动向量)相对应的信号T43，并将信号T43供应给相加单元53。
因此，左/右对角校正值确定单元52包括MAX输出单元61、MAX输出单元62、相减单元63、β/α输出单元64和相乘单元65。
无论信号T21和T22哪一个较大，MAX输出单元61都将T21和T22的较大者作为输出信号T41输出到相乘单元65。如图11所示，信号T21是水平校正单元21根据MV0(具有幅度a的MV_H)生成的水平方向校正信号，和信号T22是垂直校正单元22根据MV1(具有幅度b的MV_V)生成的垂直方向校正信号。因此，如上所述，当a大于b时(即，如图7所示的情况)，将运动向量分解成水平方向上的向量(其中，垂直方向上的向量是零向量)，和使用水平方向校正信号(其中，垂直方向校正信号是零信号)。于是，将信号T21作为信号T41供应给相乘单元65。相反，如上所述，当b大于a时，将运动向量分解成垂直方向上的向量(其中，水平方向上的向量是零向量)，和使用垂直方向校正信号(其中，水平方向校正信号是零信号)。于是，将信号T22作为信号T41供应给相乘单元65。
当将运动向量分解成水平方向上的向量时(即，当a＞b时)，水平向量(例如，图7中的向量v3或v1)的幅度是a-b。因此，水平向量的幅度a-b与如图11所示的MV0(＝MV_V)的幅度的标量比是(a-b)/a。相反，当将运动向量分解成垂直方向上的向量时(即，当b＞a时)，垂直向量的幅度是b-a。因此，垂直向量的幅度b-a与如图11所示的MV1(＝MV_V)的幅度的标量比是(b-a)/a。当组合这两者时，可以将标量比表示成[max(a，b)-min(a，b)]/max(a，b)。计算标量比的方块是包括单元62到64(和如下所述的MIN输出单元7)的方块。
更具体地说，无论MV_H和MV_V哪一个较大，MAX输出单元62都将与MV_H(幅度为a)和MV_V(幅度为b)的较大者相对应的输出信号MVX输出到相减单元63和β/α输出单元64(和如下所述的β/α输出单元74)。换句话说，来自MAX输出单元62的输出信号MVX对应于max(a，b)。
相减单元63将从MAX输出单元62的输出信号MVX中减去MIN输出单元73的输出信号MVN获得的输出信号MVD输出到β/α输出单元64。如上所述，输出信号MVX对应于max(a，b)，和如下所述，输出信号MVN对应于min(a，b)。因此，来自相减单元63的输出信号MVD对应于[max(a，b)-min(a，b)]。
β/α输出单元64将相减单元63的输出信号MVD除以MAX输出单元62的输出信号MVX获得的输出信号MVR1输出到相乘单元65。来自β/α输出单元64的输出信号MVR1对应于[max(a，b)-min(a，b)]/max(a，b)，即，对应于上述标量比。
相乘单元65将MAX输出单元61的输出信号T41乘以β/α输出单元64的输出信号MVR1获得的输出信号T43输出到相加单元53。当来自相乘单元65的输出信号T43对应于水平或垂直方向上的向量时，或者，更具体地说，当运动向量是如图7所示的校正指标向量vt1或vt2时，输出信号T43对应于水平向量v1或v3。
这样，就将相乘单元65的输出信号T43作为重新校正水平方向校正信号或重新校正垂直方向校正信号供应给相加单元53。
与水平/垂直校正值确定单元51类似，左/右对角校正值确定单元52生成与45°左对角方向或45°右对角方向上的向量对应的信号T44(即，分解运动向量，将MV_H和MV_V组合成45°左对角或45°右对角方向上的向量获得的向量)，并将信号T44供应给相加单元53。
因此，左/右对角校正值确定单元52包括方向检测单元71、选择单元72、MIN输出单元73、β/α输出单元74和相乘单元75。
当MV_H(作为α输入)和MV_V(作为β输入)的乘积大于等于零时，方向检测单元71将与“1”相对应的输出信号S1供应给选择单元72。当MV_H(作为α输入)和MV_V(作为β输入)的乘积小于零时，方向检测单元71将与“0”相对应的输出信号S1供应给选择单元72。
当来自方向检测单元71的输出信号S1对应于“0”时，选择单元72将信号T23作为输出信号T42输出到相乘单元75。当来自方向检测单元71的输出信号S1对应于“1”时，选择单元72将信号T24作为输出信号T42输出到相乘单元75。
如果从方向检测单元71输出的输出信号S1对应于“1”，MV_H和MV_V的乘积大于等于零，即，MV_H和MV_V两者同号。如上所述，当MV_H和MV_V两者同号时，将运动向量分解成45°右对角方向上的向量(其中，45°左对角方向上的向量是零向量)。因此，由于使用右对角方向校正信号(左对角方向校正信号是零信号)，将如图11所示的右对角校正单元24的输出信号T24作为信号T42供应给相乘单元75。
相反，如果来自方向检测单元71的输出信号S1对应于“0”，MV_H和MV_V的乘积小于零，即，MV_H和MV_V异号。如上所述，当MV_H和MV_V异号时，将运动向量分解成45°左对角方向上的向量(其中，45°右对角方向上的向量是零向量)。因此，由于使用左对角方向校正信号(右对角方向校正信号是零信号)，将如图11所示的左对角校正单元23的输出信号T23作为信号T42供应给相乘单元75。
在这种情况下，信号T23或T24分别是左对角方向校正信号或右对角方向校正信号，和如图11所示，分别根据MV2或MV3，分别在左对角校正单元23或右对角校正单元24上生成信号T23或T24。MV2和MV3每一个的幅度是max(a，b)。如上所述，通过分解运动向量(图7中的向量v4或v2)获得的左对角方向校正信号或右对角方向校正信号的幅度是min(a，b)。因此，45°左对角或45°右对角方向上的向量(图7中的向量v4或v2)与MV2或MV3的标量比是min(a，b)/max(a，b)。计算标量比的方块是包括选择单元72和β/α输出单元74(和如上所述的MAX输出单元62)的方块。
更具体地说，无论MV_H和MV_V哪一个较小，MIN输出单元73都将信号MV_H(幅度为a)和信号MV_V(幅度为b)的较小者作为输出信号MVN输出到相减单元63和β/α输出单元74。来自MIN输出单元73的输出信号MVN对应于min(a，b)。
β/α输出单元74将MIN输出单元73的输出信号MVN除以MAX输出单元62的输出信号MVX获得的输出信号MVR2输出到相乘单元75。来自β/α输出单元74的输出信号MVR2对应于min(a，b)/max(a，b)，即，对应于上述标量比。
相乘单元75将选择单元72的输出信号T42乘以β/α输出单元74的输出信号MVR2获得的输出信号T44输出到相加单元53。当来自相乘单元75的输出信号T44对应于45°左对角或45°右对角方向上的向量时，或者，更具体地说，当运动向量是图7中的校正指标向量vt1时，输出信号T44对应于45°右对角方向上的向量v2，而当运动向量是图7中的校正指标向量vt2时，输出信号T44对应于45°左对角方向上的向量v4。
这样，就将相乘单元75的输出信号T44作为右对角方向校正信号或左对角方向校正信号供应给相加单元53。
相加单元53将相加水平/垂直校正值确定单元51的输出信号T43(即，水平或垂直方向校正信号T43)和左/右对角校正值确定单元52的输出信号T44(即，左或右对角校正信号T44)获得的输出信号T35供应给如图11所示的相加单元31。相加单元53通过进行与组合水平或垂直方向上的向量和45°左对角或45°右对角方向上的向量等效的处理生成作为总校正信号的输出信号T35。
如图11所示，将信号T35作为总校正单元42的输出信号，即，总校正信号供应给相加单元31。相加单元31将作为来自总校正单元42的输出信号的总校正信号T35加入输入信号T0中，并输出所得信号T0+T35作为最后输出信号T36。
如上所述，如图11所示的根据本实施例的图像处理设备也能够按照如图9所示的流程图进行校正。但是，步骤S2由如图12所示的总校正单元42的水平/垂直校正值确定单元51和左/右对角校正值确定单元52执行。步骤S3由如图12所示的总校正单元42的相加单元53执行。
各个方向上的一维图像处理(即，如图11所示的单元21到24进行的处理)不局限于上述处理。取而代之，例如，可以采用增强模式。
但是，一般说来，增强信号受噪声影响。因此，为了不降低增强效果地防止噪声影响，存在沿着与增强方向正交的方向提供对增强结果的带限的已知方法(下文称为“带限方法”)。
更具体地说，图13图解了采用带限方法的通过例如如图11所示的图像处理设备实现的图像处理设备。
在图13中，与图11中的那些相对应的部件用相同标号表示，不再重复对它们的描述。
除了在水平校正单元21的下游和总校正单元42的上游配备了VLPF单元81，在垂直校正单元22的下游和总校正单元42的上游配备了HLPF单元82，在左对角校正单元23的下游和总校正单元42的上游配备了RLPF单元83和在右对角校正单元24的下游和总校正单元42的上游配备了LLPF单元84之外，如图13所示的图像处理设备的结构与如图11所示的图像处理设备的结构相同。
VLPF单元81沿着与水平校正单元21的处理方向(即，水平方向)正交的垂直方向限制来自水平校正单元21的输出信号T21的频带(即，对其进行低通滤波)，并将所得输出信号T21′输出到总校正单元42。
类似地，HLPF单元82沿着与垂直校正单元22的处理方向(即，垂直方向)正交的水平方向限制来自垂直校正单元22的输出信号T22的频带(即，对其进行低通滤波)，并将所得输出信号T22′输出到总校正单元42。
RLPF单元83沿着与左对角校正单元23的45°左对角处理方向(即，45°左对角方向)正交的45°右对角方向限制来自左对角校正单元23的输出信号T23的频带(即，对其进行低通滤波)，并将所得输出信号T23′输出到总校正单元42。
LLPF单元84沿着与右对角校正单元24的45°右对角处理方向(即，45°右对角方向)正交的45°左对角方向限制来自右对角校正单元24的输出信号T24的频带(即，对其进行低通滤波)，并将所得输出信号T24′输出到总校正单元42。
当例如根据行号依次输入例如构成帧的多个水平行(即，位于水平行上的至少一个像素的像素值)作为输入信号T0时，VLPF单元81、RLPF单元83和LLPF单元84还对位于除包括目标像素的水平行之外的其它行(即，在包括目标像素的水平行之上或之下的几个其它水平行)上的像素进行处理。因此，尽管未图解在图中，但在VLPF单元81、RLPF单元83和LLPF单元84的上游配备了行存储器。其结果是，在一些情况下，图像处理设备的电路尺寸变大了。
于是，为了防止这样的尺寸增大，即，为了将图像处理设备的电路缩小成比如图13所示的那个更小的尺寸，可以采用如下方法。这种方法(下文称为“组合后带限方法”)可以包括如下步骤首先，组合各个方向上的校正值(组合来自如图11所示的单元21到24的输出信号)，然后，沿着预定方向(例如，垂直)对组合校正值(如图11所示的总校正单元42的输出信号T35)进行带限，最后，将带限组合校正值用作最后总校正值(在图11中，将通过带限组合校正信号T35获得的信号作为总校正信号供应给相加单元31)。这样，只需在沿着总校正值的预定方向进行带限的方块的上游配备一个行存储器。于是，可以缩小图像处理设备的电路尺寸。
更具体地说，与图13相比，图14图解了采用组合后带限方法的通过例如如图11所示的图像处理设备实现的图像处理设备。
如图14所示的根据本发明另一个实施例的图像处理设备与如图11所示的图像处理设备的不同之处在于，在总校正单元42的下游和相加单元31的下游配备了VLPF单元85。
VLPF单元85沿着垂直方向限制来自总校正单元42的输出信号(组合校正信号)T35的频带(即，对其进行低通滤波)，以便作为在总校正单元42上组合各自方向上的校正值的结果获得的组合校正值不受噪声影响。VLPF单元85将所得信号T41作为总校正信号输出到相加单元31。
因此，如图14所示，相加单元31将作为总校正信号的VLPF单元85的输出信号T41加入输入信号T0中，并将所得信号T0+T41作为最后输出信号T36输出到外部单元。
相对于来自总校正单元42的输出信号T35的带限方向是图14中的垂直方向。但是，该方法不局限于此。当进行防止图像捕获期间的模糊的增强时，需要防止模糊的方向常常是水平方向。因此，在这样的情况下，最好选择与作为需要防止模糊的方向上的水平方向正交的方向，即，图14中的垂直方向，作为对来自总校正单元42的输出信号T35进行带限的方向。
下面将描述对于如图14所示的图像处理设备，输入信号T0是包括沿着垂直方向移动的对象(物体)的图像的图像信号和对象(图像)的一部分是目标像素的情况。换句话说，将描述目标像素在水平方向上的运动向量MV-H是零的情况。此时，来自总校正单元42的输出信号T35是与沿着垂直方向增强的校正值相对应的信号。因此，对沿着垂直方向增强的校正值进行带限。结果，出现了输出信号T41特性是经过带通滤波器之后的特性的问题。
为了解决这个问题，如图15所示，让MV-H另外输入VLPF单元85中，和按照MV-H的幅度调整(控制)带限效果。
更具体地说，例如，可以将能够按照MV-H的幅度调整(控制)带限效果的VLPF单元85配置成如图16所示那样。
如图16所示，VLPF单元85包括HPF单元91、增益确定单元92、相乘单元93和相减单元94。
将来自总校正单元42的输出信号T35作为输入校正信号输入VLPF单元85的HPF单元91、增益确定单元92和相乘单元93中。
HPF单元91对输入校正信号T35进行高通滤波，并将所得输出信号T51供应给相乘单元93。
增益确定单元92拥有像如图17所示的那个那样的函数f(α)。于是，增益确定单元92将来自运动向量检测单元32(参照图15)的MV_H作为输入值α指定给函数f1(α)，并将输出值f1(MV_H)作为增益G供应给相乘单元93。
相乘单元93将来自相加单元31的输出信号T51乘以来自增益确定单元92的增益G，并将所得信号G×T51作为输出信号T52输出到相减单元94。
相减单元94从输入的校正信号T35中减去输出信号T52，并将所得信号T35-T52作为总校正信号T41供应给相加单元31(参照图15)。
换句话说，如图16所示，按照MV_H的幅度增益调整作为输入校正信号T35通过高通滤波器的结果获得的信号T51，以便生成信号T52。从输入的校正信号T35中减去信号T52，以便获得与作为输入校正信号T35通过低通滤波器的结果获得的信号等效的信号T41。输出信号T41作为总校正信号。
在这种情况下，当对象的多个运动部件是垂直运动部件时(即，当对象基本上沿着垂直方向运动时)，MV-H变成小值，从如图17所示的函数f(α)的特性中容易看出，增益G变成小于1的值。因此，在相减单元94上，与MV-H的幅度较大时(即，当对象的多个运动部件是水平运动部件时，或换句话说，当对象基本上沿着水平方向运动时)相比，从输入校正信号T35中减去的值(即，信号T52的电平)变小了。这样，在如图16所示的VLPF单元85上，可以按照MV-H的幅度控制带限效果。
取代采用简单低通滤波器配置，VLPF单元85采用如图16所示的配置是因为可以更容易地按照MV-H的幅度控制带限效果。
上面参照图14到16描述了采用组合后带限方法的图像处理设备。但是，图像处理设备的结构不局限于此，只要能够进行如下处理就行。
换句话说，当沿着第一方向依次排列至少一个像素形成一行时，当沿着与第一方向正交的第二方向依次排列至少一个这样的行形成图像时，以及当以行为单元输入与图像相对应的图像信号时，只要采用组合后带限方法的图像处理设备能够对图像信号进行如下图像处理就行。更具体地说，采用组合后带限方法的图像处理设备的结构不局限于如图14到16所示的那个，只要图像处理设备能够执行如下步骤就行沿着第一方向增强图像信号，并输出所得信号作为第一增强信号；沿着与第一方向不同的第二方向增强图像信号，并输出所得信号作为多个第二增强信号；按照预定组合方法组合第一增强信号和第二增强信号，并输出所得组合信号；沿着与第一方向不同的第二方向对组合信号进行带限，并输出所得信号作为图像信号的校正信号；并将校正信号加入图像信号中，并输出所得信号作为校正图像信号。
更具体地说，尽管未图解在图中，但除了在总校正单元35的下游和相加单元31的上游配备了VLPF单元(如图16所示的VLPF单元85)之外，被配置成与如图10所示的那个相同的图像处理设备也可以是采用组合后带限方法的图像处理设备。
上述过程(或过程的一部分)可以由硬件执行，也可以由软件执行。
在这样的情况下，图解在图8、10、11、13、14或15中的图像处理设备可以全部或部分由例如图解在图18中的计算机配置。
在图18中，中央处理单元(CPU)101按照存储在只读存储器(ROM)102中的程序或从存储单元108装入随机访问存储器(RAM)103中的程序进行各种处理。RAM 103还存储CPU 101进行各种处理所需的数据。
CPU 101、ROM 102和RAM 103可以通过总线104相互连接。总线104还与输入/输出接口105连接。
输入/输出接口105与包括键盘和鼠标的输入单元106、包括显示器的输出单元107、包括硬盘的存储单元108和包括调制解调器和终端适配器的通信单元109连接。通信单元109通过包括因特网的网络与其它设备通信。
如有需要，输入/输出接口105还与驱动器110连接。像磁盘、光盘、磁光盘或半导体存储器那样的可换式媒体附在输入/输出接口105上。如有需要，将通过输入/输出接口105读出的计算机程序安装在存储单元108中。
当一系列处理由软件执行时，将构成软件的程序从网络或记录媒体安装到内置在专用硬件中的计算机或，例如，能够通过安装各种程序执行各种功能的通用个人计算机中。
如图18所示，包括这样程序的记录媒体包括磁盘(可以包括软盘)、光盘(可以包括只读光盘存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(可以包括小型盘(MD))或可换式媒体(插件式媒体)111。这样的盘或媒体存储程序和用于将程序分配给用户，以及设备主体。记录媒体进一步包括存储要供应给用户的程序和事先安装在设备主体中的ROM 102和包括在存储单元108中的硬盘。
存储在本说明书所述的记录媒体中的程序的步骤可以以所述顺序按时序执行。但是，这些步骤未必按时序执行，也可以并行地执行或可以单独执行。
如上所述，本说明书所述的“系统”包括包括多个处理设备和处理单元的整个系统。
本领域的普通技术人员应该明白，视设计要求和其它因素而定，可以作出各种各校的修改、组合、重新组合和变更，而它们都在所附权利要求书及其等效物的范围之内。
权利要求
1.一种被配置成对包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据进行图像处理的图像处理设备，该设备包含水平方向图像处理装置，用于对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；垂直方向图像处理装置，用于利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；对角方向图像处理装置，用于利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；校正值确定装置，用于根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和校正装置，用于通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
2.根据权利要求1所述的图像处理设备，其中，对角方向图像处理装置包括45°左对角方向图像处理装置，用于利用位于相对于水平方向45°左对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；和45°右对角方向图像处理装置，用于利用位于相对于水平方向45°右对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理。
3.根据权利要求2所述的图像处理设备，进一步包含改变装置，用于根据目标像素的校正方向和用作校正值的指标的校正指标值，改变水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，其中，校正值确定装置根据水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值，处理结果由改变装置改变。
4.根据权利要求3所述的图像处理设备，其中，改变装置将具有与校正指标值相对应的长度的目标像素在校正方向上的向量设置成校正指标向量，将校正指标向量分解成沿着水平方向、垂直方向、45°左对角方向以及45°右对角方向上的向量，和根据沿着水平方向、垂直方向、45°左对角方向和45°右对角方向上的向量，改变水平方向图像处理装置、垂直方向图像处理装置、45°左对角方向图像处理装置和45°右对角方向图像处理装置所获得的处理结果，这些向量通过分解校正指标向量获得。
5.根据权利要求4所述的图像处理设备，进一步包含运动向量检测装置，用于检测目标像素的运动向量，其中，所述图像数据是构成运动图像的多个访问单元的预定访问单元上的图像数据，和其中，改变装置将运动向量检测装置检测到的运动向量用作目标像素的校正指标向量。
6.一种处理包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据的图像处理方法，该方法包含如下步骤对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
7.一种由计算机执行控制对包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据的图像处理的程序，该程序包含如下步骤对要处理的目标像素的像素值进行图像处理，该目标像素包括在包括在图像数据中的像素值中，图像处理利用位于水平方向上的包括目标像素的多个像素的像素值来进行；利用位于垂直方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；利用位于与水平方向和垂直方向不同的预定对角方向上的包括目标像素的多个像素的像素值对目标像素的像素值进行图像处理；根据水平方向图像处理装置、垂直方向图像处理装置和对角方向图像处理装置所获得的处理结果，确定目标像素的像素值的校正值；和通过将校正值确定装置确定的校正值加入目标像素的像素值中校正目标像素的像素值。
全文摘要
图像处理设备被配置成对包括位于沿着水平方向和垂直方向定义的平面上的多个像素的像素值的图像数据进行图像处理。该设备包括水平方向图像处理装置，用于对包括在图像数据中的目标像素的像素值进行水平方向上的图像处理；垂直方向图像处理装置，用于对目标像素的像素值进行垂直方向上的图像处理；对角方向图像处理装置，用于对目标像素的像素值进行预定方向上的图像处理；校正值确定装置，用于根据每个装置所获得的处理结果确定像素值的校正值；和校正装置，用于校正目标像素的像素值。
文档编号G06T3/00GK101039380SQ200710087800
公开日2007年9月19日 申请日期2007年3月19日 优先权日2006年3月17日
发明者西亨, 上田和彦, 浅野光康 申请人:索尼株式会社