使用加权信息的对象姿态估计和匹配系统的制作方法

专利名称：使用加权信息的对象姿态估计和匹配系统的制作方法
技术领域：
本发明涉及一种对象姿态估计和匹配系统，用于通过将在不同姿态、照明等条件下捕获的对象输入图像(包括人脸)与存储在数据库(DB)中的基准图像和三维对象模型进行匹配，来估计和匹配对象的姿态。
背景技术：
在IEICE学报D-II，1995年Vol.J78-D-II，No.11，1639-1649页的Shimada等的“Method of constructing a dictionary for personalidentification independent of face orientation(构造与脸部朝向无关的个人标识的库的方法)″中公开了传统的对象姿态估计和匹配系统的示例(下文中称为“第一现有技术”)。如图1所示，根据第一现有技术的对象姿态估计和匹配系统具有图像输入单元10、标准化部件(normalizer)15、匹配和姿态选择单元14以及特定姿态基准图像(pose-specific reference image)存储单元85。
这样构成的传统对象姿态估计和匹配系统如下进行操作特定姿态基准图像存储单元85存储在一种或多种姿态条件下捕获的一个或多个对象的至少一个特定姿态基准图像。从针对每一个姿态而捕获的一个图像或多个图像的平均中产生每一个特定姿态基准图像。图像输入单元10被实现为摄像机等，并且将捕获的输入图像存储在存储器(未示出)中。可以从记录的文件中读出输入图像，或者通过网络获得。标准化部件15使用从对象提取的特征点来对准输入图像，并产生标准化图像。在所示系统中，标准化部件15通过检测特征部分的位置，例如眼和嘴，作为特征点来对准输入图像。同样使特定姿态基准图像标准化并存储。标准化图像通常使用由特征提取处理而获得的特征。匹配和姿态选择单元41计算标准化图像与从特定姿态基准图像存储单元85获得的相应对象的特定姿态基准图像之间的距离值(或相似度)，并且选择到对象距离值最小(相似度最大)的基准图像之一，从而估计最佳姿态。例如，通过使用标准化相关或欧几里德距离，计算距离值。如果输入图像与一个对象(一对一匹配)相匹配，则将最小距离值与阈值进行比较，来确定输入图像是否与对象相同。如果搜索最接近输入图像的多个对象(基准图像)之一(一对N匹配)，则提取具有确定的到各个对象的最小距离值中最小一个的对象之一。
在JP-2003-58896A中公开了传统对象姿态估计和匹配系统的另一个示例(下文中称为“第二现有技术”)。如图2所示，根据第二现有技术的传统对象姿态估计和匹配系统具有图像输入单元10、比较图像产生器20、姿态候选者确定单元30、匹配和姿态选择单元41以及基准三维对象模型存储单元55。
这样构成的传统对象姿态估计和匹配系统如下进行操作基准三维对象模型存储单元55在其中登记(register)了各个对象的基准三维对象模型(对象的三维形状和对象表面纹理)。姿态候选者确定单元30确定至少一个姿态候选者。比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型，产生具有接近于输入图像照明条件的照明条件的比较图像。匹配和姿态选择单元41计算输入图像和比较图像之间的距离值(相似度)，并且选择到模型(对象)的距离值最小的比较图像(姿态候选者)之一，从而估计出最佳姿态。
在Pattern Recognition Letters，2003年Vol.24，499-507页的Guo等的“Human face recognition based on spatially weightedHausdorff distance(基于空间加权Hausdroff距离的人脸识别)″中公开了传统对象匹配系统的又一个示例(下文中称为“第三现有技术”)。如图3所示，根据第三现有技术的传统对象匹配系统具有图像输入单元10、标准化部件(normalizer)15、加权匹配单元45、基准图像存储单元89和加权系数存储单元99。
这样构成的传统对象匹配系统如下进行操作图像输入单元10和标准化部件15按照与根据第一现有技术的、由相同参考数字所表示的组件相同的方式进行操作。基准图像存储单元89针对每一个对象存储至少一个基准图像。加权系数存储单元99存储用于将标准化图像和基准图像进行比较的象素(特征)的加权系数。加权匹配单元45计算标准化图像和从基准图像存储单元89获得的各个对象的基准图像之间的距离值(或相似度)，并且选择距离值最小的基准图像之一，从而匹配输入图像。例如，如果欧几里德距离被用于计算距离，则根据D＝∑rw(r){x(r)-m(r)}2来计算加权的欧几里德距离，其中x(r)代表标准化图像，m(r)代表比较图像，并且w(r)代表加权系数(r代表象素或特征索引)。
上述传统的对象匹配系统具有下面的问题根据第一现有技术和第二现有技术，尽管可以估计和匹配姿态，如果在输入图像和来自DB的基准图像或比较图像之间由于对象的局部变形和不同的图像捕获条件而形成较大的局部不同，则降低了估计和匹配姿态的精确度。
上述问题的原因在于当对象变形时，即使通常将对象的姿态与基准图像或比较图像的姿态对准，对象具有不与基准图像或比较图像对准的局部区域，导致在局部区域中的不同象素值(或特征)。即使当对象不变形并且已经与局部区域对准时，根据第一现有技术，如果输入图像和基准图像是在不同条件下捕获的，则形成具有较大不同象素值的局部区域。例如，如果输入图像和基准图像是在不同照明条件下捕获的，则在不同区域产生阴影。根据第二现有技术，即使产生最接近输入图像的比较图像，因为在三维对象测量中的观察误差和产生比较图像的简化过程，它们具有不同的局部区域。
第三现有技术的问题在于如果在输入图像和基准图像中的对象姿态和照明条件互相不同，则降低了匹配精确度。
第三现有技术问题的原因在于针对对象的区域建立加权系数，并且如果姿态条件不同，则对象具有未对准区域，使得不可能执行正确的加权匹配。此外，当照明条件不同时，对于匹配非常重要的区域经常改变。然而，因为加权系数保持相同，不能够执行正确的加权匹配。

发明内容
本发明的目的是提供一种对象姿态估计和匹配系统，用于即使在输入图像和来自DB的图像之间的比较中形成较大的局部不同时，通过建立基于姿态的合适加权系数，非常精确地估计和匹配对象的姿态。
本发明的另一个目的是提供一种对象姿态估计和匹配系统，用于通过建立基于随着变形和照明条件变化而产生的变化的合适的加权系数，估计和匹配对象的姿态。
根据本发明的第一方面，一种对象姿态估计和匹配系统包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维加权系数；姿态候选者确定装置，用于针对对象确定姿态候选者；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述基准三维对象模型，将所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
产生并存储与三维对象模型相对应的三维加权系数。为了匹配输入图像，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当的加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第二方面，一种对象姿态估计和匹配系统包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；标准三维加权系数存储装置，用于预先存储标准三维加权系数；
基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；姿态候选者确定装置，用于针对对象确定姿态候选者；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第三方案，一种对象姿态估计和匹配系统包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；特定变化(variation-specific)基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型和图像变化相对应的基准三维加权系数；姿态候选者确定装置，用于针对对象确定姿态候选者；变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述基准三维对象模型，将与估计的变化相对应的所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当的加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中出现的变化相对应的特定变化三维加权系数，可以从输入图像中估计变化，并且采用相应的三维加权系数。因此，可以通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第四方案，一种对象姿态估计和匹配系统包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；特定变化标准三维加权系数存储装置，用于预先存储与图像变化相对应的标准三维加权系数；基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；姿态候选者确定装置，用于针对对象确定姿态候选者；变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定与估计的变化相对应的所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
从基于姿态候选者的三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中产生的变化相对应的特定变化三维加权系数，可以从输入图像中估计变化，并且采用相应的三维加权系数。因此，通过设置基于随着对象变形和照明条件变化而产生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第五方面，一种对象姿态估计和匹配系统包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态基准加权系数存储装置，用于预先存储与所述基准图像相对应的特定姿态基准加权系数；标准化装置，用于使输入图像标准化，以产生标准化图像；以及加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第六方面，一种对象姿态估计和匹配系统包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态标准加权系数存储装置，用于预先存储特定姿态标准加权系数；标准化装置，用于使输入图像标准化，以产生标准化图像；以及加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第七方面，一种对象姿态估计和匹配系统包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态和变化(pose-and variation-specific)基准加权系数存储装置，用于预先存储与所述基准图像和图像变化相对应的特定姿态和变化基准加权系数；标准三维对象模型存储装置，用于预先存储标准三维对象模型；标准化装置，用于使输入图像标准化，以产生标准化图像；变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，可以从标准化图像中估计变化，并且采用相应的加权系数。因此，通过设置基于随着对象变形和照明条件变化而产生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
根据本发明的第八方面，一种对象姿态估计和匹配系统包括
特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态和变化标准加权系数存储装置，用于预先存储与图像变化相对应的特定姿态和变化标准加权系数；标准三维对象模型存储装置，用于预先存储标准三维对象模型；标准化装置，用于使输入图像标准化，以产生标准化图像；变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
使用与特定姿态基准图像相对应的特定姿态加权系数，计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。此外，保持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，可以从标准化图像中估计变化，并且采用相应的加权系数。因此，通过设置基于随着对象变形和照明条件变化而产生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。


图1是根据第一现有技术的布置的方框图；图2是根据第二现有技术的布置的方框图；图3是根据第三现有技术的布置的方框图；图4是根据本发明第一实施例的对象姿态估计和匹配系统的布置的方框图；图5是第一实施例的操作序列(姿态估计)的流程图；图6是第一实施例的操作序列(一对一匹配)的流程图；图7是第一实施例的操作序列(一对N匹配)的流程图；
图8是第一实施例的操作序列(登记)的流程图；图9是示出了根据第一实施例的三维对象模型的坐标的特定示例的图；图10是示出了根据第一实施例的基准三维对象模型的特定示例的图；图11是示出了根据第一实施例的基准三维加权系数的特定示例的图；图12是示出了根据第一实施例的输入图像的特定示例的图；图13是示出了根据第一实施例的比较图像的特定示例的图；图14是示出了根据第一实施例的二维加权系数的特定示例的图；图15是示出了根据第一实施例的学习图像(learning image)的特定示例的图；图16是示出了根据第一实施例的比较图像的特定示例的图；图17是根据本发明第二实施例的对象姿态估计和匹配系统的布置的方框图；图18是第二实施例的操作序列(姿态估计)的流程图；图19是示出了根据第二实施例的标准三维加权系数的特定示例的视图；图20是示出了根据第二实施例的标准三维基本点的特定示例的图；图21是示出了根据第二实施例的基准三维基本点的特定示例的图；图22是示出了根据第二实施例的二维加权系数的特定示例的图；图23是根据本发明第三实施例的对象姿态估计和匹配系统的布置的方框图；图24是第三实施例的操作序列(姿态估计)的流程图；图25是第三实施例的操作序列(登记)的流程图；图26是示出了根据第三实施例的变化(照明条件)的特定示例的图；图27是示出了根据第三实施例的特定变化基准三维加权系数的特定示例的图；图28是示出了根据第三实施例的输入图像的特定示例的图；图29是示出了根据第三实施例的比较图像的特定示例的图；图30是示出了根据第三实施例的二维加权系数的特定示例的图；图31是根据本发明第四实施例的对象姿态估计和匹配系统的布置的方框图；图32是第四实施例的操作序列(姿态估计)的流程图；图33是根据第四实施例的特定变化基准三维加权系数的特定示例的视图；图34是示出了根据第四实施例的二维加权系数的特定示例的图；图35是根据本发明第五实施例的对象姿态估计和匹配系统的布置的方框图；图36是第五实施例的操作序列(姿态估计)的流程图；图37是第五实施例的操作序列(登记)的流程图；图38是示出了根据第五实施例的特定姿态基准图像的特定示例的图；图39是示出了根据第五实施例的特定姿态基准加权系数的特定示例的图；图40是示出了根据第五实施例的标准化图像的特定示例的图；图41是根据本发明第六实施例的对象姿态估计和匹配系统的布置的方框图；图42是第六实施例的操作序列(姿态估计)的流程图；图43是根据第六实施例的特定姿态标准加权系数的特定示例的图；图44是根据本发明第七实施例的对象姿态估计和匹配系统的设置的方框图；图45是第七实施例的操作序列(姿态估计)的流程图；图46是第七实施例的操作序列(登记)的流程图；图47是根据第七实施例的特定姿态和变化基准加权系数的特定示例的图；
图48是根据本发明第八实施例的对象姿态估计和匹配系统的布置的方框图；图49是第八实施例的操作序列(姿态估计)的流程图；以及图50是根据第八实施例的特定姿态和变化标准加权系数的特定示例的图。
具体实施例方式参考图4，根据本发明第一实施例的对象姿态估计和匹配系统包括图像输入单元10、比较图像产生器20、姿态候选者(posecandidates)确定单元30、加权匹配和姿态选择单元40、加权系数转换器60、基准三维对象模型存储单元55、基准三维加权系数存储单元65以及登记单元2。登记单元2包括三维对象模型登记器50、匹配和姿态选择单元41以及三维加权系数产生器62。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、基准三维对象模型存储单元55以及匹配和姿态选择单元41按照与根据图2所示的第二现有技术的、由相同参考数字表示的组件相同的方式操作。
基准三维加权系数存储单元65存储与各个对象的基准三维对象模型相对应的基准三维加权系数。
加权系数转换器60使用从三维对象模型存储单元55中获得的基准三维对象模型，将从基准三维加权系数存储单元65获得基准三维加权系数转换为基于从姿态候选者确定单元30获得的姿态候选者的二维加权系数。
加权匹配和姿态选择单元40使用从加权系数转换器60获得的二维加权系数，计算从输入单元10获得的输入图像和基于从比较图像产生器20获得的各个姿态候选者的比较图像之间的加权距离值(或相似度)，并且选择到模型(对象)距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态。
为了使输入图像与一个对象相匹配(一对一匹配)，与第一现有技术相同，进一步将最小距离值与阈值进行比较，以确定输入图像是否与对象相同。为了在多个对象中搜索最接近于输入图像(一对N匹配)的对象，提取在确定的到各个对象的最小距离值中距离值最小的对象。
三维对象模型登记器50将基准三维对象模型登记在基准三维对象模型存储单元55中。
三维加权系数产生器62使用从匹配和姿态选择单元41中获得的最佳姿态的比较图像和输入图像，根据从基准三维对象模型存储单元55中获得的基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习(learning)三维模型上每一个象素的匹配的重要程度，来产生基准三维加权系数，并且将产生的基准三维加权系数登记在基准三维加权系数存储单元65中。
下面参考图4和图5所示的流程图来详细说明针对姿态估计的本实施例整体操作。
首先，由图像输入单元10获得模型(对象)的输入图像(图5中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。加权系数转换器60使用基准三维对象模型(步骤130)，将从基准三维加权系数存储单元65中获得的基准三维加权系数转换为基于姿态候选者的二维加权系数(步骤130)。最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权的距离值Dkj(或者相似度)(步骤140)，并且选择到输入图像的模型(对象)的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
在上述流程图，从确定的姿态候选者组中选择距离值最小的姿态候选者。然而，控制可以返回到姿态候选者确定单元30，通过连续地改变姿态候选者，在姿态候选者中搜索距离值最小的姿态候选者。
下面参考图4和图6所示的流程图来详细说明针对一对一匹配的本实施例整体操作。
图6所示的步骤100到150与图5所示的步骤100到150相同。最后，加权匹配和姿态选择单元40将最小距离值与阈值进行比较，以确定输入图像是否与对象相同(步骤160)。
下面参考图4和图7所示的流程图来详细说明针对一对N匹配的本实施例整体操作。
首先，图像输入单元10产生模型(对象)的输入图像(图7中步骤100)。然后，加权匹配和姿态选择单元40设置模型号码k＝1(步骤170)。其后，针对每一个模型Ck执行与图6所示的用于姿态估计的步骤100到150相同的步骤，根据每一个模型Ck的最佳姿态，确定最小距离值。然后，使模型号码增加1(步骤171)，如果k等于或小于模型数目(步骤172)，则控制返回到步骤110，计算下一个模型的最小距离值。最后，作为匹配处理的结果，确定具有最小的最小距离值的模型Ck(步骤175)。
下面参考图4和图8所示的流程图来详细说明针对登记的本实施例整体操作。
首先，三维对象模型登记器50将对象Ck的基准三维对象模型登记在基准三维对象模型存储单元55中(图8中步骤300)。然后，三维加权系数产生器62首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10输入具有图像号码h的学习图像(learning image)(步骤200)，用于使用学习图像和基准三维对象模型来学习基准三维加权系数。然后姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。匹配和姿态选择单元41计算输入图像和比较图像之间的距离值(或相似度)Dkj′(步骤141)，并且选择到模型(对象)距离值最小的比较图像(姿态候选者)之一，从而估计出最佳姿态(步骤150)。然后，三维加权系数产生器62使图像号码h增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。如果图像号码h大于学习图像的号码N，则三维加权系数产生器62使用与所有学习图像相对应的最佳姿态的比较图像，根据基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，产生基准三维加权系数(步骤220)。最后，三维加权系数产生器62将产生的基准三维加权系数登记在基准三维加权系数存储单元65中(步骤230)。
下面来说明第一实施例的优点。
根据本实施例，产生并存储与三维对象模型相对应的三维加权系数。为了匹配输入图像，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权的距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态持有二维加权系数的情况更小的存储容量中，建立基于希望姿态的适当三维计算系数。
此外，根据本实施例，因为关于三维模型来学习与每一个象素的匹配的重要程度，可以利用比与所有姿态相对应的学习图像更少的学习图像，来确定基于希望姿态的适当三维加权系数。
下面说明第一实施例的操作的特定示例。在下面要说明的特定示例中，将人脸作为对象的示例。然而，第一实施例也适用于其它对象。
如图10所示，基准三维对象模型存储单元55存储对象Ck的基准三维对象模型(三维形状和纹理)。例如，可以由在JP-2001-12925A中公开的三维形状测量设备，或者由用于从JP-H09-91436A中公开的多个摄像机所捕获的多个图像中恢复三维形状的设备，来产生三维对象模型。
如图9所示，三维对象模型具有在对象表面的三维空间(x，y，z)中代表形状PQ(x，y，z)和纹理TQ(R，G，B)的信息。Q表示对象表面上点的索引。例如，索引Q与沿着远离对象中心的线、从对象表面上一点投影到在其中心具有对象重心的球体的点Q(s，t)的坐标相对应。为了匹配的目的，使用三维对象模型，根据计算机图形学，来产生在各种照明条件下的学习CG图像，并且针对其主要分量来分析学习CG图像，从而确定基本图像组。
如图11所示，基准三维加权系数存储单元65存储对象的基准三维加权系数VQk。例如，对于黑色区域，基准三维加权系数具有VQk＝1的值，对于白色区域，具有VQk＝0的值，并且对于灰色区域，具有0＜VQk＜1的值。
下面说明关于模型C1的姿态的估计。假设由图像输入单元10获得如图12所示的输入图像I(r)(图5中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。
可以与输入图像无关地预先设置姿态候选者组。然而，可以手动地或自动地从输入图像和三维模型中提取例如眼、鼻、嘴等的基准点，并且根据如在JP-2001-283229A中公开的用于计算对象的位置和朝向的处理，可以估计适当的姿态。在这种估计姿态附近产生姿态候选者组是有效的。
比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
如下产生具有接近于输入图像照明条件的照明条件的比较图像根据每一个姿态候选者，对预先确定的基本图像组进行坐标变换，并且根据最小平方法，确定坐标变换的基本图像的线性和的系数，使得线性和接近于输入图像。在图13中示出了关于对象C1而产生的比较图像的示例。
加权系数转换器60使用基准三维对象模型C1，将从基准三维加权系数存储单元65获得的基准三维加权系数VQ1转换为基于姿态候选者ej的二维加权系数W1j(r)(步骤130)。在图14中示出了关于对象C1而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1j(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离值Dkj(步骤140)。例如，如果使用欧几里德距离，则根据Dkj＝∑rWkj(r){I(r)-Gkj(r)}2来计算加权，并且如果使用相似度Skj，则根据Skj＝exp(-Dkj)来计算加权。
最后，加权匹配和姿态选择单元40选择到模型C1距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。例如，对于图13所示的比较图像，选择姿态e3，作为距离值最小的比较图像。
下面说明针对登记的第一实施例操作的特定示例。下面说明对象C1的基准三维对象模型的登记。
首先，三维对象模型登记器50将对象C1的基准三维对象模型登记在基准三维对象模型存储单元55中(图8中步骤300)。假设作为学习图像获得如图15所示的三个图像(学习图像是在对象C1的各种姿态条件下捕获的图像)。
则，三维加权系数产生器62首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10中输入具有图像号码h的学习图像(步骤200)，用于使用学习图像和基准三维对象模型来学习基准三维加权系数。
然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1jh(r)(步骤120)。
匹配和姿态选择单元41计算输入图像Ih(r)和比较图像之间G1jh(r)的距离值D1jh，(步骤141)。例如，如果使用欧几里德距离，则根据Dkjhi=Σr{Ih(r)-Gkjh(r)}2]]>来计算距离值。
匹配和姿态选择单元41选择到模型(对象)距离值最小的比较图像(姿态候选者)，从而确定最佳姿态(步骤150)。然后，三维加权系数产生器62使图像号码h增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N＝3(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。图16中示出了具有确定的与图15所示的各个学习图像Ih(r)相对应的最佳姿态的比较图像的示例。
如果图像号码h大于学习图像的号码N＝3，则三维加权系数产生器62使用与所有学习图像Ih(r)相对应的最佳姿态的比较图像G1jh(r)，根据基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，产生基准三维加权系数(步骤220)。例如，如果学习图像和比较图像之间误差较小的区域是对于匹配非常重要的区域，则将加权系数定义为平均误差的倒数。根据dkjh(r)＝|Ih(r)-Gkjh(r)|，计算作为二维图像的学习图像Ih(r)和比较图像Gkjh(r)之间的误差。
如果在根据姿态ej从三维对象模型中产生比较图像时由r＝F(s，t)代表三维对象模型上坐标(s，t)和二维图像上坐标r之间的关系，则根据{s，t}＝F-1(r)，根据反变换，确定与二维图像上象素r相对应的三维模型上的点的坐标。如果按照反变换将每一个象素的误差dkjh(r)映射到三维模型上的点{s，t}上，并且由EQk代表所有学习图像的平均误差，则根据VQk＝A/EQk(A代表标准化系数)来计算三维加权系数。根据针对每一个姿态候选者ej而获得的变换r＝F(s，t)，将三维加权系数VQk转换为二维加权系数Wkj(r)。最后，将对象C1的三维加权系数VQ1登记在基准三维加权系数存储单元65中(步骤230)。
参考图17，根据本发明第二实施例的对象姿态估计和匹配系统包括图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器61、基准三维对象模型存储单元55、标准三维加权系数存储单元66、基准三维基本点存储单元75、标准三维基本点存储单元76以及登记单元4。登记单元4包括三维对象模型登记器50和三维基本点登记器70。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、基准三维对象模型存储单元55以及三维对象模型登记器50按照与根据图4所示第一实施例的、由相同参考数字表示的组件相同的方式操作。
标准三维加权系数存储单元66存储标准三维加权系数。参考三维基本点存储单元75存储与对象的基准三维对象模型相对应的基准三维基本点。标准三维基本点存储单元76存储与标准三维对象模型相对应的标准三维基本点。
加权系数转换器61使用从标准三维基本点存储单元76中获得的标准三维基本点和从基准三维基本点存储单元75获得的基准三维基本点，来确定从标准三维加权系数存储单元66获得的标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为基于从姿态候选者确定单元30获得的姿态候选者的二维加权系数。
三维基本点登记器70关于从三维对象模型登记器50中获得的基准三维对象模型，确定基准三维基本点，并且将确定的三维基本点登记在基准三维基本点存储单元75中。
下面参考图17和图18所示的流程图来详细说明针对姿态估计的第二实施例整体操作。针对一对一匹配和一对N匹配的第二实施例整体操作类似于针对姿态估计的操作，除了增加的确定处理(图6中步骤160)和增加的确定具有最小距离值的模型的处理(图7中步骤175)之外，与第一实施例相同，并且下面不进行说明。
首先，由图像输入单元10获得输入图像(图18中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
加权系数转换器61使用从标准三维基本点存储单元76中获得的标准三维基本点和从基准三维基本点存储单元75中获得的基准三维基本点，来确定从标准三维加权系数存储单元66中获得的标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为基于姿态候选者的二维加权系数(步骤131)。
最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权距离值Dkj(或相似度)(步骤140)，并且选择到模型(对象)距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
下面详细说明针对登记的本实施例整体操作。首先，三维对象模型登记器50将Ck的基准三维对象模型登记在基准三维对象模型存储单元55中。然后，三维基本点登记器70针对从三维对象模型登记器50获得的基准三维对象模型，确定基准三维基本点，并且将确定的三维基本点登记在基准三维基本点存储单元75中。
下面来说明第二实施例的优点。
根据本实施例，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态持有二维加权系数的情况更小的存储容量中，建立基于希望姿态的适当三维计算系数。
此外，根据本实施例，因为持有代表多个对象的三维加权系数的平均的标准三维加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象持有基准三维加权系数的情况。当登记时不必要捕获与基准三维对象模型相对应的学习图像。
下面来说明第二实施例的操作的特定示例。
如图10所示，基准三维对象模型存储单元55存储对象Ck的基准三维对象模型(三维形状PQk(x，y，z)和纹理TQk(R，G，B)))。如图19所示，标准三维加权系数存储单元66存储标准三维加权系数VQ0。
此外，如图20所示，标准三维基本点存储单元76存储标准三维基本点Ni0的坐标。如图21所示，基准三维基本点存储单元75存储基准三维基本点Nik的坐标。基本点是用于位置对准的点，并且表示包括图20和21中左眼中间点、右眼中间点、鼻子顶部点、左嘴角点和右嘴角点的五点。
可以手动地预先设置基准三维基本点。然而，可以根据在Marugame和Sakamoto的″Extraction of feature areas from facialthree-dimensional data using shape information and colorinformation(使用形状信息和颜色信息从面部三维数据中提取特征区域)″，FIT(Forum of Information science Technology)，2002，I-100，199-200页中公开的面部特征提取处理，来自动地设置基准三维基本点。可以从基准三维基本点或预先为了学习目的而准备的三维对象模型的三维基本点的平均坐标中，确定标准三维基本点。可以通过位置对准基准三维加权系数或预先为了学习目的而准备的三维对象模型的三维加权系数，来确定标准三维加权系数，从而三维基本点与标准三维基本点对准，并且随后平均位置对准的三维加权系数。
对于除了基本点之外的位置对准点，可以通过根据内推法(interpolation)或外推法(extrapolation)确定基本点之间的对应，对于三维加权系数的坐标{s，t}和标准三维加权系数的坐标{s0，t0}，建立变换方程s0＝Hs(s，t)，t0＝Ht(s，t)。可以通过将象素的误差直接映射到标准三维模型上，来产生标准三维加权系数。
下面说明关于模型C1的姿态的估计。假设由图像输入单元10获得如图12所示的输入图像I(r)(图18中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j(r)(步骤120)。在图13中示出了关于对象C1而产生的比较图像的示例。
加权系数转换器61使用标准三维基本点Ni0和基准三维基本点Nik，来确定标准三维加权系数VQ0和基准三维对象模型PQk之间的坐标对应，并且将标准三维加权系数VQ0转换为基于姿态候选者ej的二维加权系数W1j(r)(步骤131)。当确定在标准三维加权系数VQ0和基准三维对象模型PQk(更具体地是纹理TQk)之间的坐标对应时，假定可以产生基准三维加权系数VQk(实际上没有产生基准三维加权系数VQk，而从标准三维加权系数中直接产生二维加权系数)。使用标准三维基本点Ni0和基准三维基本点Nik，以便确定标准三维加权系数VQ0和基准三维对象模型的纹理TQk之间的对应。根据s0＝Hs(F-1(r))，t0＝Ht(F-1(r))，确定与二维图像中坐标r相对应的标准三维加权系数的坐标{s0，t0}。在图18中示出了关于对象C1而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1j(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离值(步骤140)。最后，加权匹配和姿态选择单元40根据D1＝minjD1j，选择到模型C1的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
参考图23，根据本发明第三实施例的对象姿态估计和匹配系统包括图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器60、基准三维对象模型存储单元55、变化估计器35、特定变化基准三维加权系数存储单元67以及登记单元3。登记单元3包括三维对象模型登记器50、匹配和姿态选择单元41以及特定变化三维加权系数产生器63。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器60、基准三维对象模型存储单元55、三维对象模型登记器50以及匹配和姿态选择单元41按照与根据图4所示第一实施例的、由相同参考数字表示的组件相同的方式操作。
特定变化基准三维加权系数存储单元67存储与基准三维对象模型和图像变化相对应的基准三维加权系数。变化估计器35使用从姿态候选者确定单元30获得的姿态候选者和从基准三维对象模型存储单元55获得的基准三维对象模型，来确定从图像输入单元10获得的输入图像和三维对象模型的区域之间的对应，并且根据给定区域的图像信息，来估计变化。此外，变化估计器35根据估计的变化，将存储在特定变化基准三维加权系数存储单元67中的特定变化基准加权系数中的基准加权系数发送到加权系数转换器61。
特定变化三维加权系数产生器63使用从匹配和姿态选择单元41获得的最佳姿态的比较图像和输入图像，根据从基准三维对象模型存储单元55获得的基准三维对象模型、由最佳姿态所确定的二维图像和三维模型，针对从变化估计器35获得的每一个图像变化，通过学习三维模型上每一个象素的匹配的重要程度，来产生特定变化基准三维加权系数，并且将产生的基准三维加权系数登记在特定变化基准三维加权系数存储单元67中。
下面参考图23和图24所示的流程图来详细说明针对姿态估计的第三实施例整体操作。
首先，由图像输入单元10获得模型(对象)的输入图像(图24中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化。此外，变化估计器35根据估计的变化，将存储在特定变化基准三维加权系数存储单元67中的特定变化基准加权系数中的基准加权系数发送到加权系数转换器61(步骤180)。
加权系数转换器60使用基准三维对象模型，将从特定变化基准三维加权系数存储单元67获得的变化b的基准三维加权系数转换为基于姿态候选者的二维加权系数(步骤130)。最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权距离值Dkj(步骤140)，并且选择到输入图像的模型(对象)的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
下面参考图23和图25所示的流程图来详细说明针对登记的本实施例整体操作。
首先，三维对象模型登记器50将对象Ck的基准三维对象模型登记在基准三维对象模型存储单元55中(图25中步骤300)。
然后，特定变化三维加权系数产生器63首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10输入具有图像号码h的学习图像，用于使用学习图像和基准三维对象模型来学习基准三维加权系数。
然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
匹配和姿态选择单元41计算输入图像和比较图像之间的距离值Dkj-′(或相似度)(步骤141)，并且选择到模型(对象)的距离值最小的比较图像(姿态候选者)之一，从而估计出最佳姿态(步骤150)。
然后，变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化b(步骤180)。
然后，特定变化三维加权系数产生器63使图像号码h增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。
如果图像号码h大于学习图像的号码N，则特定变化三维加权系数产生器63使用与所有学习图像相对应的最佳姿态的比较图像，根据基准三维对象模型、由最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，产生特定变化基准三维加权系数(步骤221)。
最后，特定变化三维加权系数产生器63将产生的基准三维加权系数登记在特定变化基准三维加权系数存储单元67中(步骤231)。
下面来说明第三实施例的优点。
根据本实施例，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态保持有二维加权系数的情况更小的存储容量中，建立基于希望姿态的适当三维计算系数。
此外，根据本实施例，因为关于三维模型学习到每一个象素的匹配的重要程度，可以利用比与所有姿态相对应的学习图像更少的学习图像，来确定关于任意姿态的适当三维加权系数。
此外，根据本实施例，持有与在输入图像中产生的变化相对应的特定变化三维加权系数，从输入图像中估计变化，并且采用相应的三维加权系数。因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面来说明第三实施例的操作的特定示例。
例如，可以由对象变形和照明条件变化来代表图像变化。例如，照明条件变化可以是三种变化右照明方向(b＝1)、前照明方向(b＝2)以及左照明发现(b＝3)，如图26所示。
如图10所示，基准三维对象模型存储单元存储对象Ck的基准三维对象模型(三维形状PQk(x，y，z)和纹理TQk(R，G，B))。如图27所示，特定变化基准三维加权系数存储单元67存储特定变化基准三维加权系数VQkb。可以通过手动地或自动地使用变化估计器35，关于每一个变化来分组学习图像，并且学习关于每一个组的基准三维加权系数，可以产生特定变化基准三维加权系数。
下面来说明关于模型C1的姿态估计。假设由图像输入单元10获得如图28所示的输入图像I(r)(图24中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j(r)(步骤120)。在图29中示出了关于模型C1而产生的比较图像的示例。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，根据给定区域的图像信息来估计变化，并且根据估计的变化b，将存储在特定变化基准三维加权系数存储单元67中的特定变化基准加权系数中的基准加权系数发送到加权系数转换器60(步骤180)。
如下估计照明变化如果分别由L1、L2代表脸部的右半和左半的平均亮度值，则当|L1-L2|≤Th(TH代表阈值)时估计前照明方向(b＝2)，当L1＞L2+Th时估计右照明方向(b＝1)，并且当L2＞L1+Th时估计左照明方向(b＝3)。
如果假设由e1代表图28所示的输入图像的姿态候选者，则因为姿态不与输入图像相匹配，认为脸部左半上的阴影不是很大，平均亮度值之间的差满足关系|L1-L2|≤Th，并且确定前照明方向(b＝2)。类似地，如果假设由e2代表输入图像的姿态候选者，则正确地确定右照明方向(b＝1)。例如，通过使用在JP-2002-24830A中公开的图像匹配方法中的光源方向估计装置，可以更精确地估计姿态。加权系数转换器60将变化b的基准三维加权系数VQ1b转换为基于姿态候选者的二维加权系数W1jb(r)(步骤132)。在图30中示出了根据上述姿态估计的结果而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1jb(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离D1j(步骤140)。最后，加权匹配和姿态选择单元40根据D1＝minjD1j，选择到模型C1距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
参考图31，根据本发明第四实施例的对象姿态估计和匹配系统包括图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器61、基准三维对象模型存储单元55、基准三维基本点存储单元75、标准三维基本点存储单眼76、变化估计器35、特定变化标准三维加权系数存储单元68以及登记单元4。登记单元4包括三维对象模型登记器50以及三维基本点登记器70。
图像输入单元10、比较图像产生器20、姿态候选者确定单元30、加权匹配和姿态选择单元40、加权系数转换器61、基准三维对象模型存储单元55、基准三维基本点存储单元75、标准三维基本点存储单元76、三维对象模型登记器50以及三维基本点登记器70按照与根据图17所示第二实施例的、由相同参考数字表示的组件相同的方式操作。变化估计器35按照与根据图23所示第三实施例的变化估计器35相同的方式操作。特定变化标准三维加权系数存储单元68存储与图像变化相对应的标准三维加权系数。
下面参考图31和图32所示的流程图来详细说明针对姿态估计的本实施例整体操作。
首先，由图像输入单元10获得模型(对象)的输入图像(图32中步骤100)。然后，姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。然后，比较图像产生器20根据从基准三维对象模型存储单元55中获得的基准三维对象模型Ck，关于各个姿态候选者，产生具有接近于输入图像照明条件的照明条件的比较图像(步骤120)。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化b，并且根据估计的变化b，将存储在特定变化标准三维加权系数存储单元68中的特定变化标准加权系数中的标准加权系数发送到加权系数转换器61(步骤180)。
加权系数转换器61使用从标准三维基本点存储单元76获得的标准三维基本点和从基准三维基本点存储单元75获得的基准三维基本点，基于姿态候选者，来确定从特定变化基标准三维加权系数存储单元68获得的变化b的标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为二维加权系数。
最后，加权匹配和姿态选择单元40使用二维加权系数，来计算输入图像和比较图像之间的加权距离值Dkj(或相似度)(步骤140)，并且选择到模型(对象)的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
下面说明第四实施例的优点。
根据本实施例，从基于姿态候选者的基准三维对象模型中产生比较图像，并且将三维加权系数转换为二维加权系数，从而计算出加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，因为针对所有姿态只使用一个三维加权系数，可以在比要针对各个姿态持有二维加权系数的情况更小的存储容量中，建立基于任意姿态的适当三维计算系数。
此外，根据本实施例，因为持有代表多个对象的三维加权系数的平均的标准三维加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象持有基准三维加权系数的情况。当登记时不必要捕获与基准三维对象模型相对应的学习图像。
此外，根据本实施例，保持有与在输入图像中产生的变化相对应的特定变化三维加权系数，从输入图像中估计出变化，并且采用相应的三维加权系数。因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面说明第四实施例的特定操作。
如图10所示，基准三维对象模型存储单元55存储对象Ck的基准三维对象模型(三维形状PQk(x，y，z)和纹理TQk(R，G，B))。如图20所示，标准三维基本点存储单元76存储标准三维基本点Ni0的坐标。如图21所示，基准三维基本点存储单元75存储基准三维基本点Nik的坐标。此外，如图33所示，特定变化标准三维加权系数存储单元68存储根据变化而分类的标准三维加权系数VQ0b。可以通过手动地或自动地使用变化估计器35，关于每一个变化来分组学习图像，并且关于每一个分组来学习标准三维加权系数，从而产生特定变化标准三维加权系数。
下面说明关于模型C1的姿态估计。假设由图像输入单元10获得如图28所示的输入图像I(r)(图33中步骤100)。姿态候选者确定单元30确定姿态候选者组{ej}(步骤110)。比较图像产生器20根据基准三维对象模型C1，关于各个姿态候选者ej，产生具有接近于输入图像照明条件的照明条件的比较图像G1j(r)(步骤120)。在图29中示出了关于模型C1的比较图像的示例。
变化估计器35使用姿态候选者ej和基准三维对象模型Ck，来确定三维对象模型的区域和输入图像之间的对应，并且根据给定区域的图像信息，来估计变化b，并且将存储在特定变化标准三维加权系数存储单元68中的特定变化标准加权系数中相应变化b的标准加权系数发送到加权系数转换器61(步骤180)。
加权系数转换器61使用标准三维基本点Ni0和基准三维基本点Nik，来确定从特定变化标准三维加权系数存储单元68获得的变化b的标准三维加权系数VQ0b和基于姿态候选者的基准三维对象模型PQk之间的坐标对应，并且将标准三维加权系数VQ0b转换为二维加权系数W1jb(r)(步骤133)。在图34中示出了根据上述姿态估计的结果而产生的二维加权系数的示例。
加权匹配和姿态选择单元40使用二维加权系数W1jb(r)，来计算输入图像I(r)和比较图像G1j(r)之间的加权距离值D1j(步骤140)。最后，加权匹配和姿态选择单元40根据D1＝minjD1j，选择到模型C1的距离值最小的比较图像(姿态候选者)，从而估计出最佳姿态(步骤150)。
参考图35，根据本发明第五实施例的对象姿态估计和匹配系统包括图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态基准加权系数存储单元95以及登记单元7。登记单元7包括特定姿态基准图像登记器80、匹配和姿态选择单元41以及特定姿态加权系数产生器90。
图像输入单元10、标准化部件15、匹配和姿态选择单元41以及特定姿态基准图像存储单元85按照与根据第一现有技术的、由相同参考数字表示的组件相同的方式操作。加权匹配和姿态选择单元40使用从特定姿态基准加权系数存储单元95获得的特定姿态加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值，并且选择距离值最小的基准图像，从而估计出最佳姿态。特定姿态基准图像登记器80将特定姿态基准图像登记在特定姿态基准图像存储单元85中。特定姿态加权系数产生器90使用从匹配和姿态选择单元41获得的最佳姿态的基准图像和输入图像，关于各个姿态，通过学习每一个象素匹配的重要程度，来产生特定姿态基准加权系数，并且将产生的特定姿态基准加权系数登记在特定姿态基准加权系数存储单元95中。
下面参考图35和图36所示的流程图来详细说明针对姿态估计的第五实施例整体操作。
首先，由图像输入单元10获得输入图像(图36中步骤100)。然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。
最后，加权匹配和姿态选择单元40使用从特定姿态基准加权系数存储单元95获得的特定姿态基准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值(或相似度)(步骤145)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面参考图35和图37所示的流程图来详细说明针对登记的第五实施例整体操作。
首先，特定姿态基准图像登记器80将对象Ck的基准图像登记在特定姿态基准图像存储单元85中(图37中骤310)。然后，特定姿态加权系数产生器90首先设置图像号码h＝1(步骤210)，然后从图像输入单元10输入具有图像号码h的学习图像(步骤200)，以便使用学习图像和基准图像来学习基准三维加权系数。
然后，标准化部件15使用从对象提取出的特征点来对准输入图像，并且产生标准化图像(步骤101)。匹配和姿态选择单元41计算输入图像和基准图像之间的距离值Dkj′(或相似度)(步骤145)，并且选择到模型(对象)距离值最小的基准图像(姿态候选者)之一，从而估计出最佳姿态(步骤155)。
然后，特定姿态加权系数产生器90使图像号码增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。如果图像号码h大于学习图像的号码N，则特定姿态加权系数产生器90使用与所有学习图像相对应的最佳姿态的基准图像，关于每一个姿态，通过学习每一个详细匹配的重要程度，来产生特定姿态基准加权系数(步骤225)。第五实施例与第一实施例的不同只在于其具有特定姿态基准图像和基准加权系数，代替一个基准三维对象模型和基准三维加权系数。即，第一实施例中的针对各个姿态候选者的比较图像和二维加权系数与第五实施例中的基准图像和基准加权系数相对应。因此，关于重要程度的学习，如果使用基准图像代替比较图像G来计算第一实施例中的误差dkjh(r)并且由Ekj代表其(二维)平均误差，则可以根据Wkj＝A/Ekj来计算基准加权系数。
最后，特定姿态基准加权系数被登记在特定姿态加权系数存储单元95中(步骤235)。
下面说明第五实施例的优点。
根据本发明，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面来说明第五实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图39所示，基准加权系数存储单元95存储特定姿态基准加权系数Wkj。
下面说明关于模型C1的姿态估计。假设由图像输入单元10获得如图12所示的输入图像I(r)(图36中步骤100)。则，标准化部件15使用从对象提取出的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。在图40中示出了关于图12所示输入图像的标准化图像的示例。最后，加权匹配和姿态选择单元40使用从特定姿态基准加权系数存储单元95获得的各个对象的特定姿态基准加权系数W1j，来计算标准化图像I′(r)和从特定姿态基准图像存储单元85获得的特定姿态基准图像R1j(r)之间的加权距离值D1j(或相似度)(步骤145)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。如果使用欧几里德距离，则根据Dkj＝∑rWkj(r){I‘(r)-Rkj(r)}2来计算加权。例如，对于图40所示的标准化图像，将姿态e3的R13选择为距离值最小的比较图像。
参考图41，根据本发明第六实施例的对象姿态估计和匹配系统包括图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态标准加权系数存储单元96以及登记单元9。登记单元9包括特定姿态基准图像登记器80。
图像输入单元10、标准化部件15以及特定姿态基准图像存储单元85按照与根据图35所示第五实施例的、由相同参考数字表示的组件相同的方式操作。特定姿态标准加权系数存储单元96存储特定姿态标准加权系数。加权匹配和姿态选择单元40使用从特定姿态标准加权系数存储单元96获得的特定姿态标准加权系数，来计算标准化图像和从特定姿态基准图像存储单元95获得的特定姿态基准图像之间的加权距离值，并且选择距离值最小的基准图像，从而估计出最佳姿态。
下面参考图41和图42所示流程图来详细说明针对姿态估计的第六实施例整体操作。
首先，由图像输入单元10获得输入图像(图42中步骤100)。然后，标准化部件15使用从对象提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。最后，加权匹配和姿态选择单元40使用从特定姿态标准加权系数存储单元96获得的特定姿态标准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的各个对象的特定姿态基准图像之间的加权距离值(或相似度)(步骤146)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面说明第六实施例的优点。
根据本实施例，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本实施例，因为持有代表多个对象的加权系数的平均的标准加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象保持有基准三维加权系数的情况。当登记时不必要捕获与基准图像相对应的学习图像。
下面说明第六实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图43所示，特定姿态标准加权系数存储单元96存储特定姿态标准加权系数W0j。可以通过平均针对每一个姿态的特定姿态基准加权系数或者学习准备的针对每一个姿态的学习基准图像，来确定特定姿态标准加权系数。
下面说明关于模型C1的姿态估计。假设由图像输入单元12获得如图12所示的输入图像I(r)(图42中步骤100)。则，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。在图40中示出了关于图12所示输入图像的标准化图像的示例。最后，加权匹配和姿态选择单元40使用从特定姿态标准加权系数存储单元96获得的特定姿态标准加权系数W0j，来计算标准化图像I′(r)和从特定姿态基准图像存储单元85获得的各个对象的特定姿态基准图像R1j(r)之间的加权距离值D1j(或相似度)(步骤146)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
参考图44，根据本发明第七实施例的对象姿态估计和匹配系统包括图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态和变化基准加权系数存储单元97、变化估计器36、标准三维对象模型存储单元56以及登记单元8。登记单元8包括特定姿态基准图像登记器80、匹配和姿态选择单元41以及特定姿态和变化加权系数产生器91。
输入图像单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态基准图像登记器80以及匹配和姿态选择单元41按照与根据第五实施例的、由相同参考数字表示的组件相同的方式操作。
特定姿态和变化基准加权系数存储单元97存储特定姿态和变化加权稀释。标准三维对象模型存储单元56存储标准三维对象模型。
标准估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息以及从标准三维对象模型存储单元56获得的标准三维对象模型，来确定从标准化部件15获得的标准化图像和三维对象模型的区域之间的对应，并且根据给定区域的图像信息，来估计变化。此外，变化估计器36根据估计的变化，将存储在特定姿态和变化基准三维加权系数存储单元97中的特定姿态和变化加权系数中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40。
特定姿态和变化加权系数产生器91使用从匹配和姿态选择单元41获得的最佳姿态的基准图像和输入图像，通过针对从变化估计器36获得的每一个图像变化来学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数，并且将产生的特定姿态和变化基准加权系数登记在特定姿态和变化基准加权系数存储单元97中。
下面参考图44和图45所示的流程图来详细说明针对姿态估计的第七实施例整体操作。
首先，由图像输入单元10获得输入图像(图45中步骤100)。然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。
变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化基准三维加权系数存储单元97中的特定姿态和变化加权系数中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。
最后，加权匹配和姿态选择单元40使用从特定姿态和变化基准加权系数存储单元97获得的特定姿态和变化基准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值(或相似度)(步骤147)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面参考图44和图46所示流程图来详细说明针对登记的第七实施例整体操作。
首先，特定姿态基准图像登记器80将对象Ck的基准图像登记在特定姿态基准图像存储单元85中(图46中步骤310)。
然后，特定姿态和变化加权系数产生器91首先设置图像号码h＝1(步骤210)，并随后从图像输入单元10输入具有图像号码h的学习图像(步骤200)，以便使用学习图像和基准图像来学习基准加权系数。
然后，标准化期间15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。匹配和姿态选择单元41计算输入图像和基准图像之间的距离值Dkj′(或相似度)(步骤145)，并且选择到模型(对象)距离值最小的基准图像(姿态候选者)之一，从而估计出最佳姿态(步骤155)。
然后，变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b(步骤181)。
然后，特定姿态和变化加权系数产生器91使图像号码增加1(步骤211)。如果图像号码h等于或小于学习图像的号码N(步骤212)，则控制返回到步骤200，用于确定具有与下一个学习图像相对应的最佳姿态的比较图像。
如果图像号码h大于学习图像的号码N，则特定姿态和变化加权系数产生器91使用与所有学习图像相对应的最佳姿态的基准图像，关于每一个姿态和变化b，通过学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数(步骤226)。
最后，特定姿态和变化加权系数产生器91将产生的特定姿态和变化基准加权系数登记在特定姿态和变化基准加权系数存储单元97中(步骤236)。
下面说明第七实施例的优点。
根据本实施例，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本发明，持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，从标准化图像中估计变化，并且采用相应的加权系数，因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面说明第七实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图47所示，特定姿态和变化基准加权系数存储单元97存储特定姿态和变化基准加权系数Wkjb。
下面说明关系模型C1的姿态估计。假设由图像输入单元12获得如图28所示的输入图像I(r)(图45中步骤100)。
然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。
变化估计器36确定使用从特定姿态基准图像存储单元85获得的基准图像R1j的姿态信息ej和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化基准三维加权系数存储单元97中的特定姿态和变化加权系数Wkjb中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。根据基准图像的姿态信息和标准三维对象模型，确定基准图像的每一个象素与标准三维对象模型的哪一个区域相对应。因为利用假定的姿态使标准化图像与基准图像相匹配，使用标准化图像和基准图像之间的象素对应，来确定标准化图像的每一个象素与标准三维对象模型的哪一个区域相对应。根据给定区域的图像信息来估计变化的处理与第三实施例中的处理相同。例如，根据脸部右半和左半的平均亮度值，估计变化。因为确定了标准化图像的每一个象素与标准三维对象模型的哪一个区域相对应，可以使用标准化图像的象素的亮度值，来计算脸部的右半和左半的平均亮度值，并且可以估计变化。
如下估计照明变化如果分别关于姿态信息e1，e2，e3来确定前照明方向(b＝2)、前照明方向(b＝2)和右照明方向(b＝1)，则选择特定姿态和变化加权系数W112，W122，W131。最后，加权匹配和姿态选择单元40使用从特定姿态和变化加权系数存储单元97获得的特定姿态和变化基准加权系数W1jb(r)，来计算标准化图像I′(r)和特定姿态基准图像R1j之间的加权距离值D1j(步骤147)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。对于图40所示的标准化图像，当对于变化(照明条件)b＝1，由e3代表姿态和由W131代表特定姿态和变化加权系数时，距离值最小，并且选择距离值最小的比较图像R13。
参考图48，根据本发明第八实施例的对象姿态估计和匹配系统包括图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、特定姿态和变化标准加权系数存储单元98、变化估计器36、标准三维对象模型存储单元56以及登记单元9。登记单元9包括特定姿态基准图像登记器80。
图像输入单元10、标准化部件15、加权匹配和姿态选择单元40、特定姿态基准图像存储单元85、变化估计器36、标准三维对象模型存储单元56以及特定姿态基准图像登记器80按照与根据图44所示第七实施例的、由相同参考数字表示的组件相同的方式操作。加权匹配和姿态选择单元使用从特定姿态和变化标准加权系数存储单元98获得的特定姿态和变化标准加权系数，来计算从标准化部件15获得的标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值，并且选择距离值最小的基准图像，从而估计出最佳姿态。
下面参考图44和图49所示流程图来详细说明针对姿态估计的第八实施例整体操作。
首先，由图像输入单元10获得输入图像(图49中步骤100)。然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像(步骤101)。
变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像的姿态信息和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化标准三维加权系数存储单元98中的特定姿态和变化加权系数中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。
最后，加权匹配和姿态选择单元40使用从特定姿态和变化标准加权系数存储单元98获得的特定姿态和变化基准加权系数，来计算标准化图像和从特定姿态基准图像存储单元85获得的特定姿态基准图像之间的加权距离值(或相似度)(步骤147)，并且选择到对象距离值最小的基准图像(姿态)，从而估计出最佳姿态(步骤155)。
下面说明第八实施例的优点。
根据第八实施例，使用与特定姿态基准图像相对应的特定姿态加权系数来计算加权距离。因此，通过设置基于姿态的适当加权系数，可以执行非常精确的姿态估计和匹配。
此外，根据本实施例，因为持有代表多个对象的加权系数的平均的标准加权系数，用于存储标准三维加权系数的存储容量远小于要针对对象保持有基准三维加权系数的情况。当登记时不必要捕获与基准图像相对应的学习图像。
此外，根据本发明，保持有与在输入图像中产生的变化相对应的特定姿态和变化加权系数，从标准化图像中估计变化，并且采用相应的加权系数，因此，通过设置基于随着对象变形和照明条件变化而发生的变化的适当加权系数，可以执行非常精确的姿态估计和匹配。
下面说明第八实施例的操作的特定示例。
如图38所示，特定姿态基准图像存储单元85存储对象Ck的特定姿态基准图像Rkj。如图43所示，特定姿态和变化标准加权系数存储单元98存储特定姿态和变化标准加权系数W0jb。可以通过平均针对每一个姿态和变化的特定姿态和姿态基准加权系数或者针对每一个姿态和变化的准备的学习基准图像，来确定特定姿态和变化标准加权系数。
下面说明关于模型C1的姿态估计。假设由图像输入单元10获得如图28所示的输入图像I(r)(图49中步骤100)。
然后，标准化部件15使用从对象中提取的特征点来对准输入图像，并且产生标准化图像I′(r)(步骤101)。变化估计器36使用从特定姿态基准图像存储单元85获得的基准图像R1j的姿态信息ej和从标准三维对象模型存储单元56获得的标准三维对象模型，来确定标准化图像和三维对象模型的区域之间的对应，根据给定区域的图像信息来估计变化b，并且根据估计的变化，将存储在特定姿态和变化标准三维加权系数存储单元98中的特定姿态和变化加权系数W0jb中的相应特定姿态和变化加权系数发送到加权匹配和姿态选择单元40(步骤181)。
如下估计照明变化如果分别关于姿态信息e1，e2，e3来确定前照明方向(b＝2)、前照明方向(b＝2)和右照明方向(b＝1)，则选择特定姿态和变化加权系数W112，W122，W131。
最后，加权匹配和姿态选择单元40使用从特定姿态和变化标准加权系数存储单元98获得的特定姿态和变化标准加权系数W0jb(r)，来计算标准化图像I′(r)和特定姿态基准图像R1j之间的加权距离值D1j(步骤147)，并且选择到对象距离值最小的基准图像(姿态)(步骤155)。
在本发明的第二和第四实施例中，使用基本点来确定标准三维加权系数和基准三维模型之间的对应，并且产生二维加权系数。然而，可以预先计算对应，并且可以将标准三维加权系数转换为基准三维加权系数，并且可以存储这种基准三维加权系数。
在本发明的第五到第八实施例中，关于每一个姿态(以及每一个变化)，使用特定姿态学习基准图像，来学习特定姿态基准加权系数、特定姿态标准加权系数、特定姿态和变化基准加权系数以及姿态和变换特定标准加权系数。然而，对于第一到第四实施例，可以使用基准三维对象模型，可以反转地将输入图像和基准图像之间的误差转换为三维对象模型上的误差，并且可以学习三维加权系数并基于姿态将其转换，从而产生加权系数。可以从学习基准图像中产生基准三维对象模型，或者可以使用三维形状测量设备来产生。不需要准备基于姿态的学习基准图像。
在第三、第四、第七和第八实施例中，说明了变化随着照明条件而发生。然而，变化不局限于发生在照明条件中。如果随着对象形状变形而发生变化(如果对象是人脸时脸部改变)，则使用给定区域的图像信息可以估计变化。例如，通过准备图像模板并且将眼或嘴与图像模板相匹配，可以估计眼的开合和嘴的开合。可选地，可以不执行变化的估计，然而可以将所有特定变化三维加权系数或特定姿态和变化加权系数用于执行加权匹配，并且可以选择距离值最小(相似度最大)的变化。
在本发明的每一个实施例中，对于姿态估计，使用加权系数并且计算加权距离。然而，如果要实现的是匹配，则对于姿态估计，可以执行不使用加权系数的距离计算来确定最佳姿态，并随后再次计算加权距离。
在本发明的每一个实施例中，根据输入图像(或标准化图像)和基准图像(或比较图像)之间的象素的误差的平均的倒数，确定加权系数。然而，加权系数不局限于按照上述方法来确定。除了对于基准图像的相同对象的输入图像，可以使用和学习不同对象的输入图像。同时，如果由EQk代表在对象Ck的学习图像上平均的平均误差并且由EQk代表在另一个对象的学习图像上平均的平均误差，则例如根据(VQk＝A′EQk-/EQk(A′指示标准化系数)，可以建立基准三维加权系数。
可以硬件实现或者通过将执行上述装置的功能的对象姿态估计和匹配程序(应用程序)加载到计算机的存储器中并控制计算机来执行作为根据本发明的对象姿态估计和匹配系统的组件的装置的功能。对象姿态估计和匹配系统被存储在记录介质中，例如磁盘、半导体存储器等，并且从记录介质加载到计算机中。
尽管上面已经说明了本发明的优选实施例，本发明不局限于上述实施例，而是可以按照在其技术概念范围内的各种方式来修改。
权利要求
1.一种对象姿态估计和匹配系统，包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维加权系数；姿态候选者确定装置，用于针对对象确定姿态候选者；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述基准三维对象模型，将所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
2.一种对象姿态估计和匹配系统，包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；标准三维加权系数存储装置，用于预先存储标准三维加权系数；基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；姿态候选者确定装置，用于针对对象确定姿态候选者；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
3.一种对象姿态估计和匹配系统，包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；特定变化基准三维加权系数存储装置，用于预先存储与所述基准三维对象模型和图像变化相对应的基准三维加权系数；姿态候选者确定装置，用于针对对象确定姿态候选者；变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述基准三维对象模型，将与估计的变化相对应的所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最高的比较图像之一，从而估计和匹配所述对象的姿态。
4.一种对象姿态估计和匹配系统，包括基准三维对象模型存储装置，用于预先存储对象的基准三维对象模型；特定变化标准三维加权系数存储装置，用于预先存储与图像变化相对应的标准三维加权系数；基准三维基本点存储装置，用于预先存储与所述基准三维对象模型相对应的基准三维基本点；标准三维基本点存储装置，用于预先存储与标准三维对象模型相对应的标准三维基本点；姿态候选者确定装置，用于针对对象确定姿态候选者；变化估计装置，用于使用所述姿态候选者和所述基准三维对象模型，来确定三维对象模型和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；比较图像产生装置，用于根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；加权系数转换装置，用于使用所述标准三维基本点和所述基准三维基本点，来确定与估计的变化相对应的所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及加权匹配和姿态选择装置，用于使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
5.根据权利要求1所述的对象姿态估计和匹配系统，还包括三维对象模型登记装置，用于将基准三维对象模型登记在所述基准三维对象模型存储装置中；匹配和姿态选择装置，用于计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及三维加权系数产生装置，用于使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，来产生基准三维加权系数，并且将产生的基准三维加权系数登记在所述基准三维加权系数存储装置中。
6.根据权利要求3所述的对象姿态估计和匹配系统，还包括三维对象模型登记装置，用于将基准三维对象模型登记在所述基准三维对象模型存储装置中；匹配和姿态选择装置，用于计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及三维加权系数产生装置，用于使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，关于输入图像的各个图像变化，通过学习三维模型上每一个象素的匹配的重要程度，来产生特定变化基准三维加权系数，并且将产生的特定变化基准三维加权系数登记在所述特定变化基准三维加权系数存储装置中。
7.根据权利要求2或4所述的对象姿态估计和匹配系统，还包括三维对象模型登记装置，用于将基准三维对象模型登记在所述基准三维对象模型存储装置中；三维基本点登记装置，用于关于所述基准三维对象模型，确定基准三维基本点，并且将确定的基准三维基本点登记在所述基准三维基本点存储装置中。
8.一种对象姿态估计和匹配系统，包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态基准加权系数存储装置，用于预先存储与所述基准图像相对应的特定姿态基准加权系数；标准化装置，用于使输入图像标准化，以产生标准化图像；以及加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
9.一种对象姿态估计和匹配系统，包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态标准加权系数存储装置，用于预先存储特定姿态标准加权系数；标准化装置，用于使输入图像标准化，以产生标准化图像；以及加权匹配和姿态选择装置，用于使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
10.一种对象姿态估计和匹配系统，包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态和变化基准加权系数存储装置，用于预先存储与所述基准图像和图像变化相对应的特定姿态和变化基准加权系数；标准三维对象模型存储装置，用于预先存储标准三维对象模型；标准化装置，用于使输入图像标准化，以产生标准化图像；变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
11.一种对象姿态估计和匹配系统，包括特定姿态基准图像存储装置，用于预先存储对象的特定姿态基准图像；特定姿态和变化标准加权系数存储装置，用于预先存储与图像变化相对应的特定姿态和变化标准加权系数；标准三维对象模型存储装置，用于预先存储标准三维对象模型；标准化装置，用于使输入图像标准化，以产生标准化图像；变化估计装置，用于使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及加权匹配和姿态选择装置，用于使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
12.根据权利要求8所述的对象姿态估计和匹配系统，还包括特定姿态基准图像登记装置，用于将特定姿态基准图像登记在所述特定姿态基准图像存储装置中；匹配和姿态选择装置，用于计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及特定姿态加权系数产生装置，用于使用输入图像和最佳姿态的基准图像，关于各个姿态，通过学习每一个象素的匹配的重要程度，来产生特定姿态基准加权系数，并且将产生的特定姿态基准加权系数登记在所述特定姿态加权系数存储装置中。
13.根据权利要求10所述的对象姿态估计和匹配系统，还包括特定姿态基准图像登记装置，用于将特定姿态基准图像登记在所述特定姿态基准图像存储装置中；匹配和姿态选择装置，用于计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及特定姿态和变化加权系数产生装置，用于使用输入图像和最佳姿态的基准图像，关于所述输入图像的各个姿态和各个图像变化，通过学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数，并且将产生的特定姿态和变化基准加权系数登记在所述特定姿态和变化加权系数存储装置中。
14.根据权利要求9或11所述的对象姿态估计和匹配系统，还包括特定姿态基准图像登记装置，用于将特定姿态基准图像登记在所述特定姿态基准图像存储装置中。
15.根据权利要求3、4、6、7、10、11、13和14之一所述的对象姿态估计和匹配系统，其中，所述图像变化包括照明条件中的变化。
16.根据权利要求3、4、6、7、10、11、13和14之一所述的对象姿态估计和匹配系统，其中，所述图像变化包括形状变形。
17.根据权利要求1到14之一所述的对象姿态估计和匹配系统，其中，所述对象包括脸部。
18.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的基准三维对象模型；预先存储与所述基准三维对象模型相对应的基准三维加权系数；针对对象，确定姿态候选者；根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；使用所述基准三维对象模型，将所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
19.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的基准三维对象模型；预先存储标准三维加权系数；预先存储与所述基准三维对象模型相对应的基准三维基本点；预先存储与标准三维对象模型相对应的标准三维基本点；针对对象，确定姿态候选者；根据所述基准三维对象模型，产生接近于基于所述姿态候选者的输入图像的比较图像；使用所述标准三维基本点和所述基准三维基本点，来确定所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
20.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的基准三维对象模型；预先存储与所述基准三维对象模型和图像变化相对应的基准三维加权系数；针对对象，确定姿态候选者；使用所述姿态候选者和所述基准三维对象模型，确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；根据所述基准三维对象模型，产生接近于基于所述姿态候选者的所述输入图像的比较图像；使用所述基准三维对象模型，将与估计的变化相对应的所述基准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
21.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的基准三维对象模型；预先存储与图像变化相对应的标准三维加权系数；预先存储与所述基准三维对象模型相对应的基准三维基本点；预先存储与标准三维对象模型相对应的标准三维基本点；针对对象，确定姿态候选者；使用所述姿态候选者和所述基准三维对象模型，确定三维对象模型的区域和输入图像之间的对应，并且根据所述输入图像的给定区域的图像信息，来估计变化；根据所述基准三维对象模型，产生接近于基于所述姿态候选者的所述输入图像的比较图像；使用所述标准三维基本点和所述基准三维基本点，确定与估计的变化相对应的所述标准三维加权系数和所述基准三维对象模型之间的坐标对应，并且将所述标准三维加权系数转换为基于所述姿态候选者的二维加权系数；以及使用所述二维加权系数，来计算所述输入图像和所述比较图像之间的加权距离值或相似度，并且选择到所述对象距离值最小或与所述对象相似度最大的比较图像之一，从而估计和匹配所述对象的姿态。
22.根据权利要求18所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤登记基准三维对象模型；计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，通过学习三维模型上每一个象素的匹配的重要程度，来产生基准三维加权系数，并且将产生的基准三维加权系数。
23.根据权利要求20所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤登记基准三维对象模型；计算学习输入图像和基于姿态候选者而从所述基准三维对象模型产生的比较图像之间的距离值或相似度，并且选择到所述对象距离值最小的或者与所述对象相似度最大的比较图像之一，从而估计并匹配所述对象的姿态；以及使用输入图像和最佳姿态的比较图像，根据在所述基准三维对象模型、从最佳姿态所确定的二维图像以及三维模型之间的象素对应，关于输入图像的各个图像变化，通过学习三维模型上每一个象素的匹配的重要程度，来产生特定变化基准三维加权系数，并且登记产生的特定变化基准三维加权系数。
24.根据权利要求19或21所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤登记基准三维对象模型；关于所述基准三维对象模型，确定基准三维基本点，并且登记确定的基准三维基本点。
25.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的特定姿态基准图像；预先存储与所述基准图像相对应的特定姿态基准加权系数；使输入图像标准化，以产生标准化图像；以及使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
26.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的特定姿态基准图像；预先存储特定姿态标准加权系数；使输入图像标准化，以产生标准化图像；以及使用所述特定姿态加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
27.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的特定姿态基准图像；预先存储与所述基准图像和图像变化相对应的特定姿态和变化基准加权系数；预先存储标准三维对象模型；使输入图像标准化，以产生标准化图像；使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
28.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤预先存储对象的特定姿态基准图像；预先存储与图像变化相对应的特定姿态和变化标准加权系数；预先存储标准三维对象模型；使输入图像标准化，以产生标准化图像；使用所述基准图像的姿态信息和所述标准三维对象模型，来确定三维对象模型的区域和标准化图像之间的对应，并且根据所述标准化图像的给定区域的图像信息，来估计变化；以及使用所述基准图像的姿态信息和与估计的变化相对应的所述特定姿态和变化加权系数，来计算所述标准化图像和所述基准图像之间的加权距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计和匹配所述对象的姿态。
29.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤登记特定姿态基准图像；计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及使用输入图像和最佳姿态的基准图像，关于各个姿态，通过学习每一个象素的匹配的重要程度，来产生特定姿态基准加权系数，并且登记产生的特定姿态基准加权系数。
30.一种使计算机能够执行处理的对象姿态估计和匹配程序，所述处理包括步骤登记特定姿态基准图像；计算学习输入图像和所述基准图像之间的距离值或相似度，并且选择到所述对象距离值最小的或与所述对象相似度最大的基准图像之一，从而估计并匹配所述对象的姿态；以及使用输入图像和最佳姿态的基准图像，关于所述输入图像的各个姿态和各个图像变化，通过学习每一个象素的匹配的重要程度，来产生特定姿态和变化基准加权系数，并且登记产生的特定姿态和变化基准加权系数。
31.根据权利要求26或28所述的对象姿态估计和匹配程序，其中，所述处理还包括步骤登记特定姿态基准图像。
32.根据权利要求20、21、23、24、27、28、30和31之一所述的对象姿态估计和匹配程序，其中，所述图像变化包括照明条件中的变化。
33.根据权利要求20、21、23、24、27、28、30和31之一所述的对象姿态估计和匹配程序，其中，所述图像变化包括形状变形。
34.根据权利要求14到31之一所述的对象姿态估计和匹配程序，其中，所述对象包括脸部。
全文摘要
公开了一种对象姿态估计和匹配系统，用于通过建立适当的加权系数，非常精确地估计并使对象的姿态与在不同姿态、照明条件下捕获的对象的图像相匹配。姿态候选者确定单元针对对象确定姿态候选者。比较图像产生单元根据基准三维对象模型，产生接近于基于姿态候选者的输入图像的比较图像。加权系数转换单元使用标准三维基本点和基准三维基本点，来确定标准三维加权系数和基准三维对象模型之间的坐标对应，并且将标准三维加权系数转换为基于姿态候选者的二维加权系数。加权匹配和姿态选择单元使用二维加权系数，计算所述输入图像和比较图像之间的加权距离值或相似度，并且选择到对象距离值最小的或与对象相似度最大的比较图像之一，从而估计和匹配对象的姿态。
文档编号G06T1/00GK1846232SQ20048002490
公开日2006年10月11日 申请日期2004年8月27日 优先权日2003年8月29日
发明者滨中雅彦 申请人:日本电气株式会社