专利名称：图像比较系统和图像比较方法
技术领域：
本发明涉及一种图像比较系统、图像比较方法和图像比较程序，更具体地，涉及一种图像比较系统、图像比较方法和图像比较程序，即使在不能够预先寄存对象的三维模型，在系统的数据库中或者在网络上仅存在每个对象的一个或很少几个基准图像，并且这些基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也能够进行高精度的比较和搜索。
背景技术：
图25是示出了传统的图像比较系统的方框图。该传统的图像比较系统包括图像输入装置115、图像转换装置117、图像比较装置157、基准图像存储单元130以及标准三维对象模型存储单元135。
通过感知对象的图像而获得的基准图像被预先存储在基准图像存储单元130中。标准三维对象模型被预先存储在标准三维对象模型存储单元135中。图像转换装置117通过使用从标准三维对象模型存储单元135获得的三维对象模型，转换来自图像输入装置115的输入图像和从基准图像存储单元130获得的每一个基准图像中的一个或两者，以产生局部图像，使得相对于输入图像和基准图像的共同的局部图像，姿态条件相同。
局部区域是诸如眼、鼻或口之类的特征部分。可以通过预先在图像和三维对象模型中指定特征点，使局部区域彼此相关联。图像比较装置157将输入图像的局部图像与图像转换装置117所转换的每一个基准图像相比较，计算平均相似度，并且针对每一个对象选择具有最大相似度的基准图像(例如，日本专利公开No.2000-322577(专利参考1))。
图26是示出了另一个传统的图像比较系统的方框图。该传统图像比较系统包括图像输入装置115、照明变化校正装置122、图像转换装置118、图像比较装置158、基准图像存储单元130以及标准三维对象模型存储单元135。
通过感知对象的图像而获得的基准图像被预先存储在基准图像存储单元130中。标准三维对象模型被预先存储在标准三维对象模型存储单元135中。照明变化校正装置122通过使用从标准三维对象模型存储单元135获得的三维对象模型，估计来自图像输入装置115的输入图像的照明条件(表面反射率)。图像转换装置118通过使用三维对象模型，转换输入图像，产生图像，以便满足基准图像的照明条件。图像比较装置158将图像转换装置118所转换的输入图像与各个基准图像相比较，计算相似度，并且针对每一个对象选择具有最大相似度的基准图像(日本专利公开No.2002-024830(专利参考2))。
图27是示出了另一个传统的图像比较系统的方框图。该传统的图像比较系统包括图像输入装置115、基准三维对象模型存储单元137以及姿态估计/比较装置150。姿态估计/比较装置150包括姿态候选决定装置120、比较图像产生装置140以及图像比较装置155。
通过测量对象而产生的基准三维对象模型被预先存储在基准三维对象模型存储单元137中。姿态估计比较装置150计算从图像输入装置115获得的输入图像和从基准三维对象模型存储单元137获得的每一个基准三维对象模型之间的最短距离值(或者最高相似度)，并且选择具有最小的最短距离值的模型。
更具体地，姿态候选决定装置120产生至少一个姿态候选。然后，比较图像产生装置140根据姿态候选，在将基准三维对象模型投影到二维图像上时，产生接近于输入图像的比较图像。图像比较装置155计算比较图像和输入图像之间的距离值，并且针对每一个模型选择具有最小距离值的比较图像，从而估计出最佳姿态并且获得输入图像和基准三维对象模型之间的最短距离值。此外，图像比较装置155选择具有最小的最短距离值的模型(例如，日本专利公开No.2003-058896(专利参考3))。
发明内容
本发明要解决的问题如果输入图像和基准图像的姿态或照明条件不同，专利参考1和2的图像比较系统不能够以足够高的精度执行比较。
原因如下。在专利参考1中，通过估计每一个图像的姿态来匹配姿态条件，从而执行图像转换。然而，难以精确地估计图像的姿态，因此不能够正确地匹配图像。此外，使用与要观察的对象的三维形状不同的标准三维对象模型来执行图像转换。因此，如果形状复杂或者姿态条件有很大不同，图像转换的失真将增加。
在专利参考2中，通过使用与要观察的对象的三维形状不同的标准三维对象模型，估计照明条件，来执行图像转换。因此，尽管校正大致精确，有时在精细部分会出现校正误差。
此外，如果没有预先寄存每一个对象的三维对象模型或者基准图像的数目较少，专利参考3的系统不能够执行比较。
原因如下。在专利参考3的技术中，预先寄存三维对象模型并且与输入图像相比较。此外，为了预先寄存三维对象模型，必须在比较之前由三维形状测量设备测量每一个对象。然而，在多种情况下难以执行该测量。还可以从多个图像中产生三维对象模型，然而如果基准图像的数目较少，难以产生三维对象模型。
解决问题的手段考虑到以上情况，做出本发明，并且本发明的目的是即使在对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以进行高精度的比较和搜索。
本发明的另一个目的是即使在不能够预先获得每一个对象的三维对象模型时，也可以进行高精度的比较和搜索。
本发明的另一个目的是即使在每一个对象仅具有一个或几个基准图像时，也可以进行高精度的比较和搜索。
为了实现以上目的，根据本发明的图像比较系统的特征在于包括输入装置，用于输入对象的三维数据；基准图像存储装置，用于存储至少一个对象的基准图像；姿态候选产生装置，用于产生姿态候选作为对象姿态的候选；比较图像产生装置，用于根据姿态候选，在将三维数据投影到二维图像时，产生接近于基准图像的比较图像；以及图像比较装置，用于根据基准图像和比较图像之间的距离值和相似度之一，执行比较。
根据本发明的图像比较方法的特征在于包括步骤输入对象的三维数据；产生姿态候选作为对象姿态的候选；根据姿态候选，在将三维数据投影到二维图像时，产生接近于基准图像的比较图像；以及根据基准图像和比较图像之间的距离值和相似度之一，执行比较。
根据本发明的图像比较程序的特征在于使计算机执行以下过程输入对象的三维数据；产生姿态候选作为对象姿态的候选；根据姿态候选，在将三维数据投影到二维图像时，产生接近于基准图像的比较图像；以及根据基准图像和比较图像之间的距离值和相似度之一，来执行比较。
本发明的效果本发明的第一效果在于，即使在每一个对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也能够以高精度执行比较和搜索。这是因为测量了对象的三维数据，产生与感知诸如每一个基准图像的姿态和照明之类的条件的图像相匹配的比较图像，并且通过将比较图像与基准图像相比较，执行比较。
第二效果在于，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或几个基准图像时，也能够以高精度执行比较和搜索。这是因为由于测量了对象的三维数据，产生与现有基准图像相匹配的比较图像，并且通过将比较图像与基准图像相比较来执行比较。
图1是示出了根据本发明的图像比较系统的第一实施例的设置的方框图；图2是示出了第一实施例的图像比较装置的设置的方框图；
图3是示出了第一实施例中的1∶1比较的操作的流程图；图4是示出了第一实施例中的1∶N比较的操作的流程图；图5是示出了第一实施例中的基准图像的实际示例的视图；图6是示出了第一实施例中的三维数据的实际示例的视图；图7是示出了第一实施例中的比较图像的实际示例的视图；图8是示出了本发明第二实施例的设置的方框图；图9是示出了第二实施例中的1∶N操作的流程图；图10是示出了本发明第三实施例的设置的方框图；图11是示出了第三实施例的图像比较装置的设置的方框图；图12是示出了第三实施例中的1∶N比较的操作的流程图；图13是示出了第三实施例中的标准三维基准点的实际示例的视图；图14是示出了第三实施例中的标准三维加权系数的实际示例的视图；图15是示出了第三实施例中的基准加权系数的实际示例的视图；图16是示出了第三实施例中的输入三维基准点的实际示例的视图；图17是示出了第三实施例中的二维加权系数的实际示例的视图；图18是示出了本发明第四实施例的设置的方框图；图19是示出了第四实施例的操作的流程图；图20是示出了第四实施例的操作的流程图；图21是示出了第四实施例中的代表性三维对象模型的实际示例的视图；图22是示出了本发明第五实施例的设置的方框图；图23是示出了第五实施例的操作的流程图；图24是示出了第五实施例中的代表性图像的实际示例的视图；图25是示出了传统的图像比较系统的方框图；图26是示出了另一个传统的图像比较系统的方框图；以及图27是示出了另一个传统的图像比较系统的方框图。
具体实施例方式
下面将参考附图来详细描述本发明的实施例。
(第一实施例)图1是示出了根据本发明的图像比较系统的第一实施例的设置的方框图。在图1中，参考数字10表示用于输入三维数据的三维数据输入装置；30表示基准图像存储单元；以及50表示姿态估计/比较装置。姿态估计/比较装置50包括姿态候选决定装置20、比较图像产生装置40以及图像比较装置55。
这些装置的操作的概述如下。首先，通过感知至少一个对象的图像而获得的基准图像被预先存储在基准图像存储单元30中。并不局限于诸如基准图像的姿态和照明之类的图像感知条件。此外，可以将基准图像存储单元30并入系统或者通过网络与系统相连。
三维数据输入装置10输入要比较的对象(或者要搜索的对象)的三维数据。可以通过使用例如在日本专利公开No.2001-12925中描述的三维形状测量设备，或者在日本专利公开No.9-91436中描述的从由大量摄像机捕获的多个图像中恢复三维形状的设备，来产生三维数据。
姿态估计/比较装置50计算由三维数据输入装置10输入的三维数据和从基准图像存储单元30获得的基准图像之间的最短距离值(或者最高相似度)。更具体地，姿态候选决定装置20产生姿态候选，作为至少一个对象的姿态的候选(由对象的位置和方向表示对象的姿态)。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像。
图像比较装置55包括图2所示的计算器55a、选择器55b以及比较器55c。图像比较装置55在计算器55a中计算比较图像和基准图像之间的距离值，并且在选择器55b中选择相对于基准图像具有最小距离值的比较图像，从而估计出最佳姿态并且获得三维数据和基准图像之间的最短距离值。此外，在与一个对象(基准图像)的比较(1∶1比较)中，比较器55c将最短距离值与阈值相比较，以确定两个对象是否相同。即，如果最短距离值等于或小于阈值，比较器55c确定两个对象相同；否则，比较器55c确定两个对象是不同的。此外，在从多个对象中搜索最接近于输入三维数据的一个对象(基准图像)的处理(1∶N比较)中，比较器55c选择具有最小的最短距离值的基准图像。注意，当要通过使用比较图像和基准图像之间的相似度来执行确定时，如果相似度等于或大于阈值，则确定两个对象相同，否则，确定两个对象不同。
下面参考图1以及图3所示的流程图，详细解释本实施例的1∶1比较的整体操作。在该解释中，将描述输入三维数据与基准图像Rk的比较。
参考图3，三维数据输入装置10输入三维数据(步骤100)。然后，姿态候选决定装置20决定姿态候选组{ej}(步骤110)。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像Rk的比较图像(步骤120)。图像比较装置55计算比较图像和基准图像之间的距离值(步骤130)。此外，图像比较装置55选择具有最小距离值的比较图像，从而估计出最佳姿态并且获得三维值和基准图像Rk之间的最短距离值(步骤140)。
尽管在以上描述中从预定姿态候选组中选出了具有最小距离值的姿态候选，还可以回到姿态候选决定装置20，在顺序改变姿态候选时搜索具有最小距离值的候选姿态。然后，姿态估计/比较装置50将最短距离值与阈值相比较，以确定两个对象是否相同(步骤155)。
下面参考图1以及图4所示的流程图，详细解释本实施例的1∶N比较的整体操作。参考图4，三维数据输入装置10输入三维数据(步骤100)。然后，姿态估计/比较装置50首先将基准图像的图像号设置为k＝1(步骤150)。其后，在步骤110至140中，执行与图3所示的步骤110至140相同的处理。
随后，姿态估计/比较装置50将图像号k增加1(步骤151)，并且将图像号k与图像数M(基准图像的数目)相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110以执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
下面通过使用实际示例来更详细地解释本实施例的操作。尽管通过采用人脸作为比较对象示例来进行解释，本发明当然还适用于其他对象的比较。首先，如图5所示，将对象k的基准图像Rk(r)(r是象素或特征的索引)存储在基准图像存储单元30中。注意，这些图像的姿态条件不一定相同(未示出照明条件之间的不同)。还要注意，在该示例中针对每一个对象存储了一个基准图像，并且还可以针对每一个对象存储多个基准图像。
下面描述1∶N比较的操作。首先，假定从三维数据输入装置10输入图6所示的三维数据(图4中的步骤100)。如图6所示，该三维数据将对象表面上的三维空间(x，y，z)中的形状PQ(x，y，z)以及纹理TQ(R，G，B)作为信息。Q表示对象表面上的点的索引，并且例如与点Q(s，t)的坐标相对应，点Q(s，t)是通过将对象表面上的点从对象质心投影到具有以对象质心为中心的球体上而获得的。为了增加比较的效率，预先由计算机图形在各种照明条件下根据三维数据产生用于学习的CG图像，并且通过分析这些用于学习的CG图像的主分量来获得基本图像组。
然后，姿态估计/比较装置50首先将基准图像的图像号设置为k＝1(步骤150)。姿态候选决定装置20决定姿态候选组{ej}(步骤110)。尽管可以与基准图像无关地预先设置姿态候选组，还可以手动地或自动地从基准图像和三维数据中提取诸如眼、鼻和口之类的基准点，并且通过使用在日本专利公开No.2001-283229中描述的一种用于计算对象的位置和方向的方法，来估计出大致姿态，从而产生与估计姿态相似的姿态候选组。还可以通过将预先准备的代表性三维数据(模型)与基准图像相比较，预先估计并存储大致姿态，不需要使用任何的输入三维数据。
然后，比较图像产生装置40根据姿态候选ej，在将三维数据投影到二维图像上时，产生与基准图像Rk的照明条件相接近的比较图像Gkj(r)(步骤120)。可以根据每一个姿态候选，通过转换之前获得的基本图像的坐标，并且按照最小平方法计算具有转换坐标的基本图像的线性和的系数，以使线性和接近于输入图像，来产生与基准图像的照明条件相接近的这些比较图像。图7示出了针对基准图像R1而产生的比较图像的示例(未示出灰度级信息)。
随后，图像比较装置55计算比较图像和基准图像之间的距离值(步骤130)。例如，当使用欧几里德距离时，可以按照下式计算距离值Dkj＝∑r{Rk(r)-Gkj(r)}2例如，当使用相似度Skj时，可以按照下式计算相似度SkjSkj＝exp(-Dkj)在这种情况下，姿态估计/比较装置50通过选择具有最小距离值的比较图像，估计出最佳姿态，并且还按照下式计算三维数据和基准图像Rk之间的最短距离值Dk最短距离值Dk＝minjDkj(步骤140)。例如，在图7所示的情况下，选择G11。
然后，使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，以执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。在图6所示的三维数据的情况下，例如，如果基准图像Rk的最短距离值被计算为{20，50，25}，选择图5所示的基准图像R1作为具有最小的最短距离值的基准图像。
注意，在该实施例中计算了比较图像和基准图像之间的距离值，然而还可以使用相似度来代替距离值。作为示例，可以按照上述方法计算相似度。当使用相似度时，输出具有最大的最高相似度的基准图像作为比较结果。
这适用于以下所述的所有实施例。
在本实施例中，测量对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使在对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量对象的三维数据并且将该三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。
(第二实施例)图8是示出了本发明第二实施例的方框图。在图8中，与图1所示相同的参考数字表示相同的部件。该实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置51以及基准校正系数存储单元65。姿态估计/比较装置51包括姿态候选决定装置20、比较图像产生装置40、图像比较装置55以及分数校正装置60。与图1所示的不同之处在于添加了分数校正装置60和基准校正系数存储单元65。
这些装置的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20、比较图像产生装置40以及图像比较装置55执行与图1所示的第一实施例相同的处理。
将用于校正与基准图像相关的比较分数(距离值或相似度)的系数预先存储在基准校正系数存储单元65中。姿态估计/比较装置51计算从三维数据输入装置10输入的三维数据和从基准图像存储单元30获得的基准图像之间的最短距离值(或者最高相似度)，并且还通过使用从基准校正系数存储单元65获得的校正系数，来校正该最短距离值。
更具体地，姿态候选决定装置20产生至少一个姿态候选。比较图像产生装置40根据候选姿态，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像。图像比较装置55计算比较图像和基准图像之间的距离值，并且针对每一个基准图像选择具有最小的距离值的比较图像，从而估计出最佳姿态并且获得三维数据和基准图像之间的最短距离值。
分数校正装置60通过使用与基准图像相对应的校正系数，校正最短距离值。此外，在与一个对象(基准图像)的比较(1∶1比较)中，分数校正装置60将校正的最短距离值与阈值相比较，以确定两个对象是否相同。此外，在从多个对象中搜索接近于输入三维数据的对象(基准图像)的处理(1∶N比较)中，分数校正装置60选择具有最小的校正最短距离值的基准图像。
下面参考图8以及图9所示的流程图，详细解释本实施例的1∶N比较的整体操作。
参考图9，三维数据输入装置10输入三维数据(步骤100)。然后，姿态估计/比较装置50首先将基准图像的图像号设置为k＝1(步骤150)。此外，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳的姿态并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。
随后，分数校正装置60通过使用与基准图像Rk相对应的校正系数，校正最短距离值(步骤160)。姿态估计/比较装置51使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，执行相同的处理，从而计算出下一个基准图像的最短距离值，并且通过使用与基准图像相对应的校正系数，校正最短距离值。如果在步骤152中图像号k等于或大于图像数M，输出具有最小的校正最短距离值的基准图像Rk作为比较结果(步骤153)。
在1∶1比较中，按照与第一实施例相同的方式执行步骤100、110、120、130、140和160中的处理，并在其后执行图3所示的步骤155中的处理。在图3所示的步骤155中，如以下所述，通过将距离值与阈值相比较，确定两个对象是否相同。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例中的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将如表1所示的校正系数存储在基准校正系数存储单元65中。例如，通过由第一实施例的图像比较系统计算预先准备的每一个代表性三维数据(代表性三维对象模型)Ch(h＝1，...，H)和基准图像Rk之间的最短距离值Dkh，并且计算最短距离值的平均值Ek＝∑hDkh/H(或者具有较小的最短距离值的高阶候选的平均值)，从Ak＝A/Ek(A是预设常数)中得到校正系数Ak。例如，如果A＝20并且各个基准图像的最短距离值的平均值Ek是{50，40，20}，校正系数Ak如表1所示。例如，表1表示基准图像R1是在较差的条件下捕获的并且具有较大的平均距离值。
假定从三维数据输入装置10输入如图6所示的三维数据(图9中的步骤100)。姿态估计/比较装置50最初将基准图像的图像号设置为k＝1(步骤150)。然后，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳姿态并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。
随后，分数校正装置60通过使用与基准图像Rk相对应的校正系数，校正最短距离值(步骤160)。例如，通过使用校正系数Ak，可以按照Dk’＝AkDk来校正最短距离值Dk。姿态估计/比较装置51使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110以执行相同的处理，从而计算出下一个基准图像的最短距离值，并且通过使用与基准图像相对应的校正系数，校正最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的校正最短距离值的基准图像Rk作为比较结果(步骤153)。例如，如果基准图像Rk的最短距离值被计算为{40，60，25}，通过使用表1所示的校正系数而校正的最短距离值是{16，30，25}，因此选择基准图像R1作为具有最小的最短距离值的基准图像。
在本实施例中，测量了对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。此外，因为通过校正由基准图像的图像感知条件引起的比较分数波动来执行比较，即使在基准图像的图像感知条件不同时或者存在具有较差图像质量的基准图像时，也可以以高精度执行比较和搜索。
注意，在第二实施例中，存储校正系数Ak，当与校正系数Ak相乘时校正距离值。然而，本发明并不局限于该实施例。例如，还可以存储代表性三维模型Ch和基准图像Rk之间的所有最短距离值Dkh，或者存储假定的分布函数的函数参数。例如，当假定正态分布时，可以存储平均值Ek和标准方差σk，并且按照Dk′＝(Dk-Ek)/σk来执行校正，从而将分布归一化为标准正态分布。
(第三实施例)图10是示出了本发明第三实施例的方框图。在图10中，与图1相同的参考数字表示相同的部件。该实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置52、三维基准点提取装置12、标准三维基准点存储单元72、标准三维加权系数存储单元75以及基准加权系数存储单元77。姿态估计/比较装置52包括姿态候选决定装置20、比较图像产生装置40、图像比较装置56以及输入加权系数转换装置70。
这些装置的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20以及比较图像产生装置40执行与图1所示的第一实施例相同的处理。
与标准对象模型相对应的标准三维基准点被存储在标准三维基准点存储单元72中。标准三维加权系数被存储在标准三维加权系数存储单元75中。与基准图像相对应的加权系数被存储在基准加权系数存储单元77中。
三维基准点提取单元12从自三维数据输入装置10获得的三维数据中手动地或自动地提取三维基准点。
姿态估计/比较装置52通过使用与从输入加权系数转换装置70获得的输入数据相对应的加权系数，或者与从基准加权系数存储单元77获得的基准图像相对应的加权系数，计算从三维数据输入装置10获得的三维数据和从基准图像存储单元获得的基准图像之间的最短距离值(或者最高相似度)。
更具体地，姿态候选决定装置20产生至少一个姿态候选。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像。输入加权系数转换装置70通过使用从标准三维基准点存储单元72获得的标准三维基准点和从三维基准点提取装置12获得的三维数据，获得从标准三维加权系数存储单元75获得的标准三维加权系数到从三维数据输入装置10获得的三维数据的坐标对应，并且根据从姿态候选决定装置20获得的姿态候选，将标准三维加权系数转换为二维加权系数。
图像比较装置56包括图11所示的计算器56a、选择器56b以及比较器56c。图像比较装置56通过使用从输入加权系数转换装置70获得的、并与输入的三维数据相对应的加权系数，或从基准加权系数存储单元77获得的、与基准图像相对应的加权系数，在计算器56a计算比较图像和基准图像之间的距离值，并且在选择器56b中针对每一个基准图像选择具有最小的距离值的比较图像，从而估计出最佳的姿态并且获得三维数据和基准图像之间的最短距离值。此外，在与一个对象(基准图像)的比较(1∶1比较)中，比较器56c将最短距离值与阈值相比较，以确定两个对象是否相同。此外，在从多个对象中搜索最接近于输入三维数据的对象(基准图像)的处理(1∶N比较)中，比较器56c选择具有最小的最短距离值的基准图像。
下面参考图10以及图12所示的流程图，详细解释本实施例的1∶N比较的整体操作。
参考图12，三维数据输入装置10输入三维数据(步骤100)。然后，三维基准点提取装置12手动地或自动地从三维数据中提取三维基准点(步骤170)。姿态估计/比较装置52首先将参考图像的图像号设置为k＝1(步骤150)。姿态候选决定装置20决定姿态候选组{ej}(步骤110)。
随后，比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像Rk的比较图像(步骤120)。输入加权系数转换装置70通过使用标准三维基准点和三维数据的三维基准点，获得标准三维加权系数到三维数据的坐标对应，并且根据姿态候选，将标准三维加权系数转换为二维加权系数(步骤180)。
然后，图像比较装置56通过使用从输入加权系数转换装置70获得的、并与输入三维数据相对应的加权系数，或者从基准加权系数存储单元77获得的、并与基准图像相对应的加权系数，计算比较图像和基准图像之间的距离值(步骤131)，并且针对每一个基准图像选择具有最小距离值的比较图像。从而估计出最佳的姿态并且获得三维数据和基准图像之间的最短距离值(步骤140)。此外，姿态估计/比较装置52使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
在1∶1比较中，按照与第一实施例相同的方式执行步骤100、170、110、120、180、131以及140中的处理，并在其后执行图3所示步骤155中的处理。在图3的步骤155中，如以下所述，通过将距离值与阈值相比较，确定两个对象是否相同。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将与图13所述的标准三维对象模型相对应的标准三维基准点Ni0(i是基准点的索引)存储在标准三维基准点存储单元72中。三维基准点是用于调整的点。图13所示的示例表示了五个点，即左眼的中点、右眼的中点、鼻尖、嘴的左角以及嘴的右角。
尽管可以预先手动地设置三维基准点，还可以通过使用例如在Marugame等的“Extraction of Feature Portions from FacialThree-Dimensional Data Using Shape Information and ColorInformation”，2002年九月，FIT(Forum of Information Science&Technology)，2002，I-100，199和200页中描述的面部特征提取方法，自动地设置三维基准点。可以按照预先准备的、用于学习的三维对象模型的每一个三维基准点的平均坐标，或者按照从通过平均用于学习的三维对象模型而形成的标准三维对象模型中获得的三维基准点，计算标准三维基准点。
此外，将图14所示的标准三维加权系数VQ0存储在标准三维加权系数存储单元75中。在图14所示的示例中，黑色区域具有数值VQ0＝1，白色区域具有数值VQ0＝0而阴影区域具有数值0＜VQ0＜1。可以通过使用预先准备的用于学习的三维对象模型的三维加权系数，即，通过校准三维加权系数以使用于学习的每一个三维对象模型的三维基准点与标准三维基准点相匹配，以及对校准的三维加权系数进行平均，来计算标准三维加权系数。
可以通过内插法或外推法来确定基准点的对应，可以校准除了基准点之外的点，从而设置三维加权系数的坐标值{s，t}以及标准三维加权系数的坐标值{s0，t0}的变换公式s0＝Hs(s，t)以及t0＝Ht(s，t)。可以通过使用通过在各种条件下感知用于学习的三维对象模型的对象的图像而形成的、用于学习的图像，预先学习用于学习的三维对象模型的三维加权系数。更具体地，通过将用于学习的三维对象模型用作输入三维数据并且将用于学习的图像用作基准图像，第一实施例的图像比较系统被用于获得最佳姿态，并且在获得最佳姿态时，计算基准图像与从三维数据中产生的比较图像的象素之间的误差。
加权系数是在比较中表示象素的重要性的量。例如，可以针对具有较小平均误差的象素来增加权重。可以根据比较图像与三维对象模型的对应，通过对三维对象模型上比较图像和基准图像的象素进行平均，计算平均误差，来设置三维加权系数。
此外，将图15所示的与基准图像相对应的加权系数Uk(r)存储在基准加权系数存储单元77中。在图15所示的示例中，黑色区域具有数值Uk(r)＝1，白色区域具有数值Uk(r)＝0，并且阴影区域具有数值0＜Uk(r)＜1。例如通过将除面部区域之外的区域的权重设置为0，或者降低亮度值较大或较小的区域的权重，可以手动地或自动地预先设置与基准图像相对应的加权系数。
假定从三维数据输入装置10输入图6所示的三维数据(图12中步骤100)。三维基准点提取装置12手动地或自动地从三维数据中提取三维基准点(步骤170)。图16示出了从图6所示的三维数据中提取的三维基准点的示例。
然后，姿态估计/比较装置52首先将基准图像的图像号设置为k＝1(步骤150)。姿态候选决定装置20决定姿态候选组{ej}(步骤110)。比较图像产生装置40根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像Rk的比较图像Gkj(r)(步骤120)。图7示出了针对基准图像R1而产生的比较图像的示例。
随后，输入加权系数转换装置70通过使用标准三维基准点和三维数据的三维基准点，获得标准三维加权系数到三维数据的坐标对应，并且根据姿态候选，将标准三维加权系数VQ0转换为二维加权系数Wkj(r)(步骤180)。图17示出了针对图7所示的比较图像而产生的二维加权系数的示例。
然后，图像比较装置56通过使用从输入加权系数转换装置70获得的、并与输入数据相对应的加权系数Wkj(r)，或者从基准加权系数存储单元77获得的、并与基准图像相对应的加权系数Uk(r)，计算比较图像和基准图像之间的距离值Dkj’(步骤131)，并且针对每一个基准图像选择具有最小的距离值的比较图像，从而估计出最佳姿态并且获得三维数据和基准图像之间的最短距离值(步骤140)。
例如，当使用加权的欧几里德距离时，按照下式计算距离值Dkj’Dkj′＝∑rWkj(r)Uk(r){Rk(r)-Gkj(r)}2还可以仅使用加权系数Wkj(r)和Uk(r)之一。然后，姿态估计/比较装置52使图像号k增加1(步骤151)，并且将图像号k与图像数M(基准图像的数目)相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤110，执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
在本实施例中，测量对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量了对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。因为通过使用与每一个部分相对应的加权系数来加权比较而执行图像比较，可以进一步增加比较和搜索的精确度。
注意，尽管第三实施例使用一个标准三维加权系数(以及一个标准三维基准点)，还可以使用多个加权系数。在这种情况下，预先存储指示标准三维加权系数与基准图像的对应的信息。此外，通过用于学习的图像和从用于学习的三维对象模型中产生的比较图像的象素之间的误差平均，计算标准三维加权系数。然而，本发明并不局限于该实施例。此外，在姿态估计中，通过使用加权系数来计算加权距离。然而，还可以在姿态估计中不使用任意加权系数地计算距离，并且在获得最佳姿态之后计算加权的距离。
(第四实施例)图18是示出了本发明第四实施例的方框图。在图18中，与图1相同的参考数字表示相同的部件。该实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置53、代表性三维对象模型存储单元36、三维比较装置80、组存储单元85以及基准图像选择单元82。姿态估计/比较装置53包括姿态候选决定装置20、比较图像产生装置40以及图像比较装置55。
这些状态的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20、比较图像产生装置40以及图像比较装置55执行与图1所示的第一实施例相同的处理。
此外，预先准备的代表性三维对象模型被存储在代表性三维对象模型存储单元36中。代表性三维对象模型和基准图像的相关信息(表示代表性三维对象模型与基准图像的对应的信息)被预先存储在组存储单元85中。
三维比较装置80将从三维数据输入装置10获得的三维数据与从代表性三维对象模型存储单元36获得的每一个代表性三维对象模型相比较，并且选择最相似的代表性三维对象模型。基准图像选择装置82根据从组存储单元85获得的相关信息，选择与三维比较装置80所选择的代表性三维对象模型相对应的基准图像组。
姿态估计/比较装置53计算从三维数据输入装置10获得的三维数据和从基准图像存储单元30获得的每一个基准图像之间的最短距离值(或者最高相似度)，并且选择具有最小的最短距离值的基准图像。此处使用的基准图像是从基准图像选择装置83获得的基准图像组。
下面参考图8以及图19和20中所述的流程图，详细地解释本实施例的整体操作。首先，三维数据输入装置10输入三维数据(图19中步骤100)。然后，三维比较装置80首先将代表性三维对象模型的模型号设置为h＝1(步骤210)。三维比较装置80计算三维数据和每一个代表性三维对象模型Ch之间的相似度Sh(步骤220)。随后，三维比较装置80使模型号h增加1(步骤211)，并且将模型号h与模型数H相比较(步骤212)。如果模型号h等于或小于模型数H，流程返回到步骤210以执行相同的处理，从而计算出下一个代表性三维对象模型的相似度。
如果在步骤212中完成了与所有的代表性三维对象模型的比较，选择具有最大相似度的模型Ch(步骤221)。然后，基准图像选择装置82根据从组存储单元85获得的相关信息，选择与选定的代表性三维对象模型Ch相对应的基准图像组(步骤230)。注意，在图19的步骤230之后继续图20的步骤150。
随后，姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中步骤150)。姿态估计/比较装置53确定在选定的基准图像组L中是否包含基准图像Rk(步骤240)。如果在基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳姿态，并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。然后，姿态估计/比较装置53使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240，执行相同的处理。最后，如果图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将图21所示的代表性三维对象模型Ch存储在代表性三维对象模型存储单元36中。如表2所示，将通过使基准图像与代表性三维对象模型相比较而获得的较好(upper)候选(基准图像)的图像号与这些三维对象模型相关联地存储在组存储单元85中。即，例如，如果当将代表性三维对象模型Ch输入第一实施例的图像比较系统时，比较结果如表3所述，通过抛弃具有距离值40或更少的基准图像候选，获得如表2所示的列表。
假定从三维数据输入装置10输入图6所示的三维数据(图19中的步骤100)。三维比较装置80首先将代表性三维对象模型的模型号设置为h＝1(步骤210)。然后，三维比较装置80计算三维数据和每一个代表性三维对象模型Ch之间的相似度Sh(步骤220)。作为用于比较这些三维书面的手段，可以使用诸如在日本专利公开No.4-119475中描述的三维形状识别设备之类的现有技术。
随后，模型号h增加1(步骤211)，并且将模型号h与模型数H相比较(步骤212)。如果模型号h等于或小于模型数H，流程返回到步骤210以执行相同的处理，从而计算出下一个代表性三维对象模型的相似度。如果在步骤212中完成了与所有代表性三维对象模型的比较，选择具有最大的相似度的模型Ch(步骤221)。
例如，如果模型Ch的相似度是{0.7，0.9}，选择模型C2。然后，基准图像选择装置82从自组存储单元85获得的表2所示的列表中，选择与选定的三维对象模型C2相对应的基准图像组{R1，R2}(步骤230)。其后，流程前进到图20所示的处理。
姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中步骤150)。姿态估计/比较装置53确定在选定的基准图像组L中是否包含基准图像Rk(步骤240)。如果在选定的基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
在该示例中，如果基准图像是R1或R3，流程前进到步骤110，如果基准图像是R2，则前进到步骤151。如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，估计出最佳的姿态，并且计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。然后，姿态估计/比较装置53使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240以执行相同的处理。在该示例中，如果基准图像是R1或R3，则计算最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
在本实施例中，测量了对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索，。此外，因为测量了对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。此外，因为通过与代表性三维对象模型相比较而选择基准图像，可以执行高速搜索。
注意，尽管在第四实施例中选择了一个代表性三维对象模型，也可以选择多个代表性三维对象模型。在这种情况下，与各个代表性三维对象模型相对应的基准图像组的结合(union)是基准图像组。
(第五实施例)图22是示出了本发明第五实施例的方框图。在图22中，与图1和18相同的参考数字表示相同的部件。本实施例包括三维数据输入装置10、基准图像存储单元30、姿态估计/比较装置53、代表性存储单元31、第二姿态估计/比较装置(代表性图像选择装置)54、组存储单元86以及基准图像选择装置82。姿态估计/比较装置53包括姿态候选决定装置20、比较图像产生装置40以及图像比较装置55。
这些装置的操作的概述如下。首先，三维数据输入装置10、基准图像存储单元30、姿态候选决定装置20、比较图像产生装置40以及图像比较装置55执行与图1所示的第一实施例相同的处理。
此外，预先准备的代表性图像被存储在代表性图像存储单元31中。代表性图像可以是基准图像存储单元31中的基准图像的一部分，或者是例如通过基准图像的平均而产生的新图像。当代表性图像是基准图像存储单元30中的基准图像的一部分时，还可以仅存储图像号并且表示基准图像存储单元30中的基准图像。
将代表性图像和基准图像的相关信息(表示代表性图像与基准图像的对应的信息)预先存储在组存储单元86中。第二姿态估计/比较装置54将从三维数据输入装置10获得的三维数据与从代表性图像存储单元31获得的每一个代表性图像相比较，并选择最相似的代表性图像。基准图像选择装置82根据从组存储单元86获得的相关信息，选择与第二姿态估计/比较装置54所选择的代表性图像相对应的基准图像组。
姿态估计/比较装置53计算从三维数据输入装置10获得的三维数据和从基准图像存储单元30获得的基准图像之间的最短距离值(或者最高相似度)，并选择具有最小的最短距离值的基准图像。此处使用的基准图像是从基准图像选择装置82获得的基准图像组。
下面参考图22以及图23和20所示的流程图，详细解释本实施例的整体操作。首先，如图23所示，三维数据输入装置10输入三维数据(图23中步骤100)。然后，第二姿态估计/比较装置54首先将代表性图像的图像号设置为h＝1(步骤215)。第二姿态估计/比较装置54计算三维数据和每一个代表性图像R’h之间的相似度(步骤225)。
随后，图像号h增加1(步骤211)，并且将图像号h与图像数H相比较(步骤217)。如果图像号h等于或小于图像数H，流程返回到步骤225，执行相同的处理，从而计算出下一个代表性图像的相似度。如果在步骤217中完成了与所有代表性图像的比较，选择具有最大相似度的代表性图像R’h(步骤226)。然后，基准图像选择装置82根据从组存储单元86获得的相关信息，选择与选定的代表性图像相对应的基准图像组(步骤235)。注意，在图23中的步骤235之后继续图20中的步骤150。
姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中步骤150)。然后，姿态估计/比较装置53确定在选定的基准图像组中是否包含基准图像Rk(步骤240)。如果在基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理，计算出三维数据和基准图像Rk之间的最短距离值(步骤110至140)。其后，姿态估计/比较装置53使图像号k增加1(步骤151)，并且将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240，执行相同的处理，从而计算出下一个基准图像的最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
下面通过使用实际示例，更详细地解释本实施例的操作。首先，与第一实施例的解释相同，将图5所示的基准图像Rk(r)存储在基准图像存储单元30中。此外，将图24所示的代表性图像R’h存储在代表性图像存储单元36中。如表4所示，将通过使基准图像与代表性图像相比较而获得的较好候选(基准图像)的图像号与这些代表性图像相关联地存储在组存储单元86中。在该比较中，可以使用例如在之前所述的专利参考1或2中描述的现有图像比较系统。
假定从三维数据输入装置10输入图6所示的三维数据(图23中步骤100)。第二姿态估计/比较装置54首先将代表性图像的图像号设置为h＝1(步骤215)。然后，第二姿态估计/比较装置54计算三维数据和每一个代表性图像R’h之间的相似度(步骤225)。其后，第二姿态估计/比较装置54使图像号h增加1(步骤211)，并且将图像号h与图像数H相比较(步骤217)。如果图像号h等于或小于图像数H，流程返回到步骤215，执行相同的处理，从而计算出下一个代表性图像的相似度。
如果在步骤217中完成了与所有代表性图像的比较，选择具有最大相似度的代表性图像R’h(步骤226)。例如，如果代表性图像R’h的相似度为{0.7，0.9}，选择代表性图像R’2。然后，基准图像选择装置82从自组存储单元86获得的表4所示的列表中，选择与选定的代表性图像R’2相对应的基准图像组{R1，R3}(步骤235)。之后，执行图20所示的处理。
姿态估计/比较装置53首先将基准图像的图像号设置为k＝1(图20中的步骤150)。然后，姿态估计/比较装置53确定在选定的基准图像组中是否包含基准图像Rk(步骤240)。如果在选定的基准图像组中包含基准图像Rk，流程前进到步骤110；否则，流程前进到步骤151。
在该示例中，如果基准图像是R1或R3，则流程前进到步骤110，如果基准图像是R2，则前进到步骤151。如果流程前进到步骤110，姿态候选决定装置20、比较图像产生装置40以及图像比较装置55通过与第一实施例相同的处理(步骤110至140)，估计出最佳姿态，并且计算出三维数据和基准图像Rk之间的最短距离值。其后，姿态估计/比较装置53使图像号k增加1(步骤151)，并将图像号k与图像数M相比较(步骤152)。如果图像号k等于或小于图像数M，流程返回到步骤240，执行相同的处理。在该示例中，如果基准图像是R1或R3，则计算最短距离值。最后，如果在步骤152中图像号k等于或大于图像数M，输出具有最小的最短距离值的基准图像Rk作为比较结果(步骤153)。
注意，尽管在第五实施例中选择了一个代表性图像，也可以选择多个代表性图像。在这种情况下，与各个代表性图像相对应的基准图像组的结合是基准图像组。
在本实施例中，测量了对象的三维数据，并且在校正姿态和照明条件时，将该三维数据与基准图像相比较。因此，即使对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，也可以以高精度执行比较和搜索。此外，因为测量对象的三维数据并且将三维数据与基准图像相比较，即使在不能够预先获得每一个对象的三维对象模型时，或者在仅存在一个或很少几个基准图像时，也可以以高精度执行比较和搜索。此外，因为通过与代表性图像相比较而选择基准图像，可以执行高速搜索。
注意，在第一至第五实施例的每一个中，三维数据(模型)将对象表面上的三维空间(x，y，z)中的形状和纹理作为信息。然而，本发明并不局限于这些实施例，只要获得等效的信息。例如，还可以将表示沿特定方向到对象表面的距离的距离图像以及沿相同方向捕获的纹理图像用作图像。
当然，可以由硬件实现作为本发明图像比较系统的组成单元的各个装置的功能，并且还可以通过将执行第一至第五实施例的装置的功能的图像比较程序(应用程序)加载到计算机处理器的存储器中，从而控制计算机处理器，来实现上述功能。该图像比较程序被存储在诸如磁盘或半导体存储器之类的记录介质中，并且在从记录介质加载到计算机处理器时，通过控制计算机处理器的操作，实现上述功能。
工业实用性本发明适用于诸如从数据库搜索诸如人脸之类的对象图像的图像比较系统之类的应用，并适用于在计算机上实现图像比较系统的程序。
本发明还适用于例如诸如在网络或在因特网上存在的人脸之类的对象图像的搜索的应用。此外，本发明可以适当地应用于例如确定诸如识别照片之类的图像和持有它的人是否相同的应用。
权利要求
1.一种图像比较系统，其特征在于包括三维数据输入装置，用于输入对象的三维数据；基准图像存储装置，用于存储至少一个对象的基准图像；姿态候选决定装置，用于产生至少一个姿态候选作为对象姿态的候选；比较图像产生装置，用于根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的至少一个比较图像；以及图像比较装置，用于根据基准图像和比较图像之间的距离值和相似度之一，来执行比较。
2.根据权利要求1所述的图像比较系统，其特征在于所述图像比较装置包括计算装置，用于计算基准图像和比较图像之间的距离值和相似度之一；选择装置，用于选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及比较装置，用于根据最短距离值和阈值之间的比较结果以及最高相似度和阈值之间的比较结果之一，执行比较。
3.根据权利要求1所述的图像比较系统，其特征在于所述比较图像产生装置产生接近于每一个基准图像的比较图像，以及所述图像比较装置包括计算装置，用于计算每一个基准图像和比较图像之间的距离值和相似度之一；选择装置，用于针对每一个基准图像选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及比较装置，用于输出包含作为最短距离值中最小一个的最小的最短距离值的基准图像以及包含作为最高相似度中最大一个的最大的最高相似度的基准图像之一，作为比较结果。
4.根据权利要求1所述的图像比较系统，其特征在于还包括基准校正系数存储装置，用于存储与基准图像相对应的校正系数；以及校正装置，用于通过使用校正系数，校正最短距离值和最高相似度之一。
5.根据权利要求1所述的图像比较系统，其特征在于还包括基准加权系数存储装置，用于存储与基准图像相对应的加权系数，所述图像比较装置包括计算装置，用于通过使用与基准图像相对应的加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
6.根据权利要求1所述的图像比较系统，其特征在于还包括标准三维基准点存储装置，用于存储与标准三维对象模型相对应的标准三维基准点；标准三维加权系数存储装置，用于存储标准三维加权系数；三维基准点提取装置，用于从输入的三维数据中提取三维基准点；以及输入加权系数转换装置，通过使用标准三维基准点和三维数据的三维基准点，并且根据姿态候选，将标准三维加权系数转换为二维加权系数，来获得标准三维加权系数到三维数据的坐标对应，所述图像比较装置包括计算装置，用于通过使用转换的二维加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
7.根据权利要求1所述的图像比较系统，其特征在于还包括代表性三维对象模型存储装置，用于存储一些代表性的三维对象模型，作为代表性三维对象模型；组存储装置，用于存储代表性三维对象模型和基准图像的相关信息；三维比较装置，用于将输入三维数据与代表性三维对象模型相比较，并且选择与三维数据相似的代表性三维对象模型；以及基准图像选择装置，用于通过参考相关信息，选择与选定的代表性三维对象模型相对应的基准图像，其中，所述比较装置将选定的基准图像与输入的三维数据相比较。
8.根据权利要求1所述的图像比较系统，其特征在于还包括代表性图像存储装置，用于一些代表性的存储图像作为代表性图像；组存储装置，用于存储代表性图像和基准图像的相关信息；代表性图像选择装置，用于将输入的三维数据与代表性图像相比较，并选择与三维数据相似的代表性图像；以及基准图像选择装置，用于通过参考相关信息，选择与选定的代表性图像相对应的基准图像，其中，所述图像比较装置将选定的基准图像与输入的三维数据相比较。
9.根据权利要求4所述的图像比较系统，其特征在于，根据代表性三维对象模型和基准图像之间的距离值和相似度中的至少一个，来确定校正系数。
10.一种图像比较方法，其特征在于包括步骤输入对象的三维数据；产生至少一个姿态候选作为对象姿态的候选；根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的至少一个比较图像；以及根据基准图像和比较图像之间的距离值和相似度之一，执行比较。
11.根据权利要求10所述的图像比较方法，其特征在于执行比较的步骤包括步骤计算基准图像和比较图像之间的距离值和相似度之一；选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及根据最短距离值和阈值之间的比较结果以及最高相似度和阈值之间的比较结果之一，执行比较。
12.根据权利要求10所述的图像比较方法，其特征在于产生比较图像的步骤包括产生接近于每一个基准图像的比较图像的步骤，以及执行比较的步骤包括步骤计算每一个基准图像和比较图像之间的距离值和相似度之一；针对每一个基准图像选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及输出包含作为最短距离值中最小一个的最小的最短距离值的基准图像以及包含作为最高相似度中最大一个的最大的最高相似度的基准图像之一，作为比较结果。
13.根据权利要求10所述的图像比较方法，其特征在于还包括步骤通过使用与基准图像相对应的校正系数，校正最短距离值和最高相似度之一。
14.根据权利要求10所述的图像比较方法，其特征在于执行比较的步骤还包括步骤通过使用与基准图像相对应的加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
15.根据权利要求10所述的图像比较方法，其特征在于还包括步骤从输入的三维数据中提取三维基准点；以及通过使用与标准三维对象模型相对应的标准三维基准点和三维数据的三维基准点，并且根据姿态候选，将标准三维加权系数转换为二维加权系数，来获得标准三维加权系数到三维数据的坐标对应，执行比较的步骤包括步骤通过使用转换的二维加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
16.根据权利要求10所述的图像比较方法，其特征在于还包括步骤将输入三维数据与作为一些代表性三维对象模型的代表性三维对象模型相比较，并且选择与三维数据相似的代表性三维对象模型；以及通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性三维对象模型相对应的基准图像，执行比较的步骤包括步骤将选定的基准图像与输入三维数据相比较。
17.根据权利要求10所述的图像比较方法，其特征在于还包括步骤将输入三维数据与作为一些代表性图像的代表性图像相比较，并选择与三维数据相似的代表性图像；以及通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性图像相对应的基准图像，执行比较的步骤包括步骤将选定的基准图像与输入三维数据相比较。
18.根据权利要求13所述的图像比较方法，其特征在于还包括步骤根据代表性三维对象模型和基准图像之间的距离值和相似度中至少一个，确定校正系数。
19.一种程序，使计算机执行以下过程输入对象的三维数据；产生至少一个姿态候选作为对象姿态的候选；根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的至少一个比较图像；以及根据基准图像和比较图像之间的距离值和相似度之一来执行比较。
20.根据权利要求19所述的程序，其中，在执行比较的过程中，程序使计算机执行以下过程计算基准图像和比较图像之间的距离值和相似度之一；选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及根据最短距离值和阈值之间的比较结果以及最高相似度和阈值之间的比较结果之一，执行比较。
21.根据权利要求19所述的程序，其中在产生比较图像的过程中，程序使计算机执行产生接近于每一个基准图像的比较图像的过程，以及在执行比较的过程中，程序使计算机执行以下过程计算每一个基准图像和比较图像之间的距离值和相似度之一；针对每一个基准图像选择作为最小距离值的最短距离值以及作为最大相似度的最高相似度之一；以及输出包含作为最短距离值中最小一个的最小的最短距离值的基准图像以及包含作为最高相似度中最大一个的最大的最高相似度的基准图像之一，作为比较结果。
22.根据权利要求19所述的程序，还使计算机执行以下过程通过使用与基准图像相对应的校正系数，校正最短距离值和最高相似度之一。
23.根据权利要求19所述的程序，程序使计算机执行以下过程通过使用与基准图像相对应的加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
24.根据权利要求19所述的程序，还使计算机执行以下过程从输入的三维数据中提取三维基准点；以及通过使用与标准三维对象模型相对应的标准三维基准点和三维数据的三维基准点，并且根据姿态候选，将标准三维加权系数转换为二维加权系数，来获得标准三维加权系数到三维数据的坐标对应，其中，在执行比较的过程中，程序使计算机执行以下过程通过使用转换的二维加权系数，计算基准图像和比较图像之间的距离值和相似度之一。
25.根据权利要求19所述的程序，还使计算机执行以下过程将输入的三维数据与作为一些代表性三维对象模型的代表性三维对象模型相比较，并且选择与三维数据相似的代表性三维对象模型；以及通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性三维对象模型相对应的基准图像，其中，在执行比较的过程中，程序使计算机执行将选定的基准图像与输入三维数据相比较的过程。
26.根据权利要求19所述的程序，还使计算机执行以下过程将输入的三维数据与作为一些代表性图像的代表性图像相比较，并选择与三维数据相似的代表性图像；以及通过参考表示代表性三维对象模型和基准图像之间关系的信息，选择与选定的代表性图像相对应的基准图像，其中，在执行比较的过程中，程序使计算机执行将选定的基准图像与输入三维数据相比较的过程。
27.根据权利要求22所述的程序，还使计算机执行以下过程根据代表性三维对象模型和基准图像之间的距离值和相似度中的至少一个来确定校正系数。
全文摘要
提供了三维数据输入装置(10)，用于输入对象的三维数据；基准图像存储装置(30)，用于存储至少一个对象的基准图像；姿态候选决定装置(20)，用于产生作为对象姿态的候选的姿态候选；比较图像产生装置(40)，用于根据姿态候选，在将三维数据投影到二维图像上时，产生接近于基准图像的比较图像；以及图像比较装置(55)，用于根据基准图像和比较图像之间的距离值或相似度来执行比较。这使得即使在对象的基准图像是在诸如姿态和照明之类的不同条件下捕获的时，即使在不能够预先获得对象的三维对象模型时，或者即使在仅存在一个或很少几个基准图像时，也能够以较高精度执行比较和搜索。
文档编号G06T15/20GK1871622SQ20048003084
公开日2006年11月29日 申请日期2004年10月21日 优先权日2003年10月21日
发明者滨中雅彦 申请人:日本电气株式会社