专利名称：Ar处理装置和ar处理方法
AR处理装置和AR处理方法
相关申请的引用
本申请要求基于2010年9月22日申请的日本专利申请特愿2010-212633的优先权，并且将该申请的内容全文包括在此，作为参考。技术领域
本申请涉及一种对摄像图像施加AR(增强现实)处理的AR技术。
技术背景
AR技术是一种通过将与被摄体相关的信息或CG(计算机图形)图像等重叠到由摄像机拍摄的现实空间的图像(摄像图像)上而呈现给用户的技术。近年来，其研究、开发正在盛行。
在该AR技术中，为了给用户提供了一种在摄像图像上所重叠的图像等(虚拟物体)仿佛实际存在于现实空间中那样的感觉，需要根据用户的视点(也就是，摄像机的位置姿势)的变化，正确地调整进行重叠的虚拟物体的位置。
例如，在非专利文献1中，提出了一种通过将被摄体上贴附给定的标记(marker)， 并对其进行追踪，来估计摄像机的位置姿势的技术。
非专利文献1 加藤博一以及另外三人、““^ 一力一追跡(二基3 <拡張現実感* ^ r Λ i Θ ^ Ij 7" l· - V a >，，、日本虚拟现实学会论文杂志、Vol. 4,No. 4, pp. 607-616、 1999发明内容
本发明提供了一种AR处理装置和AR处理方法，能够在AR处理中使各种各样的有形物成为被摄体，并且无需使用标记而能够高精度地估计摄像机的位置姿势。
本发明的第一观点所涉及的AR处理装置具备
图像取得单元，其取得对于被摄体存在视差的两个以上的图像的组；
生成单元，其基于由所述图像取得单元取得的图像的组，生成所述被摄体的3D模型；
提取单元，其将由所述生成单元最初生成的所述被摄体的3D模型选择为被合成 3D模型，从所述被合成3D模型中提取多个第一特征点，并且将由所述生成单元在第二次以后生成的所述被摄体的3D模型选择为合成3D模型，并且从所述合成3D模型中提取多个第二特征点；
取得单元，其基于由所述提取单元提取出的所述被合成3D模型的多个第一特征点、以及所述合成3D模型的多个第二特征点，取得用于将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标的坐标变换参数；
变换单元，其使用由所述取得单元取得的所述坐标变换参数，将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标；
合成单元，其通过将全部的所变换后的合成3D模型合成到所述被合成3D模型上来生成所述被摄体的3D模型，并且执行特征点的合并；以及
保存单元，其将通过所述合成单元的合成所生成的所述被摄体的3D模型、以及表示所合并后的特征点的信息保存在存储装置中。
本发明的第二观点所涉及的AR处理装置具备
登记数据取得单元，其取得由预先登记的被摄体的第一 3D模型、以及表示所述第一3D模型的多个特征点的信息构成的3D对象数据；
图像取得单元，其取得对于所述被摄体存在视差的两个以上的图像的组；
生成单元，其基于由所述图像取得单元取得的图像的组，生成所述被摄体的第二 3D模型；
提取单元，其从由所述生成单元生成的所述第二 3D模型中提取多个特征点；
取得单元，其基于由所述提取单元提取出的所述第二 3D模型的多个特征点、以及由所述登记数据取得单元取得的所述3D对象数据所涉及的多个特征点，取得用于将所述第一 3D模型的坐标变换为所述第二 3D模型的坐标系的坐标的坐标变换参数；
AR数据生成单元，其基于由所述取得单元取得的所述坐标变换参数、以及所述第二3D模型，来生成AR数据；
AR图像显示单元，其显示基于由所述AR数据生成单元生成的所述AR数据的图像。
本发明的第三观点所涉及的AR处理方法具有
图像取得步骤，取得对于被摄体存在视差的两个以上的图像的组；
生成步骤，基于所取得的图像的组，生成所述被摄体的3D模型；
提取步骤，将最初生成的所述被摄体的3D模型选择为被合成3D模型，从所述被合成3D模型中提取多个第一特征点，并且将在第二次以后生成的所述被摄体的3D模型选择为合成3D模型，并且从所述合成3D模型中提取多个第二特征点；
取得步骤，基于所述被合成3D模型的多个所提取的第一特征点、以及所述合成3D 模型的多个所提取的第二特征点，取得用于将所述合成3D模型的坐标变换为所述被合成 3D模型的坐标系的坐标的坐标变换参数；
变换步骤，使用由所取得的坐标变换参数，将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标；
合成步骤，通过将全部的所变换后的合成3D模型合成到所述被合成3D模型上来生成所述被摄体的3D模型，并且执行特征点的合并；以及
保存步骤，将通过所述合成所生成的所述被摄体的3D模型、以及表示所合并后的特征点的信息保存在存储装置中。
本发明的第四观点所涉及的AR处理方法具有
登记数据取得步骤，取得由预先登记的被摄体的第一 3D模型、以及表示所述第一 3D模型的多个特征点的信息构成的3D对象数据；
图像取得步骤，取得对于所述被摄体存在视差的两个以上的图像的组；
生成步骤，基于所取得的图像的组，生成所述被摄体的第二 3D模型；
提取步骤，从所生成的第二 3D模型中提取多个特征点；
取得步骤，基于所提取出的第二 3D模型的多个特征点、以及所取得的3D对象数据CN 102542604 A所涉及的多个特征点，取得用于将所述第一 3D模型的坐标变换为所述第二 3D模型的坐标系的坐标的坐标变换参数；
AR数据生成步骤，基于所取得的坐标变换参数、以及所述第二 3D模型，来生成AR 数据；
AR图像显示步骤，显示基于所生成的AR数据的图像。
当结合以下附图来考虑以下的详细描述时，可以得到对本申请更深的理解。
图1A、1B是示出了本发明的实施方式所涉及的立体摄像机的外观构成的图，其中图IA示出了正表面侧，而图IB示出了背表面侧。
图2是示出了本实施方式的立体摄像机的电气构成的框图。
图3是示出了在本实施方式的立体摄像机中，与3D对象登记模式相关的功能构成的框图。
图4是示出了本实施方式中的3D对象登记处理的顺序过程的流程图。
图5是示出了本实施方式中的3D模型生成处理的顺序过程的流程图。
图6是示出了本实施方式中的摄像机位置估计处理A的顺序过程的流程图。
图7是示出了本实施方式中的坐标变换参数取得处理的顺序过程的流程图。
图8是示出了本实施方式中的3D模型合成处理的顺序过程的流程图。
图9是示出了在本实施方式的立体摄像机中，与3D对象操作模式相关的功能构成的框图。
图10是示出了本实施方式中的AR处理的顺序过程的流程图。
图11是示出了本实施方式中的摄像机位置估计处理B的顺序过程的流程图。
具体实施方式
以下，将参照附图来说明本发明的最佳实施方式。在本实施方式中，示出了将本发明应用于数码式立体摄像机的例子。
图1A、1B是本实施方式所涉及的立体摄像机1的外观图。如图IA所示，在该立体摄像机1的正表面上设置了透镜111A、透镜111B、以及频闪发光部400。另外，在上表面上， 设置了快门按钮331。在按快门按钮331处于上方的方向，使立体摄像机1变为水平的情况下，透镜IllA和透镜IllB被配置为按照各自的中心位置在水平方向上处于同一线上的方式，以给定的间隔隔开。频闪发光部400根据需要向被摄体照射频闪光。快门按钮331是用于接受来自用户的快门动作指示的按钮。
如图IB所示，在立体摄像机1的背表面上设置了显示部310、操作键332、以及电源按钮333。显示部310由诸如液晶显示装置构成，并作为用于显示操作立体摄像机1所需的各种画面、或者拍摄时的实况(live view)图像、摄像图像等的电子取景器。
操作键332包含十字键或确定键等，并且接受模式切换或显示切换等来自用户的各种操作。电源按钮333是用于从用户接受立体摄像机1的电源的接通/断开的按钮。
图2是示出了立体摄像机1的电气构成的框图。如图2所示，立体摄像机1具备 第一摄像部100A、第二摄像部100B、数据处理部200、I/F部300、以及频闪发光部400。
第一摄像部100A和第二摄像部100B是分别承担对被摄体进行摄像的功能的部分。立体摄像机1是所谓的复眼摄像机。尽管这样地构成为具有两个摄像部，但是第一摄像部100A和第二摄像部100B具有相同的构成。以下，对于第一摄像部100A的构成，在参考符号的末尾附上了 “A”，而对于第二摄像部100B的构成，在参考符号的末尾附上了 “B”。
如图2所示，第一摄像部100A (第二摄像部100B)由光学装置IlOA(110B)、图像传感器部120A(120B)等构成。光学装置ΙΙΟΑ(ΙΙΟΒ)包括诸如透镜、光圈机构、快门机构等， 并且执行与摄像有关的光学动作。也就是，通过光学装置ΙΙΟΑ(ΙΙΟΒ)的动作，对入射光进行聚光，同时执行所谓的焦点距离、光圈、快门速度等的与视角或调焦、曝光等有关的光学要素的调整。
另外，光学装置ΙΙΟΑ(ΙΙΟΒ)中所包括的快门机构是所谓的机械快门。在仅通过图像传感器的动作来执行快门动作的情况下，在光学装置ΙΙΟΑ(ΙΙΟΒ)中也可以不包括快门机构。另外，光学装置ΙΙΟΑ(ΙΙΟΒ)根据后述的控制部210的控制来进行动作。
图像传感器部120A(120B)生成与由光学装置IlOA(110B)所聚光的入射光相对应的电信号。图像传感器部120A(120B)通过由诸如CXD(电荷耦合器件)或CMOS(互补金属氧化物半导体)构成的图像传感器来执行光电转换。图像传感器部120A(120B)通过光电转换来生成与所接收的光的强度相对应的电信号，并且将所生成的电信号输出到数据处理部 200。
如上所述，第一摄像部100A与第二摄像部100B具有相同的构成。更详细地，透镜的焦点距离f或F值、光圈机构的光圈范围、图像传感器的尺寸或像素数、排列、像素面积等各规格均是完全相同的。在使第一摄像部100A与第二摄像部100B同时动作的情况下，对于同一被摄体拍摄了两个图像(成对图像)。在这种情况下，第一摄像部100A的光轴位置与第二摄像部100B的光轴位置在横向上是不同的。
数据处理部200对通过第一摄像部100A和第二摄像部100B的摄像动作而生成的电信号进行处理，并生成表示摄像图像的数字数据。另外，数据处理部200执行对摄像图像的图像处理。数据处理部200由控制部210、图像处理部220、图像存储器230、图像输出部 M0、存储部250、外部存储部260等构成。
控制部210由诸如CPU(中央处理单元)等处理器或RAM(随机存取存储器)等主存储装置等构成。处理器通过执行存储部250等中存储的程序，来对立体摄像机1的各部进行控制。另外，在本实施方式中，通过执行给定的程序，通过控制部210来实现与后述的各处理有关的功能。
图像处理部220由诸如ADC(模拟数字转换器)、缓冲存储器、图像处理用的处理器 (所谓的图像处理引擎)等构成。图像处理部220基于由图像传感器部120A和120B生成的电信号，来生成表示摄像图像的数字数据。也就是，当由ADC将从图像传感器部120A(120B) 输出的模拟电信号转换为数字信号并依次将其存储在缓冲存储器中时，通过由图像处理引擎对所缓冲的数字数据执行所谓的显影处理等，来执行图像质量的调整或数据压缩等。
图像存储器230由诸如RAM或闪速存储器等存储装置构成。图像存储器230暂时地保存由图像处理部220生成的摄像图像数据、或由控制部210所处理的图像数据等。
图像输出部MO由诸如用于生成RGB信号的电路等构成。图像输出部240将图像存储器230中所存储的图像数据转换为RGB信号，并输出到显示画面(显示部310等)。
存储部250由诸如ROM(只读存储器)或闪速存储器等存储装置构成，并且存储立体摄像机1的动作所需的程序或数据等。在本实施方式中，将由控制部210等执行的动作程序、或其执行时所需的参数或运算式等数据存储到存储部250中。
外部存储部沈0由称作诸如存储卡等的对于立体摄像机1而言可装拆的存储装置构成，并且存储由立体摄像机1所摄像得到的图像数据、3D对象数据等。
I/F部300是承担和立体摄像机1与用户或外部装置之间的接口有关的功能的处理部。I/F部300由显示部310、外部I/F部320、操作部330等构成。
如上所述，显示部310由诸如液晶显示装置等构成，并且用于对用户操作立体摄像机1所需的各种画面、或拍摄时的实况图像、摄像图像等进行显示输出。在本实施方式中，基于来自图像输出部MO的图像信号(RGB信号)等来执行摄像图像等的显示输出。
外部I/F部320由诸如USB (通用串行总线)连接器或视频输出端子等构成，并且执行对外部的计算机装置的图像数据的输出、或者对外部监视器装置的摄像图像的显示输ψ绝OD寸。
操作部330由设置于立体摄像机1的外表面上的各种按钮等构成，并且生成与用户的操作相对应的输入信号并发送到控制部210。如上所述，在构成操作部330的按钮中， 包括快门按钮331、操作键332、电源按钮333等。
频闪发光部400由诸如氙气灯(氙气闪光灯)构成。频闪发光部400根据控制部 210的控制，向被摄体照射频闪光。
尽管以上已经说明了实现本发明所需的立体摄像机1的构成，但是除此之外，立体摄像机1还具备用于实现一般的立体摄像机的功能的构成。
在以上构成的立体摄像机1中，通过3D对象登记模式时的处理(3D对象登记处理)，来登记被摄体的3D模型和特征点信息。然后，通过3D对象操作模式时的处理(AR处理)，基于先前登记的特征点信息来估计立体摄像机1的位置姿势，并且对这次取得的摄像图像施加AR处理并生成AR数据。
首先，将参照图3到图8来说明与3D对象登记模式有关的动作。
图3是示出了在立体摄像机1中用于实现与3D对象登记模式有关的动作的功能构成的框图。
在该动作中，如图3所示，立体摄像机1具备图像取得部11、生成部12、提取部13、 取得部14、变换部15、合成部16、以及保存部17。
图像取得部11取得对同一被摄体存在视差的两个图像(成对图像)。生成部12 基于由图像取得部11取得的成对图像，生成被摄体的3D模型。
提取部13在从由生成部12生成的最初的3D模型(被合成3D模型)中提取多个第一特征点的同时，从由生成部12生成的第二次以后的一个3D模型(合成3D模型)中提取多个第二特征点。
取得部14基于由提取部13提取出的多个第一特征点和多个第二特征点，取得用于将该合成3D模型的坐标变换为该被合成3D模型的坐标系的坐标的坐标变换参数。
变换部15使用由取得部14取得的坐标变换参数，将合成3D模型的坐标变换为被合成3D模型的坐标系的坐标。
合成部16在将变换后的全部的合成3D模型合成到被合成3D模型的同时，执行特征点的合并(統合)。保存部17将由合成部16合成后的被摄体的3D模型、以及与合并后的特征点有关的信息(特征点信息)保存到外部存储部260等中。
图4是示出了上述的3D对象登记处理的顺序过程的流程图。该3D对象登记处理以用户通过操作操作键332等操作部330而选择了 3D对象登记模式为契机而开始。
在3D对象登记处理中，在按压快门按钮331期间，重复执行被摄体的摄像、3D模型的生成、生成的3D模型的合成、特征点的合并、合成后的3D模型的预览显示等。这里，将通过最初的摄像得到的且成为合成的基础的3D模型称为被合成3D模型。另外，将通过第二次以后的摄像所得到的且将被合成到被合成3D模型的3D模型称为合成3D模型。另外，用户一边移动针对被摄体的视点即一边改变立体摄像机1的位置姿势，一边对被摄体进行连拍。
在步骤SlOl中，由控制部210来判定终止事件的发生与否。终止事件在诸如用户执行了向再生模式等的模式转移操作的情况下、或者在立体摄像机1的电源被断开的情况下等发生。
在发生了终止事件的情况下(步骤SlOl ；是)，终止本处理。另一方面，在并未发生终止事件的情况下(步骤SlOl ；否)，控制部210将基于通过一个摄像部(例如，第一摄像部100A)所得到的图像数据的图像(所谓的实况图像)显示在显示部310上(步骤S102)。
在步骤S103，控制部210判定是否按下了快门按钮331。在并未按下快门按钮331 的情况下(步骤S103;否)，控制部210再次执行步骤SlOl的处理。另一方面，在按下了快门按钮331的情况下(步骤S103 ；是)，控制部210控制第一摄像部100A、第二摄像部100B、 图像处理部220，对被摄体进行摄像(步骤S104)。结果，得到了两张平行同位图像(成对图像)。将所取得的成对图像保存在诸如图像存储器230中。另外，在以后的说明中，将成对图像中作为第一摄像部100A的摄像结果所得到的图像设为图像A，而作为第二摄像部100B 的摄像结果所得到的图像设为图像B。
控制部210基于图像存储器230中所保存的成对图像，来执行3D模型生成处理 (步骤 S105)。
这里，参照图5所示的流程图，对3D模型生成处理进行说明。另外，3D模型生成处理是一种基于一组成对图像来生成3D模型的处理。也就是，可以设想的是，3D模型生成处理是一种生成从一个摄像机位置所看到的3D模型的处理。
首先，控制部210提取特征点的候选(步骤S201)。例如，控制部210对图像A执行角点(corner)检测。控制部210使用诸如哈里斯(harris)的角点检测函数等来执行特征点的提取。在该情况下，将角点特征量在给定阈值以上且在给定半径内成为最大的点选择为角点。由此，将被摄体的尖端等、对于其他点而言存在特征的点作为特征点进行提取。
接下来，控制部210执行立体匹配，并且从图像B中搜索与图像A的特征点相对应的点(对应点)(步骤S202)。具体地，控制部210通过模板匹配，检测类似度在给定阈值以上且最大的点(或者差别度在给定阈值以下且最小的点)，作为对应点。在模板匹配时，可采用诸如残差绝对值和(SAD)、残差平方和(SSD)、归一化相关(NCC或ZNCC)、方向码相关等各种已知的技术。
控制部210根据步骤S202中检测出的对应点的视差信息、第一摄像部100A和第二摄像部100B的视角、基线长度等，来计算特征点的位置信息(步骤S203)。将计算出的特征点的位置信息保存在诸如存储部250中。另外，此时，作为特征点的附带信息，可以将颜色信息等与位置信息一起保存。
控制部210基于所计算出的特征点的位置信息来执行德劳内(Delaimay)三角形分割，并执行多边形化处理(步骤S204)。将通过该处理生成的多边形信息(3D模型)保存在诸如存储部250中。当完成多边形化处理时，控制部210终止3D模型生成处理。
当3D模型生成处理终止时，控制部210判定该摄像是否为最初的(图4的步骤 S106)。在其为最初的摄像的情况下(步骤S106;是)，控制部210将3D模型生成处理中所生成的3D模型设定为被合成3D模型(步骤S107)。
另一方面，当其并非最初的摄像的情况下(步骤S106 ；否)，控制部210执行摄像机位置估计处理A(步骤S108)。将参照图6的流程图来说明摄像机位置估计处理A。另外， 在摄像机位置估计处理A中，求取这次摄像时的立体摄像机1相对于最初的摄像时的立体摄像机1的位置姿势的相对位置姿势。另外，求取该相对位置姿势与求取用于将通过这次的摄像得到的3D模型的坐标变换为通过最初的摄像所得到的3D模型的坐标系的坐标的坐标变换参数是相同的。
首先，控制部210从被合成3D模型和合成3D模型这两者取得3D空间上的特征点 (第一特征点和第二特征点)(步骤S301)。例如，控制部210选择被合成3D模型(或者， 合成3D模型)的特征点中，角点强度较高且立体匹配的一致度较高的点。或者，控制部210 可以在考虑到在成对图像间的对极(bipolar)约束的基础上，通过执行基于SURF(加速的鲁棒特征)特征量的匹配，来取得特征点。
当完成步骤S301的处理时，控制部210从被合成3D模型中随机地选择三个特征点(步骤S302)。然后，控制部210判定该选择是否适当(步骤S303)。这里，在满足以下所示的(A)和(B)的条件的任意一个的情况下，判定该三个特征点的选择是适当的。
(A)的条件为以三个特征点为顶点的三角形的面积不过于小，即，在预定的面积以上。(B)的条件为以三个特征点为顶点的三角形不具有极端尖锐的锐角，即，在预定的角度以上。
在上述的判定结果表示该选择不适当的情况下(步骤S303 ；否)的情况下，控制部210再次执行步骤S302的处理。另一方面，在该选择适当的情况下(步骤S303;是)，控制部210从以合成3D模型所具有的三个特征点为顶点的三角形中，搜索与以步骤S302中所选择的三个特征点为顶点的三角线全等的三角形(全等三角形)(步骤S304)。例如，在两者的三个边的长度大致相等的情况下，判定这两个三角形为全等的。还可以设想的是，该步骤304的处理是一种从合成3D模型的特征点内搜索与在步骤S302中从被合成3D模型中选择的三个特征点相对应的三个点的处理。
另外，控制部210可以通过基于特征点及其周边的颜色信息、或者SURF特征量等来缩窄三角形的候选，由此来使该搜索处理高速化。将表示所搜索到的三角形的信息(典型地，表示构成该三角形的顶点的三个特征点在3D空间上的坐标的信息)保存到诸如存储部250中。在存在多个全等三角形的情况下，将表示全部的三角形的信息保存到存储部250 中。
控制部210通过上述搜索，来判定是否存在至少一个全等三角形(步骤S305)。另外，在所搜索到的全等三角形的数目为给定数目以上的情况下，控制部210可以判定为全等三角形并不存在(没有找到)。
在存在全等三角形的情况下(步骤S305 ；是)，控制部210选择其中的-
卜(步骤S306)。另一方面，在不存在全等三角形的情况下(步骤S305 ；否)，控制部210再次执行步骤S302的处理。
当选择一个全等三角形时，控制部210执行坐标变换参数取得处理(步骤S307)。 坐标变换参数取得处理是一种取得用于将合成3D模型的坐标变换为被合成3D模型的坐标系的坐标的坐标变换参数的处理。另外，针对在步骤S302中所选择的三个特征点与步骤 S306中所选择的全等三角形的组合的每一个，执行坐标变换参数取得处理。这里，坐标变换参数是一种对通过公式(1)和( 所给出的对应点对(特征点对，顶点对)，求取满足公式(3)的旋转矩阵R和运动向量t的处理。公式(1)和O)的ρ与ρ’具有与各个摄像机视点相对应的3D空间上的坐标。另外，N为对应点对的对数。
权利要求
1.一种AR处理装置，具备图像取得单元，其取得对于被摄体存在视差的两个以上的图像的组； 生成单元，其基于由所述图像取得单元取得的图像的组，生成所述被摄体的3D模型； 提取单元，其将由所述生成单元最初生成的所述被摄体的3D模型选择为被合成3D模型，从所述被合成3D模型中提取多个第一特征点，并且将由所述生成单元在第二次以后生成的所述被摄体的3D模型选择为合成3D模型，并且从所述合成3D模型中提取多个第二特 iiE ；^^ ’取得单元，其基于由所述提取单元提取出的所述被合成3D模型的多个第一特征点、以及所述合成3D模型的多个第二特征点，取得用于将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标的坐标变换参数；变换单元，其使用由所述取得单元取得的所述坐标变换参数，将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标；合成单元，其通过将全部的所变换后的合成3D模型合成到所述被合成3D模型上来生成所述被摄体的3D模型，并且执行特征点的合并；以及保存单元，其将通过所述合成单元的合成所生成的所述被摄体的3D模型、以及表示所合并后的特征点的信息保存在存储装置中。
2.根据权利要求1所述的AR处理装置，其中，所述取得单元从所提取的多个第一特征点中选择三个第一特征点，从所提取的多个第二特征点中选择用于构成与以所选择的三个第一特征点为顶点的三角形相对应的三角形的三个顶点的三个第二特征点，并且取得用于使所选择的三个第二特征点的坐标与所选择的三个第一特征点的坐标匹配的坐标变换参数。
3.根据权利要求2所述的AR处理装置，其中，所述取得单元多次执行通过从所提取的多个第一特征点中随机地选择三个第一特征点来取得所述坐标变换参数的处理，并且从通过所述多次的处理所得到的多个所述坐标变换参数中选择一个坐标变换参数。
4.根据权利要求3所述的AR处理装置，其中，所述取得单元从所述多个坐标变换参数中选择用于使所述变换单元进行坐标变换后的所述多个第二特征点的坐标与所述多个第一特征点的坐标最为匹配的一个坐标变换参数。
5.根据权利要求1所述的AR处理装置，其中，所述合成单元按照对应的特征点彼此属于相同的组的方式将所述多个第一特征点和所述多个第二特征点分组为多个组，求得所述多个组的每一个的重心，并且将所求得的多个重心作为新的多个特征点来生成新的3D模型。
6.一种AR处理装置，具备登记数据取得单元，其取得由预先登记的被摄体的第一 3D模型、以及表示所述第一 3D 模型的多个特征点的信息构成的3D对象数据；图像取得单元，其取得对于所述被摄体存在视差的两个以上的图像的组；生成单元，其基于由所述图像取得单元取得的图像的组，生成所述被摄体的第二 3D模型；提取单元，其从由所述生成单元生成的所述第二 3D模型中提取多个特征点； 取得单元，其基于由所述提取单元提取出的所述第二 3D模型的多个特征点、以及由所述登记数据取得单元取得的所述3D对象数据所涉及的多个特征点，取得用于将所述第一 3D模型的坐标变换为所述第二 3D模型的坐标系的坐标的坐标变换参数；AR数据生成单元，其基于由所述取得单元取得的所述坐标变换参数、以及所述第二 3D 模型，来生成AR数据；AR图像显示单元，其显示基于由所述AR数据生成单元生成的所述AR数据的图像。
7.一种AR处理方法，具有图像取得步骤，取得对于被摄体存在视差的两个以上的图像的组； 生成步骤，基于所取得的图像的组，生成所述被摄体的3D模型； 提取步骤，将最初生成的所述被摄体的3D模型选择为被合成3D模型，从所述被合成3D 模型中提取多个第一特征点，并且将在第二次以后生成的所述被摄体的3D模型选择为合成3D模型，并且从所述合成3D模型中提取多个第二特征点；取得步骤，基于所述被合成3D模型的多个所提取的第一特征点、以及所述合成3D模型的多个所提取的第二特征点，取得用于将所述合成3D模型的坐标变换为所述被合成3D模型的坐标系的坐标的坐标变换参数；变换步骤，使用所取得的坐标变换参数，将所述合成3D模型的坐标变换为所述被合成 3D模型的坐标系的坐标；合成步骤，通过将全部的所变换后的合成3D模型合成到所述被合成3D模型上来生成所述被摄体的3D模型，并且执行特征点的合并；以及保存步骤，将通过所述合成所生成的被摄体的3D模型、以及表示所合并后的特征点的信息保存在存储装置中。
8.一种AR处理方法，具有登记数据取得步骤，取得由预先登记的被摄体的第一 3D模型、以及表示所述第一 3D模型的多个特征点的信息构成的3D对象数据；图像取得步骤，取得对于所述被摄体存在视差的两个以上的图像的组； 生成步骤，基于所取得的图像的组，生成所述被摄体的第二 3D模型； 提取步骤，从所生成的第二 3D模型中提取多个特征点；取得步骤，基于所提取出的第二 3D模型的多个特征点、以及所取得的3D对象数据所涉及的多个特征点，取得用于将所述第一 3D模型的坐标变换为所述第二 3D模型的坐标系的坐标的坐标变换参数；AR数据生成步骤，基于所取得的坐标变换参数、以及所述第二 3D模型，来生成AR数据；AR图像显示步骤，显示基于所生成的AR数据的图像。
全文摘要
提供了一种高精度估计摄像机的位置姿势的AR处理装置。生成部(12)基于针对同一被摄体所取得的成对图像，生成被摄体的3D模型。提取部(13)从被合成3D模型中提取多个第一特征点，并且从合成3D模型中提取多个第二特征点。取得部(14)基于多个第一特征点和多个第二特征点来取得坐标变换参数。变换部(15)使用该坐标变换参数，将合成3D模型的坐标变换为被合成3D模型的坐标系的坐标。合成部(16)将变换后的全部的合成3D模型合成到被合成3D模型上，并执行特征点的合并。保存部(17)将合成后的被摄体的3D模型、以及与合并后的特征点有关的信息保存到存储器卡等中。在AR处理中使用在此所保存的数据。
文档编号G06T17/00GK102542604SQ201110281400
公开日2012年7月4日 申请日期2011年9月21日 优先权日2010年9月22日
发明者中岛光康, 吉滨由纪, 山谷崇史, 樱井敬一 申请人:卡西欧计算机株式会社