专利名称：三维建模装置及方法
技术领域：
本发明涉及用于对被摄体适当三维建模的三维建模装置及方法。
背景技术：
以往，公知一种下述技术利用具备右眼用摄像部和左眼用摄像部的立体照相机拍摄美术品等被摄体，基于拍摄得到的右眼用图像和左眼用图像(立体图像)创建被摄体
的三维模型。这种技术例如被公开在发明专利第2953154号公报及“数字图像处理”(佐藤洋一著，CG-ARTS协会出版)。另外，公知一种下述技术根据改变摄像位置而拍摄到的多个立体图像来创建多个三维模型，并通过合成所创建的多个三维模型来创建精度更高的三维模型。此外，公知一种下述技术使单眼照相机按照在移动前后为平行立体的方式进行移动，并且利用在移动前后由单眼照相机拍摄到的2个图像，生成拍摄到的对象物的三维图像。
发明内容
本发明的第I观点涉及一种三维建模装置，其具备图像获取单元，其获取由立体照相机拍摄到的多个图像组；三维模型生成单元，其基于获取到的所述多个图像组中的每一个图像组，生成被摄体的多个三维模型；三维模型选择单元，其从生成的所述多个三维模型中选择被合成三维模型和与该被合成三维模型进行合成的合成三维模型；特征点提取单元，其从选择出的所述被合成三维模型中提取多个第I特征点，并且从选择出的所述合成三维模型中提取多个第2特征点；特征点选择单元，其分别选择在提取出的所述多个第I特征点和第2特征点之中的与所述立体照相机之间的距离近的特征点；变换参数获取单元，其基于选择出的所述第I特征点和第2特征点来获取变换参数，该变换参数用于将该合成三维模型的坐标变换成该被合成三维模型的坐标系的坐标；坐标变换单元，其利用获取到的所述变换参数，将所述合成三维模型的坐标变换成所述被合成三维模型的坐标系的坐标；和合成单元，其将坐标变换后的所述合成三维模型与所述被合成三维模型进行合成。本发明的第2观点涉及一种三维建模装置，其具备图像获取单元，其获取通过使照相机移动而在不同位置处拍摄被摄体从而得到的第I图像和第2图像；特征点提取单元，其从所述第I图像上提取多个第I特征点，并且提取所述第2图像上的与提取出的多个第I特征点对应的多个第2特征点；特征点选择单元，其选择在提取出的所述第I特征点及与该第I特征点对应的第2特征点之中的、与拍摄时的所述照相机之间的距离近的第I特征点和第2特征点的组合；变换参数获取单元，其基于选择出的所述第I特征点和第2特征点的组合，获取表示拍摄所述第I图像时和拍摄所述第2图像时的所述照相机的位置关系的变换参数；三维信息获取单元，其基于获取到的所述变换参数，获取所述特征点提取单元提取出的多个第I特征点及第2特征点的三维信息；和 三维模型创建单元，其基于获取到的所述三维信息创建三维模型。本发明的第3观点涉及一种三维建模方法，其包括下述步骤获取由立体照相机拍摄到的多个图像组；基于获取到的所述多个图像组中的每一个图像组，生成被摄体的多个三维模型；从生成的所述多个三维模型中选择被合成三维模型和与该被合成三维模型进行合成的合成三维模型；从选择出的所述被合成三维模型中提取多个第I特征点，并且从选择出的所述合成三维模型中提取多个第2特征点；分别选择在提取出的所述多个第I特征点和第2特征点之中的与所述立体照相机之间的距离近的特征点；基于选择出的所述第I特征点和第2特征点来获取变换参数，该变换参数用于将该合成三维模型的坐标变换成该被合成三维模型的坐标系的坐标；利用获取到的所述变换参数，将所述合成三维模型的坐标变换成所述被合成三维模型的坐标系的坐标；和将坐标变换后的所述合成三维模型与所述被合成三维模型进行合成。本发明的第4观点涉及一种三维建模方法，其包括下述步骤获取通过使照相机移动而在不同位置处拍摄被摄体从而得到的第I图像和第2图像；从所述第I图像上提取多个第I特征点，并且提取所述第2图像上的与提取出的多个第I特征点对应的多个第2特征点；选择在提取出的所述第I特征点及与该第I特征点对应的第2特征点之中的、与拍摄时的所述照相机之间的距离近的第I特征点和第2特征点的组合；基于选择出的所述第I特征点和第2特征点的组合，获取表示拍摄所述第I图像时和拍摄所述第2图像时的所述照相机的位置关系的变换参数；基于获取到的所述变换参数，获取所提取出的所述多个第I特征点及第2特征点的二维信息；和基于获取到的所述三维信息创建三维模型。
结合以下附图考虑以下的详细描述，可得到对本申请的更深刻的理解。
图IA是表示第I实施方式涉及的立体照相机的前面的样态的图。图IB是表示第I实施方式涉及的立体照相机的背面的样态的图。图2是表示第I实施方式涉及的立体照相机的构成的图。图3是表示第I实施方式涉及的立体照相机的主要部分的构成的图。图4是表示第I实施方式涉及的立体照相机执行的三维建模处理的流程图。图5是表不图4所不的二维模型生成处理的流程图。图6是表示图4所示的照相机位置推定处理的流程图。图7是表示图6所示的特征点选择处理的流程图。图8是表示第I摄像部和第2摄像部中的透视投影模型的图。图9是表示图6所示的坐标变换参数获取处理的流程图。图10是表示图4所示的三维模型合成处理的流程图。图11是表示第2实施方式涉及的立体照相机的构成的图。图12是表示第2实施方式涉及的立体照相机执行的三维建模处理的流程图。
具体实施例方式以下，参照附图，对本发明的各实施方式进行详细说明。在本实施方式中，表示将本发明应用于数字式立体照相机的例子。其中，本发明并不是根据下述的实施方式及附图进行限定的。另外，在不变更本发明宗旨的范围内，能够对下述的各实施方式及附图加以变更。此外，对图中的相同或相应部分赋予相同符号。(第I实施方式)首先，对第I实施方式进行说明。图1A、图IB是第I实施方式涉及的立体照相机I的外观图。如图IA所示，在该立体照相机I的前面设置有镜头IllA和镜头111B，在该立体照相机I的上面设置有快门按钮331。镜头IllA和镜头111B，在以快门按钮331朝上的方向使立体照相机I水平的情况下，按照各自的中心位置在水平方向处于同一线上的方式，隔开规定间隔配置。快门按钮331是用于接受来自用户的快门动作指示的按钮。如图IB所示，在立体照相机I的背面设置有显示部310、操作按键332和电源按键333。显示部310例如由液晶显示装置等构成，作为用于显示操作立体照相机I所需的各种画面或摄影时的实时取景图像、摄像图像等的电子取景器发挥功能。操作按键332包括十字按键和决定按键等，接受模式切换和显示切换等来自用户的各种操作。电源按键333是用于从用户接受立体照相机I的电源接通/断开的按钮。图2是表示立体照相机I的电气构成的框图。如图2所示，立体照相机I具备 第I摄像部100A、第2摄像部100B、数据处理部200和接口部300。其中，在附图中将接口部适当地标记为I/F部。第I摄像部100A及第2摄像部100B是分别起到拍摄被摄体的功能的部分。立体照相机I是所谓的复眼照相机，由此虽然采用了具有2个摄像部的构成，但是也可采用第I摄像部100A和第2摄像部100B相同的构成。以下，对与第I摄像部100A的相应的构成，在参照符号的末尾附上“A”，对与第2摄像部100B的相应的构成，在参照符号的末尾附上“B”。如图2所示，第I摄像部100A(第2摄像部100B)由光学装置110A(110B)及图像、传感器部120A(120B)等构成。光学装置llOA(llOB)例如包括透镜、光圈机构、快门机构等，进行摄像所涉及的光学动作。即、根据光学装置llOA(llOB)的动作进行入射光的聚光，并且进行焦点距离、光圈、快门速度等与视角、焦点、曝光等相关的光学要素的调整。其中，光学装置llOA(llOB)中包含的快门机构是所谓的机械式快门。也可在仅由图像传感器的动作进行快门动作的情况下，在光学装置IIOA(IIOb)中不包括快门机构。另夕卜，光学装置llOA(llOB)在后述的控制部210的控制下动作。图像传感器部120A(120B)生成与由光学装置110A(110B)聚光的入射光相应的电信号。图像传感器部120A(120B)例如由CCD(Charge Coupled Device)或CMOS(Complementally Metal Oxide Semiconductor)等图像传感器构成，通过进行光电变换来生成与接收到的光的强度相应的电信号，并将生成的电信号输出至数据处理部200。其中，如上述，第I摄像部100A和第2摄像部100B为相同构成。更详细而言，透镜的焦点距离f 或F值、光圈机构的光圈范围、图像传感器的尺寸或像素数、排列、像素面积 等各规格完全相同。在使第I摄像部100A和第2摄像部100B同时动作的情况下，虽然对同一被摄体拍摄2个图像(配对图像)，但是它们的光轴位置在横向方向是不同的。数据处理部200处理通过第I摄像部100A及第2摄像部100B的摄像动作而生成的电信号，生成表示摄像图像的数字数据，并且对摄像图像进行图像处理等。数据处理部200由控制部210、图像处理部220、图像存储器230、图像输出部240、存储部250、外部存储部260等构成。控制部210 例如由 CPU (Central Processing Unit)等的处理器及 RAM (RandomAccess Memory)等的主存储装置等构成,通过执行在存储部250等中保存的程序,来控制立体照相机I的各部。另外，在本实施方式中，通过执行规定的程序，由控制部210实现后述的三维建模处理等所涉及的功能。图像处理部220例如由ADC(Analog-Digital Converter)、缓冲存储器、图像处理用的处理器(所谓的图像处理引擎)等构成，基于由图像传感器部120A及120B生成的电信号，生成表示摄像图像的数字数据。即、在ADC将从图像传感器部120A(120B)输出的模拟电信号变换成数字信号之后依次保存至缓冲存储器时，图像处理引擎通过对被缓冲的数字数据进行所谓的显影处理等，由此进行画质的调整及数据压缩等。图像存储器230例如由RAM或闪存等的存储装置构成，暂时保存由图像处理部220生成的摄像图像数据、由控制部210处理的图像数据等。图像输出部240例如由生成RGB信号的电路等构成，将在图像存储器230中保存的图像数据变换成RGB信号等之后输出至显示画面(显示部310等)。存储部250例如由ROM (Read Only Memory)或闪存等的存储装置构成，保存立体照相机I的动作所需的程序、数据、计数器等。在本实施方式中，设控制部210等执行的动作程序、执行动作程序时所需的参数、运算式等的数据被保存至存储部250。外部存储部260例如由存储卡等可与立体照相机I装卸的存储装置构成，并保存由立体照相机I拍摄到的图像数据、三维模型数据等。接口部300是起到在立体照相机I与用户或者外部装置之间的接口所涉及的功能的处理部，由显示部310、外部接口部320、操作部330等构成。显示部310如上述例如由液晶显示装置等构成，显示输出用户操作立体照相机I所需的各种画面、拍摄时的实时取景图像、摄像图像等。在本实施方式中，基于来自图像输出部240的图像信号(RGB信号)等，进行摄像图像等的显示输出。外部接口部320例如由USB (Universal Serial Bus)连接器和影像输出端子等构成，进行向外部计算机装置的图像数据的输出、向外部监视器装置的摄像图像的显示输出
坐寸o操作部330由在立体照相机I的外面上设置的各种按钮等构成，生成与用户进行的操作相应的输入信号之后送至控制部210。在构成操作部330的按钮中，如上述那样包括快门按钮331、操作按键332、电源按键333等。以上，对实现本发明所需的立体照相机I的构成进行了说明，但是立体照相机I除此之外还具备用于实现一般的立体照相机的功能的构成。
在此，参照图3，说明立体照相机I的动作之中的三维建模涉及的动作。图3是表示立体照相机I的主要部分的构成、即用于实现三维建模涉及的动作的构成的框图。如图3所示，立体照相机I具备图像获取部11、三维模型生成部12、三维模型选择部13、特征点提取部14、特征点选择部15、坐标变换参数获取部16、坐标变换部17和三维模型合成部18。这些要素例如由控制部210构成。图像获取部11利用通过一次拍摄来获取一组图像的立体照相机1，获取通过由不同角度多次拍摄被摄体而得到的多个图像组。三维模型生成部12基于获取到的多个图像组中的每一个图像组，生成被摄体的多个三维模型。三维模型选择部13从生成的多个三维模型中选择被合成三维模型(第I三维模型)和与该被合成三维模型进行合成的合成三维模型(第2三维模型)。特征点提取部14从选择出的被合成三维模型中提取多个第I特征点，并且从选择出的合成三维模型中提取多个第2特征点。特征点选择部15从提取出的多个第I特征点和第2特征点中，优先选择与立体照相机I之间的距离近的特征点。坐标变换参数获取部16基于选择出的多个第I特征点和多个第2特征点，获取用于将该合成三维模型的坐标变换成该被合成三维模型的坐标系的坐标的坐标变换参数。坐标变换部17利用获取到的坐标变换参数，将合成三维模型的坐标变换成被合成三维模型的坐标系的坐标。三维模型合成部18将变换后的合成三维模型与该被合成三维模型进行合成。接着，利用图4所示的流程图，说明立体照相机I执行的三维建模处理。立体照相机I接受操作按键332等用户操作的结果，在动作模型被设定为三维建模模式时，执行图4所示的三维建模处理。在本实施方式中，在快门按钮331被按压的期间，反复执行被摄体的拍摄、三维模型的生成、生成的三维模型的合成、合成后的三维模型的预览显示等。在此，将由最初拍摄得到的三维模型、即成为合成的基础的三维模型称为被合成三维模型(first 3D model)。另外，将通过2次以后的拍摄得到的三维模型、即与被合成三维模型进行合成的三维模型称为合成三维模型(second 3D model)。之后,在三维建模处理中，依次生成将拍摄次数数量的三维模型进行合成而得到的三维模型。其中，设从按每次拍摄而不同的角度拍摄被摄体。首先，控制部210判别快门按钮331是否被按压(步骤S101)。若判别出快门按钮331未被按压(步骤SlOl :否)，则控制部210再次执行步骤SlOl的处理。另一方面，若判别出快门按钮331被按压(步骤SlOl :是)，则控制部210将摄像次数计数器N初始化为I (步骤S102)。其中，摄像次数计数器N例如被存储至存储部250。接着，控制部210控制第I摄像部100A、第2摄像部100B及图像处理部220等，拍摄被摄体(步骤S103)。若通过控制部210拍摄被摄体，则得到2枚平行同位图像(配对 图像)。获取到的配对图像例如被存储至图像存储器230。其中，在配对图像中，将通过第I摄像部100A的摄像而得到的图像设为图像A，将通过第2摄像部100B的摄像而得到的图像设为图像B。接着，控制部210基于在图像存储器230中存储的配对图像，执行三维模型生成处理(步骤S104)。在此，参照图5所示的流程图，说明三维模型生成处理。其中，三维模型生成处理是基于一组的配对图像生成三维模型的处理。即、能够将三维模型生成处理认为是生成从一个照相机位置处看到的三维模型的处理。首先，控制部210提取特征点的候补(步骤S201)。例如，控制部210对图像A进行相角(corner)检测。在相角检测中，对各点(像素)例如计算Harris法的相角特征量。之后，将计算出的相角特征量为规定阈值以上、且在以该点为中心的规定半径的区域内成为最大的点(像素)，选择为相角点。因此，将被摄体的前端等相对于其他点而言具有特征的点提取为特征点。接着，控制部210执行立体匹配，从图像B中搜索与图像A的特征点对应的点(对应点)(步骤S202)。具体而言，控制部210根据模板匹配对图像B的各点(像素)计算类似度。之后，将类似度为规定阈值以上且最大的点(差异度为规定阈值以下且最小的点)作为对应点。模板匹配例如可利用残差绝对值和(SAD)、残差平方和(SSD)、标准化相关(NCC或ZNCC)、方向符号相关等各种已知方法。接着，控制部210根据在步骤S202中发现的对应点的视差信息、第I摄像部100A及第2摄像部100B的视角、基线长等，计算特征点的三维位置信息(步骤S203)。视差信息是指，对应点在图像A中的位置和在图像B中的位置之差的信息。计算出的特征点的三维位置信息例如被存储至存储部250。接着，控制部210基于在步骤S203中计算出的特征点的三维位置信息，执行德劳内三角剖分(Delaunay triangulation),并执行多边形化(步骤S204)。生成的多边形信息(三维模型)例如被存储至存储部250。当完成步骤S204的处理时，控制部210结束三维模型生成处理。其中，若特征点的数量少，则被摄体的形状信息缺损，难以得到如实表现被摄体的如实三维模型。另一方面，为了得到更多的特征点，若放宽提取特征点的候补的条件或立体匹配的条件，则不恰当的点会包括在特征点的候补中，或者在立体匹配中产生误对应。这种情况下，位置精度会下降，建模精度会变差。为此，为了既能防止建模精度的变差，又能得到如实表现被摄体的如实三维模型，需要提取恰当数量的特征点。
另外，三维模型(三维信息)例如利用以下的3个式子根据配对图像而求出。从配对图像中获取三维信息的方法的详细内容，例如被公开在数字图像处理(2006年3月I日发行，CG-ARTS协会出版)中。X = (b*u)/(u_u，)Y = (b*v)/ (u_u，)Z = (b*f)/(u_u，)其中，b是光学装置IlOA与IlOB之间的距离，被称为基线长。(U，V)表示由光学装置IlOA拍摄到的被摄体的图像上的坐标，(u’，V’ )表示由光学装置IlOB拍摄到的被摄体的图像上的坐标。上述3个式子中的(u-u’ )是在由光学装置IlOA和光学装置IlOB拍摄相同被摄体时得到的2个图像上的被摄体的坐标之差，被称为视差。f表示光学装置IlOA的焦点距离。如上述已经说明过的那样，光学装置IlOA与IlOB采用相同构成，焦点距离f 也相等。返回图4，若三维模型生成处理(步骤S104)结束，则控制部210判别摄像次数计数器N是否为1(步骤S105)。在此，摄像次数计数器N为I是指，最初拍摄的刚刚之后。若判别出摄像次数计数器N为I (步骤S105 :是)，则控制部210将由步骤S104的处理生成的三维模型设定成被合成三维模型(步骤S106)。另一方面，若判别出摄像次数计数器N不为I、即不是最初拍摄的刚刚之后(步骤S105 :否)，则控制部210执行照相机位置推定处理(步骤S107)。控制部210将当前循环的步骤S104中新得到的三维模型设定成合成三维模型。在此，参照图6的流程图，说明照相机位置推定处理的详细内容。其中，在照相机位置推定处理中，求出本次拍摄时的立体照相机I的位置相对于最初拍摄时的立体照相机I的位置的相对位置。其中，求出该相对位置与求出坐标变换参数是同义，该坐标变换参数用于将由本次拍摄得到的三维模型的坐标变换成由最初拍摄得到的三维模型的坐标系的坐标。首先，控制部210执行特征点选择处理，该特征点选择处理从被合成三维模型和合成三维模型的双方选择用于计算照相机位置(坐标变换参数)的三维空间上的特征点(步骤S301)。在此，参照图7的流程图，说明特征点选择处理。首先，控制部210从被合成三维模型和合成三维模型的双方获取三维空间上的特征点(步骤S401)。例如，控制部210获取被合成三维模型(或合成三维模型)的特征点之中的相角强度高且立体匹配的一致性高的点。或者，也可控制部210在配对图像之间考虑外极线约束(epipolar constraint)的基础上,通过执行基于SURF(Speeded_Up RobustFeatures)特征量的匹配来提取特征点。或者，也可在通过前述的三维模型创建处理(图5)创建被合成三维模型(或合成三维模型)时，从被合成三维模型(或合成三维模型)获取在步骤S201中提取出的特征点的候补。接着，控制部210基于与立体照相机I之间的距离，将从被合成三维模型获取出的各特征点分类(聚类)成2个集合(聚类群)(步骤S402)。图8示出第I摄像部100A和第2摄像部100B中的透视投影模型。在该图中，特征点和立体照相机I之间的距离表示为采用以第I摄像部100A的透镜主要点、即Cl为原点的坐标时的Z轴方向的坐标值。其中，聚类方法例如可以采用判别分析法即可。判别分析法是按照2个聚类群之间的方差最大的方式进行聚类的方法。这样，通过基于与立体照相机I之间的距离(Z坐标)进行聚类，由此创建由与接近立体照相机I的被摄体对应的特征点构成的聚类群、和由与远离立体照相机I的背景对应的特征点构成的聚类群。其中，也可利用最短距离法、最长距离法、群平均法等其他方法进行聚类。返回图7，接着，控制部210对合成三维模型也同样地，基于与立体照相机I之间的距离(图8中的Z坐标)，将获取到的各特征点候补分类(聚类)成2个集合(聚类群)(步骤 S403)。接着，控制部210仅将通过步骤S402和步骤S403的处理分别聚类成的2个聚类群之中的、属于与立体照相机之间的距离近的聚类群的特征点，选择为用于计算后述的照相机位置(坐标变换参数)的特征点(步骤S404)。以上，结束特征点选择处理。通过特征点选择处理，作为在后述的处理中用到的特征点而优先选择与照相机接近的特征点。返回图6，若特征点选择处理(步骤S301)结束，则控制部210从通过该特征点选 择处理选择出的被合成三维模型的特征点之中选择3个特征点(步骤S302)。在此，选择出的3个特征点选择的是满足以下所示的(A)及(B)条件的点。(A)条件是以3个特征点为顶点的三角形的面积不过于小，(B)条件是以3个特征点为顶点的三角形不具有极端的锐角。例如，控制部210直到选择满足上述(A)及(B)条件的3个特征点为止，随机地选择3个特征点。其中，是否满足(A)及(B)条件的判别，只要通过将三角形的面积及角度与规定的阈值进行比较而进行即可。接着，控制部210从以在特征点选择处理(步骤S301)中选择出的合成三维模型的特征点为3个顶点的三角形之中，搜索与以在步骤S302中选择出的3个特征点为顶点的三角形全等的全等三角形(步骤S303)。例如，在3边的长度大致相等的情况下，判别为2个三角形全等。步骤S303的处理也能认为是下述处理在合成三维模型的特征点之中，搜索认为是与在步骤S302中从被合成三维模型中选择出的3个特征点对应的3个特征点。此夕卜，也可控制部210在特征点及其周边的颜色信息、或者SURF特征量等中预先缩减三角形的候补，由此使得搜索高速化。表示被搜索到的三角形的信息(典型为表示构成该三角形的顶点的3个特征点的三维空间上的坐标的信息)，例如被存储至存储部250。在全等的三角形有多个的情况下，表示所有三角形的信息被存储至存储部250。接着，控制部210判别在步骤S303的搜索中是否搜索到至少一个全等的三角形(步骤S304)。其中，在搜索到的全等的三角形过多的情况下，也可视为未搜索到全等的三角形。若判别出搜索到至少一个全等的三角形(步骤S304 :是)，则控制部210选择一个全等的三角形(步骤S305)。另一方面，若判别出一个全等的三角形也未搜索到(步骤S304 :否)，则控制部210将处理返回到步骤S302。若完成步骤S305的处理，则控制部210执行坐标变换参数获取处理(步骤S306)。参照图9所示的流程图，详细说明坐标变换参数获取处理。其中，坐标变换参数获取处理是获取坐标变换参数的处理，该坐标变换参数用于将合成三维模型的坐标变换成被合成三维模型的坐标系的坐标。此外，坐标变换参数获取处理是按照在步骤S302中选择出的3个特征点和在步骤S303中选择出的全等的三角形的每个组合执行的。在此，坐标变换参数是相对于在式(I)及(2)中给予的对应点配对(特征点配对、顶点配对)而言满足式⑶的旋转矩阵R和移动向量t。式⑴及⑵中的p和p’具有从各自的照相机视线观看到的三维空间上的坐标。其中，N是对应点配对的配对数。
权利要求
1.一种三维建模装置，其具备 图像获取单元，其获取由立体照相机拍摄到的多个图像组； 三维模型生成单元，其基于获取到的所述多个图像组中的每一个图像组，生成被摄体的多个三维模型； 三维模型选择单元，其从生成的所述多个三维模型中选择被合成三维模型和与该被合成三维模型进行合成的合成三维模型； 特征点提取单元，其从选择出的所述被合成三维模型中提取多个第I特征点，并且从选择出的所述合成三维模型中提取多个第2特征点； 特征点选择单元，其分别选择在提取出的所述多个第I特征点和第2特征点之中的与所述立体照相机之间的距离近的特征点； 变换参数获取单元，其基于选择出的所述第I特征点和第2特征点来获取变换参数，该变换参数用于将该合成三维模型的坐标变换成该被合成三维模型的坐标系的坐标； 坐标变换单元，其利用获取到的所述变换参数，将所述合成三维模型的坐标变换成所述被合成三维模型的坐标系的坐标；和 合成单元，其将坐标变换后的所述合成三维模型与所述被合成三维模型进行合成。
2.根据权利要求I所述的三维建模装置，其中， 所述特征点选择单元基于与所述立体照相机之间的距离，将提取出的所述多个第I特征点和第2特征点聚类成2个聚类群，选择属于与所述立体照相机之间的距离近的一个聚类群的第I特征点和第2特征点。
3.根据权利要求I所述的三维建模装置，其中， 所述特征点选择单元选择对提取出的所述多个第I特征点和第2特征点应用基于规定评价式的鲁棒推定法而推定出的特征点，其中，与所述立体照相机之间的距离越近，该规定表达式表示越高的评价值。
4.一种三维建模装置，其具备 图像获取单元，其获取通过使照相机移动而在不同位置处拍摄被摄体从而得到的第I图像和第2图像； 特征点提取单元，其从所述第I图像上提取多个第I特征点，并且提取所述第2图像上的与提取出的多个第I特征点对应的多个第2特征点； 特征点选择单元，其选择在提取出的所述第I特征点及与该第I特征点对应的第2特征点之中的、与拍摄时的所述照相机之间的距离近的第I特征点和第2特征点的组合；变换参数获取单元，其基于选择出的所述第I特征点和第2特征点的组合，获取表示拍摄所述第I图像时和拍摄所述第2图像时的所述照相机的位置关系的变换参数； 三维信息获取单元，其基于获取到的所述变换参数，获取所述特征点提取单元提取出的多个第I特征点及第2特征点的三维信息；和 三维模型创建单元，其基于获取到的所述三维信息创建三维模型。
5.一种三维建模方法，其包括下述步骤 获取由立体照相机拍摄到的多个图像组； 基于获取到的所述多个图像组中的每一个图像组，生成被摄体的多个三维模型； 从生成的所述多个三维模型中选择被合成三维模型和与该被合成三维模型进行合成的合成三维模型； 从选择出的所述被合成三维模型中提取多个第I特征点，并且从选择出的所述合成三维模型中提取多个第2特征点； 分别选择在提取出的所述多个第I特征点和第2特征点之中的与所述立体照相机之间的距离近的特征点； 基于选择出的所述第I特征点和第2特征点来获取变换参数，该变换参数用于将该合成三维模型的坐标变换成该被合成三维模型的坐标系的坐标； 利用获取到的所述变换参数，将所述合成三维模型的坐标变换成所述被合成三维模型的坐标系的坐标；和 将坐标变换后的所述合成三维模型与所述被合成三维模型进行合成。
6.一种三维建模方法，其包括下述步骤 获取通过使照相机移动而在不同位置处拍摄被摄体从而得到的第I图像和第2图像；从所述第I图像上提取多个第I特征点，并且提取所述第2图像上的与提取出的多个第I特征点对应的多个第2特征点； 选择在提取出的所述第I特征点及与该第I特征点对应的第2特征点之中的、与拍摄时的所述照相机之间的距离近的第I特征点和第2特征点的组合； 基于选择出的所述第I特征点和第2特征点的组合，获取表示拍摄所述第I图像时和拍摄所述第2图像时的所述照相机的位置关系的变换参数； 基于获取到的所述变换参数，获取所提取出的所述多个第I特征点及第2特征点的三维信息；和 基于获取到的所述三维信息创建三维模型。
全文摘要
本发明提供一种三维建模装置及方法。图像获取部(11)获取通过从不同角度多次拍摄被摄体而得到的多个图像组。三维模型生成部(12)基于获取到的多个图像组中的每一个图像组，生成被摄体的多个三维模型。三维模型选择部(13)选择被合成三维模型和合成三维模型。特征点提取部(14)从被合成三维模型和合成三维模型中提取多个第1特征点和第2特征点。特征点选择部(15)从提取出的多个第1特征点和第2特征点中，选择与立体照相机1之间的距离近的特征点。坐标变换参数获取部(16)获取坐标变换参数。坐标变换部(17)将合成三维模型的坐标变换成被合成三维模型的坐标系的坐标。三维模型合成部(18)将合成三维模型与被合成三维模型进行合成。
文档编号H04N13/00GK102737406SQ20121009479
公开日2012年10月17日 申请日期2012年4月1日 优先权日2011年4月6日
发明者中岛光康, 山谷崇史 申请人:卡西欧计算机株式会社