3维形状计测装置、3维形状计测方法及3维形状计测程序的制作方法
【技术领域】
[0001] 本发明设及3维形状计测装置、3维形状计测方法及3维形状计测程序。
[0002] 本申请基于2013年11月6日在日本申请的特願2013-230321号而主张优先权，并 在本申请中援引其内容。
【背景技术】
[0003] 非专利文献1中记载了基于包含一边使摄像部移动一边拍摄到的对象物的多个2 维图像来生成对象物的3维形状模型的技术的一例。该非专利文献1所记载的3维形状计测 系统中，如下述那样生成对象物的3维形状模型。首先，一边使构成摄像部的立体摄像机移 动一边W动画来拍摄对象物整体。在此所谓立体摄像机也称作两眼立体视摄像机，是从多 个不同视点拍摄对象物的装置。接下来，按照每规定帖，基于1组的2维图像，计算与各像素 对应的3维坐标值。其中，该时刻计算出的3维坐标值由按照立体摄像机的每个视点而不同 的多个3维坐标来表示。因此，非专利文献1所记载的3维形状计测系统中，通过在遍及多个 帖来追踪作为动画而拍摄到的多个2维图像中包含的特征点群，来推测立体摄像机的视点 的移动。然后，基于视点移动的推测结果而将由多个坐标系表示的3维形状模型统一为同一 坐标系，生成对象物的3维形状模型。
[0004] 此外，非专利文献2中记载了基于一边使红外线深度传感器（W下称作摄像部)移 动一边取得的多个深度图像(也称作景深图像、距离图像等)来生成对象物的3维形状模型 的技术的一例。在此，所谓深度图像是指，将测定出的对象物的距离信息（与从摄像部起至 对象物为止的距离有关的信息）用像素单位来表示的图像。非专利文献2所记载的3维形状 计测系统中，红外线深度传感器由红外线投射部、红外线摄像部和信号处理部构成。红外线 投射部对对象物投射随机散斑图案，由红外线摄像部拍摄从对象物反射的反射光。然后，基 于由红外线摄像部拍摄到的随机散斑图案的偏离、形状变化，由信号处理部计算对象物的 距离信息，生成深度图像。关于该红外线深度传感器的构成等，例如在专利文献1~3中有记 载。
[0005] 现有技术文献
[0006] 专利文献
[0007] 专利文献1:日本国特表2011-527790号公报 [000引专利文献2:日本国特表2009-511897号公报
[0009] 专利文献3:日本国特表2009-530604号公报
[0010] 专利文献4:日本国特开2008-328367号公报
[0011] 非专利文献
[001^ 非专利文献1:运天弘树、增田智仁、S桥徹、安藤真，"ステレ才力弓移動撮影吃 主S VR子尹>自動生成方法。検討"，日本八一予中/レリアリテ冶^会論文誌，Vol. 12 ,No . 2， 200巧
[0013]非专利文献2:化址ram Izadi，David Kim，0tmar Hilliges，David Molyneaux, Richard Newcombe,Pushmeet Kohli,Jamie Shotton，Steve Hodges,Dustin Freeman， Andrew Davison , and Andrew Fi t z g i bbon，''K ine c tFu s i on : Rea I - t ime 3D Reconstruction and Interaction Using a Moving Depth Camera，''October 2011， Publisher ：ACM Symposium on User Interface Software and Technology，[平成25年4 月 15 日检索]，网址<11化：ht1:p://research.microsoft. com/apps/pubs/default.as阳？id = 155416>
【发明内容】
[0014] 发明要解决的课题
[0015] 如上述那样，在非专利文献1、非专利文献2所示的3维形状计测系统中，一边使摄 像部移动一边拍摄多个2维图像，基于拍摄到的多个2维图像来生成对象物的3维形状模型 (W下记作已计测3维形状模型）。能够与拍摄几乎同时地使显示部显示该已计测3维形状模 型。
[0016] 另一方面，在如市面出售的摄像机那样的使摄像部和显示部设为一体的摄像装置 中，能够与拍摄几乎同时地使显示部显示由摄像部拍摄到的2维图像。因此，通过单纯地组 合非专利文献1、非专利文献2所示的3维形状计测系统和将摄像部及显示部设为一体的摄 像装置，除了所拍摄到的包含对象物的2维图像之外，还能够与拍摄同时地使显示部显示已 计测3维形状模型。
[0017] 然而，在运样的构成中，有在基于显示部的显示而了解到存在对象物的未计测部 位时计测者无法容易地判断出具体如何使摄像部移动才能够计测未计测区域运样的课题。
[0018] 本发明考虑到W上的情况而做出，其目的在于提供一种在3维形状的计测时能够 容易地确定出未计测区域的3维形状计测装置、3维形状计测方法及3维形状计测程序。
[0019] 用于解决课题的手段
[0020] 为了解决上述的课题，本发明的第一方式的3维形状计测装置具备:摄像部，依次 输出所拍摄到的规定的2维图像;存储部，存储摄像部所输出的2维图像;3维形状模型生成 部，基于存储部所存储的2维图像，生成3维形状模型，将所生成的3维形状模型存储于存储 部；区域计算部，根据存储部所存储的2维图像及3维形状模型，计算2维图像内的已计测区 域；W及显示用图像生成部，基于已计测区域，根据2维图像，生成显示用图像。
[0021] 本发明的第一方式的3维形状计测装置中，优选为，所述区域计算部根据所述存储 部所存储的所述2维图像及所述3维形状模型，计算所述2维图像内的计测对象外区域、已计 测区域及未计测区域，所述显示用图像生成部基于所述计测对象外区域、所述已计测区域 及所述未计测区域，根据所述2维图像，生成显示用图像。
[0022] 本发明的第一方式的3维形状计测装置中，优选为，所述区域计算部根据所述存储 部所存储的所述2维图像及所述3维模型，计算所述2维图像内的已低精度计测区域及已高 精度计测区域。
[0023] 本发明的第一方式的3维形状计测装置中，优选为，所述3维形状模型生成部还具 备指示精度设定的变更的精度设定变更指示部。
[0024] 本发明的第一方式的3维形状计测装置中，优选为，所述显示用图像生成部生成所 述已计测区域的像素值高且所述计测对象外区域的像素值低的所述显示用图像。
[0025] 本发明的第一方式的3维形状计测装置中，优选为，还具备:最佳移动方向计算部， 基于所述2维图像内的所述未计测区域的分布，计算最佳的所述摄像部的移动方向；W及最 佳移动方向输出部，输出对由所述最佳移动方向计算部计算出的移动方向进行引导的信 息。
[0026] 此外，本发明的第二方式的3维形状计测方法包括如下步骤:依次取得2维图像(摄 像图像取得步骤）；将摄像图像取得步骤中取得的2维图像存储于存储部(存储步骤）；基于 存储步骤中存储的2维图像，生成3维模型，将所生成的3维形状模型存储于存储部(3维形状 模型生成步骤）；根据存储部所存储的2维图像及3维形状模型，计算2维图像内的已计测区 域（区域计算步骤）；基于区域计算步骤中计算出的已计测区域，根据2维图像，生成显示用 图像(显示用图像生成步骤）。
[0027] 此外，本发明的第=方式的3维形状计测程序使计算机执行如下步骤:存储步骤， 使存储部存储从拍摄2维图像的摄像部输出的所述2维图像;3维形状模型生成步骤，基于存 储步骤中存储的2维图像，生成3维模型，使存储部存储所生成的3维形状模型；区域计算步 骤，根据存储部所存储的2维图像及3维形状模型，计算2维图像内的已计测区域；W及显示 用图像生成步骤，基于已计测区域，根据2维图像，生成显示用图像。
[0028] 发明效果
[0029]