三维测量装置、三维测量方法以及存储介质与流程

本发明涉及投影图案光(patternlight)来测量测量对象物的三维位置的三维测量技术。

背景技术：

作为测量对象物的三维形状的测量方法，已知有主动测量(activemeasurement)。在主动测量中，在对测量对象物投影了图案光的状态下进行拍摄，并利用三角测量的原理根据拍摄的图像上的图案的位置求出测量对象物的三维形状(各像素的三维位置)。

在主动测量中，能够仅利用一张图像测量出三维形状的单次主动形状测量，因为仅利用一张图像而能够实时测量等理由，作为有益的技术而备受关注。

作为进行单次主动形状测量的方法，已知有使用结构光图案的方法。在使用结构光图案的方法中，在对测量对象物投影了图案光的状态下进行拍摄，并根据拍摄的图像上的图案的位置求出测量对象物的三维形状。使用结构光图案的方法，具有精度高(尤其在近距离中)、视野广、成本低等优点。

作为使用结构光图案的方法的一例，非专利文献1中公开了使用被实施空间编码(coding)的图案光的方法。非专利文献1中的二维图案具有被称为基元(primitive)的图案构成要素呈二维状铺开的结构。包含多个基元的窗口(例如由2×3的基元构成)，可以通过该窗口所包含的多个基元进行确定。因此，通过从拍摄图像检测基元的排列，从而能够算出三维位置。

另一方面，作为被动测量(passivemeasurement)，已知有使用两台照相机(所谓的立体相机)求出测量对象物的三维形状的方法。在使用立体相机的方法中，利用下述方法，即：将照相机左右配置并同时拍摄测量对象物，从得到的图像搜索对应的像素对、即对应点，求出左右图像的对应点彼此在左右方向上的分离距离(即，视差)，对该视差使用三角测量的原理，算出得到的图像的各像素的三维位置(利用立体方式的三维测量法)。

但是，在利用立体方式的三维测量法中，由于测量精度直接受到测量对象物的表面的纹理(texture)的影响，因而在纹理少的平坦面或反射面上，对应点的检测或三维位置的积算非常困难。

为了解决上述问题，提出了下述方法，即：使用立体相机和一台投影仪，从投影仪投射图案光，对测量对象物的表面赋予纹理，并进行模板匹配，从而提高对应点的检测或三维位置的计算的精度。

现有技术文献

非专利文献

非专利文献1：p.vuylstekeanda.oosterlinck,rangeimageacquisitionwithasinglebinary-encodedlightpattern,ieeepami12(2),pp.148-164,1990.

技术实现要素：

但是，在非专利文献1公开的使用结构光图案的方法中，由于对测量对象物投射具有编码图案的图案光，因此，当测量对象物小时，不易高精度地将测量对象物的拍摄图像中映出的图案光的符号解码(decode)，存在将测量对象物的三维形状复原的点群(以下，也称为“三维点群数据”)的再现性低这一问题。

关于这一点，在使用立体相机的方法中，通过投影图案光得到的纹理用于搜索对应点，从而不需要对图案光的符号进行解码这一处理。因此，即使测量对象物小，使用立体相机时的三维点群数据的再现性也比使用结构光图案时的三维点群数据的再现性高。

但是，在使用立体相机的方法中，由于三维点群数据的精度低，因而得到的图像不清晰。图14是对使用立体相机时的图像的清晰度(图14中的左图)与使用结构光图案时的图像的清晰度(图14中的右图)进行比较的图。

如图14所示，在使用立体相机的方法中，由于三维点群数据的精度低于使用结构光图案时的精度，因而图像的清晰度低于使用结构光图案时的图像的清晰度。

本发明是鉴于以上所说明的情况而完成的，其目的在于提供一种测量对象物的三维点群数据的再现性和图像的清晰度高于现有技术的三维测量技术。

本发明的一方式涉及的三维测量装置用于测量测量对象物的三维形状，其具备：投影部，其对测量对象物投影混合图案的图案光，该混合图案是将二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，该二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，该不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄部，其具备对被投影了图案光的测量对象物进行拍摄的第一照相机和第二照相机；图案存储部，其用于存储二维编码图案；第一计算部，其从通过第一照相机或第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个对象像素而提取像素上显现的图案光的字，根据提取出的字和存储在图案存储部中的二维编码图案求出各个对象像素的三维位置；以及第二计算部，其在将通过第一照相机和第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从基准图像提取出与各个不规则片对应的各特征点，并使用提取出的各个特征点进行相对于比较图像的立体匹配，根据立体匹配结果求出各个特征点的三维位置。

根据上述构成，对测量对象物投影具有混合图案的图案光进行三维测量。在此，混合图案是使不规则图案与将能够相互区别的多种字呈二维状地进行配置而形成的二维编码图案(即结构光图案)重叠而形成的图案，并且以不规则图案与结构光图案不会相互干涉的方式配置图案。由此，能够享受结构光图案和不规则图案两者的优点。即，能够享受在图像清晰度这一点上优异的结构光图案、和在三维点群数据的再现性这一点上优异的不规则图案两者的优点。

本发明的另一方式涉及的三维测量方法用于测量测量对象物的三维形状，其包括：投影步骤，对测量对象物投影混合图案的图案光，混合图案是将二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄步骤，通过具备第一照相机和第二照相机的拍摄部，对于被投影了图案光的测量对象物进行拍摄；第一计算步骤，从通过第一照相机或第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个对象像素而提取像素上显现的图案光的字，根据提取出的字和存储在存储部中的二维编码图案求出各个对象像素的三维位置；以及第二计算步骤，在将通过第一照相机和第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从基准图像提取出与各个不规则片对应的各特征点，并使用提取出的各个特征点进行相对于比较图像的立体匹配，根据立体匹配结果求出各个特征点的三维位置。

本发明的另一方式涉及存储介质，存储有程序，该程序用于使具备存储二维编码图案的存储部和包含第一照相机和第二照相机的拍摄部的计算机测量测量对象物的三维形状，该程序使计算机执行；投影步骤，对测量对象物投影混合图案的图案光，混合图案是将所述二维编码图案和不规则图案以不会引起图案相互干涉的方式进行配置而形成的图案，二维编码图案是将能够相互区别的多种字呈二维状地进行配置而形成的图案，不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；拍摄步骤，通过拍摄部对被投影了图案光的测量对象物进行拍摄；第一计算步骤，从通过第一照相机或第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个对象像素而提取该像素上显现的图案光的字，根据提取出的字和存储在存储部中的二维编码图案求出各个对象像素的三维位置；以及第二计算步骤，在将通过第一照相机和第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从基准图像提取出与各个不规则片对应的各特征点，并使用提取出的各个特征点进行相对于比较图像的立体匹配，根据立体匹配结果求出各个特征点的三维位置。

根据本发明，能够提供测量对象物的三维点群数据的再现性和图像的清晰度比现有技术高的三维测量技术。

附图说明

图1是表示三维测量系统的整体构成的图。

图2是例示混合图案的图。

图3是例示投影部与拍摄部的位置关系的图。

图4是用于说明精细化三维点群数据的方法的图。

图5是用于说明混合图案的生成方法的图。

图6是用于说明不规则图案与结构光图案重叠的影响的图。

图7a是例示结构光图案的图。

图7b是用于说明使用结构光图案的三维测量的原理的图。

图8中的(a)～(e)是用于说明基元的图。

图9中的(a)和(b)是用于说明由多个基元构成的字的图。

图10是表示混合图案的设计方法的流程的流程图。

图11是用于说明另一个混合图案的设计方法的图。

图12是表示通过三维测量系统执行且使用混合图案的三维测量的处理的流程图。

图13是表示精细化处理的流程图。

图14是表示图像的清晰度的比较例的图。

附图标记说明

1000…三维测量系统

100…投影部

110…激光光源

120…图案掩模

130…透镜

200…拍摄部

210…第一照相机

220…第二照相机

300…计算机

310…控制部

320…图像输入部

330…三维处理部

331…第一三维点群数据生成部

332…第二三维点群数据生成部

333…第三三维点群数据生成部

334…图案存储部

340…精细化部

ph…混合图案

ps…结构光图案

pr…不规则图案。

具体实施方式

以下，参照附图对本发明的实施方式详细进行说明。本实施方式涉及的三维测量系统，对测量对象物投影图案光进行拍摄，并使用三角测量的原理来测量测量对象物的三维形状。此外，对于同一要素赋予同一附图标记，并省略重复说明。另外，以下的实施方式是用于说明本发明的示例，并未意图将本发明仅限定于该实施方式。而且，本发明只要不脱离其主旨便能够实施各种变形。

a.本实施方式

[构成]

图1是表示本实施方式涉及的三维测量系统1000的构成的图。

三维测量系统1000的构成包括投影部100、拍摄部200以及计算机300。本实施方式涉及的三维测量系统1000是将使用结构光图案求出测量对象物的三维位置的系统(以下，也称为“结构化光系统”)、和使用立体相机求出测量对象物的三维位置的系统(以下，也称为“立体相机系统”)融合而成的混合三维测量系统。

投影部100是投影具有本实施方式中特征性的混合图案的图案光的装置。投影部100具备激光光源110、图案掩模(patternmask)120以及透镜130。从激光光源110射出的光通过图案掩模120被转换为具有混合图案的图案光，并经由透镜130投影至外部。

激光光源110的构成包括例如由多个led元件构成的led模块。激光光源110所生成的激光的波长并无特别限定，例如可以使用红外光、可见光、紫外光等。

图案掩模120是将结构光图案和不规则图案加以组合而形成混合图案的图案掩模。图2表示混合图案ph(hybridpattern)的例子。当然，也可以取代通过图案掩模120形成混合图案ph，而采用通过分为结构光图案和不规则图案这两个图案，并分别对测量对象物投影各自的图案光，从而形成混合图案的方法。此外，关于结构光图案ps(structuredlightpattern)和不规则图案pr(randompattern)的作用等，之后详细进行说明，接下来继续进行说明。

在此，投影部100并非限定于上述构成，也可以利用通常的投影仪。该情况下，只要通过将形成混合图案的图案掩模120保存在投影仪主体上等方式进行对应即可。

拍摄部200用于拍摄通过投影部100投影了图案光的物体(测量对象物)，其构成包括第一照相机210和第二照相机220。第一照相机210和第二照相机220是例如由摄像元件、透镜、透镜驱动元件等构成的相机模块。作为摄像元件，使用例如cmos传感器或ccd传感器等，选择能够检测投影部100投影的图案光的波长的传感器。

第一照相机210和第二照相机220的像素尺寸和设置位置，根据测量对象物的尺寸或者所要求的测量精度适当地进行选择和设定。图3是例示投影部100、第一照相机210以及第二照相机220的位置关系的图。

如图3所示，投影部(p)100设置于第一照相机(c1)210与第二照相机(c2)220之间。通过上述构成，形成分别从不同的视觉方向观察测量对象物的两个结构光系统和一个立体相机系统。即，通过投影部100和第一照相机210形成第一结构光系统(c1+p)，通过投影部100和第二照相机220形成第二结构光系统(c2+p)，另一方面，通过第一照相机210和第二照相机220形成立体相机系统(c1+c2)。在图3所示的例子中，第一照相机210与投影部100之间的距离(第一基线)l1被设定为比第二照相机220与投影部100之间的距离(第二基线)l2长，但第一基线l1和第二基线l2也可以为相同长度。另外，第一照相机210、第二照相机220以及投影部100的配置分别也可以进行调换。进而，也可以追加一个二维照相机，并利用二维照相机仅拍摄可见光，另一方面，通过第一照相机(c1)210和第二照相机(c2)220仅拍摄从投影部100射出的不可见光。

计算机300作为构成包括cpu(中央运算处理装置)等的处理器、用作工作存储器的ram或rom等的主存储装置、硬盘等的辅助存储装置、键盘或各种指针设备(鼠标、触摸板、触摸屏等)或麦克风等的输入装置、显示装置(液晶显示器等)或扬声器等的输出装置、用于进行有线通信或无线通信的通信装置等的通用计算机(信息处理装置)而构成。计算机300通过由处理器读取存储在辅助存储装置等中的计算机程序而执行各种处理。上述程序以存储在存储卡或光盘等计算机可读记录介质中的状态进行提供、或者通过因特网等进行提供。此外，本实施方式涉及的程序可以以单体的应用程序的形式提供，也可以以嵌入其他程序的一部分中的模块形式进行提供。另外，也可以利用asic等的专用电路执行根据该程序执行的处理的一部分或全部。

计算机300通过由处理器读取存储在辅助存储装置等中的程序并加以执行，从而作为控制部310、图像输入部320、三维处理部330以及精细化部340进行动作。

控制部310中枢性地控制三维测量系统1000整体，尤其控制利用投影部100的混合图案的图案光的投影、利用拍摄部200的拍摄、以及基于拍摄图像的三维位置的测量等。

图像输入部320输入通过第一照相机210和第二照相机220拍摄的图像，并将其作为拍摄图像存储在存储器中。此外，控制部310从时序控制电路(省略图示)向第一照相机210和第二照相机220发送同步信号，以使第一照相机210和第二照相机220的摄像时机一致(即同步)。为了便于说明，以下将利用第一照相机210拍摄的图像称为第一抓拍图像(captureimage)img1，将利用第二照相机220拍摄的图像称为第二抓拍图像img2。

三维处理部330具备第一三维点群数据生成部331、第二三维点群数据生成部332、第三三维点群数据生成部333以及图案存储部334。三维处理部330根据从图像输入部320供给的第一抓拍图像img1和第二抓拍图像img2，生成下述(1)～(3)所示的三种三维点群数据。此外，(1)和(2)是利用结构光图案ps生成三维点群数据的模式，(3)是利用不规则图案pr生成三维点群数据的模式。在本实施方式中，假定为同时利用下述(1)～(3)生成三维点群数据的融合模式，但也可以仅利用结构光图案ps生成三维点群数据，还可以仅利用不规则图案pr生成三维点群数据。

(1)第一三维点群数据生成部331利用由投影部100和第一照相机210构成的第一结构光系统(c1+p)，并根据第一抓拍图像img1生成三维点群数据r1。

(2)第二三维点群数据生成部332利用由投影部100和第二照相机220构成的第二结构光系统(c2+p)，并根据第二抓拍图像img2生成三维点群数据r2。

(3)第三三维点群数据生成部333利用由第一照相机210和第二照相机220构成的立体相机系统(c1+c2)，并根据第一抓拍图像img1和第二抓拍图像img2生成三维点群数据r3。

此外，关于通过第一三维点群数据生成部331～第三三维点群数据生成部333生成的三维点群数据r1～r3的详细情况，之后进行叙述。

精细化部340通过对于从三维处理部330供给的三种三维点群数据r1～r3进行精细化，从而生成最终点群数据rf。作为对三维点群数据进行精细化的方法，可以举出例如图4所示的方法。

图4的α表示通过第一结构光系统(c1+p)和第二结构光系统(c2+p)生成的精细化前的测量对象物(图4中为中空圆板)w的三维点群数据r1和r2，图4的β表示通过立体相机系统(c1+c2)生成的精细化前的测量对象物w的三维点群数据r3，图4的γ表示精细化后的测量对象物w的最终点群数据rf。如上所述，在测量对象物w小的情况下，使用结构光系统得到的三维点群数据的再现性低，在图4所示的例子中，通过结构光系统生成的三维点群数据r1和r2中位于测量对象物w的内周的边界部分b1处的三维点群数据r1和r2(参照图4的α所示的虚线框)的再现性变低。因此，对于测量对象物w的内周的边界部分b1，通过使利用立体相机系统得到的三维点群数据r3(参照图4的β所示的实线框)重叠在通过结构光系统生成的三维点群数据r1和r2上，对三维点群数据进行精细化，从而生成最终点群数据rf。精细化部340将生成的最终点群数据rf存储在三维地图的存储器中、或者输出至外部装置。此外，图4所示的方法仅为精细化三维点群数据的一例，可以根据测定对象物的形状、大小等适当地进行设定、变更。

[混合图案的概要]

本实施方式涉及的混合图案ph是使不规则图案pr重叠在结构光图案ps上而形成的图案(参照图2)，能够享受结构光图案ps和不规则图案pr两者的优点。详细而言，在三维点群数据的精度(accuracy)、即图像的清晰度这一点上，与对测量对象物w投影不规则图案pr时相比，对测量对象物w投影结构光图案ps时更高，从而结构光图案ps具有优点，相对于此，在测量对象物w小时的三维点群数据的再现性(reconstructionabilitytosmallareas)这一点上，与对测量对象物w投影结构光图案ps时相比，对测量对象物w投影不规则图案pr时更高，从而不规则图案pr具有优点。混合图案ph的目的在于享受该两者的优点。

图5是用于说明混合图案ph的生成方法的图，图5中的a是将构成混合图案ph的结构光图案ps的一部分放大后的图案图，图5中的b是表示构成混合图案ph的不规则图案pr的一部分即不规则片prp的图，图5中的c表示将通过使不规则图案pr与结构光图案ps重叠而生成的混合图案ph的一部分放大后的图案图。此外，在图5中，图案的黑色部分表示被照射光，图案的白色部分表示未被照射光，但反之亦可。

在本实施方式中，通过使构成不规则图案pr的不规则片prp(参照图5中的b)重叠在矩形区域ana(参照图5中的a)上，从而生成混合图案ph(参照图5中的c)，该矩形区域ana位于与构成结构光图案ps的包围盒(对应于后述的“位(bit)”)bb不重叠的位置处。

在此，不规则片prp的尺寸(大小)通常被设定为小于结构光图案中的矩形区域ana的尺寸(大小)。通过使上述尺寸的不规则片prp重叠在位于与包围盒bb不重叠的位置处的矩形区域ana上，能够防止通过不规则片prp构成的不规则图案pr与结构光图案ps干涉(即图案的相互干涉)。

此外，为了防止上述干涉，最好使不规则片prp重叠在矩形区域ana内，但也可以在对于结构光图案的特征点的检测的影响小的范围内使不规则片prp与矩形区域ana以外的区域重叠。

此外，如图5中的b所示，各不规则片prp可以利用将网点、线、曲线等适当地组合而成的不规则片。另外，各矩形区域ana上分别重叠互不相同的唯一的不规则片prp。由此，能够唯一地确定各不规则片prp。另外，各不规则片prp与各不规则片prp所重叠的各矩形区域ana被设定为黑白颠倒。例如，在不规则片prp与黑色的矩形区域ana重叠的情况下，重叠的不规则片prp设定为白色，另一方面，在不规则片prp与白色的矩形区域ana重叠的情况下，重叠的不规则片prp被设定为黑色(参照图5中的c)。

图6是用于说明不规则图案pr与结构光图案ps重叠的影响的图。图6中的a表示结构光图案ps，图6中的b表示不规则图案pr与结构光图案ps重叠而成的混合图案ph。此外，在图6的a中，实线表示滤波处理的对象区域，虚线表示移动规定量(例如20个像素)之后的对象区域。在图6的b中，实线表示滤波处理的对象区域。

另外，图6中的c表示使用卷积矩阵(二维卷积矩阵)的滤波器的一例。在此，图6中的d表示使图6中的c所示的滤波器每次向右移动一个像素时的、结构光图案ps的滤波后的对象区域的卷积运算结果(卷积值)的变化，另一方面，图6中的e表示使图6中的c同样每次向右移动一个像素时的、混合图案ph的滤波后的对象区域的卷积运算结果(卷积值)的变化。此外，在图6的d和图6的e中，分别利用方框圈出卷积运算结果的峰值(最大值)和谷值(最小值)。

在此，图6的a中的滤波处理的对象区域为实线所示的区域时的卷积运算结果，成为图6中的d所示的峰值。当以该状态使图6中的c所示的滤波器每次向右移动一个像素时，卷积运算结果如图6中的d所示那样逐渐减小。当最终使滤波器向右侧移动20个像素时，图6的a中的滤波处理的对象区域成为虚线所示的区域，此时的卷积运算结果成为图6中的d所示的谷值。由此，当滤波器的对象区域移动时，滤波后的对象区域的卷积运算结果的峰值减小、或者谷值增大，峰值与谷值的关系大幅破裂，对于从测量对象物的拍摄图像提取的特征点的检测造成很大影响。

相对于此，在滤波处理的对象区域保持不变，且不规则图案pr与结构光图案ps重叠的情况下，由图6中的d与图6中的e的比较明确可知，虽然对象区域的卷积运算结果稍微变化，但卷积运算结果的峰值与谷值的关系并未大幅破裂。因此，即使不规则图案pr与结构图案ps重叠，相对于仅使用结构光图案ps时而言，也可以说对于特征点的检测几乎没有影响。

即，本申请的发明人们为了确定不规则图案pr与结构光图案ps重叠的影响小，除了本实施方式涉及的混合图案ph(即，使不规则图案pr与结构光图案ps重叠而成的图案)之外，作为比较用图案，还准备了未重叠不规则图案pr的结构光图案ps，并求出了投影混合图案ph的图案光时拍摄图像中显现的各计算对象像素与投影比较用图案的图案光时拍摄图像中显现的各计算对象像素之间的平均位置偏移量。其结果是，平均位置偏移量非常小，约为0.033个像素，从而在使用结构光图案ps的三维测量中，不规则图案pr的重叠的影响非常小。

＜结构光图案ps的说明＞

结构光图案ps被施以规定的编码，可以视为图7a所示那样的代码的二维矩阵。结构光图案ps的各列具有特有的代码串(codestring)，因此，计算机300的三维处理部330可以通过对被投影了图案光的测量对象物的拍摄图像进行分析，求出拍摄图像中的对象像素对应于结构光图案ps的哪一列，从而求出各像素的三维位置。更为具体而言，像素以基元(之后叙述)为单位被处理。

图7b是用于说明使用本实施方式中的结构光图案ps的三维测量的原理的图。图7b表示从投影部100对测量对象物w投影具有结构光图案的图案光23，并通过第一照相机210(或者第二照相机220)拍摄被投影了图案光的测量对象物w。在此，连接第一照相机210(或者第二照相机220)的位置o与测量对象物w的点x的直线ox上的点，在投影部100的图像平面上形成直线。该直线被称为拍摄图像26中的对象像素x的核线i’，相对于对象像素x的图案光的对应点(换言之，对象像素x上显现的图案光为哪一列的图案光)，可以通过在核线i’上搜索而求出。通过在核线i’上搜索而掌握对象像素x的对应点，并对掌握的对象像素x的对应点适用三角测量的远离，从而可以求出测量对象物w的点x的三维位置。

本实施方式中的结构光图案的图案光具有二维编码图案。具体而言，具有将规定数量个由明暗两个值构成的有限种类的“基元”(基本图案)呈二维状地排列而成的“字(word)”，各种“字”分别具有不同的二维结构，相互能够进行区别。

图8的(a)是说明“基元”的图。基元30由中央的一个小矩形即“位(bit)”31及其周围的四个大矩形即“栅格(grid)”32-35构成。一个基元根据位和栅格的光照射的有无的组合，取图8的(d)所示那样的四个值。此外，在图8的(a)中，利用实线表示配置于中央部的一个位31，但如虚线所示，位31不仅存在于中央部，也存在于其周围。

首先，如图8的(b)所示，根据有无对位31照射光，将基元的值(绝对值)确定为“0”或“1”。

接着，如图8的(c)所示，根据栅格32-35的组合，将基元30的符号确定为“正”或“负”。正和负的图案反之亦可。

然后，如图8的(d)所示，根据位31和栅格32-35的组合，基元30可以取“+1”、“-1”、“+0”、“-0”这四个值。

图8的(e)是例示基元30中设定的矩形区域ana(参照图5中的a)的图。如图8的(e)所示，不仅在基元30的中央，在基元30的周围(栅格32-35的各顶点)也存在位31。而且，在各栅格32-35的内侧，以与各位31不重叠的方式设定矩形区域ana(参照图8的(e)的虚线围成的区域)。

图9的(a)是表示由多个基元构成的“字”的例子的图。在此，示出由4行4列的基元构成一个字的例子，但构成一个字的基元数可以适当地进行确定。例如，也可以将3×3或2×4个基元作为一个字。

图9的(b)表示字40中所包含的基元的一部分。字40包含5×5个栅格。在此，字40内的基元通过使2×2栅格(一个基元)的范围每次挪动一个栅格而得到。因此，在字40的左端的列中，如图9的(b)所示，包含四个基元41-44。由于各行都同样由四个基元构成，因而字40由16个基元构成。即，一个字对应于由16个基元构成的代码。

＜不规则图案pr的说明＞

不规则图案pr是非周期性的明暗图案，通过将分别能够唯一确定(即唯一)的多个不规则片prp(参照图5中的b)不规则地进行配置，从而制成二值的不规则图案pr。所谓的“不规则地进行配置”，可以是完全没有规则性和再现性的不规则配置，也可以是利用如伪随机数这样的数的配置。在本实施方式中，对测量对象物投影不规则图案pr，并通过包含第一照相机210和第二照相机220的立体相机系统进行拍摄。计算机300的三维处理部330执行如下处理，即：以构成通过投影部100对测量对象物投影的不规则图案pr的唯一的不规则片prp为特征点，从利用第一照相机210和第二照相机220拍摄的第一抓拍图像img1和第二抓拍图像img2搜索相同特征点(对应的像素对、即对应点)(以下，称为“对应点搜索处理”)。

对应点搜索处理可以使用例如ssd(sumofsquareddifference、平方差和)、sad(sumofabsolutedifference、绝对差和)、ncc(normalizedcross-correlation、归一化互相关)、zncc(zero-meannormalizedcross-correlation、零均值归一化互相关)等各种模板匹配方法。计算机300在通过执行对应点搜索处理，针对每个特征点确定了第一抓拍图像img1上的坐标和第二抓拍图像img2上的坐标后，根据立体测量的原理从照相机的光学规格计算出从各照相机至特征点为止的位置(三维位置)，并求出各特征点的三维位置。

[混合图案的设计方法]

图10是表示混合图案ph的设计方法的流程的流程图。

首先，生成具有将规定数量个由明暗两个值构成的有限种类的基元(基本图案)30呈二维状地排列而成的字的结构光图案ps(步骤s1；参照图8中的a)。

接着，以与基元30的中央和基元30的周围(网格32-35的各顶点)处存在的位31不重叠的方式设定矩形区域ana(步骤s2；参照图8中的e)。

然后，生成各种形状的不规则片prp(步骤s3；参照图5中的b)。

但是，所有不规则片prp的尺寸均被设计为位于矩形区域ana内。

最后，在各矩形区域ana上重叠互不相同的唯一的不规则片prp(步骤s4；参照图5中的c)。但是，各不规则片prp与重叠有各不规则片prp的各矩形区域ana被设定为黑白颠倒。

此外，上述混合图案ph的设计方法说到底仅为一例，可以采用各种方法。图11是用于说明另一个混合图案ph的设计方法的图。在另一个混合图案ph的设计方法中，首先生成仅由不规则曲线(白色)构成的不规则片prp(参照图11中的a)。然后，将生成的不规则片prp重叠在位于与构成结构光图案ps的包围盒(即“位”)bb不重叠的位置处的矩形区域ana(参照图11中的b)上。由此，形成图11中的c所示那样的混合图案ph。

但是，各不规则片prp与重叠有各不规则片prp的各矩形区域ana被设定为黑白颠倒。在此，由于所有的不规则片prp为白色，因此，在将不规则片prp重叠在黑色的矩形区域ana上的情况下，不规则片prp的颜色未变更(即，保持为白色)，但是，在将不规则片prp重叠在白色的矩形区域ana上的情况下，不规则片prp的颜色从白色变更为黑色。

[使用混合图案的三维测量方法]

图12是表示通过三维测量系统1000执行的使用混合图案的三维测量的处理的流程图。

控制部310对投影部100进行控制，从而对测量对象物投影混合图案的图案光(步骤s100)。控制部310对拍摄部200进行控制，从而使用第一照相机210和第二照相机220拍摄被投影了混合图案的图案光的测量对象物的图像，并从图像输入部320获取第一照相机210拍摄的第一抓拍图像img1和第二照相机220拍摄的第二抓拍图像img2(步骤s200)。在此，第一照相机210拍摄的第一抓拍图像img1中所示的投影至测量对象物上的图案光与第二照相机220拍摄的第二抓拍图像img2中所示的投影至测量对象物上的图案光相同。

三维处理部330根据从图像输入部320供给的第一抓拍图像img1和第二抓拍图像img2，生成以下所示的三种三维点群数据。

＜三维点群数据r1的生成＞

第一三维点群数据生成部331利用由投影部100和第一照相机210构成的第一结构光系统(c1+p)，并根据第一抓拍图像img1生成三维点群数据r1(步骤s300)。详细来说，第一三维点群数据生成部(第一计算部、第一辅助计算部)331选择第一抓拍图像img1的三维位置的计算对象像素，并针对所选择的对象像素而确定该像素中呈现的图案光的代码(字)、即图案中的列(字串)，并根据列和像素位置计算三维位置。

图案存储部334中登记有从投影部100投影的混合图案ph中包含的结构光图案ps。第一三维点群数据生成部331通过对所选择的计算对象像素与存储在图案存储部334中的结构光图案ps进行比较，从与该计算对象像素对应的字的图案确定结构光图案ps中的列。另外，第一三维点群数据生成部331保持有投影部100与第一照相机210的设置位置的关系。第一三维点群数据生成部331确定结构光图案ps中的列(即，与计算对象像素对应的图案光的对应点)，并对确定的对象像素x的对应点适用三角测量的原理，从而求出计算对象像素的三维位置(实际空间内的位置)。第一三维点群数据生成部331在求出所有计算对象像素的三维位置之后，生成三维点群数据r1，并将生成的三维点群数据r1发送至精细化部340。

＜三维点群数据r2的生成＞

第二三维点群数据生成部332利用由投影部100和第二照相机220构成的第二结构光系统(c2+p)，并根据第二抓拍图像img2生成三维点群数据r2(步骤s400)。详细来说，第二三维点群数据生成部(第一计算部、第二辅助计算部)332选择第二抓拍图像img2的三维位置的计算对象像素，并针对所选择的对象像素而确定该像素中显现的图案光的代码(字)、即图案中的列(字串)，并根据列和像素位置计算三维位置。

图案存储部334中登记有从投影部100投影的混合图案ph中包含的结构光图案ps。第二三维点群数据生成部332通过对所选择的计算对象像素与存储在图案存储部334中的结构光图案ps进行比较，从与该计算对象像素对应的字的图案确定结构光图案ps中的列。另外，第二三维点群数据生成部332保持有投影部100与第二照相机220的设置位置的关系。因此，第二三维点群数据生成部332确定结构光图案ps中的列(即，与计算对象像素对应的图案光的对应点)，并对确定的对象像素x的对应点适用三角测量的原理，从而求出计算对象像素的三维位置(实际空间内的位置)。第二三维点群数据生成部332在求出所有计算对象像素的三维位置之后，生成三维点群数据r2，并将生成的三维点群数据r2发送至精细化部340。

＜三维点群数据r3的生成＞

第三三维点群数据生成部333利用由第一照相机210和第二照相机220构成的立体相机系统(c1+c2)，并根据第一抓拍图像img1和第二抓拍图像img2生成三维点群数据r3(步骤s500)。详细来说，第三三维点群数据生成部(第二计算部)333执行对应点搜索处理，即：以构成通过投影部100对测量对象物投影的不规则图案pr的唯一的不规则片prp为特征点，从利用第一照相机210和第二照相机220拍摄的第一抓拍图像img1和第二抓拍图像img2搜索相同特征点(对应的像素对、即对应点)。

对于对应点搜索处理(立体匹配)详细进行说明如下，即：第三三维点群数据生成部333在例如以第一抓拍图像img1为基准图像、以第二抓拍图像img2为比较图像的情况下，相对于第一抓拍图像img1的特征点，从第二抓拍图像img2中找出对应的特征点。第三三维点群数据生成部333针对所有特征点执行同样的处理，从而确定第一抓拍图像img1和第二抓拍图像img2上的所有的相同特征点的坐标。第三三维点群数据生成部333在通过对应点搜索处理针对每个特征点都确定了第一抓拍图像img1和第二抓拍图像img2上的坐标之后，根据立体测量的原理计算出从各照相机至特征点为止的位置，从而求出各特征点的三维位置(实际空间内的位置)。第三三维点群数据生成部333在求出所有特征点的三维位置之后，生成三维点群数据r3，并将生成的三维点群数据r3发送至精细化部340。

精细化部340通过对从三维处理部330供给的三种三维点群数据r1～r3进行精细化，从而生成最终点群数据rf(步骤s600)。

图13是表示通过精细化部340执行的精细化处理的流程图。此外，图13所示的精细化处理说到底仅为一例，关于根据何种方法精细化三维点群数据r1～r3，可以根据测量对象的形状、大小等适当地设定、变更。

精细化部340在将三维点群数据r1和r2存储在三维地图的存储器等中之后(步骤s100a)，判断构成三维点群数据r3的点pp是否位于三维点群数据r1或r2的任意一个点pa的附近(例如，点pp与点pa之间的距离l1是否小于阈值距离lth)(步骤s200a；以下称为“位置判断”)。

精细化部340在点pp与点pa之间的距离l1在阈值距离lth以上，因而判断为构成三维点群数据r3的点pp不位于三维点群数据r1或r2的任意一个点pa附近(步骤s200a中为“否”)时，将构成三维点群数据r3的点pp直接存储在三维地图的存储器等中(步骤s300a)，并进入步骤s500a。

精细化部340确认是否针对构成三维点群数据r3的所有的点pp都进行了位置判断。在针对构成三维点群数据r3的所有的点pp都进行了位置判断的情况下(步骤s500a中为“是”)，精细化部340使用精细化后的三维点群数据r1～r3生成最终点群数据rf(步骤s600a)，并结束处理。

另一方面，在存在未进行位置判断的点pp的情况下(步骤s500a中为“否”)，精细化部340返回步骤s200a，针对剩余的点pp进行位置判断。在因为点pp与点pa之间的距离l1小于阈值距离lth，因而判断为构成三维点群数据r3的点pp位于三维点群数据r1或r2的任意一个点pa附近(步骤s200a中为“是”)时，精细化部340执行下述滤波处理(步骤s400a)。

即，精细化部340针对点pp降低加权，而针对位于点pp附近的三维点群数据r1或r2的任意一个点pa提高加权，从而进行滤波。例如，针对点pp以第一权重进行加权，而针对位于点pp附近的三维点群数据r1或r2的任意一个点pa以大于上述第一权重的第二权重进行加权，从而进行滤波。精细化部340在进行滤波之后，进入步骤s500a，确认是否针对构成三维点群数据r3的所有的点pp都进行了位置判断。

在针对构成三维点群数据r3的所有的点pp都进行了位置判断的情况下(步骤s500a中为“是”)，精细化部340使用精细化后的三维点群数据r1～r3生成最终点群数据rf，并结束处理。另一方面，在存在未进行位置判断的点pp的情况下(步骤s500a中为“否”)，精细化部340返回步骤s200a，对剩余的点pp进行位置判断。此外，关于之后的动作，之前已进行了说明，故省略说明。

如以上所说明，根据本实施方式，对测量对象物投影具有混合图案ph的图案光进行三维测量。在此，混合图案ph是在结构光图案ps上重叠不规则图案pr而成的图案，并以不规则图案pr与结构光图案ps不会相互干涉的方式配置图案(例如参照图5)。由此，能够享受结构光图案和不规则图案两者的优点。即，能够享受在图像清晰度这一点上优异的结构光图案、和在三维点群数据的再现性这一点上优异的不规则图案两者的优点。

b.其他

在上述实施方式中，仅以一张拍摄图像为对象求出三维位置，但是，也可以通过以动态图像的各帧为对象进行同样的处理，从而进行移动物体的三维测量。

在本说明书中，所谓的“部”并非仅指物理构成，也包含通过软件实现该“部”所执行的处理的情况。另外，既可以通过两个以上的物理构成或装置来实现一个“部”或装置所执行的处理，也可以通过一个物理手段或装置来实现两个以上的“部”或装置所执行的处理。

本说明书中以上所述的各处理中的步骤，可以在处理内容不会产生矛盾的范围内任意变更顺序、或者并列执行。

实施本说明书中说明的各处理的程序，也可以存储在记录介质中。在使用该记录介质的情况下，可以将上述程序安装在计算机300中。在此，存储上述程序的记录介质也可以是非暂时性的记录介质。非暂时性的记录介质并无特别限定，例如可以为cd-rom等的记录介质。

(附记1)

一种三维测量装置，其用于测量测量对象物的三维形状，具备至少一个存储器和与所述存储器连接的至少一个硬件处理器，其中，

所述存储器中存储有规定的程序和二维编码图案；

所述硬件处理器通过执行存储在所述存储器中的所述规定的程序，从而作为投影部、拍摄部、第一计算部以及第二计算部执行处理；

所述投影部对所述测量对象物投影混合图案的图案光，所述混合图案是将所述二维编码图案和不规则图案以图案不会相互干涉的方式进行配置而形成的图案，所述二维编码图案是将相互能够区别的多种字呈二维状地进行配置而形成的图案，所述不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；

所述拍摄部具备拍摄被投影了所述图案光的所述测量对象物的第一照相机和第二照相机；

所述第一计算部从通过所述第一照相机或所述第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个所述对象像素，提取该像素上呈现的图案光的字，根据提取出的所述字和存储在所述存储器中的所述二维编码图案求出各个所述对象像素的三维位置；

所述第二计算部在将通过所述第一照相机和所述第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从所述基准图像提取出与各个所述不规则片对应的各特征点，并使用提取出的各个所述特征点进行相对于所述比较图像的立体匹配，根据立体匹配结果求出各个所述特征点的三维位置。

(附记2)

一种三维测量方法，其通过至少一个硬件处理器来测量测量对象物的三维形状，其中，

所述硬件处理器执行投影步骤、拍摄步骤、第一计算步骤以及第二计算步骤，

在所述投影步骤中，对所述测量对象物投影混合图案的图案光，所述混合图案是将二维编码图案和不规则图案以图案不会相互干涉的方式进行配置而形成的图案，所述二维编码图案是将相互能够区别的多种字呈二维状地进行配置而形成的图案，所述不规则图案是将分别能够唯一确定的多个不规则片不规则地进行配置而形成的图案；

在所述拍摄步骤中，通过具备第一照相机和第二照相机的拍摄部，对于被投影了所述图案光的所述测量对象物进行拍摄；

在所述第一计算步骤中，从通过所述第一照相机或所述第二照相机拍摄的拍摄图像选择对象像素，并针对所选择的各个所述对象像素，提取该像素上显现的图案光的字，根据提取出的所述字和存储在存储器中的所述二维编码图案求出各个所述对象像素的三维位置；

在所述第二计算步骤中，在将通过所述第一照相机和所述第二照相机拍摄的拍摄图像中的一方拍摄图像作为基准图像、将另一方拍摄图像作为比较图像的情况下，从所述基准图像提取出与各个所述不规则片对应的各特征点，并使用提取出的各个所述特征点进行相对于所述比较图像的立体匹配，根据立体匹配结果求出各个所述特征点的三维位置。