模拟装置、模拟方法及模拟程序与流程

1.本发明涉及能够对三维测量装置的测量结果进行模拟的模拟装置、模拟方法及模拟程序。


背景技术：

2.以往，已知使用将光投射至测量对象物的投射装置、对测量对象物进行拍摄的拍摄装置进行三维测量的装置。例如，在专利文献1中公开了进行由主动立体法实现的三维测量的三维测量装置。专利文献1所公开的三维测量装置从投射装置将几何图案投射至测量对象物，设定由拍摄装置输出的拍摄图像中的几何图案上的多个检测点，基于三角测量法对与检测点对应的测量对象物的表面的三维位置进行计算。
3.专利文献1：日本特开2015
‑
203652号公报


技术实现要素：

4.但是，在专利文献1所记载的技术中，为了得到测量结果，需要构成实际环境，准备测量对象物的样品。因此，存在如下问题，即，在没有实际环境的情况下、测量对象物的样品少的情况下，无法对实际环境下的测量结果进行评价。
5.本发明就是鉴于上述情况而提出的，其目的在于，得到在没有实际环境的情况下、测量对象物的样品少的情况下，也能够对测量结果进行评价的模拟装置。
6.为了解决上述课题，达成目的，本发明涉及的模拟装置的特征在于，具有：测量条件取得部，其取得表示三维测量装置的测量条件的测量条件信息，该三维测量装置具有将光投射至测量对象物的投射装置、对包含被照射了来自投射装置的投射光的测量对象物的拍摄空间进行拍摄的拍摄装置；虚拟拍摄图像生成部，其基于测量条件信息，生成对由拍摄装置输出的拍摄图像进行了再现的虚拟拍摄图像；三维测量运算部，其执行使用虚拟拍摄图像对测量对象物的表面的三维位置进行测量的三维测量处理，得到测量值；以及输出部，其对包含测量值的模拟结果进行输出。
7.发明的效果
8.根据本发明，具有下述效果，即，在没有实际环境的情况下、测量对象物的样品少的情况下，也能够对测量结果进行评价。
附图说明
9.图1是表示本发明的实施方式1涉及的模拟装置的功能结构的图。
10.图2是表示图1所示的模拟装置的动作的流程图。
11.图3是表示图1所示的测量条件取得部的详细的功能结构的图。
12.图4是表示由图1所示的模拟装置输出的显示画面的一个例子的图。
13.图5是表示本发明的实施方式2涉及的虚拟拍摄图像生成部的功能结构的图。
14.图6是表示具有图5所示的虚拟拍摄图像生成部的模拟装置的动作的流程图。
15.图7是表示本发明的实施方式3涉及的模拟装置的功能结构的图。
16.图8是表示图7所示的虚拟拍摄图像生成部的功能结构的图。
17.图9是表示图7所示的模拟装置的动作的流程图。
18.图10是表示图9所示的步骤s304的详情的流程图。
19.图11是表示图9所示的步骤s305的详情的流程图。
20.图12是表示由图7所示的模拟装置输出的显示画面的一个例子的图。
21.图13是表示本发明的实施方式4涉及的光学再现图像生成部的功能结构的图。
22.图14是表示图13所示的传感器视点数据生成部的详细的功能结构的图。
23.图15是表示图13所示的映射图生成部的详细的功能结构的图。
24.图16是表示本发明的实施方式4涉及的模拟装置的动作的流程图。
25.图17是表示由本发明的实施方式5涉及的模拟装置输出的显示画面的一个例子的图。
26.图18是表示本发明的实施方式6涉及的模拟装置的功能结构的图。
27.图19是表示图18所示的模拟装置的动作的流程图。
28.图20是表示图18所示的模拟装置的显示画面的一个例子的图。
29.图21是表示本发明的实施方式7涉及的模拟装置的功能结构的图。
30.图22是表示图21所示的模拟装置的动作的流程图。
31.图23是表示本发明的实施方式8涉及的模拟装置的功能结构的图。
32.图24是表示图23所示的模拟装置的动作的流程图。
33.图25是表示由图23所示的模拟装置输出的显示画面的一个例子的图。
34.图26是表示专用硬件的图，该专用硬件用于实现本发明的实施方式1～8涉及的模拟装置的功能。
35.图27是表示控制电路的结构的图，该控制电路用于实现本发明的实施方式1～8涉及的模拟装置的功能。
36.图28是表示硬件结构的一个例子的图，该硬件结构用于实现本发明的实施方式1～8涉及的模拟装置的功能。
具体实施方式
37.下面，基于附图对本发明的实施方式涉及的模拟装置、模拟方法及模拟程序详细地进行说明。此外，本发明不受本实施方式限定。
38.实施方式1.
39.图1是表示本发明的实施方式1涉及的模拟装置10的功能结构的图。模拟装置10具有测量条件取得部101、虚拟拍摄图像生成部102、三维测量运算部103、输出部104。
40.模拟装置10具有如下功能，即，使用主动立体法，基于表示对测量对象物的表面的三维位置进行测量的三维测量装置的测量条件的测量条件信息，对三维测量装置的测量结果进行模拟。这里所设想的三维测量装置具有：投射装置，其将光投射至测量对象物；以及拍摄装置，其对包含被照射了来自投射装置的投射光的测量对象物的拍摄空间进行拍摄。来自投射装置的投射光示出三维测量所使用的投射图案。下面，在称为“投射光”的情况下，是指示出投射图案的光。三维测量装置能够基于拍摄装置所输出的拍摄图像所包含的投射
图案，执行对测量对象物的表面的三维位置进行测量的三维测量处理。另外，模拟装置10也可以对利用三维测量装置的系统的输出结果进行模拟。
41.测量条件取得部101取得表示三维测量装置的测量条件的测量条件信息。后面会对测量条件信息的详情进行叙述。测量条件取得部101将取得的测量条件信息输入至虚拟拍摄图像生成部102。
42.虚拟拍摄图像生成部102基于从测量条件取得部101输入的测量条件信息，生成再现了由三维测量装置所包含的拍摄装置输出的拍摄图像的cg(computer graphics)图像即虚拟拍摄图像。虚拟拍摄图像生成部102将生成的虚拟拍摄图像输入至三维测量运算部103。
43.三维测量运算部103使用从虚拟拍摄图像生成部102输入的虚拟拍摄图像，执行由三维测量装置执行的三维测量处理，取得测量值。三维测量运算部103将取得的测量值输入至输出部104。
44.输出部104对包含从三维测量运算部103输入的测量值的模拟结果进行输出。
45.图2是表示图1所示的模拟装置10的动作的流程图。模拟装置10的测量条件取得部101取得测量条件信息(步骤s101)。测量条件取得部101将取得的测量条件信息输入至虚拟拍摄图像生成部102。
46.虚拟拍摄图像生成部102基于测量条件信息，生成虚拟拍摄图像(步骤s102)。虚拟拍摄图像生成部102将生成的虚拟拍摄图像输入至三维测量运算部103。
47.三维测量运算部103使用虚拟拍摄图像，执行三维测量的运算，取得测量值(步骤s103)。三维测量运算部103将取得的测量值输入至输出部104。输出部104对包含测量值的模拟结果进行输出(步骤s104)。
48.模拟装置10能够基于三维测量装置的测量条件信息，生成再现了由拍摄装置输出的拍摄图像的虚拟拍摄图像，使用虚拟拍摄图像来执行三维测量处理。通过设为这样的结构，无需实际设置投射装置及拍摄装置而取得实际数据，能够在模拟上进行三维测量的验证。因此，不需要进行在现场设置三维测量装置的作业、三维测量装置的硬件及软件的调整作业、及对测量对象物的实际数据进行收集的作业，能够缩短作业所花费的时间，能够对人力及物力成本进行抑制。因此，通过一边对三维测量装置的测量条件进行各种设定一边进行模拟，能够对恰当的测量条件进行确定。因此，能够缩短三维测量装置的设计期间、直至将三维测量装置引入到现场而运转为止进行的试误试验的验证期间。
49.图3是表示图1所示的测量条件取得部101的详细的功能结构的图。测量条件取得部101取得表示三维测量装置的测量条件的测量条件信息。测量条件取得部101具有投射条件信息取得部201、拍摄条件信息取得部202、测量对象物信息取得部203、非测量对象物信息取得部204。
50.投射条件信息取得部201取得表示投射装置的投射条件的投射条件信息。投射条件信息能够包含可以对投射装置的性能及使用状态中的至少1个进行确定的信息。投射装置的性能例如为分辨率、视场角，投射装置的状态例如为投射装置的位置姿势、焦点的状态。另外，投射条件信息能够包含表示投射图案的信息。表示投射图案的信息包含表示投射图案的样式的信息。此外，在存在多个投射图案的情况下，表示投射图案的信息也可以进一步包含表示投射图案的个数的信息。投射图案的样式可以是将针对各个投射图案预先确定
好的粗细的条纹按照一定规则排列的条纹样式，以不规则的配置排列的点状的样式，在投射图案中使投射光的强度平滑地变化的渐变样式，或者它们的组合。上述样式为一个例子，能够使用任何样式的投射图案。投射图案的个数为大于或等于1个的任意个数。另外，表示投射图案的样式的信息例如也可以为表示样式的种类的信息，也可以为表示规定的投射面处的光的强度分布的信息。
51.拍摄条件信息取得部202取得表示拍摄装置的拍摄条件的拍摄条件信息。拍摄条件信息能够包含可以对拍摄装置的性能及使用状态中的至少1个进行确定的信息。拍摄装置的性能例如为分辨率、视场角，拍摄装置的状态例如为拍摄装置的位置姿势、焦点的状态。
52.测量对象物信息取得部203取得与测量对象物相关的信息，例如，测量对象物的形状、位置姿势等表示状态、特性的信息即测量对象物信息。测量对象物的特性例如为测量对象物的反射特性。表示测量对象物的反射特性的信息例如包含测量对象物的颜色、漫反射率、及镜面反射率中的至少1个。
53.非测量对象物信息取得部204取得非测量对象物信息，该非测量对象物信息为与存在于拍摄空间内的测量对象物之外的物体或投射光之外的环境光即非测量对象物相关的信息。非测量对象物例如为对测量对象物进行保持的容器、架台、夹具。此外，非测量对象物并不限于上述例子，也包含能够映入由实际的拍摄装置拍摄的拍摄图像的测量对象物之外的物体，例如，墙壁、窗户、其它景观、及对上述物体进行照射的照明光等光。非测量对象物信息能够包含非测量对象物的位置、形状及特性、表示环境光的状态的信息中的至少1个。
54.此外，测量对象物信息及非测量对象物信息所包含的表示物体的形状的信息能够表现为如3d
‑
cad(3dimensional
‑
computer
‑
assisted drawing)那样的网格的组合、球或长方体这样的基元或其集合体。物体的反射特性用于再现在照射了光时的物体的外观。表示环境光的状态的信息用于得到如实际上由拍摄装置拍摄到的图像那样的阴影效果。另外，物体可以是悬空的状态，也可以对地面及容纳物体的箱进行设定，使物体存在于箱的内部。关于地面及箱，优选与物体相同地能够设定反射特性。
55.如上所述，由于能够分别单独地对包含投射装置及拍摄装置的分辨率、视场角这样的性能在内的投射条件信息及拍摄条件信息进行设定，因此能够更准确地再现出现实的三维测量装置可能产生的测量误差。例如，在拍摄装置的分辨率比投射装置的分辨率低的情况下，即使使投射装置的投射图案更精细，也无法从拍摄投射图案而得到的图像精细地对投射图案的样式进行判别，因此成为三维测量的误差、欠缺的原因。虚拟拍摄图像生成部102基于拍摄装置的分辨率生成虚拟拍摄图像，因此通过对虚拟拍摄图像进行解析，可知拍摄装置能够判别的投射图案的精细度。由此，能够将通过拍摄装置能够判别的投射图案的精细度的极限值估算为投射装置的分辨率的上限值。或者，也能够对与投射装置的分辨率相匹配的拍摄装置的性能进行研究。即，由于三维测量装置所具有的投射装置及拍摄装置需要使用性能彼此相匹配的装置，因此优选使用模拟结果对投射装置及拍摄装置的性能进行研究。
56.虚拟拍摄图像生成部102基于测量条件信息，生成对由拍摄装置输出的拍摄图像进行了再现的虚拟拍摄图像。虚拟拍摄图像生成部102能够基于测量条件信息所包含的测
量对象物信息及非测量对象物信息，在虚拟的拍摄空间内对存在于拍摄空间内的物体的配置进行再现，基于拍摄条件信息，对虚拟拍摄图像所示的拍摄空间内的部分进行确定。而且，虚拟拍摄图像生成部102能够使用基于投射条件信息、测量对象物信息及非测量对象物信息的反射模型，对在拍摄空间内由投射光产生的阴影进行再现。虚拟拍摄图像生成部102能够以像素值对表示由拍摄装置输出的拍摄图像中的通过投射光产生的阴影的边界的位置进行再现。这里，表示阴影的边界的位置所包含的误差在拍摄图像中使光的辨识性降低。光的辨识性降低意味着在拍摄空间内照射投射光的三维位置与拍摄图像上的投射光的照射位置的检测结果不匹配，在投射装置对二维的投射图案进行投射的情况下，无法正确地对光的阴影边界，例如，照射投射光的区域与没有照射投射光的区域之间的边界即图案边界进行检测。因此，如果光的辨识性降低，则在三维测量的测量结果中产生误差，成为无法测量的状态，三维测量的品质降低。
57.拍摄图像中的光的阴影边界的位置产生误差的原因可以包含由投射装置引起的原因、由拍摄装置引起的原因。作为由投射装置引起的误差原因，想到来自投射装置的投射光在被第1面反射后入射至第2面而照射第2面的彼此反射，由投射装置的焦点不合焦导致的光的模糊等。第2面可以为与第1面不同的物体的表面，也可以是与第1面相同的物体的不同部位。
58.作为由拍摄装置引起的误差原因，想到由拍摄装置所具有的透镜的扭曲像差等导致的图像畸变、在图像中无规则性地出现的随机噪声、由拍摄装置的焦点不合焦导致的图像模糊等。此外，被作为误差原因对待的现象并不限于上述，可以包含成为光的投射状态产生变化、所拍摄的图像产生变化的原因的任何现象。
59.作为容易产生上述彼此反射的状况的一个例子，举出大于或等于2个物体接近地配置的情况。有时从投射装置照射的光线被拍摄空间中的第1物体的表面反射，反射光对与第1物体不同的第2物体进行照射。另外，还想到在存在于拍摄空间的第1物体的部位x处反射的光对相同的第1物体的与部位x不同的部位y进行照射的情况。
60.彼此反射不仅在来自投射装置的投射光的情况下产生，在室内照明及来自室外的日光这样的环境光的情况下也同样可能产生。另外，光线的反射并不限于一次，也可能发生多次反射。但是，由于光在每次反射时能量被吸收，因此如果重复数次反射，则使拍摄装置的观测灵敏度降低，多数不会对拍摄图像造成影响。因此，也可以忽略由大于或等于预先确定的次数的反射光造成的彼此反射。
61.由彼此反射造成的光的强度能够在与生成虚拟拍摄图像时相同的反射模型的基础上，基于反射前的光的强度和反射点的反射特性及光的行进路径来决定。
62.如果产生彼此反射，则有时在图像上应该观测到的图案边界之外也观测到光的阴影边界。在观测到图案边界之外的边界的部分，无法正确地对光的照射方向进行计算，在三维测量时成为测量误差的原因。
63.虚拟拍摄图像生成部102是考虑到光的彼此反射的影响而生成虚拟拍摄图像，因此在由三维测量运算部103输出的测量值中，再现出了在实际对可能产生彼此反射的测量对象物进行了三维测量时可能产生的测量误差。因此，能够在实际构成三维测量装置前掌握测量误差的大小、出现倾向。如果能够事先掌握测量误差的出现倾向，则还能够通过对投射装置及拍摄装置的位置关系或测量对象物的配置方法等测量条件进行变更，从而对降低
彼此反射的影响的方法进行研究。因此，能够使三维测量的精度提高。
64.如果产生投射装置的焦点偏移，则产生光的阴影边界的模糊，图案边界变得模糊，因此就确定光的照射方向这一目的而言，拍摄图像上的投射图案的解析精度降低，有可能错误地计算光的照射方向。还想到在拍摄空间具有一定以上的深度的情况下，无法使投射装置的焦点与拍摄空间整体合焦。在这样的情况下，需要研究即使在产生投射装置的焦点偏移的情况下也能够高精度地对投射图案进行解析的计算方法。但是，即使想要使用实际使投射装置及拍摄装置动作、观测测量对象物而得到的数据即实际数据对投射图案的解析方法进行验证，也难以知道实际数据中的图案边界的真实位置。因此，无法严格地对验证结果是否正确进行判断。相对于此，在模拟装置10中，能够基于测量条件信息取得图案边界的真实位置，生成再现了由投射装置的焦点偏移引起的图案边界模糊的虚拟拍摄图像。因此，作为对投射图案的解析方法进行改良的结果，能够容易地对图案边界的检测结果是否得到了改善进行判定。因此，能够使三维测量所需要的投射图案的解析算法的开发高效化。
65.另外，由于能够对投射装置的焦点偏移的程度和三维测量的测量结果的关系进行模拟，因此如果是某种程度的焦点偏移，则能够对测量结果的误差是否落在允许范围内进行验证，能够估算与投射装置的焦点合焦的深度的范围这样的要求性能。因此，模拟装置10取得能够容易地进行三维测量装置的设计这样的效果。
66.另外，作为由拍摄装置的透镜导致的扭曲像差的效果，虚拟拍摄图像生成部102能够对图像畸变进行计算。作为图像畸变的模型的一个例子，在图像中产生畸变前后的像素的对应能够使用下述的数学式(1)求出。
67.[数学式1]
[0068][0069]
这里，(x
u
，y
u
)为没有畸变的图像中的图像坐标，(x
d
，y
d
)为存在畸变的图像中的图像坐标，k为表示畸变的程度的系数，r为从图像中心至关注像素为止的距离。关注像素为存在畸变的图像的任意坐标(x
d
，y
d
)的像素。虚拟拍摄图像生成部102也可以依次将存在畸变的图像的全部像素选择为关注像素。关于图像畸变，从简化模型至详细模型，提出了大量模型。模拟装置10能够使用包含数学式(1)的任意模型作为图像畸变的计算式。
[0070]
虚拟拍摄图像生成部102针对各个像素或各个图像上的一定区域，对噪声的出现概率及强度进行设定，由此能够对随机噪声进行再现。虚拟拍摄图像生成部102使用出现概率来判定是否对像素或区域赋予噪声，在判定为赋予的情况下，基于设定好的强度使像素或区域的颜色变化。作为强度的指定方法，可以设为相对于原来的像素或区域的颜色的变化率，也可以设为整数值。强度可以使用固定的变化率或整数值来表示，也可以具有一定范围。另外，强度能够取意味着像素的亮度上升的正值、意味着亮度下降的负值这两者。
[0071]
虚拟拍摄图像生成部102能够使用关注像素周围的像素的颜色信息，对由拍摄装置的焦点偏移引起的图像模糊进行再现。作为关注像素，可以选择图像上的任意像素。作为产生了图像模糊后的颜色的计算方法，存在设为关注像素和其周围的像素的颜色的平均值的方法、越接近关注像素的像素则以越高的比率进行合成的高斯平滑化等。通过使用高斯平滑化，存在如下优点，即，与取平均值的方法相比能够更准确地对图像模糊进行再现。另
外，取平均值的方法存在如下优点，即，与使用高斯平滑化的方法相比处理时间更短。另外，图像模糊也根据从拍摄装置至物体为止的距离而变化。焦点合焦的物体的模糊少，焦点不合焦的物体被拍摄为模糊更大的像。通过进一步使用由距离造成的模糊的程度的变化和焦点合焦的距离这样的信息，虚拟拍摄图像生成部102能够进一步对与实际的拍摄图像接近的模糊进行再现。该信息可以作为测量条件信息来取得，也可以根据测量条件信息所包含的其它信息通过计算求出。此外，针对虚拟拍摄图像生成部102对误差原因进行再现的具体方法，会通过实施方式2及3对一个例子进行说明，但再现方法并不限于此。
[0072]
三维测量运算部103将虚拟拍摄图像作为输入，执行三维测量处理。三维测量运算部103所执行的三维测量处理可以与使用由三维测量装置在实际环境中拍摄到的拍摄图像进行的三维测量处理相同。三维测量处理包含照射至测量对象物的投射图案的识别处理和距离测量处理。就投射图案的识别处理而言，从多个拍摄图像取得相同位置的像素的亮度信息，对各个像素是否被投射装置照射进行判定，取得其组合。作为图案识别处理，除了上述之外，存在对关注像素周围的局部的投射图案的样式进行解析的方法。如果局部的投射图案被设计为在图案整体中也具有独立性，则能够对从投射装置投射的投射图案整体中的照射至关注像素周边的部分位于何处进行确定。无论在哪种图案识别方法中，其目的均是唯一地求出从投射装置至关注像素为止的矢量。
[0073]
如果通过投射图案的识别处理，求出从投射装置至关注像素为止的矢量，则三维测量运算部103基于测量条件信息所包含的表示投射装置及拍摄装置的位置及姿势这样的配置条件的传感器信息，以三角测量的原理进行距离测量处理。距离测量处理的详情根据所使用的投射图案而不同。由于模拟装置10所使用的投射图案可以为任意投射图案，因此与所使用的投射图案相匹配地选择距离测量处理。
[0074]
图4是表示由图1所示的模拟装置10输出的显示画面20的一个例子的图。显示画面20包含处理结果显示区域21、测量条件显示区域22、测量条件的列表显示区域23、显示内容选择区域24、执行按钮25、保存按钮26、结束按钮27。在处理结果显示区域21中对模拟结果进行显示。在测量条件显示区域22中，对单独的测量条件进行显示，并且能够进行显示出的测量条件的变更输入。在测量条件的列表显示区域23中对已经保存的测量条件进行列表显示。如果从在列表显示区域23显示的测量条件的列表中选择1个，则将选择出的测量条件显示于测量条件显示区域22。在显示内容选择区域24中显示用于对显示于处理结果显示区域21的内容进行选择的操作部，这里，作为选项对由虚拟拍摄图像生成部102再现的拍摄图像、测量数据进行显示。
[0075]
执行按钮25为用于使用显示于测量条件显示区域22的测量条件来执行模拟处理的操作部。保存按钮26为用于对显示于测量条件显示区域22的测量条件进行保存的操作部。结束按钮27为用于结束三维测量的模拟处理的操作部。
[0076]
如果对执行按钮25进行操作，则测量条件取得部101取得显示于测量条件显示区域22的测量条件而输入至虚拟拍摄图像生成部102。如果虚拟拍摄图像生成部102生成虚拟拍摄图像而输入至三维测量运算部103，三维测量运算部103执行三维测量处理而将测量结果输入至输出部104，则输出部104将虚拟拍摄图像、测量值这样的在模拟处理的过程中得到的处理结果、测量条件信息等向模拟处理的输入数据等输出至处理结果显示区域21。
[0077]
也可以是输出部104执行对关注位置进行强调、调整对比度、除去噪声等処理，以
成为对用户而言容易观察的输出。图4所示的显示画面20为一个例子，并不限于图4的例子。通过使用图4所示的显示画面20，用户能够一边逐次对测量条件进行调整，一边反复对模拟结果进行确认。
[0078]
如以上说明所述，根据本发明的实施方式1，生成对由实际的拍摄装置输出的拍摄图像进行了再现的虚拟拍摄图像，基于虚拟拍摄图像进行三维测量处理。通过设为这样的结构，能够在不实际构成三维测量装置的情况下得到三维测量的测量结果。另外，模拟装置10能够对由实际的三维测量装置取得的拍摄图像所包含的光的位置的误差进行再现。误差例如是因为由扭曲像差导致的图像畸变、随机噪声、图像模糊、彼此反射等而产生的。在实际构成了三维测量装置的情况下，难以在之后向实际的拍摄图像附加这些误差，但通过在虚拟拍摄图像上对这些误差进行再现，能够提高三维测量的模拟结果的精度。另外，如果在虚拟拍摄图像再现性良好地对投射图案及误差进行再现，则三维测量处理能够使用通常的处理。
[0079]
实施方式2.
[0080]
图5是表示本发明的实施方式2涉及的虚拟拍摄图像生成部102的功能结构的图。虚拟拍摄图像生成部102具有光学再现图像生成部301、画质劣化处理部302。此外，虽然未图示，但将具有图5所示的虚拟拍摄图像生成部102，示出与图1所示的模拟装置10相同的结构的装置称为实施方式2涉及的模拟装置12。由于模拟装置12的除了虚拟拍摄图像生成部102之外的结构与图1所示的实施方式1相同，因此这里省略详细的说明。下面，针对与实施方式1相同的结构要素，使用图1所示的标号进行说明，主要针对与实施方式1不同的部分进行说明。
[0081]
光学再现图像生成部301基于测量条件信息进行光学模拟，生成对拍摄图像进行了再现的光学再现图像。画质劣化处理部302对光学再现图像实施与误差原因对应的画质的劣化处理。虚拟拍摄图像生成部102将劣化处理后的图像设为虚拟拍摄图像。
[0082]
图6是表示具有图5所示的虚拟拍摄图像生成部102的模拟装置12的动作的流程图。测量条件取得部101取得测量条件信息(步骤s201)。测量条件取得部101将取得的测量条件信息输入至虚拟拍摄图像生成部102。
[0083]
虚拟拍摄图像生成部102的光学再现图像生成部301基于测量条件信息，生成光学再现图像(步骤s202)。光学再现图像生成部301将生成的光学再现图像输入至画质劣化处理部302。
[0084]
画质劣化处理部302对光学再现图像执行画质劣化处理(步骤s203)。画质劣化处理部302将画质劣化处理后的图像作为虚拟拍摄图像而输入至三维测量运算部103。
[0085]
三维测量运算部103使用虚拟拍摄图像，进行三维测量处理，得到测量结果(步骤s204)。三维测量运算部103将测量结果输入至输出部104。输出部104对包含测量结果的模拟结果进行输出(步骤s205)。
[0086]
光学再现图像生成部301对与图像中的各像素对应的拍摄空间内的拍摄位置进行计算，对投射光是否照射至计算出的拍摄位置，即投射装置的投射光是否到达拍摄位置进行判定。首先，光学再现图像生成部301基于传感器信息、表示存在于拍摄空间内的物体的配置及特性的信息，对从拍摄装置的光学中心o
cam
穿过各像素的矢量v
cam
进行计算。光学再现图像生成部301对与矢量v
cam
最先交叉的物体的表面上的点p
obj
进行检测。通过这样的计
算，能够掌握各像素所拍摄的物体。
[0087]
接下来，光学再现图像生成部301对物体的表面上的点p
obj
是否被投射装置照射进行判定。光学再现图像生成部301首先对从投射装置的光学中心o
proj
朝向点p
obj
的矢量v
proj
进行计算。光学再现图像生成部301使用传感器信息、表示投射装置的投射图案的图案信息，对矢量v
proj
是否包含于从投射装置照射投射图案的范围进行判定。在包含的情况下，能够将物体的表面上的点p
obj
判定为被投射装置照射。
[0088]
光学再现图像生成部301能够在上述计算结果的基础上，使用测量条件信息所包含的表示反射特性及环境光状态的信息，决定各像素的颜色。作为用于决定颜色的有代表性的反射模型，在漫反射的情况下举出朗伯反射，在镜面反射的情况下举出phong反射模型。但是，光学再现图像生成部301所使用的反射模型并不限于此，能够使用任意反射模型。
[0089]
此外，在光学再现图像的生成中，由于图像为离散的像素的集合体，因此在一个像素所拍摄的范围内，有时包含物体的边界、投射装置的投射图案的边界部分。在该情况下，将构成边界的大于或等于2个物体的颜色混合而成的颜色作为像素的颜色这一方式是自然的。但是，上述矢量v
cam
只能检测拍摄空间中的1个交叉点。因此，仅将构成边界的物体中的与矢量v
cam
交叉的物体的颜色决定为像素的颜色。其结果，有可能生成物体、投射图案的边界看起来不自然的图像。这是由所谓的量化误差引起的现象的一种，是在图像处理的领域中经常成为问题的现象。
[0090]
为了解决由量化误差引起的现象的问题，存在如下方法，即，通过以比虚拟拍摄图像的分辨率高的分辨率创建出光学再现图像，在画质劣化处理中添加以变为图像尺寸的方式缩小图像的处理，生成虚拟拍摄图像。例如，光学再现图像生成部301以最终输出的虚拟拍摄图像的分辨率的4倍分辨率生成光学再现图像。在该情况下，虚拟拍摄图像的各像素的颜色能够使用光学再现图像中的与该像素最近的4个像素量的颜色信息来决定。由此，能够生成物体及投射图案的边界附近的表现自然的虚拟拍摄图像。
[0091]
光学再现图像生成部301使用误差原因中的例如由投射装置引起的误差原因即彼此反射及投射装置的焦点偏移的信息，生成光学再现图像。由于它们影响投射图案的投射状态，因此例如在产生焦点偏移的情况下，光学再现图像生成部301使光学再现图像中的包含图案边界的光的阴影边界模糊。光学再现图像生成部301例如通过将包含由第1面反射后的反射光入射至第2面的入射点的像素的亮度设得比没有考虑彼此反射的影响时的亮度高，能够对彼此反射进行再现。另外，光学再现图像生成部301通过对与光的阴影边界对应的像素的亮度进行调整，能够对光的阴影边界的模糊进行再现。关于对彼此反射进行再现的具体方法、及对由投射装置的焦点偏移引起的光的阴影边界的模糊进行再现的具体方法，例如，能够使用在实施方式3中说明的方法。
[0092]
画质劣化处理部302例如使用由拍摄装置引起的误差原因即图像畸变、随机噪声及拍摄装置的焦点偏移的信息，使光学再现图像的画质劣化。例如，画质劣化处理部302通过进行使图像中的亮度变化平坦化的滤波处理，使物体的轮廓、光的阴影边界等模糊，使随机地选择出的位置的像素的亮度变化，从而能够使光学再现图像的画质劣化。
[0093]
根据本发明的实施方式2涉及的模拟装置12，通过光学模拟，能够得到光学再现图像，该光学再现图像为对包含由光被物体遮蔽造成的阴影的光学效果进行了再现的图像。而且，通过对光学再现图像实施画质的劣化处理，能够高精度地对实际的拍摄图像进行再
现。
[0094]
另外，通过明确地将再现光学现象的处理和再现画质劣化的处理分开，从而易于分别独立地对三维测量的误差原因进行分析。在使用三维测量装置的实机对三维测量的测量误差进行验证的情况下，难以区分各误差原因以何种比率造成影响，但通过使用模拟装置12，能够对由投射装置引起而产生的测量误差、由拍摄装置引起而产生的测量误差进行区分、验证。因此，能够准确地进行三维测量装置的设计、投射装置及拍摄装置等设备的性能的研究。另外，为了在实际环境中使用三维测量装置的实机进行验证，需要备齐与各种测量条件对应的设备及测量对象物，因此花费大量的费用及时间。根据模拟装置12，由于能够通过模拟来实施研究，因此能够以更多的测量条件对三维测量装置进行评价，具有产品的品质保证变得容易这样的效果。
[0095]
实施方式3.
[0096]
图7是表示本发明的实施方式3涉及的模拟装置13的功能结构的图。模拟装置13具有测量条件取得部101、虚拟拍摄图像生成部102、三维测量运算部103、输出部104、误差信息取得部105。下面，主要对与模拟装置12不同的部分进行说明。
[0097]
模拟装置13除了模拟装置12的结构之外，还具有误差信息取得部105。误差信息取得部105从外部取得表示在虚拟拍摄图像中表现出的误差原因的误差信息。误差信息包含误差原因的各个种类的误差的强度及附加顺序中的至少1个。误差信息取得部105将取得的误差信息输入至虚拟拍摄图像生成部102。
[0098]
图8是表示图7所示的虚拟拍摄图像生成部102的功能结构的图。在模拟装置13中，虚拟拍摄图像生成部102具有光学再现图像生成部301、画质劣化处理部302、误差原因决定部303。
[0099]
误差原因决定部303基于误差信息而决定误差原因附加处理的处理条件，该误差原因附加处理是指生成光学再现图像而实施画质劣化处理，该处理条件包含误差原因附加处理的强度及附加顺序中的至少1个。误差原因决定部303将决定出的处理条件输入至光学再现图像生成部301。
[0100]
光学再现图像生成部301基于测量条件信息、误差信息和从误差原因决定部303输入的处理条件，生成光学再现图像。画质劣化处理部302基于测量条件信息和误差信息，对光学再现图像实施画质的劣化处理。
[0101]
图9是表示图7所示的模拟装置13的动作的流程图。测量条件取得部101取得测量条件信息(步骤s301)。测量条件取得部101将取得的测量条件信息输入至虚拟拍摄图像生成部102。
[0102]
误差信息取得部105取得误差信息(步骤s302)。误差信息取得部105将取得的误差信息输入至虚拟拍摄图像生成部102。此外，可以同时并行地进行步骤s301的处理和步骤s302的处理。
[0103]
虚拟拍摄图像生成部102的误差原因决定部303决定包含误差原因的强度及附加顺序中的至少1个的误差原因附加处理的处理条件(步骤s303)。误差原因决定部303将决定出的处理条件输入至光学再现图像生成部301。
[0104]
光学再现图像生成部301基于处理条件、测量条件信息，通过光学模拟生成光学再现图像(步骤s304)。光学再现图像生成部301将生成的光学再现图像输入至画质劣化处理
部302。
[0105]
画质劣化处理部302基于测量条件信息和误差信息，执行光学再现图像的画质劣化处理(步骤s305)。画质劣化处理部302将画质劣化处理后的图像作为虚拟拍摄图像而输入至三维测量运算部103。
[0106]
三维测量运算部103使用虚拟拍摄图像来执行三维测量处理，得到测量结果(步骤s306)。三维测量运算部103将测量结果输入至输出部104。输出部104对包含测量结果的模拟结果进行输出(步骤s307)。
[0107]
图10是表示图9所示的步骤s304的详情的流程图。光学再现图像生成部301首先生成不包含误差原因的光学再现图像(步骤s401)。如上述那样，光学再现图像生成部301对由投射光直接照射的区域即投射区域、没有照射的区域即非投射区域进行判别，以比非投射区域明亮的颜色对投射区域进行描绘。
[0108]
接下来，光学再现图像生成部301从误差信息取得误差原因的附加顺序(步骤s402)。而且，光学再现图像生成部301从误差信息取得误差原因的种类及各个种类的强度(步骤s403)。下面，光学再现图像生成部301按照在步骤s402中取得的附加顺序，对是否向光学再现图像附加误差进行判断。光学再现图像生成部301基于误差信息，首先，对是否向光学再现图像附加彼此反射进行判断(步骤s404)。
[0109]
在附加彼此反射的情况下(步骤s404：yes)，光学再现图像生成部301将彼此反射附加于光学再现图像(步骤s405)。具体而言，在产生彼此反射的情况下，被物体的第1面反射后的反射光入射至第2面。此时，光学再现图像生成部301将包含反射光入射至第2面的入射点的像素的亮度设为亮度通过彼此反射而增加的像素。光学再现图像生成部301基于包含第1面的物体及包含第2面的物体的位置姿势、第1面及第2面的表面特性决定亮度的增加量。光学再现图像的各像素的亮度成为向没有考虑彼此反射的影响时的像素的第1亮度加上了由彼此反射造成的亮度的增加量后的第2亮度。
[0110]
此外，光学再现图像生成部301在步骤s405的处理中，并非必须在全部的光的反射中对由相互反射造成的亮度增加进行计算。例如，由于关于光的镜面反射率低的面，亮度增加量比图像的分辨率小，因此关于具有小于或等于阈值的镜面反射率的面，能够视为没有由彼此反射造成的亮度的增加。
[0111]
光学再现图像生成部301如果完成了步骤s405的附加彼此反射的处理，则对误差附加处理是否结束进行判断(步骤s406)。在误差附加处理结束的情况下(步骤s406：yes)，光学再现图像生成部301使误差附加处理结束，将光学再现图像输入至画质劣化处理部302。在误差附加处理没有结束的情况下(步骤s406：no)，光学再现图像生成部301返回到步骤s403的处理。
[0112]
在不附加彼此反射的情况下(步骤s404：no)，光学再现图像生成部301对是否附加投射装置的光模糊进行判断(步骤s407)。
[0113]
在附加投射装置的光模糊的情况下(步骤s407：yes)，光学再现图像生成部301将投射装置的光模糊附加于光学再现图像(步骤s408)。光的阴影边界的模糊能够通过像素的亮度表现。具体而言，光学再现图像生成部301基于测量条件信息，对第1区域、第2区域进行判别，该第1区域为在假设为光学再现图像中没有焦点偏移的情况下被投射光的区域，该第2区域为在相同地假设为没有投射装置的焦点偏移的情况下没有被投射光的区域。光学再
现图像生成部301基于判定结果，对从第1区域和第2区域的边界起预先确定的距离以内的像素进行确定。这些像素的最大亮度为被投射光的区域的亮度，最小亮度为没有被投射光的区域的亮度。像素的亮度在边界附近，可以基于关注像素和边界的距离来决定。像素的亮度也可以决定为关注像素越接近第1区域则越接近最大值的亮度，关注像素越接近第2区域则越接近最小值的亮度。由此，通过基于关注像素和第1区域的最短距离使亮度变化，能够对投射装置的焦点产生了偏移的状态进行再现。
[0114]
光学再现图像生成部301如果结束了步骤s408的处理，则进入步骤s406。在不附加投射装置的光模糊的情况下(步骤s407：no)，光学再现图像生成部301对是否将环境光附加于光学再现图像进行判断(步骤s409)。
[0115]
在附加环境光的情况下(步骤s409：yes)，光学再现图像生成部301将环境光附加于光学再现图像(步骤s410)。环境光由像素的亮度及颜色中的至少一者表现。光学再现图像生成部301如果结束了步骤s410的处理，则进入步骤s406。另外，在不附加环境光的情况下(步骤s409：no)，光学再现图像生成部301将误差附加处理结束。
[0116]
图11是表示图9所示的步骤s305的详情的流程图。画质劣化处理部302首先基于误差信息，取得误差原因的附加顺序(步骤s501)。画质劣化处理部302基于误差信息，进一步取得误差原因的种类和误差的强度(步骤s502)。下面，画质劣化处理部302按照在步骤s501中取得的附加顺序，对是否附加误差进行判断。
[0117]
首先，画质劣化处理部302对是否附加图像畸变进行判断(步骤s503)。在判断为附加图像畸变的情况下(步骤s503：yes)，画质劣化处理部302将图像畸变附加于光学再现图像(步骤s504)。在附加了图像畸变后，画质劣化处理部302对是否将画质劣化处理结束进行判断(步骤s505)。在判断为将画质劣化处理结束的情况下(步骤s505：yes)，画质劣化处理部302将处理结束。在判断为不将画质劣化处理结束的情况下(步骤s505：no)，画质劣化处理部302返回到步骤s502的处理。
[0118]
在判断为不附加图像畸变的情况下(步骤s503：no)，画质劣化处理部302接下来对是否附加随机噪声进行判断(步骤s506)。在判断为附加随机噪声的情况下(步骤s506：yes)，画质劣化处理部302将随机噪声附加于光学再现图像(步骤s507)。如果步骤s507的处理结束，则画质劣化处理部302进入步骤s505的处理。
[0119]
在判断为不附加随机噪声的情况下(步骤s506：no)，画质劣化处理部302对是否附加图像模糊进行判断(步骤s508)。在判断为不附加图像模糊的情况下(步骤s508：no)，画质劣化处理部302将处理结束。在判断为附加图像模糊的情况下(步骤s508：yes)，画质劣化处理部302将图像模糊附加于光学再现图像(步骤s509)。如果步骤s509的处理结束，则画质劣化处理部302进入步骤s505的处理。
[0120]
此外，画质劣化处理部302可以仅将1个种类的误差原因附加于光学再现图像，也可以多次将相同的误差原因附加于光学再现图像。例如，如果交替地执行多次随机噪声的附加和图像模糊的附加，则能够得到在对象物体的外观产生颜色不均这样的效果。这样，通过误差原因的附加顺序和强度的组合，能够对各种画质效果进行再现。
[0121]
图12是表示由图7所示的模拟装置13输出的显示画面30的一个例子的图。显示画面30具有处理结果显示区域21、测量条件显示区域22、测量条件的列表显示区域23、显示内容选择区域24、执行按钮25、保存按钮26、结束按钮27、误差原因设定区域28。
[0122]
显示画面30除了在实施方式1中说明过的显示画面20的结构要素之外，还具有误差原因设定区域28。下面，针对与显示画面20相同的部分省略说明，主要对与显示画面20不同的部分进行说明。
[0123]
误差原因设定区域28为用于针对误差原因的各个种类，对误差的强度及误差的附加顺序进行设定的区域。用户能够向误差原因设定区域28输入、设定误差的强度及附加顺序。误差信息取得部105能够取得在操作了执行按钮25时显示于误差原因设定区域28的误差信息。
[0124]
如以上说明所述，本发明的实施方式3涉及的模拟装置13通过误差信息取得部105，能够执行反映了由用户设定的误差信息的模拟。通过设为这样的结构，用户能够进行在所期望的动作条件下执行的三维测量的评价。另外，由于能够对误差原因的种类、将误差附加于光学再现图像的附加顺序及强度进行选择，因此具有能够增加可以再现的画质的多样化这样的效果。由于还能够随机地使动作条件、使用环境变化而进行试验，因此还能够进行设计者事先无法设想到的条件的组合下的试验，由于试验内容成为网罗性的，因此从结果来看还能够期待三维测量装置的可靠性提高这样的效果。
[0125]
实施方式4.
[0126]
图13是表示本发明的实施方式4涉及的光学再现图像生成部301的功能结构的图。光学再现图像生成部301具有传感器视点数据生成部401、映射图生成部402、图像合成部403。
[0127]
此外，将具有图13所示的光学再现图像生成部301，具有与图7所示的模拟装置13相同结构的未图示的装置称为实施方式4涉及的模拟装置14。模拟装置14具有与图7所示的模拟装置13相同的结构，虚拟拍摄图像生成部102的光学再现图像生成部301的结构与模拟装置13不同。下面，针对与模拟装置13相同的结构要素省略说明，主要对与模拟装置13不同的部分进行说明。
[0128]
传感器视点数据生成部401生成传感器视点数据，该传感器视点数据包含表示从拍摄装置看得见的拍摄空间的第1图像、从拍摄装置及投射装置的每一者至拍摄空间内的物体为止的距离数据。传感器视点数据生成部401将生成的传感器视点数据输入至映射图生成部402。
[0129]
图14是表示图13所示的传感器视点数据生成部401的详细的功能结构的图。由传感器视点数据生成部401生成的第1图像包含以照射了投射光时的亮度表现出拍摄空间整体的明图像、投射光没有照射至拍摄空间的暗图像。传感器视点数据生成部401具有：明图像生成部501，其生成明图像；暗图像生成部502，其生成暗图像；以及距离数据生成部503，其生成距离数据。
[0130]
传感器视点数据生成部401对包含第1图像、由距离数据生成部503生成的距离数据的传感器视点数据进行输出，该第1图像包含由明图像生成部501生成的明图像、由暗图像生成部502生成的暗图像。
[0131]
返回到图13的说明。由传感器视点数据生成部401输出的传感器视点数据被输入至映射图生成部402。映射图生成部402基于测量条件信息生成照射映射图，该照射映射图为以不同的数值表示被照射来自投射装置的光的第1区域、没有被照射来自投射装置的光的第2区域的映射图。例如，照射映射图能够以“1”表示第1区域，以“0”表示第2区域。映射图
生成部402将生成的照射映射图输入至图像合成部403。
[0132]
图15是表示图13所示的映射图生成部402的详细的功能结构的图。映射图生成部402具有照射区域计算部601、照射映射图生成部602、光模糊再现部603、反射区域计算部604、反射映射图生成部605。
[0133]
照射区域计算部601基于测量条件信息，对能够被照射来自投射装置的光的区域进行计算。照射区域计算部601将表示计算出的区域的信息输入至照射映射图生成部602。
[0134]
照射映射图生成部602使用测量条件信息、来自照射区域计算部601的信息生成照射映射图，该照射映射图为以不同的数值表示被照射来自投射装置的光的第1区域和没有被照射来自投射装置的光的第2区域的映射图。照射映射图生成部602将生成的照射映射图输入至光模糊再现部603。
[0135]
反射区域计算部604使用测量条件信息和传感器视点数据，通过将由从投射装置照射的光被拍摄空间内的物体反射一次而使光线的强度及方向产生了变化的光即反射光线照射的点的三维位置、第1图像上的坐标相关联，从而对在第1图像中被反射光线照射的区域即反射区域进行计算。反射区域计算部604将表示计算出的反射区域的信息输入至反射映射图生成部605。反射映射图生成部605使用表示反射区域的信息和测量条件信息生成反射映射图，该反射映射图为投射装置针对各个投射图案，以不同的数值表示反射区域和没有被反射光照射的区域的映射图。例如，反射映射图能够以“1”表示反射区域，以“0”表示没有被反射光照射的区域。反射映射图生成部605将生成的反射映射图输入至光模糊再现部603。
[0136]
光模糊再现部603在照射映射图中对光的模糊的效果进行再现。具体而言，光模糊再现部603根据光的阴影边界的模糊的程度将照射映射图的值调整为0至1的实数。光模糊再现部603针对反射映射图也与照射映射图相同地对光的模糊的效果进行再现。具体而言，光模糊再现部603根据光的阴影边界的模糊的程度将照射映射图的值调整为0至1的实数。光模糊再现部603对调整了值后的照射映射图及反射映射图进行输出。
[0137]
图像合成部403通过基于照射映射图及反射映射图的信息对第1图像所包含的明图像和暗图像进行合成，从而生成光学再现图像。具体而言，图像合成部403基于照射映射图的值，将光学再现图像的各像素的亮度设为从明图像或暗图像中的相同位置的像素取得的亮度，由此对明图像和暗图像进行合成。另外，图像合成部403在通过光模糊再现部603对照射映射图及反射映射图的值进行调整的情况下，能够基于调整后的值对各像素的亮度进行加权。
[0138]
虚拟拍摄图像的个数与投射图案的数量相等。因此，存在如下问题，即，如果投射图案增加，则用于创建虚拟拍摄图像的处理时间变长。因此，以如下方式进行安装是有效的，使在不同的投射图案的照射中对虚拟拍摄图像进行创建时共通的处理只进行1次即可。作为共通的处理的例子，举出从拍摄装置视点观察到的拍摄空间的明图像及暗图像的创建、从拍摄装置及投射装置至存在于拍摄空间的物体为止的距离数据的计算等。
[0139]
如果投射图案不同，则由来自投射装置的投射光照射的区域的计算的计算结果不同。但是，针对成为物体的阴影、投射光被遮蔽而成为阴影的区域的计算，由于与投射图案无关是恒定的，因此能够选为共通处理。
[0140]
在投射装置的焦点不合焦的情况下，投射至场景中的图案产生模糊，因此图案的
识别精度降低，其结果，三维测量的精度有可能降低。图案光的模糊不是在拍摄装置的拍摄时产生的，而是在来自投射装置的图案投射时产生的。因此，在对虚拟拍摄图像附加模糊的方法中，无法对现象进行再现。
[0141]
因此，对表示在虚拟拍摄图像中被投射光照射的区域的照射映射图进行创建。照射映射图能够定义为具有与虚拟拍摄图像相同的要素数量的二维矩阵，各要素具有0至1的实数的值。被投射光照射的区域为能够表现为1，投射光没有到达的区域能够表现为0，受到投射光的模糊的影响而以比通常低的强度照射的区域能够表现为比0大且比1小的值。如果通过数学式来表示，则为下面的数学式(2)。
[0142]
[数学式2]
[0143]
i
i，j
＝p
i，j
b
i，j
+(1
‑
p
i，j
)s
i，j
…
(2)
[0144]
这里，i
i,j
为虚拟拍摄图像的图像坐标(i,j)处的亮度，p
i,j
为照射映射图的坐标(i,j)处的值，b
i,j
为明图像的图像坐标(i,j)处的亮度，s
i,j
为暗图像的图像坐标(i,j)处的亮度。
[0145]
在对照射映射图进行创建时，首先假设投射装置的焦点合焦的状态，即没有投射光的模糊的状态，对由投射图案照射的区域进行计算。在该时刻，照射映射图的各要素所具有的值为0或1。通过对该照射映射图实施高斯平滑化等平滑滤波，从而对投射光的模糊进行再现。通过实施高斯平滑化，由图案光照射的区域和没有照射的区域的边界附近的照射映射图的值的变化变得平滑。通过边界部分的值的变化变得平滑，从得到投射光的边界变模糊的效果，能够对投射光的模糊进行再现。
[0146]
图16是表示本发明的实施方式4涉及的模拟装置14的动作的流程图。传感器视点数据生成部401在明图像生成部501及暗图像生成部502中生成明图像及暗图像(步骤s601)。传感器视点数据生成部401与步骤s601同时并行地在距离数据生成部503中生成各视点的距离数据(步骤s602)。传感器视点数据生成部401将包含生成的明图像、暗图像及距离数据的传感器视点数据输入至映射图生成部402。
[0147]
映射图生成部402在照射区域计算部601中对照射区域进行计算(步骤s603)。接下来，映射图生成部402在照射映射图生成部602中生成照射映射图(步骤s604)。
[0148]
映射图生成部402取得误差原因的附加顺序(步骤s605)。接下来，映射图生成部402取得误差原因的种类和强度(步骤s606)。映射图生成部402对是否附加彼此反射进行判断(步骤s607)。在判断为附加彼此反射的情况下(步骤s607：yes)，映射图生成部402使反射区域计算部604计算反射区域(步骤s608)，使反射映射图生成部605生成反射映射图(步骤s609)。
[0149]
在判断为不附加彼此反射的情况下(步骤s607：no)，省略步骤s608及步骤s609的处理。接下来，映射图生成部402对是否附加光模糊进行判断(步骤s610)。在判断为附加光模糊的情况下(步骤s610：yes)，映射图生成部402的光模糊再现部603在照射映射图中对光模糊进行再现(步骤s611)。
[0150]
在判断为不附加光模糊的情况下(步骤s610：no)，省略步骤s611的处理。接下来，映射图生成部402对是否附加环境光进行判断(步骤s612)。在判断为附加环境光的情况下(步骤s612：yes)，映射图生成部402的照射映射图生成部602向照射映射图对环境光进行附加(步骤s613)。在判断为不附加环境光的情况下(步骤s612：no)，省略步骤s613的处理。
[0151]
映射图生成部402对是否将误差附加处理结束进行判断(步骤s614)。在判断为不将误差附加处理结束的情况下(步骤s614：no)，返回到步骤s606的处理。在判断为将误差附加处理结束的情况下(步骤s614：yes)，图像合成部403执行图像合成处理(步骤s615)。
[0152]
如以上说明所述，根据本发明的实施方式4涉及的模拟装置14，通过对单独地再现了光学现象的图像即第1图像、照射映射图、反射映射图进行创建，能够将使用多个投射图案的情况下的生成光学再现图像的处理及数据结构简化。另外，通过使用照射映射图表现由焦点偏移引起的光的阴影边界的模糊效果，使用反射映射图表现彼此反射的效果，从而取得如下效果，即，能够通过简易的运算处理对复合有投射装置的焦点偏移、彼此反射这样的复杂的光学现象的拍摄图像进行再现。
[0153]
在构成实际的三维测量装置而进行评价的情况下，只能够得到光学现象全部并存的状态的结果。相对于此，根据模拟装置14，能够单独地对多种光学现象的每一者进行再现。因此，能够更详细地了解通过三维测量产生的测量误差是由什么原因引起的。通过设为这样的结构，取得三维测量装置的设计及性能评价变得容易这样的效果。
[0154]
实施方式5.
[0155]
实施方式5涉及的未图示的模拟装置15具有与图7所示的模拟装置13相同的结构。模拟装置15所输出的显示画面与模拟装置13不同。下面，针对与模拟装置13相同的部分省略说明，主要对与模拟装置13不同的部分进行说明。
[0156]
图17是表示由本发明的实施方式5涉及的模拟装置15输出的显示画面40的一个例子的图。模拟装置15能够对进一步包含测量条件信息的至少一部分、虚拟拍摄图像中的至少一者的模拟结果进行输出。
[0157]
显示画面40能够包含调整项目显示区域41、保存按钮42、结束按钮43、测量结果显示区域44。调整项目显示区域41为对作为调整对象的项目的设定值进行列表显示的区域。测量结果显示区域44为对将作为调整对象的测量条件的项目设定为被列表显示的各个设定值时的测量值进行显示的区域。保存按钮42为用于进行测量结果的保存操作的操作部，结束按钮43为用于进行使处理结束的操作的操作部。
[0158]
在显示画面40中，并列地显示作为调整对象的测量条件的项目的设定值、处理结果即测量值、作为中间结果在处理过程中得到的虚拟拍摄图像、照射映射图等。另外，也可以同时对以任意设定值时的处理结果为基准的差量结果进行显示，对处理结果的差异大的部分进行强调显示。
[0159]
如以上说明所述，根据本发明的实施方式5涉及的模拟装置15，通过与测量值相匹配地对测量条件信息及虚拟拍摄图像等进行输出，用户能够对各个测量条件的三维测量结果的过程进行确认。此时，通过并列地显示与多个测量条件对应的处理结果及中间结果，能够对测量条件的设定值进行比较、研究。因此，取得投射装置及拍摄装置的配置、性能的研究变得容易这样的效果。
[0160]
实施方式6.
[0161]
图18是表示本发明的实施方式6涉及的模拟装置16的功能结构的图。模拟装置16具有测量条件取得部101、虚拟拍摄图像生成部102、三维测量运算部103、输出部104、误差信息取得部105、评价基准数据生成部106、测量评价部107。
[0162]
模拟装置16除了模拟装置13的结构之外，还具有评价基准数据生成部106、测量评
价部107。下面，针对与模拟装置13相同的结构省略详细的说明，主要对与模拟装置13不同的部分进行说明。
[0163]
评价基准数据生成部106使用测量条件信息，生成成为模拟结果的评价基准的评价基准数据。评价基准数据生成部106将生成的评价基准数据输入至测量评价部107。测量评价部107使用评价基准数据对模拟结果进行评价，取得模拟评价。输出部104除了模拟结果之外，还输出模拟评价结果。
[0164]
图19是表示图18所示的模拟装置16的动作的流程图。就图19所示的动作而言，由于从步骤s301至步骤s307为止与图9相同，因此省略详细的说明。在本实施方式中，在三维测量处理结束后，评价基准数据生成部106生成评价基准数据(步骤s701)。接下来，测量评价部107进行测量评价处理(步骤s702)，该测量评价处理是对通过模拟得到的测量数据和评价基准数据进行比较，对定量的评价值进行计算。输出部104对模拟评价进行输出(步骤s703)。
[0165]
作为评价基准数据，想到传感器视点数据所包含的从拍摄装置起的距离数据、将附加误差原因前的虚拟拍摄图像作为输入的情况下的三维测量的处理结果、通过照射映射图那样的处理的过程得到的数据、实际对测量对象物进行测量而得到的实际测量数据。
[0166]
作为模拟评价，想到使用理论上相对于能够得到测量数据的区域即可测量区域来说的无法得到测量数据的欠缺区域的比率、与评价基准数据进行了比较的情况下的测量误差等。可测量区域例如能够设为在将附加误差原因前的虚拟拍摄图像作为输入而得到的测量数据中没有产生欠缺的区域。另外，也可以将对评价基准数据和模拟结果进行比较而得到的平均值、方差、标准偏差、最大值这样的统计量用作评价指标。
[0167]
在将实际测量数据用作评价基准数据的情况下，以使得模拟评价变得更好，即，使得实际测量数据和模拟结果间的差异变小的方式进行反馈也是有用的。
[0168]
作为反馈的方法，例如，想到生成多个不同的模拟结果，取得模拟评价最佳的设定值。为了得到多个模拟结果，例如，存在如下方法，即，使测量条件下的测量对象物的表面特性的值变化，使误差原因的强度变化。
[0169]
模拟评价变得最佳时的测量对象物的表面特性、误差原因的强度这样的参数能够定义为最佳的模拟设定。通过对用户提供该最佳的模拟设定，能够实施更准确的验证实验。
[0170]
图20是表示图18所示的模拟装置16的显示画面50的一个例子的图。显示画面50除了显示画面40的结构要素之外，还包含评价基准数据显示区域51。
[0171]
在显示画面50中，与测量条件的调整对象项目的多个设定值并列地对评价基准数据进行显示。另外，也可以还对从使用了基准值的三维测量处理的模拟得到的中间结果进行显示。另外，显示画面50也能够进一步对模拟评价进行显示。
[0172]
如以上说明所述，在本发明的实施方式6涉及的模拟装置16中，除了模拟结果之外，还能够得到评价基准数据。评价基准数据为在对模拟结果进行评价时成为基准的数据，为实际测量数据等。模拟装置16通过并列地显示模拟结果所包含的测量值、评价基准数据，能够使模拟结果的研究变得容易。
[0173]
另外，模拟装置16能够得到使用评价基准数据对模拟结果进行了评价的模拟评价。通过设为这样的结构，能够定量地掌握测量误差及欠缺。因此，拍摄装置及投射装置的性能研究、针对各个测量对象物对三维测量的适合与否进行判定等作业变得容易。另外，在
性能评价方法由规格规定的情况下，通过使用该性能评价方法而得到模拟评价，能够容易地进行适合与否的判定。
[0174]
实施方式7.
[0175]
图21是表示本发明的实施方式7涉及的模拟装置17的功能结构的图。模拟装置17除了实施方式6涉及的模拟装置16的结构之外，还具有物体识别处理部108及识别评价部109。下面，主要对与模拟装置16不同的部分进行说明。
[0176]
物体识别处理部108将由三维测量运算部103输出的模拟结果、由测量条件取得部101输出的测量条件信息作为输入，取得包含存在于拍摄空间内的物体的位置姿势、能够抓持物体的位置即抓持位置中的至少1个的识别结果。物体识别处理部108将识别结果输入至识别评价部109。
[0177]
识别评价部109基于测量条件信息，对识别结果进行评价。具体而言，识别评价部109取得包含识别结果所包含的位置姿势的推定精度、抓持位置的推定精度中的至少1个的识别评价结果。识别评价部109将物体的识别结果及识别评价结果输入至输出部104。输出部104除了模拟结果及模拟评价之外，还对识别结果及识别评价结果进行输出。
[0178]
图22是表示图21所示的模拟装置17的动作的流程图。由于步骤s301至步骤s307、步骤s701至步骤s703的动作与图19相同，因此这里省略说明。下面，主要对与图19不同的部分进行说明。
[0179]
如果步骤s306所示的三维测量处理结束，则物体识别处理部108执行物体识别处理而取得识别结果(步骤s801)。如果得到识别结果，则识别评价部109执行对识别结果进行评价的识别评价处理(步骤s802)。如果得到识别评价结果，则输出部104对识别评价结果进行输出(步骤s803)。这里，在步骤s803中，也可以除了识别评价结果之外，还输出识别结果。
[0180]
作为进行物体的三维测量的目的之一，举出测量对象物的位置姿势等的识别。例如，是使机器人抓持物体的应用程序。在没有预先知道成为抓持对象的物体的位置姿势的情况下，需要在该情况下对对象物进行传感检测，对对象物的位置姿势或机器人能够抓持的位置进行识别。
[0181]
因此，在本发明的实施方式7中，具有将三维测量的模拟结果作为输入，进行物体识别处理的物体识别处理部108。物体识别处理部108中的用于物体识别的算法可以使用任意算法。物体识别算法可以将三维点阵作为输入，也可以将通过二维图像表现出三维测量结果的深度图像作为输入，其中，该三维点阵将三维测量的结果作为三维空间中的点的集合来对待。
[0182]
而且，也使用物体识别的结果，进行识别出的物体的位置姿势的推定精度、抓持位置的推定精度这样的识别结果的评价。在对物体的位置姿势的识别算法进行评价时，在大量的事例中成为问题的是不知道物体的位置姿势的真值。由于不知道真值，因此即使输出物体的位置姿势的识别结果，也难以定量地对其好坏进行判断。但是，由于在模拟中物体的位置姿势是已知的，因此能够定量地对识别结果进行评价。
[0183]
如以上说明所述，根据本发明的实施方式7涉及的模拟装置17，能够使用模拟结果进行物体识别的验证。通过设为这样的结构，能够在不实际构成三维测量装置的情况下进行物体识别的性能评价。在模拟空间中，由于识别对象物的位置姿势是已知的，因此能够将物体识别结果与真值进行比较，取得物体识别性能的定量的评价变得容易这样的效果。
[0184]
在通过机器人对识别出的物体进行抓持的系统中，定量地对物体识别的精度是否充分进行评价是非常重要的。原因在于，由机器人进行的抓持是否成功对大幅受到物体识别的精度影响。但是，例如，如果设想从多个物体无规则地堆叠的散乱堆积状态进行的抓持，则难以知道散乱堆积的物体的位置姿势的真值。因此，即使使用包含三维测量装置及机器人的实机进行试验，也无法定量地掌握物体识别的严格的精度。根据本发明，存在如下优点，即，能够通过模拟容易地取得真值，定量地对物体识别的精度进行评价。
[0185]
实施方式8.
[0186]
图23是表示本发明的实施方式8涉及的模拟装置18的功能结构的图。模拟装置18除了实施方式7涉及的模拟装置17的结构之外，还具有物体抓持评价部110。
[0187]
下面，针对与模拟装置17相同的结构省略说明，主要对与模拟装置17不同的部分进行说明。
[0188]
物体抓持评价部110基于由测量条件取得部101输出的测量条件信息、由三维测量运算部103输出的模拟结果、由物体识别处理部108输出的识别结果，取得对物体的抓持成功概率进行评价而得到的物体的抓持评价结果。物体抓持评价部110将抓持评价结果输入至输出部104。输出部104还输出抓持评价结果。
[0189]
图24是表示图23所示的模拟装置18的动作的流程图。由于步骤s301至步骤s307、步骤s701至步骤s703、步骤s801至步骤s803的动作与图22相同，因此这里省略说明。下面，主要对与图22不同的部分进行说明。
[0190]
如果得到了物体识别结果，则物体抓持评价部110执行物体抓持评价(步骤s901)。物体抓持评价部110将抓持评价结果输入至输出部104。输出部104输出抓持评价结果(步骤s902)。步骤s901的动作能够与识别评价处理同时并行地执行。
[0191]
通过使用物体的识别结果，能够得到机器手在哪个位置对物体进行抓持的信息。通过使用该信息，从而在使机器手移动至抓持位置，执行了抓持动作的情况下，能够对与物体接触的位置、在机器手或物体产生的力的大小和方向进行模拟。
[0192]
如果知道在机器手及物体产生的力的大小和方向，则能够对抓持是否成功进行推定。例如，想到机器手为具有2根爪的平行手的情况。抓持失败是指抓持物体从机器手的爪的间隙脱落的事例。作为与该事例相当的状况，想到相对于抓持物体，在与平行手闭合的方向垂直的方向上实施的力比机器手和抓持物体之间的摩擦力大时。因此，如果具有机器手及抓持物体的表面的摩擦系数、抓持物体的重量、机器手的抓持力这样的信息，则能够进行抓持是否成功的判定。
[0193]
但是，对抓持的成功概率进行评价的方法并非仅仅是对在机器手和抓持物体之间产生的力进行推定的方法，可以使用任意的评价方法。在本发明的实施方式8中，具有物体抓持评价部110，该物体抓持评价部110具有由这样的机器人进行的物体抓持的模拟功能。在图25中示出实施方式8的输出画面例。图25是表示由图23所示的模拟装置18输出的显示画面60的一个例子的图。显示画面60除了显示画面30的显示内容之外，还具有识别及抓持评价结果显示区域61。作为识别结果及抓持评价结果的输出方法，可以针对识别、抓持的成功与否，在成功的情况下和失败的情况下输出不同的记号，也可以在失败时输出失败的原因，还可以对评价所使用的某定量值进行显示。
[0194]
如以上说明所述，根据本发明的实施方式8涉及的模拟装置18，由于能够在模拟上
对抓持成功率进行评价，因此具有构建机器人系统前的事先验证变得容易这样的效果。
[0195]
为了构建能够使用机器人实机进行从物体的识别至抓持为止的一系列动作的系统，从三维测量装置的设置起需要物体识别的软件调整、及机器人的动作调整等大量的时间和成本。而且，在实际空间反复进行物体的抓持的试验也需要长时间和试误。根据本发明，能够在模拟上进行抓持试验，因此与以往相比能够以短期间进行试验。
[0196]
另外，在使用实际的机器人系统进行抓持试验，想要进行抓持失败的原因分析的情况下，从三维测量的误差至机器人的动作调整错误为止，仅得到在所有失败原因并存的状态下是抓持成功还是抓持失败的结果。因此，难以对修正哪里会使抓持的成功率提高进行解析。由于在本发明中通过模拟能够对失败原因进行区分、验证，因此能够以短期间进行原因查明及改进。
[0197]
接下来，对本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的硬件结构进行说明。测量条件取得部101、虚拟拍摄图像生成部102、三维测量运算部103、输出部104、误差信息取得部105、评价基准数据生成部106、测量评价部107、物体识别处理部108、识别评价部109及物体抓持评价部110由处理电路实现。这些处理电路可以由专用的硬件实现，也可以是使用了cpu(central processing unit)的控制电路。
[0198]
在上述处理电路由专用的硬件实现的情况下，它们由图26所示的处理电路90实现。图26是表示专用硬件的图，该专用硬件用于实现本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的功能。处理电路90为单一电路、复合电路、被程序化后的处理器、被并行程序化后的处理器、asic(application specific integrated circuit)、fpga(field programmable gate array)、或它们的组合。
[0199]
在上述处理电路由使用了cpu的控制电路实现的情况，该控制电路例如为图27所示的结构的控制电路91。图27是表示控制电路91的结构的图，该控制电路91用于实现本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的功能。如图27所示，控制电路91具有处理器92、存储器93。处理器92为cpu，也称为中央处理装置、处理装置、运算装置、微处理器、微型计算机、dsp(digital signal processor)等。此处，存储器93例如是ram(random access memory)、rom(read only memory)、闪存、eprom(erasable programmable rom)、eeprom(注册商标)(electrically eprom)等非易失性或易失性半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘、dvd(digital versatile disk)等。
[0200]
在上述处理电路由控制电路91实现的情况下，通过由处理器92读出而执行在存储器93存储的与各结构要素的处理对应的程序而实现。另外，存储器93也用作由处理器92执行的各处理的临时存储器。
[0201]
另外，本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的功能也能够使用图28所示的结构的硬件实现。图28是表示硬件结构的一个例子的图，该硬件结构用于实现本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的功能。本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的功能可以在处理器92及存储器93的基础上使用输入装置94及输出装置95实现。输入装置94为键盘、鼠标、触摸传感器等对来自用户的输入操作进行接收的输入接口。输出装置95例如为显示装置，能够向用户显示输出画面。此外，在使用触摸面板的情况下，触摸面板的显示装置为输出装置95，与显示装置重叠的触摸传感器为输入装置94。
[0202]
例如，模拟装置10、12、13、14、15、16、17、18的测量条件取得部101及输出部104的功能可以仅由处理器92实现，也可以由处理器92和输入装置94或输出装置95、或与它们的接口实现。
[0203]
以上实施方式所示的结构表示的是本发明的内容的一个例子，也可以与其它的公知技术进行组合，在不脱离本发明的主旨的范围内，也可以省略、变更结构的一部分。
[0204]
例如，本发明的实施方式1～8涉及的模拟装置10、12、13、14、15、16、17、18的功能可以在1台硬件上实现，也可以由多个硬件进行分散处理。
[0205]
另外，上述所示的显示画面20、30、40、50、60为一个例子，能够施加各种变更。
[0206]
标号的说明
[0207]
10、12、13、14、15、16、17、18模拟装置，20、30、40、50、60显示画面，21处理结果显示区域，22测量条件显示区域，23列表显示区域，24显示内容选择区域，25执行按钮，26、42保存按钮，27、43结束按钮，28误差原因设定区域，41调整项目显示区域，44测量结果显示区域，51评价基准数据显示区域，61识别及抓持评价结果显示区域，90处理电路，91控制电路，92处理器，93存储器，101测量条件取得部，102虚拟拍摄图像生成部，103三维测量运算部，104输出部，105误差信息取得部，106评价基准数据生成部，107测量评价部，108物体识别处理部，109识别评价部，110物体抓持评价部，201投射条件信息取得部，202拍摄条件信息取得部，203测量对象物信息取得部，204非测量对象物信息取得部，301光学再现图像生成部，302画质劣化处理部，303误差原因决定部，401传感器视点数据生成部，402映射图生成部，403图像合成部，501明图像生成部，502暗图像生成部，503距离数据生成部，601照射区域计算部，602照射映射图生成部，603光模糊再现部，604反射区域计算部，605反射映射图生成部。