定的场所，使用例如透明型的头戴式显示器(HMD:Head Mount Display)从各种角度观察该CG。
[0047]为了表现复合现实感空间(MR空间)，必须取得在现实空间中定义的基准坐标系，即成为决定想要重叠在现实空间的假想物体的位置姿势的基准的现实空间中的坐标系与摄像部的坐标系(照相机坐标系)之间的相对性的位置姿势关系。
[0048]作为用于此的适当的图像位置对准技术，例如，可列举利用磁传感器、光学式传感器、或超声波传感器的技术，或利用标记、陀螺仪的技术等。
[0049]此处，所谓标记(也称为“地标”)是指用于图像的位置对准而使用的指标，且是能够通过利用安装在HMD的照相机(摄像装置)拍摄配置在现实空间内的标记，而利用图像处理来推断照相机的位置姿势。
[0050]也就是说，在现实空间中的已知的三维坐标配置具有特定的视觉特征的标记，检测现实图像中所包含的标记，并根据所检测出的标记的构成要素(标记的中心或顶点等)的二维图像位置与已知的三维坐标而计算出照相机(摄像装置)的位置姿势。
[0051]本实施方式的零件组装作业支持系统利用所述复合现实感技术，以下参照图1至图4对本系统的构成进行说明。
[0052]如图1及图2所示，本实施方式的零件组装作业支持系统I包括系统主体2、在与该系统主体2之间进行数据通讯的头戴式显示器(HMD) 3、及标记部件8。
[0053]零件组装作业支持系统I的系统主体2由包括CPU (Central Processing Unit,中央处理器)、RAM (Random Access Memory，随机存取存储器)、ROM (Read Only Memory，只读存储器)、外部存储装置、存储媒体驱动装置、显示装置、输入元件等的计算机而构成。
[0054]如图2所示，HMD3安装在作业者4的头部，包括摄像部5及显示部6。摄像部5及显示部6分别设置有2个，摄像部5R及显示部6R为右眼用，摄像部5L及显示部6L为左眼用。根据该构成，能够对将HMD3安装在头部的作业者4的右眼与左眼提示视差图像，并能够三维显示MR图像(合成图像)。
[0055]HMD3的摄像部5对在标记设置步骤中暂定地设置在第一零件(工件)7A上的MR用标记部件8与该第一零件7A —起拍摄(摄像步骤)。标记部件8设置在相对于第一零件7A上的基准点的特定的相对位置。
[0056]如图3所示，本实施方式的标记部件8包括:三角形的框部9 ;各支撑部10，设置在三角形的框部件9的各顶点的下表面；及各复合现实感用标记11，设置在三角形的框部件9的各顶点的上表面。
[0057]如图1所示，通过HMD3的摄像部5取得的现实空间的现实图像被输入至系统主体2的现实图像取得部12。该现实图像取得部12将所输入的现实图像的数据输出至系统主体2的存储部13。
[0058]存储部13保持MR图像(合成图像)的提示处理所需要的信息，根据处理进行信息的读出或更新。
[0059]另外，系统主体2具备标记检测部14，该标记检测部14用来从存储部13保持的现实图像中检测设置在标记部件8的标记11。
[0060]而且，配置在作为现实物体的第一零件7A上的标记部件8的标记11的检测结果从标记检测部14经由存储部13被发送至摄像部位置姿势推断部15。该摄像部位置姿势推断部15基于标记11的检测结果，而推断将第一零件7A本身的物体坐标系作为基准坐标系的HMD3的摄像部5的位置姿势(位置姿势信息取得步骤)。
[0061]此处，标记部件8、标记检测部14、及摄像部位置姿势推断部15构成零件组装作业支持系统I中的位置姿势信息取得机构。
[0062]通过摄像部位置姿势推断部15推断的HMD3的摄像部5的位置姿势被发送至假想图像产生部16。假想图像产生部16基于从摄像部位置姿势推断部15发送的摄像部5的位置姿势，即作业者4的视点位置及作业者的视线方向，而产生从摄像部5的位置姿势观察的另一零件(工件)7B的三维的假想图像(假想图像产生步骤)。
[0063]此处，在本实施方式的零件组装作业支持系统I中，在该假想图像产生部16中，基于来自三维扫描仪18的数据而产生应组装至第一零件7A的第二零件的假想图像30V。
[0064]更具体而言，如图4所示，通过三维扫描仪18三维测量第二零件7B而取得第二零件7B的三维实物形状数据。此时，第二零件7B也可保管在与制造作为其组装对象的第一零件7A的工厂不同的工厂。
[0065]其次，利用三维扫描仪18而取得的第二零件7B的三维实物形状数据被发送至系统主体2的存储部13，并保存于此。而且，假想图像产生部16基于保存在存储部13的第二零件7B的三维实物形状数据，而产生第二零件7B的假想图像19。
[0066]也就是说，在假想图像产生部16中产生的第二零件7B的假想图像19并非为与第二零件7B的理想形状相关的假想图像，而是与实际的第二零件7B的实物形状相关的假想图像。因此，该第二零件7B的假想图像表示受到加工误差、安装误差、应变、变形、加工处理的影响等的实际的形状。
[0067]在假想图像产生部16中产生的第二零件7B的假想图像19被发送至系统主体2的图像合成部17。图像合成部17使从假想图像产生部16发送的第二零件7B的假想图像19重叠在存储部13所保持的第一零件7A的现实图像，而产生MR图像(合成图像)(图像合成步骤)。
[0068]利用图像合成部17产生的MR图像(合成图像)被输出至HMD3的显示部6 (显示步骤)。由此，在HMD3的显示部6，显示与HMD3的摄像部5的位置姿势对应的现实空间的图像与假想空间的图像重叠的MR图像，从而能够使将该HMD3安装在头部的作业者4体验复合现实空间。
[0069]然后，作业者4如图4所示，使显示在MR图像的与第二零件7B的实物形状相关的假想图像19与同样地显示在MR图像的第一零件7A的现实图像20对接，而判断这些零件彼此的组装性的良否。
[0070]作业者4在使与第二零件7B的实物形状相关的假想图像19与第一零件7A的现实图像20对接的结果而判断为两零件间的组装性存在问题的情况下，修正第一零件7A及第二零件7B的任一者或两者而确保两零件间的组装性。
[0071]用来确保该组装性的作业，即便在第一零件7A与第二零件7B不在相同的场所(工厂)而分别处在不同的场所(工厂)的情况下也可实施。
[0072]若能够确保第一零件7A与第二零件7B的组装性，则将第二零件7B搬入至保管有第一零件7A的工厂，在此处组装两零件。此时，如上所述两零件的组装性已得以确保。
[0073]相对于此，在图9所示的以往的组装方法中，首先，将在其他工厂制作的第二零件7B搬入至保管有第一零件7A的工厂，并在那里将两零件的实物彼此对接。
[0074]而且，在两零件的组装性存在问题的情况下，修正第一零件7A及第二零件7B的任一者或两者而确保组装性，然后组装两零件。
[0075]如此，在以往的组装方法中，在实际的组装作业中通过将零件的实物彼此对接来确认组装性，因此在组装性存在问题的情况下必须中断组装作业，从而作业效率降低。
[0076]另一方面，根据本实施方式的零件组装作业支持系统1，能够通过将与第二零件7B的实物形状相关的假想图像19与第一零件7A的现实图像20对接而确认两零件的组装性。
[0077]因此，即便在第一零件7A与第二零件7B处于互不相同的场所的情况下也能够确认两零件的组装性。或者，另外，即便在零件过大而不容易移动的情况下，不移动零件也可确认零件彼此的组装性。
[0078]相对于此，根据本实施方式的零件组装作业支持系统1，由于使与第二零件7B的实物形状相关的假想图像19与第一零件7A的现实图像20对接，因此能够整体上验证两零件的组装性。
[0079]根据以上内容，在本实施方式的零件组装作业支持系统I中，在实际组装两零件之前确保组装性，其结果不在中途中断组装作业即能够顺利地于短时间结束，从而可使零件组装的作业效率大幅提高。
[0080]此外，在所述实施方式中，利用三维扫描仪18测量第二零件7B的整体，而产生与第二零件7B的整体形状相关的假想图像19，但是，例如，也可利用三维扫描仪18仅测量第二零件7B整体中的需要验证组装性的部位，而产生仅关于该部位的假想图像。总之，只要将基准位置对准，则能够适当选择产