本发明涉及信息显示系统，尤其涉及根据工件的识别性在现实空间上重叠显示辅助的信息的信息显示系统。
背景技术：
已知在现实空间使假想空间的信息重合并显示的、mixedreality(mr)技术、在动画图像中合成其他图像等的匹配移动技术。例如在日本特开2002-269546号公报中记载自动检测动画图像中的人物脸的动作，合成使脸部图像变形为期望的形状的图像的系统。在日本特开2012-019434号公报中记载了利用检测技术合成广告映像和基本映像的系统。
另一方面，在利用机床的加工现场，存在切削油、保护门的被污染的玻璃窗等成为遮蔽物且难以利用目视确认加工中的工件的情况的问题(参照图1)。例如，具有尽量利用目视确认工件的加工进行状况、空切(工具的无谓的移动路径)的有无、安装量(在工具进行切削后到实际与工件接触的区间)的大小、工件与切粉的关系、工具的前端位置等的期望，但由于上述问题，现在难以在加工中确认这些。由此，现在通过暂时停止切削油或稍微打开保护门并从间隙观察等方法进行确认。但是，在这些方法中，存在从使切削油停止到视野良好需要时间、安全性不高之类的问题。
因此，期望通过上述的mr技术、匹配移动技术等解决这种问题，但日本特开2002-269546号公报及日本特开2012-019434号公报未公开具体的解决方案。
技术实现要素：
本发明是为了解决这种问题点而进行的，其目的在于提供根据工具的识别性，在现实空间中重叠显示辅助的信息的信息显示系统。
本发明的一实施方式的信息显示系统的特征在于具有对工件进行拍摄并制成表示上述工件的形状的模型数据的变换部、基于上述工件的3d模型数据至少生成上述工件的一部分的3d模型图像并利用上述3d模型图像补充上述工件的不可视部分的补充部以及以使上述3d模型图像与上述工件的不可视部分重叠的方式进行显示的显示部。
在其他实施方式的信息显示系统中，还具有进行上述模型数据与上述3d模型图像的匹配移动处理的匹配移动部。
在其他实施方式的信息显示系统中，上述补充部通过对上述模型数据的特征点与上述3d模型的特征点进行对比来进行上述补充。
在其他实施方式的信息显示系统中，上述变换部制成上述工件及上述工件的周边环境的模型数据，上述补充部利用上述周边环境的模型数据进行上述补充。
根据本发明，能提供根据工件的识别性在现实空间中重叠显示辅助的信息的信息显示系统。
附图说明
本发明的上述及其他目的及特征从参照附图的以下的实施例的说明中变得明确。在这些图中：
图1是表示现有技术的问题点的图。
图2是表示信息显示系统的一实施例的示意图。
图3是表示信息显示系统的结构的方框图。
图4是表示信息显示系统的动作的流程图。
图5是表示信息显示系统的动作例的示意图。
图6是表示信息显示系统的动作例的示意图。
具体实施方式
下面，与附图一起说明本发明的实施方式。
图3是表示本发明的实施方式的信息显示系统100的结构的方框图。信息显示系统100具有变换部110、补充部120、匹配移动部130以及显示部140。信息显示系统100是典型地具备中央处理装置(cpu)、存储装置及摄像装置、显示装置等的输入输出装置等的信息处理装置，通过cpu执行预定的程序而在理论上实现上述各种处理部。例如，信息显示系统100具备作为显示部140进行动作的可视数据终端，可以是内置有cpu、存储装置的智能收送话器、平板终端、头置式显示器(hmd)等。或者，信息显示系统100可以在具备cpu、存储装置的计算机上连接作为显示部140进行动作的可视数据终端、hmd而构成。
变换部110对位于现实世界的物体等进行拍摄并获得图像，进行生成表示图像所含的物体的模型数据、即物体的形状的数据的处理。在本实施方式中，拍摄加工中的工件的动画图像，制成动画图像所含的工件的模型数据。动画图像例如使用设于hmd的摄像机进行拍摄。利用图像的模型数据的制成方法是公知的，因此，在此省略详细的说明。所生成的模型数据典型的是线框模型。或者可以仅是从图像提取的特征点的集合。
补充部120进行利用工件的3d模型补充变换部110生成的模型数据并显示在显示部140的处理。即，补充部120预先将工件的3d模型数据(典型地为cad数据、nc数据)保持在未图示的存储区域，将该3d模型数据以在基于现实的工件制成的模型数据上重叠的形式进行透视。在本实施方式中，在切削油、保护门等成为遮蔽物而无法识别工件的一部分的情况下，对无法识别的部分的3d模型进行透视。
匹配移动部130进行使变换部110生成的模型数据与补充部120显示的3d模型连动的处理。即，对模型数据进行追踪，调整3d模型的显示位置、方向等。由此，即使捕获工件的摄像机移动，所补充的3d模型也追随工件，因此，能继续观察工件的状态等。另外，处理的具体顺序是公知的，因此在此省略详细的说明。
显示部140是能使现实的工件与补充部120生成的3d模型重叠并识别的显示装置。例如，显示部140是具备摄像机的hmd(参照图2)。在非透过型hmd的情况下，将由摄像机捕捉的图像显示在投影面上。在透过型hmd的情况下，能通过透明的投影面识别与由摄像机捕捉的图像相当的视野。变换部110基于由摄像机捕捉的图像制成模型数据，但该模型数据不需要显示在显示部140上，保持于预定的存储区域并用于补充处理、匹配移动处理。另一方面，显示部140将补充部120进行透视的3d模型显示在投影面上。由此，用户能使在投影面上投影或透过投影面识别的现实的工件与在投影面上投影的3d数据重叠并识别。
图4是表示信息显示系统100的动作的流程图。
s1：变换处理(初期状态)
首先，变换部110使用摄像机等摄像机构获得加工前的工件的图像。此时，优选获得工件整体的图像。通过预先获得工件的多个部分的特征点，能精致地执行后级的补充处理及匹配移动处理。
更优选不仅获得工件，还获得工件的周边环境、例如载置工件的工作台、机床的机箱等的图像。由此，即使工件完全无法识别，只要能识别工件的周边环境，便能执行后级的补充处理及匹配移动处理。一般地，上述工作台、机床的机箱等由于在加工中与工件的相对的位置关系不变化，因此优选作为进行拍摄的周边环境。或者，即使与工件的相对的位置关系变化的周边环境，只要是能特定该相对的位置关系周边环境，则优选作为进行拍摄的周边环境。例如，工具在加工中位置变动，但某时点的工具的位置能基于加工程序等特定。
变换部110识别所拍摄的图像中的工件，制成工件的模型数据。典型地，变换部110从预先保持的工件的3d模型、所拍摄的图像分别提取三次元特征点，对两者进行对比。并且，仅提取图像所含的特征点中的与3d模型的特征点对应的数据并保存。优选变换部110从工件的周边环境提取特征点。并且，保存包括工件的特征点和周边环境的特征点的数据组。
s2：匹配移动处理(加工时)
接着，变换部110使用摄像机等摄像机构获得加工中的工件的图像，与步骤s1相同地提取加工中的工件的特征点。优选变换部110也从工件的周边环境提取特征点。
s3：补充处理
补充部120对在步骤s2中获得的工件的特征点与预先保持的工件的3d模型的特征点进行比较。比较的结果，如果在步骤s2中获得的工件的特征点存在欠缺的部分，则该部分可以说是由于遮蔽物而不可视的部分。
因此，补充部120只对3d模型中的与不可视部分相当的部分进行透视。即，对包括与在图像侧欠缺的特征点对应的3d模型侧的特征点的部分的3d模型(部分3d模型)进行透视。补充部120将生成的部分3d模型显示在显示部140。在此，补充部120特定包含于在步骤s1中获得的工件的特征点、但并未包含于在步骤s2中获得的工件的特征点的特征点。这些应该是位于不可视部分的特征点。补充部120对应该位于该不可视部分的特征点与之前生成的部分3d模型的特征点进行比较，以两者的相对位置接近0的方式配置部分3d模型。由此，部分3d模型以在显示部140上补充现实的工件的不可视部分的方式进行显示(参照图5)。
图6是表示根据工件的识别性的优劣、换言之工件的不可视部分的大小，补充部120生成的3d模型的投影部分如何变化的图。如图的左侧所示，在工件的识别性好且没有不可视部分的情况下，3d模型不投影。如图的中央所示，在工件的一部分欠缺的情况下，投影与阴影部分对应的部分3d模型。如图的右侧所示，在工件的大致全部不可视的状况下，投影3d模型的整体。
另外，如图6的右侧，在工件的大致全部不可视的情况、能从工件的图像提取的特征点少并为无法特定配置部分3d模型的位置的情况下，补充部120能基于工件的周边环境的特征点决定3d模型的配置位置。即，在步骤s1中获取包括周边环境的工件的图像，能预先特定工件与周边环境的相对位置。并且，即使在步骤s2中，也获得包括周边环境的图像，获得与在步骤s1中获取的图像的特征点的差。由此，能特定工件的特征点应该存在的位置。补充部120在该位置配置3d模型。
s4：匹配移动处理
匹配移动部130通过公知的方式，根据图像中的工件的位置的变化，进行追随在步骤s3中构思了的3d模型的处理。
s5：每隔恒定时间反复
优选信息显示系统100每隔恒定时间反复步骤s2至s4的处理。由此，在时间上追随工件的识别性的变化，能重叠显示适当的3d模型。
根据本发明，信息显示系统100在由于切削油、保护门等遮蔽物等，现实的工件的一部分或全部不可视的情况下，生成与不可视部分对应的部分的3d模型，显示以与现实的工件的不可视部分重叠的形式生成的3d模型。由此，即使在目视确认难的情况下，也能通过3d模型确认工件的加工的进行状况、空切(工具的无谓的移动路径)的有无、安装量(从工件开始切削到实际与工件碰撞的区间)的大小、工件与切粉的关系、工具的前端位置等。
另外，本发明未限定于上述实施方式，能在不脱离主旨的范围适当进行变更。本发明能在该发明的范围内，进行实施方式的任意的结构要素的变形或实施方式的任意的构成要素的省略。
例如，在上述实施方式中，主要表示将工件的不可视部分置换为3d模型并显示的例子，但本发明的应用目标未限定于工件。例如，即使关于工具(尤其前端部)、机床的一部分等也能制成3d模型并重叠显示。
另外，在将部分3d重叠显示在现实的工件的情况下，从图6的中央下图可以看出，可以进行提高相当于与现实的工件的边界的部分的透过性的处理。
由此，能将现实的工件与3d模型更无缝地重叠显示。
另外，在上述实施方式中，补充部120在步骤s3中通过对在步骤s2中获取的工件的特征点与预先保持的工件的3d模型的特征点进行比较，特定工件的不可视部分，但也能通过对在步骤s2中获取的工件的特征点与在步骤s1中获取的工件的特征点进行比较，特定工件的不可视部分。即，只要对工件整体的特征点与处于一部分不可见的状态的工件的特征点进行比较即可。另外，在上述实施方式中，主要对作为显示部140采用了hmd的例子进行说明，但本发明并未限定于此，例如可以将能显示利用摄像机拍摄的动画图像的可视数据终端、能直接识别工件且能对3d模型进行投影的透过型的保护罩窗等用作显示部140。
以上，对本发明的实施方式进行了说明，但本发明并未限定于上述实施方式的例子，能通过施加适当的改变以其他方式实施。