三维环境共有系统及三维环境共有方法
【技术领域】
[0001]本发明涉及计算机上的三维环境实现技术。
【背景技术】
[0002]近年来，3DCG (三维计算机图形学)或扩展现实(AR)等那样的在计算机上实现三维环境的技术广泛地实用化。AR技术在经由智能手机等便携设备的相机或头戴式显示器(HMD)而得到的现实世界上的对象物上重叠显示虚拟对象、数据。通过这样的显示技术，用户能够视觉确认三维影像。
[0003]在下述专利文献I中提出了如下的方案:使用深度检测相机进行场景内的用户的识别及跟踪，根据其结果，将模拟该用户的移动的虚拟实境模拟动画(avatar animat1n)显示于该场景内。而且，在下述专利文献2中提出了如下的技术:不需要臂罩或手套等附加装备，而向用户提供自然的三维环境下的计算机交互经验。在该提案中，在与用户相对的位置设置深度相机，与利用该深度相机拍摄到的用户一起将插入有虚拟对象的图像显示于显示器，并检测该用户与虚拟对象之间的交互。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本特表2011-515736号公报
[0007]专利文献2:日本专利第4271236号公报
【发明内容】
[0008]发明要解决的课题
[0009]然而，上述各专利文献中提出的方法只不过使用由I台的摄像装置拍摄的摄像图像来实现计算机上的三维环境，完全没有想到使用由多个摄像装置拍摄的多个摄像图像的情况。
[0010]本发明鉴于上述那样的情况而完成，提供一种在对从不同的位置及不同的方向拍摄到的各摄像图像进行处理的多个图像处理装置之间共有I个三维环境的技术。
[0011]用于解决课题的方案
[0012]在本发明的各方案中，为了解决上述课题而分别采用以下的结构。
[0013]第一方案关于包括第一图像处理装置及第二图像处理装置的三维环境共有系统。第一图像处理装置具备:第一图像取得部，从第一摄像部取得第一摄像图像；第一对象检测部，从由该第一图像取得部取得的第一摄像图像中检测已知的通用实际对象；第一坐标设定部，基于由该第一对象检测部检测的通用实际对象，设定三维坐标空间；以及发送部，将该三维坐标空间的三维位置信息向第二图像处理装置发送。第二图像处理装置具备:第二图像取得部，从第二摄像部取得第二摄像图像，所述第二摄像部配置在与第一摄像部不同的位置及不同的朝向，且摄像区域与第一摄像部至少局部重复；第二对象检测部，从由该第二图像取得部取得的第二摄像图像中检测已知的上述通用实际对象；第二坐标设定部，基于由该第二对象检测部检测的上述通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间；接收部，从第一图像处理装置接收所述三维位置信息；以及对象处理部，使用由该接收部接收的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
[0014]本发明的第二方案关于通过第一图像处理装置及第二图像处理装置执行的三维环境共有方法。三维环境共有方法包括:第一图像处理装置从第一摄像部取得第一摄像图像，从取得的第一摄像图像中检测已知的通用实际对象，基于检测的通用实际对象，设定三维坐标空间，将该三维坐标空间的三维位置信息向第二图像处理装置发送，第二图像处理装置从配置成与第一摄像部不同的位置及不同的朝向且摄像区域与第一摄像部至少局部重复的第二摄像部取得第二摄像图像，从取得的第二摄像图像中检测已知的上述通用实际对象，基于检测的通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间，从第一图像处理装置接收三维位置信息，使用接收的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
[0015]此外，作为本发明的其他方案，优选使各计算机分别实现上述第一方案包含的各结构的程序，或者优选记录有这样的程序的计算机可读取的记录介质。该记录介质包括非暂时性的有形的介质。
[0016]发明效果
[0017]根据上述各方案，能够提供一种在对从不同的位置及不同的方向拍摄到的各摄像图像进行处理的多个图像处理装置之间共有I个三维环境的技术。
【附图说明】
[0018]上述目的及其他目的、特征及优点通过以下叙述的优选实施方式及附随于其的以下的附图而更为明确。
[0019]图1是概念性地表示第一实施方式的三维环境共有系统的硬件结构例的图。
[0020]图2是表示第一实施方式的三维环境共有系统的利用方式的例子的图。
[0021]图3是表示HMD的外观结构的例子的图。
[0022]图4是概念性地表示第一实施方式的传感器侧装置的处理结构例的图。
[0023]图5是概念性地表示第一实施方式的显示侧装置的处理结构例的图。
[0024]图6是表示显示于HMD的合成图像的例子的图。
[0025]图7是表示第一实施方式的三维环境共有系统的动作例的序列图。
[0026]图8是概念性地表示第二实施方式的三维环境共有系统的硬件结构例的图。
[0027]图9是概念性地表示第二实施方式的第一图像处理装置的处理结构例的图。
[0028]图10是概念性地表示第二实施方式的第二图像处理装置的处理结构例的图。
[0029]图11是表示第二实施方式的三维环境共有系统的动作例的序列图。
【具体实施方式】
[0030]以下，说明本发明的实施方式。此外，以下列举的各实施方式分别是例示，本发明没有限定为以下的各实施方式的结构。
[0031]本实施方式的三维环境共有系统包括第一图像处理装置及第二图像处理装置。第一图像处理装置具有:第一图像取得部，从第一摄像部取得第一摄像图像；第一对象检测部，从由该第一图像取得部取得的第一摄像图像中检测已知的通用实际对象；第一坐标设定部，基于由该第一对象检测部检测的通用实际对象，设定三维坐标空间；以及发送部，将该三维坐标空间的三维位置信息向第二图像处理装置发送。第二图像处理装置具备:第二图像取得部，从第二摄像部取得第二摄像图像，所述第二摄像部配置成与第一摄像部不同的位置及不同的朝向，且从摄像区域与第一摄像部至少局部重复；第二对象检测部，从由该第二图像取得部取得的第二摄像图像中检测已知的上述通用实际对象；第二坐标设定部，基于由该第二对象检测部检测的上述通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间；接收部，从第一图像处理装置接收上述三维位置信息；以及对象处理部，使用由该接收部接收的所述三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
[0032]本实施方式的三维环境共有方法通过第一图像处理装置及第二图像处理装置来执行。本三维环境共有方法包括:第一图像处理装置从第一摄像部取得第一摄像图像，从取得的第一摄像图像中检测已知的通用实际对象，基于检测的通用实际对象，设定三维坐标空间，将该三维坐标空间的三维位置信息向第二图像处理装置发送，第二图像处理装置从配置成与第一摄像部不同的位置及不同的朝向且摄像区域与第一摄像部至少局部重复的第二摄像部取得第二摄像图像，从取得的第二摄像图像中检测已知的所述通用实际对象，基于检测的通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间，从第一图像处理装置接收三维位置信息，使用接收的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
[0033]在本实施方式中，在第一图像处理装置中从第一摄像部取得第一摄像图像，在第二图像处理装置中从第二摄像部取得第二摄像图像。在此，第二摄像部配置成与第一摄像部不同的位置及不同的朝向，且摄像区域与第一摄像部至少局部重复。由此，第一摄像图像及第二摄像图像是通过从不同的位置及不同的方向分别拍摄现实世界的某空间或某被摄体而得到的图像。
[0034]在本实施方式中，在第一图像处理装置及第二图像处理装置中，从第一摄像图像及第二摄像图像，分别检测已知的通用实际对象，基于分别检测到的通用实际对象，分别设定通用的三维坐标空间。通用实际对象是指配置于现实世界的图像或物体，称为AR (Augmented Reality)标记等。本实施方式只要是从该通用实际对象无论参照方向如何都能够恒定地得到某基准点及来自该基准点的相互正交的3个方向即可，没有限制该通用实际对象的具体的形态。第一图像处理装置及第二图像处理装置预先保持关于该通用实际对象表示的形状、尺寸、颜色等的信息，使用这样的已知的信息，从各图像中检测通用实际对象。而且，三维坐标空间表示由三维坐标表示的三维空间。
[0035]这样，根据本实施方式，通过使用通用实际对象，在第一图像处理装置及第二图像处理装置间能够共有I个三维坐标空间。在本实施方式中，这样共有的三维坐标空间的三维位置信息从第一图像处理装置向第二图像处理装置传送，在第二图像处理装置中，使用该接收到的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
[0036]从第一图像处理装置向第二图像处理装置发送的三维位置信息是例如第一摄像图像及第二摄像图像这双方包含的现实世界的被摄体相关的位置信息。该三维位置信息使用第一图像处理装置及第二图像处理装置中共有的三维坐标空间来表示，因此根据本实施方式，能够生成与第二摄像图像包含的该被摄体配置成任意的位置关系的虚拟三维对象。
[0037]另外，该三维位置信息也可以是关于与第一摄像图像合成的虚拟三维对象的位置信息。这种情况下，由第二图像处理装置生成的数据所对应的虚拟三维对象配置在第一图像处理装置及第二图像处理装置所共有的该三维坐标空间的在第一图像处理装置中与第一摄像图像合成的虚拟三维对象相同的位置。因此，若将各虚拟三维对象与