图像处理装置的制作方法

本发明涉及形成三维虚拟空间的背景图像的图像处理装置。

背景技术：

1、作为简单地创建虚拟现实(vr：virtual reality)空间的背景的技术，已知将通过全向(全天球)照相机等拍摄的全向图像粘贴到球体型三维模型的方法。在将用该方法创建的背景图像显示于头戴式显示器(hmd：head mounted display)的情况下，从佩戴该hmd的用户观测到周围投影有全向图像这样的三维虚拟空间。

2、例如，在专利文献1中公开了一种图像处理装置，具备：模型形成单元，其将与全向图像的特征对应的多个网格(mesh)形状组合来形成三维网格形状模型；以及描绘单元，其基于在三维空间中设定的虚拟基准点的坐标值和三维网格形状模型的各像素的坐标值，将各像素的坐标值转换为全向图像的坐标系，将全向图像映射到三维网格形状模型来形成全向立体图像。根据该图像处理装置，能够在虚拟环境下提供具有立体感的全向图像。

3、现有技术文献

4、专利文献

5、专利文献1：jp2019-133310a

技术实现思路

1、发明要解决的问题

2、然而，在将使全向图像仅粘贴到球体型三维模型而成的背景图像投影到hmd的情况下，在佩戴hmd的用户所观测的三维虚拟空间内，在相当于地面的位置不存在图像的信息，因此，该用户会产生漂浮感。在上述的专利文献1中，由于是与全向图像中的水平面(地面)对应地形成平面网格形状模型，将全向图像映射到使该平面网格形状模型与球体网格形状模型组合而成的三维网格形状模型，因此，得以减轻用户的漂浮感。

3、但是，专利文献1的平面网格形状模型与全向图像实际拍摄时的拍摄位置与地面之间的距离无关，其是与全向图像中的水平面的位置对应地形成的。因此，观看映射到该平面网格形状模型的地面的图像的用户有可能对三维虚拟空间内的到地面的距离感觉到不协调感，有可能三维虚拟空间的临场感下降，沉浸感被削减。

4、本发明是着眼于上述情况而完成的，其目的在于提供能够使用全向图像生成三维虚拟空间中的沉浸感高的背景图像的图像处理装置。

5、用于解决问题的方案

6、为了实现上述的目的，本发明的一方案提供一种图像处理装置，具备：存储部，其存储由全向照相机对包含地面和立体物的现实空间进行拍摄而得到的全向图像；模型形成部，其以所述存储部中存储的所述全向图像的特征为基础，形成将多个网格组合而构成的三维模型；以及描绘部，其以在三维虚拟空间中设定的基准点的坐标值为基础，将由所述模型形成部形成的所述三维模型上的各顶点的坐标值转换为所述存储部中存储的所述全向图像的坐标系，将所述全向图像映射到所述三维模型来形成全向立体图像。在该图像处理装置中，所述存储部构成为存储表示从所述全向照相机的拍摄位置到所述地面的距离的地面距离信息。所述模型形成部构成为形成以所述三维虚拟空间中的所述基准点为中心的球体型模型，并且形成与所述地面对应的横向平面型模型，所述横向平面型模型在从该球体型模型的中心观看时配置在下方，且到该中心的距离基于所述存储部中存储的所述地面距离信息来设定。所述描绘部构成为通过以所述三维虚拟空间中的所述基准点的坐标值为基础，将由所述模型形成部形成的所述球体型模型上的各顶点的坐标值转换为所述存储部中存储的所述全向图像的坐标系，并且将由所述模型形成部形成的所述横向平面型模型上的各顶点的坐标值置换为对从所述球体型模型的中心去往所述横向平面型模型上的各顶点的各个方向向量与所述球体型模型的各交点所设定的坐标系转换后的坐标值，将所述全向图像映射到所述球体型模型和所述横向平面型模型来形成所述全向立体图像。

7、发明效果

8、根据本发明所涉及的图像处理装置，得以抑制与三维虚拟空间内的到地面的距离相关的用户的不协调感，因此能够使用全向图像生成三维虚拟空间中的沉浸感高的背景图像。

技术特征：

1.一种图像处理装置，具备：

2.根据权利要求1所述的图像处理装置，其特征在于，

3.根据权利要求1所述的图像处理装置，其特征在于，

4.根据权利要求3所述的图像处理装置，其特征在于，

5.根据权利要求3所述的图像处理装置，其特征在于，

6.根据权利要求5所述的图像处理装置，其特征在于，

7.根据权利要求5所述的图像处理装置，其特征在于，

技术总结
提供能够使用全向图像生成三维虚拟空间中的沉浸感高的背景图像的图像处理装置。图像处理装置具备：模型形成部，其生成以三维虚拟空间的基准点为中心的球体型模型，并且形成到该球体型模型的中心的距离基于地面距离信息来设定的横向平面型模型；以及描绘部，其将球体型模型上的各顶点的坐标值及横向平面型模型上的各顶点的坐标值与全向图像的坐标值对应起来，将与横向平面型模型上的各顶点的坐标值对应的全向图像的坐标值置换为对从球体型模型的中心去往各顶点的方向向量与球体型模型的各交点所设定的全向图像的坐标值，将全向图像映射到球体型模型和横向平面型模型来形成三维虚拟空间的背景图像。

技术研发人员：真野勇人,山崎拓真
受保护的技术使用者：铃木株式会社
技术研发日：
技术公布日：2024/1/15