三维环境内的图像显示的制作方法

本公开整体涉及用于利用电子设备提供内容的技术，并且具体地涉及用于在三维(3d)环境的视图中提供视觉内容的系统、方法和设备。

背景技术：

1、在摄影中，“视图角度”是指由相机成像的给定场景的角度范围。例如，具有标准80mm镜头的数码相机可提供40°视图角度，而具有广角镜头的数码相机可提供64°至84°视图角度。标准和广角镜头图像内容通常被展平到矩形图像上，然后以这种平面格式观看。相机还可用于捕获球形图像(例如，180°图像、360°图像等)，该球形图像在本文中被称为“基于球体的图像”，其表示从物理环境从相对于捕获视点的不同角度方向接收(例如，反射)的光。此类基于球体的图像的视图角度通常是180°或360°，尽管其他视图角度也是可能的。虽然这样的内容可以平面格式存储(例如，使用等矩形投影)，但是此类平面格式通常不提供期望的观看体验，因为变平引入失真的外观和/或降低真实感。相反，一些设备使得此类基于球体的图像能够在完全沉浸式体验中被观看，例如，其中设备专门地以实际尺寸显示基于球体的图像的内容，好像图像内容在观看者周围那样。然而，可能期望提供附加的和/或另选的观看体验。

技术实现思路

1、期望实现改善的用户内容体验。本文所公开的各种具体实施包括提供三维(3d)环境的视图的设备、系统和方法，该3d环境包括基于球体的图像(或视频)内容的入口(例如，“气泡视图”、“雪球视图”等)。例如，可投影180°图像/视频以形成被显示在3d空间中的形状(例如，空的半球体的内部)。3d图像/视频不是提供图像的完全沉浸式视图，而是被显示在较大的3d环境内的固定位置处的相对较小的观看入口处。在固定位置处提供较小(非沉浸式)视图使得能够进行大量体验并且可增强用户的舒适度。入口的形状可以是非平面的，例如，它可弯曲以对应于图像内容的视图角度。例如，3d图像内容可像空的半球体的内部那样弯曲以对应于图像的视图角度。3d图像可以是任何立体图像对，例如使得右眼视图与左眼视图之间的差异使得观看者能够感知在入口处描绘的图像内容内的深度。例如，3d图像可以是任何类型的立体图像对，诸如180°半球体、直线90°、等矩形投影等，使得具有已知投影的任何图像内容将起作用，只要该内容包括立体对。

2、在一些具体实施中，提供增强用户舒适度并使得能够改变图像体验的沉浸的附加特征。这些附加特征可基于控制立体投影的视差、用户或设备相对于投影的位置、用户的注视方向等。例如，设备(例如，手持式设备、膝上型电脑、台式计算机或头戴式设备(hmd))向用户提供3d环境的视图(例如，视觉体验和/或听觉体验)并利用传感器获得与用户的响应相关联的生理数据(例如，注视特性)和运动数据(例如，控制器移动化身、头部移动等)。基于所获得的生理数据，本文所述的技术可通过跟踪用户的注视特性和其他交互(例如，物理环境中的用户移动)来确定用户在观看3d环境(例如，xr环境)期间的前庭提示。基于前庭提示，这些技术可检测用户的位置和/或与3d图像的投影的交互并且提供一组不同的视图(例如，对入口的完全沉浸式体验)以在观看3d环境时改善用户体验。

3、在一些具体实施中，当用户在3d环境周围移动时，入口可改变取向以朝向该用户取向。例如，当用户在3d环境周围走动时，入口可改变外观(例如，大小、形状等)和/或随着用户在物理环境周围移动而与用户一起移动。3d环境可以是xr环境，并且因此可基于围绕用户的物理环境、虚拟环境或者真实环境和虚拟环境的组合。

4、在一些具体实施中，图像沉浸水平可例如基于用户与3d环境内的入口有多近来改变。例如，当用户更靠近入口时，入口的大小可增加。另外，如果用户走进入口的位置，则用户可完全沉浸在立体照片/视频内容内。

5、在一些具体实施中，可基于头部移动来在立体图像或视频内容内提供视觉效果以进一步减少晕动症(例如，基于对头部移动的对应性来针对3d照片创建伪视差，例如创建错觉)。例如，被投影在形状内的3d照片(“气泡视图”/“雪球视图”)可具有该形状的视场之外的附加内容。基于检测头部运动(例如，水平、垂直等)，可改变3d照片的视角和视场(例如，以观看当前不在视图中的3d照片中的附加内容)。另外，基于这些检测到的头部运动，可包括不同的视觉效果。例如，基于这些头部运动，可基于这些移动来改变3d照片的整个纹理。这些改变可被映射到纹理动画、到纹理的平移和/或旋转扭曲(例如，纹理空间中的旋转)。另外，视觉效果可基于将固定深度应用于运动(例如，平面单应性)以用于图像到图像操作。在一些具体实施中，视觉效果可基于头部移动的速度。例如，基于移动阈值，如果头部因为用户想要从3d照片的视图(例如，在雪球视图内)移开视线而移动得太快的话。在一些具体实施中，视觉效果可包括使其模糊、淡出、淡化为灰度或从立体视图变为单视场视图。

6、一般来讲，本说明书中所描述的主题的一个创新方面可体现在包括以下动作的方法中，这些动作为：获得三维(3d)图像；通过投影3d图像的部分以在3d环境内形成具有非平面(例如，弯曲、半球形等)表面的形状来生成3d图像在3d环境内的投影，其中3d环境包括与3d图像分离的附加内容；以及提供包括3d图像的投影的3d环境的视图。

7、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

8、在一些方面中，3d图像包括立体图像对，该立体图像对包括对应于左眼视点的左眼内容和对应于右眼视点的右眼内容。在一些方面中，3d图像包括被存储为等矩形投影的立体视频内容。在一些方面中，3d图像包括立体照片、立体图、3d视频、闪烁立体图像、随机点立体图、立体动画或柱状透镜图像。在一些方面中，这些动作还包括：基于3d环境的视图的视点来确定用于在3d环境内投影3d图像的位置。

9、在一些方面中，当3d环境的视图的视点改变时，3d图像在3d环境内的投影的位置是恒定的。在一些方面中，当3d环境的视图的视点改变时，3d图像的投影的取向改变以面向视点。在一些方面中，该形状基于3d图像的视图角度。

10、在一些方面中，这些动作还包括：调整投影以控制视差。在一些方面中，调整投影以控制视差基于电子设备的用户相对于3d图像在3d环境内的投影的位置的注视方向。在一些方面中，调整投影以控制视差包括：基于3d图像的内容的深度来确定度量；以及基于度量来执行3d图像的投影的像素移位、扭曲或移动。在一些方面中，这些动作还包括：进一步调整投影以减小左眼视点与右眼视点之间的像素视差。

11、在一些方面中，这些动作还包括：确定视图的视点相对于3d图像在3d环境中的投影的位置关系；以及基于该位置关系来改变沉浸水平。

12、在一些方面中，3d图像的投影在球体的形状内，基于位置关系来改变沉浸水平包括将3d图像的投影的视图从球体的外部视图的视角改变为球体的内部视图的视角。在一些方面中，基于位置关系来改变沉浸水平包括将视图从3d图像的投影的内部视图改变为3d图像的投影的外部视图。

13、在一些方面中，3d图像包括360度内容，并且基于位置关系来改变沉浸水平包括从当视点的位置关系在3d图像的投影之外时包括3d图像的投影的一部分的第一视图改变为当视点的位置关系在3d图像的投影之内时包括全部3d图像的投影的第二视图。

14、在一些方面中，3d图像的投影描绘3d图像的一部分，使得3d图像的剩余部分被裁剪出投影。

15、在一些方面中，该方法还包括：确定视图的视点相对于3d图像在3d环境中的投影的位置关系；以及基于该位置关系来改变3d图像在3d环境内的投影。

16、在一些方面中，改变3d图像的投影包括使得基于位置关系满足第一标准来描绘3d图像的剩余部分中的一些剩余部分。在一些方面中，改变3d图像的投影包括基于位置关系满足第二标准来向3d图像的投影提供视觉效果。

17、在一些方面中，视觉效果包括使3d图像的投影的至少一部分模糊、淡出3d图像的投影的内容或将3d图像的投影的颜色内容的至少一部分转换为灰度。在一些方面中，3d图像的投影包括3d图像的立体视图，并且视觉效果包括从3d图像的立体视图到单视场视图的改变。

18、在一些方面中，视觉效果基于位置关系的改变速率。在一些方面中，3d图像的投影的改变基于使用固定深度将扭曲应用于3d图像的左帧和右帧。在一些方面中，3d图像的投影描绘3d图像的一部分，使得3d图像的剩余部分被裁剪出投影。

19、在一些方面中，该方法还包括：确定视图的视点相对于3d图像在3d环境中的投影的位置关系；以及基于该位置关系来改变3d图像在3d环境内的投影。在一些方面中，改变3d图像的投影包括使得基于位置关系满足第一标准来描绘3d图像的剩余部分中的一些剩余部分。在一些方面中，3d图像的投影的改变基于使用固定深度将扭曲应用于3d图像的左帧和右帧。

20、在一些方面中，改变3d图像的投影包括基于位置关系满足第二标准来向3d图像的投影提供视觉效果。在一些方面中，视觉效果包括使3d图像的投影的至少一部分模糊、淡出3d图像的投影的内容或将3d图像的投影的颜色内容的至少一部分转换为灰度。在一些方面中，3d图像的投影包括3d图像的立体视图，并且视觉效果包括从3d图像的立体视图到单视场视图的改变。在一些方面中，视觉效果基于位置关系的改变速率。

21、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。