用于收集产生沉浸式视频的图像数据的方法和用于基于图像数据观看空间的方法与流程
本发明涉及一种用于收集旨在产生沉浸式视频的图像数据的方法，该方法包括设置至少n(n>1)个扫描器的第一扫描器组，每个扫描器被提供用于产生扫描光束，该方法还包括通过所述第一扫描器组的每个扫描器通过扫描光束来扫描预定空间以用于产生所述空间的图像数据，其中图像数据被存储在存储器中。她还涉及此图像数据的可视化方法。
这种方法从美国专利申请2013/0083173中已知。这种方法也被用于视频游戏以创建风景。为了使沉浸式视频能够产生可视化的图像，首先必须收集图像数据。这是通过扫描器组来实现的，扫描器组扫描形成发生沉浸式视频的场景的预定空间。如此收集的图像数据被存储在存储器中。
当视频游戏的用户希望在视频游戏的三维场景中移动自己时，他通常将使用执行视频游戏的键盘和计算机鼠标。然后，视频游戏将从虚拟人的新视角开始实时计算3d场景的渲染，并将此渲染显示在计算机屏幕上。这使用户能够在视频游戏的虚拟世界中移动自己，并与此世界进行交互。
这些简单的交互已经使一些用户在游戏的几分钟内感觉到自己存在于视频游戏的虚拟人物的皮肤中。虚拟沉浸感觉包括向用户提供在物理上真正处于虚拟3d场景内的印象。这种感觉在通过用户的感官所感受到的以及如果用户真处于虚拟3d场景的物理等效环境中(换言之在现实世界中)所感受到的之间的适当性方面在某种程度上是强烈的。向用户眼睛呈现与他头部的旋转移动一致的图像的系统通常被称为虚拟现实系统。
最常用于获得虚拟现实系统的技术是虚拟现实头戴式套件。用户将头戴式套件戴在他的头上，并且头戴式套件被连接到计算机。通过屏幕和被放置在用户眼睛之前的透镜组，头戴式套件向每只眼睛呈现由计算机实时计算的合成图像。头戴式套件还包括能够测量用户头部的定向的传感器。原理如下：用户转动他的头部，虚拟现实头戴式套件捕捉此头部移动，并将关于用户的新的头部定向的信息发送给计算机，计算机产生虚拟3d场景的立体渲染，其中两个虚拟相机的定向对应于用户眼睛的新定向，由计算机实时渲染的图像被显示在用户眼前。
不同的因素将在视觉水平上影响虚拟沉浸的质量。主要因素是用户的头部移动(由他的内耳测量)与他的视野之间的适当性。在现实世界中人类习惯于这两种感觉之间的完美适当性。根据眼睛所看到的图像和用户内耳所感觉到的移动之间的不一致范围，后者将会感觉到轻微不适的感觉、视觉疲劳、头痛、不适感以及甚至可导致呕吐的反胃。这些影响被称为虚拟现实不适或“网络不适”，并与晕船不适相类似。
已知的沉浸式视频是覆盖用户周围360度的视野的单视的或立体的预录或预计算的电影。这些已知的沉浸式视频可通过虚拟现实头戴式套件而被可视化。虚拟现实头戴式套件测量用户的头部定向，并使计算机能够向头戴式套件显示器传送与此定向对应的右眼图像和左眼图像。
对于已知的沉浸式视频如普通视频，图像是预录的或预计算的，因此它们不是实时计算的。因此，代替例如实时计算图像的1/60秒，这可在超过一小时内计算出来。这使得能够具有比虚拟现实的图像质量好得多的图像质量。
当用户用他的头部执行平移运动时，他的视野将被移位。在这种移位期间，靠近用户的物体的图像将比更远离用户的物体的图像移动得更快。当一个人在移动的火车内通过窗户看时，此效果被清楚地观察到：此人看到近处的栅栏移动得很快，而远处的山看起来好像保持静止。这种效果被称为视差。
已知的沉浸式视频的问题在于它们不考虑用户头部的平移移动，并因此它们不能提供交互式视差。此限制大大限制了已知沉浸式视频的沉浸式质量。事实上，用户的脑部希望在他的头部移动时看到视差，但这没有被感知到。这种缺点降低了用户的视觉舒适度和沉浸式感受，并大大增加了“网络不适”的风险。
本发明的一个目的是实现一种用于收集旨在产生沉浸式视频的图像数据的方法，其能够考虑用户头部的这些移动，特别是平移移动。
为此目的，一种用于收集旨在产生沉浸式视频的图像数据的方法的特征在于，视角区通过界定的体积被确定，通过该视角区沉浸式视频的用户将能够看到所述空间并在视角区内执行头部移动(特别是平移移动)，此后确定位于视角区末端的第二组m(m>1)个源点，其中对所述第一组至少n个扫描器的设置通过每次在所述源点中的每一个放置所述第一组的所述扫描器中的一个来实现，对所述空间的所述扫描是通过放置在所述源点处的所述扫描器来完成的，以及连续地一方面根据方位角，并在另一方面根据各位于由所述视角区预定的范围内的仰角逐步扫描所述空间，其中图像数据的生成是通过针对每个产生的扫描光束收集每次被触摸点反射的扫描光束来执行的，所述触摸点位于所述空间内并被有关的扫描光束触摸并基于所述反射的扫描光束，通过每个步骤确定在所述触摸点和已经产生该有关的扫描光束的所述扫描器之间的距离以及所述触摸点的颜色参数，以根据方位角和仰角构造的矩阵形式在存储器中存储所述数据。
通过确定界定体积的视角区(沉浸式视频的用户将能够从该视角区看到所述空间并在该视角区内用他的头部执行移动)，确定扫描器将被放置的源点并从而从这些源点扫描该空间变得可能。这将然后使得能够从该视角区收集图像数据，并从而考虑用户头部的移动(特别是平移移动)，并在头戴式套件内部提供具有交互式视差效果的视图。通过与可视为被动的视差相反的视差来说明交互式视差，这将与由沉浸式视频的导演执行的视角在沉浸式视频中的位移相关联。
虚拟现实系统能够具有这种交互式视差，但是它们因此能可实时地计算呈现给用户眼睛的图像。实时计算大大降低了图像质量。
根据本发明的一种用于创建具有交互式视差的沉浸式视频的方法使用预计算的合成图像或现实拍摄，从而提供与实时虚拟现实相比更好的图像质量。在沉浸式视频内包含交互式视差使用户能够感受到非常好的沉浸式感觉，并显著降低了网络不适的风险。
视角区能够限制为了再现被扫描的空间必须存储的信息的数量。信息的这种限制使得能够具有可被管理的一定数量的信息和数据。视角区的配置、尺寸和形状预确定了用于扫描空间的扫描器的数量和设置。
根据本发明的方法的第一优选实施例的特征在于，视角区由具有至少30cm的高度、至少30cm的深度、以及至少30厘米的宽度的基本上矩形体(特别是长方体)形成的。这使得能够覆盖在用户的头部的平移移动和/或旋转期间可到达的位置(在用户将其剩余身体保持在固定位置的情况下)。
根据本发明的方法的第二优选实施例的特征在于，通过针对扫描器所触摸的每个点确定该点是否可被所述n个扫描器中的至少另一个扫描器发射的光束达到来过滤经存储的数据，并在所述n个扫描器中的至少另一个扫描器发射的光束可到达所考虑的触摸点的情况下，基于预定的选择标准来确定是否必须从经存储的数据中消除所考虑的触摸点的经存储的数据。此过滤步骤使得能过滤和仅保存提供有用信息的点。这使得能够降低用于产生具有交互式视差的沉浸式视频的存储数据量。
根据本发明的方法的第三优选实施例的特征在于，选择标准是基于在根据方位角的两个连续扫描步骤以及根据仰角的两个连续扫描步骤之间由产生了所考虑的触摸点的扫描器和其他n个扫描器中能够达到所考虑的触摸点的单个或多个扫描器扫描的表面的面积。
优选地，根据本发明的方法的特征在于，所使用的扫描器是虚拟扫描器或物理扫描器。场景可因此通过虚拟扫描器或物理扫描器产生，物理扫描器的使用方式与导演用他的相机记录他电影的场景一样。
根据根据本发明的方法的另一个优选实施例，视角区在所述空间内从第一位置朝着位于第一位置的预定距离处的第二位置的移位，由所述第一扫描器组的每个扫描器的扫描以及所述空间的图像数据的产生和存储对于针对所述第一位置实现的那一个之后的所述视角区的每个第二位置重复。因此，将系统视为在可视化时间围绕用户创建虚拟3d场景以用于沉浸式视频的每个时间段是可能的。这些短暂的3d虚拟场景中的每一个都被限制在用户可从他的视角区所看到的内容。这些场景的方面的演变对应于视频中的物体和/或人的移动，并对应于由电影导演所控制的视角区的位置的位移。因此，与虚拟现实相反的是在实时渲染的时刻，在用户移动时相机在3d场景中移动。根据本发明，当视角区在创建具有交互式视差的沉浸式电影时被移动时，是移动的3d场景在用户周围改变。
根据本发明的具有交互式视差的沉浸式视频的可视化方法包括：
a)通过传感器并使用预测用户的头部移动的算法来确定用户的眼睛在视角区内的位置和定向，以确定用户将看到的内容；
b)基于用户的眼睛的位置和定向在经存储的图像数据中选择可视化该用户可看到的空间部分所必需的图像数据；
c)在临时存储器中加载所选择的图像数据；
d)基于存储在临时存储器中的图像数据生成两个图像；以及
e)向用户的眼睛呈现所产生的两个图像。
这使得能够向用户显示来自图像数据的所加载的点的密度，该密度与虚拟现实头戴式套件中显示的内容的定义相一致。
优选地，根据本发明的可视化方法的特征在于，通过虚拟现实头戴式套件来执行两个图像向用户的呈现。
优选地，根据本发明的可视化的特征在于，其被用于赋予用户移动的设备，所述赋予移动的坐标被发送到可视化系统，该可视化系统应用所述可视化方法以便使图像流与所述移动同步。这使得能够将赋予给用户的移动耦合到根据本发明的可视化。
因此，沉浸式视频可被应用于在景点公园中“骑行”。骑行的原理一般是骑坐在位子上穿行于不同的风景。这与过山车是可比较的，但是重点更多地放在参观风景上，而不是放在加速的感觉上。
现在将通过示出根据本发明的方法的优选实施例的附图来更详细地描述本发明。在附图中：
图1例示出了表示用户可在其中移动他的头部的视角区的体积；
图2a例示出了场景而图2b例示了相对于视角区扫描的场景的可见部分；
图3例示出了相对于视角区扫描的空间的精确概念；
图4a和4b例示出了在预定义的视角区中的第一组至少n个扫描器的位置；
图5a和5b例示出了每次被扫描器所发射的扫描光束扫描的在空间中被触摸的点；
图6例示出了可被两个不同的扫描器到达的空间中的点的概念；
图7例示出了场景的扫描和触摸点的过滤；
图8a和8b例示出了一种用于通过表观表面进行过滤的方法；
图9a至d例示出了向扫描器授予优先权的过滤方法；
图10例示出了通过空间的其他扫描光束进行采样，该空间具有位于相对于扫描器的中心点在不同距离处的物体；
图11例示出了其他触摸点与从相对于扫描器移位的视角的用户察觉的最大和最小距离之间的关系概念；
图12例示出了触摸点的密度与显示器的角清晰度相一致；
图13例示出了扫描和与其相关的存储的生态性表示；
图14例示出了视角区的变换的概念；
图15例示出了图像数据在存储器中的存储；以及
图16例示出了修改反射光束的概念。
在附图中，相同的附图标记已被分配给相同或类似的元件。
计算机程序可模拟完整的电影工作室的等同物，包括风景、照明以及相机。在此，我们谈论三维物体、虚拟照明以及相机，这些元素不存在于现实的物理世界中，它们仅存在于计算机中的模拟表示中。这种类型的计算机程序的一个例子是“autodesk”公司的“maya”软件。这些虚拟三维元素的集合(例如由物体、照明以及相机形成)被称为虚拟3d场景或更简单地被称为3d场景，或者虚拟3d空间。
一旦虚拟3d空间被放置到位，计算机可考虑到3d空间中存在的物体和照明以及虚拟相机的位置来计算与虚拟3d空间中的虚拟相机所看到的图像相对应的图像。该计算被称为3d虚拟空间渲染，并此渲染的结果图像是合成图像。
用户的两只眼睛根据两个略有不同的视角看物理现实世界，成年人类双眼的平均间隔为6.5厘米。此距离被称为眼间距离。对同一个现实场景的视角的这种小移位使得用户的脑部能够定义他周围的物体位于何距离处。立体电影包括针对用户的每只眼睛渲染相同场景的两个不同的图像，以产生深度效果。
渲染软件可考虑存在于该空间中的物体的移动及其亮度。如果然后要求软件在不同的时刻提供连续的渲染，则被渲染的图像将是不同的并将获得具有合成图像的电影。在传统电影的框架中，一秒的动作被分解成了二十四个固定图像，并从而为了合成图像的方式创建电影以用于电影院中的呈现，为电影中的一个动作每秒计算二十四张图像是必须的。
一种关于预计算的合成图像的说法是，首先渲染和存储电影的不同图像，并过后以与扩散介质相对应的速度进行播放(例如，传统电影为每秒二十四张图像)。每个合成图像的计算可能花费很多时间来获得良好的图像质量。在大多数情况下，渲染每个图像花费超过一个小时。因此，通常计算机在一整天(一小时的二十四倍)期间计算电影的一秒钟的等同图像(每秒二十四张图像)。
如果计算机能够以与被用于显示图像的速度相同的速度渲染每个图像，则可以说渲染被实时地计算。同样，在每秒二十四张图像的电影的示例中，为了实时渲染电影，这意味着每个图像最多在1/24秒内被计算。
虚拟沉浸感觉包括向用户提供真的物理地处于虚拟3d空间内的印象。这种感觉在用户的感官所感受到的和用户真正处于虚拟3d空间的物理等效中时所感受到的之间的匹配方面在某种程度上是强烈的。
向用户眼睛呈现与用户头部的旋转移动一致的图像的系统通常被称为虚拟现实系统。
最常用于获得虚拟现实系统的技术是虚拟现实头戴式套件。用户将头戴式套件戴在他的头上，并且头戴式套件被连接到计算机。通过显示器和被放置在用户眼睛之前的透镜组，头戴式套件向每只眼睛呈现由计算机实时计算的合成图像。头戴式套件还包括能够测量用户头部的定向的传感器。还使用能够预测用户头部移动的算法。
原理如下，当用户转动他的头部时，虚拟现实头戴式套件感知此头部移动，并向计算机发送有关用户头部的新定向的信息。计算机利用对应于用户头部的新定向的两个虚拟相机的定向，对虚拟3d场景进行立体渲染。计算机实时渲染的图像被显示在用户眼睛的前方。
应当注意，现代虚拟现实头戴式套件(诸如由“oculus”公司所制造的头戴式套件)，不仅能够考虑到用户头部的定向，还能够考虑到他的位置。
不同的因素将在视觉水平上影响沉浸体验的质量。主要因素是用户的头部移动(由他的内耳测量)与他的视野之间的匹配。实际上，用户习惯于这两种感觉之间的完美匹配。在眼睛所看到的图像与用户内耳所感觉到的移动之间的不一致程度方面，用户将感到轻微的不适感、视觉疲劳、头痛、生病感以及可导致呕吐的反胃。这些影响被称为“虚拟现实不适”或“网络不适”，并可与晕船不适进行比较。
在空间内发生录制场景时，经典相机记录它正前方以及在两侧视野极限间发生的动作。该视野以度数表示，并提供被相机所覆盖的总视角。
在球形视频的特定情况下，相机的视野为水平360度以及垂直180度，因为相机可看见所有方向，该视野因此为全视野。
立体球形视频耦合了球形视频和立体视频的特征。因此立体球形视频涉及视频对，一个视频被提供给右眼而另一个视频用于左眼。这两个视频中的每一个都覆盖了完整的球形视野。
通过将虚拟现实头戴式套件耦合于立体球形视频，获得已知的沉浸式视频系统。虚拟现头戴式套件测量用户头部的定向并将其传送到计算机。计算机从两个立体球形视频的每一个中提取与用户头部的新定向的视野相对应的视频部分。这两段视频被显示于用户眼前。
这些已知的沉浸式视频呈现出某种沉浸式特征，例如内耳所感觉到的头部移动与到达用户眼睛的图像之间的某种匹配，以及呈现给用户的场景深度的某种感知。但是这些已知的沉浸式视频取自独特的视角，它们不能考虑到用户头部的平移移动，这相当大地降低了沉浸式感受并且尤其显著地增加了“网络不适”的几率。
在本发明之前，能够在视频中获得沉浸式感觉的两种方法如下：在一方面是虚拟现实，其可考虑到用户头部的移动(特别是平移)，并从而创建良好的沉浸式感觉，但这意味着实时计算图像，实时计算图像相当大地降低了图像质量；而在另一方面，已知的沉浸式视频不能提供良好的沉浸式感觉并导致很高的“网络不适”的风险。
本发明能够考虑到限制体积中的用户1的头部的移位，该限制体积被称为视角区(zvp)并且如图1所例示。视角区zvp是通过界定的体积被确定的，沉浸式视频的用户1通过该体积能够看到发生场景的空间3，并且用他的头部在该视角区内执行平移和曲线移动。在实践中，视角区zvp的大小优选地与静止时自然地围绕用户1的位置的头部移动的纬度相对应，以此同时用户未移动他身体的剩余部分。在用户站直并放松而不弯着腰站立或坐下的情况下，这种静止位置优选地对应于用户1的头部的位置。移动的纬度对应于用户的头部在站姿的情况下无需迈步、或在坐姿的情况下不用站立或移动他的椅子就可通常达到的位置。视角区zvp的精确大小及其几何形状可根据用户1预见的位置而改变。他可以坐下、躺下、或站立。
视角区例如由基本上矩形体(特别是长方体)形成，其具有至少为30厘米(特别是50厘米)的高度、至少为30厘米(特别是1米)的深度、以及至少为30厘米(特别是1米)的宽度。视角区的这种尺寸对界定用户1的头部(以及从而其眼睛)的潜在位置而言是足够的。点r是视角区zvp的中心点，换言之当用户处于静止位置时位于用户1的双眼之间的点。根据另一个实施例，视角区由具有基本上八面体构造的体积形成。
通过从具有平行六面体形状的视角区zvp扫描空间，例如该平行六面体被测为深度为105cm、高度为45cm，扫描器覆盖的范围为15cm，则将总共使用8×8×4＝256个扫描器
必须注意视角区zvp呈现足够的大小，但不能太大。视角区的无限大小将对应于标准虚拟现实模式。与需要存储大量信息以获得与通过根据本发明的方法所获得的细节水平相当的细节水平的虚拟现实系统相比而言，此视角区zvp因此能够限制将被存储的图像数据的数量以便限制存储容量并使其可管理。
图2例示出了根据本发明的存在于虚拟现实的场景10中的信息与具有视差的沉浸式视频的场景10a之间的比较。用户可定位于其中的虚拟现实的场景10是完整的。也就是说，当用户在场景10内移动时，虚拟场景的物体集被加载到该场景中。然而根据本发明，在给定时刻仅加载从视角区zvp可能是可见的元件。在图2b中，场景10a的较粗线条示出了从视角区zvp可能是可见的场景元素部分。因此，只有矩形的左侧是可见的，而场景圆周10a的右侧从预定的视角区zvp是不可见的。这使得能够降低由扫描器光束所触摸的点的数量，并从而能够减少用于记录触摸点的信息的存储器容量的需求。
图3例示出了由扫描器发射的扫描器光束在空间中触摸的点的精度的概念。仍旧在场景10的示例中，在虚拟现实中，虚拟场景中的虚拟物体的建模精度是均质的。换言之，对于虚拟场景中的所有物体11和12，模型的细节精度将是相同的。在本发明的情况下，视角区zvp附近的物体11比远处的物体12呈现更高的精度。因此，被扫描器光束触摸并且靠近物体11的点p比远离物体12的触摸点p'呈现因扫描而导致的更多的触摸点。根据图3的示例，靠近物体11的触摸点p呈现9个点，而远离物体12的触摸点p'仅呈现三个点。因此，精度是根据视角区zvp的位置可变的，同一物体的精度可在沉浸式电影中的某时刻非常大，而在另一时刻非常弱。就像在自然界中一样，靠近视角区zvp的物体呈现出良好的分辨率，而远离视角区zvp的物体呈现较差的分辨率，因此一切都取决于物体与视角区zvp之间的距离。
如图4a所例示的，为了收集旨在产生沉浸式视频的图像数据，根据本发明的方法包括设置第一组至少n个扫描器s1、s2、….sn(n>1)，每个扫描器被提供用于产生扫描光束r1、….rj-1、rj(j≥j)。扫描光束的最小数量j是根据为可视化预见的显示屏分辨率来确定的。优选的扫描步骤，换言之两个后续光束(rj–rj+1)之间的角度低于或等于显示器的角分辨率。为了清楚起见，仅在图中表示一个扫描器的扫描光束。第一组扫描器的每个扫描器si(1≤i≤n)被用于通过扫描光束扫描空间3以便产生该空间的图像数据，其中图像数据然后将被存储在存储器中。
为了设置第一组至少n个扫描器中的扫描器，确定位于视角区zvp的端点的第二组m(m>1)个源点c1、c2、...、c7以及c8。图4a所示的数量为八的源点与视角区的矩形形状相链接，并且仅作为示例被给出并不以任何方式限制本发明的范围。对至少n个扫描器的设置通过每次在每个源点处放置第一组所述扫描器中的一个来实现。
为了以足够的清晰度扫描空间，该扫描器被放置在视角区的端点处。当然，确定视角区中的补充源点是可能的。图4b例示出了其中以网格方式提供视角区的配置。该网格优选地应用在每个面上。该网格的不同点可形成旨在在其上放置扫描器的源点ck。视角区内具有源点也是有可能的。在视角区的端点处使用的该数量的源点是占有优势的。在视角区的表面放置补充源点可改善观看期间的感觉的质量。相反，在视角区内增加补充源点并没有太大的收益。
术语扫描器在本发明的描述中被用于一组虚拟或物理3d扫描器，其优选地在所有方向上(360度)实现扫描。
对空间的扫描是通过放置在源点c处的扫描器si来实现的，以及连续地一方面根据方位角，并在另一方面根据仰角逐步扫描所述空间，每个均在该视角区预确定的范围内。优选的扫描步骤具有处于0.01°和1°之间，更具体地处于0.025°和0.1°之间的角度值。图像数据的生成是通过收集每个产生的扫描光束n(1≤j≤j)来实现的，扫描光束每次被触摸点p反射(见图5a和b)，触摸点p位于所述空间3内并被有关的扫描光束rl触摸。基于反射的扫描光束，在触摸点p和已经产生相应的扫描光束rl的扫描器s之间的距离(d)以及所述触摸点的颜色参数也在每个步骤中被确定。因此，针对每个触摸点p，获取在该点p与所考虑的扫描器的点(例如中心点)之间的距离d。由于每个扫描光束的方向是已知的并且计算了距点p的距离d，所以可在扫描空间中重建点p的三维位置。
触摸点p的颜色例如以合成图像的通常方式被计算，就像扫描光束是虚拟相机的视觉光束一样。计算机将因此考虑计算触摸点p的颜色、触摸物体的纹理和外观、空间3中的虚拟照明及其反射、以及球形虚拟相机的位置。
在确定点p的距离d及其颜色后，这些值将作为图像数据被存储在存储器中。存储优选地根据方位角和仰角构造的矩阵的形式来完成。每个矩阵元素对应于扫描光束的角度。这在图15中被例示出，其中矩阵的行每次根据仰角显示扫描步骤，并且矩阵的列每次根据方位角显示扫描步骤。因此，在行r和列c处的存储值vrc表示距离d和颜色，所述距离d和颜色获得自具有与根据被行的数量r的值乘的仰角的扫描步骤的值相等的仰角的扫描光束和具有与根据被行的数量c的值乘的方位角的扫描步骤的值相等的方位角的扫描光束。
视情况而定，在存储器中存储被触摸的表面的法线的向量是可能的。
该矩阵结构能够以与进行扫描的方式相同的方式存储数据，并从而使它们的寻址更容易。
使用第二组源点和至少n个扫描器的事实将具有以下结果：多于一个扫描器将到达空间中相同的点。
在根据本发明的方法中，仅有用于从视角区zvp表示场景的触摸点的信息被优选地保持在存储器中。为此，针对被扫描器触摸的每个点确定是否该点可被由所述n个扫描器中的至少另一个扫描器所发射的光束到达。该概念在图6中被例示出，其中示出了分别被放置在源点c1和c2处的两个扫描器s1和s2。扫描器s1的扫描光束r可到达点p。点p现在被认为是虚拟扫描器sf所处位置处的源点，并且验证此虚拟扫描器sf的光束rf是否可到达放置扫描器s2位置处的源点c2。如果是这种情况，可视为p点可被扫描器s2到达。在其他n个扫描器中的至少一个扫描器所发射的光束可到达所考虑的触摸点的情况下，基于预定的选择标准来确定是否所考虑的触摸点的经存储的数据必须从经存储的数据中消除。此过滤的目的是避免冗余的图像数据被存储在存储器中。
图7示出了相对于放置在各个源点c1和c2处的两个扫描器s1和s2对场景的扫描。当用扫描器s1扫描空间3时，获得触摸点的第一组4。当用扫描器s2扫描空间3时，获得触摸点的第二组5。触摸点的第一组4和第二组5是不同的。扫描器s1仅可以矩形形状到达场景的水平部分，而扫描器s2可到达与扫描器s1相同的水平区域以及图右侧场景的垂直侧。
在获得触摸点的第一组4和第二组5之后，随后必须应用对这些不同触摸点的过滤。图7中6下面所示的触摸点例示出了被扫描器s1和被扫描器s2触摸的点4和点5的混合。因此可以看出在点6内，水平部分的点被加倍并且可发生过滤。然后，该过滤将包括消除由扫描器s2获得的水平部分的触摸点。只有显示在8下面的点将被保持在内存中。
为了继续进行过滤，选择标准优选地基于以下：根据方位角在两个连续扫描步骤之间和根据产生所考虑的触摸点的扫描器以及可到达所考虑的触摸点的n个其他扫描器中的单个或多个扫描器的仰角在两个连续扫描步骤之间所扫描的表面面积。
被扫描的表面面积的概念如图8a所例示的。在该图中，光束ra1和ra2各自的re1和re2分别表示根据方位角的连续扫描光束的仰角。
表面一方面由光束ra1和ra2所触摸的点来界定，而另一方面由光束re1和re2所触摸的点来界定，并形成两个连续扫描步骤之间的经扫描的表面面积。在确定经扫描的表面面积时，验证第一组n个扫描器中的一个或多个其他的扫描器是否也可到达此经扫描的表面变得可能。当这个或这些其他扫描器被标识时，在所获得的数据中进行选择变得可能，而被这些其他扫描器所扫描的数据将被消除。
根据图8b中所例示的另一实施例，以确定经扫描的表面上的法线n与产生接触摸点p的扫描光束之间的角度(β)的方式来实现过滤。由于扫描步骤具有低值的角度，所以触摸点p相对于扫描器s的距离d在两个后续扫描光束之间不有变化太多。可因此将该距离d用作确定经扫描的表面的面积的参数。此面积将然后与距离(d)的平方除以角度β的余弦成正比，并从而获得的此面积的值可形成选择标准。基于后一选择标准，仅与被扫描的表面的最小面积的值相链接的被存储的数据将被保存在存储器中。这个想法包括保持表示大部分细节的触摸点，并从而是表示最小扫描表面面积的点。
应当注意，如果不同的扫描器具有相同的角清晰度，则后一实施例可被用于比较不同扫描器之间的相同点的表观表面。
选择标准还可基于触摸点和产生触摸点的扫描器之间的距离以及触摸点与可到达触摸点的n个其他扫描器中的单个或多个扫描器之间的距离。所保存的存储数据是与已经造成了最小的距离的扫描器相对应的存储数据。
对放置在源点上的n个扫描器中的每一个预先进行优先级排序，选择标准基于此优先级排序是有可能的。此过滤方法在图9中被例示出。对每个扫描点使用算法，以便验证扫描点p是否从具有较高优先级的扫描器可见。如果是这种情况，具有较高优先级的扫描器将记录该点。如果不是，记录该点的将是运行的扫描器。
在图9a中，三个扫描器被注释为s1、s2和s3。为了简化，在二维中示出该表示。扫描器的优先级排序等于它们的数字。从而，扫描器s1优先于扫描器s2，而扫描器s2优先于扫描器s3。图9b示出了将被保留用于扫描器s1的表面。因为扫描器s1优先于其他扫描器，所以它保留它可以看到的所有表面。图9c示出了将被保留用于扫描器s2的表面。扫描器s2看到了扫描器s1不可见的两个区域。图9d示出了将被保留用于扫描器s3的表面。那些是仅有的为扫描器s3保留的表面，实际上，扫描器s3可看到的剩余的表面已经被具有较高优先级的扫描器s1或s2看到了。
物体上的点的某些表观颜色成分将取决于相机的位置，该位置将影响扫描光束在扫描物体上的入射角。该成分在合成图像中被称为渲染的高光部分。为了以简单的方式解释这一点，该部分等同于扫描光束的反射。
由于这个反射成分，对虚拟相机的两个不同位置而言相同虚拟物体上的具有相同照明的相同点将不会具有相同的外观。
这个概念在示出了空间3的图16中被例示出，其包括例如类似于反射镜的反射壁15。将扫描器s1放置在此壁的前面，并向此壁发射扫描光束rj。当此壁反射时，扫描光束rj将以与此壁上的入射角相同的角度被此壁反射，并且此反射将产生扫描光束rj’，扫描光束rj’将触摸在其光路上的物体16。这将反过来引起由此物体对扫描光束的反射rj’。然后，该反射将到达壁15，其将从壁15被反射向扫描器s1。扫描器将因此把后一反射的光束视为来自壁15上的点p，而不视为来自物体16。因此，物体16的颜色将被扫描器s1视为点p的颜色。
在这种物体具有重要高光或简单高反射材料的情况下，因此将取自被放置于不同位置的两个不同的扫描器的两个点并排放置时存在不一致的风险。
优选地，渲染技术被用于计算在计算扫描光束的方向时存在“欺骗”的点的颜色。
所使用的方法包括在计算触摸点p的颜色的同时给出被表面15反射的光束的计算，在点p处计算的不是扫描器发射的扫描光束的真实方向，而是与从源点k发射的光束中的一个对应的光束方向，该源点k优选地被放置在视角区zvp的中心。因此，对于相同的触摸点p而言无论记录3d扫描器的位置在何处，所有的反射和高光将是一致的。
在预计算的合成图像中，像素的颜色通常不是基于单个光束发射来计算的，而是基于像素表面中的多个光束来计算的。像素的每个发射光束对应于用于确定像素的颜色的采样。因此，多个采样包括为相同像素发射的多个光束，并对为每个光束获得的颜色进行加权平均，以便确定像素的最终颜色。特别是在像素对应于物体的边界的情况下，提高像素的采样数量的事实显著地提高了渲染的质量。
以类似的方式，为了计算某方向上的触摸点p的颜色，可能通过对相同的扫描步骤中的扫描光束进行相乘来改善渲染的质量。图10例示出了如何利用源自扫描器s并位于相同扫描步骤内的四个其他扫描光束可确定空间中的其它触摸点p1、p2、p3以及p4。由四个其他扫描光束获得的四个其他触摸点的颜色和距离d可被平均。但是，在记录距离的情况下，此平均造成了问题。实际上，不同的其他扫描光束可以以不同的距离触摸物体16和17。
如果距离被平均，在这种情况下则会获得与扫描空间中的任何表面都不对应的距离。问题是，从一个在某种程度上不同的视角来看，这些平均点将造成一个问题，因为它们将看起来悬停在空中。悬停在空中的点在图10中用x来标记。根据图10所示的示例，p1和p2是成蓝色的物体16的两个扫描点。p3和p4是成红色的物体17的两个扫描点。因此，如果简单地通过取其他触摸点p1、p2、p3以及p4的平均来确定点x的颜色则其颜色将是紫色的，并且其位置是点p1、p2、p3以及p4的平均位置。当从放置在源点c处的相机观察该点x时，则不会导致问题。从另一个视角d，点x将不对应于扫描空间中现有的几何形状，并且该点将显示为悬停在空中。
当然可仅存储所有这些其他触摸点的图像数据，但最后这将对应于扫描器的分辨率的增加，并从而增加存储数据的数量。
优选地使用能够正确聚集多个其他触摸点的方法，所述多个其他触摸点一旦相对于它们的距离被平均，不会创建悬停在空中的点。这种优选的变型包括采用称为“群集”的方法，其将空间一致的不同组中的其他触摸点编组。如果然后对相同组的其他触摸点的距离取平均，则获得与扫描空间中的现有的几何形状相一致的空间位置。
几种常用于人工智能框架的“群集”方法是可能的，诸如例如被称为“k-均值”的方法。
最后，获得了一组、两组或三组其他触摸点，并该组内这些其他触摸点的颜色以及它们的深度可被平均，而不会有点悬停在空中的问题。
从其他扫描光束所获得的其他触摸点开始确定一组距离，该组距离包括针对每个其他触摸点的该其他触摸点与扫描器之间的距离。此后，在所述距离组的距离之间搜索最小距离和最大距离。
这在图11中被例示出。只要用户在可视化时刻停留在视角区zvp中，则可计算用户视角与每个扫描器中心之间可能的最大距离之间的差异，该差异被称为距离δzvp(δ视角)。在图11中，应当注意，扫描器中心是c，v是相对于扫描器中心在视野区域中可能的最远的视角的位置，δzvp是c和v之间的距离。dmax对应于另一个最远处的触摸点pmax相对于c的距离。dmin对应于另一个最近的接触摸点pmin相对于c的距离，αmin对应于在从点v到点c的直线与从点v到点pmin的直线之间形成的角度，αmax是形成于从点v到点c的直线与从v到点pmax的直线之间的角度，δα是αmax和αmin之间的角度差。然后可能计算：αmin＝arctan(dmin/δzvp)，αmax＝arctan(dmax/δzvp)，和δα＝αmax–αmin。
如果其他触摸点位于相对于导致了值δα的点c的距离范围内，其中δα小于显示器的角清晰度的一半，则对其他触摸点进行分组是不必须的。实际上，在这种情况下，不会从视角区的任何点感知距离差，并且这些其他接触摸点的计算值的加权平均将被确定，并且该加权平均值将被代入在所考虑的扫描步骤中被触摸的点的所存储的图像数据的值。
另一方面，如果此类分组是必须的，则基于所述其他触摸点的位置在不同组中进行分离，并且根据预定标准选择那些组中的某组，在所考虑的扫描步骤中被触摸的点由所选组中的那些其他触摸点的计算值的加权平均来确定。
一般的原理是距离1km处的深度为5cm的间隙将不会与视角区内的任何视角区分开，相反，距离50cm处的5cm的间隙将被高度感知。
其他触摸点的组的选择标准可以是构成该组的点的数量或其相对于扫描器的中心的平均距离。
为了在根据本发明的沉浸式视频中创建相机移动的等效物，视角区优选地在空间中移动，如从第一初始位置移向位于该第一位置的预定距离处的至少一个第二位置。由第一组扫描器的每个扫描器进行扫描，并且在为第一位置执行产生和存储该空间的图像数据之后，对视角区的每个第二位置重复执行产生和存储该空间的图像数据。
如图12所例示的，本发明的特征是触摸点的密度与显示器的角分辨率是一致的。远离视角区zvp的表面51仅呈现三个触摸点，而较靠近的表面52呈现至少五倍以上的触摸点。远程表面的触摸点的密度低，并且不同的触摸点彼此相差很大。较近表面上接触摸点的密度要高得多，并从而被更好地定义。当根据本发明来可视化具有交互式视差的沉浸式电影时，这与显示器清晰度相一致。
根据本发明的具有交互式视差的沉浸式视频的可视化，包括以下步骤：
a)通过传感器并使用针对用户的头部移动的预测算法在视角区内确定用户的眼睛的位置和定向，以确定用户将看到的内容；
b)基于用户的眼睛的位置和定向在经存储的图像数据中选择对可视化该用户可看到的空间部分所必需的图像数据；
c)在临时存储器中加载所选择的图像数据；
d)基于存储在临时存储器中的图像数据生成两个图像；以及向用户的眼睛显示所产生的两个图像。
具有受限视野的用户可在给定的时刻仅看到由图像数据编码的扫描空间的一部分。
优选地，以将触摸点按切片分开的形式存储扫描空间。每个切片对应于扫描方向上的切片。例如，切片可编码对应于0至45度的方位角和90至125度的仰角的不同的扫描器所看到的点。
许多方法已经被研究并可被用于显示触摸点。作为示例我们可提及：
优选地，触摸点的渲染不再被照明，在点中编码的颜色直接是将呈现给用户的颜色，在可视化时不存在重新照明。
优选地，对点的扫描是生态性的，换言之如图13所例示的，其根据仰角被适配。球体极点处的点不与赤道处的点以相同的方位角步长进行扫描，并且这样以用于避免冗余点并从而限制将要扫描的点的数量。具有最小方位角步长的扫描将在赤道处被实现，而其他纬度上的扫描将具有较高的方位角步长。生态性方法保持了编码的原理：纬度在存储矩阵的纵坐标中，而经度在存储矩阵的横坐标中，这与等角编码一样，但方位角和横坐标之间的比例不再是线性的。
因此，针对每个扫描行(每个仰角)，计算由该行表示的圆的等效圆周。正如存储矩阵的行表示球体的水平横截面一样，这将在水平面横截面上提供一个圆。
因此，该圆周基于具有以sin(α)×2×pi为半径1的球体。在仰角α开始于北极点的情况下(换言之北极点处α＝0度、赤道处α＝90度、以及南极点处α＝180度)，此圆周与赤道处的圆周的比例从而是简单的sin(α)。
与δβ的角增量相对应的同一行上的所有点彼此等距。但是此角增量δβ也相对于sin(α)而逐行变化。根据公式δβ＝360度/(存储矩阵的列数乘以sin(α))。应当注意，仅在赤道处使用该存储矩阵的所有列，所有其他纬度都使用较少的列。
生态性方法能够具有与空间中的每个接触摸点相对应的表面的良好的均质性，并完全覆盖所有的扫描方向。
在图13中，示出了对应于圆26的纬度α＝45°的所有经度处的对应球体的切片。圆25是对应于纬度对应于赤道(α＝90度)的所有经度的球体的切片。投影40是从上方看到的并对应于赤道纬度的圆，其半径定义为1，并且其圆周为2π，投影50是从上方看到的纬度α＝45°的圆，其半径r为sin(α)并且其圆周为2π×sin(α)。w是球体的中心，m是相对应的生态性存储矩阵。行90是对应于纬度α＝45°的触摸点的行程。将观察到不是矩阵m的所有列都被考虑，实际上仅考虑总列数m乘以sin(α)所定义列数。行100是对应于赤道纬度的触摸点的行程，它取矩阵m的所有列。
如图16所例示的，视角区zvp可随视频导演移位，就像他会以独特视角移动相机一样。因此，与虚拟现实相反的是在实时渲染的时刻，在用户移动时，相机在虚拟空间中移动。根据本发明，在创建沉浸式电影的同时视角区zvp已经移位的情况下，绕用户1移动的是空间3。
可将系统看作在可视化时刻在用户1周围重新创建沉浸式视频的每个时间段的虚拟3d场景。每个虚拟短暂场景都限于用户1可从预定视角区zvp看到的场景。这些场景的方面的演变对应于视频中的物体或人的移动，并对应于由电影导演所控制的视角区的位置的移动。
因此，在图14中，在第一时间t1从视角区zvp的第一位置扫描场景3，然后在第二时间t2从视角区的第二位置再次扫描场景3。因此，在t1时获得第一组触摸点9，并然后在t2时获得第二组触摸点9’。对用户1而言，移动的是场景。
在可视化时，能够将合成图像实时地与生成的图像相混合是根据本发明的兴趣。因此，可例如添加由用户的身体形成的化身，或者物理上存在或物理上不存在的其他用户的身体的化身。添加诸如文本或根据用户所看的方向的方案之类的信息元素，或诸如动态目标的游戏元素。还可添加静态或动态广告。
在阅读根据本发明的沉浸式视频时，用户可被放在重现加速感的系统上，从而赋予用户移动。
还可通过声音沉浸来改善可视化，使得能够使用例如诸如ambisonic、hrtf(头相关变换函数)和binaural(双耳)之类的经典技术来具有三维的声音。
- 还没有人留言评论。精彩留言会获得点赞！