具有直播视频的虚拟透视仪器群集的制作方法
【技术领域】
【背景技术】
[0001] 传统上，驾驶员在交通工具前方区域的视线已被交通工具的仪器控制面板、引擎 盖以及下面的组件阻挡。由此，物体和其它物品可在交通工具前面，但交通工具的驾驶员或 其它乘客不能够看见它们。
【发明内容】
[0002] 本文所公开的至少一个实施方案包括：产生三维图形输出，其包含交通工具外部 区域的视频的三维表示；以及在安置于交通工具内的三维显示器上显示三维图形输出。
【附图说明】
[0003] 为了可详细理解实现上述方面的方式，可参考附图具有上文简要概述的本公开实 施方案的更具体描述。
[0004] 然而，将注意，附图仅说明本公开的典型实施方案，且因此不被视为限制其方面， 因为本公开可承认其它同等有效的实施方案。
[0005] 图1A到1E是根据本发明各种实施方案的从交通工具来看的不同视图的示意性说 明。
[0006] 图2A到2C是根据本发明各种实施方案的具有带直播视频的虚拟且局部透明仪器 群集的系统的示意性说明。
[0007] 图3A到3B是根据本发明各种实施方案的具有视点相关相机的交通工具的示意性 说明。
[0008] 图4说明根据本发明各种实施方案的经配置以产生具有直播视频的虚拟透视仪 器群集的系统。
[0009] 图5是根据本发明各种实施方案的用于产生具有直播视频的虚拟透视仪器群集 的方法步骤的流程图。
[0010] 图6是根据本发明各种实施方案的用于修改具有直播视频的仪器控制面板的3D 渲染的方法步骤的流程图。
[0011] 图7是根据本发明各种实施方案的用于计算交通工具的驾驶员的驾驶环境的方 法步骤的流程图。
[0012] 图8是根据本发明各种实施方案的用于调整摄像机以反映驾驶员的凝视的方法 步骤的流程图。
【具体实施方式】
[0013] 本文所公开的实施方案提供在交通工具中的立体、具视差功能的三维显示器（本 文称为"3D显示器"）上对交通工具外部区域的直播视频的三维渲染。在一个实施方案中， 在交通工具外部的区域是被交通工具的引擎盖阻挡的"盲点"，驾驶员通常是看不到的。然 而，所述视频可为交通工具外部的任何区域的视频。在3D显示器上渲染的3D视频可为视 线相关的，使得3D视频是基于驾驶员的当前凝视（或视角）。举例来说且无限制，如果驾驶 员正看向前方，那么可在3D显示器上输出3D视频的向前定向的视图。然而，如果驾驶员将 头转向左边并向内移动，那么相机可以某一方式捕获视频以反映驾驶员凝视的移位。因此， 3D输出可反映放大且从面向左的角度来看的视图。
[0014] 另外，所述系统还可输出三维仪器控制面板，使得其看起来更靠近驾驶员，同时以 更远离驾驶员的深度输出3D视频，从而在外面世界的3D视频之上提供局部透视仪器控制 面板。然而，用户可控制每一层的深度定位，使得3D视频以及仪器控制面板中的元素中的 一个或多个看起来更靠近或更远离驾驶员的面部。用户可通过任何可行方法来控制深度定 位，所述方法包含3D显示器（或中心控制台显示器）上的物理控制器、滑动条、按钮或数字 设定。另外，每一用户可界定一组偏好，其指示3D显示器上所显示的不同项目的偏好放置、 排序以及外观。另外，所述系统可在适当时间调整分层次序，以及修改不同元素。
[0015] 举例来说，且无限制，在道路中检测到的外来物体可导致视频（以及所述物体）被 带到较靠近驾驶员的面部。在此实例中，且无限制，可使3D仪器控制面板较透明，或完全消 失。作为另一实例，如果驾驶员的速度超过当前速度限制，那么系统可通过将速度计移动为 较靠近驾驶员的面部并给与速度计额外强调（例如，不同色彩或粗体阴影）来修改速度计 的3D渲染，以表明当前驾驶环境下速度计的重要性。如本文所使用，"驾驶环境"指代用于识 别3D显示器上所显示的应以任何方式移动或更改的一个或多个元素或层的环境。驾驶环 境可包含但不限于交通工具的速度、交通工具的位置、交通工具的属性或状态（例如油量、 液面或胎压）、交通工具的位置处的适用法律或法规、天气条件、触发事件等。在其它实施方 案中，所述系统可检测驾驶员的凝视，并将驾驶员正在看的仪器移到较靠近驾驶员的面部。 举例来说，且无限制，如果系统确定驾驶员正在看转速表，那么系统可将转速表移到较靠近 其面部。
[0016] 用于三维显示器上的显示的所有项目输出包含深度（或z轴）分量。作为3D显 示器所产生的三维输出的二维反应的图无法充分地捕获三维输出的深度或z轴，且不应被 视为限制本公开。
[0017] 图1A是根据本发明各种实施方案的交通工具中的驾驶员的不同视图的示意性说 明100。传统上，交通工具113的驾驶员（未图示）看到正常视图111。正常视图111描绘 驾驶员坐在交通工具111的驾驶座上时所看到的视野。然而，正常视图111通常被交通工 具的引擎盖（以及下面的引擎和其它组件）遮挡。然而，本文所公开的实施方案使用一个 或多个相机115来捕获外部世界的三维视频，其包含增加的视图112。增加的视图112可在 交通工具101中的3D显示器上显示，从而为驾驶员提供正常视图111和增加的视图112。 用于捕获视频的相机115可为二维RGB相机，其还捕获每像素的深度信息，所述深度信息由 包含3D模型的系统用来产生所捕获视频的3D渲染。在另一实施方案中，可使用3D相机来 捕获接着由系统用作3D模型的3D视频。在又一实施方案中，安装到交通工具113的保险 杠的固定相机阵列可捕获视频。通过选择相机阵列中的两个或两个以上相机（其各自具有 广角透镜），3D显示器101可通过选择来自所选透镜中的每一者的图像数据的子集来创建 复合图像。可基于驾驶员的头部位置和检视角度来选择所述相机。
[0018] 图1B是根据本发明各种实施方案的交通工具中的驾驶员的不同视图的示意性说 明110。如图所示，驾驶员继续经历正常视图111，同时相机115允许驾驶员看到扩大的视 图112。正常视图111与扩大的视图112结合起来允许驾驶员看到交通工具前方的动物116 的完整持续视图。
[0019] 图1C是根据本发明各种实施方案的交通工具中的驾驶员的不同视图的示意性说 明120。如图所示，驾驶员继续经历正常视图111，同时相机115允许驾驶员看到扩大的视 图112。因为扩大的视图112,驾驶员现在能够看到在无扩大的视图112的情况下原本被隐 藏于驾驶员的视点之外且可能已被交通工具撞上的猫117。
[0020] 图1D是根据本发明各种实施方案的交通工具中的增强型用户界面130的示意性 说明。从挡风玻璃111往外看的人接收外部世界的传统视图，其包含交通工具正在上面行 驶的道路112。如先前所论述，驾驶员的视点是受限的，因为驾驶员无法看到在交通工具前 方但被交通工具本身挡住的道路112的区域。然而，如图所示，交通工具仪表盘中的显示表 面101可显示外部世界的扩展视图。如图所示，显示表面101显示在交通工具外部捕获的 视频的三维视频105。当驾驶员移动其头部或眼睛，从而改变其凝视时，可更改所显示的视 频105,从而移动以与驾驶员的新凝视匹配。捕获视频105的一个或多个相机115可以留个 自由度机械性地移动，以便从与驾驶员的凝视匹配的角度捕获视频。因此，如图所示，驾驶 员不可见的道路112的部分现在显示于显示表面101上。因为显示表面101是与视点相关 的，所以3D显示器的输出与驾驶员的当前凝视（或与当前凝视相关联的检视角度）匹配。 因此，显示于图1D中的显示表面101上的视频105可反映驾驶员具有近似面向前的凝视时 的道路112的视图。然而，如果驾驶员将其头部显著转向右边，那么道路的黄线114无法被 相机115捕获，且随后不会输出以作为视频105的部分在显示表面101上显示。
[0021] 在一些实施方案中，显示表面101为立体、具有视差功能的视点相关三维显示器 (也称为3D显示器）。显示表面101的立体特征通过每帧递送两个不同图像（一个图像 用于右眼，且一个图像用于左眼）来允许检视者看到类似于真实物体的具有三维深度的图 像。每一眼睛的图像可稍稍不同，以便传达来自两个眼睛的感觉差异。在至少一些实施方 案中，显示表面101具有至少120Hz的刷新速率。
[0022] 显示表面101还提供视点相关渲染，其通过在产生输出时考虑驾驶员的当前视 点，来允许所显示图像的更现实的3D感觉。为了实现视点相关渲染，面向用户的传感器（未 图示）跟踪驾驶员的头部和/或眼睛，以便递送物体的与驾驶员的当前凝视匹配的三维渲 染。因此，当驾驶员移动其头部或眼睛时，基于驾驶员的当前凝视（或与驾驶员的凝视相关 联的检视角度）来更改显示表面101的输出。面向用户的传感器可连接到计算机视觉软件 (本地或远程），以用于场景分析和头部跟踪。面向用户的传感器可安装在交通工具内部或 外部，只要其面向用户即可。可使用单个传感器、多个传感器或安装在左右转动-倾斜组合 件上的传感器，所述组合件的定向由本文所描述的系统控制。三维显示器101的视差运动 效应向检视者传达真实物体深度的感觉，其中在向旁边移动时，较靠近检视者的物体看起 来比较远离的物体移动得快。
[0023] 在一个实施方案中，用户戴着3D眼镜（未图示），以便解码立体图像（一个用于左 目艮，且一个用于右眼），且检视增强型用户界面110。所述眼镜可为任何类型的3D眼镜，包 含无源或有源，基于快门的或偏光的