具有直播视频的虚拟透视仪器群集的制作方法_3

文档序号:8907862阅读:来源:国知局
装卸存储卡或光学存储装置。存储器406和存储装置408可为横 跨多个主要和次要存储装置的一个虚拟地址空间的一部分。
[0035] 输入装置422可为用于将输入提供给计算机402的任何装置。举例来说,且无限 制,可使用键盘和/或鼠标、触摸屏接口,或控制器,例如操纵杆。输出装置424可为用于将 输出提供给计算机402的用户的任何装置。举例来说,且无限制,输出装置424可为任何常 规显示屏或扬声器集合。尽管与输入装置422分开展示,但输出装置424与输入装置422可 组合。举例来说,且无限制,可使用具有集成触摸屏的显示屏。全球定位系统(GPS)411是 经配置以使用GPS技术来跟踪交通工具的位置的模块。
[0036] 使用相机427来获得外部世界的实时3D视频流。通常,3D视频提供交通工具外部 区域(例如驾驶员在交通工具前面的盲点)的现实增强真实效果。相机427可为实现任何 可行视频捕获方法的一个或多个相机。举例来说,且无限制,两个相机427可安装在交通工 具的前面,以平均人类眼内距离并排布置,从而产生立体相机。立体相机可从稍稍不同的角 度递送两个视频流,其在与显示切换硬件同步时,左相机帧仅递送到驾驶员的左眼,而右相 机帧仅递送到驾驶员的右眼。此配置向驾驶员提供具有现实深度效应的3D立体视图。
[0037] 在另一实施方案中,相机427可为安装在交通工具前面的具有深度能力的RGB相 机(实现飞行时间、结构化灯或其它可行方法),所述相机提供每一所捕获像素的深度信 息。在又一实施方案中,相机427可包含固定相机阵列,其图像数据用于创建来自固定相机 中的两个或两个以上的视野的复合图像。所述系统可接着使用深度信息来使计算机产生的 3D物体变形(例如,大致垂直于驾驶员的薄或平虚拟投射表面),其中变形表示交通工具前 方的物体。在创建此投射表面之后,可将来自RGB相机的图像作为纹理投射到投射表面上, 以传达交通工具前方的物体的实际视觉表示。深度信息可由作为相机427的一部分的传感 器或在相机外部的传感器捕获。
[0038] 取决于驾驶员头部(或眼睛)移动的幅度以及交通工具具有的相机,系统可以若 干方式改变显示器。举例来说,且无限制,可使用固定相机来允许基于驾驶员头部移动(循 环或左右移位)的最小到无改变。通常,如果头部或眼睛移动的幅度不超过阈值,那么所述 系统可不改变显示器以反映此些最小驾驶员移动。如果准许某些角度的头部旋转,可将相 机427放置在左右转动组合件上,其允许相机427的水平旋转。如果允许某些程度的头部 移位(左和右),那么可将相机427放置在由系统控制的机械线内滑动机构上,以允许反映 驾驶员的头部移动的相机的水平移动。如果需要某些自由度的头部旋转(例如向左和向右 旋转,以及向上和向下旋转)和头部移位,那么可使用滑动和左右转动-倾斜组合件的组合 解决方案来移动相机427。举例来说,且无限制,可将相机427的左右转动移动连系到驾驶 员头部的"摇头"或左/右移动,同时相机的倾斜可对应于驾驶员头部的"点头"或上/下 移动。
[0039] 另外,可实现计算机视觉处理以提供视图相关渲染。举例来说,且无限制,可使用 具有广角透镜和计算机视觉处理的相机来修改失真且考虑驾驶员的头部位置和定向。作为 另一实例,多相机阵列和计算机视觉处理可捕获一个或多个相机的帧,其基于驾驶员的当 前头部位置和定向最佳表示驾驶员的视点。
[0040] 如图所示,存储器406含有3D应用程序412,其为通常经配置以基于3D模型产生 并在交通工具的3D显示器425上输出仪器控制面板的立体三维渲染以及交通工具外部的 直播视频的应用程序。3D应用程序412进一步经配置以在必要时连续地修改3D显示器425 上所显示的3D输出。举例来说且无限制,如果驾驶员通过一个或多个输入源422指定应使 视频较靠近驾驶员的面部,那么3D应用程序412可更新3D显示器425的输出,使得3D视 频较靠近驾驶员的面部。3D应用程序412也可基于任何数目的其它因素修改3D显示器的 输出,所述因素包含计算出的驾驶环境、事件、用户偏好,或检测驾驶员的凝视或检视角度。 3D应用程序412可使用一个或多个传感器426来检测驾驶员的凝视或检视角度。传感器 426可为任何类型的传感器,包含视觉或热图像、飞行时间传感器、红外线和超声传感器、基 于激光的传感器等。3D应用程序412还可包含计算机视觉软件,其连接到驾驶员所拥有的 3D眼镜,以便提供场景分析和头部跟踪。在一些实施方案中,3D应用程序412可经由无线 网络利用不是系统400的部分的装置的处理能力,所述装置例如为智能电话、智能手表或 远程服务器(例如云460中)。3D应用程序412还可与未画出的图形处理单元(GPU)介接, 以便产生本文所描述的3D渲染。
[0041] 如图所示,存储装置408用户数据414,其可包含用户偏好等。举例来说,且无限 制,用户数据414可包含用于不同驾驶员的条目,其指定3D显示器425上所显示的每一项 目的优选色彩方案、排序、层位置等。3D应用程序412可使用用户数据414中的偏好来影响 其在3D显示器425上显示的输出。存储装置408还包含仪器群集(1C)数据417,其可为用 于仪器控制面板的预定义模板库。1C数据417可包含个别仪器控件、控件的完整层以及控 件的多个层。1C数据417可包含不同形状、大小和色彩的仪器控件。并且,1C数据417可 包含每一显示元素、3D视频以及其它仪器控件的预定坐标。
[0042] 云计算环境460包含用户数据414和其它数据415,以及其它资源。其它数据415 可包含位置特定数据,例如速度限制、法律以及其它驾驶法规。在一个实施方案中,其它数 据415也包含在存储装置408中。云计算环境460还包含3D应用程序412的实例,其可用 于在必要时存取因特网上的其它信息,以辅助计算机102中的3D应用程序412的实例。举 例来说,且无限制,如果计算机102中的实例3D应用程序412无法在本地完整地计算驾驶 环境,那么云460中的3D应用程序412可存取额外数据,以便通知计算机102中的3D应用 程序412如何进行。
[0043] 图5是根据本发明各种实施方案的用于产生虚拟透视仪器群集的方法步骤的流 程图。尽管相对于图1到4的系统来描述所述方法步骤,但本领域的技术人员将理解,经配 置以便以任何次序执行所述方法步骤的任何系统均属于本发明的范围内。
[0044] 如图所示,方法500在步骤510处开始,其中在处理器404上执行的3D应用程序 412接收用户偏好数据。用户偏好数据可包含指示驾驶员的偏好色彩、不同显示元素的位置 以及其它属性的定制设定,其输出以供在3D显示器425上显示。举例来说,且无限制,用户 可偏好以大致相等的深度并排显示速度计和转速表。
[0045] 在步骤520处,3D应用程序412产生并输出仪器控制面板的3D渲染。通常,仪器 控制面板的3D渲染可包含可在仪器控制面板上显示的速度计、转速表、里程表、燃油表以 及任何其它仪器。在参考图8更详细地描述的步骤530处,3D应用程序412捕获并输出交 通工具外部的3D视频。3D视频可反映安装于交通工具上或交通工具中的一个或多个相机 所捕获的任何区域。在一个实施方案中,3D视频显示传统上隐藏于驾驶员的视点之外的区 域,即道路的被交通工具的引擎盖/引擎室遮挡的部分。3D视频是视点相关的,因为相机可 移动以便从驾驶员的角度捕获3D视频。在一个实施方案中,仪器控制面板的3D渲染显示 为较靠近驾驶员,其中3D视频表现为较远离驾驶员。在此实施方案中,仪器控制面板较透 明,以便允许驾驶员看穿到所述视频。然而,用户偏好可指定将视频放置成比仪器控制面板 的兀件中的一些(或所有)靠近驾驶员。在一些实施方案中,仅3D显不在3D显不器425 上显示。
[0046] 在参考图6更详细地描述的步骤540中,3D应用程序412修改仪器控制面板和视 频的3D渲染。3D应用程序412可响应于事件、用户输入、驾驶环境或驾驶员的凝视(或检 视角度)而修改仪器控制面板和视频的3D渲染。举例来说,且无限制,如果交通工具具有 不再工作的灯,那么可将用于所述灯的新通知添加到仪器控制面板,在靠近驾驶员的位置 处。作为另一实例,随着交通工具的燃油水平在操作过程期间减小,那么燃油表可从背景移 到前景,同时变得较量或粗体,以便捕获驾驶员的关注。通常,3D应用程序412可在交通工 具正被驾驶时修改3D渲染任何次数。
[0047] 图6是用于修改虚拟透视仪器群集的方法步骤的流程图。尽管相对于图1到4的 系统描述所述方法步骤,但本领域的技术人员将理解,经配置以便以任何次序执行所述方 法步骤的任何系统均属于本发明的范围内。
[0048] 如图所示,方法600在步骤610处开始,其中在处理器404上执行的3D应用程序 412通过交通工具中的3D显示器425向驾驶员输出相关通知。举例来说,且无限制,所述通 知可包含导航指令或其它导航信息,关于交通工具的通知(例如,低胎压),或任何其它类 型的通知,例如SMS警告、电子邮件等。
[0049] 在参考图7更详细描述的步骤620处,3D应用程序412计算当前驾驶环境。驾驶 环境可包含但不限于交通工具的速度、交通工具的位置、交通的属性或状态(例如燃油水 平、液面或胎压),交通工具位置处的适用法律或法规,天气条件、触发事件等。举例来说,且 无限制,3D应用程序412可使用无线数据连接来基于交通工具的GPS坐标来确定当前速度 限制为每小时65英里
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1