用于车载娱乐的全景虚拟环境的制作方法

1.本节提供的信息是为了总体上介绍本发明的内容。在本节中描述的程度上，当前署名的发明人的工作以及在申请时可能不以其他方式作为现有技术的描述的方面既不明确地也不隐含地被承认为针对本发明的现有技术。
2.本公开涉及车载娱乐，并且更具体地涉及全景车载娱乐。


背景技术：

3.车辆包括一个或多个转矩产生设备，例如内燃发动机和/或电动机。车辆的乘客乘坐在车辆的客舱（或乘客舱）内。
4.车辆可以包括感测车辆周围环境的一个或多个不同类型的传感器。感测车辆周围环境的传感器的一个示例是被配置为捕获车辆周围环境的图像的相机。此类相机的实例包含前向相机、后向相机及侧向相机。感测车辆周围环境的传感器的另一示例包括被配置为捕获关于车辆周围环境的信息的雷达传感器。感测车辆周围环境的传感器的其他示例包括被配置为捕获关于车辆周围环境的信息的声纳传感器以及光检测和测距(lidar)传感器。


技术实现要素：

5.在一个特征中，车辆的娱乐系统包括：多个相机，其被配置为捕获车辆外部周围的图像；一个或多个显示器；以及娱乐模块，其被配置为基于图像生成全景视频以及经由一个或多个显示器在车辆内显示全景视频。
6.在其他特征中，所述多个相机包括：被配置为捕获所述车辆前方的图像的至少一个相机；被配置为捕获所述车辆右侧的图像的至少一个相机；被配置为捕获所述车辆左侧的图像的至少一个相机；以及被配置为捕获所述车辆后方的图像的至少一个相机。
7.在其他特征中，娱乐模块被配置为对图像执行图像稳定。
8.在其他特征中，娱乐模块被配置为选择性地校正图像中的一些抖动图像。
9.在其他特征中，娱乐模块被配置为将这些图像中的一些图像拼接在一起以创建全景视频。
10.在其他特征中，一个或多个显示器包括被配置为将光投射到车辆的挡风玻璃上的一个或多个平视显示器（hud）和被配置为显示图像的一个或多个显示器。
11.在其他特征中，一或多个显示器包括车辆内的增强现实(ar)头戴式耳机及虚拟现实(vr)头戴式耳机中的至少一者。
12.在其他特征中，娱乐模块被配置为感知位于车辆外部的对象，并且基于这个位置使全景视频内的物体动画化。
13.在其他特征中，娱乐模块被配置为基于对象相对于车辆的位置来定位全景视频内的物体。
14.在其他特征中，娱乐模块被配置为基于位于车辆外部的对象的类型来使全景视频内的物体动画化。
15.在其他特征中，全球定位系统(gps)模块被配置为确定车辆的当前位置，其中娱乐模块被配置为进一步基于车辆的当前位置生成全景视频。
16.在其他特征中，娱乐模块被配置为经由一个或多个显示器中的至少一个显示位于车辆前方的对象的视觉标识符。
17.在其他特征中，娱乐模块被配置为经由车辆的一个或多个扬声器选择性地输出关于对象的音频信息。
18.在其他特征中，娱乐模块还被配置为经由一个或多个显示器中的至少一个显示视觉广告。
19.在其他特征中，娱乐模块进一步被配置为经由一个或多个显示器中的至少一个显示优惠券。
20.在其他特征中，娱乐模块被配置为选择性地将优惠券无线传输到车辆乘客的计算设备。
21.在其他特征中，娱乐模块被配置为选择性地执行存储在车辆存储器中的游戏应用。
22.在其他特征中，娱乐模块被配置为响应于确定车辆停在实体处，生成指示实体的评级的用户输入的视觉和听觉提示中的至少一个。
23.在一个特征中，一种用于车辆的娱乐方法包括：通过多个相机捕获车辆外部周围的图像；基于这些图像，生成全景视频；以及经由一个或多个显示器在车辆内显示全景视频。
24.本发明提供下列技术方案。
25.技术方案1. 一种车辆的娱乐系统，包括：多个相机，所述多个相机被配置为捕获所述车辆的外部周围的图像；一个或多个显示器；以及娱乐模块，所述娱乐模块被配置为：基于所述图像，生成全景视频；以及经由所述一个或多个显示器在所述车辆内显示所述全景视频。
26.技术方案2. 如技术方案1所述的娱乐系统，其中所述多个相机包括：被配置为捕获所述车辆前方的图像的至少一个相机；被配置为捕获所述车辆右侧的图像的至少一个相机；被配置为捕获所述车辆左侧的图像的至少一个相机；以及被配置为捕获所述车辆后方的图像的至少一个相机。
27.技术方案3. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为对所述图像执行图像稳定。
28.技术方案4. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为选择性地校正所述图像中的一些抖动图像。
29.技术方案5. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为将所述图像中的图像拼接在一起以创建所述全景视频。
30.技术方案6. 如技术方案1所述的娱乐系统，其中所述一个或多个显示器包括被配置为将光投射到所述车辆的挡风玻璃上的一个或多个平视显示器（hud）和被配置为显示图
像的一个或多个显示器。
31.技术方案7. 如技术方案1所述的娱乐系统，其中所述一个或多个显示器包括所述车辆内的增强现实(ar)头戴式耳机和虚拟现实(vr)头戴式耳机中的至少一者。
32.技术方案8. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为感知位于所述车辆外部的对象，并且基于所述位置使所述全景视频内的物体动画化。
33.技术方案9. 如技术方案8所述的娱乐系统，其中所述娱乐模块被配置为基于所述对象相对于所述车辆的位置来定位所述全景视频内的所述物体。
34.技术方案10. 如技术方案8所述的娱乐系统，其中所述娱乐模块被配置为基于位于所述车辆外部的所述对象的类型来使所述全景视频内的所述物体动画化。
35.技术方案11. 根据技术方案1所述的娱乐系统，还包括全球定位系统(gps)模块，所述全球定位系统(gps)模块被配置为确定所述车辆的当前位置，其中，所述娱乐模块被配置为进一步基于所述车辆的所述当前位置来生成所述全景视频。
36.技术方案12. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为经由所述一个或多个显示器中的至少一个显示位于所述车辆前方的对象的视觉标识符。
37.技术方案13. 如技术方案12所述的娱乐系统，其中所述娱乐模块被配置为经由所述车辆的一个或多个扬声器选择性地输出关于所述对象的音频信息。
38.技术方案14. 如技术方案1所述的娱乐系统，其中所述娱乐模块还被配置为经由所述一个或多个显示器中的至少一个显示视觉广告。
39.技术方案15. 如技术方案14所述的娱乐系统，其中所述娱乐模块还被配置为经由所述一个或多个显示器中的至少一个显示优惠券。
40.技术方案16. 如技术方案1所述的娱乐系统，其中所述娱乐模块还被配置为经由所述一个或多个显示器中的至少一个显示优惠券。
41.技术方案17. 如技术方案16所述的娱乐系统，其中所述娱乐模块被配置为选择性地将所述优惠券无线传输到所述车辆的乘客的计算设备。
42.技术方案18. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为选择性地执行存储在所述车辆的存储器中的游戏应用。
43.技术方案19. 如技术方案1所述的娱乐系统，其中所述娱乐模块被配置为响应于确定所述车辆停在实体处而生成指示实体的评级的用户输入的视觉提示和听觉提示中的至少一个。
44.技术方案20. 一种用于车辆的娱乐方法，包括：通过多个相机捕获所述车辆的外部周围的图像；基于所述图像，生成全景视频；以及经由一个或多个显示器在所述车辆内显示所述全景视频。
45.根据详细描述、权利要求书和附图，本公开的其它应用领域将变得显而易见。详细描述和具体示例仅旨在用于说明的目的，而不旨在限制本公开的范围。
附图说明
46.从详细描述和附图中将更全面地理解本公开，其中：
134的信号将来自电池126的功率施加到电动机118，并且pcd 130将由电动机118输出的功率提供给例如电池126。pim 134可以包括例如逆变器。
56.转向控制模块140例如基于驾驶员转动车辆内的方向盘和/或来自一个或多个车辆控制模块的转向命令来控制车辆车轮的转向/转动。方向盘角度传感器(swa)监测方向盘的旋转位置，并基于方向盘的位置生成swa 142。作为示例，转向控制模块140可以基于swa 142经由eps马达144来控制车辆转向。然而，车辆可以包括另一种类型的转向系统。
57.电子制动控制模块（ebcm）150可以选择性地控制车辆的制动器154。当喇叭输入160处于第一状态时，喇叭模块156可以向喇叭158施加功率。当向喇叭158施加功率时，喇叭158输出声音。当喇叭输入160处于第二状态时，喇叭模块156可以不向喇叭158施加功率。喇叭输入160可以例如响应于至少预定力的用户施加被施加到喇叭输入设备（例如，位于方向盘上）而从第二状态转换到第一状态。喇叭输入设备可以施加偏置力，使得当小于预定的力被施加到喇叭输入设备时喇叭输入160处于第二状态。
58.车辆的模块可以经由控制器局域网（can）162共享参数。can 162也可以被称为汽车局域网。例如，can 162可以包括一个或多个数据总线。各种参数可以经由can 162通过特定模块而对其他模块可用。
59.驾驶员输入可以包括例如可以提供给ecm 106的加速踏板位置（app）166。制动踏板位置(bpp)170可以被提供给ebcm 150。可以向tcm 114提供停车、倒车、空档、驱动杆(prndl)的位置174。点火状态178可以被提供给车身控制模块(bcm)180。例如，点火状态178可以由驾驶员经由点火钥匙、按钮或开关来输入。在特定时间，点火状态178可以是关闭、附件、运行或起动中的一种。
60.车辆系统还可以包括娱乐模块182。娱乐模块182可以连接到车辆的信息娱乐模块，是车辆的信息娱乐模块的一部分，或者包括车辆的信息娱乐模块。
61.娱乐模块182选择性地执行游戏并经由一个或多个输出设备184输出游戏反馈。输出设备184可以包括例如一个或多个显示器、一组或多组虚拟现实(vr)护目镜、一组或多组增强现实(ar)护目镜、一个或多个其他合适类型的视频输出设备、一个或多个扬声器、一个或多个触觉设备和/或一个或多个其他合适类型的输出设备。
62.娱乐模块182经由一个或多个显示器、一组或多组vr护目镜和/或一组或多组ar护目镜输出游戏视频。娱乐模块182经由一个或多个扬声器输出游戏音频。娱乐模块182还可以经由一个或多个触觉设备输出其他游戏反馈。例如，触觉设备可以包括在一个或多个座椅中、方向盘中、一个或多个安全带中等。
63.显示器的示例可以包括，例如，车辆的一个或多个显示器（例如，在前控制台上）、经由基板（例如，挡风玻璃）显示信息的平视显示器（hud）、向下下落或向上延伸以形成全景视图的一个或多个显示器、和/或一个或多个其它合适的显示器。在各种实施方式中，一个或多个hud可以投影到挡风玻璃上以将挡风玻璃用作全景ar显示器。
64.娱乐模块182基于经由一个或多个输入设备185（诸如一个或多个游戏控制器、一个或多个操纵杆等）接收的用户输入来控制一个或多个游戏的播放。在某些情况下，诸如当车辆停放时，娱乐模块182可以基于来自车辆部件（例如，方向盘、制动和加速器踏板、喇叭等）的输入来控制游戏设置。
65.娱乐模块182可以附加地或替代地可听地和/或可视地输出其他信息，诸如个性化
广告、优惠券、关于车辆前方的兴趣点的信息等。
66.车辆可以包括多个外部传感器和相机，通常在图1中由186示出。可以基于来自外部传感器和相机186的输入来采取一个或多个动作。例如，信息娱乐模块可以在驾驶期间经由来自外部传感器和相机186的输入在显示器上显示视频、各种视图和/或警报。
67.作为另一个例子，基于来自外部传感器和相机186的输入，感知模块感知车辆周围的物体和物体相对于车辆的位置。ecm 106可以基于来自感知模块的输入来调节发动机102的转矩输出。附加地或替代地，pim 134可以基于来自感知模块的输入来控制去往和/或来自电动机118的功率流。附加地或替代地，ebcm 150可以基于来自感知模块的输入来调节制动。附加地或替代地，转向控制模块140可以基于来自感知模块的输入来调整转向。娱乐模块182可以基于由感知模块识别的对象来调整游戏的虚拟环境，如下面进一步讨论的。
68.车辆可以包括一个或多个未示出的附加控制模块，例如底盘控制模块、电池组控制模块等。车辆可以省略一个或多个示出和讨论的控制模块。
69.现在参考图2，给出了包括外部传感器和相机的示例的车辆的功能框图。外部传感器和相机186包括定位成捕获车辆外面（外部）的图像和视频的各种相机以及测量车辆外面（外部）的参数的各种类型的传感器。例如，前向相机204捕获车辆前方的预定视场(fov)206内的图像和图像的视频。
70.前置相机208也可以捕获车辆前方的预定fov 210内的图像和视频。前置相机208可以捕获在车辆前方的预定距离内的图像和视频，并且可以位于车辆前方（例如，在前仪表板、格栅或保险杠中）。然而，前向相机204可以位于更后方，诸如在车辆的挡风玻璃处的后视镜内。前向相机204可能无法捕获前置相机208的预定fov的全部或至少一部分内的物体的图像和视频，以及可以捕获大于车辆前方的预定距离的图像和视频。在各种实施方式中，可以仅包括前向相机204和前置相机208中的一者。
71.后置相机212捕获在车辆后面的预定fov 214内的图像和视频。后置相机212可以捕获在车辆后方预定距离内的图像和视频，并且可以位于车辆的后部，诸如靠近后牌照。
72.右置相机216捕获车辆右侧预定fov 218内的图像和视频。右置相机216可以捕获在距车辆右侧预定距离内的图像和视频，并且可以位于例如右侧后视镜下方。在各种实施方式中，可以省略右侧后视镜，并且右置相机216可以位于右侧后视镜通常所在的位置附近。
73.左置相机220捕获车辆左侧的预定fov 222内的图像和视频。左置相机220可以捕获在距车辆左侧预定距离内的图像和视频，并且可以位于例如左侧后视镜下方。在各种实施方式中，可以省略左侧后视镜，并且左置相机220可以位于左侧后视镜通常所在的位置附近。虽然出于说明性目的示出了示例fov，但是fov可以重叠，例如，用于更准确和/或包容性的拼接。
74.外部传感器和相机186可以附加地或可选地包括各种其它类型的传感器，例如超声波传感器、雷达传感器等。例如，车辆可以包括一个或多个前向超声波传感器，例如前向超声波传感器226和230，一个或多个后向超声波传感器，例如后向超声波传感器234和238。车辆还可以包括一个或多个右侧超声传感器，诸如右侧超声传感器242，以及一个或多个左侧超声传感器，诸如左侧超声传感器246。相机和超声传感器的位置仅作为示例提供，并且可以使用不同的位置。超声波传感器输出车辆周围的超声波信号。
75.外部传感器和相机186可以附加地或可选地包括一个或多个其它类型的传感器，例如一个或多个声纳传感器、一个或多个雷达传感器和/或一个或多个光检测和测距（lidar）传感器。
76.图3是车辆的示例娱乐系统的功能框图。娱乐模块182包括处理器模块304，处理器模块304包括一个或多个处理器。处理器模块304执行一个或多个应用308，诸如存储在存储器中的游戏和其他类型的应用。每个游戏是可由处理器模块304执行的应用。
77.在游戏执行期间，处理器模块304基于来自外部相机和传感器186的数据生成用于游戏的全景虚拟环境。以这种方式，全景虚拟环境与车辆周围的现实世界相关联。处理器模块304经由输出设备184中的一个或多个输出设备以全景格式或360度格式显示虚拟环境。例如，处理器模块304可以经由一个或多个显示器以全景格式显示游戏的虚拟环境，所述一个或多个显示器一起提供全景格式的全景视图（例如，具有至少3：1的宽高比或更大宽度的纵横比）。附加地或替代地，处理器模块304可以使用将全景视频投影到挡风玻璃上的一个或多个hud以全景格式显示游戏的虚拟环境，以将挡风玻璃用作全景ar显示器。另外地或替代地，处理器模块304可以使用车辆中的ar头戴式耳机和车辆中的vr头戴式耳机中的至少一个来显示虚拟环境的360度视图。
78.图4是娱乐系统的示例的功能框图。娱乐模块182从车辆前方404、车辆左侧408和右侧412以及车辆后方416的外部传感器和相机186接收图像和数据。娱乐模块182基于所接收的图像和数据生成360度视频，并经由一个或多个ar和/或vr头戴式耳机420显示视频。当头戴式耳机420的用户向前看（朝向车辆的前方）时，头戴式耳机420在向前方向424上显示虚拟环境。当头戴式耳机420的用户向左看（朝向车辆的左侧）时，头戴式耳机420在左方向428上显示虚拟环境。当头戴式耳机420的用户向右看（朝向车辆的右侧）时，头戴式耳机420在右方向432上显示虚拟环境。当头戴式耳机420的用户向后看（朝向车辆的后部）时，头戴式耳机420在向后方向436上显示虚拟环境。
79.图5是娱乐系统的示例的功能框图。在图5的示例中，娱乐模块182基于所接收的图像和数据生成全景视频504（具有3：1宽高或更大宽度的纵横比），并经由一个或多个显示设备显示视频。在各种实施方式中，可以使用左显示器508、中间显示器512和右显示器516来显示全景视频504。在各种实施方式中，全景视频504可以经由一个或多个hud显示在车辆的挡风玻璃上。
80.现在参考图4和图5，娱乐模块182基于游戏的基线虚拟环境440生成全景或360度虚拟环境。娱乐模块182基于来自外部相机和传感器186的数据来调整基线虚拟环境440，以生成全景或360度虚拟环境。
81.娱乐模块182对接收的图像执行图像稳定444，以例如考虑车辆的振动。娱乐模块182可以另外执行失真校正448，例如，以减少可归因于外部相机和传感器186的相机的特性（例如，失真）的失真。娱乐模块182将图像拼接452在一起用于全景或360度虚拟环境。例如，娱乐模块182将来自车辆前方的图像的左侧与在车辆左侧拍摄的图像的右侧拼接。娱乐模块将来自车辆前方的图像的右侧拼接到在车辆右侧拍摄的图像的左侧。
82.基于从外部传感器和相机186接收的数据，娱乐模块182感知456位于车辆周围的现实世界中的对象（例如，车辆、建筑物、动物、人等）以及对象相对于车辆的位置。娱乐模块182可以使用动画460基于在现实世界中感知的对象的类型和对象在现实世界中的位置在
虚拟环境中创建对象。
83.图6是描绘提供车载娱乐的示例方法的流程图。在608处，获得来自外部传感器的相机604和相机186的图像。图像包括车辆前方、车辆右侧、车辆左侧和车辆后方的图像。
84.在612，娱乐模块182使用失真校正算法校正图像中的任何失真。在616处，娱乐模块182将图像输入到图像缓冲器中。娱乐模块182可以确定一个或多个像素是否在图像的帧边界之外。
85.在620处，娱乐模块620对图像执行像素移动跟踪，以跟踪像素中的对象从图像到图像的运动。在624处，娱乐模块182基于图像确定移动轨迹。在628处，娱乐模块628对图像执行外推。
86.在632处，娱乐模块确定图像的真实像素位置是否在特定移动轨迹（来自624）的轨迹之外。如果632为真，则控制继续到636和640。如果632为假，则控制继续到644。在644处，不将图像抖动校正应用于图像，并且控制继续到648。在636处，娱乐模块182提供图像的平滑以校正图像的抖动。636的平滑在640处产生针对抖动而校正的图像，并且控制继续到648。例如，可以基于目标跟踪和轨迹确定来执行抖动校正。
87.在648，娱乐模块182将图像拼接在一起以创建全景或360度视图。娱乐模块182还可以包括在652处获得的图像角落处的特征和/或轮廓。娱乐模块182还可以包括在656处获得的感兴趣的特征和/或轮廓。娱乐模块182还可以包括来自在660处基于兴趣点和/或轮廓的匹配的信息。在652处，娱乐模块182可以使用例如尺度不变特征变换(sift)算法和/或加速鲁棒特征(surf)算法来获得图像角落附近的特征和/或轮廓。娱乐模块182可以在656处使用兴趣点识别算法和/或兴趣点轮廓算法来确定图像中的兴趣点和/或轮廓。娱乐模块182可以在660处使用例如仿射变换算法、互相关算法或另一合适类型的算法基于兴趣点和/或轮廓来执行匹配。
88.车辆周围的现实世界的全景或360度视图可以通过娱乐模块182在662处经由一个或多个显示器和/或一个或多个头戴式耳机（例如，ar和/或vr头戴式耳机）显示。替代地，控制可以继续到664。
89.在664，娱乐模块182在664执行感知。更具体地，娱乐模块182感知图像或拼接在一起的图像中的对象。娱乐模块182可以确定每个对象的类型和每个对象相对于车辆的位置。对象类型的示例包括例如车辆、行人、骑自行车者、动物、建筑物等。娱乐模块182可以使用对象检测算法来确定对象的类型。娱乐模块182可以例如基于相机的fov、对象在图像的像素中的位置以及对象在图像中的尺寸（例如，按像素）来确定对象的位置。作为感知的结果，在668处识别游戏的参与者（例如，车辆、行人、动物等）。在672处识别结构物（例如，建筑物、道路、山脉等）。在676处还识别不可识别的对象。
90.在680，娱乐模块182获得游戏的虚拟环境440。例如，娱乐模块182可以基于车辆在世界地图686上的（当前）位置684或车辆当前位置周围的预定区域来确定游戏玩家在虚拟环境440中的当前位置。车辆的位置684（例如，纬度、经度、海拔、航向）可以由车辆的全球定位系统(gps)模块320（图3）确定和提供。娱乐模块182可以在694处使用虚拟环境作为背景。
91.在690，娱乐模块182动画化并定位虚拟环境440内的感知对象。娱乐模块182可以将检测到的每个不同类型的对象设置为游戏的虚拟环境中的预定类型的对象。例如，娱乐模块182可以将行人动画化为虚拟环境中的动物，将车辆动画化为游戏内的对手，并且将不
可识别的对象动画化为虚拟环境内的探索性物体。娱乐模块182基于现实世界中的相关联对象相对于车辆的位置来定位虚拟环境内的动画对象。在694处，娱乐模块182可以经由一个或多个显示器和/或一个或多个头戴式耳机（例如，ar和/或vr头戴式耳机）显示包括添加的对象的虚拟环境的全景或360度视图。
92.图7是描绘提供车载娱乐的示例方法的流程图。控制开始于704，其中车辆的乘客进入车辆的客舱。在708处，娱乐模块182识别乘客。例如，计算设备（例如，蜂窝电话）可以诸如经由在计算设备上执行的应用与车辆无线连接。无线连接可以是例如使用蓝牙收发器、wifi收发器或另一合适类型的无线收发器。娱乐模块182可以基于计算设备的唯一标识符来识别乘客。附加地或替代地，可以使用另一种类型的识别。例如，娱乐模块182可以经由生物识别（诸如面部识别、指纹识别、语音识别等）来识别乘客。
93.在712，娱乐模块182检索与乘客相关联的用户信息。例如，娱乐模块182可以从乘客的计算设备无线地接收用户信息。或者，娱乐模块182可以基于识别乘客从远程源或本地获得用户信息。
94.在716，娱乐模块182例如从gps模块320获得车辆的当前位置。娱乐模块182还可以诸如从gps模块320、车辆的罗盘和/或来自一个或多个外部传感器和相机186的一个或多个图像获得车辆的航向。
95.在720，娱乐模块182激活娱乐模式。娱乐模块182可以自动地（例如，响应于乘客的识别）激活娱乐模式或响应于接收到用户输入（例如，经由按钮、开关等）激活娱乐模式。同样在720处，娱乐模块182可以提供特定类型的娱乐，诸如在724处执行游戏（例如，益智问答游戏）、在728处（例如，可视地和/或可听地）输出本地信息、或者在732处没有娱乐（没有可见或可听输出）。娱乐的类型可以由乘客选择或由娱乐模块182确定，例如，基于用户信息。可以在736处从一个或多个远程源（例如，一个或多个网站，诸如维基百科、一个或多个数据库等）和/或从车辆的存储器740无线地获得本地信息。例如，娱乐模块182可以显示当前在车辆前方可见的本地商店信息。娱乐模块182可以例如将与商店或兴趣点相关联的信息投影到挡风玻璃上或在商店或兴趣点的位置处投射到虚拟环境中。图9包括与商店和兴趣点相关联地显示的信息的示例图示。除了视觉显示之外，娱乐模块182可以经由一个或多个扬声器可听地输出关于商店和/或兴趣点的本地信息。
96.作为720的补充或替代，娱乐模块182可以在744向乘客显示个性化广告。娱乐模块182可以基于乘客的用户信息来确定要显示哪些广告。娱乐模块182可以进一步基于车辆的当前位置来确定显示哪些广告。例如，娱乐模块182可以显示当前在车辆前方可见的商店的广告。附加地或替代地，娱乐模块182可以显示广告来代替车辆正在通过的广告牌。图10包括代替广告牌显示的广告的示例图示。除了视觉显示之外，娱乐模块182可以经由一个或多个扬声器可听地输出关于广告的信息。
97.娱乐模块182还可以在748（图7）显示一个或多个优惠券与一个或多个广告。图10中示出了与代替广告牌提供的广告相关联的示例优惠券。例如，可以在736（图7）处从一个或多个远程源（例如，一个或多个网站，诸如维基百科、一个或多个数据库等）和/或从车辆的存储器740获得广告和优惠券。在752处，娱乐模块182可以将广告和/或优惠券从车辆传输到乘客的计算设备。
98.当车辆在某一位置（例如，商店或兴趣点）停止至少预定时段（例如，超过1分钟）
时，娱乐模块182可以在756（图7）在一个或多个显示器上显示请求关于该位置处的商店或兴趣点的评级的用户输入的用户界面。该位置可以是导航路线的计划停止点，或者基于车辆在该位置处停止至少预定时段来识别。用户可以经由用户界面提供评级。娱乐模块182可以在车辆开始移动离开该位置之后的预定时段移除该用户界面。娱乐模块182可以从该位置、从导航路线或以另一合适的方式确定该位置处的商店或兴趣点。
99.图8是描绘图7的示例的一部分的流程图。720如上所述。响应于乘客激活娱乐模式，控制在804继续。在804处，娱乐模块182可以确定是交互地（响应于用户输入）、自动地（在有或没有用户输入的情况下）提供娱乐还是执行游戏。例如，响应于用户输入，娱乐模块182可以在728-b交互地提供娱乐信息。娱乐模块182可以例如响应于接收到关于位置（例如，商店或兴趣点）的用户输入而（可听地或可视地）向用户输出本地信息。娱乐模块182可以在728-a处自动提供娱乐信息。娱乐模块182可以例如基于位于车辆前方的位置（例如，商业或兴趣点）向用户输出（可听地或可视地）本地信息。在808处，娱乐模块182可以经由一个或多个扬声器可听地输出信息，并且例如经由一个或多个hud和/或一个或多个其他显示器显示信息。
100.前面的描述本质上仅仅是说明性的，决不旨在限制本公开、其应用或用途。本公开的广泛教导可以以各种形式实施。因此，虽然本公开包括特定示例，但是本公开的真实范围不应受此限制，因为在研究附图、说明书和所附权利要求时，其他修改将变得显而易见。应当理解，在不改变本公开的原理的情况下，方法内的一个或多个步骤可以以不同的顺序（或同时）执行。此外，尽管上面将每个实施例描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在任何其他实施例的特征中实施和/或与任何其他实施例的特征组合，即使没有明确描述该组合。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此之间的置换仍然在本公开的范围内。
101.使用各种术语来描述元件之间（例如，模块、电路元件、半导体层等之间）的空间和功能关系，所述术语包括"连接"、"接合"、"联接"、"相邻"、"紧挨着"、"在上面"、"之上"、"之下"和"设置"。除非明确地描述为"直接"，否则当在上述公开中描述第一和第二元件之间的关系时，该关系可以是其中在第一和第二元件之间不存在其他中间元件的直接关系，但是也可以是其中在第一和第二元件之间（空间上或功能上）存在一个或多个中间元件的间接关系。如本文所使用的，短语a、b和c中的至少一个应当被解释为意指使用非排他性逻辑or的逻辑（a or b or c)，并且不应当被解释为意指“a中的至少一个、b中的至少一个和c中的至少一个”。
102.在附图中，箭头所示的箭头方向通常表示图示所关注的信息（例如数据或指令）的流动。例如，当元件a和元件b交换各种信息但是从元件a发送到元件b的信息与图示相关时，箭头可以从元件a指向元件b。该单向箭头并不意味着没有其他信息从元件b发送到元件a。此外，对于从元件a发送到元件b的信息，元件b可以向元件a发送对该信息的请求或接收确认。
103.在本技术中，包括下面的定义，术语“模块”或术语“控制器”可以用术语“电路”代替。术语“模块”可以指以下的一部分或包括以下部分：专用集成电路（asic）；数字、模拟或混合模拟/数字离散电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列(fpga)；执行代码的处理器电路（共享、专用或群组）；存储由处理器电路执行的代
码的存储器电路（共享、专用或组）；提供所描述的功能的其他合适的硬件组件；或者上述中的一些或全部的组合，诸如在片上系统中。
104.模块可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网(lan)、互联网、广域网(wan)或其组合的有线或无线接口。本公开的任何特定模块的功能可以分布在经由接口电路连接的多个模块之间。例如，多个模块可以允许负载平衡。在另一示例中，服务器（也称为远程或云）模块可以代表客户端模块完成一些功能。
105.如上所使用的术语“代码”可以包括软件、固件和/或微代码，并且可以指程序、例程、函数、类、数据结构和/或对象。术语“共享处理器电路”涵盖执行来自多个模块的一些或所有代码的单个处理器电路。术语“群组处理器电路”包括与附加处理器电路组合执行来自一个或多个模块的一些或所有代码的处理器电路。对多个处理器电路的引用涵盖离散管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个核、单个处理器电路的多个线程、或以上的组合。术语“共享存储器电路”包括存储来自多个模块的一些或所有代码的单个存储器电路。术语“群组存储器电路”包括与附加存储器组合存储来自一个或多个模块的一些或所有代码的存储器电路。
106.术语“存储器电路”是术语“计算机可读介质”的子集。如本文所使用的术语“计算机可读介质”不涵盖通过介质（诸如在载波上）传播的瞬态电信号或电磁信号；因此，术语“计算机可读介质”可以被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如闪存电路、可擦除可编程只读存储器电路或掩模只读存储器电路）、易失性存储器电路（诸如静态随机存取存储器电路或动态随机存取存储器电路）、磁存储介质（诸如模拟或数字磁带或硬盘驱动器）和光学存储介质（诸如cd、dvd或蓝光盘）。
107.本技术中描述的装置和方法可以部分地或全部地由通过配置通用计算机以执行计算机程序中体现的一个或多个特定功能而创建的专用计算机来实现。上述功能块、流程图组件和其他元件用作软件规范，其可以通过熟练的技术人员或程序员的例行工作转换成计算机程序。
108.计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包含与专用计算机的硬件交互的基本输入/输出系统(bios)、与专用计算机的特定设备交互的设备驱动器、一个或多个操作系统、用户应用、后台服务、后台应用等。
109.计算机程序可以包括：(i)要解析的描述性文本，诸如html（超文本标记语言）、xml（可扩展标记语言）或json（javascript对象表示法），(ii)汇编代码，(iii)由编译器从源代码生成的目标代码，(iv)用于由解释器执行的源代码，(v)用于由即时编译器编译和执行的源代码等。仅作为示例，源代码可以使用包括下列的语言的句法规则来编写：c+、c++、c#、objective-c、swift、haskell、go、sql、r、lisp、java
®
、fortran、perl、pascal、curl、ocaml、javascript
®
、html5（超文本标记语言第五修订版）、ada、asp（活动服务器页面）、php(php:超文本预处理器）、scala、eiffel、smalltalk、erlang、ruby、flash
®
、visualbasic
®
、lua、matlab、simulink和python
®
。