增强现实（AR）远程车辆协助的制作方法

引言

本发明涉及使用便携式无线设备(pwd)向车辆用户提供增强现实(ar)协助。

诸如智能电话的移动设备可以与车辆相关联并且用于提供对车辆服务的增强访问。这些设备可以与车辆无线通信，以提供对车辆数据和功能的本地和/或远程访问。并且，随着车辆继续变得更加复杂，车辆的操作、维修和/或维护对于车辆用户或车辆维修技术人员来说可能是具有挑战性的。

技术实现要素：

根据本发明的一个方面，提供了一种向车辆的车辆用户提供增强现实(ar)远程协助的方法，所述方法包括：将实时视频数据从车辆本地的便携式无线设备(pwd)发送到远程计算机处的远程助理应用程序，其中pwd包括电子显示器和捕获电子相机的视野内的实时视频数据的电子相机，并且其中远程计算机被配置为：(i)接收有关车辆的车辆诊断信息，(ii)将所述车辆诊断信息提供给远程助理，(iii)显示所述实时视频数据，供所述远程助理使用所述远程助理应用程序查看，(iv)从所述远程助理接收注释输入，以及(v)将注释信息发送给所述pwd，其中所述注释信息基于所述注释输入；在移动设备上从所述远程助理应用程序接收所述注释信息，其中所述注释信息包括注释图形信息和注释位置信息，其中所述注释图形信息识别注释图形，并且其中所述注释位置信息识别注释显示位置；以及在电子显示器上显示增强现实(ar)视频，该增强现实(ar)视频包括位于注释显示位置和实时视频数据的一部分上方的注释图形，其中随着电子相机的视野改变ar视频被更新，使得ar视频中显示的注释图形看起来固定在电子相机的视野内的位置上。

根据各种实施例，所述方法还可以包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：

·注释位置信息包括用于识别和/或跟踪由pwd的电子相机观察到的三维空间中的物体的物体标记信息，使得注释图形可以固定到物体以提供ar视频；

·注释位置信息包括实时视频数据的像素坐标位置；

·pwd识别由pwd的电子相机观察到的三维空间内的物体，并且其中pwd使用物体识别技术来跟踪注释图形，使得注释图形看起来固定到物体；

·pwd包括一个或多个惯性传感器，其获得关于pwd的位置信息，并且其中位置信息用于跟踪由pwd的电子相机观察到的三维空间内的物体或点，使得所述注释图形看起来固定在三维空间内的所述物体或点上，即使所述pwd被重新定位也是如此；

·位置信息包括有关pwd的定向信息和/或运动信息；

·实时音频从远程计算机流式传输到pwd，并且其中实时音频由远程计算机使用麦克风捕获并流式传输以在pwd处回放；

·显示从远程计算机接收的远程助理实时视频数据，其中远程助理实时视频数据是在远程计算机上捕获并以实时方式流式传输到pwd用于回放的视频数据；

·pwd向远程助理应用程序提供车辆诊断信息；

·从pwd向车辆发送车辆诊断信息请求，并且响应于发送车辆诊断信息请求，在pwd处从车辆接收车辆诊断信息响应；和/或

·发送车辆诊断信息请求，并使用车辆和pwd之间的短程无线通信(srwc)连接接收车辆诊断信息响应。

根据本发明的另一方面，提供了一种向车辆的车辆用户提供增强现实(ar)远程协助的方法，其中所述方法由包括远程助理应用程序的远程计算机实施，并且其中方法包括：在远程助理应用程序处从便携式无线设备(pwd)接收实时视频数据；在远程助理应用程序的图形用户界面(gui)上显示实时视频数据，使得在远程助理应用程序的gui处接收并显示在pwd处捕获的实时视频数据；在远程助理应用程序的gui处呈现车辆诊断信息；在所述远程计算机处通过一个或多个人机界面从远程助理接收注释输入；基于注释输入获取注释信息；在远程助理应用程序的gui处显示增强现实(ar)视频，并且其中ar视频包括基于注释信息和/或注释输入产生的注释图形；将注释信息和/或ar视频发送给pwd。

根据各种实施例，所述方法还可以包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：

·发送步骤使得ar视频显示在pwd的电子显示器上，使得ar视频以同时的方式显示在远程助理应用程序的gui和pwd的电子显示器上；

·呈现车辆诊断信息，并且同时在远程助理应用程序的gui上显示实时视频数据；

·远程助理应用程序的gui包括实时视频数据流部分、车辆操作或服务指南部分、以及一个或多个注释工具，其中实时视频数据和/或ar视频在实时视频数据流部分显示，其中车辆操作或服务指南在车辆操作或服务指南部分显示，并且其中注释工具可由远程助理选择并可用于输入注释输入；

·使用物体识别技术在远程计算机处产生ar视频，并且其中ar视频包括从pwd接收的实时视频数据和覆盖或叠加在实时视频数据的一部分上的注释图形；

·将ar视频从远程助理应用程序发送到pwd；

·将注释信息发送到pwd，并且还包括从pwd接收ar视频的步骤；

·远程助理应用程序从位于远程设施处的数据库获取车辆诊断信息；和/或

·远程助理应用程序使用车辆和远程计算机之间的直接远程连接从车辆获得车辆诊断信息。

附图说明

在下文中将结合附图描述本发明的一个或多个实施例，其中相同的标号表示相同的元件，并且其中：

图1是描绘能够利用本文公开的方法的通信系统的实施例的框图；

图2是描绘便携式移动设备的实施例的框图，并且示出了便携式移动设备的一些示例性硬件和部件；

图3是描绘图2的便携式设备的正视图的框图，其中该设备被描绘为面向前方；

图4是描绘图2的便携式设备的后视图的框图，其中该设备被描绘为面向后方；

图5是描绘向车辆的车辆用户提供增强现实(ar)远程协助的方法的实施例的流程图；

图6是描绘向车辆的车辆用户提供增强现实(ar)远程协助的方法的另一实施例的流程图；

图7是描绘向车辆的车辆用户提供增强现实(ar)远程协助的方法的又一实施例的流程图；

图8是描绘远程助理应用程序的图形用户界面(gui)的框图；以及

图9是描绘车辆协助应用程序的图形用户界面(gui)的框图。

具体实施方式

下面描述的系统和方法使车辆用户能够以增强现实(ar)视频的形式从远程助理接收远程协助。车辆用户是位于车辆处和/或与车辆相关联的个人，其可以请求来自远程助理的协助，远程助理是位于远程设施处的个人并且向车辆用户提供远程协助。在一种情况下，车辆用户是主要的车辆操作员，例如所有者或承租人；在另一种情况下，车辆用户是车辆维修技师或机修工。车辆用户可以使用诸如智能手机的便携式无线设备(pwd)来使用安装在pwd上的车辆协助应用程序来请求协助。然后，远程助理可以加入与车辆用户的远程协助会话。pwd可以捕获视频数据并将该实时视频数据流传输到由远程助理操作的远程助理应用程序。远程助理应用程序还可以获得关于车辆的车辆信息，其协助远程助理确定车辆的问题，或以其他方式协助车辆用户进行车辆的维修、维护或其他操作。远程助理应用程序可以包括图形用户界面(gui)，其使得远程助理能够在实时流式传输时从pwd查看实时视频数据，并且使远程助理能够使用注释图形(例如，文本、圆圈、箭头、其他图形)来注释实时视频数据。注释图形(或pwd可用于获取注释图形的注释信息)从远程助理应用程序发送到pwd，然后，在pwd上显示增强现实(ar)视频以便协助用户进行车辆操作、维修或维护。注释图形可以以ar方式呈现，使得每个注释图形与由相机观察并在实时视频数据中呈现的三维空间中的物体相关联(或对其进行跟踪)。

参考图1，示出了包括通信系统10并且可以用于实现本文公开的方法的操作环境。通信系统10通常包括具有无线通信设备30和其他vsm22-56的车辆12、具有车辆协助应用程序16的便携式无线设备(pwd)14、全球导航卫星系统(gnss)卫星星座60、一个或多个无线载波系统70、陆地通信网络76、计算机或服务器78以及车辆后端服务设施80。应该理解，所公开的方法可以与任何数量的不同系统一起使用，并且不具体限于此处显示的操作环境。因此，以下段落仅简要概述了一个这样的通信系统10；然而，这里未示出的其他系统也可以采用所公开的方法。

在所示实施例中，车辆12被描绘为乘用车，但是应当理解，任何其他车辆包括摩托车、卡车、运动型多用途车(suv)、休闲车(rv)、海洋船、包括无人驾驶飞机(uav)的飞机等也可以使用车辆等。总体上在图1中示出一些车辆电子设备20，并且包括全球导航卫星系统(gnss)接收器22、车身控制模块或单元(bcm)24、发动机控制模块(ecm)26、其他车辆系统模块(vsm)28、无线通信设备30和车辆-用户界面50-56。可以连接一些或所有不同的车辆电子设备以通过一个或多个通信总线(例如通信总线40)彼此通信。通信总线40使用一个或多个网络协议向车辆电子设备提供网络连接并且可以使用串行数据通信架构。合适的网络连接的示例包括控制器区域网络(can)、面向媒体的系统传输(most)、本地互连网络(lin)、局域网(lan)以及诸如以太网或其他符合已知的iso、sae和ieee标准和规范(仅举几例)的其他适当连接。

车辆12可以包括许多车辆系统模块(vsm)作为车辆电子设备20的一部分，例如gnss接收器22、bcm24、ecm26、无线通信设备30和车辆用户界面50-56，将在下面详细描述。车辆12还可以包括位于整个车辆中的电子硬件部件形式的其他vsm28，其可以从一个或多个传感器接收输入并使用所感测的输入来执行诊断、监测、控制、报告和/或其他功能。每个vsm28可以通过通信总线40连接到其他vsm，也可以连接到无线通信设备30，并且可以编程为运行车辆系统和子系统诊断测试。此外，每个vsm可以包括和/或通信地耦合到合适的硬件，该硬件使得能够通过通信总线40执行车内通信；这种硬件可以包括例如总线接口连接器和/或调制解调器。一个或多个vsm28可以周期性地或偶尔地更新其软件或固件，并且在一些实施例中，这种车辆更新可以是通过陆地网络76和通信设备30从计算机78或远程设施80接收的无线(ota)更新。如本领域技术人员所理解的，上述vsm仅是可以在车辆12中使用的一些模块的示例，因为许多其他模块也是可能的。

全球导航卫星系统(gnss)接收器22从gnss卫星星座60接收无线电信号。gnss接收器22可以被配置为符合和/或根据给定地缘政治区域(例如，国家)的特定规则或法则操作。gnss接收器22可以配置用于各种gnss实现，包括美国的全球定位系统(gps)、中国的北斗导航卫星系统(bds)、俄罗斯的全球导航卫星系统(glonass)、欧盟的伽利略和各种其他导航卫星系统。例如，gnss接收器22可以是gps接收器，其可以从gps卫星星座60接收gps信号。并且，在另一示例中，gnss接收器22可以是从gnss(或bds)卫星星座60接收多个gnss(或bds)信号的bds接收器。在任一实现中，gnss接收器22可包括至少一个处理器和存储器，包括存储可由处理器访问用于实施接收器22执行的处理的指令(软件)的非暂时性计算机可读存储器。gnss接收器22可以确定车辆的地理位置，并且该位置可以存储和/或报告给远程设备，例如远程设备80处的计算机78或计算机/服务器82。

车身控制模块(bcm)24可用于控制车辆的各种vsm，以及获得关于vsm的信息，包括它们的当前状态或情形，以及传感器信息。bcm24在图1的示例性实施例中示出为电耦合到通信总线40。在一些实施例中，bcm24可以与车辆电子设备20的另一模块集成。bcm24可以包括处理器和/或存储器，其可以类似于无线通信设备30的处理器36和存储器38，如下所述。bcm24可以与无线设备30和/或一个或多个车辆系统模块通信，例如发动机控制模块(ecm)26、音频系统56或其他vsm28。存储在存储器中并且可由处理器执行的软件使得bcm能够用于引导一个或多个车辆功能或操作，包括例如控制中央锁定、空调、动力镜、控制车辆原动机(例如，发动机、主推进系统)和/或控制各种其他车辆模块。例如，bcm24可以向其他vsm发送信号，例如执行特定操作的请求或对车辆传感器数据的请求，并且作为响应，传感器然后可以发送回所请求的信息。并且，bcm24可以从vsm接收车辆传感器数据，包括来自一个或多个车载车辆传感器的电池传感器数据或其他传感器数据，以及来自其他vsm的各种其他信息或数据。另外，bcm24可以提供与某些车辆部件或系统的车辆状态相对应的车辆状态信息，包括本文讨论的vsm。例如，bcm24可以向设备30提供指示车辆的点火装置是否被打开(例如，从ecm26接收)、车辆当前所处的挡位(即，挡位状态)和/或关于车辆其他信息的信息。或者，在另一示例中，bcm24可以接收、确定或以其他方式获得车辆诊断信息，例如与车辆的一个或多个vsm或子系统相关的诊断故障代码(dtc)。车辆诊断信息可包括基于传感器值的信息或来自车辆12的一个或多个车载传感器和/或车辆12的一个或多个vsm的状态的信息，其可包括例如dtc。此外，车辆诊断信息可以包括车辆预测信息，其是表示基于关于车辆12的一个或多个vsm的一个或多个状态的信息确定的车辆预测的信息。该车辆诊断信息可以存储在bcm24的存储器或车辆电子设备20的其他存储器中，例如无线通信设备30的存储器38。此外，该车辆诊断信息可以被发送到非车辆设备，例如pwd14和/或远程设施80。

发动机控制模块(ecm)26可以控制发动机操作的各个方面，例如燃料点火和点火正时。ecm26连接到通信总线40并且可以从bcm24或其他车辆系统模块(例如无线通信设备30或其他vsm28)接收操作指令(或车辆命令)。在一种情况下，ecm26可以接收来自bcm的命令以启动车辆-即，启动车辆点火或其他主要推进系统(例如，电池供电的马达)。在另一种情况下，ecm26可以将关于发动机或主推进系统的车辆诊断信息报告给bcm24或其他vsm。在至少一些实施例中，当车辆是混合动力或电动车辆时，可以使用主推进控制模块代替ecm26(或作为ecm26的补充)，并且该主推进控制模块可用于获得关于原动机(包括电动马达和电池信息)的信息。

车辆12可包括各种车载车辆传感器，其包括可用作车载车辆传感器的某些车辆-用户界面50-54。通常，传感器可以获得车辆传感器数据，其可以包括由车载车辆传感器测量或确定的车辆传感器值。关于车辆的运行状态(“车辆运行状态”)或车辆环境(“车辆环境状态”)的其他信息也可以获得或者可以包括在车辆传感器数据中。车辆传感器数据可以通过通信总线40发送到其他vsm，例如bcm24和车辆通信设备30。在一个实施例中，传感器数据可以由一个或多个vsm(例如，无线通信设备30、bcm24)评估，以确定或获得车辆诊断信息。此外，在一些实施例中，车辆传感器数据(和/或车辆诊断信息)可以与元数据一起发送，元数据可以包括识别捕获车辆传感器数据的传感器(或传感器的类型)的数据、时间戳(或其他时间指示符)和/或与车辆传感器数据或车辆传感器有关的其他数据。“车辆运行状态”指的是关于车辆运行的车辆状态，其可以包括原动机(例如，车辆发动机、车辆推进马达)的操作。“车辆环境状态”是指关于车厢内部和车辆周围的附近外部区域的车辆状态。车辆环境状态包括驾驶员、操作员或乘客的行为，以及交通状况、道路状况和特征，以及车辆附近区域的状态。

无线通信设备30能够通过使用蜂窝芯片组34通过短程无线通信(srwc)和/或通过蜂窝网络通信来传送数据，如所示实施例中所示。在一个实施例中，无线通信设备30是中央车辆计算机，其用于执行下面讨论的方法的至少一部分。在所示实施例中，无线通信设备30包括srwc电路32、蜂窝芯片组34、处理器36、存储器38、以及天线33和35。在一个实施例中，无线通信设备30可以是独立模块，或者在其他实施例中。在一些实施例中，设备30可以作为一个或多个其他车辆系统模块的一部分并入或包括在内，例如中央堆栈模块(csm)、车身控制模块(bcm)24、信息娱乐模块、头部单元和/或网关模块。在一些实施例中，设备30可以实现为安装在车辆中的oem安装(嵌入式)或售后市场设备。在一个实施例中，无线通信设备30可以是或包括能够使用一个或多个蜂窝载波系统70执行蜂窝通信的远程信息处理单元(或远程信息处理控制单元)。或者，在其他实施例中，单独的远程信息处理单元可以包括在车辆中并且可以直接和/或通过通信总线40通信地耦合到无线通信设备30。此外，在一些实施例中，无线通信设备30和/或远程信息处理单元可以与gnss接收器22集成在一起，使得例如，gnss接收器22和无线通信设备30(或远程信息处理单元)彼此直接连接，而不是通过通信总线40连接。

在一些实施例中，无线通信设备30可以被配置为根据诸如wi-fi^tm、wimax^tm、wi-fidirect^tm、ieee802.11p、其他车辆到车辆(v2v)通信协议、其他ieee802.11协议、zigbee^tm、bluetooth^tm、bluetooth^tm低功耗(ble)或近场通信(nfc)中的任何一个的一个或多个短程无线通信(srwc)进行无线通信。如本文所使用的，bluetooth^tm指的是任何bluetooth^tm技术，诸如bluetoothlowenergy^tm(ble)、bluetooth^tm4.1、bluetooth^tm4.2、bluetooth^tm5.0和可能开发的其他bluetooth^tm技术。如本文所使用的，wi-fi^tm或wi-fi^tm技术指的是任何wi-fi^tm技术，例如ieee802.11b/g/n/ac或任何其他ieee802.11技术。短距离无线通信(srwc)电路32使无线通信设备30能够发送和接收srwc信号。srwc电路32可以允许设备30连接到另一个srwc设备，例如pwd14。另外，在一些实施例中，无线通信设备30包含蜂窝芯片组34，从而允许设备通过一个或多个蜂窝协议进行通信，例如蜂窝载波系统70使用的协议。在这种情况下，无线通信设备变为可用于通过蜂窝载波系统70执行蜂窝通信的用户设备(ue)。

无线通信设备30可以使车辆12能够通过分组交换数据通信与一个或多个远程网络(例如，远程设施80或计算机78处的一个或多个网络/设备)通信。可以通过使用通过路由器或调制解调器连接到陆地网络的非车辆无线接入点来执行该分组交换数据通信。当用于诸如tcp/ip的分组交换数据通信时，通信设备30可以配置有静态ip地址，或者可以被设置为从网络上的另一设备(例如路由器或从网络地址服务器)自动接收分配的ip地址。

还可以通过使用可以由设备30访问的蜂窝网络来执行分组交换数据通信。通信设备30可以通过蜂窝芯片组34通过无线载波系统70传送数据。在这样的实施例中。无线电传输可以用于与无线载波系统70建立通信信道，例如语音信道和/或数据信道，使得可以通过信道发送和接收语音和/或数据传输。数据可以通过数据连接发送，例如通过数据信道上的分组数据传输，或者使用本领域已知的技术通过语音信道发送。对于涉及语音通信和数据通信的组合服务，系统可以通过语音信道利用单个呼叫，并根据需要在语音信道上的语音和数据传输之间进行切换，这可以使用本领域技术人员已知的技术来完成。

处理器36可以是能够处理电子指令的任何类型的设备，包括微处理器、微控制器、主处理器、控制器、车辆通信处理器和专用集成电路(asic)。它可以是仅用于通信设备30的专用处理器，或者可以与其他车辆系统共享。处理器36执行各种类型的数字存储指令，例如存储在存储器38中的软件或固件程序，这使得设备30能够提供各种各样的服务。存储器38可以是非暂时性计算机可读介质，诸如有源临时存储器或任何合适的非暂时性计算机可读介质；这些包括不同类型的ram(随机存取存储器，包括各种类型的动态ram(dram)和静态ram(sram))、rom(只读存储器)、固态驱动器(ssd)(包括其他固态存储器，例如固态混合驱动器(sshd))、硬盘驱动器(hdd)以及磁盘或光盘驱动器。无线通信设备30可以将车辆12的各种vsm与车辆12外部的一个或多个设备接口，例如远程设施80或pwd14处的一个或多个网络或系统。

车辆电子设备20还包括多个车辆-用户界面，其为车辆乘员提供用于提供和/或接收信息的装置，包括视觉显示器50、按钮52、麦克风54和音频系统56。在本文中使用的术语“车辆-用户界面”广泛地包括任何合适形式的电子设备，包括硬件和软件部件，其位于车辆上并且使车辆用户能够与车辆的部件通信或通过车辆的部件进行通信。车辆-用户界面50-54也是车载车辆传感器，其可以接收来自用户的输入或其他传感信息，并且可以获得车辆传感器数据以供在以下方法的各种实施例中使用。按钮52允许手动用户输入通信设备30以提供其他数据、响应和/或控制输入(例如，挡风玻璃刮水器启动或控制开关)。音频系统56向车辆乘员提供音频输出，并且可以是专用的独立系统或主要车辆音频系统的一部分。根据特定实施例，音频系统56可操作地耦合到车辆总线40和娱乐总线(未示出)，并且可以提供am、fm和卫星无线电、cd、dvd和其他多媒体功能。该功能可以与信息娱乐模块一起提供或独立于信息娱乐模块提供。麦克风54向无线通信设备30提供音频输入，以使驾驶员或其他乘员能够通过无线载波系统70提供语音命令和/或进行免提呼叫。为此目的，它可以连接到利用本领域已知的人机界面(hmi)技术的车载自动语音处理单元。视觉显示器或触摸屏50优选地是图形显示器并且可以用于提供多种输入和输出功能。显示器50可以是仪表板上的触摸屏，从挡风玻璃反射的抬头显示器，或者可以投影图形以供车辆乘客观看的投影仪。还可以使用各种其他车辆-用户界面，因为图1的界面仅是一个特定实现的示例。

无线载波系统70可以是任何合适的蜂窝电话系统。载体系统70显示为包括蜂窝塔72；然而，载波系统70可以包括以下部件中的一个或多个(例如，取决于蜂窝技术)：蜂窝塔、基站收发站、移动交换中心、基站控制器、演进节点(例如，enodeb)、移动性管理实体(mme)、服务和pgn网关等，以及将无线载波系统70与陆地网络76连接或将无线载波系统与用户设备(ue，例如，其可包括车辆12中的远程信息处理设备)连接所需的任何其他网络部件。载波系统70可以实现任何合适的通信技术，包括gsm/gprs技术、cdma或cdma2000技术、lte技术等。通常，无线载波系统70、它们的部件、它们的部件的布置、部件之间的交互等等。在本领域中通常已知。

除了使用无线载波系统70之外，可以使用卫星通信形式的不同无线载波系统来提供与车辆的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发送站(未示出)来完成。单向通信可以是例如卫星无线电服务，其中节目内容(新闻、音乐等)由上行链路发送站接收，打包以便上载，然后发送到卫星，卫星向用户广播节目。双向通信可以是，例如，使用一个或多个通信卫星的中继电话服务，以中继车辆12和上行链路发送站之间的电话通信。如果使用的话，除了无线载波系统70之外或代替无线载波系统70，可以使用该卫星电话。

陆地网络76可以是传统的陆基电信网络，其连接到一个或多个陆线电话并且将无线载波系统70连接到远程设施80。例如，陆地网络76可以包括公共交换电话网络(pstn)，例如用于提供硬连线电话、分组交换数据通信和因特网基础设施的那些。陆地网络76的一段或多段可以通过使用标准有线网络、光纤或其他光学网络、有线网络、电力线、诸如无线局域网(wlan)的其他无线网络、提供宽带无线接入(bwa)的网络或其任何组合来实现。

计算机78(仅示出一个)可以是可通过诸如因特网的私人或公共网络访问的多个计算机中的一些。并且，计算机78(图1中仅示出一个)可以用于一个或多个目的，并且可以是例如：服务中心计算机，其中车辆诊断信息和其他车辆数据可以从车辆上载；由车主或其他用户用于各种目的的客户计算机，例如访问和/或接收车辆传感器数据(或其他数据)，以及建立和/或配置用户偏好或控制车辆功能；汽车共享服务器，其协调来自请求使用车辆的多个用户的登记作为汽车共享服务的一部分；或者通过与车辆12、pwd14、远程设施80或两者通信来从其或向其提供车辆传感器数据或其他信息的第三方存储库。本领域技术人员将理解，尽管在所示实施例中仅描绘了一个计算机78，但是可以使用许多计算机78。

车辆后端服务设施80是远程设施，意味着它位于远离车辆12的物理位置。远程设施80包括可以存储和/或执行远程助理应用程序84的一个或多个服务器82。车辆后端服务设施80(或简称“远程设施80”)可以设计成通过使用一个或多个电子服务器为车辆电子设备20提供许多不同的系统后端功能。远程设施80包括车辆后端服务服务器和数据库，其可以存储在多个存储器设备上。而且，远程设施80可以包括一个或多个开关、一个或多个现场顾问和/或自动语音响应系统(vrs)，所有这些都是本领域已知的。远程设施80可以包括这些各种部件中的任何一个或全部，并且在一些实施例中，各种部件中的每一个通过有线或无线局域网彼此耦合。远程设施80可以通过连接到陆地网络76的调制解调器接收和发送数据。数据传输也可以由诸如ieee802.11x、gprs等的无线系统进行。

远程设施80可以实施本文讨论的方法的一个或多个实施例。虽然仅示出了单个车辆后端服务设施80，但是可以使用多个车辆后端服务设施，并且在这种情况下，可以协调多个车辆后端服务设施的功能，使得车辆后端服务设施可以充当单个后端网络或使得每个设施的操作与其他设施的操作协调。并且，服务器可用于将存储在数据库中的信息提供给各种其他系统或设备，例如车辆12或pwd14。

远程设施80可以包括可以存储在多个存储器上的一个或多个数据库(未示出)。数据库可以存储关于一个或多个车辆、车辆类型(例如，特定型号和/或车型年份的车辆)、车辆诊断信息和/或其他车辆相关信息的信息。例如，车辆诊断信息可以包括各种车辆的诊断历史、诊断故障排除信息或指南、和/或可以由远程助理或车辆用户用于操作车辆或解决车辆问题的其他信息。

远程助理应用程序84可以在远程设施80的一个或多个计算机82上执行。远程助理应用程序84可以向驻留在远程设施80的远程助理呈现图形用户界面(gui)。远程助理应用程序84可用于与车辆12的pwd14和/或车辆12的电子设备20建立远程连接。在一个实施例中，远程助理应用程序84可以从pwd14接收实时视频数据并且可以使用远程助理应用程序84的gui在位于计算机82的显示器上呈现此接收的实时视频数据。此外，远程助理应用程序84可以从车辆12的车辆电子设备20接收信息，例如车辆诊断信息。在一个实施例中，远程助理应用程序84可以向车辆电子设备20发送车辆诊断信息请求，并且作为响应，车辆电子设备20可以获得车辆诊断信息并将其发送到远程助理应用程序84。在一个实施例中，pwd14可以促进车辆电子设备20和远程助理应用程序84之间的通信-例如，pwd14可以与车辆12共同定位并且可以与无线通信设备30建立短程无线通信(srwc)连接(例如，bluetooth^tm连接)，并且然后，车辆电子设备20可以通过srwc连接向pwd14发送信息，然后pwd14可以将该信息转发给远程助理应用程序84。在其他实施例中，车辆电子设备20可以在不使用pwd14的情况下与远程助理应用程序84建立单独的远程连接。

参考图2-4，示出了便携式无线设备14(pwd)(图2)的硬件和部件的示意图，以及pwd14的正视图(图3)和后视图(图4)。pwd14示出为具有蜂窝电话功能的智能手机；然而，在其他实施例中，pwd14可以是平板电脑、可穿戴电子设备(例如，智能手表或电子眼设备)，或任何其他合适的设备。如本文所使用的，便携式无线设备(pwd)是能够进行网络通信并且可由用户携带的设备，诸如可穿戴设备(例如，智能手表)、可植入设备或手持设备(例如，智能手机、平板电脑、笔记本电脑)。pwd包括：支持蜂窝电信和/或短程无线通信(srwc)的硬件、软件和/或固件，以及其他无线设备功能和应用程序。pwd14的硬件包括处理器102、存储器104、无线芯片组/电路110、114、天线112、114、相机120、122、gnss模块138、惯性传感器140和各种用户设备接口。

处理器102可以是能够处理电子指令的任何类型的设备，并且可以执行可以存储在存储器104中的这样的指令，例如上面关于无线通信设备30中的处理器32所讨论的那些设备和指令类型。例如，处理器102可以执行程序或处理数据以实施本文所讨论的方法的至少一部分。处理器还可以执行用于pwd的操作系统，诸如android^tm、ios^tm、microsoft^tm、windows^tm和/或其他操作系统。操作系统可以提供用户界面和内核，从而充当中央控制集线器，其管理pwd的硬件和软件之间的接口。此外，操作系统可以执行移动应用程序、软件程序和/或其他软件或固件指令。在一个实施例中，处理器可以执行车辆协助应用程序16(图1)，其使得用户能够从远程助理请求和接收远程协助。

存储器104可以包括非暂时性计算机可读介质，诸如有源临时存储器或任何合适的非暂时性计算机可读介质；这些包括不同类型的ram(随机存取存储器，包括各种类型的动态ram(dram)和静态ram(sram))、rom(只读存储器)、固态驱动器(ssd)(包括其他固态存储器，例如固态混合驱动器(sshd))、硬盘驱动器(hdd)以及磁盘或光盘驱动器。在其他实施例中，存储器104可以是非易失性存储卡，例如安全数字^tm(sd)卡，其插入到pwd14的卡槽中。

处理器102和/或存储器104可以连接到通信总线106，其允许处理器和pwd14的其他部件之间的数据通信，例如相机120、122、相机闪光灯124、led指示器126、视觉显示器130、麦克风132、扬声器134、按钮136、gnss模块138、惯性传感器140和各种其他部件。处理器102可以为这些部件提供处理能力和/或可以通过操作系统协调部件的功能，而存储器104可以允许存储可以由这些部件使用的数据。例如，处理器可以运行pwd14的主要操作系统，其可以包括在触摸屏显示器130上显示图形用户界面(gui)。在这样的示例中，gui可以包括可以存储在存储器104中的图像的显示。存储在存储器中的pwd处理器和软件还启用各种软件应用程序，这些软件应用程序可以由用户或制造商预先安装或安装。这可以包括车辆协助应用程序16(图1)，其可以允许pwd14与远程助理应用程序84和/或车辆电子设备20连接。该车辆协助应用程序16可以使用pwd14的一个或多个部件。例如显示器130、前置相机120、后置相机122、gnss模块138、加速度计140和扬声器134，如下面将更详细地讨论的。

pwd14包括短程无线通信(srwc)芯片组110和srwc天线112，其允许其执行srwc，例如任何ieee802.11协议、wimax^tm、zigbee^tm、wi-fidirect^tm、bluetooth^tm或近场通信(nfc)。srwc芯片组可以允许pwd14连接到另一个srwc设备。

另外，pwd14包含蜂窝芯片组114，从而允许pwd通过一个或多个蜂窝协议进行通信，例如gsm/gprs技术、cdma或cdma2000技术和lte技术。pwd14可以使用芯片组114和蜂窝天线116在无线载波系统70上传送数据。虽然所示实施例描绘了用于srwc和蜂窝通信芯片组的单独芯片组和天线，但是在其他实施例中，对于芯片组、单个芯片组和多个天线，或者单个芯片组和单个天线，可以存在单个天线。在这样的实施例中，无线电传输可以用于与无线载波系统70建立通信信道，例如语音信道和/或数据信道，使得可以通过信道发送和接收语音和/或数据传输。数据可以通过数据连接发送，例如通过数据信道上的分组数据传输，或者使用本领域已知的技术通过语音信道发送。对于涉及语音通信和数据通信的组合服务，系统可以通过语音信道利用单个呼叫，并根据需要在语音信道上的语音和数据传输之间进行切换，这可以使用本领域技术人员已知的技术来完成。

全球导航卫星系统(gnss)接收器138从gnss卫星星座60(图1)接收gnss信号。根据这些信号，模块138可以确定pwd14的位置，这可以使得设备能够确定它是否处于已知位置，例如家庭或工作场所，和/或pwd14与车辆12共同定位。gnss模块138可以类似于车辆电子设备中提供的gnss模块22，并且可以提供与移动pwd14类似的功能。

相机120和122可以是数字相机，其被合并到pwd14中并且使得pwd14能够数字地捕获图像和视频。如图3所示，相机120可以是前置相机，意味着相机面向pwd14前侧的区域-pwd14的前侧可以是包括主或主要的视觉显示器的那侧，其是所示实施例中的显示器130。由于pwd14的操作员通常保持或定位pwd以使视觉显示器在视野中，因此这种布置中的相机120可面向操作员，从而允许操作员捕获操作员(例如，自拍)和/或在操作员后面和周围的图像和视频。如图4所示，相机122是后置相机，意味着相机面向远离pwd前侧的区域。因此，在如上所述的pwd的通常使用的这种布置中，相机可以捕获操作员前面的区域的图像或视频。在另一个实施例中，多个相机可以位于pwd14上，使得相机捕获相同区域的图像或视频或相同区域的至少一部分。在又一个实施例中，可以使用立体相机(或立体式相机)或具有多个镜头或单独的图像/视觉传感器的其他相机。在这些实施例的任一个中，相机可用于捕获与捕获区域有关的更多信息，例如三维特性(例如，捕获区域中的物体的距离)，如本领域技术人员所知。

在一些实施例中，即使当用户当前没有捕获图像或记录要存储的视频时，由相机捕获的图像或视频也可以显示在视觉显示器130上，从而允许用户查看通过显示屏上的相机正在捕获的区域。由相机捕获并立即显示在显示器130上的图像或视频(或其数据)可以称为实时视频数据。而且，pwd14可以在显示的相机馈送上覆盖或布置某些图形对象以实现增强现实(ar)视频，如下面将更详细讨论的。另外，相机可以各自包括相机闪光灯，例如图4所示的相机闪光灯124，主要用于后置相机122；然而，这种相机闪光灯124或其他相机闪光灯(未示出)可用于其他目的，例如用于在黑暗或低光环境中提供光线或提供警告或其他指示以获得附近人的注意。

pwd14还包括许多用户设备接口，其为pwd的用户提供用于提供和/或接收信息的装置。如本文所使用的，术语“用户-设备接口”(或“机器-用户接口”)，当用于指代pwd的部件时，广泛地包括任何合适形式的电子设备，包括硬件和软件部件，其是位于pwd上，并且使得pwd的用户可以与pwd通信。用户设备接口的这种示例包括指示器126、可视显示器(或触摸屏)130、麦克风132、扬声器134和按钮136。指示器126可以是一个或多个光指示器，例如发光二极管(led)，并且，在一些实施例中，可以位于pwd14的正面上，如图3所示。该指示器可以用于多种目的，例如向pwd14的操作员指示存在新的关于pwd的通知。在许多实施例中，视觉显示器或触摸屏130是图形显示器，例如位于pwd14的正面上的触摸屏，如图3所示，并且可用于提供多种输入和输出功能。麦克风132向pwd14提供音频输入，以使得用户能够通过无线载波系统70提供语音命令和/或进行免提呼叫。扬声器134向车辆乘员提供音频输出，并且可以是专用的、单独的系统或主要设备音频系统的一部分。按钮136(仅示出一个)允许手动用户输入以提供其他数据、响应或控制输入。其他按钮可以位于pwd14上，例如pwd14侧面的锁定按钮、上下音量控制器、相机按钮等。另外，如本领域技术人员将理解的，按钮可以不需要专用于pwd14的单个功能，但是可以用于提供用于各种不同功能的接口装置。还可以使用各种其他车辆用户界面，因为图2-4的界面仅是一个特定实现的示例。

惯性传感器140可用于获得关于pwd14的加速度的大小和方向的传感器信息以及关于pwd14的方向的角度信息。惯性传感器可以是微机电系统(mems)传感器、获得惯性信息的加速度计或陀螺仪，可以(或用于获取)位置信息。惯性传感器140可用于确定或获得关于pwd14的定向信息和/或关于pwd14的运动信息。定向信息是表示pwd14相对于参考点或平面(例如大地)的定向的信息。运动信息是表示pwd14的移动的信息。运动信息、定向信息和实时视频数据(或其他捕获的图像/视频数据)可用于跟踪相机120、122视野内的各种物体的位置。这使得pwd14能够实施增强现实(ar)特征，其可以包括显示从远程助理应用程序84提供的注释图形，如下面将更详细地解释的。

在至少一个实施例中，pwd14可以包括可以用于识别相机120和/或122的视场中的一个或多个物体的图像处理技术。这些技术对于本领域技术人员来说是已知的，并且可以包括识别车辆、车辆的部分或部件、街道标志、交通信号、行人、人行道、道路和/或相机视野内的其他物体。例如，在一个实施例中，pwd14可以使用物体识别技术来识别车辆12的一个或多个部分，例如车辆电池的端子、油尺柄、油盖、车灯(例如，车头灯)、制动液盖、在车辆引擎盖下的其他部件或部分、车辆的其他部件或部分、这些部件或部分将要或可能需要维修等。在一些实施例中，这些图像处理技术(例如，物体识别技术)可以与运动信息和/或定向信息结合使用，以实施pwd14的ar功能。

参考图5，示出了协助用户参与车辆特征的方法200的实施例。在一个实施例中，方法200可以由便携式无线设备(pwd)执行，例如pwd14。尽管方法200的步骤被描述为以特定顺序执行，但是在此预期方法200的步骤可以以任何合适的顺序执行，如本领域技术人员将理解的。

方法200开始于步骤210，其中便携式无线设备(pwd)与远程助理应用程序加入远程协助会话。在一个实施例中，pwd14的车辆协助应用程序16可用于启动与位于远程设施80的远程计算机82的远程助理应用程序84的远程协助会话。远程助理，其是操作远程助理应用程序84并向车辆用户提供协助的个人，可以接收远程协助会话的请求或指示。远程助理可以加入远程协助会话，或者远程助理应用程序84可以自动加入或被分配远程协助会话。车辆用户可以是车主、车辆承租人、车辆技术人员或其他个人服务或请求车辆协助，可以将某些识别信息输入到pwd14的车辆协助应用程序16中，以便远程助理应用程序84可以识别车辆用户和/或车辆12。例如，车辆12可以与车辆用户持有的帐户或订阅相关联，并且当车辆用户登录(或提供凭证)到pwd14的车辆协助应用程序16时，关于车辆12的车辆信息可以被提供给远程助理应用程序84并用于识别车辆用户或车辆。

在至少一个实施例中，车辆12的车辆电子设备20可以连接到远程协助会话，或者可以以其他方式向远程助理应用程序84提供车辆信息。在一个实施例中，远程助理应用程序84可以识别车辆12，如上所述，然后，可以建立到车辆12的远程连接。然后，远程助理应用程序84可以从车辆电子设备20请求某些信息，例如车辆诊断信息、车辆运行状态、车辆环境状态和/或其他车辆信息。在一个实施例中，车辆用户可以使用应用程序16来允许远程助理访问车辆电子设备(或车辆计算机系统)以便获得信息和/或实施车辆操作。在另一个实施例中，车辆电子设备20可以使用srwc与与车辆共同定位的pwd14连接-例如，无线通信设备30和pwd14的srwc电路110可以建立srwc连接。然后，pwd14可以从车辆电子设备20请求某些车辆信息，例如车辆诊断信息或其他车辆状态信息。然后，车辆电子设备20可以通过srwc连接提供所请求的信息来进行响应。然后，pwd14可以将该信息发送到远程设施80，并且具体地，例如，发送到远程助理应用程序84。在一个实施例中，远程助理应用程序84可以发送车辆信息请求(即，对车辆信息的请求)到pwd14，然后，pwd14可以将车辆信息请求转发给车辆电子设备20。然后，pwd14可以从车辆电子设备20接收车辆信息响应，然后可以将该接收到的车辆信息提供给远程协助应用程序84。方法200继续到步骤220。

在步骤220中，视频数据由便携式无线设备(pwd)捕获并显示在pwd的显示器上。在一个实施例中，pwd14可以使用相机122来捕获视频数据，并且捕获的视频数据可以在捕获视频数据时显示在pwd14的显示器130上-在捕获视频数据时显示该视频数据可以被称为显示实时视频数据。捕获的视频数据也可以存储到pwd14的存储器104和/或使用处理器102进行处理。捕获的视频数据可以与反映捕获视频数据的时间的时间戳(或其他时间指示符)相关联。另外，在一些实施例中，可以在捕获实时视频数据时确定或以其他方式获得定向信息和/或运动信息。在一个实施例中，该信息可以使用pwd14的惯性传感器140获得。该定向信息和/或运动信息可以统称为位置信息-即，位置信息可以包括定向信息或运动信息中的任一个或两个。该位置信息可以与反映记录或以其他方式获得位置信息的时间的时间戳(或其他时间指示符)相关联。此外，位置信息可以基于时间戳(或其他时间指示符)与某些视频数据相关联-例如，可以基于确定位置信息是在与捕获视频数据的时间相同或相似的时间确定的来关联位置信息和视频数据。在一些实施例中，位置信息可以被初始化为与第一捕获视频数据相关联的初始记录点，如下面关于方法400(图7)所讨论的。方法200继续到步骤230。

在步骤230中，将实时视频数据发送到远程协助应用程序。可以在捕获实时视频数据时将实时视频数据发送或流传输到远程协助应用程序84，使得实时视频数据可以实时地显示在远程计算机82上。例如，pwd14可以通过蜂窝网络70和陆地网络76将视频数据发送到远程协助应用程序84。如本领域技术人员所理解的，可以使用各种远程视频或数据流技术。实时视频数据可以由pwd14连续捕获，存储在pwd14，并在步骤240到280期间发送到远程计算机82处的远程协助应用程序84。方法200前进到步骤240。

在步骤240中，从远程协助应用程序接收注释信息。注释信息可包括注释图形信息和注释位置信息。注释图形信息是(或至少可以)用于获得注释图形的信息。注释图形可以是用于注释实时视频数据的图形，使得可以向车辆用户提供增强现实(ar)视频。注释图形可以由远程助理使用远程协助应用程序84产生和/或配置。在至少一些实施例中，注释图形可以由远程助理提供，以便协助车辆用户操作或维护车辆。在一个实施例中，注释图形信息包括表示注释图形的图像或视频数据。在另一实施例中，注释图形信息包括注释图形标识符，其用于标识将在pwd14处显示为作为ar视频的一部分的特定图形。在一个实施例中，注释图形标识符可用于从pwd14的存储器中调用(例如从存储器104调用)注释图形或表示注释图形的数据。在另一实施例中，pwd14可从远程服务器(例如远程设施80或计算机78处的服务器)请求注释图形，其然后可以向pwd14提供所请求的注释图形。

注释位置信息是用于识别注释图形的注释显示位置的信息。如上所述，注释图形用于注释正在pwd14的显示器上显示的实时视频数据(参见步骤220)。注释位置信息可以指定要在其上显示图形的实时视频数据内的位置。在一个实施例中，注释位置信息可包括沿着显示器(或在实时视频数据内)要渲染注释图形的坐标位置(例如，像素坐标(x，y)其是注释图形位置的示例)。在另一实施例中，注释位置信息可包括物体标记信息，其由pwd用于用捕获实时视频数据的相机122的视野识别物体。例如，使用物体识别技术将该物体标记信息与实时视频数据一起处理，以识别由物体标记信息表示的物体。一旦在实时视频数据(或相机的视野)内识别出物体，就可以确定坐标像素位置-即，确定注释图形位置。注释位置信息和/或注释图形信息可以存储在存储器104上。方法200继续到步骤250。

在步骤250中，在实时视频数据的一部分上显示注释图形，以便产生增强现实(ar)视频。可以在使用注释位置信息确定的注释图形位置处渲染注释图形。例如，可以显示实时视频数据(步骤220)，然后，可以在注释图形位置处在实时视频数据的顶部上(或覆盖其上)渲染注释图形。本领域技术人员将理解可以用于以这种方式在实时视频数据上显示注释图形的各种ar处理技术。方法200继续到步骤260。

在步骤260中，确定是否要更新注释图形。在至少一些实施例中，可以确定当相机的视野改变时和/或当pwd14的位置改变时更新注释图形。例如，pwd14可以通过连续记录使用一个或多个传感器(例如惯性传感器140和/或相机120、122)确定的位置信息来跟踪pwd14的位置。在一个实施例中，位置信息可包括定向信息和运动信息。定向信息可以由方位角和仰角表示，其可以通过使用本领域技术人员所理解的加速度计或其他惯性传感器140来确定。当首次捕获实时视频数据时，运动信息可以归零或初始化，并且可以跟踪运动信息，使得pwd14可以确定pwd14从初始位置移动的方式(例如，幅度和方向)。位置信息可用于通知pwd14应如何更新注释图形-即，可以基于初始注释图形位置和惯性传感器140跟踪的位置信息确定注释图形位置。在另一个实施例中，如本领域技术人员所理解的，pwd14可以通过使用图像处理技术检测到相机122的视野已经改变来确定更新注释图形。当检测到要更新注释图形时，方法200继续到步骤270；否则，方法200继续监测pwd14的视野的变化或移动或其他重新定位。

在步骤270中，更新ar视频。在一个实施例中，更新ar视频包括确定用于注释图形的注释图形位置。在一个实施例中，pwd14可以使用物体识别技术来识别实时视频数据内的物体。物体识别技术可用于确定实时视频数据内的注释图形位置。在另一个实施例中，pwd14可以通过使用惯性传感器140(例如)获得当前位置信息，然后将该当前位置信息与初始或先前记录的位置信息进行比较以确定注释图形位置。本领域技术人员将知道如何通过使用惯性传感器或其他运动/定向传感器来跟踪三维空间内的物体。

除了确定更新注释图形位置之外，更新ar视频还可以(或替代地)包括确定注释图形定向。例如，注释图形可以是三维物体，并且基于pwd14的移动，可以更新注释图形的定向，使得注释图形的视差与相机的移动和/或视角一致。这可以包括为注释图形调用或产生新数据。一旦更新了注释图形位置和/或注释图形定向，方法200就继续到步骤250，其中显示注释图形。尽管步骤260和280被描绘为在步骤210-250之后执行，但是这些步骤可以与那些步骤同时执行。例如，可以连续地跟踪pwd的相机的视野和/或pwd的位置，并且可以相应地更新注释图形。而且，远程协助会话可以在那些步骤210-270中的任何一个之前或期间结束，因此，在这种情况下，方法200可以结束。

在步骤280中，确定远程协助会话是已结束还是正在结束。在一个实施例中，会话可以由车辆用户(或pwd用户)或远程助理按下车辆协助应用程序16或远程助理应用程序84的图形用户界面(gui)上的“结束会话”按钮或类似按钮来结束。然后方法200结束。

参考图6，示出了向车辆的车辆用户提供增强现实(ar)远程协助的方法300的实施例。在一个实施例中，方法300可以由远程计算机实施，例如远程设施80处的远程计算机82。虽然方法300的步骤被描述为以特定顺序实施，但是在此预期如本领域技术人员将理解的，方法300的步骤可以以任何合适的顺序执行。

方法300开始于步骤310，其中便携式无线设备(pwd)与远程助理应用程序加入远程协助会话。该步骤类似于如上所述的方法200(图5)的步骤210，因此，步骤210的讨论结合于此。方法300继续到步骤320。

在步骤320中，在远程助理应用程序处从便携式无线设备(pwd)接收实时视频数据。在至少一个实施例中，该步骤是方法200(图5)的步骤230的推论。可以使用pwd14的相机120和/或相机122捕获实时视频数据，然后将其发送或流式传输到远程助理应用程序84。远程助理应用程序84可以呈现包括实时视频数据流部分的图形用户界面(gui)，其中接收到的实时视频数据以流(或实时)方式显示。因此，可以在接收实时视频数据的时间呈现实时视频数据。在一个实施例中，实时视频数据可以包括以实时方式流式传输的图像和声音(或音频)。方法300继续到步骤330。

在步骤330中，从车辆接收车辆诊断信息。在一个实施例中，通过远程助理应用程序84和车辆电子设备20之间的远程连接接收车辆诊断信息。远程连接可以是直接连接，其指的是车辆电子设备20和远程助理应用程序84(或远程计算机82)之间的连接，其不使用pwd14作为通信路径的一部分。例如，通过向远程助理应用程序84发送车辆标识符或可用于识别车辆的其他信息(例如，可以由远程设施用来识别与车辆用户订户账户相关联的车辆的车辆用户订户信息)，pwd14可以向特定车辆的远程助理应用程序84通知pwd14与之相关联。然后，远程助理应用程序84可以通过陆地网络76和/或蜂窝运营商网络70连接到车辆电子设备20。可以通过远程连接从远程助理应用程序84向车辆电子设备20发送对车辆诊断信息(即，车辆诊断信息请求)或其他车辆信息的请求。然后，车辆电子设备20可以通过从一个或多个vsm获得车辆诊断信息(例如，dtc)来响应，然后将该信息作为车辆诊断信息响应的一部分发送到远程助理应用程序84。

在另一个实施例中，车辆诊断信息可以由pwd14获得，然后从pwd14发送到远程助理应用程序84。例如，作为加入远程协助会话的一部分(或响应于此)，pwd14可以经由srwc连接向车辆电子设备20发送车辆诊断信息请求，并且作为响应，车辆电子设备20可以将所请求的车辆诊断信息发送到pwd14。然后可以将在pwd14处经由srwc连接从车辆电子设备20接收的该车辆诊断信息响应转发到远程助理应用程序84。在另一个实施例中，远程助理应用程序84可以产生车辆诊断信息请求并将其发送到pwd14，然后pwd14可以发送该车辆诊断信息请求(或基于其的另一请求)到车辆电子设备20。然后可以在pwd14处接收车辆诊断信息响应并将其转发到远程助理应用程序84(或者，车辆诊断信息响应可以通过车辆电子设备20和远程助理应用程序84之间的远程连接从车辆电子设备20直接发送到远程助理应用程序84)。然后方法300继续到步骤340。

在步骤340中，显示实时视频数据，并且在远程助理应用程序处呈现车辆诊断信息。如上所述，实时视频数据可以在远程助理应用程序84的gui的实时视频数据流部分以实时流式方式显示。此外，实时视频数据可包括(或伴随)由pwd14使用麦克风132捕获的声音(或音频)数据。可以使用远程计算机82处的扬声器将该声音数据呈现给远程助理。另外，可以使用gui将车辆诊断信息呈现给远程助理。另外，或者可选地，可以使用本领域技术人员所理解的自然语言产生或其他文本到音频技术，使用远程计算机82处的扬声器来呈现车辆诊断信息。方法300继续到步骤350。

在步骤350中，从远程助理获得注释信息。远程助理是远程助理应用程序84的用户。远程助理可以使用远程计算机82处的人机界面(例如，键盘、鼠标、触摸屏)来向远程助理应用程序84提供注释输入。注释输入可以指示图形的类型、颜色、注释的位置，和/或与注释有关的各种其他信息。注释输入可用于产生注释信息，该注释信息包括标识注释图形和注释图形位置或注释位置信息的信息。注释图形可以由远程助理使用注释工具(例如，允许远程助理在实时视频数据上绘制的画笔)创建或产生，或者可以从预定义的注释图形集合(例如，先前产生的图像)中选择。注释图形可以位于实时视频数据上的特定位置，并且远程计算机82和/或远程助理应用程序84可以确定注释位置信息。

在一个实施例中，注释位置信息可以包括实时视频数据上的注释图形位置(例如，像素坐标位置)。另外或替代地，注释位置信息可包括物体标记信息，其识别由pwd14的相机120,122捕获并且如实时视频数据中所表示的三维空间内的物体(或位置)。例如，远程助理可以将注释图形放置在实时视频数据内出现油盖的区域或点处。如本领域技术人员所理解的，使用物体识别技术(或其他图像处理技术)将油盖识别为车辆12的油盖。然后，可以产生或以其他方式获得(例如，从数据库中调用)注释位置信息(或物体标记信息)，其可由pwd14使用以使用物体识别技术(或其他图像处理技术)来识别油盖。在一个实施例中，一旦识别出油盖(例如，识别为油盖)，就可以从远程设施80处的数据库调用物体标记信息。在一个实施例中，物体标记信息可以包括在注释位置信息，以及注释图形位置(例如，像素坐标位置)中。注释信息还可以包括时间戳(或其他时间指示符)，使得可以向pwd14通知其中产生或配置注释的实时视频数据。方法300继续到步骤360。

在步骤360中，将注释信息发送到pwd。注释信息可以通过陆地网络76和/或蜂窝载波系统70从远程助理应用程序84发送到pwd14。可以将注释信息打包成单个包(或数据单元)用于传输或者可以是打包成多个数据包(或数据单元)进行传输。可以连续地实施步骤320到330，直到会话结束，例如以上关于方法200(图5)的步骤280所描述的。例如，可以以整个会话的流传输方式连续地接收实时视频数据(或者直到远程助理或车辆用户指示终止实时视频数据)。另外，至少在一个实施例中，远程助理可以在会话期间的任何时间使用远程助理应用程序84请求车辆诊断信息。此外，远程助理可以清除、修改、添加或以其他方式改变在pwd14处呈现的注释(或注释图形)。当会话终止时，方法300则结束。

参考图7，示出了向车辆的车辆用户提供增强现实(ar)远程协助的方法400的实施例。在一个实施例中，方法400可以由远程计算机82在远程设施80、车辆电子设备20和/或pwd14处实施。尽管方法400的步骤被描述为以特定顺序执行。在此考虑，方法400的步骤可以以任何合适的顺序进行，如本领域技术人员所理解的。

方法400开始于步骤405，其中在pwd14和远程助理应用程序84(或远程计算机82)之间建立远程协助会话。以上关于方法200(图5)的步骤210描述了该步骤。然后，在步骤410，pwd14通过srwc连接(例如，bluetooth^tm)向车辆电子设备20发送车辆信息请求(例如，车辆诊断信息请求)，并且在步骤415，车辆电子设备20通过向pwd14提供包括所请求信息的车辆信息响应来作出响应。在步骤420，车辆信息响应从pwd14发送到远程助理应用程序84。如上所述，在其他实施例中，远程助理应用程序84可以直接通过车辆电子设备20和远程计算机82之间的远程连接从车辆电子设备20请求车辆信息(例如，车辆诊断信息)。

在步骤425中，车辆监测或跟踪pwd14的移动，在一个实施例中，可以通过使用惯性传感器140来实现。可以将定向信息设置为初始定向值，这可以称为初始定向信息。而且，运动信息可以被设置为初始运动值，其可以被称为初始运动信息。应当理解，运动信息和定向信息可以或可以彼此结合地表示，并且可以不彼此分开地存储或记录。然后，当pwd14被移动或重新定向并且存储在pwd14的存储器104中时，可以更新位置信息。在步骤430，pwd14可以开始捕获实时视频数据，并且该实时视频数据可以存储在存储器104(在一些实施例中)。实时视频数据可以包括由pwd14的相机120、122捕获的视觉数据，并且在一些实施例中，还可以包括由麦克风132捕获的音频或声音数据。在步骤435，将实时视频数据发送到远程助理应用程序84并且然后在步骤445显示。然后，可以连续地实施步骤430、435和445，使得由pwd14捕获的实时视频数据在远程助理应用程序84处连续地流式传输到gui。在步骤440，可以在步骤435或与步骤435大约同时发生，将位置信息存储到存储器中-例如，该信息可以使用pwd14的惯性传感器140获得。在一个实施例中，该步骤可以包括仅设置初始位置信息(即，初始定向信息和/或初始运动信息)，其可以存储在存储器104中。

在步骤450，远程助理向远程助理应用程序84提供注释输入。然后，可以在远程助理应用程序84处并基于注释输入产生或以其他方式获得注释信息。然后可以在步骤455将该注释信息发送到pwd14。注释信息可以用于以增强现实(ar)方式在pwd14的显示器130处呈现注释图形，使得注释图形被显示在实时视频数据的一部分上方-具有叠加或重叠的注释图形的该实时视频数据可被称为ar视频。如上所述，注释图形可以被锁定、锚定或固定到由相机120、122捕获的三维空间内的物体。在步骤465中，pwd14检测pwd14的位置变化(即，运动、定向的变化)。pwd14可以使用惯性传感器140(例如，加速度计、陀螺仪)来跟踪和记录该变化，然后将其存储在存储器104中。然后，在步骤470中，可以通过确定更新的注释图形位置和/或注释图形定向来更新ar视频。然后，更新的ar视频显示在显示器130上。然后，方法400可以在会话结束时结束(例如，如方法200(图5)的步骤280中所述)。

在一个实施例中，方法200、方法300和/或方法400还可以包括从远程助理应用程序84(或远程计算机82)向pwd14提供实时视频数据的步骤。例如，远程计算机82处的相机和/或麦克风可以记录远程助理的视频和/或音频，并且可以将远程助理的该实时视频数据提供给pwd14，使得远程助理可以提供可听指令或其他与远程助理的通信。此外，提供远程助理的实时视频可以为车辆用户提供更个性化和/或更有吸引力的体验。另外，远程助理可以使用手势和/或其他肢体语言并且由车辆用户观察，以便于协助车辆。并且，在一个实施例中，前置相机120可以捕获车辆用户的实时视频数据，使得远程助理可以看到车辆用户，其可以贡献或促进远程助理和车辆用户之间的通信。在特定实施例中，可以通过前置相机120和pwd14的后置相机122同时捕获实时视频数据-两个实况视频数据流都可以发送到远程助理应用程序84并以实时方式流式传输。

在一个实施例中，方法200、方法300和/或方法400还可以包括记录远程协助会话的步骤。例如，ar视频(包括实时视频数据和/或音频)和注释图形可以被记录在pwd14处并存储在存储器104中。然后可以在稍后时间在pwd14处回放所记录的ar视频，例如在远程协助会话结束之后的时间，使得车辆用户可以查看由远程助理提供的指令、指导或其他通信。该记录的ar视频可以存储在pwd14的存储器104中。同样，远程助理的实时视频数据可以被记录并存储在远程计算机82的存储器或远程设施80的数据库(或其他存储器)中。例如，为了质量保证的目的，可以稍后检查远程助理的该实时视频数据和/或ar视频(或pwd14的实时视频数据)。

在一个实施例中，方法200、方法300和/或方法400可以包括在远程助理应用程序84(或远程计算机82)处产生和发送ar视频，然后将ar视频发送到pwd14。以这种方式，ar处理在远程设施(例如，远程计算机82或其他远程计算机)处实施以创建ar视频，然后将其发送回pwd14。

在一个实施例中，方法200、方法300和/或方法400可以包括从远程助理应用程序84向pwd14发送媒体内容。该媒体内容可以包括预先录制的视频、故障排除指南、操作员或车辆手册、网页或网站(或url，链接等)、图像或其他协助文本、图形或内容。

参考图8，示出了用于远程助理应用程序(例如在远程设施80处的远程计算机82上执行的远程助理应用程序84)的图形用户界面(gui)500。gui500包括车辆信息部分502、车辆操作或服务指南部分504(也称为车辆引导部分504)、实时视频数据流传输部分506和注释配置部分508。车辆信息部分502可以显示关于车辆12以及车辆用户(或pwd14或应用程序16的用户)的信息。例如，车辆信息部分502包括车主(或用户)名称(“johndoe”)、车辆用户的电话号码、车辆识别信息，其被示出为描述车辆的车型年份(“2011buickenclave”)，以及车辆的位置和/或pwd14的位置(例如，“1234大街”)。可以在该区域、另一区域或gui的另一屏幕上呈现其他车辆信息。例如，可以使用gui的另一屏幕或在同一屏幕上将车辆诊断信息呈现给远程助理，使得远程助理可以对车辆12的问题进行故障诊断或以其他方式评估车辆操作或其状况。然后，远程助理可以识别问题或故障诊断指南以用于协助车辆用户与车辆12。

在车辆引导部分504中，可以向远程助理呈现逐步指南或手册，并用于协助远程助理通过远程协助会话向车辆用户提供协助或服务。远程助理可以选择问题、故障排除指南、操作员或车辆手册，或可以呈现给远程助理的其他协助文本或图形。例如，远程助理可以选择协助“充电电池”，其可以用于例如当电池耗尽或者不充电时协助车辆用户充电或跳接车辆电池。车辆引导部分504可以呈现说明性步骤部分510中的步骤，其可以由远程助理使用按钮512和514导航，按钮512和514可以是“后退”和“下一步”按钮以在步骤之间导航。在一个示例中，车辆引导部分504可以读作“协助：给电池充电，步骤4：找到正极端子。电池的正极端子位于发动机舱的最左侧，略微位于散热器盖下方。”

实时视频数据流传输部分506显示从pwd14接收的实时视频数据，例如在方法300(图6)的步骤320和340中描述的。注释配置部分508可以包括一个或多个注释工具或配置选项516-528，其可以被远程助理选择和使用以用于注释实时视频数据。在所示实施例中，用户可以选择允许远程助理用文本注释实时视频数据的文本工具516，其可以使用键盘或麦克风以及远程计算机82处的语音识别软件来输入。图8的配置部分508还包括可用于在实时视频数据上创建圆形或椭圆形的圆形工具518，可用于在实时视频数据上创建正方形或矩形的矩形工具520，以及可用于在实时视频数据上创建箭头的箭头工具522。此外，图8的注释配置部分508还包括可用于在实时视频数据上绘制的画笔或铅笔工具524以及允许远程助理从存储器(或数据库)中选择可用于注释实时视频数据的图像或图形的预设图形工具526。另外，图8的注释配置部分508包括颜色选择器528，其允许远程助理改变注释图形的颜色，注释图形可以是文本、圆形或椭圆形、矩形、箭头、自由形式的绘图，或者预定义的图形或图像，如上所述。此外，圆形或椭圆形、矩形和/或箭头可以被配置为包括不同的线或填充颜色，并且在一些实施例中，线或填充可以被设置为“无填充”(或透明)。在一个示例中，当选择预设图形工具526时，可以在gui500处显示预定义图形的列表，并且远程助理可以选择预定义图形之一。在一个实施例中，注释图形可以是预定义的三维形状或物体，并且可以由远程助理使用例如预设图形工具526来选择。并且，在一个实施例中，注释图形可以是动画或运动图像(或视频)，例如图形交换格式(gif)图像/动画。

在图8所示的实施例中，远程助理添加了箭头注释图形530，其指向实时视频数据中的电池的正端子532。根据一个实施例的一个场景，远程助理可以按下箭头工具522然后触摸(或以其他方式指示)(例如，使用触摸屏上的触摸、鼠标、键盘)实时视频数据上的点或区域，例如感兴趣物体所在的点，即正端子532。然后，远程助理可以重新定向或旋转注释图形(例如，箭头530)，调整图形的大小，以其他方式修改或配置图形，和/或使用触摸屏、鼠标、键盘或其他人机界面上的触摸来移动或重新定位注释图形。可以将注释图形发送到pwd14，例如在方法300(图6)的步骤360和/或方法400(图7)的步骤455中描述的。

如上所述，在一个实施例中，远程助理可以选择实时视频数据上的点，然后，远程助理应用程序84可以识别该选定点处的物体。可以从存储器(或数据库)中调用所识别的物体的物体标记信息，然后将其发送到pwd14，以便当pwd14被重新定位时，pwd14可以使用物体识别技术来跟踪实时视频数据内的物体。以这种方式，即使当相机120、122的视野移动时，注释图形也可以跟踪并固定到物体(例如，正端子522)，以便提供增强现实(ar)视频。

在包括所示实施例的一个实施例中，实时视频数据流传输部分506可以包括附加的实时视频流传输部分534。附加的实时视频流传输部分534可以用于呈现远程助理的实时视频数据，使得例如，远程助理可以确保车辆用户可以在实时视频数据内看到远程助理，或者使得实时视频数据包括远程助理所期望的视野。或者，附加的实时视频流部分534可以包括车辆用户的实时视频数据(如由前置相机120捕获的)，使得远程助理可以同时看到车辆12(如实时视频数据流传输部分506的主要部分所示)和车辆用户。并且，在另一个实施例中，实时视频数据流传输部分506可以包括多个附加的实时视频流传输部分534，使得可以同时查看所有三个实时视频数据流。

参考图9，示出了用于车辆协助应用程序的图形用户界面(gui)600，例如车辆协助应用程序16。车辆协助应用程序16的gui600可以流式传输实时视频数据并且可以渲染由远程助理使用远程助理应用程序84配置的一个或多个注释图形(仅在630处示出一个)。箭头注释图形630对应于由远程助理配置的箭头注释图形530(图8)。可以使用本领域技术人员所理解的ar处理技术随着pwd14或相机122的视野改变来更新箭头注释图形630(和530)。gui600可以包括按钮602，其可以用于结束远程协助会话，将gui600导航到另一个屏幕，或者实施车辆协助应用程序16的另一个任务。另外，在一些实施例中，gui600可以包括一个或多个附加的实时视频流部分，例如上面关于远程助理应用程序84的gui500所讨论的部分。

在一个实施例中，方法200，方法300，方法400和/或其部分可以在计算机可读介质中包含的一个或多个计算机程序(或“应用程序”或“脚本”)中实现，并且包括由一个或多个系统的一个或多个计算机的一个或多个处理器可用的(例如，可执行的)指令。计算机程序可以包括一个或多个软件程序，其包括源代码、目标代码、可执行代码或其他格式的程序指令。在一个实施例中，计算机程序中的任何一个或多个可以包括一个或多个固件程序和/或硬件描述语言(hdl)文件。此外，计算机程序可以各自与任何程序相关数据相关联，并且在一些实施例中，计算机程序可以与程序相关数据打包在一起。程序相关数据可以包括数据结构、查找表、配置文件、证书或以任何其他合适格式表示的其他相关数据。程序指令可以包括程序模块、例程、程序、功能、过程、方法、物体、部件和/或类似物。计算机程序可以在一个或多个计算机上执行，例如在彼此通信的多个计算机上执行。

计算机程序可以体现在计算机可读介质(例如，远程计算机82上的存储器，pwd14的存储器104，存储器38)上，其可以是非暂时性的并且可以包括一个或多个存储设备、制品等。示例性计算机可读介质包括计算机系统存储器，例如ram(随机存取存储器)、rom(只读存储器)；半导体存储器，例如eprom(可擦除可编程rom)、eeprom(电可擦除可编程rom)、闪存；磁盘或光盘或磁带；和/或类似物。计算机可读介质还可以包括计算机到计算机的连接，例如，当通过网络或另一通信连接(有线、无线或其组合)传输或提供数据时。上述示例的任何组合也包括在计算机可读介质的范围内。因此，应该理解，所述方法可以至少部分地由能够执行与所公开方法的一个或多个步骤相对应的指令的任何电子物品和/或设备来执行。

应理解，前述内容是对本发明的一个或多个实施例的描述。本发明不限于本文公开的特定实施例，而是仅由下面的权利要求限定。此外，前面描述中包含的陈述涉及特定实施例，并且不应被解释为对本发明范围的限制或权利要求中使用的术语的定义，除非以上明确定义术语或短语。对于本领域技术人员来说，各种其他实施例以及对所公开的实施例的各种改变和修改将是显而易见的。所有这些其他实施例、改变和修改旨在落入所附权利要求的范围内。

如在本说明书和权利要求书中所使用的，术语“例”、“例如”、“如”、“诸如”和“比如”，并且动词“包含”、“具有”、“包括”及其其他动词形式，当与一个或多个部件或其他项目的列表一起使用时，每个都被解释为开放式的，这意味着该列表不应被视为排除其他附加部件或项目。其他术语应使用其最广泛的合理含义来解释，除非它们用于需要不同解释的上下文中。另外，术语“和/或”应解释为包含性或。因此，例如，短语“a，b和/或c”将被解释为涵盖以下所有内容：“a”；“b”；“c”；“a和b”；“a和c”；“b和c”；以及“a，b和c”。