具有服务信息的增强现实虚拟汽车x射线的制作方法

具有服务信息的增强现实虚拟汽车x射线的制作方法
【专利摘要】本发明描述了用于为用户提供关于与工具相对于特定的物体的位置和取向相关的所述物体的信息的工具，所述工具包括图像采集装置，所述图像采集装置被配置为采集所述物体的图像。所述工具还包括：位置和取向传感器，其被配置为确定所述工具相对于所述物体的位置；处理器，其被配置为根据所述图像确定所述物体的类型；显示器，其被配置为显示所述物体的所述图像，所述显示器还被配置为响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信息；并且所述处理器还被配置为确定所述传感器和所述工具的所述位置和所述取向的其中之一的变化，并且所述处理器还被配置为修改所述显示。
【专利说明】具有服务信息的増强现实虚拟汽车X射线
[0001] 相关申请的交叉引用
[0002] 本申请要求享有于2012年5月29日提交的美国临时申请No.61/645941和2013 年3月15日提交的美国专利申请No. 13/840850的优先权的权益，由此出于所有目的而通 过引用的方式将这两个申请的全部内容并入本文中，如同在本文中进行完整阐述一样。

【技术领域】
[0003] 本发明涉及为服务技术人员提供增强现实服务信息的过程、系统和装置，并且具 体而言，本发明涉及提供车辆等的部件的内部和外部配置、原理图和细节的增强现实服务 信息。

【背景技术】
[0004] 当前，出于维修的目的，服务技术人员必须使用硬拷贝示意图或基于计算机的示 意图来示意性地查看车辆的各个内部方面。当前，不存在为服务技术人员提供如下能力的 解决方案：相对于车辆来移动计算机并且结合计算机相对于车辆的位置来改变原理图和示 意图。此外，不存在为服务技术人员提供如下能力的解决方案：相对于车辆来移动计算机并 且结合计算机相对于车辆的位置来改变原理图和示意图以使它们叠加在计算机中所示的 车辆图像之上。
[0005] 因此，需要可以响应于计算机相对于车辆的移动来提供原理图和示意图以改进维 修过程的计算机。


【发明内容】

[0006]前述需求在很大程度上由本发明来满足，本发明具有用于实施计算机系统以响应 于计算机的移动来提供原理图和示意图的方法和系统。
[0007] 在一个方面中，用于为用户提供关于与工具相对于特定的物体的位置和取向相关 的物体的信息的工具包括：图像采集装置，其被配置为采集物体的图像；位置和取向传感 器，其被配置为确定工具相对于物体的位置；处理器，其被配置为根据图像确定物体类型； 显示器，其被配置为显示物体的图像，显示器还被配置为响应于对物体类型的确定而显示 除了物体的图像之外的额外信息，并且处理器还被配置为确定传感器与工具的位置和取向 的其中之一的变化，并且处理器还被配置为响应于对位置和取向的其中之一的变化的确定 来修改显示，以显示除了物体的图像之外的额外信息。
[0008] 在另一个方面中，用于操作为用户提供关于与工具相对于特定的物体的位置和取 向相关的物体的信息的工具的方法包括：采集物体的图像；感测位置和取向，以确定工具 相对于物体的位置；根据图像确定物体的类型；显示物体的图像；响应于对物体类型的确 定而显示除了物体图像之外的额外信息；以及确定工具的位置和取向的其中之一的变化， 并且进一步响应于对位置和取向的其中之一的变化的确定而显示除了物体图像之外的额 外信息。
[0009] 在又一个方面中，存储用于为用户提供关于与工具相对于特定的物体的位置和取 向相关的物体的信息的工具的计算机可执行指令的有形存储介质装置包括：用于采集物体 图像的指令；用于感测位置和取向以确定工具相对于物体的位置的指令；用于根据图像确 定物体的类型的指令；用于显示物体图像的指令；用于响应于对物体类型的确定而显示除 了物体图像之外的额外信息的指令；以及用于确定工具的位置和取向的其中之一的变化并 且进一步响应于对位置和取向的其中之一的变化的确定而显示除了物体图像之外的额外 信息的指令。
[0010] 因此相当宽泛地概述了本发明的特定方面，以便可以更好地理解本文中的本发明 的【具体实施方式】，并且以便可以更好地领会本发明对现有技术的贡献。当然，下文将描述本 发明的附加的方面，这将形成所附权利要求的主题内容。
[0011] 就此而言，在详细解释本发明的至少一个方面之前，要理解本发明在其应用方面 并不限于以下描述中阐述或在以下附图中示出的构造的细节和部件的布置。本发明能够具 有所描述的那些方面之外的方面并且能够通过各种方式来实践或执行。同样，要理解本文 中所采用的措辞和术语以及摘要是出于描述的目的并且不应被视为进行限制。
[0012] 像这样，本领域的技术人员将认识到，本公开内容所基于的概念可以容易被用作 设计用于执行本发明的一些目的的其它结构、方法和系统的基础。因此，重要的是将权利要 求视为包括这种等价构造，只要它们不脱离本发明的精神和范围。

【专利附图】

【附图说明】
[0013] 图1示出了根据本发明构造的工具的前侧。
[0014] 图2示出了根据本发明构造的工具的后侧。
[0015] 图3是根据本发明的一方面的工具的部件的方框图。
[0016] 图4示出了如本发明的一方面所显示的车辆的内部部件的示例性显示。
[0017] 图5示出了根据本发明的一方面的显示与车辆相关的数据图像的过程的流程图。
[0018] 图6示出了根据本发明的一方面的用于使车辆的选择自动化的过程的流程图。

【具体实施方式】
[0019] 在本说明书中提及"一个方面"、"一方面"、"其它方面"、"一个或多个方面"等表示 结合该方面描述的特定特征、结构或特性包括在本公开内容的至少一个方面中。例如在说 明书的各处出现的术语"在一个方面中"不一定全部指定同一方面，也不一定指代与其它方 面互斥的独立或替代的方面。此外，描述了可以由一些方面呈现而不由其它方面呈现的各 种特征。类似地，描述了可能是一些方面的要求而非其它方面的要求的各种要求。
[0020] 图1示出了根据本发明构造的工具的前侧；并且图2示出了根据本发明构造的工 具的后侧。具体而言，根据本发明的一方面的工具100包括外壳101和显示器102。显示器 102可以是任何类型的显示器，包括IXD、LED、VGA、OLED、SVGA和可以包括触摸感应屏幕显 示器的其它类型的显示器。显示器102可以是彩色的、非彩色的（例如灰度）或二者的组 合。显示器102可以显示信息，例如工具100可以诊断的车辆的制造、型号、年份、工具100 可以运行的各种诊断测试、工具100接收的诊断数据、车辆中的各种部件的基线数据、零件 图像、零件信息和来自远程服务器（因特网、数据库信息等）的信息。另外，显示器102可 以为技术人员显示视频以进行查看，并且可以经由内置扬声器114来听到伴随的音频。扬 声器114可以是单个扬声器或用于立体声的多个扬声器。功能按钮118可以被布置在外壳 101上并且提供不同的输入功能。另外，电源按钮108可以被布置在外壳上并且可以操作用 于打开或关闭工具100。在一个实施例中，显示器102允许技术人员通过触摸屏输入选择 以进行交互式导航和选择，其中技术人员可以通过触摸屏幕上的选择来选择菜单项。可以 在如图1中所示的工具100中实施系统。具体而言，工具100可以是个人计算机、平板计算 机、膝上计算机、智能电话、iPad、上网本等。
[0021] 根据本发明的一个方面，可以将照相机401并入或耦合到图1和2的工具100。具 体而言，照相机401记录静止图像或视频。照相机401包括镜头或需要数量的镜头、以及闪 光灯116。镜头缩放和聚焦特征也可以包括在工具100中并且可以通过工具100或照相机 401上的软件来进行数字增强。
[0022] 在一个方面中，技术人员可以使用照相机401来采集车辆的图片。诊断工具上存 储的或远程存储的图像数据库412可以用于通过使用图像识别软件来识别车辆。图像数据 库可以包含车辆的图像。车辆的特定部分（识别点和测量值）或整个轮廓可以用于将车辆 与图像数据库中存储的车辆图像进行比较。图像识别软件可以使用车辆的各种特性进行搜 索。这些特性包括车辆的测量值、车辆的表面特性等。一旦搜索识别出车辆，就可以在工具 100的显示器102上显示与车辆相关的信息，用于由技术人员来验证。
[0023]在另一个方面中，技术人员可以使用照相机401来获得故障零件的图片。诊断工 具上存储的或远程存储的图像数据库412可以用于使用图像识别软件来识别零件。图像数 据库可以包含零件的图像或诸如条形码信息等的其它信息。零件的特定部分（识别点和测 量值）或整个轮廓可以用于将零件与零件图像数据库中存储的车辆或装置的零件的图像 进行比较。图像识别软件可以使用零件的各种特性进行搜索。这些特性包括零件、线路、 (多个）颜色、对比度（零件与车辆的背景对比）的测量值、零件的表面特性等。
[0024] 一旦搜索识别出零件和/或车辆，就可以在工具100的显示器102上显示与零件 和/或车辆相关的信息，用于由技术人员来验证。信息可以包括零件号码、关于如何移除和 置换零件的示意图、关于零件位于车辆上何处的示意图、零件手册、关于零件的说明书、保 修信息、OEM(原始设备制造商）等效零件等。一旦正确识别，就可以检索诸如零件可用性、 价格、位置等的额外信息。信息还可以包括关于车辆的示意图、用于车辆的手册、关于车辆 的说明书、保修信息等。
[0025] 图3是根据本发明的一方面的工具100的部件的方框图。在图3中，根据本发明 的一方面的工具100包括照相机401、处理器402、显示器102、触摸屏和/或小键盘形式的 输入装置404、存储器子系统408、具有车辆和零件图像数据库412的内部非易失性存储器 (NVM) 418和无线通信电路438。
[0026] 工具100可以包括现场可编程门阵列（FPGA)414、第一系统总线424、复杂可编程 逻辑器件（CPLD)406、读卡机420、第二系统总线422、连接器接口 411、可选择信号转换器 410、GPS天线432、GPS接收机434和高度计436。
[0027]被测车辆的车辆通信接口430可以经由外部电缆（未示出）而通过连接器接口 211与工具100通信。
[0028] 可选择信号转换器410可以通过连接器接口411与车辆通信接口430通信。信号 转换器410可以将通过车辆通信接口 430从E⑶单元接收的信号约束为与工具100兼容的 条件信号。信号转换器410可以利用例如以下通信协议进行通信J1850 (VPM和PWM)、ISO 9141-2信号、通信冲突检测（CXD)(例如，Chrysler冲突检测）、数据通信链路（DCL)、串行 通信接口（SCI)、控制器区域网（CAN)、关键字2000 (ISO 14230-4)、0BD II或在车辆中实施 的其它通信协议。
[0029] 替代地，工具100可以利用符合下述专利的无线技术与车辆通信：2011年6月8 日提交的题为"Cellular Phone Configured with Off-Board Device Capabilities and Starter/Charger and Battery Testing Capabilities" 的美国专利申请 No. 13/155961， 该美国专利申请现在为2012年5月15日分布的美国专利No. 8180515,通过引用的方式将 该美国专利的描述的全部内容并入本文中。
[0030] 可以通过FPGA 414(例如，通过三态未用收发器）或通过提供键控装置来选择在 特定通信协议中转换和发送的电路，所述键控装置插入由工具100提供的连接器接口 411 中，以将工具100连接到车辆通信接口 430。信号转换器410也可以经由第一系统总线424 耦合到FPGA 414和读卡机420。FPGA 414通过信号转换器410向E⑶单元发送信号（即， 消息）以及从E⑶单元接收信号。
[0031] FPGA 414可以由第二系统总线422通过各种地址、数据和控制线耦合到处理器 402。FPGA 414也可以通过第一系统总线424耦合到读卡机420。处理器402也可以耦合到 显示器102,以向技术人员输出所需信息。处理器402可以通过第二系统总线422与CPLD 406通信。另外，处理器402可以被编程为经由CPLD 406通过用户接口 404接收来自技术 人员的输入。CPLD406提供用于对来自工具100的用户的各种输入进行解码的逻辑，并且还 提供用于各种其它接口任务的胶合逻辑。
[0032] 存储器子系统408和内部非易失性存储器418可以耦合到允许与处理器402和 FPGA 414通信的第二系统总线422。存储器子系统408可以包括取决于应用的量的动态随 机存取存储器ORAM)、硬盘驱动器和/或只读存储器（ROM)。运行工具100的软件可以存 储在包括任何其它数据库的存储器408或418中。数据库可以包括诊断信息和与车辆相关 的其它信息。
[0033] 在一个方面中，车辆和零件图像数据库可以位于远程计算设备上而不是位于诊断 工具本地。可以经由无线或有线连接访问远程零件图像数据库。远程车辆和零件图像数据 库也可以存储在诸如紧凑型闪存卡或其它存储器之类的外部存储器上并且由诊断工具进 行本地访问。
[0034] 内部非易失性存储器418可以是电可擦除可编程只读存储器（EEPR0M)、闪速ROM 或其它相似的存储器。例如，内部非易失性存储器418可以为引导代码、自我诊断、各种驱 动程序提供存储器并且为FPGA图像提供空间，如果需要的话。如果在FPGA 414中实施少于 全部模块，则存储器418可以包含可下载的图像，从而可以针对不同组的通信协议对FPGA 414进行重新配置。
[0035] GPS天线432和GPS接收机434可以安装在外壳101或其任意组合中或上。GPS 天线432电子耦合到GPS接收机434并且允许GPS接收机与沿地球轨道运行的各种卫星进 行通信（检测和解码信号）。在一个方面中，GPS天线和GPS接收机可以是一个装置而非两 个。GPS接收机434和GPS天线432可以电子耦合到处理器402,处理器402耦合到存储器 408、NVM418或读卡机420中的存储器卡。存储器可以用于存储制图数据，例如电子地图。 诊断工具可以包括美国（或使用的国家）、北美洲的所有地图，或者可以具有诊断工具所在 的地区或州。
[0036] GPS接收机与特定数量的卫星通信并"锁定在"其上，以便具有其"固定"的全球位 置。一旦固定了位置，GPS接收机在处理器的帮助下就可以确定准确位置，包括工具100的 经度、炜度、海拔高度、运动速度和其它导航数据。
[0037] 如果GPS接收机不能锁定到最小数量的卫星上来确定海拔高度或由于任何原因 而不能确定海拔高度，则可以使用高度计436来确定工具100的海拔高度。高度计436电 子耦合到处理器402并且可以提供工具100的海拔高度或海拔。高度计436可以耦合到大 气压力传感器（未示出），以校准由高度计确定的海拔测量值。传感器可以位于工具100的 外壳101内部或外部。较小的大气压变化可以影响高度计的精确度，因此，诊断工具可以通 过使用传感器结合高度计、连同现有技术中公知的校正因子来对这些变化进行校正。
[0038] 通信电路438可以经由第二总线系统422与处理器402通信。无线通信电路可 以被配置为经由RF (射频）、卫星、蜂窝电话（模拟或数字）、Bluetooth?、Wi-Fi、红外、 Zigby、局域网（LAN)、WLAN(无线局域网）、其它无线通信信道、配置和标准或其组合来进行 通信。无线通信电路438允许诊断工具与其它装置进行无线通信，例如与具有远程数据库 的远程计算装置进行无线通信。在一个实施例中，数据库包括车辆和零件图像数据库。无 线通信电路438可以包括构建于其中并且容纳于外壳101内或者可以位于外壳101外部的 天线。
[0039] 数据库412可以包含关于各种车辆的详细信息。信息可以包括原理图、线路系统、 内部和外部图像、燃料系统、电子模块等。信息可以通过车辆年份、车辆型号、车辆标识号码 或任何其它识别信息来识别车辆。数据库412可以存储在工具100内、部分存储在工具100 内、和/或存储在工具100外部的可以经由如上所述的因特网等访问的独立数据库中。
[0040] 处理器402可以执行指令和其它计算机程序以操作本文中所描述的系统。另外， 处理器402可以执行操作外围装置和不一定与本文中的发明相关联的其它方面所需的任 何其它功能。
[0041] 工具100还可以包括取向电路440。取向电路440可以包括惯性传感器，例如各种 应变计和负载变换器，以确定工具100的取向。这允许工具100确定并向处理器402提供 取向、移动方向或二者的变化。
[0042] 在操作中，工具100可以允许服务技术人员选择要获得信息的车辆，如关于图6所 描述的。另外或替代地，工具100可能能够基于如上所述的车辆图像来识别车辆。就此而 言，照相机401可以采集车辆的图像并且处理器402可以将图像与数据库412中所存储的 其它图像进行比较。基于该比较，处理器402可以基于该比较过程来选择数据库中的车辆 类型并且为服务技术人员提供来自数据库412的详细原理图等。
[0043] -旦经由本文中所描述的任何过程建立了车辆，就能够在技术人员围绕车辆移动 工具1〇〇和照相机401时通过识别工具100的视场来详细定位车辆型号内的图像数据。换 言之，由工具100在显示器102上显示的由诸如(XD之类的照相机401采集的图像可以随 着工具1〇〇的移动而移动和改变。移动图像可以基于由照相机401采集的车辆图像轮廓位 置的变化、可以基于取向电路440的输出、可以基于由GPS系统确定的位置变化或者可以基 于其它类型的数据。原理图数据等可以叠加在显示器102上的车辆图像上并且可以随着车 辆图像移动而在显示器102上移动。
[0044]更具体地，然后可以将车辆的"虚拟x射线"覆盖在由工具100的照相机401光学 采集并显示在显示器102上的车辆之上。例如，可以基于工具100内采集的车辆几何形状 和服务信息来在显示器102上显示线路子系统、燃料系统、电子模块等。如果工具100指向 车辆的后顶盖侧板处，则技术人员可以选择（多个）系统或（多个）子系统以查看与车辆 的该区域相关联的显示器102。
[0045] 仅出于解释的目的，该技术的一个可能的实施例会在指向车辆时显示诸如图4中 所示的信息。该信息会在工具100的操作员在车辆周围、上方、下方或内部移动照相机401 时动态变化、改变上述照相机401的视图和相关联的已识别视图、并且增强相关联的信息 类型。
[0046] 技术人员因此可以通过使用显示器102的触摸屏幕输入104 (或其它输入方法） 来识别各种部件或系统，以识别特定子系统、放大或缩小，使图片静止等。可以使用不同的 导航方式来限制或导航信息，例如，显示器102可以在不同层或视图中显示分类的信息类 型，例如线束路由信息、电气部件位置、机械部件位置和/或特殊操作、液体贮藏器的位置、 系统和子系统的其它实际组合等。可以将电气、文本、机械和诊断信息的组合设计为基于诸 如诊断、维护或检查之类的功能终端用户的需求而作为组出现。
[0047] 然后可以基于技术人员所需的信息来在工具100的显示器102上显示与该所选部 件或子系统相关的信息、零件信息等。用于在显示器102上显示的可能的信息可以包括但 不限于：零件信息、服务时间小时数、零件成本、相关DTC、线路示意图、可用的特殊工具、技 术服务公告、关于如何维修的视频等。
[0048] 系统还可以包含如下方法：通过该方法，可以经由直接输入、从菜单选择、自然语 言标准输入数据或其它方式来请求部件或信息类型，并且系统会经由诸如闪烁的指向箭头 之类的明确指示来提供应当将工具100移动到何位置来"发现"部件或系统的位置提示，或 提供至具有增强位置箭头或描述性信息的完整车辆的3D表示的转移。一旦重新定位，就会 通过技术人员在适当位置的输入来重新显示并进一步改善正常增强的功能。此外，不仅静 态的数据库信息可以用于增强车辆视图，而且动态车辆内容（活动诊断代码、RPM、传感器 参数）也可以用于经由与板上或板下诊断系统的交互来增强视图。
[0049] 注意，然后可以将零件信息链接到零件订货或销售。可以选择并增强被定位的单 独的部件以显示备件系统的可服务、可订购部件，并通过拖放动作、刷动或其它选择标准来 将单独的部件移动到工具100的显示器102上的订货篮中。
[0050] 在优选实施例中，诸如诊断问题代码或里程表信息之类的来自车辆的诊断信息可 以用于自动突出显示需要注意/维护的部件/系统，这提供了增强的流程信息，用以执行维 护过程或向详细流程或传统的基于手册的服务内容提供链接。
[0051] 图5示出了根据本发明的一方面的显示与车辆相关的数据的过程的流程图。作为 特定示例，工具100可以执行以下过程500 :
[0052] 接收输入以确定车辆类型502。如果输入是基于手工的，则从技术人员接收车辆年 份、车辆型号、车辆通知号和其它识别信息。如果输入是车辆图像，则利用照相机401来采 集图像并将图像与数据库412中的图像进行比较，以确定车辆或为服务技术人员提供车辆 选择或可能车辆的清单。如果输入是经由车辆连接器接口，则查询车辆计算机系统以确定 车辆类型并向服务技术人员提供选择。如果所产生的输入限制于单个车辆，则在显示器102 上显示车辆图像和数据信息。如果所产生的输入针对多个车辆，则在显示器102上提供多 个车辆的清单，用于由服务技术人员进行选择。
[0053] 确定工具100的当前位置和取向，并且在显示器102上显示叠加于车辆图像之上 的车辆信息504。信息可以包括原理图、线路系统、内部和外部图像、燃料系统、电子模块等。
[0054] 确定工具100是否移动或改变取向506,如上所述。具体而言，工具100可以使用 照相机401、GPS系统432、434和/或惯性传感器440来确定工具100的移动或取向变化。
[0055] 改变与工具100的取向或位置变化相关联的车辆信息508。就此而言，信息与工具 100的位置或取向的变化相关联地改变位置、改变取向和/或移动。
[0056] 图6示出了根据本发明的一方面的用于使车辆的选择自动化的过程的流程图。在 图6中，示出了用于使由技术人员服务的车辆和ECU的选择自动化的过程的流程图。注意， 车辆的选择包括诸如车辆的制造、型号和年份之类的信息的选择以及诸如发动机类型、传 动类型、气囊、防抱死制动系统等的车辆特定设备的选择。在起动工具100之后200,并且如 果是如此配置的，则工具100可以自动启动车辆识别过程（AutoID过程）202。替代地，可以 在诸如将工具100连接到0BDII连接器之类的一些预定事件发生时启动AutoID过程。如 果工具100未被配置为在诸如打开工具100或将工具100连接到0BDII之类的一些事件发 生时自动开始AutoID过程，则技术人员可以通过使用用户界面在车辆选择菜单中滚动到 AutoID过程选项来手动发起AutoID过程204。
[0057] 无论是自动发起202还是由技术人员选择，AutoID过程的第一步206是使工具 100的事件处理程序发起存储在ECU上的车辆标识号码（VIN)的读取。例如，可以使用全局 0BDII模式9功能来完成VIN号码的这种读取。替代地，对于不包括全局0BDII模式9功能 的车辆，技术人员可以手动输入VIN号码208。
[0058] 在自动206或手动208输入VIN号码之后，AutoID过程的子例程210在与数据库 412相关联的VIN到车辆配置映射数据库212中查找车辆。除了VIN号码之外，可以由该子 例程210使用全局0BDII模式9功能获得的信息包括校准标识信息以及车辆使用中性能信 息。这种信息的示例包括发动机型号、传动类型、发动机调整说明书等。本领域的技术人员 应当容易理解，诸如与数据库412相关联的VIN到车辆配置映射数据库212之类的访问数 据库可以由工具100经由因特网通过至数据端口或连接器接口的有线连接或替代地通过 无线装置来访问。
[0059] 可能无法从AutoID过程的子例程210所采集的信息来确定全套的所需车辆选择 信息，并且因此可能需要技术人员手动输入额外的信息214。替代地，也可以执行用于车辆 标识信息的系统的额外自动化搜索作为AutoID过程的一部分。可以通过系统对与数据库 412相关联的内部或外部车辆数据库216的参考来促进额外信息214的手动输入或替代的 额外自动化搜索。
[0060] 因此，本发明提供了为服务技术人员提供增强现实服务信息的过程、系统和装置， 具体而言，所述增强现实服务信息是提供车辆的部件的内部和外部配置、原理图和细节等 的增强现实服务信息。此外，注意，如上所述，针对车辆来实施本发明。然而，本发明同样适 用于医疗领域并且向医生提供关于患者护理的信息。另外，本发明同样适用于可能需要技 术人员诊断和/或维修的包括电动工具、家用电器等的其它装置的其它类型的装置。
[0061] 进一步根据本发明的各种实施例，本文中所描述的方法旨在利用专用硬件实施来 操作，所述专用硬件实施包括但不限于PC、roA、半导体、专用集成电路（ASIC)、可编程逻辑 阵列、云计算装置和被构造为实施本文中所描述的方法的其它硬件装置。
[0062] 本发明可以包括通信信道，其可以是任何类型的有线或无线电子通信网络，例如 使用诸如全球移动通信系统（GSM)、CDMA(码分多址）、W-CDMA(宽带码分多址）、无线保真 (Wi-Fi)、蓝牙和/或类似物和/或其中的两种或多种的组合之类的已知协议的有线/无线 局域网（LAN)、有线/无线个人区域网（PAN)、有线/无线家庭区域网（HAN)、有线/无线广域 网（WAN)、校园网、城域网、企业专用网络、虚拟专用网络（VPN)、互连网络、中枢网络（BBN)、 全球区域网（GAN)、因特网、内联网、外联网、重叠网、蜂窝电话网、个人通信服务（PCS)。
[0063] 在实施例中，可以在由任何类型的先进移动数据处理和通信操作系统操作的任 何类型的移动智能电话中实施本发明，所述系统例如是AppleTMiOSTM操作系统、Google? Android? 操作系统、RIM?Blackberry? 操作系统、Nokia?Symbian? 操作系统、Microsoft? WindowsMobile?操作系统、Microsoft?WindowsPhone?操作系统、Linux?操作系统等。
[0064] 进一步根据本发明的各种实施例，本文中所描述的方法旨在利用专用硬件实施来 操作，所述专用硬件实施包括但不限于PC、TOA、半导体、专用集成电路（ASIC)、可编程逻辑 阵列、云计算装置和被构造为实施本文中所描述的方法的其它硬件装置。
[0065] 还应当注意，本文中所描述的本发明的软件实施任选地存储在有形存储介质上， 所述有形存储介质例如：磁介质，例如磁盘或磁带；磁光或光学介质，例如光盘；或固态介 质，例如存储器卡或容纳一个或多个只读（非易失性）存储器、随机存取存储器或其它可重 写（易失性）存储器的其它封装。电子邮件的数字文件附件或其它独立信息归档或档案组 被视为与有形存储介质等价的分布式介质。因此，本发明被认为包括有形存储介质或分布 式介质，如本文中所列出的，并且本发明包括其中存储了本文中的软件实施的技术认可的 等同物和接替的介质。
[0066] 尽管已经以现今认为是特定方面的内容描述了系统和方法，但本公开内容不限于 所公开的方面。本发明旨在覆盖包括在权利要求的精神和范围内的各种修改和相似布置， 权利要求的范围应当符合广义解释，以便涵盖所有这种修改和相似结构。本公开内容包括 以下权利要求的任何方面以及所有方面。
【权利要求】
1. 一种工具，其用于为用户提供关于与所述工具相对于特定的物体的位置和取向相关 的所述物体的信息，所述工具包括： 图像采集装置，其被配置为采集所述物体的图像； 位置和取向传感器，其被配置为确定所述工具相对于所述物体的所述位置； 处理器，其被配置为根据所述图像来确定所述物体的类型； 显示器，其被配置为显示所述物体的所述图像； 所述显示器还被配置为响应于对所述物体的类型的确定而显示除了所述物体的所述 图像之外的额外信息；以及 所述处理器还被配置为确定所述传感器和所述工具的所述位置和所述取向的其中之 一的变化，并且所述处理器还被配置为响应于对所述位置和所述取向的其中之一的变化的 确定而显示除了所述物体的所述图像之外的额外信息。
2. 根据权利要求1所述的工具，其中，所述图像采集装置包括照相机。
3. 根据权利要求1所述的工具，其中，所述处理器还被配置为执行如下操作的至少其 中之一：从所述物体接收诊断信息和在所述物体上执行诊断测试。
4. 根据权利要求1所述的工具，其中，所述处理器还被配置为基于所述物体的所述图 像、从所述物体接收的信息和从所述用户接收的关于所述物体的信息的至少其中之一来确 定所述物体的类型。
5. 根据权利要求1所述的工具，其中，所述位置和取向传感器包括照相机、GPS装置和 惯性传感器的其中之一。
6. 根据权利要求1所述的工具，其中，所述物体包括车辆，并且其中，所述额外信息包 括原理图、线路系统示意图、内部图像和外部图像的至少其中之一。
7. 根据权利要求1所述的工具，其中，所述物体包括患者、电动工具和家用电器的其中 之一。
8. -种用于操作工具的方法，所述工具用于为用户提供关于与所述工具相对于特定的 物体的位置和取向相关的所述物体的信息，所述方法包括： 采集所述物体的图像； 感测位置和所述取向，以确定所述工具相对于所述物体的位置； 根据所述图像来确定所述物体的类型； 显示所述物体的所述图像； 响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信息；以 及 确定所述工具的所述位置和所述取向的其中之一的变化，并且响应于对所述位置和所 述取向的其中之一的变化的确定而显示除了所述物体的所述图像之外的额外信息。
9. 根据权利要求8所述的方法，其中，采集所述图像包括利用照相机采集所述图像。
10. 根据权利要求8所述的方法，还包括从所述物体接收诊断信息和在所述物体上执 行诊断测试的至少其中之一。
11. 根据权利要求8所述的方法，还包括基于所述物体的所述图像、从所述物体接收的 信息和从所述用户接收的关于所述物体的信息的至少其中之一来确定所述物体的类型。
12. 根据权利要求8所述的方法，其中，确定所述工具的所述位置和所述取向包括利用 位置和取向传感器来确定所述工具的所述取向和所述位置，所述位置和取向传感器包括照 相机、GPS装置和惯性传感器的其中之一。
13. 根据权利要求8所述的方法，其中，所述物体包括车辆，并且其中，所述额外信息包 括原理图、线路系统示意图、内部图像和外部图像的至少其中之一。
14. 根据权利要求8所述的方法，其中，所述物体包括患者、电动工具和家用电器的其 中之一。
15. -种存储用于工具的计算机可执行指令的有形存储介质装置，所述工具用于为用 户提供关于与所述工具相对于特定的物体的位置和取向相关的所述物体的信息，所述有形 存储介质装置包括： 用于采集所述物体的图像的指令； 用于感测所述位置和所述取向以确定所述工具相对于所述物体的位置的指令； 用于根据所述图像来确定所示物体的类型的指令； 用于显示所述物体的所述图像的指令； 用于响应于对所述物体的类型的确定而显示除了所述物体的所述图像之外的额外信 息的指令；以及 用于确定所述工具的所述位置和所述取向的其中之一的变化并且响应于对所述位置 和所述取向的其中之一的变化的确定而显示除了所述物体的所述图像之外的额外信息的 指令。
16. 根据权利要求15所述的存储用于工具的计算机可执行指令的有形存储介质装置， 其中，用于采集所述图像的所述指令包括用于利用照相机来采集所述图像的指令。
17. 根据权利要求15所述的存储用于工具的计算机可执行指令的有形存储介质装置， 还包括用于从所述物体接收诊断信息的指令和用于在所述物体上执行诊断测试的指令的 至少其中之一。
18. 根据权利要求15所述的存储用于工具的计算机可执行指令的有形存储介质装置， 还包括用于基于所述物体的所述图像、从所述物体接收的信息和从所述用户接收的关于所 述物体的信息的至少其中之一来确定所述物体的类型的指令。
19. 根据权利要求15所述的存储用于工具的计算机可执行指令的有形存储介质装置， 其中，用于确定所述工具的所述位置和所述取向的指令包括用于利用位置和取向传感器来 确定所述工具的所述取向和所述位置的指令，所述位置和取向传感器包括照相机、GPS装置 和惯性传感器的其中之一。
20. 根据权利要求15所述的存储用于工具的计算机可执行指令的有形存储介质装置， 其中，所述物体包括车辆，并且其中，所述额外信息包括原理图、线路系统示意图、内部图像 和外部图像中的至少其中之一。
【文档编号】G09G5/00GK104488023SQ201380036623
【公开日】2015年4月1日 申请日期:2013年5月9日 优先权日:2012年5月11日
【发明者】D·舒马克 申请人:博世汽车服务解决方案有限责任公司