用于人机界面的系统和方法

用于人机界面的系统和方法
【专利摘要】提供了一种用于人机界面的系统和方法。一种车辆计算机系统包括：无线收发器，被配置为以web浏览器格式将移动装置人机界面发送到移动装置。车辆计算机系统还包括：车辆服务器，使用上下文数据收集器，上下文数据收集器使用车辆数据和车外数据来产生动态人机界面，服务器还被配置为产生用于在车辆显示器上输出的车内人机界面，并产生用于移动装置显示的移动装置人机界面。
【专利说明】用于人机界面的系统和方法
【技术领域】
[0001]本示意性实施例总体上涉及一种用于在车辆多媒体系统中产生用户界面的设备和方法。
【背景技术】
[0002]以下，描述了一些现有技术的娱乐系统。可从以下提到的参考文件中获得和描述这些系统的附加装置用途。
[0003]美国专利申请2011/0234427描述了一种用于车辆的遥测装置，该遥测装置包括:位置确定装置，被布置用于确定车辆的位置；发送装置，被布置用于连续或近似于连续地且实时地或近似于实时地发送关于车辆的位置数据。所述位置数据的发送不基于车辆的状态并且无需用户的提示。
[0004]美国专利申请第8204734号描述了一种示例性系统，该示例性系统包括:开发子系统，被配置为推动软件应用的开发；仿真子系统，选择性地且交互地结合到开发子系统。仿真子系统被配置为模拟多个处理装置平台，接收代表所述多个处理装置平台中的至少一个的选择的数据，并通过与至少一个选择的处理装置平台关联的一个或多个处理装置来对软件应用的运行进行仿真。
[0005]美国专利申请2012/0179325描述了一种位于车内的信息系统，该信息系统包括:数据存储装置，被配置为存储用于实现web浏览器的编程指令；数据通信模块；控制器，可操作地结合到数据存储装置和数据通信模块，控制器被配置为运行web浏览器以接收多个数据元素，识别所述多个数据元素的每一个的各自内容类型，基于各自识别的内容类型为所述多个数据元素的每一个分配相关性等级，将分配的相关性与预定的相关性阈值进行比较，并基于比较使用所述多个数据元素中的至少一个来产生用户界面。

【发明内容】

[0006]第一示意性实施例公开了一种车辆计算机系统，包括:无线收发器，被配置为与移动装置建立连接，其中，无线收发器还被配置为使用第一 web浏览器格式发送被配置用于在移动装置上输出的移动装置人机界面。车辆计算机系统还包括:车辆显示器，被配置为使用第二 web浏览器格式输出车内人机界面以控制各种车辆功能；车辆服务器，被配置为产生用于车辆显示器的车内人机界面并产生用于移动装置的移动装置人机界面。
[0007]第二示意性实施例公开了一种车外(off-board)计算机系统，该车外计算机系统包括与车辆和服务器通信的无线收发器，该服务器包括上下文数据收集器，该上下文数据收集器使用从无线收发器获得的车辆数据和车外数据，基于车辆数据和车外数据按照web浏览器数据格式产生动态上下文人机界面以被发送到使用无线收发器的车辆。
[0008]第三示意性实施例公开了一种车辆计算机系统，该车辆计算机系统包括被配置为按照web浏览器格式将移动装置人机界面发送到移动装置的无线收发器。车辆计算机系统还包括使用上下文数据收集器的车辆服务器，该上下文数据收集器使用车辆数据和车外数据来产生动态人机界面，该车辆服务器还被配置为产生在车辆显示器上输出的车内人机界面并产生用于移动装置的显示的移动装置人机界面。
[0009]第四示意性实施例公开了一种车外计算机系统，包括:无线收发器，与车辆通信；服务器，包括上下文数据收集器，该上下文数据收集器使用车外数据和从无线收发器得到的车辆数据，按照将使用无线收发器被发送到车辆的web浏览器格式基于车辆数据和车外数据产生动态上下文人机界面。
[0010]根据本发明的一方面，无线收发器还能够与移动装置通信。
[0011]根据本发明的一方面，动态上下文人机界面包括将被发送到车辆的语音识别菜单。
[0012]根据本发明的一方面，车外数据包括从家庭服务器接收的数据。
[0013]根据本发明的一方面，车外数据包括从媒体服务器接收的媒体数据。
[0014]根据本发明的一方面，媒体数据包括音乐数据、图片数据或视频数据。
[0015]根据本发明的一方面，服务器还被配置为使用车辆数据和车外数据产生语言查询搜索HMI，所述语言查询搜索HMI将使用无线收发器被发送到车辆。
[0016]第五示意性实施例公开了一种车辆计算机系统，包括:无线收发器，被配置为以web网络格式将移动装置(ND)人机界面(HMI)发送到ND ;车辆服务器，使用上下文数据收集器，上下文数据收集器使用车辆数据和车外数据来产生动态HMI，车辆服务器还被配置为产生用于在车辆显示器上输出的车内HMI和产生用于ND的显示的ND HM10
【专利附图】

【附图说明】
[0017]图1示出用于车辆的基于车辆的计算系统的示例方框拓扑图。
[0018]图2示出与配置有上下文数据收集的基于云的服务器进行通信的基于车辆的计算系统的示例拓扑图。
[0019]图3是使用上下文检测器的车辆云人机界面的示例。
[0020]图4是指示基于车辆的计算系统的交互的流程图的示图。
[0021]图5A是用于展示被采用以使用移动应用控制座椅的远程控制的网络架构的示意性实施例。
[0022]图5B是使用车辆中的各种显示的网络架构的示意性实施例。
[0023]图6是在不同类型的移动装置上显示的人机界面的示意性实施例。
[0024]图7示出可使用语音对话系统的基于查询的HMI的示例。
【具体实施方式】
[0025]根据需要，在此公开了本发明的详细实施例；然而，应理解，公开的实施例仅仅是可以以多种和可选方式实施的本发明的示例。附图不必符合比例；有些特征可被夸大或最小化以显示特定部件的细节。因此，在此公开的特定结构和功能细节不应被理解为限制，而仅仅是用于教导本领域的技术人员来不同地运用本发明的代表性基础。
[0026]限制将参照附图更全面地描述本发明，在附图中示出了实施例。然而，本发明可按照不同形式被实施并且不应被理解为限制于在此阐述的实施例。相同的标号始终表示元件。如在此使用的术语“和/或”包括相关的列出项的一个或多个的任意和所有组合。[0027]很多新特征和功能被装入我们的电话、平板、MP3播放器等。然而，这些特征中的很多特征不是考虑车辆环境而开发的。无论客户是否处于车辆环境中，正在增长的移动装置与车辆的计算系统的互用性允许客户具有无缝体验。无缝客户体验的一个示意性示例是允许用户在用户的移动装置上操作与车辆相关的用户界面。这可允许用户从多个装置并在不同位置(在车内和在车外)控制车辆计算机系统。
[0028]图1示出用于车辆31的基于车辆的计算系统I (VCS)的示例方框拓扑图。这样的基于车辆的计算系统I的示例是由福特汽车公司(FORD MOTOR COMPANY)制造的SYNC系统。具有基于车辆的计算系统功能的车辆可包含位于车内的视觉前端界面4。如果用例如也可在显示屏上使用的触摸敏感的电阻型/电容型按钮提供了界面，则用户也可以能够与界面交互。在另一示意性实施例中，通过按钮按压、具有语音识别和语音分析的语音对话系统来发生交互。
[0029]在图1中示出的示意性实施例1，处理器3控制基于车辆的计算系统的操作的至少某些部分。设置在车内的处理器允许命令和例程的车载处理(on board processing)。此夕卜，处理器被连接到非永久性存储器5和永久性存储器7两者。在示意性实施例中，非永久性存储器是随机存取存储器(RAM)，永久性存储器是硬盘驱动器(HDD)或闪存。
[0030]处理器还可设置有允许用户与处理器交互的多个不同输入。在示意性实施例中，麦克风29、(用于输入33的)辅助输入25、USB输入23、GPS输入24和蓝牙输入15都被提供。还提供输入选择器51以允许用户在不同输入之间进行选择。对于麦克风和辅助连接器两者的输入在传递到处理器之前被转换器27从模拟转换为数字。虽然没有示出，但是这些和其它部件可以通过车辆复用网络网络(诸如但不限于CAN总线)与VCS通信以将数据传递到VCS (或者其部件)或从VCS (或者其部件)传递数据。
[0031]对于系统的输出可包括但不限于视觉显不器4和扬声器13或者立体声系统输出。扬声器连接到放大器11并通过数字到模拟转换器9从处理器3接收其信号。还可沿着在19和21分别示出的双向数据流传输对远程蓝牙装置(诸如PND54)或USB装置(诸如车辆导航装置60)进行输出。
[0032]在一个示意性实施例中，系统I使用蓝牙收发器15与用户的移动装置53 (例如，手机、智能电话、PDA或具有无线远程网络连接能力的任何其它装置)进行通信17。移动装置可随后被用于通过例如与蜂窝塔57的通信55来与车辆31外部的网络61进行通信59。在某些实施例中，塔57可以是W1-Fi接入点。
[0033]由信号14来表示移动装置和蓝牙收发器之间的示例性通信。
[0034]可通过按钮52或类似输入来指令将移动装置53和蓝牙收发器15配对。因此，CPU被通知车载蓝牙收发器将与移动装置中的蓝牙收发器配对。
[0035]可使用例如数据计划、话上数据(data over voice)或与移动装置53相关联的DTMF音调在CPU3和网络61之间通信数据。可选地，可能需要包括具有天线18的车载调制解调器63以便通过语音频带在CPU3和网络61之间进行数据的通信16。移动装置53可随后被用于通过例如与蜂窝塔57的通信55来与车辆31外部的网络61进行通信59。在某些实施例中，调制解调器63可与塔57建立通信20以与网络61通信。作为非限制的示例，调制解调器63可以是USB蜂窝式调制解调器，通信20可以是蜂窝通信。
[0036]在一个示意性实施例中，处理器设置有包括用于与调制解调器应用软件通信的API的操作系统。调制解调器应用软件可访问蓝牙收发器上的嵌入模块或固件以完成与远程蓝牙收发器(诸如在移动装置上发现的蓝牙收发器)的无线通信。蓝牙是IEEE802PAN(个人局域网)协议的子集。IEEE802LAN(局域网)协议包括W1-Fi并具有相当多的与IEEE802PAN交叉的功能。这两者都适合于在车内的无线通信。能够在此领域中使用的另一通信方式是自由空间的光通信(诸如IrDA)和非标准化的客户IR协议。
[0037]在另一实施例中，移动装置53包括用于语音频带或宽带数据通信的调制解调器。在话上数据实施例中，当移动装置的拥有者可在数据被传输的同时通过装置讲话时，可实施已知为频分复用的技术。在其它时间，当拥有者没有使用装置时，数据传输可使用全部带宽(在一个示例中的300Hz到3.4kHz)。虽然频分复用对于车辆和互联网之间的模拟蜂窝通信很常见且仍被使用，但是已经大部分被用于数字蜂窝通信的码分多址(CDMA)、时分多址(TDMA)、空分多址(SDMA)的混合所取代。这些都是ITU IMT-2000 (3G)兼容标准，其针对静态或行走的用户提供多至2mbs的数据速率，并针对处于移动车辆中的用户提供385kbs的数据速率。3G标准现在正被针对车辆中的用户提供IOOmbs并针对静态用户提供Igbs的IMT-高级(4G)所取代。如果用户具有与移动装置相关联的数据计划，则数据计划有可能允许宽带传输，并且系统可使用更宽的带宽(加速了数据传输)。在另一实施例中，移动装置53被安装在车辆31中的蜂窝通信装置(未示出)所取代。在另一实施例中，ND53可以是能够通过例如(且不限制)802.1lg网络(S卩，W1-Fi)或WiMax网络进行通信的无线局域网(LAN)装置。
[0038]在一个实施例中，收到的数据可经由话上数据或数据计划通过移动装置被传递通过车载蓝牙收发器并进入车辆的内部处理器3。在某些临时数据的情况下，例如，数据可存储在HDD或其它存储介质7上直到不再需要该数据的时间为止。
[0039]可与车辆交互的附加资源包括具有例如USB连接56和/或天线58的个人导航装置54、具有USB62或其它连接的车辆导航装置60、车载GPS装置24或具有到网络61的连接能力的远程导航系统(未示出)。USB是一类串行联网协议中的一个。IEEE1394(FireWire?(苹果)、1.LINK?(索尼)和 Lynx?(德州仪器))、EIA(电子工业协会)串行协议、IEEE1284(Centronics端口)、S/PDIF(索尼/飞利浦数字互联格式)和USB-1F(USB开发者论坛)形成了装置到装置串行标准的骨干。大多数协议可被实现用于电通信或光通信。
[0040]此外，CPU可以与多个其它辅助装置65通信。这些装置可通过无线连接67或有线连接69被连接。辅助装置65可包括但不限于个人媒体播放器、无线健康装置、便携式计算机、移动装置、密钥卡等。
[0041]此外，或者可选地，CPU可使用例如W1-Fi (IEEE803.11)71收发器与基于车辆的无线路由器73连接。这可允许CPU在本地路由器73的范围内连接到远程网络。
[0042]除了具有由位于车内的车辆计算系统执行的示例性处理之外，在某些实施例中，示例性处理可由与车辆计算系统通信的计算系统来执行。这样的系统可包括但不限于无线装置(例如但不限于移动电话)或通过无线装置连接的远程计算系统(例如但不限于服务器)。这样的系统共同地可被称为车辆关联计算系统(VACS)。在某些实施例中，VACS的特定部件可根据系统的特定实施方式执行处理的特定部分。根据不做限制的示例的方式，如果处理具有将信息发送到配对的无线装置或从配对的无线装置接收信息的步骤，则有可能无线装置没有在执行该处理，这是因为无线装置不会和自己“发送和接收”信息。本领域的普通技术人员将理解在何时不适合于将特定的VACS应用于给定的方案。在所有的方案中，意图是至少位于车辆自身内的车辆计算系统(VCS)能够执行示例性处理。
[0043]图2示出与云通信以从多个源通信不同的数据的车辆的示例拓扑图。云中的车辆服务器可允许数据的管理和使用。服务器还可位于车辆的外部，或者位于云中。服务器可位于车辆中并可使用硬件和/或软件来通过互联网或经由TCP/IP连接来转发将被访问的web内容。服务器可使用用于转发HTML文档和诸如图像、脚本等的附加内容的HTTP或其它方式将请求转发到多个客户端。服务器的数据可被更新和收集。数据可来自云中的大型社区。服务器还可通过数据合成，诸如使用上下文信息用于提取。另外，云中的车辆服务器可通过使用云中的代理允许智能和做出决定。车辆服务器可了解目的地点，因此，服务器可使用代理来主动地为驾驶员预定转发用户设置的目的地点的天气。
[0044]可通过公开的示意性实施例来实现车辆和车辆服务器之间的实时双向数据流传输以及移动装置和车辆服务器之间的实时双向数据流传输。相关的车辆CAN和车辆到智能电话(V2SP)交互数据可被上传到服务器。数据可被用于创建能够在服务器中使用上下文数据收集器实时产生的上下文HMI。上下文HMI可服务用于一个或多个客户端，诸如车辆、车辆中的装置或另一模块/显示器。可使用web套接字(web sockets)来提供通信信道。作为初始HTML5(HTML5initiative)的一部分而开发的web套接字规范引入了 web套接字JavaScript接口。web套接字接口允许能够在客户端和服务器之间发送消息的全双工单套接字连接。web套接字标准极大地简化了关于双向web通信和连接管理的复杂度。web套接字的使用使得针对不同用户情景的基于上下文的HMI的实时更新成为可能。特定用户情景的一个示例可包括在车辆显示界面上显示针对各种情况的气候。例如，车内网络(car area network, CAN)可访问经由在车辆之外的气候数据源和车辆服务器可得到的气候信息。因此，车辆计算机系统可被配置为通过使用来自车外服务器的气候数据、来自车辆的各种数据和上下文数据收集器来显示目的地气候。此外，有可以能够提供在驾驶员的住处或半路上的天气信息。可在视觉界面渲染时经由与车辆云服务器永久web套接字连接从车辆云服务器抓取气候数据。这可允许在与车载车辆系统(诸如MYFORD TOUCH)相对的人的移动装置上使用不同的HMI接口。此外，这能够进行装置和服务器之间的直接交互。用户可被允许与移动装置或车辆的车载系统上的中继HMI进行直接交互。
[0045]图2的基于车辆的计算系统201可以能够与车辆云服务器203通信。基于车辆的计算系统可经由与车辆系统配对的蓝牙蜂窝电话、嵌入式蜂窝连接和/或长距离/短距离无线连接来连接到车辆云服务器203。还可通过其它移动装置或计算机系统访问车辆云服务器203。另外，访问性可要求各种安全限制性以便允许访问基于车辆云的服务器。车辆可使用web套接字217将不同类型的相关数据发送到服务器。这允许经由单个TCP连接的全双工通信信道。因此，客户端的web浏览器或web服务器或服务器应用可使用web套接字API来推动内容的现场实时更新。虽然在此示例中使用了 web套接字API和协议，但是也可使用类似的可选实施例。
[0046]车辆云服务器205可在服务器的数据库205中存储各种与车辆和用户相关的数据。在公开的示意性实施例中，数据库205可包括车辆CAN数据207、智能电话车辆数据209和车辆HMI数据211。车辆CAN数据207可被用来使用与车辆系统和性能相关联的数据。因此，它可提供驾驶员历史、车辆诊断和维修数据。相关的车辆CAN数据可被上传到服务器。此外，与车辆和智能电话的交互相关的数据209还可被存储在相同的服务器上。智能电话车辆数据209还可被用来标识联系人、用户装置等。车辆计算机系统可与多于一个的带入车辆中的装置接口连接。因此，车辆服务器可帮助将装置准备用于与车辆系统工作。车辆HMI数据211可被用来存储用户设置，提供语音识别数据和与在驾驶期间执行的交互相关的数据，诸如但不限于广告书签、位置书签和娱乐优选。虽然示意性实施例显示数据库包括车辆CAN数据、智能电话车辆数据和车辆HMI数据，但是可存储其它数据。例如，数据库205可存储车辆制造者数据和更多数据。
[0047]还可由外部云服务器219提供内容。外部云服务器可访问的车外数据的一些示例是交通数据、导航/方向/路线数据、音乐内容、经销商/车辆维修数据、天气内容、从像Google Plus、Facebook、Path、Twitter的社交网络收集的社交交互数据等。外部云服务器可提供附加数据以帮助增强上下文HMI产生。外部云服务器可帮助提供位置特定信息，诸如兴趣点(POI)信息(营业时间、位置、菜单、评价等)、交通、天气等。
[0048]车辆云服务器203可使用不同的计算机处理来提供上下文数据收集213。车辆可发挥车辆云服务器203提供的附加资源的作用以便为驾驶员传递增强的用户体验。例如，在一个示意性实施例中，车辆服务器可使用用户的蜂窝电话号码，制造和建模以识别装置的能力并准备用于该装置的HMI。一旦蓝牙电话已经与车辆配对，基于车辆的计算系统可从用户的蜂窝电话获得此数据。此外，通过使用附加数据(诸如车辆CAN数据和车辆HMI数据)，服务器可产生用于当前用户的装置的独特的HMI。可通过由上下文数据收集器213使用的算法和方程来实现HMI产生215。可在云服务器上产生独特的视觉HMI和语音对话系统两者以被呈现给用户。可使用不同数据的多种组合来提供上下文HMI的输出。另外，这允许基于车辆的计算系统中的新应用和使用情况的非常快速的融合。可基于上下文数据收集器在服务器上实时地产生HMI数据。HMI数据还可被提供到客户端，在一个实施例中，客户端可以是车辆。在可选实施例中，客户端可以是位于车辆内或远离车辆的移动装置。一旦被服务器的上下文收集器产生，服务器可经由web套接字217将必要数据发送到车辆。web套接字帮助推动基于上下文的HMI数据的实时更新。
[0049]图3示出使用完全车外方案的车辆服务器的另一示意性实施例。车辆的云HMI可使用不同的web标准来创建车辆服务器。车辆服务器401可位于车辆内、位于车外或者使用具有位于车内的某些软件部件和位于车外的其它软件部件的混合方式。车外或基于云的方案可允许服务器具有高处理能力来以有效的方式收集和转换数据，然而，在某些情况(即，没有用于长距离连接的信号或服务)下，车外连接并不总是可用。因此，还可使用车载方案来用于车辆服务器。车载车辆服务器还可包括上下文检测器403和用于产生上下文认知视觉和音频元数据405的软件。车辆服务器不仅可使用车辆传感器数据，还使用来自车外服务器和其它装置或没有嵌入车辆的传感器的其它相关信息。
[0050]车辆服务器401还可使用上下文检测器403来理解车辆或其它客户端正在工作的环境。此外，上下文检测器可根据与车辆服务器通信的不同客户端或装置来确定环境。车辆云服务器可与嵌入式车辆服务器通信或与移动装置通信，因此上下文检测器必须确定用于合适的HMI渲染的上下文。上下文检测可基于车辆传感器数据和其它相关数据完全在云中完成。例如，如果驾驶员正在回家的路上并且车辆服务器知道此信息并产生了 HMI，则可将其发送到车辆。视觉HMI显示器可具有用于家里的车库门的操作的屏幕。虽然对于本实施例上下文检测存在于云中，但是车载方案和混合方案均是可选实施例。
[0051]车辆服务器401可与具有web套接字支持的web服务器类似地进行操作。车辆HMI渲染器可仅仅是例如支持HTML5和web套接字的调制解调器浏览器。车辆可将位于车辆数据总线内或车辆传感器(诸如，车辆速度、位置等)上的数据发送到车辆服务器。车辆云服务器可使用此用于上下文检测和驾驶模式识别的数据。车辆嵌入式浏览器可使用该数据来渲染用于用户的HMI。在可选实施例中，图形渲染应用可被用于渲染HMI而不是浏览器。应用可被用于减少或消除浏览器上的页面的渲染。
[0052]上下文检测器403可与家庭服务器411通信。家庭服务器可提供位于用户住宅的数据。这样的可被使用的数据是自动操作数据，例如，家庭HVAC、保安、开灯和开灯状态、瓦斯状态等。此外，上下文检测器403可与外部媒体服务器412通信。外部媒体服务器可使用诸如相片、音乐和视频文件的数据。
[0053]在上下文检测器403从多个服务器和源接收到数据时，车辆服务器可产生上下文认知视觉和音频元数据405。元数据可随后被发送到客户端407，客户端407可以是车辆、移动装置或个人计算装置上的浏览器。车辆HMI渲染引擎409可用于基于数据、客户端和其它因素来产生特定类型的HMI。HMI渲染引擎可与web浏览器或应用相结合地使用。
[0054]在另一实施例中，可使用混合方式来使用车辆嵌入式服务器渲染HMI。这可解决车辆不能与车辆云服务器保持连接的潜在问题。车辆HMI渲染引擎可被配置为与车辆云服务器一起工作或不一起工作，从而在不存在与云的连接时渲染HMI。这样的混合式架构可理想地适合于当与服务器的连接并不总是可用时的车辆HMI渲染。
[0055]图4是指示基于车辆的计算系统的交互的流程图的示例。基于车辆的计算系统可配备有车载服务器、车外服务器或混合式服务器(车载服务器和车外服务器的组合)。因此，步骤的任意组合或所有步骤可在车辆内执行、在车辆之外的云中执行或由使用车载方案和车外方案两者的处理的混合式组合执行。服务器可从使用有线连接(例如，CAN、USB、串行等)或无线连接(例如，蓝牙、W1-F1、W1-Fi直连、蜂窝连接等)的各种车辆模块获得车辆数据(501)。另外，车辆数据可包括来自用户的媒体收藏的媒体数据、导航数据(例如，POI信息、速度限制信息和其它地图数据)和蜂窝电话数据。车辆数据还可用于在界面上输出特定信息(例如，车辆的速度或车辆的位置)，或者可用于产生HMI的特定特征或界面。
[0056]车辆计算机系统可被配置为确定与车外云服务器或数据服务器的连接是否存在
(502)。如果连接存在，则计算机系统可从没有位于车上或车内的各种数据源接收车外数据
(503)。这些数据源可包括天气、交通、体育比分、车外导航数据等。类似于车辆数据，车外数据可用于在用户界面上输出特定信息(例如，天气地图)或者它可用于产生用于HMI的特定特征或界面。服务器可产生将与浏览器应用一起使用的界面。
[0057]在接收到车外数据或确定连接不存在时，车辆计算机系统可使用上下文数据收集器。在某些实施例中，车辆计算机系统可与基于车辆数据和/或车外数据产生动态特征和上下文的上下文收集器进行通信。上下文收集器可分析数据以确定界面是否可使用任何动态特征(505)。如果上下文收集器没有识别出可以是动态的任何特征，则可使用车辆计算机系统的静态HMI特征。在可选情景中，上下文收集器可认识到车辆数据或车外数据可包括车辆计算机系统产生动态特征或HMI的可能性(507)。在一个情景中，上下文收集器可接收指示车辆正在运动并且位于拥堵的道路上的数据。因此，收集器可使用该数据在用户界面上显示询问用户围绕该拥堵重新规划路线。在另一情景中，上下文收集器可将移动电话识别为第二驾驶员并显示适合于该驾驶员的需要的用户界面。例如，可使用特定皮肤或图形，并且可基于驾驶员存储预先的设定。如果不存在上下文使用情况或数据，则系统可仅产生将在车辆系统上渲染的静态HMI。另外，可针对特定用户最经常使用的特征定制HMI。上下文收集器可位于车辆之外、位于车上或使用混合式方案。
[0058]车辆计算系统可确定连接到车辆计算系统的移动装置是否正在使用应用(509)。移动装置使用应用可消除对于服务器产生网页的需求。取而代之，如果移动装置被确定为使用应用车辆的用户界面应用，则服务器可仅发送用于移动装置的HMI的相关数据(511)。数据可以是任何数据类型的形式，诸如JSON(JavaScript Object Notation, JavaScript对象符号)。因此，在相关车辆数据从移动装置被发送之前，页面将被预先渲染。移动装置将使用任何相关数据以输出将被显示在用户界面上的必要信息。另外，应用可适合于驾驶员或乘客的特定用户情况情景，诸如用于调整车辆的座椅控制的应用。
[0059]如果车辆计算系统确定装置没有在使用用于用户界面的应用，则装置可请求向车辆嵌入式服务器请求可以是网页的形式的渲染后的HMI。车辆计算机系统可使用车载、车外或混合式方案来来渲染HMI的网页(513)。在渲染HMI时，车辆计算机系统可将HMI发送到移动装置(515)。装置可使用符合服务器的协议的web浏览器以便请求或加载可以是网页形式的HMI。网页可以是无chrome的,这表示浏览器chrome不必被显示。浏览器可使用渲染引擎、Java Script和浏览器插件来增强用户体验。此外，车辆计算机系统使用的任何数据可用于产生HMI。
[0060]图5A是用于展示被用于控制座椅的智能电话的网络架构的示意性实施例。移动装置601可被带入到车辆中。移动装置可以使车辆界面应用603运行或不运行以便使用人机界面(HMI)进行各种车辆控制。智能电话可允许浏览器向车辆嵌入式服务器请求车辆HMI网页。此外，移动装置可用于控制无线电的各种部分、部件或模块。在以下描述的实施例中，应用被用于操作座椅的功能。然而，可使用车辆的任何和所有模块、部件或计算机。某些示例包括但不限于无线电、导航、系统、天窗、行李箱、灯等。该实施例展示了与移动装置通信的无线收发器605。各种无线收发器可包括WiFi收发器、蓝牙收发器、近场通信(NFC)、红外等。虽然在实施例中显示了无线收发器用于车辆与移动装置通信，但是有线方案(例如，USB、串行、CAN、火线等)也是可行的。移动装置601和无线收发器605之间的数据通信可在安全被授权时建立。装置可使用产生随机数和与车辆计算机系统(或相反)的配对顺序。另外，车辆或装置可要求在特定时刻按钮被按压特定量的时间以便建立连接。另外，NFC可使用RFD标签来建立通信。
[0061]无线收发器可与车辆网络606直接通信。车辆计算机可包括车辆嵌入式服务器611和CAN/USB管理器以在整个车辆网络基础结构602中通信数据。虽然车辆嵌入式服务器611可包括CAN管理器和USB座椅控制器，但是在其它实施例中它们都可以是分开的单个模块。基础架构602可使用无线信号进行通信，或者它可使用有线网络606 (诸如CAN、USB、DVI等)。车辆嵌入式服务器611可与一个或更多的USB或CAN收发器609通信以与其它模块通信。收发器609可依次地与座椅和位置控制模块607通信。座椅和位置控制模块可与车辆网络基础架构602来回地通信数据。数据可用于允许用户在像移动电话的移动装置601上控制座椅位置。
[0062]此外，车辆嵌入式服务器611可产生HMI或将HMI输出到车辆的各个显示器，诸如，移动装置601的显示器。车辆嵌入式服务器可另外地连接到车外车辆云服务器以通信各种数据，诸如，车外数据、标准用户界面或上下文用户界面。服务器611可使用DSP、5.1、THX或其它音频压缩技术通过车辆扬声器627输出声音或音乐。
[0063]方向盘控制613也可以能够与服务器611和VCS内的其它装置通信数据。在允许驾驶员安全地操作车辆的同时，方向盘可允许灵活地控制用户界面。方向盘控制613可仅控制车内的某些显示器的用户界面或者每个不同的用户界面。
[0064]另一车辆计算机629可包括用作数据管理器、HUD模块和语音识别引擎的应用。数据管理器可用于推动将相关CAN数据发送到各个车辆模块。语音识别引擎可提供讲出和经由MIC631输入用户命令的能力。语音识别引擎可使用自然语言语音识别引擎，并且不需要仅说出特定命令，而是使用上下文认知来理解用户说出的命令。因此，在识别用户的命令之后，语音引擎会将相关CAN消息或数据发送到相关模块以根据该命令行动。嵌入式车辆服务器可以能够与车辆中的所有相关HMI界面(诸如但不限于平视显示器(HUD)、组合仪表(Cluster)、中央仪表(Center stack)和语音识别/语音对话系统)通信。语音引擎629可使用车辆中的各种扬声器627来输出对话。
[0065]HUD631可用于渲染特定类型的用户界面或显示特定数据。HUD可允许投影显示到车辆的挡风玻璃上以便在驾驶员的周边视线内显示相关信息。HUD可使用车辆服务器的HMI来充当车辆中的一个类型的显示器。
[0066]可使用车辆服务器的HMI的另一个类型的显示器是车辆组合仪表。车辆组合仪表可用于显示各种车辆信息，诸如速度、RPM、油耗表现、油位等。组合仪表显示器635可与组合仪表管理器633通信。组合仪表管理器633可从车辆服务器接收界面数据以在组合仪表显示器635上输出。此外，组合仪表管理器633可以能够渲染其自身的HMI或推动与车辆网络内的其它装置的数据通信。
[0067]可使用车辆服务器的HMI的另一个类型的显示器是车辆中央仪表。车辆中央仪表可用于显示各种车辆信息，诸如音频信息、导航信息、电话信息、车辆设置等。车辆中央仪表显示器639可与车辆中央仪表管理器637通信。中央仪表管理器637可从车辆服务器接收界面数据以在中央仪表显示器639上输出。此外，组合仪表管理器637可以能够渲染其自身的HMI或推动与车辆网络内的其它装置的数据通信。
[0068]图5B是描述使用车辆中的各种显示器的网络结构的简化框图的示意性实施例。车辆计算机系统657可作为车辆嵌入式服务器主机来与使用浏览器或应用的各种装置通信数据和网页。某些显示器可以是硬连线的，诸如车辆组合仪表655、中央仪表659、HUD651，或者是用于输出HMI界面653的其它显示器。另外，web服务器可使用有线/无线连接661来引入移动装置663。移动装置663可输出在移动装置上使用的各种车辆HMI665。各种装置663可通过有线或无线连接661与车辆web服务器657通信。各种显示器和装置可使用应用来输出相关HMI数据以输出界面665。在另一实施例中，可使用渲染其自己的页面的移动装置浏览器来输出界面665。
[0069]图6是显示在不同类型的移动装置上的人机界面的示意性实施例。701是可与车辆服务器连接以操作车辆计算机系统的平板电脑的示例。移动装置的界面可允许用户控制各种特征，诸如无线电导航、气候控制、手机以及其它特征和设置。平板电脑的界面702可模拟车内HMI的界面，或者可适合于平板电脑的特定特征。界面可运行在不同的操作系统上，诸如iOS和Android。车辆服务器可将适合平板电脑的屏幕尺寸和分辨率的格式的HMI发送到平板电脑701。
[0070]703是可与车辆服务器连接以操作车辆计算机系统的手机的示例。平板电脑701和手机703可经由有线、短距离无线(例如，蓝牙、WiF1、WiFi直连)或长距离无线(CDMA、GSM、LTE等)连接。界面705可被调整为最优地适合和显示手机的屏幕。虽然图6示出被用于显示界面的手机和平板电脑的示例，但是可使用其它移动装置。这可包括MP3播放器、膝上型计算机、PDA或者便携式游戏装置。
[0071]图7示出可使用语音对话系统的基于查询的HMI的示例。基于查询/搜索的系统801可允许语音识别引擎与用于人机界面环境的云服务器结合使用。基于查询的系统801可以在车内，位于车外服务器上，或者使用包含车内和车外两种的处理的某些方面的混合式组合。在基于查询/搜索的汽车HMI中，用户可使用与基于云的车辆服务器一起工作的语音对话系统查询功能或搜索功能或信息。车辆分区可为用户提供不同选项。例如，用户可查询多轮廓功能并且用户被提供相关的视觉HMI显示和多轮廓功能的可听说明。
[0072]语音对话系统803可为用户输出可听的对话。这可允许用户通过车辆扬声器收听计算机合成语音(文本到语音)，并通过MIC提供命令。对话系统803可使用各种语音识别引擎来识别命令。另外，语音对话系统可以在车外的用于附加的计算能力的另一服务器上。此外，语音对话系统803可与视觉HMI元素结合地使用。例如，图形化地显示在系统上的任何菜单和文本可根据可用的对话请求来操作。例如，如果图形按钮在显示器上的状态是改变到下一无线电台的“向上搜索”，则可允许对话系统803输出“向上搜索”或“下一无线电台”作为可能的命令。
[0073]此外，基于查询的系统801可与基于云的服务器807结合使用，或者与附加的计算处理结合地使用，其中，基于云的服务器807使用上下文收集器809来产生不同的HMI命令。通过使用上下文收集器809来产生独特的语音对话系统803，收集器809可接收位置数据813和其它车辆信息811来产生用于基于查询的系统801的对话。在一个示例中，上下文收集器809可经由从引擎E⑶接收的车辆数据811认识到车辆的油量低。通过使用位置数据813，系统可知道加油站在前方。因此，对话系统803可询问用户“你是否愿意访问前方的Mobile加油站？ ”。此外，视觉HMI元素805可在地图上显示加油站的精确位置以及像地址或电话号码的直观信息。虽然示出的实施例显示了一个示例，但是各种车辆数据和车外数据的任意组合可与基于查询的系统801结合使用。在一个示例中，用户可查询/搜索作为多轮廓座椅的选项提供的适合的腰部和靠垫调整。语音对话系统可从车辆云服务器收集数据并针对给定的查询提供适合的帮助。
[0074]虽然以上描述了示例性实施例，但是这些实施例并不是意图描述本发明的所有可能行驶。相反，在说明书中使用的词语是描述的词语而不是限制，应理解可在不脱离本发明的精神和范围的情况下做出各种改变。另外，各种实现实施例的特征可被组合以形成本发明的进一步的实施例。
【权利要求】
1.一种车辆计算机系统，包括: 无线收发器，被配置为与移动装置建立连接，其中，无线收发器还被配置为使用第一web浏览器格式发送被配置用于在移动装置上输出的移动装置人机界面HMI ； 车辆显示器，被配置为使用第二 web浏览器格式输出车内HMI以控制各种车辆功能； 车辆服务器，被配置为产生用于车辆显示器的车内HMI，并产生用于移动装置的移动装置 HMI。
2.如权利要求1所述的车辆计算机系统，其中，车辆计算机系统还包括与车辆计算机系统通信的车外服务器，车外服务器被配置为使用或提供车外数据来产生移动装置HMI或车内HMI。
3.如权利要求2所述的车辆计算机系统，其中，车外服务器包含车外车辆数据、智能电话车辆数据和车辆人机界面数据中的一个或多个。
4.如权利要求2所述的车辆计算机系统，其中，车外服务器还被配置为使用web套接字与车辆服务器交换数据。
5.如权利要求2所述的车辆计算机系统，其中，车外服务器包括:上下文数据收集器，使用车外车辆数据、智能电话车辆数据和车辆人机界面数据中的一个或多个来产生将被发送到车辆计算机系统的上下文人机界面。
6.如权利要求2所述的车辆计算机系统，其中，车辆计算机系统使用web套接字与车外服务器保持永久连接。
7.如权利要求1所述的车辆计算机系统，其中，车内HMI包括语音交互界面。
8.如权利要求1所述的车辆计算机系统，其中，车辆服务器被配置为使用在单个TCP连接上的全双工信道。
9.如权利要求1所述的车辆计算机系统，其中，与移动装置的连接是WiFi直连连接。
10.如权利要求1所述的车辆计算机系统，其中，第一web浏览器格式和第二 web浏览器格式相同。
11.如权利要求1所述的车辆计算机系统，其中，车辆服务器还被配置为检测浏览器的支持格式，并基于浏览器的支持格式产生移动装置HMI或车内HMI。
12.如权利要求1所述的车辆计算机系统，其中，车辆服务器被配置为支持基于自然语言查询的人机界面。
【文档编号】G06F9/44GK103997510SQ201410050949
【公开日】2014年8月20日 申请日期:2014年2月14日 优先权日:2013年2月14日
【发明者】詹姆斯·斯特沃特·兰金, 巴萨瓦拉杰·托恩沙尔, 皮埃特·布托罗, 陈一帆, 加里·史蒂文·史杜莫乐, 杰弗瑞·艾伦·格林波尔格, 迪米塔·彼特诺夫·菲利夫, 克里希纳斯瓦米·韦卡特施·普拉萨德 申请人:福特全球技术公司