基于情境的会话启动装置、系统、车辆和方法与流程

文档序号:16246763发布日期:2018-12-11 23:39阅读:165来源:国知局
基于情境的会话启动装置、系统、车辆和方法与流程

本发明的实施方案总体而言涉及车辆技术,更具体地,本发明的实施方案涉及基于情境的会话启动装置、系统、车辆和方法。

背景技术

许多近期的车辆都装配了语音识别装置,使得用户(例如,驾驶员或乘客)可以用语音来输入指令。语音识别装置可以帮助用户操作车辆或安装在车辆上的各种装置,例如导航装置、广播接收器、音响主机等。



技术实现要素:

本发明提供了基于情境的会话启动装置、系统、车辆和方法,所述基于情境的会话启动装置、系统、车辆和方法可以分析不同类型的数据,以检测周围的情况,并基于所检测到的情况与用户开始会话。

根据本发明实施方案,基于情境的会话启动装置包括:情境信息收集器,其配置为收集情境信息,所述情境信息收集器包括设置在车辆内的多个传感器;处理器,其配置为基于所述情境信息来确定脉络数据,基于所述脉络数据和情境分析模型来确定目标操作,并基于所确定的目标操作来生成要输出的语音内容;以及输出装置,其配置为可视地或可听地输出所述语音内容。

所述处理器可以配置为基于用户的使用历史或先前目标操作的历史来进行学习,并基于所述学习的结果来创建所述情境分析模型。

所述处理器可以配置为进行基于规则的学习和基于模型的学习中的至少一种,并根据所述基于规则的学习和基于模型的学习中的至少一种的结果来创建所述情境分析模型。

所述情境信息收集器可以配置为收集多条情境信息,所述处理器可以配置为在所述多条情境信息中提取至少两条相关的脉络数据,并基于至少两条相关的脉络数据和所述情境分析模型来确定目标操作。

所述处理器可以配置为基于所确定的目标操作来确定对应于所述目标操作的操作实体的操作场景。

所述操作实体可以包括至少一个应用程序,而所述处理器可以配置为执行所述至少一个应用程序,并基于所确定的目标操作的操作来改变所述至少一个应用程序的设置。

所述情境信息可以包括以下中的至少一个:用户的动作、用户的动作模式、车辆的行驶状态、车辆的周围环境、当前时间和车辆的位置、安装在车辆中的装置的状态或操作、通过通信网络从外部来源接收的信息、以及从用户或处理器获取的信息。

所述处理器可以配置为在预定义的事件发生时,基于所述情境信息来启动对脉络数据的确定。

所述预定义的事件可以包括以下中的至少一个:用户的动作,车辆的状态改变,行驶情况的改变,到达特定时间,位置的改变,设置信息的改变,车辆内部的情况改变,以及外围装置的处理的改变。

所述基于情境的会话启动装置可以进一步包括:语音接收器,其配置为在语音内容输出之后接收用户的语音,其中,所述处理器可以配置为分析用户的语音,并基于所分析的语音生成用于目标操作的控制信号。

此外,根据本发明实施方案,基于情境的会话启动方法包括:利用设置在车辆内的多个传感器来收集情境信息;基于所述情境信息来确定脉络数据;基于所述脉络数据和情境分析模型来确定目标操作;根据所确定的目标操作来生成要输出的语音内容;利用输出装置可视地或可听地输出所述语音内容。

所述基于情境的会话启动方法可以进一步包括:存储用户的使用历史或先前目标操作的历史;基于所述用户的使用历史或所述先前目标操作的历史来进行学习;基于所述学习的结果来创建所述情境分析模型。

所述进行学习可以包括进行基于规则的学习和基于模型的学习中的至少一种。

所述收集情境信息可以包括收集多条情境信息,而所述对脉络数据的确定可以包括在所述多条情境信息中提取至少两条相关的脉络数据。

所述基于情境的会话启动方法可以进一步包括基于所确定的目标操作来确定对应于所述目标操作的操作实体的操作场景。

所述操作实体可以包括至少一个应用程序,而确定操作场景可以包括执行所述至少一个应用程序,并基于所确定的目标操作的操作来改变所述至少一个应用程序的设置。

所述情境信息可以包括以下信息中的至少一个:用户的动作、用户的动作模式、车辆的行驶状态、车辆的周围环境、当前时间和车辆的位置、安装在车辆中的装置的状态或操作、通过通信网络从外部来源接收的信息、以及从用户获取的信息。

所述基于情境的会话启动方法可以进一步包括在预定义的事件发生时根据所述情境信息来启动对脉络数据的确定。

所述预定义的事件可以包括以下事件中的至少一个:用户的动作、车辆的状态改变、行驶情况的改变、到达特定时间、位置的改变、设置信息的改变、车辆内部的情况改变、以及外围装置的处理的改变。

所述基于情境的会话启动方法可以进一步包括:在语音内容输出之后接收用户的语音;分析用户的语音;以及基于所分析的语音来生成用于目标操作的控制信号。

此外,根据本发明实施方案,一种车辆包括:情境信息收集器,其配置为收集情境信息,所述情境信息收集器包括设置在车辆内的多个传感器;处理器,其配置为基于所述情境信息来确定脉络数据,基于所述脉络数据和情境分析模型来确定目标操作,并基于所确定的目标操作来生成要输出的语音内容;以及输出装置,其配置为可视地或可听地输出所述语音内容。

此外,根据本发明实施方案,一种基于情境的会话启动系统包括:车辆,其装配有多个传感器、处理器和输出装置;服务器装置,其与车辆的处理器进行通信,以用于接收利用所述多个传感器收集的情境信息,基于所述情境信息来确定脉络数据,基于所述脉络数据和情境分析模型来确定目标操作,根据所确定的目标操作来生成要输出的语音内容。所述车辆的输出装置配置为可视地或可听地输出由所述服务器装置确定的语音内容。

附图说明

通过参照以下简要描述的附图来对本发明的示例性实施方案进行详细陈述,本发明的以上和其他目的、特征和优点对本技术领域的技术人员将更加显然。

图1是根据本发明实施方案,基于情境的会话启动装置的框图。

图2显示了车辆外部的示例。

图3显示了车辆的仪表板的周围环境的示例。

图4是根据本发明实施方案的车辆的控制框图。

图5是根据本发明实施方案的处理器的控制框图。

图6是根据本发明实施方案的情境分析器的框图。

图7是用于解释基于规则的学习的示意图。

图8是用于解释基于模型的学习的示意图。

图9是根据本发明实施方案,用于解释目标操作确定器的操作的第一示意图。

图10是根据本发明实施方案,用于解释目标操作确定器的操作的第二示意图。

图11是根据本发明实施方案,用于解释目标操作确定器的操作的第三示意图。

图12是根据本发明实施方案,用于解释目标操作确定器的操作的第四示意图。

图13是根据本发明实施方案的会话处理器的框图。

图14显示了根据本发明实施方案的基于情境的会话启动系统。

图15是显示了根据本发明的实施方案,基于情境的会话启动方法的流程图。

图16是显示了根据本发明的实施方案,基于用户行为来启动会话的方法的流程图。

图17是显示了根据本发明实施方案,基于在车辆行驶过程中车辆所发生的特定情境来启动会话的方法的流程图。

图18是显示了根据本发明的实施方案,基于用户的使用模式来启动会话的方法的流程图。

图19是显示了根据本发明的实施方案,基于装配在车辆中的装置开始运行来启动会话的方法的流程图。

图20是显示了根据本发明的实施方案,基于装配在车辆中的装置开始运行来启动会话的方法的另一流程图。

应当理解的是,以上参考的附图并不一定按比例地绘制,而是图示性地简化呈现各种优选的特征以显示本发明的基本原理。本发明的具体设计特征(包括例如,具体尺寸、方向、位置和外形)将部分地由具体所要应用和使用的环境来确定。

具体实施方式

在下文中,将参照附图来详细地描述本发明的具体实施方案。本领域的技术人员将意识到,所描述的实施方案可以以各种不同的方式修改,而都不会偏离本发明的精神或范围。此外,在整个说明书中,相同的附图标记表示相似的元件。

在本文中使用的术语只用于描述具体实施方案的目的,并非旨在限制本发明。如本文中所使用的,单数形式“一”、“一个”和“所述”旨在也包括复数形式,除非在上下文明确地指示出。还将理解的是,当在本明书中利用术语“包括”和/或“包含”时,指明存在所述特征、整体、步骤、操作、元件和/或组件,但是不排除存在或添加一个或多个其他的特征、整体、步骤、操作、元件、组件和/或它们的群组。如本文所使用的,术语“和/或”包括一个或多个相关列举项的任何组合和所有组合。

应当理解的是,本文中所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆,例如包括运动型多用途车辆(suv)、大客车、大货车、各种商用车辆的乘用车辆,包括各种舟艇、船舶的船只,航空器等,并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如,源于非化石能源的燃料)。正如本文所提到的,混合动力车辆是具有两种或更多种动力源的车辆,例如汽油动力和电力动力两者的车辆。

此外,应该理解的是,一个或更多个以下的方法或者其中的方面可以由至少一个控制单元来执行。术语“控制单元”可以指包括存储器和处理器的硬件装置。存储器配置为存储程序指令,并且处理器被具体地编程以执行程序指令,从而进行下面进一步描述的一个或更多个过程。此外,如本领域技术人员可以理解的,应该理解下面的方法可以由包括控制单元的装置结合一个或更多个其他组件来执行。

此外,本发明的控制单元可以实施为非易失性计算机可读介质,所述非易失性计算机可读介质包括由处理器、控制器等执行的可执行的程序指令。计算机可读介质的示例包括但不局限于:rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡以及光学数据存储装置。计算机可读记录介质也可以分布遍及计算机网络,使得程序指令以分布式的形式(例如,通过远程信息处理服务器或者控制器局域网(can))存储和执行。

现在将参照图1至图13来描述基于情境的会话启动装置和具有所述基于情境的会话启动装置的车辆的实施方案。

图1是根据本发明实施方案,基于情境的会话启动装置的框图。

如图1所示,基于情境的会话启动装置1可以包括:情境信息收集器90、处理器200、存储器400和输出装置500。

情境信息收集器90配置为至少一次地收集至少一条情境信息。

情境信息可以包括基于情境的会话启动装置1启动会话所需的各种类型的信息。

例如,情境信息可以包括如下信息中的至少一种:涉及用户的具体操作的信息、涉及用户操控或基于情境的会话启动装置1或其他相关装置设置的信息、涉及基于情境的会话启动装置1或其他相关装置的使用模式或使用历史的信息、涉及基于情境的会话启动装置1或其他相关装置的运行或状态的信息、涉及基于情境的会话启动装置1的当前时间或当前位置的信息、以及从与基于情境的会话启动装置1分开的外部装置发送的其他信息。然而,情境信息不限于此。情境信息可以包括设计人员可能会考虑到的用于基于情境的会话启动装置1启动会话的许多不同类型的信息。

具体地,例如,如果基于情境的会话启动装置1是图2中的车辆10或装配在车辆10中的装置(例如,音响主机或导航装置),则情境信息可以包括如下信息中的至少一种:关于车辆10的状态的信息、涉及车辆10的行驶情况的信息、关于当前时间的时间信息、关于车辆10的当前位置的空间信息、关于驾驶员操控安装在车辆10内部的各种装置的信息、关于由驾驶员输入或改变的各种装置的设置的信息、关于启动外围装置运行的信息、关于通过处理外围装置所获取的处理结果的信息、通过通信网络从外部所接收的信息、以及关于由用户或处理器预先获取的信息的先验信息。

情境信息收集器90可以收集许多不同条的情境信息。在这方面,情境信息收集器90可以利用设置于整辆车的不同物理装置(例如,传感器),来收集不同条的情境信息。例如,情境信息可以包括车辆的位置和速度,在这种情况下,情境信息收集器90可以利用全球定位系统(gps)传感器来收集车辆的位置,并利用速度传感器来收集车辆的速度,以作为情境信息。

情境信息收集器90可以周期性地或基于预定设置来收集情境信息。例如,情境信息收集器90可以配置为只有满足特定条件的情况下才收集情境信息。特定条件可以是某个预定义的触发器(即,事件)的激活。例如,预定义的触发器或事件可以包括:用户的动作、基于情境的会话启动装置1的状态的改变、涉及基于情境的会话启动装置1的运行的周围情况的改变、到达特定时间、基于情境的会话启动装置1的位置的改变,或基于情境的会话启动装置1或相关装置的设置信息或处理结果的改变。

由基于情境的会话启动装置1收集的至少一条情境信息可以通过电线、电路和/或无线通信网络发送至处理器200。在这种情况下,情境信息收集器90可以将情境信息以电信号的形式发送至处理器200。

处理器200可以配置为基于由情境信息收集器90所收集的情境信息来确定对应于情境的操作(以下称为“目标操作”),并基于目标操作来与用户进行会话。如有必要,处理器200可以进一步创建所需的场景,从而在确定目标操作之外,还进行目标操作。

在本发明的实施方案中,处理器200可以从由情境信息收集器90所收集的至少一条情境信息中提取所需的情境信息(以下称为“脉络数据”),并基于所提取的脉络数据来确定目标操作。换句话说,从情境信息收集器90中接收了多条情境信息之后,处理器200可以提取多条情境信息中的至少一条,和/或从一条情境信息中提取一部分。脉络数据可以指用来分析当前情境的数据。

在本发明的实施方案中,处理器200可以通过存储各种历史记录(例如,关于确定目标操作的结果的历史记录)来获取情境分析模型,并利用所确定的历史记录来进行学习过程。情境分析模型指的是这样的模型:可以响应于关于特定情境的数据输入,而输出对应于特定情境的目标操作。

处理器200可以利用情境分析模型来确定目标操作。如果由于缺乏或没有预先存储的历史记录而难以创建情境分析模型,则处理器200可以基于额外的情境分析模型或由用户或设计人员预先存储的各种设置值来确定目标操作。

处理器200可以利用不同的情境分析模型用于意图的目标操作。例如,在燃料短缺的情况下,处理器200可以利用关于选择加油站的情境分析模型来确定目标操作。

此外,如果发生预定义的事件(或触发器),则处理器200可以确定对应于情境信息的目标操作。预定义的事件可以用作处理器200操作的触发器。具体而言,例如,处理器200可以响应于事件的发生而开始从情境信息中获取脉络数据,并利用所获取的脉络数据和情境分析模型来确定目标操作。

例如,预定义的事件可以包括如下中的至少一种:用户定义的操作、基于情境的会话启动装置1的状态的改变、基于情境的会话启动装置1的周围情况的改变、到达特定时间、基于情境的会话启动装置1的位置的改变、可能涉及基于情境的会话启动装置1的或由基于情境的会话启动装置1获取的各种设置的改变、连接至基于情境的会话启动装置1的外围装置的新处理结果的输出等。在某些情况下,预定义的事件可以设置为对应于脉络数据。

一旦确定了目标操作,处理器200可以以文本或语音信号的形式来创建词、短语或句子(以下称为“会话启动语”),并且向输出装置500发送会话启动语;所述会话启动语将由基于情境的会话启动装置1输出以启动会话。处理器200也可以基于所创建的场景来创建会话启动语。相应地,处理器200可以主动地与用户开始会话。

处理器200可以运行存储在存储器400中的应用程序(也称为程序或应用),以进行某些计算、处理或控制操作,或者根据预设的应用程序来进行某些计算、处理或控制操作。存储在存储器400中的应用程序可以经由电子软件销售网来获取。

处理器200可以包括:中央处理单元(cpu)、电子控制单元(ecu)、应用处理器(ap)、微控制器单元(mcu)、微处理器单元(mpu)、和/或能够进行各种计算和产生控制信号的任何其他电子装置。所述装置可以利用至少一个半导体芯片和相关部件来实施。处理器200可以利用单个装置或多个装置来实施。

处理器200的操作和处理将在后面更详细地描述。

存储器400配置为存储涉及基于情境的会话启动装置1的操作的应用程序或至少一条信息。具体地,存储器400配置为存储涉及处理器200的计算、处理和控制操作的应用程序,用于计算、处理和控制操作所需的信息(例如,历史信息),或从处理器200的处理结果中所获取的信息。

历史信息可以包括关于基于情境的会话启动装置1或相关装置的使用历史的信息。例如,对于涉及基于情境的会话启动装置1的图3和图4中的导航装置110,关于系统的使用历史的信息可以包括关于曾经输入至导航装置110的一系列目的地的信息以及相应的路线信息。历史信息可以包括关于对应于处理器200对目标操作的确定结果的历史的信息。

在另一个示例中,存储器400可以暂时或非暂时地存储由情境信息收集器90获取的情境信息或在处理器200的计算过程或处理过程中生成的数据(例如,脉络数据),直到处理器200调用所述信息或数据为止。

存储器400可以利用如下来实施:磁盘类型存储介质(例如,硬盘或软盘)、光学介质(例如,光盘(cd)或数字多功能盘(dvd))、磁光介质(例如,软式光盘),或半导体存储装置(例如,只读存储器(rom)、随机存取存储器(ram)、安全数字(sd)卡、闪存、固态驱动器(ssd))等。

输出装置500可以为用户输出并提供会话启动语。相应地,可以在用户和基于情境的会话启动装置1之间启动会话。

例如,输出装置500可以包括语音输出装置510和显示器520中的至少一种。

语音输出装置510用语音来输出会话启动语。具体地,如果从处理器200接收到对应于会话启动语的电子信号,语音输出装置510可以通过将所述电子信号转换为声波来对其进行输出。例如,语音输出装置510可以利用扬声器、耳机或若干不同的头戴耳机的任何一种来实施。

显示器520可以在视觉上输出会话启动语。具体地,显示器520可以根据来自处理器200的控制信号,以文本、符号、图形、其他各种形状或它们的任何组合来输出会话启动语。显示器520可以利用显示面板来实施,例如,阴极射线管(crt)面板、液晶显示器(lcd)面板、发光二极管(led)面板或有机发光二极管(oled)面板。

此外,输出装置可以利用能够为用户提供会话启动语的各种装置来实施。

如有必要,基于情境的会话启动装置1可以进一步包括能够接收来自于用户的响应的输入装置。所述输入装置可以包括用于接收用户产生的语音并将语音输出为电信号(以下称为“语音信号”)的语音接收器。语音接收器可以用麦克风来实施。输入装置可以包括各种能够输出对应于用户操控的电信号的装置,例如机械按钮、操作杆(joystick)、鼠标、触摸板、触摸屏、跟踪板或跟踪球。从输入装置输出的信号可以发送至处理器200,处理器200转而可以基于所接收的信号来创建会话语言或控制信号。

基于情境的会话启动装置1可以包括能够进行数学运算和输出会话启动语的各种装置。例如,基于情境的会话启动装置1可以包括:台式计算机、膝上型计算机、移动电话、智能电话、平板电脑、车辆、机器人、各种机器或家用电器。

现在将以车辆为例来更详细地描述基于情境的会话启动装置1。

图2显示了车辆外部的示例,而图3显示了车辆的仪表板的周围环境的示例。图4是根据本发明实施方案的车辆的控制框图。

如图2所示,车辆10可以包括:车身11、车轮12、油箱40和发动机50;车身11形成车辆10的外部;至少一个车轮12附接至车身11以用于在沿某一方向旋转时使车辆10移动;油箱40存储车辆10运行所需的燃料;发动机50安装在发动机舱11a中,通过使用燃料来产生车轮的驱动力。至少一扇车门17附接至车身11,打开和关闭车门17可以使驾驶员或同行的乘客进出车辆10。至少一盏外部车灯13、14a、14b可以安装于车辆10,例如前照灯13,方向指示灯14a、14b等。

在本发明的实施方案中,车窗17a可以安装于车门17,并且能够打开和关闭。为了打开和关闭车窗17a,车门17具有车窗驱动器17b,车窗驱动器17b例如包括电机及根据电机的运行来使车窗17a上下移动的各种装置。

根据需要,除了发动机50之外,车辆10可以进一步包括电机和电池;所述电机利用电能而不是发动机50来获取车轮12的驱动力;所述电池向电机提供电能。

如图2和图3所示,车辆10内形成了内部空间19,以容纳驾驶员或乘客。发动机舱11a和内部空间19可以由放置在挡风玻璃16下的仪表板20来分隔。

驾驶员或乘客所需的许多不同的外围装置可以安装于车辆10的内部空间19中。例如,可以有如下中的至少一种:多媒体系统(例如,导航装置110、音响主机120或无线电接收器)、数据输入/输出模块117、外部摄像机181、内部摄像机182、语音输出装置510、语音输入装置505、空调140、连接至空调140的通气孔149、显示器520以及安装在内部空间19的输入装置150。

这些系统或装置可以根据设计人员或用户的选择来安装在车辆10内的任何位置。

导航装置110配置为提供地图、区域信息,允许路线设置,或进行路线引导。例如,导航装置110可以安装在仪表板20的顶部或中央仪表板22中。

然后参照图4,导航装置110可以包括用于确定车辆位置的位置确定器119。位置确定器119可以测量车辆10的位置。例如,位置确定器119可以利用例如全球导航卫星系统(gnss)来获取位置数据。gnss包括导航系统,该系统利用从人造卫星接收的无线电信号来计算接收终端的位置。例如,gnss可以包括导航系统,例如全球定位系统(gps)、伽利略(galileo)、全球轨道导航卫星系统(glonass)、指南针(compass)、印度区域导航卫星系统(irnss)、准天顶卫星系统(qzss)等。

在某些实施方案中,位置确定器119可以嵌入车辆10内,与例如在仪表板22的内部空间中的导航装置110分开。

音响主机120指的是能够接收无线电信号、调谐无线电频率、播放音乐或进行其他各种相关控制操作的装置。音响主机120或无线电接收器可以安装在位于仪表板20中央的中央仪表板22上。

设置了数据输入/输出模块117以用于车辆10与外部终端装置(例如,智能手机或平板电脑)进行有线通信。车辆10连接至外部装置,以通过数据输入/输出模块117以及与数据输入/输出模块117的终端相结合的至少一条电缆来进行通信。例如,数据输入/输出模块117可以包括通用串行总线(usb)终端,此外,可以包括用于接口的各种终端中的至少一种,例如,高清晰度多媒体接口(hdmi)终端或雷电接口(thunderbolt)终端。根据设计人员的选择,数据输入/输出模块117可以安装于至少一个位置,例如,中央仪表板22、变速箱、控制台等。

此外,外部摄像机181和内部摄像机182中的至少一个可以进一步安装在内部空间19中;所述外部摄像机181用于拍摄车辆10的外部(例如,前部)的图像,内部摄像机182用于拍摄车辆10的内部空间19的图像。外部摄像机181和内部摄像机182中的至少一个可以安装在仪表板20上或者车身11的顶架11b的底部。在这种情况下,外部摄像机181和内部摄像机182中的至少一个可以安装在后视镜24的周围。

外部摄像机181和内部摄像机182中的至少一个可以用摄像机装置来实施,所述摄像机装置包括电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)。外部摄像机181和内部摄像机182可以输出对应于所拍摄的图像的图像信号。

此外,用于输出语音的语音输出装置510可以安装在车辆10的内部空间19中。语音输出装置510可以利用扬声器装置510a来实施,扬声器装置510a可以安装在任何位置,例如车门17上,仪表板20上和/或在后搁板上,扬声器装置510a的安装可以由设计人员来考虑。语音输出装置510可以包括装配在导航装置110中的扬声器装置510b。

此外,语音输入装置505、505a、505c可以装配在车辆10中,以接收由驾驶员或乘客中的至少一个所产生的语音。语音输入装置505可以用麦克风来实施。语音输入装置505可以安装在适当的位置,以接收来自驾驶员和乘客中的至少一个的语音,例如,语音输入装置505可以位于车身11的顶架11b的底部的至少一个区域505a、505c中。

空调140可以安装在发动机舱11a中,或者安装在发动机舱11a和仪表板20之间的空间内,以冷却或加热空气;用于排出由空调140冷却或加热的空气的通气孔149可以安装在内部空间19中。例如,通气孔149安装在仪表板20或控制台上。

显示器520可以安装在内部空间19中,以为驾驶员或乘客可视地提供各种信息。所述各种信息可以包括涉及车辆的信息。例如,设计人员意图提供的所述信息可以包括以下信息中的至少一种:速度、发动机rpm、发动机温度、剩余的冷却液量、机油是否短缺,和/或图4中安装在车辆10中的各个系统60是否正常工作。

例如,显示器520可以利用以下方式来实施:安装在导航装置110中的显示器521或安装在方向盘23前方、仪表板20上的仪表板520,以用于提供关于车辆10的各种指示。

输入装置150可以响应于驾驶员或乘客的操控而接收来自驾驶员或乘客的指令,并向处理器200发送相应信号。例如,输入装置150可以安装在中央仪表板22、方向盘23、变速箱、头顶控制台、形成在车门上的车门装饰件和/或控制台上。输入装置150也可以利用导航装置110的触摸屏来实施。

此外,各种照明装置175可以进一步安装在内部空间19中。

如图4所示,在本发明的实施方案中,车辆10可以进一步装配有无线通信模块,例如,移动通信模块176和短程通信模块178中的至少一个。

移动通信模块176配置为与远程装置(例如,服务器装置或终端装置中的至少一种)交换数据。车辆10可以利用移动通信模块176访问万维网(www),并相应地收集各种类型的外部信息,例如,新闻、关于车辆10的周围环境的信息、天气信息等。

移动通信模块176可以利用预定的移动通信技术来实施。例如,移动通信模块176可以通过利用至少一种基于移动通信标准(例如,3gpp、3gpp2或wimax系列)并且由设计人员考虑的通信技术来实施。移动通信标准可以包括,例如,全球移动通信系统(gsm)、增强型数据gsm环境(edge)、宽带码分多址(wcdma)、码分多址(cdma)、时分多址(tdma)等。

短程通信模块178可以配置为与位于短距离内的装置(例如,智能手机、平板电脑或膝上型计算机)进行无线通信。车辆10可以利用短程通信模块178来与位于短距离内的装置进行配对。

在本发明的实施方案中,短程通信模块178可以使用某种短程通信技术来进行通信。例如,短程通信模块178可以利用以下方式来与外部装置进行通信:蓝牙、低功耗蓝牙(bluetoothlowenergy)、控制器局域网(can)、wi-fi、wi-fi直连、wi-max、超宽带(uwb)、无线个域网(zigbee)、红外线数据协会(irda)或近场通信(nfc)。

移动通信模块176和短程通信模块178可以嵌入在例如导航装置110或音响主机120中,或者安装在位于发动机舱11a与仪表板20之间的空间中的基板上。在某些实施方案中,移动通信模块176和短程通信模块178中的至少一个可以制造为单独的装置,在这种情况下,移动通信模块176和短程通信模块178中的至少一个可以连接至数据输入/输出模块179的终端,以用于在车辆10和外部装置之间进行通信。

再次参照图4,车辆10可以包括至少一个传感器190。

例如,传感器190可以包括如下中的至少一种:燃料传感器131、冷却液传感器132、发动机温度传感器133、发动机转速传感器134、机油传感器135、系统传感器136、车窗打开/关闭传感器191、车门打开/关闭传感器195,以及轮胎压力传感器196。

燃料传感器131配置为测量燃料箱40中的剩余燃料量并输出关于剩余燃料量的信息,冷却液传感器132可以配置为测量冷却液箱51中的剩余冷却液并输出关于剩余冷却液的信息。发动机温度传感器133可以测量发动机50的温度并输出关于所测量的温度的信息,发动机转速传感器134可以测量发动机rpm并输出相应信息。机油传感器135配置为测量机油箱52中的剩余机油,并输出关于剩余机油的信息。

系统传感器136配置为检测车辆10运行所需的各种系统60是否正常工作。系统60可以包括如下中的至少一种:用于控制液压制动器的防抱死制动系统(abs)61、牵引力控制系统(tcs)62、防滑控制(asr,anti-spinregular)63、车辆动态控制(vds)64、电子稳定性程序(esp)65和车辆稳定性管理(vsm)66。此外,系统传感器136可以检测用于控制车辆10的各个部分的操作的各种控制系统相对于车辆10的行驶是否正常工作。系统传感器136可以设置为用于上述系统60至66中的每一个。

车窗打开/关闭传感器191可以检测车窗17a是否打开。车窗打开/关闭传感器191可以利用连接至车窗驱动器17b的编码器来实施,例如,电机或任何类型的光学传感器或压力传感器。

车门打开/关闭传感器195可以检测车门17是否打开。车门打开/关闭传感器195可以通过在车门17关闭时连接的压力传感器或开关来实施。

轮胎压力传感器196配置为测量包围车轮12外部的轮胎12a的压力,并可以利用例如压电传感器或电容传感器来实施。

此外,车辆10可以进一步包括用于不同目的的其他各种传感器。例如,车辆10可以进一步包括用于测量某一过滤器的污染或损坏的传感器。

根据需要,从上述导航装置110、音响主机120、空调140、输入装置150、移动通信单元176、内部接口177(例如,短程通信模块178或数据输入/输出模块179)、外部摄像机181、内部摄像机182、至少一个传感器190、语音输入装置505、语音输出装置510或仪表板522输出的信息可以用作情境信息。换句话说,所述装置可以分别是情境信息收集器90的示例。

如图4所示,车辆10可以进一步包括处理器200和存储器400。处理器200和存储器400相互电连接以用于交换数据。

导航装置110、音响主机120、空调140、输入装置150、移动通信单元176、内部接口177(例如,短程通信模块178或数据输入/输出模块179)、外部摄像机181、内部摄像机182、传感器190、语音输入装置505、语音输出装置510或仪表板522中的至少一个,配置为通过嵌入于车辆10的导线或电缆或者通过无线通信网络,向处理器200和存储器400中的至少一个发送数据,和/或从处理器200和存储器400中的至少一个来接收数据或控制信号。无线通信网络可以包括can通信。

现在将在下面更详细地描述处理器200的操作。

图5是根据本发明实施方案的处理器的控制框图。

处理器200可以从情境信息收集器90发送的每一条情境信息中获取脉络数据,从而分析情境信息,并基于脉络数据和从存储器400所提供的情境分析模型来确定目标操作。

如图5所示,处理器200可以包括:脉络数据处理器210、情境分析器220和目标操作确定器240,并且根据需要可以进一步包括场景确定器268。处理器200可以进一步包括:会话处理器270、控制信号发生器290和应用驱动器295中的至少一种以控制其他装置的运行,所述其他装置例如导航装置110、语音输出装置510、空调140、车窗驱动器17b或可以由处理器200控制的其他各种装置。

处理器200可以从情境信息收集器90(例如,诸如上述导航装置110的装置)接收情境信息201。情境信息201被转发至脉络数据处理器210。

脉络数据处理器210可以接收至少一条情境信息201,并基于所接收的至少一条情境信息201来获取脉络数据。例如,如果接收到来自导航装置110的关于设置路线的指令输入的信息、关于路线设置的信息、关于估计的行驶距离的信息,接到到来自燃料传感器131的关于剩余燃料量的信息,以及接收到来自其他情境信息收集器90(例如,其他传感器131)的相应信息,则脉络数据处理器210可以提取涉及路线设置的必要信息(例如,剩余燃料量)来作为脉络数据。在这种情况下,可以丢弃其他的信息。此外,如果从任何情境信息收集器90接收到多条信息(例如,关于路线设置及估计的行驶距离的信息),则脉络数据处理器210可以从中提取所需的部分信息(例如,只提取关于估计的行驶距离的信息)来作为脉络数据。

根据用户或设计人员预先定义的设置,脉络数据处理器210可以在由情境信息收集器90收集的情境信息中提取所需的脉络数据。

在本发明的实施方案中,脉络数据处理器210可以在情境信息201中提取适当的脉络数据,以对应于已发生的预定事件。具体而言,如果用户进行了预定操作,车辆10的状态或周围情况发生了预定变化,时间和位置处于预定的范围内,和/或涉及车辆10或安装在车辆10中的许多不同的装置(例如,导航装置110)的设置值或输出值发生了改变,则脉络数据处理器210可以从情境信息201中提取出对应于事件的至少一个特定脉络数据。

脉络数据处理器210还可以从相同或不同的情境信息中提取多个脉络数据。例如,如果接收到包括来自导航装置110的设置路线的指令输入、路线设置、估计行驶距离的情境信息,以及接收到包括来自燃料传感器131的包括剩余燃料量的情境信息,则脉络数据处理器210可以从情境信息201中提取脉络数据——估计的行驶距离和剩余燃料量。

脉络数据处理器210还可以确定是否将脉络数据发送至目标操作确定器240。例如,如果设置路线的指令输入到导航装置110,并且作为响应,导航装置110确定了路线,则脉络数据处理器210可以将估计的行驶距离和剩余燃料量进行比较,以确定剩余燃料量是否短缺或剩余燃料量是否足以用于驾驶。如果剩余燃料量不短缺,则脉络数据处理器210可以不将脉络数据发送至目标操作确定器240,相应地,处理器200可以停止操作。相反,如果剩余燃料量短缺,则脉络数据处理器210可以将脉络数据发送至目标操作确定器240和/或情境分析器220,相应地,可以进行确定目标操作的过程。在某些实施方案中,脉络数据处理器210可以将脉络数据发送至目标操作确定器240,在这种情况下(将在下面进行描述),目标操作确定器240可以进行上述操作,例如,在估计的行驶距离与剩余燃料量之间进行比较。

脉络数据处理器210可以将所获得的脉络数据发送至目标操作确定器240。如果存在获得的多个脉络数据,则脉络数据处理器210可以将多个脉络数据进行组合,然后将组合结果发送至目标操作确定器240。在这种情况下,脉络数据处理器210可以组合并输出多个相关的脉络数据。本文中的相关意味着被一起利用以确定特定的目标操作。

图6是根据本发明实施方案的情境分析器的框图。

情境分析器220可以基于历史信息202来创建情境分析模型,和/或将所创建的情境分析模型发送至目标操作确定器240。在这种情况下,根据需要,情境分析器220可以接收从脉络数据处理器210所提取的脉络数据,挑选出对应于所接收的脉络数据的情境分析模型,并将情境分析模型发送至目标操作确定器240。

具体地说,如图6所示,在222,情境分析器220可以通过电路、导线或无线通信网络来接收存储和积累在存储器400中的历史信息202,在224,基于所接收的历史信息202来进行学习,以及在226,基于学习结果来创建情境分析模型。

在某些情况下,基于所接收的历史信息202,情境分析器可以利用各种学习方法来进行学习。例如,情境分析器220可以利用基于规则的学习算法和基于模型的学习算法中的至少一种来进行学习。

图7是用于解释基于规则的学习的示意图。

例如,基于规则的学习可以包括决策树学习。决策树学习指的是基于通过将规则和结果放入树形结构图中所形成的决策树来进行学习。决策树可以包括至少一个节点,节点可以包括父节点和连接至父节点的多个子节点。一旦父节点输入特定值,就可以选择对应于特定值的多个子节点中的一个。这个过程可以顺序地进行,并相应地获取最终结果。

情境分析器220可以基于输入的历史信息202来获取和更新决策树,并输出所获取和更新的决策树作为情境分析模型,以发送到目标操作确定器240。

例如,如果情境分析器220在搜索加油站时进行决策树学习,则可以获取如图7所示的决策树224-1。在这种情况下,决策树224-1可以包括多个节点n1至n5、r1至r6,并且多个节点n1至n5、r1至r6中的至少两个是相互连接的。节点n1至n5、r1至r6中的每一个都具有对应于用户或设计人员的选择或先前的学习结果的值(即,条件或结果)。例如,第一节点n1可以包括是否在特定区域周围(例如,在我的房屋周围)搜索目的地的决策;第二节点n2和第三节点n3是第一节点n1的子节点,它们分别可以包括是否进行不方便的操作(例如,掉头的决策)和是否有特定加油站的决策。第四节点n4是第二节点n2的子节点,其可以包括价格是否相对低廉的决策(n5),第五节点n5可以包括方向优先权的结果值。

图8是用于解释基于模型的学习的示意图。

基于模型的学习可以通过在学习算法中替换所获取的信息来进行。例如,所述学习算法可以利用深层神经网络(dnn)、卷积神经网络(cnn)、递归神经网络(rnn)、深度信念网络(dbn)和深度q-网络中的至少一种来实施。

一旦获取了历史信息202,情境分析器200可以通过以下方式来进行学习:替换在历史信息202中包括的各个记录202-1至202-4中的至少一个字段值202-11、202-21、202-31、202-41,例如,预先选择的加油站名称或在学习算法224-2中存储的名称;并基于学习执行结果来创建和更新某一情境分析模型226-2。在这种情况下,至少一个字段值202-11、202-21、202-31和202-41可以在分别被分配预定的权重之后在学习算法224-2中被替换,而所有预定的权重可以定义为相同的。

从学习结果中获取的情境分析模型226-2可以设置为符合用户的使用模式。情境分析模型226-2可以包括根据用户的使用模式来相同地或不同地确定的基于用户的权重。基于用户的权重可以是对从搜索结果(例如,价格、品牌、街道或方向)获取的每个因素进行加权的值。例如,如果如图8所示进行学习,则应用于价格、品牌、街道和方向的权重分别为0.65、0.30、0.04和0.01。

作为学习结果获取的情境分析模型226-2被发送至目标操作确定器240。

目标操作确定器240确定目标操作。目标操作指的是根据情境信息进行的至少一项操作。

目标操作确定器240可以确定目标操作和进行所述目标操作的至少一个操作实体。所述至少一个操作实体可以包括车辆10或安装在车辆10中的某一装置。例如,操作实体可以是物理装置或逻辑装置。例如,物理装置可以是导航装置110、音响主机120或空调140。例如,逻辑装置可以是应用程序。此外,操作实体可以是能够进行目标操作的任何装置。可以有单个操作实体、或者两个或更多个操作实体。

在接收到来自脉络数据处理器210的脉络数据和来自情境分析器220的情境分析模型后,目标操作确定器240基于脉络数据和情境分析模型来确定目标操作。

例如,如果根据图7所示的基于规则的学习过程获取了情境分析模型,则目标操作确定器240通过基于脉络数据顺序地做出对应于各个节点n1至n5的决策,来获取对应于脉络数据r1至r6的结果。例如,如上所述,如果要搜索加油站,则目标操作确定器240基于脉络数据来获取结果,所述脉络数据例如,方向的优先权r1、价格的优先权r3、r5,或距离基准r4、r6。具体而言,如果输入了表明从我的房屋周围搜索到目的地的情境信息,以及表明不需要掉头的情境信息,则目标操作确定器240可以获取方向的优先权作为结果。一旦获取了r1至r6的结果,目标操作确定器240就将基于所获取的结果来确定目标操作。例如,如果从基于规则的学习中获取了方向r1的优先权作为最终结果,则目标操作确定器240可以基于方向r1的优先权来将多个加油站的布置确定为目标操作。基于方向r1的优先权,目标操作确定器240可以将推荐多个加油站中最优选的加油站确定为目标操作。

此外,如果从如图8所示的基于模型的学习过程中获取了情境分析模型,目标操作确定器240可以将脉络数据输入情境分析模型的输入层,以基于脉络数据和先前的学习来获取结果。

在本发明的实施方案中,目标操作确定器240可以将多个因素与所获取的情境分析模型226-2进行比较,从多个因素中检测出具有最高相似度的因素,并确定操作。为此,目标操作确定器240可以使用相似度测量方法。例如,为了确定加油站,目标操作确定器240可以通过在所搜索的至少一个加油站中,检测与情境分析模型226-2的替代结果相同或类似的加油站,来获取特定的加油站,并将该特定加油站的推荐确定为目标操作。具体而言,目标操作确定器240可以通过将所获取的基于用户的权重应用至存储在多个加油站记录(例如,加油站名称、品牌、价格、距离或方向)中的字段值,并在情境分析模型226-2中代入加权结果,以选择多条加油站记录中的一个,并将对应于所选择记录的加油站确定为推荐加油站,来确定目标操作。

此外,目标操作确定器240可以以其他各种方式来确定目标操作。确定目标操作的过程和确定结果可以根据用户或设计人员的选择,以各种方式来进行设计。

可以利用智能代理来实施目标操作确定器240。

现在将更详细地描述在目标操作确定器240中确定目标操作的过程的示例。

图9是根据本发明实施方案,用于解释目标操作确定器的操作的第一示意图。具体而言,图9显示了如果用户对安装在车辆10中的导航装置110设置了目的地,在以下情况下确定目标操作的示例:基于剩余燃料量的可行驶距离(dte,distancetoempty)短于估计的到目的地的剩余距离。

参照图9,目标操作确定器240从脉络数据处理器210接收关于到目的地的剩余距离241a的脉络数据和关于剩余燃料量241b的脉络数据。关于到目的地的剩余距离241a的脉络数据是从导航装置110所发送的情境信息中提取的,而关于剩余燃料量241b的脉络数据是从燃料传感器131所发送的情境信息中提取的。一旦获取了剩余燃料量241b,目标操作确定器240就可以计算出对应于剩余燃料量241b的dte241c。

在242中,目标操作确定器240可以通过将到目的地的剩余距离241a和dte241c进行比较,来确定是否可以行驶到目的地。如果确定出到目的地的剩余距离241a短于dte241c,则目标操作确定器240确定出不会有燃料的问题,并不进行额外操作。相反,如果确定出到目的地的剩余距离241a长于dte241c,则在243中,目标操作确定器240可以确定出剩余燃料量短缺并且车辆需要加油。如果脉络数据处理器210如上所述确定了是否行驶或是否加油,则可以跳过此过程。

如果确定出需要加油,则在244中,目标操作确定器240基于从情境分析器220发送的情境分析模型来确定目标操作。此处的目标操作可以设置为这样的操作:在到目的地的路线上,增加基于情境分析模型确定的特定加油站作为中途停留。操作实体可以设置为导航装置110。

图10是根据本发明实施方案,用于解释目标操作确定器的操作的第二示意图。具体而言,图10显示了确定对应于如下情况的目标操作的示例,该情况是,车辆10前方有一条隧道,车辆10行驶时车辆10的车窗17a打开,并且空调140在室外空气模式下运行。

参照图10,目标操作确定器240可以从脉络数据处理器210接收脉络数据,其包括车辆10的物理位置245a(或指示在行驶路线上附近有隧道的信息)、车窗17a的状态245b和空调140的状态245c。所述信息可以从存储关于位置确定器119和/或空调140的信息的介质(例如,存储器400和车窗打开/关闭传感器191)中接收。

如果预计车辆10在短时间内进入隧道,车窗17a打开,和/或空调140在室外空气模式下运行,则在246,目标操作确定器240基于从情境分析器220发送的情境分析模型来确定目标操作。此处的目标操作可以包括基于情境分析模型确定的防止灰尘流入车辆10的操作,即,关闭车窗17a的操作和/或将空调140设置为车内空气模式的操作。

图11是根据本发明实施方案,用于解释目标操作确定器的操作的第三示意图。图11显示了在到达特定时间时确定目标操作的过程,以作为基于用户的使用模式来确定目标操作的示例。

参照图11,目标操作确定器240可以从脉络数据处理器210接收表示当前时间和音响主机120(或者无线电装置)的工作状态的脉络数据。这些信息可以发送自时钟200a和音响主机120。

在246,目标操作确定器240通过将关于当前时间和音响主机120的工作状态的信息应用至从情境分析器220发送的情境分析模型,来确定音响主机120在特定时间的目标操作。在这种情况下,情境分析模型可以用特定的时间和优选的媒体(优选的广播服务)作为输入和输出值来实施。如果用户将音响主机120设定为在特定时间区域内,以约95%的比例接收第一频率的广播服务,而以约5%的比例接收第二频率广播服务,则历史会反映在情境分析模型上,并相应地,获取了特定的时间与优选的媒体之间的关系的情境分析模型。基于情境分析模型,如果当前时间对应于特定时间区域或正好在特定时间区域之前的时间,则目标操作确定器240可以将播放优选的广播服务,例如,第一频率的广播服务(或将设置频率改为第一频率)确定为目标操作。

图12是根据本发明实施方案,用于解释目标操作确定器的操作的第四示意图。具体而言,图12显示了如果车辆10中有乘客且该乘客有终端装置,确定可用的目标操作的过程的示例。

参照图12,目标操作确定器240可以从脉络数据处理器210接收关于蓝牙连接的信息和所拍摄的图像249b的脉络数据。脉络数据处理器210可以从数据输入/输出模块179和内部摄像机182中获取信息。

目标操作确定器240可以基于所拍摄的图像249b来确定坐在车辆10中的人,并在必要时确定坐在车辆10中的人中谁是驾驶员。谁是驾驶员可以基于在拍摄的图像249b中坐在车辆中的人的位置来确定。

如果没有先前被连接的历史记录的终端装置通过蓝牙连接至车辆10,则在251a,目标操作确定器240基于情境分析模型确定出驾驶员的终端装置被连接至车辆10,并确定如下的操作确定为目标操作:将新连接的终端装置验证并确定为驾驶员的终端装置。

如果没有通过蓝牙连接的终端装置,但存在终端装置先前连接的历史记录,并且检测到数个可以进行连接的终端装置,则目标操作确定器240基于由情境分析器200所获取的情境分析模型确定出驾驶员的终端装置通常连接至车辆10,并通过基于情境分析模型在所拍摄的图像249a上进行人脸识别来确定谁是驾驶员。随后,在251b,目标操作确定器240将通过蓝牙连接驾驶员的终端装置的操作确定为目标操作。

尽管上面描述了目标操作确定器240的操作的各种示例,但是目标操作确定器240可以利用各种其他类型的情境信息来确定各种目标操作。

例如,在到达对应于登记日程的时间时,目标操作确定器240可以将设置对应于日程的位置的目的地确定为目标操作;在仪表板522的特定象形图激活时,目标操作确定器240可以将启动对特定象形图的解释确定为目标操作;如果音响主机120的当前音量与优选的音量不同,则目标操作确定器240可以将改变音响主机120的音量确定为目标操作。此外,如果通过移动通信单元176接收的信息(例如,天气信息)指示了洗车的适合天气,则目标操作确定器240可以将建议洗车和/或设置到洗车处的路线的操作确定为目标操作;并且,如果由轮胎压力传感器196测量的压力低于预定阈值,目标操作确定器240可以将输出低轮胎压力的警告和/或指向到车辆修理厂的路线的操作确定为目标操作。

基于由目标操作确定器240所确定的目标操作,场景确定器268可以确定并创建必需的场景以用于操作实体进行目标操作。场景指的是为进行目标操作,所要依次进行的一系列操作的集合。例如,一旦如上所述确定了推荐的加油站,则场景可以包括各种操作,例如,为推荐加油站创建会话启动语,生成语音输出装置510或显示器520控制信号,确定是否设置路线变更,以及生成和确认控制路线变更的信号。

根据需要可以省略场景确定器268。

一旦由目标操作确定器240确定了目标操作或确定了用于进行所述目标操作的一系列操作的场景,则目标操作和场景将改变为文本形式,并且会话处理器270、控制信号生成器290和应用驱动器295中的至少一个根据目标操作和场景中的至少一个来进行操作。

图13是根据本发明实施方案的会话处理器的框图。

会话处理器270配置为与用户(例如,驾驶员或乘客)进行会话。会话处理器270创建对应于目标操作和场景中的至少一个的会话启动语,生成并向输出装置500(例如,语音输出装置510)发送对应于会话启动语的信号。语音输出装置510通过语音来输出会话启动语,相应地,在用户和车辆10之间启动了会话。

参照图13,会话处理器270可以通过会话启动语创建271、结构分析272、音素分析273、韵律分析274和转换275的过程来输出对应于目标操作的语音信号。

会话启动语创建271指的是以文本形式创建对应于目标操作和场景中的至少一个269的词、短语或句子。会话启动语可以根据发送至会话处理器270的目标操作和场景中的至少一个来创建。可以通过读取单独提供的数据库来创建会话启动语,以检测对应于目标操作和场景中的至少一个的词、短语或句子。或者,可以通过基于所接收的目标操作和场景中的至少一个组合或修改数个词或词缀来创建词、短语或句子。在这种情况下,词、短语或句子的创建是根据旨在输出的语言的特征(例如,粘着语、变形语、孤立语或多式综合语)进行的。

结构分析272指的是如下的过程:对所创建的会话启动语的结构(例如,句子结构)进行分析,并在此基础上获取词、短语等。结构分析272可以利用预先提供的语法规则来进行。如有必要,规范化过程可以进一步随着结构分析来进行。音素分析273指的是如下的过程:通过给在韵律单元中获取的词或短语分配相应的发音,来将文本转换成音素,以获取音素序列。韵律分析274指的是给音素序列分配韵律(例如,音调或节奏)的过程。转换275指的是通过合成由上述过程获取的音素序列和韵律,来获取实际输出的语音信号的过程。所获取的语音信号可以发送至语音输出装置510,而语音输出装置510又转而产生和输出对应于语音信号的声波。

相应地,用户可以通过语音来收听对应于目标操作和/或场景269的句子。例如,如果目标操作被确定为在到目的地(例如,工作场所)的路线上添加h公司的加油站作为中途停留的操作,则用户可以通过语音收听到这样一句话:“汽油不足以到达目的地。我们在去办公室的路线上添加h公司的加油站好吗?”。

用户(例如,驾驶员或乘客)可以说出所听到的语音的回答。例如,用户可以对基于目标操作的或基于场景的操作回答“是”或“否”。由用户产生的语音通过语音输入装置505接收。

会话处理器270可以将输入至语音输入装置505的语音信号转换为处理器200可以处理的形式,例如,字符串的形式。

再次参照图13,会话处理器270可以通过获取语音区域276、噪声处理277、特征提取278,模式确定279和语言处理280的过程,将由用户产生的语音信号转换为文本形式的词、短语或句子。

获取语音区域276指的是查找由用户产生的语音存在或可能存在的区域。会话处理器270可以通过分析所接收的模拟语音信号的频率或利用单独提供的其他各种方法来检测语音区域。

噪声处理277可以从语音区域中消除语音以外的不必要的噪声。噪声处理可以基于语音信号的频率特性或基于所接收的语音的方向性来进行。

特征提取278可以通过从语音区域中提取语音的特征(例如,特征向量)来进行。为此,会话处理器270可以采用线性预测系数(lpc)、倒谱、梅尔频率倒谱系数(mfcc)和滤波器组能量中的至少一种。

模式确定279指的是这样的过程:通过将所提取的特征与预定的模式进行比较,来从语音信号中确定对应于所提取的特征的模式。预定模式可以利用预定的声学模型来确定。可以通过预先对语音信号的特征进行建模来获取声学模型。该声学模型可以配置为根据直接比较方法和统计方法中的至少一种来确定模式;直接比较方法设置要在特征向量模型中识别的目标并将其与语音数据的特征向量进行比较;统计方法对要识别的目标的特征向量进行图式处理和使用。直接比较方法可以包括矢量量化。统计建模方法可以包括利用如下的方案:动态时间规整(dtw)、隐马尔可夫模型(hmm)或神经网络电路。

语言处理280指的是这样的过程:基于确定的模式来确定词汇、语法结构和句子的主语,并基于所述确定来获取最终的识别的句子。语言处理280可以利用预定的语言模型来进行。语言模式可以基于人类语言和语法来创建,以确定所识别的词、短语或句子的语言顺序关系。语言模型可以包括例如,统计语言模型或基于有限状态自动机(fsa)的模型。

在某些情况下,模式确定279和语言处理280也可以利用合并了声学模型和语音模型的n个最优搜索算法来进行。

通过上述过程,获取了对应于由用户产生的语音的词、短语或句子(即,字符串)。所获取的词、短语或句子可以发送至处理器200,处理器200可以转而基于词、短语或句子来确定用户的回答,并基于所述确定来生成控制信号或运行预定的应用程序。此外,处理器200可以通过会话处理器270来对用户的回答生成另一响应,并根据上述方法以相应的语音信号输出所述响应。

控制信号发生器290可以基于由目标操作确定器240所确定的目标操作、由情景确定器268所确定的场景以及由会话处理器270所输出的用户回答中的至少一个,来生成预定的控制信号。

所述预定的控制信号包括用于操作实体的控制信号。例如,一旦将重置导航装置110的路线的操作确定为目标操作,控制信号发生器290就可以生成重置路线的控制信号,并将所述控制信号发送至操作实体(即,导航装置110)。

在本发明的实施方案中,控制信号发生器290可以生成用于显示器520的控制信号,以为用户提供包括对应于目标操作或场景的词、短语或句子的会话启动语。相应地,处理器200能够以可视化的方式与用户开始会话。作为响应,用户可以通过操控输入装置150(例如,键盘装置或触摸屏)来输入响应。因此,即使会话处理器270不存在,用户和车辆10也可以在他们之间进行会话。

应用驱动器295可以运行设置的所要驱动的应用程序,从而使得车辆10或安装在车辆10中的各种装置进行某种操作。所述应用程序可以包括可以在车辆10中驱动的应用程序,包括例如,导航应用程序、呼叫应用程序、语音播放器应用程序、静态影像显示器应用程序、动态影像播放器应用程序、信息提供装置应用程序、无线电应用程序、车辆管理应用程序、数字媒体广播播放器应用程序或反向辅助应用程序,但并不局限于此。

基于由目标操作确定器240所确定的目标操作、由情景确定器268所确定的场景以及由会话处理器270所输出的用户回答中的至少一个,应用驱动器295可以运行至少一个应用程序,修改至少一个应用程序的设置信息,和/或停止运行至少一个应用程序。

现在将描述基于情境的会话启动系统的示例。

图14显示了根据本发明实施方案的基于情境的会话启动系统。

基于情境的会话启动系统60可以利用如下来实施:车辆10、连接至车辆10以进行通信的终端装置610、以及连接至终端装置610以进行通信的服务器装置650。

车辆10和终端装置610可以利用短程通信技术来进行相互通信。例如,车辆10和终端装置610可以利用蓝牙或nfc技术来进行相互通信。由车辆10所获取的情境信息可以通过在车辆10和终端装置610之间形成的短程通信网络来发送至终端装置610。

终端装置610和服务器装置650可以通过有线通信网络或者无线通信网络来相互通信。终端装置610可以将由车辆10获取的情境信息发送至服务器装置650,并接收根据服务器装置650的处理结果所获取的目标操作、场景或各种控制信号。所接收的目标操作、场景或各种控制信号可以根据需要发送至车辆10。根据接收的目标操作或场景,车辆10可以进行诸如输出语音的操作。在某些实施方案中,终端装置610可以进行对应于所接收的目标操作、场景或各种控制信号的操作。例如,终端装置610可以进行会话处理器270的上述操作。

服务器装置650可以进行与车辆10的操作相关的各种数学运算、处理和控制。服务器装置650可以包括处理器651和存储器653。

如上所述,处理器651可以基于从车辆10接收的情境信息来确定目标操作。在这种情况下,处理器651可以获取脉络数据,基于预先存储的各种历史记录来获取情境分析模型,并利用所述脉络数据和情境分析模型来确定目标操作。此外,处理器651可以确定对应于目标操作的场景。如上所述获取的目标操作或场景可以发送至终端装置610。处理器651还可以响应于用户对语音输出装置的回答来确定车辆10的操作,并生成和向终端装置610发送所确定的操作的控制信号。

存储器653可以存储用于处理器651的操作所需的各种信息,例如,情境分析模型。

处理器651和存储器653的结构、操作或图示可以与车辆10的处理器200和存储器400的结构、操作或图示相同或部分地修改,因此将在下面省略对它们的详细说明。

在某些实施方案中,可以省略终端装置610。在这种情况下,车辆10可以利用装配在车辆10中的图4中的移动通信单元176与服务器装置650进行直接通信,将情境信息直接发送至服务器装置650,并从服务器装置650接收目标操作、场景或各种控制信号。

现在将参照图15至图20来对基于情景的会话启动方法进行描述。

图15是显示了根据本发明的实施方案的基于情境的会话启动方法的流程图。

如图15所示,基于情境的会话启动方法的示例开始于,在700,由装配在基于情境的会话启动装置(例如,车辆)中的情境信息收集器来收集情境信息。所述情境信息可以包括以下中的至少一个:用户的动作、用户的动作模式、车辆的行驶状态、车辆的周围环境、当前时间和车辆的位置、安装在车辆中的各个装置的状态或操作、通过通信网络从外部接收的信息、以及通过用户或处理器预先获取的信息。

情境信息收集器可以周期性地或根据预定设置来收集情境信息。

情境信息收集器可以通过预定触发器来开始收集情境信息。触发器可以包括以下中的至少一个,例如:用户的动作、基于情境的会话启动装置(例如,车辆)的状态改变、周围情况或周围情况的变化、到达特定时间,位置的改变,设置信息的改变,内部情况的改变、以及外围装置的处理结果改变。

在701中,一旦收集到情境信息,就可以从情境信息中获取脉络数据。可以获取两个或更多个脉络数据,这些脉络数据可能来自相同或不同条的情境信息。如果获取了多个相关的脉络数据,则可以将它们组合然后进行处理。

在702中,情境分析模型和脉络数据可以同时获取,也可以在不同时间获取。可以基于积累的历史信息,通过预定的学习方法来获取情境分析模型。所述预定的学习方法可以包括基于规则的学习方法和基于模型的学习方法中的至少一种。历史信息可以包括基于情境的会话启动装置1或相关装置的使用历史。历史信息也可以包括确定基于情境的会话启动装置1的目标操作的结果的历史记录。

在703,一旦获取了脉络数据和情境分析模型,就可以基于脉络数据和情境分析模型来确定目标操作,并根据需要可以进一步确定对应于目标操作的场景。具体而言,目标操作可以通过替换情境分析模型中的脉络数据并获取从情境分析模型输出的结果值来确定。

在704,如果确定了目标操作和场景中的至少一个,则创建对应于目标操作和场景的会话启动语,并可视地或可听地提供给用户。相应地,可以在基于情境的会话启动装置和用户之间启动会话。

此外,将确定目标操作的结果、用户对结果的响应以及基于用户响应的操作中的至少一个添加至历史信息,相应地,在705,历史信息可以更新。在702,历史信息可以在以后的获取情境分析模型过程中使用。

现在将参照图16至图20来对基于情境的会话启动方法的具体示例进行描述。

图16是显示了根据本发明的实施方案,基于用户行为来启动会话的方法的流程图。例如,当用户采取动作在导航装置上设置目的地时,会话被启动。

如图16所示,在710,如果用户通过操控导航装置来设置目的地,则在711导航装置可以确定路线和到目的地的估计的行驶距离。

在712,响应于导航装置的操作,可以获取情境信息。情境信息可以包括例如估计的行驶距离和剩余燃料量。所述估计的行驶距离可以由导航装置获取,所述剩余燃料量可以由燃料传感器获取。

一旦获取了剩余燃料量,则在713,计算对应于剩余燃料量的dte,并将其与估计的行驶距离进行比较。如果在713,dte长于估计的行驶距离,则跳过后续的过程,并且不启动相关会话。

相反,如果在713,dte短于估计的行驶距离,则在714,可以基于单独提供的情境分析模型来确定选择加油站的目标操作,并且可以根据需要来确定对应于所述目标操作的场景。目标操作可以是在路线上添加加油站作为中途停留的操作。

一旦目标操作和/或场景确定为添加加油站作为中途停留的操作,则在715,就会创建会话启动语,以询问是否将基于情境分析模型所选择的加油站添加到路线中,并通过可视地或可听地输出来向用户提供。

相应地,在716,启动并继续进行涉及由于燃料短缺而在路线上添加加油站的会话。同时,确定结果和对应于用户对所述结果的响应的操作可以被添加至历史信息并存储,也可以用于创建情境分析模型。

图17是显示了根据本发明实施方案,基于在车辆行驶过程中车辆所发生的特定情境来启动会话的方法流程图。显示了在车辆接近隧道时启动会话的示例。

如图17所示,在721,车辆的位置由例如导航装置的装置来确定,相应地获取了涉及车辆位置的情境信息。

随后,在721,通过参照地图确定了移动车辆的前方是否有隧道,相应地,获取了涉及是否有隧道的情境信息。

在721,如果车辆的前方没有隧道,则可以跳过后续过程,并且因此不会启动涉及隧道存在的会话。

此外,在723,还可以收集关于车辆状态的情境信息。例如,可以确定车辆的车窗是否打开,空调的运行模式等。

可以同时或依次进行确定车辆的位置721、确定车辆的前方是否有隧道722以及收集关于车辆状态的情境信息723。在依次进行的情况下,可以首先进行确定车辆的位置721,或者可以首先进行收集关于车辆状态的情境信息723。

在724,在所获取的数条情境信息中,可以提取关于是否有隧道的信息和关于车辆状态的信息作为脉络数据,并可以基于所述脉络数据和情境分析模型,来确定目标操作和/或场景。目标操作可以包括关闭车窗的操作和车内空气模式的操作中的至少一种。

一旦确定了目标操作和/或场景,则在725,就会创建会话启动语,并向用户可视地或可听地提供会话启动语,所述会话启动语是关于关闭车窗的操作和车内空气模式的操作中的至少一种。相应地,在用户和基于情境的会话启动装置之间启动会话。

在726,用户可以收听该会话启动语,并且作为响应,可以说出回答的词。

在727,基于情境的会话启动装置可以接收所述回答并生成对应于所述回答的控制信号。如果用户对在会话启动语中包括的建议的回答为“是”,则会产生关闭车窗的操作和车内空气模式的操作中的至少一种的控制信号,并且相应地,关闭车窗,和/或空调的运行模式可以改变为车内空气模式。

确定结果或用户的相关响应的历史记录被单独地存储,并用于创建未来的情境分析模型。

图18是显示了根据本发明的实施方案,基于用户的使用模式来启动会话的方法的流程图。显示了在到达特定时间的情况下,基于用户对音响主机的使用模式来启动会话的示例。

如图18所示,在731,获取关于当前时间的信息作为情境信息。

在732,提取关于当前时间的信息作为脉络数据,并基于关于当前时间的信息和涉及用户在特定时间的使用模式的情境分析模型,来确定目标操作和/或场景。例如,目标操作可以包括启动音响主机的操作和/或将音响主机的当前频率改变为另一频率的操作。

一旦确定了目标操作和/或场景,在733就会启动相应的会话。具体地说,创建了关于音响主机的操作的会话启动语,并向用户可视地或可听地提供所述会话启动语,从而使得会话启动。

在734,用户可以收听该会话启动语,并且作为响应,说出回答的词,而基于情境的会话启动装置可以接收所述回答并生成对应于所述回答的控制信号。例如,操作音响主机来接收特定频率的无线电广播服务。

以与上面所描述的相同的方式,确定结果或用户的相关响应的历史记录被单独地存储,并在随后用于创建未来的情境分析模型。

图19是显示了根据本发明的实施方案,基于装配在车辆中的装置的操作的开始来启动会话的方法的流程图。在图19中显示了,如果基于情境的会话装置是车辆,则响应于新的终端装置的连接来启动会话的过程的示例。

在741,如果终端装置通过蓝牙连接至车辆的短程通信模块,则短程通信模块响应于终端装置的连接而输出电信号。在这种情况下,响应于终端装置的连接而输出的电信号可以作为情境信息来使用。

在742,在终端装置与车辆连接的同时或在不同的时间获取包括至少一个用户的车辆内部的图像。可以在终端装置和车辆之间的蓝牙连接之前进行图像的获取。至少一个用户的图像可以用来识别谁是驾驶员。

如果所连接的终端装置是具有先前连接历史的装置,并且在743可以确定终端装置的用户,则在744基于确定结果在终端装置与基于情境的会话启动装置之间进行连接,而无需额外的注册过程。

相反,如果所连接的终端装置是没有先前连接历史的新的终端装置,并且在743不能确定该终端装置的用户,则表明该终端装置不能被用户识别的信息也可以用作情境信息,并被提取为脉络数据。

在745,基于情境分析模型来确定关于终端装置注册的目标操作和/或场景。在这种情况下,作为利用情境分析模型的结果,如果获取的结果是驾驶员通常是连接终端装置的人,则目标操作可以确定为确认和确定出新连接的终端装置为驾驶员所拥有;如果驾驶员被识别为特定的人,则目标操作可以确定为确认和确定出新连接的终端装置为所述特定的人所拥有。

一旦确定了目标操作和/或场景,则在746,创建相应的会话启动语(即,询问当前连接的终端装置是否为驾驶员所拥有的会话启动语),并且输出所述会话启动语以用于车辆和用户启动会话。确定结果可以被添加到历史信息中,并在随后用于创建未来的情境模型分析模型。

一旦收到来自用户的响应,基于情境的会话启动装置作为响应,就可以将新的终端装置注册为驾驶员的终端装置。如果新的终端装置不为驾驶员所拥有,则可以输出请求关于新的终端装置的所有者的信息的消息。

图20是显示了根据本发明的实施方案,基于装配在车辆中的装置的操作的开始来启动会话的方法的另一流程图。图中显示了如果基于情境的会话装置是车辆,则启动用于可连接终端装置中的驾驶员的终端装置和车辆之间的有线或无线连接的会话的过程的示例。

如图20所示,在751,如果终端装置具有先前连接的历史,因而终端装置的连接历史是可检测的;在752,根据需要,车辆获取在车辆内的用户(即,驾驶员和乘客)的图像;在753,分析图像,以确定谁是车辆的驾驶员。

随后,在754,车辆可以利用电缆或无线通信网络(例如,蓝牙),来确定是否有可连接的终端装置。如果在754没有可连接的终端装置,则停止连接终端装置的操作。

如果在754有可连接的终端装置,且在755可连接的终端装置的数目小于2(即,有一个可连接的终端装置),则在759,单个可连接的装置和车辆进行连接。在这种情况下,车辆可以询问用户是否连接终端装置,或者基于单独提供的情境分析模型来创建关于是否连接终端装置的会话启动语。

在756,如果有多个目标终端,则基于情境分析模型来确定目标操作和/或场景。具体而言,基于情境分析模型来确定哪个终端装置连接至车辆。例如,表明有多个终端装置的脉络数据可以输入到情境分析模型中,从而可以作为响应,情境分析模型可以输出驾驶员的终端主要连接至车辆的结果。

相应地,询问是否通过电缆或无线通信网络来将驾驶员的终端装置和车辆进行连接的会话启动语被创建并通过语音输出装置或显示器输出。然后,在757,在车辆和用户之间启动会话。

在758,一旦接收到用户的响应,就会产生相应的控制信号,而车辆进行对应于目标操作的操作。例如,如果用户对由会话启动语提供的建议回答“是”,则进行连接驾驶员的终端装置和车辆的操作;而另一方面,如果用户对建议回答“否”,则停止连接驾驶员的终端装置和车辆的操作。

原样或经过部分修改,基于情境的会话启动方法也可以应用于控制车辆的方法。

根据本发明的实施方案,上述基于情境的会话启动装置、系统、车辆和方法使得能够通过分析各种可获取的数据来识别周围情况,而且基于所识别的情况可以启动与用户的会话。

此外,可以基于在车辆行驶情况下所获取的各种信息来确定车辆的适当及必需的操作,而车辆可以引导会话,以建议或警告的形式向用户提供所确定的操作,从而提高驾驶的安全性及便利性。

此外,驾驶员可以相对较少地关注周围情况,这可以防止或减少驾驶员的注意力分散,并且相应地,驾驶员可以更多地关注他/她的驾驶,从而提高了驾驶的安全性。

尽管结合了目前被视为示例性的实施方案描述了本发明的内容,但是应该理解的是,本发明并不局限于所公开的实施方案,而是恰恰相反,意图涵盖所附权利要求的精神和范围内所包括的各种修改和等效配置。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1