自动驾驶主动式交互车载系统、方法、设备及存储介质与流程

本发明涉及车辆联网信息共享领域，具体地说，涉及自动驾驶主动式交互车载系统、方法、设备及存储介质。

背景技术：

目前带有辅助驾驶系统和部分自动驾驶功能的车辆已经有成熟的人机交互方案，比如当车辆偏离预定车道时可以通过方向盘振动和语音告警的方式提醒乘客注意。目前大部分的交互系统都为被动式告警系统，即车辆在发生危险情形或检测到不安全因素后提示乘客接管，自动驾驶技术在向车辆全权限控制发展，特别是完全自动驾驶取消方向盘之后，还缺乏成熟的人机交互系统。

技术实现要素：

针对现有技术中的问题，本发明的目的在于提供一种自动驾驶主动式交互车载系统、方法、设备及存储介质，实现防碰撞。

本发明的实施例提供一种自动驾驶主动式交互车载系统，设置于车辆，所述自动驾驶主动式交互车载系统包括：

至少一个第一视频采集模块，用于采集车辆座位区域的视频数据；

至少一个第一语音采集模块，用于采集车辆座位区域的语音数据；

一身份识别模块，用于根据所述视频数据和/或所述语音数据识别乘客身份；

一调用模块，用于根据所述身份识别模块识别的乘客身份自一历史行为特征库中调用该乘客身份的历史用户行为特征；

一路径规划模块，用于根据所述语音数据识别行程目的地的语音指示，根据所识别的行程目的地进行路径规划；

一实时用户行为采集模块，用于根据所述视频数据和/或语音数据采集乘客的实时用户行为，并在本次行程结束时与该乘客身份关联地更新所述历史行为特征库中；

一行驶参数调整模块，用于根据所述历史用户行为特征和/或实时用户行为调整所述车辆行驶过程中的行驶参数；

一反馈模块，用于根据所述历史用户行为特征和/或实时用户行为模块向乘客提供反馈信息。

可选地，所述历史用户行为特征包括：车辆行驶参数的指示特征、车内环境参数的指示特征、车内娱乐系统的指示特征中的一项或多项。

可选地，所述实时用户行为包括：车辆行驶参数的指示行为、车内环境参数的指示行为、车内娱乐系统的指示行为中的一项或多项。

可选地，所述反馈模块包括：

语音提示模块，用于根据预设语音提示库中匹配当前车辆行驶环境和/或实时用户行为关联的语音提示，并进行语音播报。

可选地，所述语音提示模块还用于当所述行驶参数调整模块根据所述历史用户行为特征和/或实时用户行为调整所述车辆行驶过程中的行驶参数后，提供行驶参数已调整的语音提示。

可选地，当车辆内有多个乘客时，

所述身份识别模块当根据所述视频数据和/或所述语音数据识别当前至少部分乘客身份未识别时，通过已识别的部分乘客身份对未识别乘客身份的身份认证，将未识别乘客身份储存至乘客身份数据库中。

可选地，所述自动驾驶主动式交互车载系统仅接收已识别乘客身份的乘客的交互。

可选地，所述反馈模块还包括：

座椅震动模块，用于根据预设震动条件库中匹配当前车辆行驶环境，以使乘客座椅震动。

可选地，所述反馈模块还包括：

灯带显示模块，用于根据预设灯带显示条件库中匹配当前车辆行驶环境，以使灯带进行显示。

可选地，所述反馈模块还包括：

触控显示模块，用于显示车辆在行驶中的实时状态。

根据本发明的又一方面，还提供一种车辆自动驾驶主动式交互方法，采用如上所述的自动驾驶主动式交互车载系统，所述自动驾驶主动式交互方法包括：

s110：采集车辆座位区域的视频数据；

s120：采集车辆座位区域的语音数据；

s130：根据所述视频数据和/或所述语音数据识别乘客身份；

s140：根据所述身份识别模块识别的乘客身份自一历史行为特征库中调用该乘客身份的历史用户行为特征；

s150：根据所述语音数据识别行程目的地的语音指示，根据所识别的行程目的地进行路径规划；

s160：根据所述视频数据和/或语音数据采集乘客的实时用户行为，并在本次行程结束时与该乘客身份关联地更新所述历史行为特征库中；

s170：根据所述历史用户行为特征和/或实时用户行为调整所述车辆行驶过程中的行驶参数；

s180：根据所述历史用户行为特征和/或实时用户行为模块向乘客提供反馈信息。

根据本发明的又一方面，还提供一种自动驾驶主动式交互车载设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如上所述自动驾驶主动式交互方法的步骤。

根据本发明的又一方面，还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现如上所述自动驾驶主动式交互方法的步骤。

本发明的自动驾驶主动式交互车载系统、方法、设备及存储介质能够实现基于数据的全权限自动驾驶车辆的自动行驶过程中的车辆与乘客的人机交互。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的自动驾驶主动式交互车载系统的模块示意图。

图2是本发明实施例的自动驾驶主动式交互车载系统的示意图。

图3是本发明实施例的车辆自动驾驶主动式交互方法的流程图。

图4是本发明的车载防碰撞设备的结构示意图。以及

图5是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

图1是本发明的自动驾驶主动式交互车载系统的模块示意图。图2是本发明实施例的自动驾驶主动式交互车载系统的示意图。如图1所示，本发明的实施例提供一种自动驾驶主动式交互车载系统1，设置于车辆。自动驾驶主动式交互车载系统1至少包括至少一个第一视频采集模块101、至少一个第一语音采集模块102、一身份识别模块103、一调用模块104、一路径规划模块105、一实时用户行为采集模块106、一行驶参数调整模块107及一反馈模块108

至少一个第一视频采集模块101，用于采集车辆座位区域的视频数据。第一视频采集模块101例如是摄像头。在如图2所示的实施例中，自动驾驶主动式交互车载系统1包括三个摄像头201，分别设置在车辆前侧玻璃两边和车辆控制台中间，以采集车辆座位区域的视频数据。图2仅仅是示意性起见，摄像头201的设置位置和数量并非以此为限。例如，在一些实施例中可以针对每个座位设置一个摄像头，各摄像头负责采集各自对应座位的视频数据。

至少一个第一语音采集模块102用于采集车辆座位区域的语音数据。第一语音采集模块102例如可以是麦克风。在如图2所示的实施例中，自动驾驶主动式交互车载系统1包括一个第一语音采集模块202，设置在车辆前侧，以采集车辆座位区域的语音数据。图2仅仅是示意性起见，第一语音采集模块202的设置位置和数量并非以此为限。例如，在一些实施例中可以针对每个座位设置一个第一语音采集模块202，各第一语音采集模块202负责采集各自对应座位的语音数据。在又一些实施例中，可以在同一位置设置多个第一语音采集模块202阵列，以根据音源到第一语音采集模块202阵列的方位确定当前语音数据是哪一个座位上乘客发出的。

身份识别模块103用于根据所述视频数据和/或所述语音数据识别乘客身份。具体而言，自动驾驶主动式交互车载系统1可以包括储存乘客身份及该乘客的生物特征的乘客身份数据库。乘客的生物特征例如可以包括乘客的身高、坐高、体重、脸部特征、声纹等。其中，乘客的身高、坐高、体重、脸部特征可以根据视频数据进行计算匹配。乘客的声纹可以根据语音数据进行计算匹配。乘客身份数据库例如仅储存仅认证过的乘客身份。在一些变化例中，乘客身份数据库可以包括不同优先级的乘客身份数据。例如，优先级最高的乘客为车主；优先级其次为常坐车辆的乘客；优先级最低为偶尔坐车辆的乘客。在上述各个实施例中，仅身份识别模块103可以识别出的(储存在乘客身份数据库)的乘客可以与自动驾驶主动式交互车载系统1进行交互。在上述各个实施例的变化例中，当车辆内有多个乘客时，所述身份识别模块103当根据所述视频数据和/或所述语音数据识别当前至少部分乘客身份未识别时，通过已识别的部分乘客身份对未识别乘客身份的身份认证，将未识别乘客身份储存至乘客身份数据库中。换言之，乘客包括已识别的车主及首次乘坐车辆的未识别乘客，则可以通过语音提示或其它交互方式通过车主验证该未识别乘客的身份，并当验证通过时，将该未识别乘客的身份及生物特征储存至乘客身份数据库中。进一步地，在上述乘客身份数据库包括不同优先级的乘客身份数据的实施例中，也可在后序的交互过程中分配不同的交互权限。

调用模块104用于根据所述身份识别模块识别的乘客身份自一历史行为特征库中调用该乘客身份的历史用户行为特征。具体而言，调用模块104在每次行程中通过第一视频采集模块101和第一语音采集模块102所采集的视频数据和音频数据提取用户行为特征，并关联乘客身份地储存在历史行为特征库中。所述历史用户行为特征可以包括：车辆行驶参数的指示特征、车内环境参数的指示特征、车内娱乐系统的指示特征中的一项或多项。例如，历史用户行为特征可以是该乘客身份的历史指示车辆行驶车速范围、历史指示车辆行驶平均车速、历史指示车辆环境灯光亮度、历史指示语音提示音量、历史指示语音提示频次、历史指示车辆娱乐系统播放节目单、历史指示车辆娱乐系统播放节目类型等等，本发明并非以此为限。

路径规划模块105用于根据所述语音数据识别行程目的地的语音指示，根据所识别的行程目的地进行路径规划。

实时用户行为采集模块106用于根据所述视频数据和/或语音数据采集乘客的实时用户行为，并在本次行程结束时与该乘客身份关联地更新所述历史行为特征库中。所述实时用户行为可以包括：车辆行驶参数的指示行为、车内环境参数的指示行为、车内娱乐系统的指示行为中的一项或多项。例如，实时用户行为可以是该乘客身份的当前指示车辆行驶车速范围、当前指示车辆行驶平均车速、当前指示车辆环境灯光亮度、当前指示语音提示音量、当前指示语音提示频次、当前指示车辆娱乐系统播放节目、当前指示车辆娱乐系统播放节目类型等等，本发明并非以此为限。实时用户行为例如还可以是根据视频数据和/或语音数据识别出乘客的行为状态，例如乘客在看书、乘客在睡觉、乘客在聊天等等。

行驶参数调整模块107用于根据所述历史用户行为特征和/或实时用户行为调整所述车辆行驶过程中的行驶参数。在保证安全行驶的行驶参数范围内，当未采集到实时用户行为时，行驶参数调整模块107可以根据所述历史用户行为特征调整所述车辆行驶过程中的行驶参数。当采集到实时用户行为时，行驶参数调整模块107可以根据所述实时用户行为特征调整所述车辆行驶过程中的行驶参数。例如，行驶参数调整模块107可以根据历史用户行为特征的历史指示车辆行驶平均车速作为当前行驶的车速或者根据实时用户行为的当前指示车辆行驶车速作为当前行驶的车速。

反馈模块108用于根据所述历史用户行为特征和/或实时用户行为模块向乘客提供反馈信息。

在一些实施例中，所述反馈模块108包括语音提示模块。语音提示模块用于根据预设语音提示库中匹配当前车辆行驶环境和/或实时用户行为关联的语音提示，并进行语音播报。进一步地，所述语音提示模块还用于当所述行驶参数调整模块根据所述历史用户行为特征和/或实时用户行为调整所述车辆行驶过程中的行驶参数后，提供行驶参数已调整的语音提示。

在该实施例的具体实现中，驾驶全程可以通过语音识别和对话行驶提高用户体验。除了通常的以提高娱乐性的人机对话，本发明还可以安抚乘客对满足安全状态的需求，以及乘客语音中对行驶状态的关键词和语意进行捕获，其安全等级要高于其他普通对话功能。例如，在有来车经过，或者距离比较近，或者速度比较快(大于预定阈值)告知乘客当前驾驶状态，例如“安全驾驶中”，“来车经过，安全”，当发生紧急状况时，比如前方发生车辆相撞事故，语音提示模块108可以立即介入提醒乘客注意，当发生路面颠簸或者上下坡时，语音提示模块108提醒乘客注意，语音提示模块108还可以主动提醒当前的路况；又例如，当驾驶状态良好的条件下，车内摄像头发现乘客有慌张表情或错误动作干预时，进行语音提醒，例如“请放心，当前驾驶安全”；再例如，安全状态提示可以为固定长时间间隔的“滴”声；还例如，当乘客指示“开快点”“开慢点”，车辆将根据当前行驶状态判断是否可以满足乘客需求，如满足将发送给执行机构实施并语音回应，如不满足将解释原因予以语音回应，本发明并并非以此为限。

在一些实施例中，所述反馈模块108还包括座椅震动模块(如图2标号205)。座椅震动模块用于根据预设震动条件库中匹配当前车辆行驶环境，以使乘客座椅震动。例如，当发生紧急状况时，比如前方发生车辆相撞事故，同时有座椅震动模块205用于提醒乘客注意紧急状况。

在一些实施例中，所述反馈模块108还包括灯带显示模块(如图2标号204)。灯带显示模块204用于根据预设灯带显示条件库中匹配当前车辆行驶环境，以使灯带进行显示。灯带显示模块204设置在车内异于车窗211、212的位置，以避免对周围车辆内的乘客产生影响。例如，当发生紧急状况时，比如前方发生车辆相撞事故，灯带显示模块204有灯光(不同灯光闪烁频率、时长)告警提醒乘客注意

在一些实施例中，所述反馈模块108还包括触控显示模块203。触控显示模块230用于显示车辆在行驶中的实时状态。触控显示模块203可以通过车辆感知融合系统获取环境状态，利用3d实时虚拟技术，在触摸屏上，显示车辆在行驶中的实时状态，如前后方的车辆情况，路标，拥堵情况，预计到达时间等相关导航信息。

由此，相比现有技术，本发明具有如下优势：

1)在自动驾驶车辆无驾驶方向盘的车辆中，综合语音、座椅振动、灯光、触摸屏多种交互方式，针对当前安全驾驶状态进行人机交互；

2)基于关键语义识别技术，满足乘客对驾驶品质和驾驶路径变更等各种行驶需求，当前安全状态下，主动监测乘客的表情和状态，通过人机交互进行驾驶状态交流，满足乘客对安全性的心理需求；

3)语音控制的安全性保证，匹配对比乘客优先级，防止其他乘客或其他条件下恶意干扰；

4)增强了自动驾驶车辆的人机交互体验和乘坐品质，增强了自动驾驶的安全性。

以上仅仅是示意性地描述本发明的多个实施例，本发明并非以此为限。

下面参见图3，图3是本发明的实施例的车辆自动驾驶主动式交互方法的流程图。本发明提供的车辆自动驾驶主动式交互方法，采用如上所述自动驾驶主动式交互车载系统。所述车辆自动驾驶主动式交互方法包括：

步骤s110：采集车辆座位区域的视频数据；

步骤s120：采集车辆座位区域的语音数据；

步骤s130：根据所述视频数据和/或所述语音数据识别乘客身份；

步骤s140：根据所述身份识别模块识别的乘客身份自一历史行为特征库中调用该乘客身份的历史用户行为特征；

步骤s150：根据所述语音数据识别行程目的地的语音指示，根据所识别的行程目的地进行路径规划；

步骤s160：根据所述视频数据和/或语音数据采集乘客的实时用户行为，并在本次行程结束时与该乘客身份关联地更新所述历史行为特征库中；

步骤s170：根据所述历史用户行为特征和/或实时用户行为调整所述车辆行驶过程中的行驶参数；

步骤s180：根据所述历史用户行为特征和/或实时用户行为模块向乘客提供反馈信息。

以上仅仅是示意性地描述本发明的多个实施例，本发明并非以此为限。

本发明的车辆自动驾驶主动式交互方法实现基于数据的全权限自动驾驶车辆的自动行驶过程中的车辆与乘客的人机交互。

本发明实施例还提供一种自动驾驶主动式交互车载设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的自动驾驶主动式交互方法的步骤。

如上，本发明的自动驾驶主动式交互车载设备能够实现基于数据的全权限自动驾驶车辆的自动行驶过程中的车辆与乘客的人机交互。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图4是本发明的自动驾驶主动式交互车载设备的结构示意图。下面参照图4来描述根据本发明的这种实施方式的电子设备600。图4显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以分别执行如图3中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的自动驾驶主动式交互方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，本发明的计算机可读存储介质中的程序被执行时能够实现基于数据的全权限自动驾驶车辆的自动行驶过程中的车辆与乘客的人机交互。图5是本发明的计算机可读存储介质的结构示意图。参考图5所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本发明的自动驾驶主动式交互车载系统、方法、设备及存储介质能够实现基于数据的全权限自动驾驶车辆的自动行驶过程中的车辆与乘客的人机交互。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。