一种车主与行人语音交互的控制系统及方法与流程

1.本技术涉及电动汽车技术领域，具体涉及一种车主与行人语音交互的控制系统及方法。


背景技术：

2.在城市生活中，汽车连接着家和工作单位，成为人们生活中的“移动空间”。智能化时代，随着汽车的新四化的发展，智能座舱成为智能汽车行业明确的目标方向，触摸，语音，手势等多模态交互不断推动智能座舱的进化升级，车载语音交互是智能座舱中重要的人机交互。然而当前车载语音交互都是针对车内用户场景，如智能语音识别，增强通话，车载ktv等。当车主与车外行人对话时需要降下车窗，但在深夜行车中降落车窗，有不安全的因素，或在大雨天降落车窗，也容易让雨水进入车内。
3.针对以上问题，本领域技术人员一直在寻求解决方法。


技术实现要素：

4.本技术要解决的技术问题在于，针对上述现有技术的缺陷，提供一种车主与行人语音交互的控制系统及方法，能实现不需要降下车窗玻璃就能和车外行人或车辆进行对话，以及通过手机进行远程喊话，避免财产损失。
5.为了实现上述目的，本技术是通过如下的技术方案来实现：
6.一种车主与行人语音交互的控制系统，其特征在于，包括：车内麦克风、主机、车外扬声器、哨兵模式装置、车载智能互联终端、用户终端；
7.所述车内麦克风与所述主机相连，用于响应车内音频信号，将所述车内音频信号输出至所述主机；
8.所述车外扬声器与所述主机相连，用于接收所述主机处理后的音频信号并播放；
9.所述哨兵模式装置与所述主机相连，用于检测物体和/或生命体与车辆的距离，当所述距离小于预设值时输出警惕触发信号至所述主机，以使得所述主机发送警惕通知信息至所述用户终端；和/或当车辆的状态满足预设警报条件时，输出警报触发信号至所述主机，以使得所述主机发送警报通知信息至所述用户终端；
10.所述车载智能互联终端与所述主机相连，用于与所述用户终端进行通信，以实现所述用户终端展示所述警惕通知信息/所述警报通知信息；
11.所述用户终端，用于接收并展示所述警惕通知信息并进行警惕响应，和/或接收并展示所述警报通知信息并进行警报响应；其中，所述警惕响应和所述警报响应不同。
12.可选地，所述主机包括：转换模块、数字信号处理模块、放大模块、微处理器、系统级芯片；
13.所述转换模块与所述车内麦克风相连，用于接收所述车内麦克风获取的所述音频信号并进行初步处理；
14.所述数字信号处理模块与所述转换模块相连，用于接收所述转换模块初步处理后
的音频信号并进行降噪处理；
15.所述放大模块与所述数字信号处理模块相连，还与所述车外扬声器相连，用于接收并放大所述数字信号处理模块降噪后的音频信号后，输出至所述车外扬声器；
16.所述微处理器与所述哨兵模式装置相连，用于发送所述警惕触发信号和/或警报触发信号至所述系统级芯片；
17.所述系统级芯片用于根据所述警惕触发信号发送警惕通知信息至所述用户终端，和/或根据所述警报触发信号发送警报通知信息至所述用户终端。
18.可选地，所述警惕响应包括展示警告标识、录制车内视频、开启车外灯闪烁模式、接收并播放所述用户终端发送的实时音频中的至少一项；
19.所述警报响应包括录制车内视频、提高所述用户终端的亮度、播放所述车辆存储的音乐、接收并播放所述用户终端发送的所述实时音频中的至少一项。
20.可选地，车主与行人语音交互的控制系统还包括车联网数据平台；
21.所述车联网数据平台，用于提供车辆信息管理、车辆实时情况，保养及控制车辆中至少一项服务。
22.可选地，所述哨兵模式装置包括至少一个摄像头，设置于车辆外表面，用于监测车辆外行人与车辆的距离是否超过预设值。
23.可选地，车主与行人语音交互的控制系统还包括高压能源装置，所述高压能源装置通过所述主机与所述哨兵模式装置相连，用于将高压电源转换为低压电源，为所述哨兵模式装置运行时供电。
24.可选地，所述系统还包括设置装置，所述设置装置与所述主机相连，用于控制车辆实现车内音频响应、车辆音频对外交流、音量大小操作中至少一项。
25.本技术还提供一种交互方法，应用于车辆终端、用户终端，包括：
26.车辆终端响应车内音频信号在车外播放处理后的车内音频信号；
27.所述车辆终端检测物体和/或生命体与车辆的距离，当所述距离小于预设值时发送警惕通知信息至所述用户终端；和/或当车辆的状态满足预设警报条件时，发送警报通知信息至所述用户终端；
28.所述用户终端接收并展示所述警惕通知信息并进行警惕响应，和/或接收并展示所述警报通知信息并进行警报响应，其中，所述警惕响应和所述警报响应不同。
29.可选地，所述交互方法还包括：
30.所述车辆终端获取车内音频信号，根据所述车内音频信号响应车辆内常规操作。
31.可选地，所述交互方法还包括：
32.所述车辆终端根据所述警惕触发信号进行警惕响应，和/或根据所述警报触发信号进行警报响应。
33.本技术提供了的一种车主与行人语音交互的控制系统及方法，利用车内麦克风、主机、车外扬声器、哨兵模式装置、用户终端能实现不需要降下车窗玻璃就能和车外行人或车辆进行对话，以及通过手机进行远程喊话，避免财产损失。
34.为让本技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
35.下面结合附图和具体实施方式来详细说明本技术；
36.图1是本技术一实施例提供的车主与行人语音交互的控制系统架构示意图；
37.图2是本技术一实施例提供的主机的结构示意图；
38.图3是本技术一实施例提供的设置装置的控制时序图；
39.图4是本技术一实施例提供的哨兵模式中警报响应的时序图；
40.图5是本技术一实施例提供的警报响应中远程喊话的时序图。
具体实施例
41.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
42.图1是本技术一实施例提供的车主与行人语音交互的控制系统架构示意图。如图1所示，一种车主与行人语音交互的控制系统，包括：车内麦克风10、主机20、车外扬声器30、哨兵模式装置40、车载智能互联终端50、用户终端60。车内麦克风10与主机20相连，车外扬声器30与主机20相连，哨兵模式装置40与主机20相连，车载智能互联终端50与主机20相连，车载智能互联终端50与用户终端60无线连接。
43.其中，车内麦克风10用于响应车内音频信号，将车内音频信号输出至主机20。
44.一实施例中，车内麦克风10表现为车内麦克风阵列，设置于车辆内不同位置，例如主驾麦克风，副驾麦克风，二排左、右麦克风，全方位获取车辆内部的音频信号。
45.车外扬声器30用于接收主机20处理后的音频信号并播放。
46.一实施例中，车外扬声器30包括车外前扬声器31和车外后扬声器32，不仅可以与不同位置的生命体交流例如车辆前方的行人和车辆后方的行人，还可以扩大音频播放的范围，使得扩大音频的影响力。其他实施例中，车外扬声器的数量不限。
47.哨兵模式装置40用于检测物体和/或生命体与车辆的距离，当距离小于预设值时输出警惕触发信号至主机20，以使得主机20发送警惕通知信息至车载智能互联终端50；和/或当车辆的状态满足预设警报条件时，输出警报触发信号至主机20，以使得主机20发送警报通知信息至车载智能互联终端50。
48.一实施例中，预设值设置为3米，当物体和/或生命体与车辆的距离小于3米时，输出警惕触发信号至主机20。其他实施例中，可根据用户需求设置预设值。
49.一实施例中，预设警报条件设置为车辆遭受到碰撞、车门被强行打开、车玻璃被破坏中至少一项。其他实施例中，威胁车辆安全和/或车内财物安全和/或车内乘员安全的行为均可设置为预设警报条件。
50.车载智能互联终端50与主机20相连，用于与用户终端60进行通信，以实现用户终端60展示警惕通知信息/警报通知信息。
51.用户终端60用于接收并展示警惕通知信息并进行警惕响应，和/或接收并展示警报通知信息并进行警报响应；其中，警惕响应和警报响应不同。
52.一实施例中，用户终端60内安装有接收并展示警惕通知信息并进行警惕响应，和/或接收并展示警报通知信息并进行警报响应的app。以及用户终端60的表现形式包括但不限于智能手机、i pad。
53.图2是本技术一实施例提供的主机的结构示意图。请参阅图2，主机20包括：转换模
块21、数字信号处理模块22、放大模块23、微处理器24、系统级芯片25。转换模块21与车内麦克风10相连；数字信号处理模块22与转换模块21相连；放大模块23与数字信号处理模块22相连，还与车外扬声器30相连；微处理器24与哨兵模式装置40相连；系统级芯片25与微处理器24相连。
54.其中，转换模块21用于接收车内麦克风10获取的所述音频信号并进行初步处理。
55.数字信号处理模块22用于接收转换模块21初步处理后的音频信号并进行降噪处理。
56.放大模块23用于接收并放大数字信号处理模块22降噪后的音频信号后，输出至车外扬声器30；
57.微处理器24用于发送警惕触发信号和/或警报触发信号至系统级芯片25；
58.系统级芯片25用于根据警惕触发信号发送警惕通知信息至车载智能互联终端50，和/或根据警报触发信号发送警报通知信息至车载智能互联终端50。
59.一实施例中，警惕响应包括展示警告标识、录制车内视频、开启车外灯闪烁模式、接收并播放用户终端60发送的实时音频中的至少一项；警报响应包括录制车内视频、提高用户终端60的亮度、播放车辆存储的音乐、接收并播放用户终端60发送的实时音频中的至少一项。
60.一实施例中，警惕通知信息/警报通知信息包括但不限于时间、地点、事件，以及警惕响应/警报响应中录制的车内视频。
61.一实施例中，车主与行人语音交互的控制系统还包括车联网数据平台70；其中，用于提供车辆信息管理、车辆实时情况，保养及控制车辆中至少一项服务。。
62.进一步地，车载智能互联终端50还可以用于接收并展示警惕通知信息，并进行展示警告标识、录制车内视频的操作，和/或接收并展示警报通知信息并进行提高车载智能互联终端50的亮度的操作；
63.进一步地，用户终端60用于接收并展示警惕通知信息和/或警报通知信息并进行向车辆发送实时音频，以使得车辆播放的操作。
64.一实施例中，哨兵模式装置40包括至少一个摄像头，设置于车辆外表面。本实施例中，哨兵模式装置40包括四个摄像头，分别设置于车辆头部，左、右两侧和车辆尾部。其他实施例中，哨兵模式装置40的摄像头可不为四个。
65.一实施例中，车主与行人语音交互的控制系统还包括高压能源装置80，高压能源装置80通过主机20与哨兵模式装置40相连，用于将高压电源转换为低压电源，为哨兵模式装置40运行时供电。哨兵模式开启后，车辆低压电池的能源难以为高压能源装置80供电，高压能源装置80通过转换可提供充足电源，以实现警惕响应和/或警报响应。
66.一实施例中，车主与行人语音交互的控制系统还包括设置装置90，设置装置90与主机20中的系统级芯片25相连，用于控制车辆实现车内音频响应、车辆音频对外交流、音量大小操作中至少一项。
67.图3是本技术一实施例提供的设置装置的控制时序图。请同时参阅图1和图3，该时序包括：
68.11：车内麦克风10获取车内音频信号；并将车内音频信号输出至主机20。
69.12：用户通过设置装置90设置车内乘员的对车外语音交流或对车内语音交流；
70.一实施例中，若选择对车外语音交流，
71.121：车外声音麦克风接管；设置装置90控制车内麦克风10阵列中的车外声音麦克风采集车内乘员的语音音频信号，并将采集的音频信号发送至主机20；
72.122：主机20将音频信号处理，并整合为一段音频，再输出至车外扬声器30；
73.123：车外扬声器30将播放这段音频；
74.若选择对车内语音交流，
75.131：车内语音识别；设置装置90控制车内麦克风10阵列中的车内声音麦克风采集车内乘员的语音音频信号，并将采集的音频信号发送至主机20，主机20对该音频信号进行识别；
76.132：车内响应；语音识别完成即进行车内响应，例如语音命令规划导航路线，汽车中控屏则跳转为导航路线。
77.进一步地，车内音频响应包括车载智能互联终端50界面跳转，例如语音命令导航路线规划和音量大小操作；以及如语音命令打开空调、关闭车窗。
78.进一步地，车辆音频对外交流即向车外输出音频，例如音乐、车主的实时语音。
79.一种交互方法，应用于车辆终端、用户终端60，包括：
80.车辆终端响应车内音频信号并在车外播放处理后的车内音频信号；
81.一实施例中，车辆终端包括车内麦克风10、主机20、车外扬声器30、哨兵模式装置40、车载智能互联终端50、高压能源装置80、设置装置90、车联网数据平台70。
82.例如，乘员在车辆内部说话，车内麦克风10收集语音音频，经由主机20降噪放大，再由车外扬声器30播放处理后的语音音频。
83.车辆终端检测物体和/或生命体与车辆的距离，当距离小于预设值时发送警惕通知信息至用户终端60；和/或当车辆的状态满足预设警报条件时，发送警报通知信息至用户终端60；
84.一实施例中，哨兵模式装置40检测物体和/或生命体与车辆的距离，当距离小于预设值时输出警惕触发信号至微处理器24，微处理器24发送警惕触发信号至系统级芯片25，系统级芯片25根据警惕触发信号发送警惕通知信息至车载智能互联终端50，车载智能互联终端50通过车联网数据平台70将警惕通知信息发送至用户终端60；
85.和/或哨兵模式装置40检测物体和/或生命体与车辆的距离，当车辆的状态满足预设警报条件时，输出警报触发信号至微处理器24，微处理器24发送警报触发信号至系统级芯片25，系统级芯片25根据警报触发信号发送警报通知信息至车载智能互联终端50，车载智能互联终端50通过车联网数据平台70将警报通知信息发送至用户终端60。
86.用户终端接收并展示警惕通知信息并进行警惕响应，和/或接收并展示警报通知信息并进行警报响应，其中，警惕响应和警报响应不同。
87.图4是本技术一实施例提供的哨兵模式中警报响应的时序图。请同时参阅图1和图4，该时序包括：
88.21：哨兵模式开启；本实施例中，开启哨兵模式的方法包括但不限于语音控制开启、车辆内软按键控制开启、用户终端60中安装的app控制开启。
89.22：高压能源装置开启；本实施例中，高压能源装置80被动开启，哨兵模式开启后，高压能源装置80必然开启，以为哨兵模式时的车辆供电。
90.23：输出警报触发信号；哨兵模式装置40检测到物体和/或生命体与车辆的距离过近，当车辆的状态满足预设警报条件时，输出警报触发信号至主机20。本实施例中，预设距离的值设置为3米，预设警报条件包括但不限于车辆遭受到碰撞、车门被强行打开、车玻璃被破坏。当物体和/或生命体与车辆的距离小于3米时，和/或发生预设警报条件，则输出警惕触发信号至主机20。
91.231：根据触发信号寻找警报的音频文件；主机20根据警惕触发信号在车辆的存储器中寻找警报的音频文件，其他情况中，若车辆内没有存储警报音频或找不到类似警报的音频文件，则选择已有的音频文件中音量较大的。
92.232：主机处理音频文件；主机20将音频文件进行降噪、放大等处理，并整合为一段音频，再输出至车外扬声器30；
93.233：车外扬声器播放音频；
94.241：哨兵模式装置40输出警报触发信号至主机20后，主机20则根据警报触发信号发送警报通知信息至车载智能互联终端50；
95.242：车载智能互联终端50接收警报通知信息并上传至车联网数据平台70，车联网数据平台70存储该警报通知信息；
96.243：车联网数据平台70发送警报通知信息至用户终端60，以使用户终端60展示警报通知信息。
97.一实施例中，用户终端60接收并展示警惕通知信息和/或警报通知信息后，可选择是否发送实时语音的音频至车辆终端。例如，行人路过车辆停靠地，用户终端60将接收到“请注意。有人靠近您的车辆。”的通知信息；若行人砸破车玻璃，用户终端60将接收到“请注意。车辆机体被破坏。”的通知信息，用户终端60查看录制的车内视频，通过车联网数据平台70上传实时录制的语音音频至车载智能互联终端50，经由数字信号处理模块22进行降噪处理，再由放大模块23放大数字信号处理模块22降噪后的音乐音频信号后，输出至车外扬声器30播放。可进行远程喊话的操作，威慑破坏者远离车辆。
98.图5是本技术一实施例提供的警报响应中远程喊话的时序图。请同时参阅图1和图5，该时序包括：
99.31：用户终端获取车主远程喊话的音频；本实施例中，由用户终端上安装的app对车主进行实时录音，用户终端在本地存储器中保存实时音频，并上传实时音频至车联网数据平台。
100.32：车联网数据平台接收实时音频并存储，以及发送实时音频至车载智能互联终端。
101.33：车载智能互联终端接收实时音频并存储，以及发送实时音频至主机。
102.优选地，若警报响应中的播放车辆存储的音乐和接收并播放用户终端发送的实时音频同时发生或先后发生，则将进行
103.34：主机仲裁；主机中系统级芯片将对这两件事件进行仲裁即判断车辆音乐和实时音频的优先级。默认接收并播放用户终端发送的实时音频的事件优先于播放车辆存储的音乐的事件。以及准备将仲裁后选择的音频文件进行处理。
104.35：主机处理音频文件；主机将音频文件进行降噪、放大等处理，并整合为一段音频，再输出至车外扬声器；
105.36：车外扬声器播放音频。
106.一实施例中，交互方法还包括：
107.车辆终端获取车内音频信号，根据车内音频信号响应车辆内常规操作。其中，常规操作包括但不限于语音命令导航路线规划和控制音量大小、语音命令打开空调或关闭车窗。
108.一实施例中，交互方法还包括：
109.车辆终端根据所述警惕触发信号进行警惕响应，和/或根据所述警报触发信号进行警报响应。
110.进一步地，哨兵模式装置40检测物体和/或生命体与车辆的距离，当距离小于预设值时输出警惕触发信号至微处理器24，微处理器24发送警惕触发信号至系统级芯片25，系统级芯片25根据警惕触发信号获取车辆存储的音乐音频，由主机20中数字信号处理模块22进行降噪处理，再由放大模块23放大数字信号处理模块22降噪后的音乐音频信号后，输出至车外扬声器30播放。
111.一实施例中，当警报响应中的播放车辆存储的音乐正在进行时，警惕响应/警报响应中接收并播放用户终端60发送的实时音频将要进行时，主机20中系统级芯片25将对这两件事件进行仲裁即判断车辆音乐和实时音频的优先级。默认接收并播放用户终端60发送的实时音频的事件优先于播放车辆存储的音乐的事件。例如，正在播放警报音(车辆存储的音乐)，车主利用用户终端60进行远程喊话，车主喊话可打断警报音。
112.显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
113.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
114.显然，以上显示和描述了本技术的基本原理和主要特征和本技术的优点。本行业的技术人员应该了解，本技术不受上述实施例的限制，实施例和说明书中描述的只是说明本技术的原理，凡在本技术的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本技术的保护范围之内。