基于语音和图像识别的预警方法、装置、电子设备与流程

本发明涉及计算机，尤其涉及一种基于语音和图像识别的预警方法、装置、电子设备。

背景技术：

1、车辆的预警设备，可以在驾驶过程中辅助驾驶员做出一些决策或者给驾驶员提供安全警报，在驾驶员注意力不集中或者出现突发情况时发挥作用，避免产生道路交通事故，保障人身和财产安全。

2、现有的方案在预警过程中，根据车辆行驶方向的图像，判断是否存在障碍物，以及车辆与障碍物之间的距离。当存在障碍物并且车辆距离障碍物距离较近时，给驾驶员提供预警信息。或者识别车内驾驶员是否存在打瞌睡等疲劳驾驶行为，并提供预警信息。

3、然而，在目前方案中，仅仅根据车辆外部的环境信息或驾驶员疲劳驾驶的情况判断是否有突发情况发生，适用性不强，导致无法同时兼顾车内车外的环境进行预警的问题。

技术实现思路

1、有鉴于此，本发明旨在提出一种基于语音和图像识别的预警方法、装置、电子设备，以解决现有技术无法兼顾车内车外的环境进行预警的问题。

2、为解决上述技术问题，本发明的实施方式提供了一种基于语音和图像识别的预警方法，包括：

3、获取车内多个位置的声音信号；

4、对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像；

5、根据所述驾驶位的图像以及所述车外图像，得到危险系数；

6、根据所述危险系数，进行预警。

7、可选的，所述对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像之前，还包括：

8、检测所述声音信号的音量，当检测到所述音量的变化率高于预设阈值时，开启语音识别功能，其中，所述语音识别功能用于对所述声音信号进行识别。

9、可选的，所述对所述声音信号进行识别，当识别到争吵行为时，则获取驾驶位的图像以及车外图像，包括：

10、对所述声音信号进行语义分析，并统计所述声音信号符合指定语义的频次；

11、当所述频次高于预设阈值时，确认存在争吵行为，获取所述驾驶位的图像以及所述车外图像。

12、可选的，所述根据所述驾驶位的图像以及所述车外图像，得到危险系数，包括：

13、根据所述驾驶位的图像得到驾驶员的驾驶状态；

14、根据车外图像中的物体和信号灯状态，确定车辆外部环境；

15、根据所述驾驶状态和所述车辆外部环境，得到所述危险系数。

16、可选的，所述根据所述驾驶位的图像得到驾驶员的驾驶状态，包括：

17、获取驾驶员的面部图像以及方向盘区域的图像；

18、通过所述面部图像，确定驾驶员的视线方向；

19、根据所述方向盘区域的图像，得到方向盘的操作状态，其中，所述方向盘的操作状态用于描述方向盘是否受到多人控制；

20、根据所述视线方向以及所述方向盘的操作状态，得到所述驾驶员的驾驶状态。

21、可选的，所述方向盘的操作状态是根据所述面部图像中的人脸数量，以及所述方向盘区域的图像中手的数量确定的。

22、可选的，所述根据所述驾驶位的图像以及所述车外图像，得到危险系数，包括：

23、构建模糊综合评价模型，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析，得到所述危险系数。

24、可选的，所述根据所述危险系数，进行预警之后，还包括：

25、根据所述危险系数提供驾驶辅助行为，其中，所述驾驶辅助行为包括驾驶托管和制动。

26、本发明的实施方式还提供了一种基于语音和图像识别的预警装置，应用于车辆，包括：

27、声音信号获取模块：用于获取车内多个位置的声音信号；

28、图像获取模块：用于对所述声音信号进行识别，当识别到争吵行为，则获取驾驶位的图像以及车外图像；

29、危险系数计算模块：用于根据所述驾驶位的图像以及所述车外图像，得到危险系数；

30、预警模块：用于根据所述危险系数，进行预警。

31、可选的，所述图像获取模块之前，还包括：

32、语音识别开启模块：用于检测所述声音信号的音量，当检测到所述音量的变化率高于预设阈值时，开启语音识别功能，其中，所述语音识别功能用于对所述声音信号进行识别。

33、可选的，所述图像获取模块，包括：

34、语音分析子模块：用于对所述声音信号进行语义分析，并统计所述声音信号符合指定语义的频次；

35、图像获取子模块：用于当所述频次高于预设阈值时，确认存在争吵行为，获取所述驾驶位的图像以及所述车外图像。

36、可选的，所述危险系数计算模块，包括：

37、驾驶状态获取子模块：用于根据所述驾驶位的图像得到驾驶员的驾驶状态；

38、根据车外图像中的物体和信号灯状态，确定车辆外部环境；

39、根据所述驾驶状态和所述车辆外部环境，得到所述危险系数。

40、可选的，所述驾驶状态获取子模块，包括：

41、图像获取单元：用于获取驾驶员的面部图像以及方向盘区域的图像；

42、第一图像分析单元：用于通过所述面部图像，确定驾驶员的视线方向；

43、第二图像分析单元：用于根据所述方向盘区域的图像，得到方向盘的操作状态，其中，所述方向盘的操作状态用于描述方向盘是否受到多人控制；

44、驾驶状态获取单元：根据所述视线方向以及所述方向盘的操作状态，得到所述驾驶员的驾驶状态。

45、可选的，所述第二图像分析单元中，所述方向盘的操作状态是根据所述面部图像中的人脸数量，以及所述方向盘区域的图像中手的数量确定的。

46、可选的，所述危险系数计算模块，包括：

47、危险系数计算子模块：用于构建模糊综合评价模型，通过所述模糊综合评价模型对所述车外图像和所述驾驶位的图像进行分析，得到所述危险系数。

48、可选的，所述预警模块之后，还包括：

49、驾驶辅助模块：用于根据所述危险系数提供驾驶辅助行为，其中，所述驾驶辅助行为包括驾驶托管和制动。

50、本发明的实施方式还提供了一种电子设备，包括：

51、至少一个处理器；以及，

52、与所述至少一个处理器通信连接的存储器；其中，

53、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的基于语音和图像识别的预警方法。

54、相对于现有技术，本发明所述的一种基于语音和图像识别的预警方法具有以下优势：

55、通过多个位置的声音信号，可以判断车内是否存在多人同时说话，模拟多人争吵场景的情况，提升对于争吵行为预判的准确性。当存在争吵行为时开始获取驾驶位的图像、车外的图像，能够避免长时间获取车内车外图像，造成资源浪费。综合驾驶位的图像、车外的图像分析行驶过程中的安全隐患，能够适应不同的驾驶情景，增强预警方法的适用性。同时，根据驾驶情景得到危险系数，并根据危险系数进行预警，能够在发生突发情况时能够保障人身和财产安全，由于危险系数是根据车内和车外图像得到的，解决了现有技术中无法同时兼顾车内车外的环境进行预警的问题。