报警方法、装置以及智能驾驶设备与流程

本技术涉及智能驾驶领域，并且更具体地，涉及一种报警方法、装置以及智能驾驶设备。

背景技术：

1、随着智能车在日常生活中被广泛使用，用户期待智能车能够带来更加安全舒适的智能化体验。尤其在涉及人身安全的场景，用户期待智能车能够提供更加完备的保护用户人身安全的功能。

2、然而，当前智能车提供的安全保护功能主要局限于如何避免车辆对用户的人身安全造成影响，并未关注到车辆以外的人和物可能造成的威胁。例如，当用户在车内被歹徒劫持时，智能车不能采取任何保护用户的人身安全的措施。因此，如何在用户受到车辆以外的人和物威胁时，保护用户的人身安全是亟需解决的问题。

技术实现思路

1、本技术提供了一种报警方法、装置以及智能驾驶设备，能够在用户受到智能驾驶设备以外的人和物的威胁时，识别用户的唇语并进行报警，从而保护用户的人身安全。

2、第一方面，提供了一种报警方法，该方法包括：根据第一唇部图像信息确定用户的第一唇部特征信息，该第一唇部图像信息是第一相机获取的；将该第一唇部特征信息输入到唇语报警模型中，得到第一报警信息；根据该第一报警信息进行报警。

3、其中，第一相机可以是事件相机，该相机可以获取到用户的第一唇部图像信息。在获取到第一唇部图像信息后，对第一唇部图像信息进行处理，可以得到用户的第一唇部特征信息。该第一唇部特征信息可以有效的反映用户的嘴唇变化、舌头变化及脸部肌肉变化。

4、可选地，唇语报警模型可以是脉冲神经网络模型，或脉冲神经网络模型和语言表征模型。

5、可选地，智能驾驶设备在得到第一报警信息后，可以拨通报警电话并静音，从而进行报警。

6、本技术中，能够将用户的第一唇部特征信息输入到唇语报警模型中进行唇语识别，在该唇语识别结果为报警信息的情况下，智能驾驶设备能够根据该报警信息进行报警。通过这样的方式，在用户受到智能驾驶设备以外的人和物的威胁时，智能驾驶设备能够及时进行报警，从而保护用户的人身安全。

7、结合第一方面，在第一方面的某些实现方式中，该方法还包括：将第二唇部特征信息输入到唇语报警模型中，得到第二报警信息，该第二唇部特征信息是基于第二唇部图像信息确定的，该第二唇部图像信息是第一相机获取的，第一相机获述第二唇部图像信息的时间晚于第一相机获取第一唇部图像信息的时间；在第一报警信息和第二报警信息一致的情况下，进行报警。

8、其中，第一报警信息和第二报警信息一致可以理解为多次的唇语识别结果均为报警。

9、由于仅仅根据第一唇部特征信息进行唇语识别并报警可能会出现误报警的情况，因此，可以通过再次识别用户的唇部特征信息的方式来避免误报警的情况发生。

10、本技术中，通过将第二唇部特征信息输入到唇语报警模型中，得到第二报警信息，在第一报警信息和第二报警信息一致的情况下，智能驾驶设备才进行报警。通过这样的方式，能够有效避免因唇语识别错误导致的误报警情况的发生。

11、结合第一方面，在第一方面的某些实现方式中，在将第二唇部特征信息输入到唇语报警模型中，得到第二报警信息之前，该方法还包括：向用户提示第一相机处于工作状态。

12、为了让用户知晓智能驾驶设备处于再次确认是否报警的状态，智能驾驶设备可以通过一些隐蔽方式提示用户第一相机正在工作。

13、可选地，可以通过智能驾驶设备的指示灯或者用户佩戴的手环向用户提示第一相机正在工作。

14、例如，当隐藏在后视镜处的微型指示灯闪烁红灯和/或用户佩戴的手环震动1秒时，则说明此时第一相机正在工作，智能驾驶设备所处的状态为再次确认是否报警的状态。

15、用户在知晓智能驾驶设备处于再次确认是否报警的状态后，可以再次通过唇语与智能驾驶设备进行“交流”；此时，智能驾驶设备能够通过第一相机获取到用户的第二唇部图像信息。

16、本技术中，通过向用户提示第一相机处于工作状态，能够用户知晓智能驾驶设备处于再次确认是否报警的状态，从而避免误报警的情况发生。

17、结合第一方面，在第一方面的某些实现方式中，该方法还包括：向用户提示报警电话已接通。

18、具体地，智能驾驶设备在报警后需要让用户知晓警方已经接通电话，智能驾驶设备可以通过一些隐蔽方式向用户提示报警电话已接通。

19、可选地，可以通过智能驾驶设备的指示灯或者用户佩戴的手环向用户提示报警电话已接通。

20、例如，当隐藏在后视镜处的微型指示灯闪烁绿灯和/或用户佩戴的手环震动2秒时，用户可以通过唇语将车的情况传达给警方，等待警方的救援，即用户可以通过唇语将车内的歹徒数量、智能驾驶设备所在位置、歹徒是否携带武器等信息传达给警方。

21、本技术中，智能驾驶设备进行报警后，能够向用户提示报警电话已接通，从而使得用户能够将车内情况传达给警方，以便于警方开展营救。

22、结合第一方面，在第一方面的某些实现方式中，在根据第一唇部图像信息确定用户的第一唇部特征信息之前，该方法还包括：根据用户被劫持的图像信息，控制第一相机获取第一唇部图像信息，该用户被劫持的图像信息是第二相机获取的，该第二相机的功耗低于第一相机的功耗。

23、由于一直使用第一相机进行唇语捕捉和识别，智能驾驶设备的整体的功耗较大。因此可以使用功耗相对较低的第二相机获取用户的图像信息。当第二相机获取的图像信息为用户被劫持的图像信息时，智能驾驶设备可以控制第一相机进行唇语捕捉和识别。

24、可选地，在第一相机为事件相机时，第二相机可以是非事件相机。

25、本技术中，在使用功耗较低的第二相机获取到用户被劫持的图像信息时，智能驾驶设备能够控制第一相机获取用户的第一唇部特征信息。通过这样的方式，能够在保障用户人身安全的基础上，降低智能驾驶设备整体的功耗。

26、结合第一方面，在第一方面的某些实现方式中，根据第一唇部图像信息确定用户的第一唇部特征信息，包括：根据第三唇部图像信息和第一唇部图像信息确定该第一唇部特征信息，该第三唇部图像信息是所述第二相机获取的。

27、本技术中，第一唇部特征信息是基于第一唇部图像信息和第三唇部图像信息确定的，通过这样的方式，能够去除掉第一唇部特征信息中的冗余和噪声信息，使得唇语报警模型的唇语识别结果更加准确。

28、结合第一方面，在第一方面的某些实现方式中，在将第一唇部特征信息输入到唇语报警模型中，得到第一报警信息之前，该方法还包括：使用卡尔曼滤波算法对第一唇部特征信息进行处理。

29、本技术中，在将第一唇部特征信息输入到唇语报警模型之前，使用卡尔曼滤波算法对第一唇部特征信息进行处理，通过这样的方式，能够去除掉第一唇部特征信息中的冗余和噪声信息，使得唇语报警模型能够更加准确、快速的得到唇语识别结果。

30、结合第一方面，在第一方面的某些实现方式中，在将第一唇部特征信息输入到唇语报警模型中，得到第一报警信息之前，该方法还包括：确定第一唇部特征信息中的第一像素点的方差；在该方差小于第一阈值的情况下，将第一像素点设置为无效点。

31、本技术中，在将第一唇部特征信息输入到唇语报警模型之前，可以先求得第一唇部特征信息中的第一像素点的方差，在该方差小于第一阈值时，将该第一像素点设置为无效点。通过这样的方式，能够去除掉第一唇部特征信息中的冗余和噪声信息，使得唇语报警模型能够更加准确、快速的得到唇语识别结果。

32、结合第一方面，在第一方面的某些实现方式中，第一相机为事件相机，唇语报警模型包括：脉冲神经网络模型，或脉冲神经网络模型和语言表征模型。

33、第二方面，提供了一种模型训练方法，该方法包括：根据第一唇部图像样本信息确定用户的第一唇部特征样本信息，该第一唇部图像样本信息是第一相机获取的；将第一唇部特征样本信息输入到唇语报警模型中，得到第一报警样本信息；获取用户的语音样本信息；根据第一报警样本信息和语音样本信息，训练唇语报警模型。

34、可选地，可以通过车载麦克风或transformer网络模型来获取用户的语音样本信息。

35、本技术中，由于唇语报警模型识别的结果可能出现不准确的情况，因此可以通过语音样本信息和第一唇部特征样本信息来训练唇语报警模型，从而使得唇语报警模型识别的结果更加准确。

36、结合第二方面，在第二方面的某些实现方式中，第一相机为事件相机，唇语报警模型包括：脉冲神经网络模型，或脉冲神经网络模型和语言表征模型。

37、第三方面，提供了一种报警装置，该装置包括：处理单元。该处理单元，用于：根据第一唇部图像信息确定用户的第一唇部特征信息，该第一唇部图像信息是第一相机获取的；将第一唇部特征信息输入到唇语报警模型中，得到第一报警信息；根据第一报警信息进行报警。

38、结合第三方面，在第三方面的某些实现方式中，该处理单元，还用于：将第二唇部特征信息输入到唇语报警模型中，得到第二报警信息，该第二唇部特征信息是基于第二唇部图像信息确定的，该第二唇部图像信息是第一相机获取的，第一相机获取第二唇部图像信息的时间晚于第一相机获取第一唇部图像信息的时间；在第一报警信息和第二报警信息一致的情况下，进行报警。

39、结合第三方面，在第三方面的某些实现方式中，该处理单元，还用于向用户提示第一相机处于工作状态。

40、结合第三方面，在第三方面的某些实现方式中，该处理单元，还用于向用户提示报警电话已接通。

41、结合第三方面，在第三方面的某些实现方式中，该处理单元，还用于根据用户被劫持的图像信息，控制第一相机获取第一唇部图像信息，该用户被劫持的图像信息是第二相机获取的，该第二相机的功耗低于第一相机的功耗。

42、结合第三方面，在第三方面的某些实现方式中，该处理单元，用于根据第三唇部图像信息和第一唇部图像信息确定第一唇部特征信息，该第三唇部图像信息是第二相机获取的。

43、结合第三方面，在第三方面的某些实现方式中，该处理单元，还用于使用卡尔曼滤波算法对第一唇部特征信息进行处理。

44、结合第三方面，在第三方面的某些实现方式中，该处理单元，还用于：确定第一唇部特征信息中的第一像素点的方差；在该方差小于第一阈值的情况下，将第一像素点设置为无效点。

45、第四方面，提供了一种模型训练装置，该装置包括：获取单元和处理单元；该处理单元，用于：根据第一唇部图像样本信息确定用户的第一唇部特征样本信息，该第一唇部图像样本信息是第一相机获取的；将第一唇部特征样本信息输入到唇语报警模型中，得到第一报警样本信息；该获取单元，用于获取用户的语音样本信息；该处理单元，还用于根据第一报警样本信息和语音样本信息，训练唇语报警模型。

46、结合第四方面，在第四方面的某些实现方式中，第一相机为事件相机，唇语报警模型包括：脉冲神经网络模型，或脉冲神经网络模型和语言表征模型。

47、第五方面，提供一种报警装置，该装置包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，使得该装置实现上述第一方面或第二方面中任意一种实现方式的方法。

48、第六方面，提供一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面或第二方面中任意一种实现方式的方法。

49、第七方面，提供一种芯片，该芯片包括电路，该电路用于执行第一方面或第二方面中任意一种实现方式的方法。

50、第八方面，提供了一种智能驾驶设备，包括：第一相机以及上述第三方面中任意一种实现方式中的报警装置，该第一相机为事件相机。

51、第九方面，提供了一种智能驾驶设备，包括：上述第四方面中任意一种实现方式中的模型训练装置。