本发明涉及智能驾驶,具体涉及一种nlu测试方法、装置、电子设备与存储介质。
背景技术:
1、随着汽车智能化的快速发展,车载语音交互系统在提升驾驶体验和保障行车安全方面发挥着至关重要的作用。在驾驶过程中,驾驶员需要时刻保持对道路状况的关注,手动操作各种车载设备(如导航、多媒体、空调等)会分散驾驶员的注意力,增加发生交通事故的风险。而车载语音交互系统允许驾驶员通过语音指令来控制车辆的各种功能,无需手动操作,从而让驾驶员能够更加专注于驾驶,大大提高了行车的安全性。
2、在车载语音系统中,自然语言理解(naturallanguageunderstanding,以下简称:nlu)技术是实现语音指令准确识别和理解的基石。当驾驶员发出语音指令时,车载语音系统首先会通过语音识别技术将语音信号转换为文本信息。然而,这些文本信息往往只是字面的表述,计算机无法直接理解其真正的含义。此时,nlu技术就会发挥作用,它会对文本信息进行深入的分析和处理,包括词法分析、句法分析、语义分析等,以准确理解驾驶员的意图。因此,只有nlu技术能够准确理解驾驶员的意图,车载语音系统才能做出正确的响应,为驾驶员提供相应的服务。如果nlu技术无法准确理解语音指令,就会导致系统响应错误或无法响应,使驾驶员感到困惑和不满,降低车载语音系统的实用性和可靠性。因此,在将nlu技术应用于新的产品或场景之前,需要进行充分的测试来验证其可行性。
3、然而,现有的nlu测试方法,其测试精度不高,导致系统对某些指令无法准确识别和响应,甚至无法应用于新的产品。
技术实现思路
1、本发明提供一种nlu测试方法、装置、电子设备与存储介质,用以解决现有技术中nlu测试精度不高的缺陷。
2、本发明提供一种nlu测试方法,包括:
3、获取语音信息和所述语音信息对应的同步信息;所述同步信息包括:口型信息、肢体动作信息、情绪信息中的至少一种;
4、根据所述语音信息和同步信息,确定所述语音信息对应的指令是否有效。
5、根据本发明提供的所述的nlu测试方法,所述根据所述语音信息和同步信息,确定所述语音信息对应的指令是否有效包括:
6、根据所述语音信息,确定所述语音信息对应的指令是否有效;如果无效,则根据所述同步信息,进一步确定所述语音信息对应的指令是否有效。
7、根据本发明提供的所述的nlu测试方法,所述根据所述语音信息,确定所述语音信息对应的指令是否有效包括:
8、将预处理后的语音信息输入nlu模型,得到基于asr文本的语义分析结果;
9、基于所述语义分析结果,提取其中的关键语义信息,所述关键语义信息包括操作对象信息和操作动作信息;
10、将提取的操作对象信息与预设的效操作对象集合进行匹配,判断是否存在操作对象匹配项;
11、将提取的操作动作信息与预设的效操作动作集合进行匹配,判断是否存在操作动匹配项;
12、检查语义分析结果中是否包含违背预设禁忌规则的内容;
13、若存在操作对象匹配项与操作动匹配项、且未检测到违背禁忌规则的内容,则判定所述语音信息对应的指令有效,否则无效。
14、根据本发明提供的所述的nlu测试方法,所述根据所述同步信息,进一步确定所述语音信息对应的指令是否有效包括:
15、将所述同步信息分别输入其对应的分析模型,对应得到口型分析结果、肢体动作分析结果、情绪分析结果中的至少一种;
16、根据所述语义分析结果、以及口型分析结果、肢体动作分析结果、情绪分析结果中的至少一种,确定所述语音信息对应的指令是否有效。
17、根据本发明提供的所述的nlu测试方法,所述口型分析结果为口型与语音匹配度;所述肢体动作分析结果为肢体动作与语义倾向匹配度;所述情绪分析结果为情绪与语义匹配度。
18、根据本发明提供的所述的nlu测试方法,所述根据所述语义分析结果、以及口型分析结果、肢体动作分析结果、情绪分析结果中的至少一种,确定所述语音信息对应的指令是否有效包括:
19、确定语义分析、口型分析、肢体动作分析、情绪分析分别对应的权重;
20、根据每个权重以及每个权重对应的分析结果,确定所述语音信息对应的综合得分;
21、在所述综合得分大于某一预设阈值的情况下,所述语音信息对应的指令有效。
22、根据本发明提供的所述的nlu测试方法,所述语音信息包括:至少两个上下文语音信息;
23、分别对至少两个上下文语音信息进行预处理,得到预处理后的至少两个上下文语音信息;
24、将预处理后的所述至少两个上下文语音信息分别输入nlu模型,对应得到至少两个上下文语音分析结果;
25、计算所述至少两个上下文语音分析结果对应向量的余弦相似度,根据所述余弦相似度,确定所述至少两个上下文语音信息对应的最终语义分析结果。
26、本发明还提供一种nlu的测试装置,包括:
27、获取单元,用于获取语音信息和所述语音信息对应的同步信息;所述同步信息包括:口型信息、肢体动作信息、情绪信息中的至少一种;
28、确定单元,用于根据所述语音信息和同步信息,确定所述语音信息对应的指令是否有效。
29、本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上任一项所述nlu测试方法。
30、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上任一项所述nlu测试方法。
31、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上任一项所述nlu测试方法。
32、本发明提供的nlu测试方法、装置、电子设备与存储介质,通过利用语音信息和同步信息,确定语音信息对应的指令是否有效,减少了漏判与误判的概率,避免了将有效指令误判为无效,或将无效指令误判为有效,而同步信息的引入可显著降低这类错误,提升了测试的精确度。
1.一种nlu测试方法,其特征在于,包括:
2.根据权利要求1所述的nlu测试方法,其特征在于,所述根据所述语音信息和同步信息,确定所述语音信息对应的指令是否有效包括:
3.根据权利要求2所述的nlu测试方法,其特征在于,所述根据所述语音信息,确定所述语音信息对应的指令是否有效包括:
4.根据权利要求3所述的nlu测试方法,其特征在于,所述根据所述同步信息,进一步确定所述语音信息对应的指令是否有效包括:
5.根据权利要求4所述的nlu测试方法,其特征在于,所述口型分析结果为口型与语音匹配度;所述肢体动作分析结果为肢体动作与语义倾向匹配度;所述情绪分析结果为情绪与语义匹配度。
6.根据权利要求4所述的nlu测试方法,其特征在于,所述根据所述语义分析结果、以及口型分析结果、肢体动作分析结果、情绪分析结果中的至少一种,确定所述语音信息对应的指令是否有效包括:
7.根据权利要求3-6任一所述的nlu测试方法,其特征在于,所述语音信息包括:至少两个上下文语音信息;
8.一种nlu的测试装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述nlu测试方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述nlu测试方法。