用于对话系统的异常检测方法及装置与流程

本发明涉及对话系统评测，尤其涉及一种用于对话系统的异常检测方法及装置。

背景技术：

1、针对对话系统中的异常检测，现有技术主要存在以下几个问题：首先，在异常数据检测中，通常基于人工召回异常数据并手动标注的方式，确定异常数据样本，基于训练模型的方式筛选出更多的异常数据待检测样本，人工成本较高，且依赖于工作人员的业务经验和主观想法，准确率较低；其次，基于标注样本训练的异常检测模型和对话系统的线上模型是割裂的，需要分开训练，且由于异常数据的分布往往小于正常数据，样本不均衡，异常检测模型准确度往往不能保证；此外，使用历史样本训练的异常检测模型仅对新增意图有效，且对历史样本的数据增强、多样性泛化等操作难以改变模型结果，无法确认真实意图。

技术实现思路

1、本发明意在提供一种用于对话系统的异常检测方法及装置，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。

2、本发明提供的用于对话系统的异常检测方法，包括：

3、获取行业领域的对话文本数据，并对对话文本数据进行用户意图标注形成训练样本，通过训练样本对意图识别模型进行训练，将训练完成的意图识别模型部署到对话系统中；

4、对部署了意图识别模型的对话系统中产生的对话语料文本进行用户意图统计，获取多个意图分支，并获取各个意图分支对应的对话语料文本的数量和对话语料文本的数量占总数量的百分比；

5、在存在对话语料文本的数量占总数量的百分比小于百分比阈值的意图分支时，采集多个新输入至部署了意图识别模型的对话系统中的主叫文本，并通过意图识别模型预测各个主叫文本对应不同用户意图的概率值，将概率值最大的用户意图作为相应主叫文本对应的识别意图，将满足概率值阈值条件时对应的主叫文本作为待检测样本；

6、获取待检测样本对应的待选意图，并基于待选意图通过部署了意图识别模型的对话系统获取待检测样本对应的回复预设模板，将回复预设模板发送至用户终端，接收用户的回答信息，并基于回答信息提取用户的真实意图；

7、将用户的真实意图与相应待检测样本对应的识别意图进行比较，根据比较结果判断意图识别模型是否异常。

8、在上述的方案中，多个意图分支包括：配送快递、寄快递、上门取件、修改快递地址以及上门取件等。

9、在上述的方案中，所述概率值阈值包括第一概率值阈值和第二概率值阈值，所述第二概率值阈值大于所述第一概率值阈值。

10、在上述的方案中，将满足概率值阈值条件时对应的主叫文本作为待检测样本包括：将大于第一概率值阈值且小于第二概率值阈值的概率值对应的主叫文本作为待检测样本。

11、在上述的方案中，获取待检测样本对应的待选意图包括：

12、将待检测样本对应不同用户意图的概率值按照从大到小进行排列；

13、将排列在第二位的概率值对应的用户意图作为待检测样本对应的待选意图。

14、在上述的方案中，基于回答信息提取用户的真实意图包括：

15、对用户的回答信息进行判断，判定用户的回答为肯定或否定；

16、在判定用户的回答为肯定时，将待检测样本对应的待选意图作为用户的真实意图；

17、在判定用户的回答为否定时，将待检测样本对应的识别意图作为用户的真实意图。

18、在上述的方案中，将用户的真实意图与相应待检测样本对应的识别意图进行比较，根据比较结果判断意图识别模型是否异常包括：

19、在用户的真实意图与相应待检测样本对应的识别意图一致时，将相应的待检测样本保存在第一样本集合中；

20、在用户的真实意图与相应待检测样本对应的识别意图不一致时，将相应的待检测样本保存在第二样本集合中；

21、获取第一样本集合中待检测样本的数量占所有待检测样本的数量的比例，将其作为第一比例，或者获取第二样本集合中待检测样本的数量占所有待检测样本的数量的比例，将其作为第二比例；

22、在第一比例大于等于比例阈值或者第二比例小于比例阈值时，判定意图识别模型正常；

23、在第一比例小于比例阈值或者第二比例大于等于比例阈值时，判定意图识别模型异常。

24、在上述的方案中，所述比例阈值为80%。

25、本发明提供的用于对话系统的异常检测装置，采用如上所述的用于对话系统的异常检测方法进行对话系统的异常检测，包括：

26、模型部署模块，用于获取行业领域的对话文本数据，并对对话文本数据进行用户意图标注形成训练样本，通过训练样本对意图识别模型进行训练，将训练完成的意图识别模型部署到对话系统中；

27、初步判断模块，用于对部署了意图识别模型的对话系统中产生的对话语料文本进行用户意图统计，获取多个意图分支，并获取各个意图分支对应的对话语料文本的数量和对话语料文本的数量占总数量的百分比。

28、在上述的方案中，本发明提供的用于对话系统的异常检测装置还包括：

29、待检测样本获取模块，用于在存在对话语料文本的数量占总数量的百分比小于百分比阈值的意图分支时，采集多个新输入至部署了意图识别模型的对话系统中的主叫文本，并通过意图识别模型预测各个主叫文本对应不同用户意图的概率值，将概率值最大的用户意图作为相应主叫文本对应的识别意图，将满足概率值阈值条件时对应的主叫文本作为待检测样本；

30、真实意图获取模块，用于获取待检测样本对应的待选意图，并基于待选意图部署了意图识别模型的对话系统获取待检测样本对应的回复预设模板，将回复预设模板发送至用户终端，接收用户的回答信息，并基于回答信息提取用户的真实意图；

31、异常判断模块，用于将用户的真实意图与相应待检测样本对应的识别意图进行比较，根据比较结果判断意图识别模型是否异常。

32、本发明实施例包括以下优点：

33、本发明实施例提供的用于对话系统的异常检测方法及装置，基于对话系统中意图识别模型对输入的主叫文本预测其对应不同用户意图的概率值，并将满足概率值阈值条件时对应的主叫文本作为待检测样本，获取待检测样本对应的待选意图，并基于待选意图获取待检测样本对应的回复预设模板，将回复预设模板发送至用户终端，接收用户的回答信息，并基于回答信息提取用户的真实意图，即可检测模型训练/回复是否存在异常情况，解决人机对话过程中，机器人回复话术不相关，导致用户体验差的情况，相比与基于关键词、人工召回标注、机器训练等方式，准确率更高，且无需收集待检测样本单独训练模型，对于原意图识别模型有修正效果。

技术特征：

1.一种用于对话系统的异常检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，多个意图分支包括：配送快递、寄快递、上门取件、修改快递地址以及上门取件。

3.根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，所述概率值阈值包括第一概率值阈值和第二概率值阈值，所述第二概率值阈值大于所述第一概率值阈值。

4.根据权利要求3所述的用于对话系统的异常检测方法，其特征在于，将满足概率值阈值条件时对应的主叫文本作为待检测样本包括：将大于第一概率值阈值且小于第二概率值阈值的概率值对应的主叫文本作为待检测样本。

5.根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，获取待检测样本对应的待选意图包括：

6.根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，基于回答信息提取用户的真实意图包括：

7.根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，将用户的真实意图与相应待检测样本对应的识别意图进行比较，根据比较结果判断意图识别模型是否异常包括：

8.根据权利要求7所述的用于对话系统的异常检测方法，其特征在于，所述比例阈值为80%。

9.一种用于对话系统的异常检测装置，采用如权利要求1-8任一项所述的用于对话系统的异常检测方法进行对话系统的异常检测，其特征在于，所述装置包括：

10.根据权利要求9所述的用于对话系统的异常检测装置，其特征在于，还包括：

技术总结
本发明涉及一种用于对话系统的异常检测方法及装置，属于对话系统评测技术领域，该方法包括：对输入的主叫文本预测其对应不同用户意图的概率值，并将满足概率值阈值条件时对应的主叫文本作为待检测样本，获取其对应的识别意图和待选意图，并基于待选意图获取待检测样本对应的回复预设模板，将回复预设模板发送至用户终端，接收用户的回答信息，并基于回答信息提取用户的真实意图，将用户的真实意图与相应待检测样本对应的识别意图进行比较，根据比较结果判断意图识别模型是否异常。本发明提供的方法及装置，可检测模型训练/回复是否存在异常情况，解决了人机对话过程中，机器人回复话术不相关，导致用户体验差的情况。

技术研发人员：韩哲,储兵兵,徐振敬
受保护的技术使用者：联通在线信息科技有限公司
技术研发日：
技术公布日：2024/1/16