一种多语种的AI客服自动语音交互方法和系统与流程

本发明涉及人工智能，尤其涉及一种多语种的ai客服自动语音交互方法和系统。

背景技术：

1、随着人工智能的快速发展，ai客服逐渐渗入人们的生活，为减少人工客服的压力，通常采用ai客服对用户问题进行先一步了解与解决。

2、但随着国际交流的发展，越来越多的公司走向国际化，其经营业务的对象不仅限于一个国家，客户的语言复杂性不断提高，导致ai客服与客户之间的沟通经常存在语种交流障碍，降低了ai客服的使用效率。现有的解决方法往往是面对不同国家客户时，切换到相应语种的客服对客户提供服务，但该方法极大的提高了人力成本。

技术实现思路

1、针对现有技术的不足，本发明提供一种多语种的ai客服自动语音交互方法和系统，用于解决上述问题。

2、一种多语种的ai客服自动语音交互方法，包括：获取用户语音信息，通过语种识别系统确定语种信息；根据语种信息和用户语音信息确定语音文本；对语音文本进行关键字提取，得到关键字信息；基于数据中心，对关键字信息进行检索，确定匹配的回应文本；根据回应文本和语种信息生成ai语音信息与用户进行交互。

3、作为本发明的一种实施例，根据语种信息和用户语音信息确定语音文本，包括：根据语种信息确定数据中心内相应语种的全部方言识别系统；分析用户语音信息中的方言特征选取对应方言识别系统；根据对应方言识别系统对用户语音信息进行识别，确定语音文本。

4、作为本发明的一种实施例，对语音文本进行关键字提取，得到关键字信息，包括：获取初始关键字表，基于对应方言识别系统，对初始关键字表进行调整，得到方言关键字表；基于方言关键字表，对语音文本进行关键字提取，得到关键字信息。

5、作为本发明的一种实施例，基于数据中心，对关键字信息进行检索，确定匹配的回应文本，包括：确定关键字信息对应的语种信息和方言识别信息；根据语种信息和方言识别信息对数据中心进行分类，得到符合当前语种信息和方言识别信息的匹配文本池；其中，匹配文本池中的若干回应文本符合当前语种信息和方言识别信息的语言回应逻辑；基于匹配文本池，对关键字信息进行检索，确定匹配的回应文本。

6、作为本发明的一种实施例，一种多语种的ai客服自动语音交互方法还包括：获取用户在与ai交互模块进行交互时的交互语音信息；基于交互语音信息，获取交互语音信息中ai交互模块在完成一次单向交互后用户的反馈语音，根据反馈语音生成反馈文本和反馈语音情感识别结果；计算得到反馈文本和对应ai交互模块在完成一次单向交互时回应文本的文本关联度；获取预设数据库中用户面对对应ai交互模块在完成一次单向交互时，用户的正常反馈语音情感种类范围；判断反馈语音情感识别结果是否符合正常反馈语音情感种类范围，生成情感判断结果；其中，若情感判断结果为不符合，则判定交互逻辑存在漏洞，或，若情感判断结果为符合，文本关联度低于预设文本关联度，则判定交互逻辑存在漏洞；否则判定交互逻辑不存在漏洞；当交互逻辑存在漏洞时，若情感判断结果为不符合，则基于用户当前反馈语音情感识别结果，获取预设安抚数据库中对应的情感安抚文本对用户进行安抚调节；若情感判断结果为符合，文本关联度低于预设文本关联度，则基于预设业务文本匹配池，匹配符合当前用户反馈文本的业务安抚文本对用户进行安抚调节；同时，反馈交互逻辑漏洞判断结果、反馈文本和反馈语音情感识别结果至客服后端。

7、一种多语种的ai客服自动语音交互系统，包括：语种确定模块，用于获取用户语音信息，通过语种识别系统确定语种信息；文本确定模块，用于根据语种信息和用户语音信息确定语音文本；关键字提取模块，用于对语音文本进行关键字提取，得到关键字信息；回应文本匹配模块，用于基于数据中心，对关键字信息进行检索，确定匹配的回应文本；ai交互模块，用于根据回应文本和语种信息生成ai语音信息与用户进行交互。

8、作为本发明的一种实施例，文本确定模块执行包括如下操作：根据语种信息确定数据中心内相应语种的全部方言识别系统；分析用户语音信息中的方言特征选取对应方言识别系统；根据对应方言识别系统对用户语音信息进行识别，确定语音文本。

9、作为本发明的一种实施例，关键字提取模块执行包括如下操作：获取初始关键字表，基于对应方言识别系统，对初始关键字表进行调整，得到方言关键字表；基于方言关键字表，对语音文本进行关键字提取，得到关键字信息。

10、作为本发明的一种实施例，一种基于深度学习的食管癌检测系统还包括：在模型训练期间，拒绝被标记为部分质量较差样本标记的区域加入深度学习训练。

11、作为本发明的一种实施例，回应文本匹配模块执行包括如下操作：确定关键字信息对应的语种信息和方言识别信息；根据语种信息和方言识别信息对数据中心进行分类，得到符合当前语种信息和方言识别信息的匹配文本池；其中，匹配文本池中的若干回应文本符合当前语种信息和方言识别信息的语言回应逻辑；基于匹配文本池，对关键字信息进行检索，确定匹配的回应文本。

12、作为本发明的一种实施例，一种多语种的ai客服自动语音交互系统还包括用户情绪安抚模块，用于获取ai交互模块与用户交互时的交互语音信息，并根据交互语音信息判断交互逻辑是否存在漏洞，基于判断结果对交互内容进行安抚调节，同时生成反馈信息至客服后端；其中，用户情绪安抚模块包括：语音侦查单元，用于获取用户在与ai交互模块进行交互时的交互语音信息；交互逻辑漏洞判断单元，用于获取交互语音信息中ai交互模块在完成一次单向交互后用户的反馈语音，根据反馈语音生成反馈文本和反馈语音情感识别结果；计算得到反馈文本和对应ai交互模块在完成一次单向交互时回应文本的文本关联度；获取预设数据库中用户面对对应ai交互模块在完成一次单向交互时，用户的正常反馈语音情感种类范围；判断反馈语音情感识别结果是否符合正常反馈语音情感种类范围，生成情感判断结果；若情感判断结果为不符合，则判定交互逻辑存在漏洞，或，若情感判断结果为符合，文本关联度低于预设文本关联度，则判定交互逻辑存在漏洞；否则判定交互逻辑不存在漏洞；安抚单元，用于当交互逻辑存在漏洞时，若情感判断结果为不符合，则基于用户当前反馈语音情感识别结果，获取预设安抚数据库中对应的情感安抚文本通过ai交互模块对用户进行安抚调节；若情感判断结果为符合，文本关联度低于预设文本关联度，则基于预设业务文本匹配池，匹配符合当前用户反馈文本的业务安抚文本通过ai交互模块对用户进行安抚调节；反馈单元，用于当安抚单元对用户进行安抚时，反馈交互逻辑漏洞判断结果、反馈文本和反馈语音情感识别结果至客服后端。

13、本发明的有益效果为：

14、1、减少了人工接听电话，降低了成本；

15、2、满足各语种用户与ai机器人流畅对话，减少沟通障碍。

16、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

17、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。