专家咨询智能系统及方法与流程

本发明涉及专家咨询，具体地，涉及一种专家咨询智能系统及方法。

背景技术：

1、专家咨询服务在业务实施中，留存大量非结构化的文本信息，这些信息中包括较为明确的行业、主题、专家等维度情报，抽取这些信息将极大提高服务效率，驱动业务变革，并通过信息分析提供更多业务场景。

2、专家咨询业务人员在对客户提出的需求进行理解分析后，寻找匹配的专家进行咨询服务，整个过程人工完成。一方面，由于业务人员专业能力差异较大，对客户需求理解存在专业上的差异，例如专业术语、产业链关系、行业内公司等。另一方面，业务人员人工理解和解析的过程效率较低，无法快速达成客户需求。因此，如何通过技术手段实现效率及专业能力的提升是该系统的目标任务。

3、专利文献cn103488859a(申请号：cn201210197452.4)公开了一种智能专家咨询系统，所述智能专家咨询系统包括：信息收集装置，用于输入用户咨询的问题；信息处理装置，其与所述信息收集装置连接且包括知识库，用于基于所述知识库的内容对输入的用户咨询问题提供咨询意见；信息展现装置，其与所述信息处理装置连接，且用于输出所述咨询意见。然而该专利无法解决目前存在的技术问题，也无法满足本发明的需求。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种专家咨询智能系统及方法。

2、根据本发明提供的专家咨询智能系统，包括：

3、数据处理模块：录入客户提出的咨询需求信息，并进行数据规范处理，得到预学习数据；

4、模型预学习模块：根据业务需求，基于预学习数据提取实体，包括行业、公司、区域、岗位和关键词，并进行人工标注处理，采用中文预训练模型，使用深度学习框架对标注好的数据集进行学习和模型测试，生成五类实体识别模型；

5、模型输出模块：以客户咨询需求文本为输入，通过实体识别模型计算后，输出标准的五个实体标签，如果一个实体标签存在多个信息，则通过分隔符进行区分；

6、模型迭代模块：定期清洗模型数据，并在模型学习平台学习，持续优化模型学习能力。

7、优选的，所述人工标注处理包括：

8、根据定义的实体和标准，对预学习数据进行人工标注处理，标识出定义的实体标签；

9、通过打标工具进行数据标记处理，包括：可配置的实体标签，通过颜色对应匹配；智能化的学习数据导入，为后期二次学习修正提供便捷；可视化操作，阅读文本时选择词语进行标识；搜索功能，对预学习数据进行分类查询。

10、优选的，模型学习和测试过程为：

11、准备训练样本：所有数据集都是json格式，准备训练集train.json、验证集dev.json、测试集test.json；

12、准备预训练模型：roberta-wwm-ext-large模型；

13、训练：在python虚拟环境中使用tensorlfow-gpu进行训练；

14、测试：使用test.json进行预测，生成预测结果。

15、优选的，模型优化包括：

16、对于行业，采用申万行业标准，通过关键词匹配及人工修正的方式进行二次处理；

17、对于公司，通过上市公司全称、简称、别名数据，以及使用工商信息数据库的公司名称，对公司标签进行统一处理；

18、对于岗位，使用人才网站的岗位标准字典进行二次清洗。

19、优选的，定期对客户提出的咨询需求信息再次进行校验，审视模型输出结果和实际业务中的误差，从而进行再次模型的预学习；一方面，准备新的预学习数据，提供模型掌握新业务的数据，从而提升模型输出的准确率；另一方面，对五个实体进行微调，包括新的行业、公司英文简称和增加新的标签类型，从而满足业务的发展。

20、根据本发明提供的专家咨询方法，包括：

21、数据处理步骤：录入客户提出的咨询需求信息，并进行数据规范处理，得到预学习数据；

22、模型预学习步骤：根据业务需求，基于预学习数据提取实体，包括行业、公司、区域、岗位和关键词，并进行人工标注处理，采用中文预训练模型，使用深度学习框架对标注好的数据集进行学习和模型测试，生成五类实体识别模型；

23、模型输出步骤：以客户咨询需求文本为输入，通过实体识别模型计算后，输出标准的五个实体标签，如果一个实体标签存在多个信息，则通过分隔符进行区分；

24、模型迭代步骤：定期清洗模型数据，并在模型学习平台学习，持续优化模型学习能力。

25、优选的，所述人工标注处理包括：

26、根据定义的实体和标准，对预学习数据进行人工标注处理，标识出定义的实体标签；

27、通过打标工具进行数据标记处理，包括：可配置的实体标签，通过颜色对应匹配；智能化的学习数据导入，为后期二次学习修正提供便捷；可视化操作，阅读文本时选择词语进行标识；搜索功能，对预学习数据进行分类查询。

28、优选的，模型学习和测试过程为：

29、准备训练样本：所有数据集都是json格式，准备训练集train.json、验证集dev.json、测试集test.json；

30、准备预训练模型：roberta-wwm-ext-large模型；

31、训练：在python虚拟环境中使用tensorlfow-gpu进行训练；

32、测试：使用test.json进行预测，生成预测结果。

33、优选的，模型优化包括：

34、对于行业，采用申万行业标准，通过关键词匹配及人工修正的方式进行二次处理；

35、对于公司，通过上市公司全称、简称、别名数据，以及使用工商信息数据库的公司名称，对公司标签进行统一处理；

36、对于岗位，使用人才网站的岗位标准字典进行二次清洗。

37、优选的，定期对客户提出的咨询需求信息再次进行校验，审视模型输出结果和实际业务中的误差，从而进行再次模型的预学习；一方面，准备新的预学习数据，提供模型掌握新业务的数据，从而提升模型输出的准确率；另一方面，对五个实体进行微调，包括新的行业、公司英文简称和增加新的标签类型，从而满足业务的发展。

38、与现有技术相比，本发明具有如下的有益效果：

39、(1)本发明通过神经网络学习行业应用实例，充分发挥了非结构化数据抽取定向有价值信息的作用，大大提升了业务效率，并对业务发展起到了数据支持；

40、(2)本发明对行业数据进行了标准处理，并对bert模型进行二次优化，使得模型在行业运用中更为准确和实效；

41、(3)本发明独立开发了数据处理的工具，大大提升数据预处理的效率。

技术特征：

1.一种专家咨询智能系统，其特征在于，包括：

2.根据权利要求1所述的专家咨询智能系统，其特征在于，所述人工标注处理包括：

3.根据权利要求1所述的专家咨询智能系统，其特征在于，模型学习和测试过程为：

4.根据权利要求1所述的专家咨询智能系统，其特征在于，模型优化包括：

5.根据权利要求1所述的专家咨询智能系统，其特征在于，定期对客户提出的咨询需求信息再次进行校验，审视模型输出结果和实际业务中的误差，从而进行再次模型的预学习；一方面，准备新的预学习数据，提供模型掌握新业务的数据，从而提升模型输出的准确率；另一方面，对五个实体进行微调，包括新的行业、公司英文简称和增加新的标签类型，从而满足业务的发展。

6.一种专家咨询方法，其特征在于，包括：

7.根据权利要求6所述的专家咨询方法，其特征在于，所述人工标注处理包括：

8.根据权利要求6所述的专家咨询方法，其特征在于，模型学习和测试过程为：

9.根据权利要求6所述的专家咨询方法，其特征在于，模型优化包括：

10.根据权利要求6所述的专家咨询方法，其特征在于，定期对客户提出的咨询需求信息再次进行校验，审视模型输出结果和实际业务中的误差，从而进行再次模型的预学习；一方面，准备新的预学习数据，提供模型掌握新业务的数据，从而提升模型输出的准确率；另一方面，对五个实体进行微调，包括新的行业、公司英文简称和增加新的标签类型，从而满足业务的发展。

技术总结
本发明提供了一种专家咨询智能系统及方法，包括：录入客户提出的咨询需求信息，并进行数据规范处理，得到预学习数据；根据业务需求，基于预学习数据提取实体，包括行业、公司、区域、岗位和关键词，并进行人工标注处理，采用中文预训练模型，使用深度学习框架对标注好的数据集进行学习和模型测试，生成五类实体识别模型；以客户咨询需求文本为输入，通过实体识别模型计算后，输出标准的五个实体标签，如果一个实体标签存在多个信息，则通过分隔符进行区分；定期清洗模型数据，并在模型学习平台学习，持续优化模型学习能力。本发明通过神经网络学习行业应用实例，充分发挥了非结构化数据抽取定向有价值信息的作用，大大提升了业务效率。

技术研发人员：杨名,王高祥
受保护的技术使用者：上海帕米尔信息科技有限公司
技术研发日：
技术公布日：2024/2/29