基于推理路径的自然语言推理方法、装置及设备与流程

本申请涉及互联网技术和语言模型领域，特别是涉及一种基于推理路径的自然语言推理方法、装置及设备。

背景技术：

1、随着科技水平的不断提高，人们常常使用应用程序来解决一些生活上的问题，如采用手机语音助手设置日程提醒、采用医疗服务类应用程序查询病情等。这些应用场景都需要用到语言模型进行语义推理。

2、相关技术中，在语义的自然语言推理方面采用e-snli模型、在常识推理方面采用star模型、在解决算术推理采用“训练验证器”方案等。进一步地，在模型的预训练阶段，通过对样本添加提示来指引模型的输出方向。

3、在实现本申请的过程中，申请人发现相关技术至少存在以下问题：

4、不同的推理场景需要采用不同的语言模型，使得每一种语言模型的利用率较低，并且在遇到多步推理的情况时，预训练阶段添加的提示无法指导模型学习到有效内容，导致模型推理效果差、准确率低。

技术实现思路

1、有鉴于此，本申请提供了一种基于推理路径的自然语言推理方法、装置、计算机设备及计算机可读存储介质，主要目的在于解决目前不同的推理场景需要采用不同的语言模型，使得每一种语言模型的利用率较低，并且在遇到多步推理的情况时，预训练阶段添加的提示无法指导模型学习到有效内容，导致模型推理效果差、准确率低的问题。

2、依据本申请第一方面，提供了一种基于推理路径的自然语言推理方法，该方法包括：

3、在目标任务对应的模型训练集中，提取预设数目的目标样本；

4、对所述目标样本进行推理路径标注，将标注完成的目标样本添加至所述模型训练集；

5、采用所述模型训练集中的样本数据，对第一语言模型进行模型训练，得到第二语言模型，所述第一语言模型为基础语言模型；

6、获取目标任务数据，将所述目标任务数据输入至所述第二语言模型进行语言识别，得到所述第二语言模型输出的推理结果。

7、依据本申请第二方面，提供了一种基于推理路径的自然语言推理装置，该装置包括：

8、提取模块，用于在目标任务对应的模型训练集中，提取预设数目的目标样本；

9、传递模块，用于对所述目标样本进行推理路径标注，将标注完成的目标样本添加至所述模型训练集；

10、训练模块，用于采用所述模型训练集中的样本数据，对第一语言模型进行模型训练，得到第二语言模型，所述第一语言模型为基础语言模型；

11、获取模块，用于获取目标任务数据，将所述目标任务数据输入至所述第二语言模型进行语言识别，得到所述第二语言模型输出的推理结果。

12、依据本申请第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述方法的步骤。

13、依据本申请第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。

14、借由上述技术方案，本申请提供的一种基于推理路径的自然语言推理方法、装置、计算机设备及计算机可读存储介质，本申请首先在目标任务对应的模型训练集中，提取预设数目的目标样本。随后，对目标样本进行推理路径标注，将标注完成的目标样本添加至模型训练集。接下来，采用模型训练集中的样本数据，对第一语言模型进行模型训练，得到第二语言模型，第一语言模型为基础语言模型。最后，获取目标任务数据，将目标任务数据输入至第二语言模型进行语言识别，得到第二语言模型输出的推理结果。通过对模型训练集中的部分目标样本添加用于模拟人类的思考逻辑过程的推理路径标注，以使模型能够在新的问题上模仿整个推理计算过程，得到正确的答案，从而提高了模型推理的效果和准确率。

15、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种基于推理路径的自然语言推理方法，其特征在于，包括：

2.根据权利要求1所述的方法，所述在目标任务对应的模型训练集中，提取预设数目的目标样本之前，所述方法还包括：在多个数据源中采集文本数据，依据所述文本数据，构建所述第一语言模型，并将所述第一语言模型应用于所述目标任务。

3.根据权利要求2所述的方法，其特征在于，所述依据所述文本数据，构建所述第一语言模型，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述目标样本进行推理路径标注，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定所述目标样本的推理路径，包括：

6.根据权利要求1所述的方法，其特征在于，所述采用所述模型训练集中的样本数据，对第一语言模型进行模型训练，得到第二语言模型之后，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述依据所述多个比对结果，计算所述第二语言模型的预测准确率，包括：

8.一种基于推理路径的自然语言推理装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请公开了一种基于推理路径的自然语言推理方法、装置及设备，涉及互联网技术和语言模型领域，通过对模型训练集中的部分目标样本添加用于模拟人类的思考逻辑过程的推理路径标注，以使模型能够在新的问题上模仿整个推理计算过程，得到正确的答案，从而提高了模型推理的效果和准确率。所述方法包括：在目标任务对应的模型训练集中，提取预设数目的目标样本；对目标样本进行推理路径标注，将标注完成的目标样本添加至模型训练集；采用模型训练集中的样本数据，对第一语言模型进行模型训练，得到第二语言模型，第一语言模型为基础语言模型；获取目标任务数据，将目标任务数据输入至第二语言模型进行语言识别，得到第二语言模型输出的推理结果。

技术研发人员：姜鹏,谯轶轩
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/14