基于技能感知和利用的常识问答方法、系统、设备与介质

本发明涉及人工智能，尤其涉及一种基于技能感知和利用的常识问答方法、系统、设备与介质。

背景技术：

1、常识问答(commonsense question answering，cqa)作为一个常见的自然语言理解任务，一直受到广泛关注与研究。其旨在让模型正确回答需要各种常识知识和技能的问题。闭卷情况下的常识问答(closed-book cqa)是其中的子任务，它要求模型在没有检索的外部知识情况回答常识问题，从而评价一个模型自身理解和解决常识问题的能力。

2、由于闭卷情况下的常识问答不能检索外部知识，因此现有的方法主要利用在众多包含常识知识的语料训练得到的大规模预训练模型(如gpt-3)来帮助解决任务。一类常见的方法是向大规模预训练模型输入合理的提示词，从而直接让大规模预训练模型回答常识问题。例如有学者提出设计一系列解释性的提示词来模仿解题过程，帮助模型回答问题。另一种常见的方法是将大规模预训练模型与较小规模的预训练模型结合，即让大规模预训练模型生成与当前问题相关的背景知识，之后将生成的知识作为额外的输入，与问题一起传入较小规模的预训练模型(如t5-large)进行微调学习。这种做法避开了大规模预训练模型难以微调的问题，成功利用了大规模预训练模型丰富的常识知识。

3、尽管这些方法在闭卷情况下的常识问答领域取得了不错的效果，但这些方法过于依赖大规模预训练模型，没有利用解题过程中所需的技能信息，因此，答题结果的准确性还有待于提升。

4、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供一种基于技能感知和利用的常识问答方法、系统、设备与介质，有助于常识问答模型感知和应用技能，可以提升答题结果的准确性。

2、本发明的目的是通过以下技术方案实现的：

3、一种基于技能感知和利用的常识问答方法，包括：

4、利用常识问答数据集中的问题文本，抽取出各类技能的表征；

5、对于当前常识问题，通过上下文编码器提取出问题表征，并与各技能的表征通过注意力机制，得到当前常识问题的动态技能表征；

6、将各类技能的表征以及当前常识问题的动态技能表征应用于当前常识问题回答过程中，获得答题结果。

7、一种基于技能感知和利用的常识问答系统，包括：

8、常识技能抽取模块，用于利用常识问答数据集中的问题文本，抽取出各类技能的表征；

9、动态技能模块，用于对于当前常识问题，通过上下文编码器提取出问题表征，并与每一技能的表征通过注意力机制，得到当前常识问题的动态技能表征；

10、感知和强调模块，用于将各类技能的表征以及当前常识问题的动态技能表征应用于当前常识问题回答过程中，获得答题结果。

11、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

12、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

13、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

14、由上述本发明提供的技术方案可以看出，技能作为一种通过学习得到的应答模式，能够为模型在解题过程中提供方向上的指导，帮助模型关注到问题对应的重点和注意事项，因此它在回答常识问题的过程中十分关键，本发明将其应用于当前常识问题回答过程中并指导模型关注技能对应的问题中的重点词，从而增强了模型的逻辑性并提升了答题性能，因此本发明具有实际的应用价值，对常识问答应用的发展具有重要意义。

技术特征：

1.一种基于技能感知和利用的常识问答方法，其特征在于，包括：

2.根据权利要求1所述的一种基于技能感知和利用的常识问答方法，其特征在于，所述利用常识问答数据集中的问题文本，抽取出各类技能的表征包括：

3.根据权利要求1所述的一种基于技能感知和利用的常识问答方法，其特征在于，所述通过对候选问题进行编码与聚合获得对应技能的表征包括：

4.根据权利要求1所述的一种基于技能感知和利用的常识问答方法，其特征在于，所述对于当前常识问题，通过上下文编码器提取出问题表征，并与各技能的表征通过注意力机制，得到当前常识问题的动态技能表征包括：

5.根据权利要求1所述的一种基于技能感知和利用的常识问答方法，其特征在于，所述将各类技能的表征以及当前常识问题的动态技能表征应用于当前常识问题回答过程中，获得答题结果包括：

6.根据权利要求5所述的一种基于技能感知和利用的常识问答方法，其特征在于，

7.根据权利要求5所述的一种基于技能感知和利用的常识问答方法，其特征在于，所述利用各类技能的表征结合注意力机制为各编码后的词表征词赋予权重包括：

8.一种基于技能感知和利用的常识问答系统，其特征在于，包括：

9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～7任一项所述的方法。

技术总结
本发明公开了一种基于技能感知和利用的常识问答方法、系统、设备与介质，相关方法包括：利用常识问答数据集中的问题文本，抽取出各类技能的表征；对于当前常识问题，通过上下文编码器提取出问题表征，并与各技能的表征通过注意力机制，得到当前常识问题的动态技能表征；将各类技能的表征以及当前常识问题的动态技能表征应用于当前常识问题回答过程中，获得答题结果。本发明提上述方案，将技能应用于当前常识问题回答过程中并指导模型关注技能对应的问题中的重点词，从而增强了模型的逻辑性并提升了答题性能，因此本发明具有实际的应用价值，对常识问答应用的发展具有重要意义。

技术研发人员：刘淇,陈恩红,包美凯,张凯,刘烨,岳立楠
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/1/25