一种面向指定目标的步骤序列推理方法及系统

本发明涉及步骤推理，尤其涉及一种面向指定目标的步骤序列推理方法及系统。

背景技术：

1、随着自然语言处理技术的不断发展，它的焦点已从理解文本内容转向了深入的事件理解。因此，事件研究成为了nlp领域的热门任务之一。在事件关系的研究中，有一类特殊的事件被称为程序性事件。程序性事件涉及一系列合理有序的动作或步骤，旨在实现某一个或者某些共同的逻辑目标，例如，“逛街买衣服”通常包括“挑选”、“试穿”和“结账”等。最近在程序性事件的抽象结构、表示方法、推理研究、下游任务及现实应用场景方面都取得了进展。

2、程序性事件的核心是目标和步骤，例如应用在特定的下游任务：一个ai助手帮助用户完成各种任务，需要从候选步骤集中检索出与特定目标匹配的步骤进行排序，其中理解程序事件之间的目标-步骤关系和步骤-步骤时间关系对推理特定目标和步骤十分重要。在步骤时序关系研究中，通常只关注于哪个步骤或动作优先发生。然而，在程序性事件中，推理其步骤之间的时序关系通常是以目标为条件，即两个步骤的先后时间顺序取决于要实现的特定目标，例如，“去教室”和“买餐食”一般没有习惯性的顺序，但是若以“在教室举行聚餐”为目标，很明显，“买餐食”应该先发生。因此，程序性事件在其检索、推理和下游应用方面需要特定的方法论。目前，通过预先训练好的语言模型——mt5，经过微调，从头开始生成步骤，但是通过这种方法生成的步骤会出现步骤与目标不相关以及各步骤间不合逻辑的问题。

技术实现思路

1、本发明通过提供一种面向指定目标的步骤序列推理方法及系统，解决了现有技术中步骤与目标不相关以及各步骤间不合逻辑的技术问题，实现了对与目标有关的步骤的准确识别以及对各步骤正确排序的技术效果。

2、本发明提供了一种面向指定目标的步骤序列推理方法，包括：

3、获取<目标，步骤>句子对数据集，所述句子对表示为xi＝{(g，s)}∈x，其中s是目标g对应的候选步骤集，x是所有目标与候选步骤的句子对集合；

4、将所述句子对xi进行分词处理，得到处理后的句子对{xj＝(t1，t2，......，tn)}，其中ti是句子对中每个分词对应的位置，i∈[1，n]；将所述处理后的句子对xj转换为标记序列，对所述处理后的句子对xj中的动词进行词性标注，得到带有特殊标记的向量序列编码；

5、对所述带有特殊标记的向量序列编码进行词特征嵌入和位置嵌入，得到所述<目标，步骤>句子对xi的最终嵌入表示

6、对所述句子对xi中每个词向量求和取平均作为所述句子对xi的特征嵌入表示

7、获取<步骤sm，步骤sn>步骤对数据集，将所述每一步骤对数据集与指定目标g配对，进行词特征嵌入和位置嵌入，得到步骤排序嵌入表示

8、对所述<步骤sm，步骤sn>步骤对中的步骤sm和步骤sn中的动词的嵌入分别取平均值分别作为所述步骤sm和步骤sn的词向量，得到所述<步骤sm，步骤sn>步骤对的特征嵌入表示

9、根据所述带有词特征嵌入和位置嵌入的定义目标-步骤对的查询键值其中dqx、dkx和dvx分别是qx、kx和vx的维度；通过生成目标字的注意力attentionx值，得到一个含有目标-步骤上下文信息的编码表示，更新所述句子对xi的特征嵌入表示得到更新后的特征嵌入表示

10、根据所述带有词特征嵌入和位置嵌入的定义候选步骤对的查询键值其中dqy、dky和dvy分别是qy、ky和vy的维度；通过生成目标字的注意力attentiony值，得到一个含有目标-候选步骤对的上下文信息的编码表示，更新所述句子对xi的特征嵌入表示得到更新后的特征嵌入表示

11、将所述更新后的特征嵌入表示和所述更新后的特征嵌入表示通过前馈神经网络进行线性变换和激活函数gelu(x)＝xp(x≤x)得到目标和步骤中每个token隐藏层状态

12、通过计算所述更新后的特征嵌入表示的置信度分数其中，gi∈g是指定的目标，sj∈s是候选步骤，f(gi，sj)是通过深度神经网络层将所述指定目标gi和所述候选步骤sj进行非线性变换，exp(f(gi，sj))是以自然常数e为底，将f(gi，sj)的结果进行指数化；

13、对所有所述得分进行降序排序，选取得分最高的前k个候选步骤为关联步骤；

14、基于所述隐藏层状态和更新后的特征嵌入表示通过分别计算步骤sm和步骤sn与目标g的预测分数其中，是计算与当前目标g的候选步骤i(i＝m，n)，是通过深度神经网络层将进行非线性变换，是以自然常数e为底，将的结果进行指数化；

15、通过对比所述步骤sm和所述步骤sn的预测分数大小，将得分较高的步骤赋值为1，并作为当前步骤对的优胜者，以此类推，分别计算候选步骤集中每个步骤的赋值大于其他步骤的赋值的总次数；

16、根据所述候选步骤集中每个步骤的赋值大于其他步骤的赋值的总次数对所有步骤进行降序排序，总次数最多的步骤为第一发生步骤，总次数最少的步骤为最后发生步骤。

17、具体来说，所述对所述<步骤sm，步骤sn>步骤对中的步骤sm和步骤sn中的动词的嵌入分别取平均值分别作为所述步骤sm和步骤sn的词向量，得到所述<步骤sm，步骤sn>步骤对的特征嵌入表示包括：

18、对所述<步骤sm，步骤sn>步骤对中的步骤sm和步骤sn中的动词的嵌入分别取平均值分别作为所述步骤sm和步骤sn的词向量，将所述步骤sm和步骤sn的词向量相加，得到所述<步骤sm，步骤sn>步骤对的特征嵌入表示

19、具体来说，所述将所述更新后的特征嵌入表示和所述更新后的特征嵌入表示通过前馈神经网络进行线性变换和激活函数gelu(x)＝xp(x≤x)得到目标和步骤中每个token隐藏层状态包括：

20、对所述查询键值和所述候选步骤对的查询键值都使用多头自注意力机制，将多组注意力加权和表示结果拼接起来，最终得到目标-步骤对的上下文编码表示和目标-候选步骤对的上下文编码表示其中，是目标-步骤对中每个位置的特征向量进行自注意力计算后得到的新的特征向量，zg是目标-步骤对中目标的全局上下文表示，zs是目标-步骤对中步骤的全局上下文表示，是目标-候选步骤对中每个位置的特征向量进行自注意力计算后得到的新的特征向量，和分别是目标-候选步骤对中步骤sm和步骤sn的全局上下文表示，z[sep]用于分隔输入序列中的不同部分；

21、将所述目标-步骤对的上下文编码表示和目标-候选步骤对的上下文编码表示通过前馈神经网络进行线性变换和激活函数gelu(x)＝xp(x≤x)得到所述目标和步骤中每个token隐藏层状态

22、本发明还提供了一种面向指定目标的步骤序列推理系统，包括：

23、句子对数据集获取模块，用于获取<目标，步骤>句子对数据集，所述句子对表示为xi＝{(g，s)}∈x，其中s是目标g对应的候选步骤集，x是所有目标与候选步骤的句子对集合；

24、标记模块，用于将所述句子对xi进行分词处理，得到处理后的句子对{xj＝(t1，t2，......，tn)}，其中ti是句子对中每个分词对应的位置，i∈[1，n]；将所述处理后的句子对xj转换为标记序列，对所述处理后的句子对xj中的动词进行词性标注，得到带有特殊标记的向量序列编码；

25、嵌入模块，用于对所述带有特殊标记的向量序列编码进行词特征嵌入和位置嵌入，得到所述<目标，步骤>句子对xi的最终嵌入表示

26、第一运算模块，用于对所述句子对xi中每个词向量求和取平均作为所述句子对xi的特征嵌入表示

27、步骤对数据集获取模块，用于获取<步骤sm，步骤sn>步骤对数据集，将所述每一步骤对数据集与指定目标g配对，进行词特征嵌入和位置嵌入，得到步骤排序嵌入表示

28、第二运算模块，用于对所述<步骤sm，步骤sn>步骤对中的步骤sm和步骤sn中的动词的嵌入分别取平均值分别作为所述步骤sm和步骤sn的词向量，得到所述<步骤sm，步骤sn>步骤对的特征嵌入表示

29、第一特征嵌入更新模块，用于根据所述带有词特征嵌入和位置嵌入的定义目标-步骤对的查询键值其中dqx、dkx和dvx分别是qx、kx和vx的维度；通过生成目标字的注意力attentionx值，得到一个含有目标-步骤上下文信息的编码表示，更新所述句子对xi的特征嵌入表示得到更新后的特征嵌入表示

30、第二特征嵌入更新模块，用于根据所述带有词特征嵌入和位置嵌入的定义候选步骤对的查询键值其中dqy、dky和dvy分别是qy、ky和vy的维度；通过生成目标字的注意力attentiony值，得到一个含有目标-候选步骤对的上下文信息的编码表示，更新所述句子对xi的特征嵌入表示得到更新后的特征嵌入表示

31、隐藏层状态输出模块，用于将所述更新后的特征嵌入表示和所述更新后的特征嵌入表示通过前馈神经网络进行线性变换和激活函数gelu(x)＝xp(x≤x)得到目标和步骤中每个token隐藏层状态

32、置信度分数计算模块，用于通过计算所述更新后的特征嵌入表示的置信度分数其中，gi∈g是指定的目标，sj∈s是候选步骤，f(gi，sj)是通过深度神经网络层将所述指定目标gi和所述候选步骤sj进行非线性变换，exp(f(gi，sj))是以自然常数e为底，将f(gi，sj)的结果进行指数化；

33、关联步骤选取模块，用于对所有所述得分进行降序排序，选取得分最高的前k个候选步骤为关联步骤；

34、预测分数计算模块，用于基于所述隐藏层状态和更新后的特征嵌入表示通过分别计算步骤sm和步骤sn与目标g的预测分数其中，是计算与当前目标g的候选步骤i(i＝m，n)，是通过深度神经网络层将进行非线性变换，是以自然常数e为底，将的结果进行指数化；

35、预测分数比较模块，用于通过对比所述步骤sm和所述步骤sn的预测分数大小，将得分较高的步骤赋值为1，并作为当前步骤对的优胜者，以此类推，分别计算候选步骤集中每个步骤的赋值大于其他步骤的赋值的总次数；

36、步骤排序模块，用于根据所述候选步骤集中每个步骤的赋值大于其他步骤的赋值的总次数对所有步骤进行降序排序，总次数最多的步骤为第一发生步骤，总次数最少的步骤为最后发生步骤。

37、具体来说，所述第二运算模块，具体用于对所述<步骤sm，步骤sn>步骤对中的步骤sm和步骤sn中的动词的嵌入分别取平均值分别作为所述步骤sm和步骤sn的词向量，将所述步骤sm和步骤sn的词向量相加，得到所述<步骤sm，步骤sn>步骤对的特征嵌入表示

38、具体来说，所述隐藏层状态输出模块，包括：

39、多头自注意力单元，用于对所述查询键值和所述候选步骤对的查询键值都使用多头自注意力机制，将多组注意力加权和表示结果拼接起来，最终得到目标-步骤对的上下文编码表示和目标-候选步骤对的上下文编码表示其中，是目标-步骤对中每个位置的特征向量进行自注意力计算后得到的新的特征向量，zg是目标-步骤对中目标的全局上下文表示，zs是目标-步骤对中步骤的全局上下文表示，是目标-候选步骤对中每个位置的特征向量进行自注意力计算后得到的新的特征向量，和分别是目标-候选步骤对中步骤sm和步骤sn的全局上下文表示，z[sep]用于分隔输入序列中的不同部分；

40、隐藏层状态输出单元，用于将所述目标-步骤对的上下文编码表示和目标-候选步骤对的上下文编码表示通过前馈神经网络进行线性变换和激活函数gelu(x)＝xp(x≤x)得到所述目标和步骤中每个token隐藏层状态

41、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

42、首先对指定目标和步骤集进行分词、编号和编码，得到目标和步骤的特征编码；然后计算目标和每个步骤间的置信度分数，检索出能实现当前目标的候选步骤集；对目标和候选步骤集重新连接，通过新的特征编码选择出优先发生的步骤，并记录每个步骤优先发生的次数；最后候选步骤按照次数降序排序，得到能实现目标的有序步骤列表。本发明以置信度分数输出候选步骤是否与指定目标更匹配，捕捉与指定目标匹配的步骤集合，有效解决了现有技术中步骤与目标不相关的技术问题。还通过排序模型，以目标和所匹配的步骤集合为输入，判断哪个步骤优先发生，得到有序步骤列表，有效解决了现有技术中各步骤间不合逻辑的技术问题。