复述文本生成方法、装置、设备、介质和程序产品与流程

1.本公开涉及人工智能技术领域，具体涉及自然语言处理技术领域，更具体地涉及一种复述文本生成方法、装置、设备、介质和程序产品。


背景技术：

2.随着人工智能技术的发展，在线智能问答系统在电商、教育、政务、金融等应用场景中得到了广泛应用。线智能问答系统基于用户问题与语料库中预先准备好的标准问题进行文本相似度匹配，将与用户问题最相似的标准问题的答案作为在线智能问答系统的应答结果。为了在智能问答系统上线初期能构建出丰富的、多样性高的语料库，可以利用问题复述生成方法，将标准问题文本生成复述问题文本，以扩充语料库中标准问题的相似问题，以提高冷启动情况下，在线智能问答系统所对应的语料库的丰富性和多样性。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：根据标准问题文本生成的复述问题文本准确性较低，导致复述问题文本的可用性较差。


技术实现要素：

4.鉴于上述问题，本公开提供了复述文本生成方法、装置、设备、介质和程序产品。
5.根据本公开的第一个方面，提供了一种复述文本生成方法，包括：
6.利用文本编码模块处理初始文本，生成针对上述初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息；
7.利用门控图神经网络模块融合多个上述第一词级文本信息、上述语法关系特征、上述第一词级文本位置信息，生成针对初始文本的图关系特征；
8.将上述图关系特征输入至预测模块，预测针对复述文本中的节点数量，其中，上述节点数量用于表征上述复述文本的第二词级文本信息的数量；
9.将上述图关系特征输入至图节点特征提取模块，生成多个图节点特征，其中，上述图节点特征的数量与上述节点数量相同；以及
10.将多个上述图节点特征输入至复述文本生成模块，生成与上述初始文本相对应的复述文本。
11.根据本公开的实施例，上述图节点特征提取模块包括：图节点特征提取层和隐藏特征提取层；
12.将上述图关系特征输入至图节点特征提取模块，生成多个图节点特征包括：
13.将上述图关系特征输入至上述图节点特征提取层，生成初始时刻的图节点特征，其中，多个上述图节点特征包括上述初始时刻的图节点特征；
14.将上述图关系特征输入至上述隐藏特征提取层，以提取针对新的图节点特征的隐藏特征，得到图节点隐藏特征；
15.根据上述图节点隐藏特征和上述图关系特征，迭代地生成除上述初始图节点特征之外的其余多个上述图节点特征。
16.根据本公开的实施例，上述根据上述图节点隐藏特征和上述图关系特征，迭代地生成除上述初始图节点特征之外的其余多个上述图节点特征包括：
17.根据当前时刻已经生成的图节点隐藏特征更新上述图关系特征，得到当前时刻的图关系特征；
18.根据当前时刻的图关系特征和当前时刻已经生成的图节点隐藏特征，从当前时刻已经生成的图节点隐藏特征确定与下一时刻的图节点特征具有边关系的图节点隐藏特征；
19.将当前时刻已经生成的图节点隐藏特征、与下一时刻的图节点特征具有边关系的图节点隐藏特征输入至上述隐藏特征提取层，确定下一时刻的图节点隐藏特征；
20.将下一时刻的图节点隐藏特征输入至上述图节点特征提取层，迭代地生成新的图节点特征。
21.根据本公开的实施例，上述文本编码模块包括：语法关系提取层、文本编码层、关系映射层和位置编码层；
22.上述利用文本编码模块处理初始文本，生成针对上述初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息包括：
23.利用上述语法关系提取层处理上述初始文本，生成多个第一词级文本、针对多个上述第一词级文本的语法关系信息，以及针对每个上述第一词级文本的位置关系；
24.利用上述文本编码层对多个上述第一词级文本进行编码，生成多个上述第一词级文本信息；
25.将上述语法关系信息输入至上述关系映射层，生成上述语法关系特征；
26.利用上述位置编码层对上述位置关系进行编码，生成第一词级文本位置信息。
27.根据本公开的实施例，上述预测模块包括预测网络层；
28.上述将上述图关系特征输入至预测模块，预测针对复述文本中的节点数量包括：
29.基于预设预测算法处理上述图关系特征，得到预测特征信息；
30.将上述预测特征信息输入至上述预测网络层，生成上述节点数量。
31.根据本公开的实施例，上述复述文本生成模块包括：词级文本生成网络层、语法关系预测层；
32.上述将多个上述图节点特征输入至复述文本生成模块，生成与上述初始文本相对应的复述文本包括：
33.将多个上述图节点特征输入至上述词级文本生成网络层，生成多个第二词级文本信息；
34.将多个上述第二词级文本信息输入至上述语法关系预测层，以便将多个上述第二词级文本信息进行排列，生成与上述初始文本相对应的复述文本。
35.本公开的第二方面提供了一种复述文本生成装置，包括：
36.初始文本处理模块，用于利用文本编码模块处理初始文本，生成针对上述初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息；
37.融合模块，用于利用门控图神经网络模块融合多个上述第一词级文本信息、上述语法关系特征、上述第一词级文本位置信息，生成针对初始文本的图关系特征；
38.预测模块，用于将上述图关系特征输入至预测模块，预测针对复述文本中的节点数量，其中，上述节点数量用于表征上述复述文本的第二词级文本信息的数量；
39.提取模块，用于将上述图关系特征输入至图节点特征提取模块，生成多个图节点特征，其中，上述图节点特征的数量与上述节点数量相同；以及
40.生成模块，用于将多个上述图节点特征输入至复述文本生成模块，生成与上述初始文本相对应的复述文本。
41.本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述复述文本生成方法。
42.本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述复述文本生成方法。
43.本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述复述文本生成方法。
附图说明
44.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
45.图1示意性示出了根据本公开实施例的复述文本生成方法、装置、设备、介质和程序产品的应用场景图；
46.图2示意性示出了根据本公开实施例的复述文本生成方法的流程图；
47.图3示意性示出了根据本公开实施例的利用文本编码模块处理初始文本，生成针对初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息的应用场景图；
48.图4示意性示出了根据本公开实施例的门控图神经网络模块的结构图；
49.图5a示意性示出了根据本公开实施例的将图关系特征输入至图节点特征提取模块，生成多个图节点特征的流程图；
50.图5b示意性示出了根据本公开实施例的将图关系特征输入至图节点特征提取模块，生成多个图节点特征的应用场景图；
51.图5c示意性示出了根据本公开实施例的将图关系特征输入至图节点特征提取模块，生成多个图节点特征的应用场景图；
52.图6示意性示出了根据本公开实施例的将多个图节点特征输入至复述文本生成模块，生成与初始文本相对应的复述文本的应用场景图；
53.图7示意性示出了根据本公开实施例的述文本生成装置的结构框图；以及
54.图8示意性示出了根据本公开实施例的适于实现复述文本生成方法的电子设备的方框图。
具体实施方式
55.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免
不必要地混淆本公开的概念。
56.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
57.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
58.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
59.本公开的实施例提供了一种复述文本生成方法，包括：
60.利用文本编码模块处理初始文本，生成针对初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息；利用门控图神经网络模块融合多个第一词级文本信息、语法关系特征、第一词级文本位置信息，生成针对初始文本的图关系特征；将图关系特征输入至预测模块，预测针对复述文本中的节点数量，其中，节点数量用于表征复述文本的第二词级文本信息的数量；将图关系特征输入至图节点特征提取模块，生成多个图节点特征，其中，图节点特征的数量与节点数量相同；以及将多个图节点特征输入至复述文本生成模块，生成与初始文本相对应的复述文本。
61.根据本公开的实施例，通过利用门控图神经网络模块融合多个第一词级文本信息、语法关系特征、第一词级文本位置信息，可以生成针对初始文本的图关系特征，从而使图关系特征可以融合初始文本的文本信息和语法信息，避免产生信息丢失。将图关系特征输入至预测模块，预测针对复述文本中的节点数量，将图关系特征输入至图节点特征提取模块，生成多个图节点特征，在可以在充分提取初始文本的文本信息和语法特征的基础上生成复述文本，从而可以避免复述文本出现语义偏差，提升复述文本的准确性与可用性。
62.需要说明的是，本公开的复述文本生成方法和装置可以应用于人工智能技术领域、自然语言处理技术领域，也可用于除人工智能技术领域、自然语言处理技术领域之外的任意领域，本公开的复述文本生成的方法和装置对应用领域不做限定。
63.在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
64.在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
65.图1示意性示出了根据本公开实施例的复述文本生成方法、装置、设备、介质和程序产品的应用场景图。
66.如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
67.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发
送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
68.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
69.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
70.需要说明的是，本公开实施例所提供的复述文本生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的复述文本生成装置一般可以设置于服务器105中。本公开实施例所提供的复述文本生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的复述文本生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
71.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
72.以下将基于图1描述的场景，通过图2～图6对公开实施例的复述文本生成方法进行详细描述。
73.图2示意性示出了根据本公开实施例的复述文本生成方法的流程图。
74.如图2所示，复述文本生成方法可以包括操作s210～操作s250。
75.在操作s210，利用文本编码模块处理初始文本，生成针对初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息。
76.根据本公开的实施例，初始文本可以包括需要标准问题文本，但不仅限于此，还可以包括需要被复述的其他文本，例如通知文本等，本公开的实施例对初始文本的应用场景与应用领域不做限定。
77.根据本公开的实施例，第一词级文本信息可以包括针对初始文本所包含的词级文本信息，例如初始文本可以是“xx论坛怎么删除赞过的话题”，第一词级文本信息可以是针对初始文本所包含的词级文本：“xx论坛”、“怎么”、“删除”、“赞”、“过”、“的”、“话题”生成的词级文本信息。
78.根据本公开的实施例，第一词级文本位置信息可以包括用于表征初始文本所包含的词级文本在初始文本中的位置，例如“xx论坛”在初始文本“xx论坛怎么删除赞过的话题”中的位置可以是位置“1”。语法关系特征可以表征初始文本所包含的词级文本之间的语法关系，例如主谓关系、动宾关系等。
79.在操作s220，利用门控图神经网络模块融合多个第一词级文本信息、语法关系特征、第一词级文本位置信息，生成针对初始文本的图关系特征。
80.根据本公开的实施例，门控图神经网络模块可以是基于门控图神经网络模型(gated graph neural network，ggnn)构建的神经网络模块，利用门控图神经网络模块融合多个第一词级文本信息、语法关系特征、第一词级文本位置信息，可以使得到的图关系特征可以充分学习初始文本中的词级文本的特征，以及通过语法关系和位置关系构成的边关
系的特征，从而避免丢失初始文本中的特征信息，为后续生成复述文本奠定基础。
81.在操作s230，将图关系特征输入至预测模块，预测针对复述文本中的节点数量，其中，节点数量用于表征复述文本的第二词级文本信息的数量。
82.根据本公开的实施例，预测模块可以是基于相关预测算法构建得到的，例如可以是基于泊松回归算法构建得到预测模块，但不仅限于此，还可以是基于其他预测算法构建预测模块，例如基于隐马尔科夫模型构建预测模块，本公开的实施例对预测模块的具体构建方法不做限定。
83.根据本公开的实施例，复述文本的第二词级文本信息可以是表征复述本文的词级文本的信息，节点数量可以表征复述文本中的词级文本的数量。
84.根据本公开的实施例，利用预测模块预测针对复述文本中的节点数量，通过节点数量限定复述文本的第二词级文本信息的数量，可以避免因无法确定复述文本的词级文本的数量导致文本信息丢失，或导致复述文本的文本信息重复。
85.在操作s240，将图关系特征输入至图节点特征提取模块，生成多个图节点特征，其中，图节点特征的数量与节点数量相同。
86.根据本公开的实施例，图节点特征提取模块可以包括基于神经网络构建的网络模块，例如可以是基于循环神经网络(rnn)构建得到的，或者还可以是基于长短期记忆网络(lstm)、门控循环网络(gru)构建得到的。
87.根据本公开的实施例，将图关系特征输入至图节点特征提取模块，可以使得到的图节点特征充分学习到图关系特征所包含的针对初始文本的词级文本的特征，以及通过语法关系和位置关系构成的边关系的特征，避免出现特征信息丢失。
88.在操作s250，将多个图节点特征输入至复述文本生成模块，生成与初始文本相对应的复述文本。
89.根据本公开的实施例，图节点特征可以用于表征复述文本中的词级文本，利用复述文本生成模块处理多个图节点特征，可以使复述文本中的词级文本按照语法关系排序，从而生成复述文本。
90.根据本公开的实施例，通过利用门控图神经网络模块融合多个第一词级文本信息、语法关系特征、第一词级文本位置信息，可以生成针对复述文本的图关系特征，从而使图关系特征可以融合初始文本的文本信息和语法信息，避免产生信息丢失。将图关系特征输入至预测模块，预测针对复述文本中的节点数量，将图关系特征输入至图节点特征提取模块，生成多个图节点特征，在可以在充分提取初始文本的文本信息和语法特征的基础上生成复述文本，从而可以避免复述文本出现语义偏差，提升复述文本的准确性与可用性。
91.根据本公开的实施例，文本编码模块可以包括：语法关系提取层、文本编码层、关系映射层和位置编码层。
92.操作210，利用文本编码模块处理初始文本，生成针对初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息可以包括如下操作。
93.利用语法关系提取层处理初始文本，生成多个第一词级文本、针对多个第一词级文本的语法关系信息，以及针对每个第一词级文本的位置关系；利用文本编码层对多个第一词级文本进行编码，生成多个第一词级文本信息；将语法关系信息输入至关系映射层，生成语法关系特征；利用位置编码层对位置关系进行编码，生成第一词级文本位置信息。
94.根据本公开的实施例，语法关系提取层可以对初始文本进行分词处理，得到初始文本的词级文本，同时还可以提取初始文本中不同词级文本的语法关系，例如可以基于依存句法分析工具ddparser构建语法关系提取层，以处理初始文本，但不仅限于此，还可以基于相关技术中其他的依存句法分析方法构建语法关系提取层。
95.根据本公开的实施例，第一词级文本可以包括初始文本中的词级文本，针对多个第一词级文本的语法关系信息可以用于表征不同第一词级文本之间的语法关系，针对每个第一词级文本的位置关系可以表征每个第一词级文本在初始文本中的位置。
96.根据本公开的实施例，文本编码层可以是基于预设的自然语言处理模型构建的，例如可以是基于word2vec模型构建得到的，但不仅限于此，还可以是基于bert模型构建得到的，本公开的实施例对文本编码层的具体构建方式不做限定，只要能够满足对文本进行编码即可。
97.根据本公开的实施例，关系映射层例如可以是基于object/relation mapping(对象关系映射)构建得到的。语法关系特征可以用于表征不同的第一词级文本之间的语法关系，语法关系特征可以是包含有多个语法关系信息的矩阵编码信息，例如第一词级文本包括x1、x2、
……
至x7，在x1与x3之间存在语法关系的情况下，x1与x3的语法关系信息可以是1，在x1与x2之间不存在语法关系的情况下，x1与x2的语法关系信息可以是0。第一词级文本x1至x7中，每个第一词级文本均与第一词级文本x1至x7进行比对，可以生成7
×
7维矩阵a，矩阵a可以是用于表征不同的第一词级文本之间的语法关系的矩阵编码信息。
98.根据本公开的实施例，位置编码层可以是基于position embedding(位置编码)构建得到的，利用位置编码层处理针对每个第一词级文本的位置关系，可以得到每个第一词级文本在初始文本的位置关系的编码表示。
99.图3示意性示出了根据本公开实施例的利用文本编码模块处理初始文本，生成针对初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息的应用场景图。
100.如图3所示，文本编码模块可以包括语法关系提取层310、文本编码层321、关系映射层322和位置编码层323。初始文本可以是：“xx论坛怎么删除赞过的话题”101.在本实施例中，语法关系提取层310可以基于依存句法分析工具ddparser构建得到。利用语法关系提取层310处理初始文本330：“xx论坛怎么删除赞过的话题”，可以得到处理结果340。处理结果340可以包括第一词级文本“xx论坛”、“怎么”、“删除”、“赞”、“过”、“的”、“话题”，以及针对多个第一词级文本的语法关系信息可以表示为：[(1，3，’adv’)，(2，3，’adv’)，(3，0，’hed’)，(4，7，’att’)(5，4，’mt’)(6，4，’mt’)(7，3，’vob’)]，(1，3，’adv’)中，“1”可以表示第一词级文本“xx论坛”的位置关系，“3”可以表示第一词级文本“删除”的位置关系，“adv”表示第一词级文本“xx论坛”与“删除”之间的语法关系信息。
[0102]
根据本公开的实施例，文本编码层321可以是基于bert构建得到的。利用文本编码层321对第一词级文本“xx论坛”、“怎么”、“删除”、“赞”、“过”、“的”、“话题”进行编码，可以得到多个第一词级文本信息351，多个第一词级文本信息351表示为编码信息e1、e2……
至e7。
[0103]
根据本公开的实施例，关系映射层322可以是基于object/relation mapping(对象关系映射)构建得到的。将语法关系信息[(1，3，’adv’)，(2，3，’adv’)，(3，0，’hed’)，(4，
7，’att’)(5，4，’mt’)(6，4，’mt’)(7，3，’vob’)]输入至关系映射层322，可以生成语法关系特征352。语法关系特征352可以是包含有多个语法关系信息的矩阵编码信息，例如在第一词级文本“xx论坛”与“删除”之间存在语法关系的情况下，“xx论坛”与“删除”的语法关系信息可以是1，在“xx论坛”与“怎么”之间不存在语法关系的情况下，“xx论坛”与“怎么”的语法关系信息可以是0。通过将每个第一词级文本均与初始文本中的第一词级文本进行比对，可以生成7
×
7维矩阵a，语法关系特征352可以表示为矩阵a。
[0104]
根据本公开的实施例，利用位置编码层323可以是基于position embedding(位置编码)构建得到的，利用位置编码层323对位置关系进行编码，生成第一词级文本位置信息353，第一词级文本位置信息353可以表示为编码信息p1、p2、
……
至p7。
[0105]
图4示意性示出了根据本公开实施例的门控图神经网络模块的结构图。
[0106]
如图4所示，门控图神经网络模块410可以包括特征融合层411、门控图神经网络层412、全连接层413和池化层414。特征融合层图411可以基于线型模型(general linear model)构建，门控图神经网络层412可以基于门控图神经网络模型(gated graph neural network，ggnn)构建得到的。
[0107]
多个第一词级文本信息421可以包括编码信息e1、e2、
……
至e7，第一词级文本位置信息422可以包括编码信息p1、p2、
……
至p7。在将多个第一词级文本信息421和第一词级文本位置信息422输入至特征融合层411之前，可以对多个第一词级文本信息421和第一词级文本位置信息422进行融合编码，例如可以针对每个第一词级文本的第一词级文本信息和第一词级文本位置信息进行融合编码，得到针对每个关键词的编码融合特征。具体地，可以将编码信息e1和编码信息p1进行加和，得到编码信息f1，将编码信息e2和编码信息p2进行加和，得到编码信息f2，采用相同的加和方法，可以得到编码融合特征430表示为编码信息f1、f2……
至f7。
[0108]
将编码融合特征430输入至特征融合层411，使特征融合层410充分融合编码信息f1、f2……
至f7，得到初始融合特征441。将初始融合特征441和语法关系特征442输入至，门控图神经网络层412，基于注意力机制和语法关系特征442所包含的第一词级文本之间的语法关系信息，可以更新针对初始文本中的第一词级文本为节点的特征，经过全连接层413与池化层414，可以生成针对复述文本的图关系特征450，图关系特征450可以表示为编码信息h
g0
。
[0109]
根据本公开的实施例，预测模块可以包括预测网络层。
[0110]
操作s230，将图关系特征输入至预测模块，预测针对复述文本中的节点数量可以包括如下操作。
[0111]
基于预设预测算法处理图关系特征，得到预测特征信息；将预测特征信息输入至预测网络层，生成节点数量。
[0112]
根据本公开的实施例，预设预测算法例如可以是泊松回归算法，预测网络层可以包括基于神经网络构建的神经网络层，例如可以基于多层感知器(mlp)构建预测网络层。
[0113]
利用泊松回归算法处理图关系特征，得到预测特征信息，并将预测特征信息输入至基于多层感知器(mlp)构建得到的预测网络层，从而得到针对复述文本中的节点数量的预测结果，可以通过节点数量限定复述文本的第二词级文本信息的数量，可以避免因无法确定复述文本的次级文本的数量导致关键词信息丢失，或导致复述文本的关键词信息重
复。
[0114]
根据本公开的实施例，图节点特征提取模块可以包括：图节点特征提取层和隐藏特征提取层。
[0115]
图5a示意性示出了根据本公开实施例的将图关系特征输入至图节点特征提取模块，生成多个图节点特征的流程图。
[0116]
如图5所示，将图关系特征输入至图节点特征提取模块，生成多个图节点特征可以包括操作s510～操作s530。
[0117]
在操作s510，将图关系特征输入至图节点特征提取层，生成初始时刻的图节点特征，其中，多个图节点特征包括初始时刻的图节点特征。
[0118]
在操作s520，将图关系特征输入至隐藏特征提取层，以提取针对新的图节点特征的隐藏特征，得到图节点隐藏特征。
[0119]
在操作s530，根据图节点隐藏特征和图关系特征，迭代地生成除初始图节点特征之外的其余多个图节点特征。
[0120]
根据本公开的实施例，图节点特征提取层可以包括基于神经网络构建的神经网络层，例如可以基于多层感知器(mlp)构建图节点特征提取层。隐藏特征提取层例如可以包括基于循环神经网络(rnn)、长短期记忆网络(lstm)或门控循环网络(gru)构建得到的。
[0121]
根据本公开的实施例，操作s530，根据图节点隐藏特征和图关系特征，迭代地生成除初始图节点特征之外的其余多个图节点特征可以包括如下操作。
[0122]
根据当前时刻已经生成的图节点隐藏特征更新图关系特征，得到当前时刻的图关系特征；根据当前时刻的图关系特征和当前时刻已经生成的图节点隐藏特征，从当前时刻已经生成的图节点隐藏特征中确定与下一时刻的图节点特征具有边关系的图节点隐藏特征；将当前时刻已经生成的图节点隐藏特征、与下一时刻的图节点特征具有边关系的图节点隐藏特征输入至隐藏特征提取层，确定下一时刻的图节点隐藏特征；将下一时刻的图节点隐藏特征输入至图节点特征提取层，迭代地生成新的图节点特征。
[0123]
图5b示意性示出了根据本公开实施例的将图关系特征输入至图节点特征提取模块，生成多个图节点特征的应用场景图。
[0124]
如图5b所示，图节点特征提取模块510可以包括：隐藏特征提取层511和图节点特征提取层512。
[0125]
初始时刻可以表示为t0，在初始时刻t0，可以将图关系特征521输入至图节点特征提取层512，生成初始时刻t0的图节点特征522。
[0126]
根据本公开的实施例，图节点特征提取层512可以是基于多层感知器(mlp)构建的。初始时刻t0的图关系特征521可以表示为编码信息h
g0
，初始时刻t0的图节点特征522可以表示为编码信息v0。
[0127]
初始时刻的下一时刻可以表示为时刻t1，在时刻t1，可以将图关系特征521输入至隐藏特征提取层511，以提取针对新的图节点特征的隐藏特征，得到图节点隐藏特征531。
[0128]
根据本公开的实施例，隐藏特征提取层511可以是基于门控循环网络(gru)构建的。在时刻t1，图节点隐藏特征531可以表示为编码信息hv1，将编码信息hv1输入至图节点特征提取层512，可以得到时刻t1的图节点特征532，时刻t1的图节点特征532可以表示为编码信息v1。
[0129]
需要说明的是，根据时刻t1已经生成的图节点隐藏特征531，可以更新图关系特征521，得到当前时刻为时刻t1的图关系特征。具体地，可以通过编码信息hv1与编码信息h
g0
进行求和，得到的时刻t1的图关系特征可以表示为编码信息h
g1
。
[0130]
图5c示意性示出了根据本公开实施例的将图关系特征输入至图节点特征提取模块，生成多个图节点特征的应用场景图。
[0131]
如图5c所示，当前时刻可以表示为时刻t
i-1
，时刻t
i-1
生成的图节点隐藏特征541可以表示为编码信息hv
i-1
，在时刻t
i-1
已经生成的图节点隐藏特征可以表示为编码信息hv
i-1
、hv
i-2
、
……
hv0。时刻t
i-1
的图关系特征551可以表示为编码信息h
gi-1
，编码信息h
gi-1
可以通过对编码信息hv
i-1
、hv
i-2
、
……
hv0进行求和得到。
[0132]
需要说明的是，初始时刻可以是时刻t0，时刻t0的图节点隐藏特征542可以通过时刻t0的图关系特征表示，即时刻t0的图节点隐藏特征542可以表示为hv0＝h
g0
。
[0133]
边关系预测层560可以是基于多层感知器(mlp)构建得到的。时刻t
i-1
已经生成的图节点隐藏特征可以是编码信息hv
i-1
至hv0，时刻t
i-1
的图关系特征可以是编码信息h
gi-1
，从时刻t
i-1
已经生成的图节点隐藏特征中确定与时刻ti的图节点特征具有边关系的图节点隐藏特征，可以将编码信息hv
i-1
至hv0中的每个编码信息分别与编码信息h
gi-1
输入至边关系预测层560，得到边关系预测值571、
…
572。在边关系预测值大于预设阈值的情况下，可以确定该图节点隐藏特征与时刻ti的图节点特征具有边关系。
[0134]
例如在边关系预测值571大于预设阈值的情况下，可以确定时刻t
i-1
的图节点隐藏特征hv
i-1
与时刻ti的图节点特征具有边关系。通过相同的方法，可以确定与时刻ti的图节点特征具有边关系的图节点隐藏特征可以表示为集合[hv
i-1
，
……
hv3，hv1]，在时刻t
i-1
已经生成的图节点隐藏特征可以表示为集合[hv
i-1
，
……
hv0]，可以对集合[hv
i-1
，
……
hv3，hv1]中的编码信息进行求和，得到第一求和矩阵，对集合[hv
i-1
，
……
hv0]中的编码信息进行求和，得到第二求和矩阵，然后将第一求和矩阵与第二求和矩阵进行拼接，可以得到时刻ti的隐藏特征提取层输入编码信息hv
i-1’。
[0135]
将编码信息hv
i-1’输入至隐藏特征提取层511，可以得到时刻ti的图节点隐藏特征591，时刻ti的图节点隐藏特征591可以表示为编码信息hvi。将编码信息hvi输入至图节点特征提取层512，可以得到新的图节点特征，即时刻ti的图节点特征592。时刻ti的图节点特征592可以表示为编码信息vi。
[0136]
利用相同的方法，可以迭代地生成除初始图节点特征之外的其余多个图节点特征，并在生成的图节点特征的数量与节点数量相同时，得到针对复述文本的全部图节点特征。
[0137]
根据本公开的实施例，复述文本生成模块可以包括：词级文本生成网络层和语法关系预测层；
[0138]
操作s250，将多个图节点特征输入至复述文本生成模块，生成与初始文本相对应的复述文本可以包括如下操作。
[0139]
将多个图节点特征输入至词级文本生成网络层，生成多个第二词级文本信息；将多个第二词级文本信息输入至语法关系预测层，以便将多个第二词级文本信息进行排列，生成与初始文本相对应的复述文本。
[0140]
根据本公开的实施例，词级文本生成网络层可以是基于全连接神经网络构建得到
的，将多个图节点特征输入至词级文本生成网络层，可以通过词级文本生成网络层中的激活函数输出目标向量，目标向量中的每个值可以用户表征图节点特征与相关词库中词级文本信息对应的概率值。可以选取目标向量中与最大的概率值相对应的词级文本信息作为与该图节点特征相对应的第二词级文本信息。
[0141]
根据本公开的实施例，语法关系预测层可以是基于相关预测算法构建得到的，例如可以基于隐马尔科夫模型构建语法关系预测层。将多个第二词级文本信息输入至语法关系预测层，可以基于相关预测算法对多个第二词级文本信息的排列顺序进行排列，以实现排列后得到的多个第二词级文本信息可以符合语法规则，将排列后的多个第二词级文本信息经过解码后，可以生成与初始文本相对应的复述文本。
[0142]
需要说明的是，语法关系预测层可以生成多个复述文本，每个复述文本可以具有相应的得分，可以选取得分大于预设得分阈值的复述文本作为与初始文本相对应的复述文本，以扩充与初始文本相对应的复述文本的语料库，从而实现扩充复述文本语料库的丰富性与多样性。
[0143]
根据本公开的实施例，本公开的技术方案中的文本编码模块、门控图神经网络模块、预测模块、图节点特征提取模块和复述文本生成模块，可以是经过训练后得到的。例如可以通过交叉熵损失函数完成上述模块的训练。
[0144]
图6示意性示出了根据本公开实施例的将多个图节点特征输入至复述文本生成模块，生成与初始文本相对应的复述文本的应用场景图。
[0145]
如图6所示，复述文本生成模块610可以包括词级文本生成网络层611和语法关系预测层612。多个图节点特征620可以通过编码信息v0、v1、
……
至v5表示。将多个图节点特征620输入至词级文本生成网络层611，可以生成多个第二词级文本信息630，多个第二词级文本信息630可以通过编码信息y0、y1、
……
至y5表示。将编码信息y0、y1、
……
至y5输入至语法关系预测层612，可以将编码信息y0、y1、
……
至y5按照语法规则进行排序，得到排列后得到的编码信息，将排列后的编码信息进行解码后，可以生成与初始文本相对应的复述文本640。复述文本640例如可以是基于第二词级文本“怎么”、“取消”、“xx论坛”“话题”“的”“赞”按照语法规则排序后生成的文本：“怎么取消xx论坛话题的赞”。
[0146]
基于上述述文本生成方法，本公开还提供了一种述文本生成装置。以下将结合图7对该装置进行详细描述。
[0147]
图7示意性示出了根据本公开实施例的述文本生成装置的结构框图。
[0148]
如图7所示，该实施例的述文本生成装置700包括初始文本处理模块710、融合模块720、预测模块730、提取模块740和生成模块750。
[0149]
初始文本处理模块710用于利用文本编码模块处理初始文本，生成针对初始文本的多个第一词级文本信息、语法关系特征、第一词级文本位置信息。
[0150]
融合模块720用于利用门控图神经网络模块融合多个第一词级文本信息、语法关系特征、第一词级文本位置信息，生成针对初始文本的图关系特征。
[0151]
预测模块730用于将图关系特征输入至预测模块，预测针对复述文本中的节点数量，其中，节点数量用于表征复述文本的第二词级文本信息的数量。
[0152]
提取模块740用于将图关系特征输入至图节点特征提取模块，生成多个图节点特征，其中，图节点特征的数量与节点数量相同。
[0153]
生成模块750用于将多个图节点特征输入至复述文本生成模块，生成与初始文本相对应的复述文本。
[0154]
根据本公开的实施例，图节点特征提取模块包括：图节点特征提取层和隐藏特征提取层。
[0155]
提取模块可以包括：初始提取单元、隐藏特征提取单元和迭代生成单元。
[0156]
初始提取单元，用于将图关系特征输入至图节点特征提取层，生成初始时刻的图节点特征，其中，多个图节点特征包括初始时刻的图节点特征。
[0157]
隐藏特征提取单元，用于将图关系特征输入至隐藏特征提取层，以提取针对新的图节点特征的隐藏特征，得到图节点隐藏特征。
[0158]
迭代生成单元，用于根据图节点隐藏特征和图关系特征，迭代地生成除初始图节点特征之外的其余多个图节点特征。
[0159]
根据本公开的实施例，迭代生成单元可以包括：图关系特征更新子单元、边关系确定子单元、图节点隐藏特征迭代生成子单元和图节点特征迭代生成子单元。
[0160]
图关系特征更新子单元用于根据当前时刻已经生成的图节点隐藏特征更新图关系特征，得到当前时刻的图关系特征。
[0161]
边关系确定子单元用于根据当前时刻的图关系特征和当前时刻已经生成的图节点隐藏特征，从当前时刻已经生成的图节点隐藏特征中确定与下一时刻的图节点特征具有边关系的图节点隐藏特征。
[0162]
图节点隐藏特征迭代生成子单元用于将当前时刻已经生成的图节点隐藏特征、与下一时刻的图节点特征具有边关系的图节点隐藏特征输入至隐藏特征提取层，确定下一时刻的图节点隐藏特征。
[0163]
图节点特征迭代生成子单元用于将下一时刻的图节点隐藏特征输入至图节点特征提取层，迭代地生成新的图节点特征。
[0164]
根据本公开的实施例，文本编码模块可以包括：语法关系提取层、文本编码层、关系映射层和位置编码层。
[0165]
初始文本处理模块可以包括：初始文本处理单元、文本编码单元、关系映射单元和位置关系编码单元。
[0166]
初始文本处理单元用于利用语法关系提取层处理初始文本，生成多个第一词级文本、针对多个第一词级文本的语法关系信息，以及针对每个第一词级文本的位置关系。
[0167]
文本编码单元用于利用文本编码层对多个第一词级文本进行编码，生成多个第一词级文本信息。
[0168]
关系映射单元用于将语法关系信息输入至关系映射层，生成语法关系特征。
[0169]
位置关系编码单元用于利用位置编码层对位置关系进行编码，生成第一词级文本位置信息。
[0170]
根据本公开的实施例，预测模块包括预测网络层。
[0171]
预测模块可以包括：图关系特征处理单元和预测单元。
[0172]
图关系特征处理单元用于基于预设预测算法处理图关系特征，得到预测特征信息。
[0173]
预测单元用于将预测特征信息输入至预测网络层，生成节点数量。
[0174]
根据本公开的实施例，复述文本生成模块可以包括：词级文本生成网络层和语法关系预测层；
[0175]
生成模块可以包括：词级文本生成单元和语法关系预测单元。
[0176]
词级文本生成单元用于将多个图节点特征输入至词级文本生成网络层，生成多个第二词级文本信息。
[0177]
语法关系预测单元用于将多个第二词级文本信息输入至语法关系预测层，以便将多个第二词级文本信息进行排列，生成与初始文本相对应的复述文本。
[0178]
根据本公开的实施例，初始文本处理模块710、融合模块720、预测模块730、提取模块740和生成模块750中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，初始文本处理模块710、融合模块720、预测模块730、提取模块740和生成模块750中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，初始文本处理模块710、融合模块720、预测模块730、提取模块740和生成模块750中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0179]
图8示意性示出了根据本公开实施例的适于实现复述文本生成方法的电子设备的方框图。
[0180]
如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0181]
在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0182]
根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0183]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0184]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。
[0185]
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的复述文本生成方法。
[0186]
在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0187]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0188]
在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0189]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0190]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际
上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0191]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0192]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。