基于图注意网络的口语到书面语转换方法、装置和设备

本发明涉及自然语言处理，尤其涉及一种基于图注意网络的口语到书面语转换方法、装置和设备。

背景技术：

1、由于人们在说话和写作时的语言应用方式存在差异，且说话时可能存在句法和语法错误、不流利的情况，以及语音录制时携带的噪声，都会对语音识别所得的口语文本的可访问性和可读性造成影响。

2、因此，将口语文本转换为书面文本，对于降低文本内容理解难度十分重要。目前的口语到书面的文本转换研究，通常是逐句转换。但实际上，在文档级的口语文本中，口语术语可能会跨越句子边界，且口语文本本身十分冗长，组织不善，逐句转换无法检测前后句子之间的影响，且只能删除口语术语，无法实现文档级口语文本的重组简化，转换效果并不理想。

技术实现思路

1、本发明提供一种基于图注意网络的口语到书面语转换方法、装置和设备，用以解决现有技术中逐句进行口语到书面语的转换方式，不适用于文档级的转换场景，转换效果不理想问题。

2、本发明提供一种基于图注意网络的口语到书面语转换方法，包括：

3、对口语文档进行语义编码，得到所述口语文档的语义表示；

4、以所述口语文档的语义表示，确定所述口语文档的文档结构图中各节点的初始表示，所述文档结构图中包括文档节点、语句节点和分词节点，所述文档节点与属于所述口语文档的口语语句对应的语句节点连接，所述语句节点与属于所述口语语句的各分词对应的分词节点连接；

5、以注意力机制，对所述文档结构图中各节点的初始表示进行消息传播，得到所述文档结构图的结构图表示；

6、以所述结构图表示进行语义解码，得到所述口语文档对应的书面文档。

7、根据本发明提供的一种基于图注意网络的口语到书面语转换方法，所述基于注意力机制，对所述文档结构图中各节点的初始表示进行消息传播，得到所述文档结构图的结构图表示，包括：

8、基于所述注意力机制，对所述文档结构图中同一层级节点的初始表示进行消息传播，得到所述文档结构图中各节点的层级化表示；

9、基于所述注意力机制，对所述文档结构图中各节点的层级化表示进行消息传播，得到所述文档结构图的结构图表示。

10、根据本发明提供的一种基于图注意网络的口语到书面语转换方法，所述基于所述注意力机制，对所述文档结构图中同一层级节点的初始表示进行消息传播，得到所述文档结构图中各节点的层级化表示，包括：

11、基于所述文档结构图中的各分词节点，构建词级全连接图；

12、基于所述文档结构图中的各语句节点，构建句级全连接图；

13、基于所述注意力机制，对所述词级全连接图中各分词节点的初始表示进行消息传播，得到所述各分词节点的层级化表示；

14、基于所述注意力机制，对所述句级全连接图中各语句节点的初始表示进行消息传播，得到所述各语句节点的层级化表示。

15、根据本发明提供的一种基于图注意网络的口语到书面语转换方法，所述基于所述结构图表示进行语义解码，得到所述口语文档对应的书面文档，包括：

16、对所述语义表示和所述结构图表示进行特征融合，得到融合表示；

17、基于所述融合表示进行语义解码，得到所述口语文档对应的书面文档。

18、根据本发明提供的一种基于图注意网络的口语到书面语转换方法，所述对所述语义表示和所述结构图表示进行特征融合，得到融合表示，包括：

19、基于所述语义表示和所述结构图表示进行门控注意力机制计算，得到注意力权重；

20、基于所述注意力权重，对所述结构图表示进行增强，得到增强图表示；

21、对所述语义表示和所述增强图表示进行特征融合，得到所述融合表示。

22、根据本发明提供的一种基于图注意网络的口语到书面语转换方法，所述基于所述口语文档的语义表示，确定所述口语文档的文档结构图中各节点的初始表示，包括：

23、将所述口语文档中各分词的语义表示，作为所述文档结构图中各分词节点的初始表示；

24、基于所述口语文档中各语句下的分词的语义表示，确定所述文档结构图中的各语句节点的初始表示；

25、基于所述文档结构图中的各语句节点的初始表示，确定所述文档结构图中所述文档节点的初始表示。

26、本发明还提供一种基于图注意网络的口语到书面语转换装置，包括：

27、编码单元，用于对口语文档进行语义编码，得到所述口语文档的语义表示；

28、图表示单元，用于基于所述口语文档的语义表示，确定所述口语文档的文档结构图中各节点的初始表示，所述文档结构图中包括文档节点、语句节点和分词节点，所述文档节点与属于所述口语文档的口语语句对应的语句节点连接，所述语句节点与属于所述口语语句的各分词对应的分词节点连接；

29、图传播单元，用于基于注意力机制，对所述文档结构图中各节点的初始表示进行消息传播，得到所述文档结构图的结构图表示；

30、解码单元，用于基于所述结构图表示进行语义解码，得到所述口语文档对应的书面文档。

31、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于图注意网络的口语到书面语转换方法。

32、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于图注意网络的口语到书面语转换方法。

33、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于图注意网络的口语到书面语转换方法。

34、本发明提供的基于图注意网络的口语到书面语转换方法、装置和设备，以对口语文档进行语义编码，得到所述口语文档的语义表示。以注意力机制，对所述文档结构图中各节点的初始表示进行消息传播，得到所述文档结构图的结构图表示。以所述结构图表示进行语义解码，得到更加简洁的、可读性强的书面文档，避免了跨越句子边界的口语术语在进行文本转换时被遗漏的问题，保证了文档级口语文本的书面转换效果。

技术特征：

1.一种基于图注意网络的口语到书面语转换方法，其特征在于，包括：

2.根据权利要求1所述的基于图注意网络的口语到书面语转换方法，其特征在于，所述基于注意力机制，对所述文档结构图中各节点的初始表示进行消息传播，得到所述文档结构图的结构图表示，包括：

3.根据权利要求2所述的基于图注意网络的口语到书面语转换方法，其特征在于，所述基于所述注意力机制，对所述文档结构图中同一层级节点的初始表示进行消息传播，得到所述文档结构图中各节点的层级化表示，包括：

4.根据权利要求1所述的基于图注意网络的口语到书面语转换方法，其特征在于，所述基于所述结构图表示进行语义解码，得到所述口语文档对应的书面文档，包括：

5.根据权利要求4所述的基于图注意网络的口语到书面语转换方法，其特征在于，所述对所述语义表示和所述结构图表示进行特征融合，得到融合表示，包括：

6.根据权利要求1至5中任一项所述的基于图注意网络的口语到书面语转换方法，其特征在于，所述基于所述口语文档的语义表示，确定所述口语文档的文档结构图中各节点的初始表示，包括：

7.一种基于图注意网络的口语到书面语转换装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于图注意网络的口语到书面语转换方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于图注意网络的口语到书面语转换方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于图注意网络的口语到书面语转换方法。

技术总结
本发明提供一种基于图注意网络的口语到书面语转换方法、装置和设备，其中方法包括：对口语文档进行语义编码，得到口语文档的语义表示；基于口语文档的语义表示，确定口语文档的文档结构图中各节点的初始表示，文档结构图中包括文档节点、语句节点和分词节点；基于注意力机制，对文档结构图中各节点的初始表示进行消息传播，得到文档结构图的结构图表示；基于结构图表示进行语义解码，得到口语文档对应的书面文档。本发明提供的方法、装置和设备，通过构建文档图结构示意图，能够得到更加简洁的、可读性强的书面文档，避免了跨越句子边界的口语术语在进行文本转换时被遗漏的问题，保证了文档级口语文本的书面转换效果。

技术研发人员：赵云龙,徐爽,徐波
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/1/13