一种图表的描述文本生成方法、装置、设备及介质与流程

本申请涉及数据处理，尤其涉及一种图表的描述文本生成方法、装置、设备及介质。

背景技术：

1、图表描述是指根据给定的统计图或者数据表格生成简洁和准确的描述文本，以说明统计图或者数据表格中的主要信息和趋势，推测数据变化的背后原因，使人们更快速和方便地理解图表的含义。

2、相关技术在生成统计图对应的描述文本时，首先对统计图进行图像特征提取，得到统计图对应的图像特征向量，再使用文本生成模型对该图像特征向量进行处理，得到统计图对应的描述文本。但是图像特征提取可能存在不精确、信息丢失、模型幻觉或者噪声干扰的问题，并且文本生成模型可能无法合理的根据图像特征向量生成文本。

3、相关技术在生成数据表格对应的文字描述时，一般利用大语言模型(largelanguage model，llm)强大的自然语言理解和生成能力，提取出数据表格中的主要信息和关系，生成流畅和准确的文本摘要。但是，大语言模型无法直接对数据表格进行处理，需要先将数据表格转换成文本，再将转换得到的文本输入到大语言模型中进行处理。也就是说，相关技术中为了生成数据表格的描述文本，需要设计一种合理的表格数据到文本的转换方式，保证转换后的文本能够完整和清晰地表达数据表格中的内容，同时避免冗余和歧义。并且由于大语言模型是预训练模型，对于一些专业或者复杂的数据表格，如浮点数据多、数据量大的数据，大语言模型可能无法准确地理解和生成摘要。

4、因此，如何提高图表的描述文本生成的准确率成为亟待解决的问题。

技术实现思路

1、本申请实施例提供了一种图表的描述文本方法、装置、设备及介质，用以解决现有技术中生成的图表的描述文本准确率较低的问题。

2、本申请提供了一种图表的描述文本生成方法，所述方法包括：

3、获取待描述图表，所述待描述图表为统计图或数据表格；

4、获取所述待描述图表中记录的数据，将预设提示文本和所述数据进行拼接，得到目标文本；

5、将所述待描述图表对应的目标统计图输入到图像编码器中，得到第一图像特征向量；

6、将所述第一图像特征向量和所述目标文本输入到大语言模型中，所述大语言模型的编码模块对所述目标文本进行编码，得到文本特征向量；并将所述第一图像特征向量和所述文本特征向量进行拼接，得到目标特征向量；所述大语言模型的解码器对所述目标特征向量进行处理，得到所述待描述图表对应的描述文本。

7、进一步地，所述获取所述待描述图表中记录的数据之后，所述将预设提示文本和所述数据进行拼接，得到目标文本之前，所述方法还包括：

8、对所述待描述图表中记录的数据进行统计，得到统计数据，所述统计数据包括平均值、最大值、同比、环比中的至少一项；

9、所述将预设提示文本和所述数据进行拼接，得到目标文本包括：

10、将所述预设提示文本、所述数据和所述统计数据进行拼接，得到所述目标文本。

11、进一步地，所述待描述图表对应的目标统计图的确定过程包括：

12、若所述待描述图表为数据表格，获取所述数据表格中记录的数据；

13、基于所述数据构建统计图，将构建的统计图确定为所述待描述图表对应的目标统计图。

14、进一步地，所述待描述图表对应的目标统计图的确定过程包括：

15、若所述待描述图表为统计图，则将所述统计图确定为所述待描述图表对应的目标统计图。

16、进一步地，所述得到第一图像特征向量之后，所述将所述第一图像特征向量和所述目标文本输入到大语言模型中之前，所述方法还包括：

17、使用转换器transformer模型对所述第一图像特征向量进行特征空间对齐处理，得到第二图像特征向量，使所述第二图像特征向量与所述文本特征向量的特征空间一致；

18、使用所述第二图像特征向量对所述第一图像特征向量进行更新。

19、本申请还提供了一种图表的描述文本生成装置，所述装置包括：

20、获取模块，用于获取待描述图表，所述待描述图表为统计图或数据表格；获取所述待描述图表中记录的数据；

21、生成模块，用于将预设提示文本和所述数据进行拼接，得到目标文本；将所述待描述图表对应的目标统计图输入到图像编码器中，得到第一图像特征向量；将所述第一图像特征向量和所述目标文本输入到大语言模型中，所述大语言模型的编码模块对所述目标文本进行编码，得到文本特征向量；并将所述第一图像特征向量和所述文本特征向量进行拼接，得到目标特征向量；所述大语言模型的解码器对所述目标特征向量进行处理，得到所述待描述图表对应的描述文本。

22、进一步地，所述装置还包括：

23、统计模块，用于对所述待描述图表中记录的数据进行统计，得到统计数据，所述统计数据包括平均值、最大值、同比、环比中的至少一项；

24、所述生成模块，具体用于将所述预设提示文本、所述数据和所述统计数据进行拼接，得到所述目标文本。

25、进一步地，所述装置还包括：

26、确定模块，用于若所述待描述图表为数据表格，获取所述数据表格中记录的数据；基于所述数据构建统计图，将构建的统计图确定为所述待描述图表对应的目标统计图。

27、进一步地，所述确定模块，还用于若所述待描述图表为统计图，则将所述统计图确定为所述待描述图表对应的目标统计图。

28、进一步地，所述装置还包括：

29、更新模块，用于使用转换器transformer模型对所述第一图像特征向量进行特征空间对齐处理，得到第二图像特征向量，使所述第二图像特征向量与所述文本特征向量的特征空间一致；使用所述第二图像特征向量对所述第一图像特征向量进行更新。

30、本申请还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述图表的描述文本生成方法的步骤。

31、本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述图表的描述文本生成方法的步骤。

32、由于在本申请实施例中，获取待描述图表，及待描述图表中记录的数据，并将预设提示文本和该数据进行拼接，得到目标文本，将待描述图表对应的目标统计图输入到图像编码器中，得到第一图像特征向量，将第一图像特征向量和目标文本输入到大语言模型中，大语言模型的编码模块对目标文本进行编码，得到文本特征向量，并将第一图像特征向量和文本特征向量进行拼接，得到目标特征向量，从而使大语言模型的解码器对综合了第一图像特征向量和文本特征向量的目标特征向量进行处理，得到待描述图表对应的描述文本，提高了生成的描述文本的准确率。

技术特征：

1.一种图表的描述文本生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述待描述图表中记录的数据之后，所述将预设提示文本和所述数据进行拼接，得到目标文本之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述待描述图表对应的目标统计图的确定过程包括：

4.根据权利要求1所述的方法，其特征在于，所述待描述图表对应的目标统计图的确定过程包括：

5.根据权利要求1所述的方法，其特征在于，所述得到第一图像特征向量之后，所述将所述第一图像特征向量和所述目标文本输入到大语言模型中之前，所述方法还包括：

6.一种图表的描述文本生成装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求6所述的装置，其特征在于，所述确定模块，还用于若所述待描述图表为统计图，则将所述统计图确定为所述待描述图表对应的目标统计图。

9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5任一项所述图表的描述文本生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述图表的描述文本生成方法的步骤。

技术总结
本申请涉及数据处理技术领域，尤其涉及一种图表的描述文本生成方法、装置、设备及介质。获取待描述图表，及待描述图表中记录的数据，并将预设提示文本和该数据进行拼接，得到目标文本，将待描述图表对应的目标统计图输入到图像编码器中，得到第一图像特征向量，将第一图像特征向量和目标文本输入到大语言模型中，大语言模型的编码模块对目标文本进行编码，得到文本特征向量，并将第一图像特征向量和文本特征向量进行拼接，得到目标特征向量，从而使大语言模型的解码器对综合了第一图像特征向量和文本特征向量的目标特征向量进行处理，得到待描述图表对应的描述文本，提高了生成的描述文本的准确率。

技术研发人员：侯召祥
受保护的技术使用者：新奥新智科技有限公司
技术研发日：
技术公布日：2024/2/19