一种多模态文章内容处理系统及其控制方法与流程

本申请涉及信息处理，更具体的说，本申请涉及一种多模态文章内容处理系统及其控制方法。

背景技术：

1、多模态文章结合了多种不同媒体元素，如文本、图像、音频和视频等，以更丰富的方式传达信息，能够提供更全面的信息，满足不同受众的需求，增强了信息的可理解性和吸引力，可以提高互动性，使读者更深入地参与内容，促进学习和知识传递，此外，它有助于信息可视化，帮助读者更快速地理解复杂的概念和数据，还有助于跨文化传播，因为不同文化和语言的受众可以通过多种媒体元素更容易地理解和分享信息，在教育、新闻、广告和娱乐等领域具有广泛的应用。

2、多模态文章内容处理能够将不同媒体元素(文本、图像、音频、视频等)融合在一起，提供更富有表现力的沟通工具，有助于提高受众的参与度和理解度，不仅使信息更生动、更易理解，还能够满足不同人群的需求，推动了数字时代信息传播的进步，而现有多模态文章内容处理过程中，先分别提取不同模态的关键信息，再将不同模态的关键信息进行机械融合，忽略了不同模态间信息的关联性，导致多模态文章内容处理过程失真，因此，在多模态文章内容处理过程中，如何提高多模态文章中各模态之间的信息融合度成为了本领域技术人员亟待解决的问题。

技术实现思路

1、本申请提供一种多模态文章内容处理系统及其控制方法，以提高多模态文章中各模态之间的信息融合度。

2、第一方面，本申请提供一种多模态文章内容处理系统的控制方法，包括下述步骤：

3、获取目标多模态文章的图像模态特征向量集和文本模态词特征向量集；

4、根据所述图像模态特征向量集中各个图像模态特征向量之间的图像主题敏感因子确定图像模态主题特征界定域；

5、确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子，根据所述文本模态词特征向量集和所有的核心分词度量因子确定文本模态核心词特征界定域；

6、通过所述图像模态主题特征界定域和所述文本模态核心词特征界定域确定目标多模态文章的模态融合评价熵集；

7、根据所述模态融合评价熵集和所有的核心分词度量因子对目标多模态文章进行主题划分。

8、在一些实施例中，根据所述图像模态特征向量集中各个图像模态特征向量之间的图像主题敏感因子确定图像模态主题特征界定域具体包括：

9、确定所述图像模态特征向量集中各个图像模态特征向量之间的图像主题敏感因子；

10、通过各个图像主题敏感因子对所述图像模态特征向量集进行筛选，得到图像模态主题特征界定域。

11、在一些实施例中，确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子具体包括：

12、确定所述文本模态词特征向量集中各个文本模态词特征向量之间的分词间距关联度；

13、根据所有的分词间距关联度确定所述文本模态词特征向量集中各个文本模态词特征向量之间的分词关联区分系数；

14、根据所有的分词间距关联度和所有的分词关联区分系数确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子。

15、在一些实施例中，根据所有的分词间距关联度和所有的分词关联区分系数确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子具体包括：

16、确定所述文本模态词特征向量集中各个文本模态词特征向量的词频权重系数；

17、根据所有的词频权重系数、所有的分词间距关联度和所有的分词关联区分系数确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子。

18、在一些实施例中，根据所述模态融合评价熵集和所有的核心分词度量因子对目标多模态文章进行主题划分具体包括：

19、根据所述多模态融合评价熵集和所有的核心分词度量因子确定多个多模态文章关联核心词等级系数；

20、根据所有的多模态文章关联核心词等级系数对目标多模态文章进行主题划分。

21、在一些实施例中，根据所有的多模态文章关联核心词等级系数对目标多模态文章进行主题划分具体包括：

22、根据所有的多模态文章关联核心词等级系数确定目标多模态文章的多个模态关联核心词；

23、通过多个模态关联核心词对目标多模态文章进行主题划分。

24、在一些实施例中，所述多模态文章由文字和图片组成。

25、第二方面，本申请提供一种多模态文章内容处理系统，包括：

26、获取模块，用于获取目标多模态文章的图像模态特征向量集和文本模态词特征向量集；

27、处理模块，用于根据所述图像模态特征向量集中各个图像模态特征向量之间的图像主题敏感因子确定图像模态主题特征界定域；

28、所述处理模块，还用于确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子，根据所述文本模态词特征向量集和所有的核心分词度量因子确定文本模态核心词特征界定域；

29、确定模块，用于通过所述图像模态主题特征界定域和所述文本模态核心词特征界定域确定目标多模态文章的模态融合评价熵集；

30、执行模块，用于根据所述模态融合评价熵集和所有的核心分词度量因子对目标多模态文章进行主题划分。

31、第三方面，本申请提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的多模态文章内容处理系统的控制方法。

32、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的多模态文章内容处理系统的控制方法。

33、本申请公开的实施例提供的技术方案具有以下有益效果：

34、本申请提供的多模态文章内容处理系统及其控制方法中，首先，确定了所述多模态文章图像模态的图像模态主题特征界定域，其次，确定文本模态词特征向量集中各个文本模态词特征向量的核心分词度量因子，所述核心分词度量因子表征了对应单词在多模态文章中的重要程度，通过所述核心分词度量因子对单词词频值进行调节，提高了多模态文章文本模态的单词重要性融合度，进而确定所述多模态文章文本模态的文本模态核心词特征界定域，然后，通过所述图像模态主题特征界定域对所述文本模态核心词特征界定域中每个文本模态核心词特征向量进行相似性评价，得到每个文本模态核心词特征向量的多模态融合评价熵，再将每个核心分词度量因子和每个多模态融合评价熵进一步融合，得到多模态文章文本词的多模态文章关联核心词等级系数，最后，根据多模态文章关联核心词等级系数对所述多模态文章进行主题划分，该方案与现有多模态文章内容处理过程中忽略了不同模态之间的信息关联性相比，提高了多模态文章中各模态之间的信息融合度。

技术特征：

1.一种多模态文章内容处理系统的控制方法，其特征在于，包括下述步骤：

2.如权利要求1所述的方法，其特征在于，根据所述图像模态特征向量集中各个图像模态特征向量之间的图像主题敏感因子确定图像模态主题特征界定域具体包括：

3.如权利要求1所述的方法，其特征在于，确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子具体包括：

4.如权利要求3所述的方法，其特征在于，根据所有的分词间距关联度和所有的分词关联区分系数确定所述文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子具体包括：

5.如权利要求1所述的方法，其特征在于，根据所述模态融合评价熵集和所有的核心分词度量因子对目标多模态文章进行主题划分具体包括：

6.如权利要求5所述的方法，其特征在于，根据所有的多模态文章关联核心词等级系数对目标多模态文章进行主题划分具体包括：

7.如权利要求1所述的方法，其特征在于，所述多模态文章由文字和图片组成。

8.一种多模态文章内容处理系统，其特征在于，包括：

9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，其特征在于，所述处理器被配置为获取所述代码，并执行如权利要求1至7任一项所述的多模态文章内容处理系统的控制方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多模态文章内容处理系统的控制方法。

技术总结
本申请提供了一种多模态文章内容处理系统及其控制方法，通过获取目标多模态文章的图像模态特征向量集和文本模态词特征向量集，根据图像模态特征向量集中各个图像模态特征向量之间的图像主题敏感因子确定图像模态主题特征界定域，确定文本模态词特征向量集中每个文本模态词特征向量的核心分词度量因子，根据所述文本模态词特征向量集和所有的核心分词度量因子确定文本模态核心词特征界定域，通过所述图像模态主题特征界定域和所述文本模态核心词特征界定域确定目标多模态文章的模态融合评价熵集，根据所述模态融合评价熵集和所有的核心分词度量因子对目标多模态文章进行主题划分，可提高多模态文章中各模态之间的信息融合度。

技术研发人员：张传文,莫倩,蔡锦森,王恺,王升,贾承斌,于满泉,朱若曦
受保护的技术使用者：网智天元科技集团股份有限公司
技术研发日：
技术公布日：2024/4/24