一种基于人工智能的写作方法、系统、存储介质及计算机

本发明涉及人工智能，具体涉及一种基于人工智能的写作方法、系统、存储介质及计算机。

背景技术：

1、人工智能是智能学科重要的组成部分，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

2、人们及时传播信息和监督社会的重要方式之一是新闻报道，对社会稳定发展非常重要。因此，这就要求新闻写作高效且准确，能够全天候及时的产出大量高质量新闻。然而，目前传统新闻写作主要依赖人工记者撰写，效率比较低，难免会出现延迟和错误，影响新闻的时效性和准确性。同时，传统写作也易受个人主观因素影响，新闻报道的真实性和客观性难以保证。

技术实现思路

1、基于此，本发明的目的是提供一种基于人工智能的写作方法、系统、存储介质及计算机，以解决现有技术中存在的技术问题。

2、本发明提出一种基于人工智能的写作方法，包括：

3、根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；

4、获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；

5、将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；

6、根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；

7、将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；

8、根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性；

9、所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：

10、获取所述目标图像在公共表示空间的公共特征表示；

11、获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；

12、根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；

13、根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；

14、获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；

15、根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本。

16、可选地，构建所述多级跨模态检索模型包括：

17、将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征；

18、将所述训练文本信息导入至预训练模型中，获取所述训练文本信息的文本节点特征；

19、将所述图像节点特征和所述文本节点特征导入至连接函数中进行学习，得到所述训练新闻图像的图像特征向量和所述训练文本信息的文本特征向量；

20、计算所述图像特征向量和所述文本特征向量之间的相似性，以得到所述多级跨模态检索模型。

21、可选地，所述将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征的步骤包括：

22、将预训练的resnet152网络中最后一个卷积层的特征作为输出，将输出的特征导入至全连接层获得图像的全局特征；

23、根据所述训练新闻图像中的边注意力系数和所述全局特征构建第一图注意力网络，获取所述第一图注意力网络中各个节点对应的图像注意力系数；

24、分别将所述图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征。

25、可选地，所述归一化处理的表达式为：

26、

27、式中，表示归一化函数，表示激活函数，i表示所述训练新闻图像中的第i个节点，为节点i对应的图像注意力系数，为归一化学习参数， n表示所述训练新闻图像中节点的数量。

28、可选地，计算所述图像特征向量和所述文本特征向量之间的相似性的表达式为：

29、

30、其中，j表示第j个训练新闻图像，表示图像特征向量，表示文本特征向量。

31、可选地，所述检索得分的表达式为：

32、

33、其中，为激活函数，、为上下文本特征的两个可学习参数，、为解码器的两个可学习参数，为对照文稿的上下文本特征，为解码器的当前隐藏状态。

34、可选地，在将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本之后，所述写作方法还包括：

35、基于所述新闻文本构建全局词频共现矩阵，，表示全局词频共现矩阵的维度，v为全局词频中词汇表的大小；

36、对所述新闻文本进行局部上下文窗口划分，计算词的局部上下文窗口中，词出现的次数，表示为；

37、将代入全局对数双线性回归模型进行训练，以找出该局部上下文窗口中的中心词，依次对所有的局部上下窗口训练，得到所有上下窗口对应的中心词；

38、对所有的中心词进行判断分析，进而确定该新闻事件整体对应的中心词。

39、本发明还提出一种基于人工智能的写作系统，包括；

40、构建模块，用于根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；

41、获取模块，用于获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；

42、输入模块，用于将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；

43、选取模块，用于根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；

44、生成模块，用于将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；

45、评价模块，用于根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性；

46、其中，所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：

47、获取所述目标图像在公共表示空间的公共特征表示；

48、获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；

49、根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；

50、根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；

51、获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；

52、根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本。

53、本发明还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于人工智能的写作方法。

54、本发明还提出一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的写作方法。

55、本发明相比于现有技术的有益效果为：本技术提供的基于人工智能的写作方法，首先选取若干用于训练的新闻图像和文本信息构建多级跨模态检索模型，多级跨模态检索模型计算图像与文本之间的相似性，减少异质性差距，实现不同模态数据之间的细粒度交互，提高多级跨模态检索模型的检索精度。多级跨模态检索模型构建完成后，获取具体新闻事件的新闻图像和对应的文本信息，将新闻图像和文本信息输入至构建的多级跨模态检索模型中，实现图像与文本模态数据之间的细粒度交互，确定新闻图像中的目标图像，根据目标图像进而检索出与该新闻事件最相关的若干新闻文稿作为对照文稿，通过若干对照文稿引导文本生成模型生成与该新闻事件相匹配的新闻文本，提高新闻文本的生成效率和准确性，减少个人的主观因素的影响，适合大范围推广。

56、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。