基于深度学习的文本表示方法、冰箱及存储介质与流程

本发明涉及计算机，具体地涉及一种基于深度学习的文本表示方法及冰箱。

背景技术：

1、文本表示方法应用很广，特别可以应用于诸如冰箱等智能家电中，例如，智能冰箱与用户可通过文本、语音、图像等多模态数据方式实现诸如智能检索、智能推荐、智能问答等多种人机交互场景，这些都与文本表示紧密相连，文本表示成为人工智能技术应用的关键部分。

2、现有的文本表示方法包括基于传统机器学习模型，从文本的词级、字级、词语级、短语级或句子级等浅层次角度进行文本表示，或者是基于深度学习模型，从单一的文本特征角度进行文本表示。

3、以上所述文本表示方法存在两个层面的问题，一是文本表示稀疏；二是在获取多模态数据时未挖掘数据潜在的、更深层的结构和语义信息。以上问题都易引起所述文本表示不充分、不全面，使得智能冰箱在与用户交互的过程中，易出现食材信息推送、意图识别以及智能问答等方面准确率低、响应时间慢、时效性差、用户体验效果差。

技术实现思路

1、本发明的目的之一在于提供一种基于深度学习的文本表示方法，以解决现有技术中文本表示方法孤立地对应于每组文本数据，表达内容单一、无法全面完整地体现文本数据原意的技术问题。

2、本发明的目的之一在于提供一种冰箱。

3、为了实现上述发明目的之一，本发明提供一种基于深度学习的文本表示方法，包括：获取文本数据，提取带有上下文信息的文本特征；根据所述文本特征，计算得到所述文本特征对应的结构语义特征；将所述文本特征和所述结构语义特征融合得到融合特征；对所述融合特征进行解码和计算，获取并输出所述文本数据对应的文本表示信息。

4、作为本发明一实施方式的进一步改进，所述文本数据包括语音文本数据、实时文本数据、评论文本数据和视频文本数据。

5、作为本发明一实施方式的进一步改进，所述“获取文本数据”具体包括：获取实时数据，提取所述实时数据的数据特征；其中，所述实时数据包括实时语音数据和实时视频数据至少其中之一；将所述数据特征输入卷积神经网络模型得到对应的第一文本信息；利用连接时序分类算法将所述第一文本信息和所述数据特征的序列长度进行对齐，并对所述第一文本信息执行全连接组合计算，得到所述文本数据。

6、作为本发明一实施方式的进一步改进，所述实时数据包括实时语音数据，所述方法还包括：基于注意力机制模型，增强所述实时语音数据的语音特征。

7、作为本发明一实施方式的进一步改进，所述“将所述数据特征输入卷积神经网络模型得到对应的第一文本信息”具体包括：将所述数据特征输入多尺寸多通道卷积神经网络模型或蒸馏扩散模型，获得与所述数据特征相符的文本内容。

8、作为本发明一实施方式的进一步改进，在所述“提取所述实时数据的数据特征”之前，所述方法还包括：判断所述实时数据是否包括实时语音数据；若是，则将所述实时语音数据输入所述多尺寸多通道卷积神经网络模型中，获得与所述实时语音数据对应的第一文本信息；且/或，在所述“提取所述实时数据的数据特征”之前，所述方法还包括：判断所述实时数据是否包括实时视频数据；若是，则将所述实时视频数据输入所述蒸馏扩散模型中，获得与所述实时视频数据对应的第一文本信息。

9、作为本发明一实施方式的进一步改进，所述“提取带有上下文信息的文本特征”具体包括：对所述文本数据进行三元组抽取，得到三元组结构，其中，所述三元组抽取包括从所述文本数据中抽取两个实体及所述两个实体之间的关系；将所述三元组结构输入上下文识别模型，获取带有上下文信息的文本特征。

10、作为本发明一实施方式的进一步改进，所述“根据所述文本特征，计算得到所述文本特征对应的结构语义特征”具体包括：根据所述文本特征，提取得到若干结构特征，并根据所述结构特征计算得到所述结构语义特征；其中，所述若干结构特征包括表征所述文本特征语法结构的第一结构特征、表征所述文本特征语义关系的第二结构特征，以及表征所述语法结构和所述语义关系之间联系的第三结构特征至少其中之一。

11、作为本发明一实施方式的进一步改进，所述“根据所述结构特征计算得到所述结构语义特征”具体包括：将所述文本特征输入图注意力机制模型或图神经网络注意力机制模型，计算得到对应于所述结构特征的权重信息，并根据所述权重信息，融合计算得到所述结构语义特征。

12、作为本发明一实施方式的进一步改进，所述“将所述文本特征和所述结构语义特征融合得到融合特征”具体包括：对所述文本特征和所述结构语义特征执行拼接，得到所述融合特征。

13、作为本发明一实施方式的进一步改进，所述“对所述融合特征进行解码和计算，获取并输出所述文本数据对应的文本表示信息”具体包括：采用卷积知识库模型对所述融合特征进行解码，获得与所述融合特征对应的解码特征；将所述解码特征依次输入全连接层，以及带注意力机制模型的softmax函数，计算所述文本特征和所述结构语义特征的得分，并根据得分，筛选得到与所述文本数据对应的文本表示信息。

14、作为本发明一实施方式的进一步改进，在所述“将所述解码特征经全连接层组合后，输入至带注意力机制模型的softmax函数”之前，所述方法还包括：将所述文本数据输入至transformer模型进行编码，获得带键值对关系的文本特征；其中，所述键值对关系表征所述文本数据所在位置和对应文本内容的映射关系；将所述带键值对关系的文本特征和所述解码特征进行特征融合，并对融合后特征进行池化操作，更新所述解码特征。

15、作为本发明一实施方式的进一步改进，所述方法还包括：将所述文本数据对应的文本表示信息转换为语音进行输出，和/或将所述文本数据对应的文本表示信息转换为语音传输至客户端输出，和/或将所述文本数据对应的文本表示信息转换为文本进行输出，和/或将所述文本数据对应的文本表示信息转换为文本传输至客户端。

16、为实现上述发明目的之一，本发明还提供一种冰箱，包括：存储器，用于存储可执行指令；处理器，用于运行所述存储器存储的可执行指令时，实现上述任意所述基于深度学习的文本表示方法的步骤。

17、为实现上述发明目的之一，本发明还提供一种计算机可读存储介质，其存储有可执行指令，所述可执行指令被处理器执行时实现上述任意所述基于深度学习的文本表示方法的步骤。

18、与现有技术相比，本发明实施例具有如下至少一种有益效果：

19、本发明采用基于深度学习的文本表示方法，通过同时考虑文本本身的特征及与其对应的上下文信息，更全面地分析了文本特征信息；同时，通过将文本特征与结构语义特征融合，以生成的融合特征作为解码计算的基础，能够使输出的文本表示信息兼顾实体上内容的准确性与实体间联系，有利于增强文本表示效果，提高文本表示的准确率，提升用户体验效果。

20、另外，通过采用卷积知识库模型对融合特征进行解码，可有效地捕捉文本数据中各实体之间的全局关系和过渡特性，从而更充分地提取文本特征和结构语义特征。并且，通过使用transformer模型，获得带有键值对关系的特征，有效地降低了内存空间的使用、提高了计算效率。