数据处理方法、装置、可读存储介质及电子设备与流程

文档序号:33324215发布日期:2023-03-03 22:17阅读:来源:国知局

技术特征:
1.一种数据处理方法,其特征在于,包括:获取基于不同设计规则的多个队列数据;将所述多个队列数据进行归一化处理后存入共享数据库中;获取用户的输入数据,及用户选择的检索模式;所述检索模式包括单模态检索模式和多模态检索模式;根据所述输入数据和所述检索模式从所述共享数据库中筛选检索结果。2.根据权利要求1所述的方法,其特征在于,所述将所述多个队列数据进行归一化处理后存入共享数据库中,包括:基于预先确定的归一化标签对所述多个队列数据进行归一化处理,去除重复数据;将去除所述重复数据后的所述多个队列数据映射为单模态向量和/或多模态向量;将所述多个队列数据的相关属性存入所述共享数据库中;所述多个队列数据的相关属性包括:队列标识、单模态向量、单模态向量类型、多模态向量、归一化标签、文本描述、图像地址中的至少一个。3.根据权利要求1所述的方法,其特征在于,所述输入数据包括输入文本和输入图像,所述根据所述输入数据和所述检索模式从所述共享数据库中筛选检索结果,包括:在所述检索模式为所述单模态检索模式的情况下,从所述共享数据库中筛选与所述输入文本语义相同或相近的文本作为所述检索结果,或筛选与所述输入图像语义相同或相近的图像作为所述检索结果;或在所述检索模式为所述多模态检索模式的情况下,从所述共享数据库中筛选与所述输入数据语义相同或相近的文本和/或图像作为所述检索结果。4.根据权利要求3所述的方法,其特征在于,所述从所述共享数据库中筛选与所述输入数据语义相同或相近的文本和/或图像作为所述检索结果,包括:通过多模态检索模型计算所述输入数据与所述共享数据库中的数据的相似度;按照所述相似度的大小将所述共享数据库中的数据进行降序排列,将排序在前面的预定数量个所述数据作为所述检索结果。5.根据权利要求4所述的方法,其特征在于,所述多模态检索模型的训练方法包括:获取多个样本数据对;所述样本数据对包含具有相同所述归一化标签的文本和图像;对于所述多个样本数据对中的每一个样本数据对:通过卷积神经网络获取所述样本数据对中的图像的第一向量表示,通过bert模型获取所述样本数据对中的文本的第二向量表示;通过多层全连接层分别提取所述第一向量表示的第一特征,和所述第二向量表示的第二特征;通过所述多个样本数据对的所述第一特征与所述第二特征的相同所述归一化标签得到损失函数;通过所述损失函数训练预训练模型得到所述多模态检索模型。6.根据权利要求5所述的方法,其特征在于,所述损失函数的计算公式包括:其中,loss为所述损失函数,n为所述样本数据对的数量,p为多模态向量投影矩阵,u为所述样本数据对中的图像的表示矩阵,v为所述样本数据对中的文本的表示矩阵,y为所述
归一化标签的标签矩阵,||
·
||
f
为求范数操作。7.一种数据处理装置,其特征在于,包括:获取模块,用于获取基于不同设计规则的多个队列数据;处理模块,用于将所述多个队列数据进行归一化处理后存入共享数据库中;所述获取模块,还用于获取用户的输入数据,及用户选择的检索模式;所述检索模式包括单模态检索模式和多模态检索模式;检索模块,用于根据所述输入数据和所述检索模式从所述共享数据库中筛选检索结果。8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于基于预先确定的归一化标签对所述多个队列数据进行归一化处理,去除重复数据;将去除所述重复数据后的所述多个队列数据映射为单模态向量和/或多模态向量;将所述多个队列数据的相关属性存入所述共享数据库中;所述多个队列数据的相关属性包括:队列标识、单模态向量、单模态向量类型、多模态向量、归一化标签、文本描述、图像地址中的至少一个。9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。10.一种电子设备,其特征在于,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-6中任一项所述方法的步骤。

技术总结
本公开涉及一种数据处理方法、装置、可读存储介质及电子设备,该方法包括:获取基于不同设计规则的多个队列数据;将多个队列数据进行归一化处理后存入共享数据库中;获取用户的输入数据,及用户选择的检索模式;检索模式包括单模态检索模式和多模态检索模式;根据输入数据和检索模式从共享数据库中筛选检索结果。通过将各个研究团队基于不同设计规则得到的多个队列数据进行归一化处理,去除多个队列数据中的重复数据后存入共享数据库中,从而实现了不同队列数据的交叉融合,便于用户后期通过单模态检索模式或多模态检索模式对多个队列数据进行检索、利用。利用。利用。


技术研发人员:孙小婉 赵耕弘 蔡巍 张霞
受保护的技术使用者:沈阳东软智能医疗科技研究院有限公司
技术研发日:2022.11.04
技术公布日:2023/3/2
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1