数据处理方法、装置、计算机设备及可读存储介质与流程

文档序号:20920674发布日期:2020-05-29 14:06阅读:来源:国知局

技术特征:

1.一种数据处理方法,其特征在于,所述方法包括:

将待处理数据输入至目标神经网络模型,通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理,得到第一稀疏化矩阵;其中,所述待处理数据包括语音数据、图像数据以及文本数据,所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型,所述初始神经网络模型包括自注意力机制;

通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理,得到第二稀疏化矩阵;其中,所述第二稀疏化处理的稀疏化程度与所述第一稀疏化处理的稀疏化程度不同;

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理,得到目标稀疏化矩阵;

对所述目标稀疏化矩阵进行目标识别处理,得到目标结果。

2.根据权利要求1所述的方法,其特征在于,所述将待处理数据输入至所述目标神经网络模型,通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理,得到第一稀疏化矩阵,包括:

将所述待处理数据输入至目标transformer模型,通过所述目标transformer模型中的分步自注意力机制,对所述待处理数据进行第一稀疏化处理,得到第一稀疏化矩阵。

3.根据权利要求2所述的方法,其特征在于,所述将待处理数据输入至目标transformer模型,采用所述目标transformer模型中的分步自注意力机制,对所述待处理数据进行第一稀疏化处理,得到第一稀疏化矩阵,包括:

对所述待处理数据进行矩阵运算处理,得到注意力矩阵;

以所述注意力矩阵对角线位置上的数据为初始数据,所述目标transformer模型采用所述分步自注意力机制,根据所述初始数据以及第一预设距离,对所述注意力矩阵进行稀疏化处理,得到所述第一稀疏化矩阵。

4.根据权利要求3所述的方法,其特征在于,所述以所述注意力矩阵对角线位置上的数据为初始数据,所述目标transformer模型采用所述分步自注意力机制,根据所述初始数据以及第一预设距离,对所述注意力矩阵进行稀疏化处理,得到所述第一稀疏化矩阵,包括:

以所述注意力矩阵对角线位置上的数据为初始数据,所述目标transformer模型采用所述分步自注意力机制,将所述注意力矩阵内与所述初始数据所在位置间隔大于所述第一预设距离位置上的所有数据进行稀疏化处理,得到所述第一稀疏化矩阵。

5.根据权利要求4所述的方法,其特征在于,所述通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理,得到第二稀疏化矩阵,包括:

对所述待处理数据进行矩阵运算处理,得到注意力矩阵;

以所述注意力矩阵对角线位置上的数据为所述初始数据,所述目标transformer模型采用所述分步自注意力机制,对所述注意力矩阵内与所述初始数据所在位置间隔不同第二预设距离对应位置上的所有数据进行稀疏化处理,得到所述第二稀疏化矩阵;

以及优选地,所述以所述注意力矩阵对角线位置上的数据为所述初始数据,所述目标transformer模型采用所述分步自注意力机制,对所述注意力矩阵内与所述初始数据所在位置间隔第二预设距离对应位置上的数据进行稀疏化处理,得到所述第二稀疏化矩阵,包括:

以所述注意力矩阵对角线位置上的数据为初始数据,所述目标transformer模型采用所述分步自注意力机制,对所述注意力矩阵内与所述初始数据所在位置间隔所述第二预设距离对应位置上的数据进行稀疏化处理,得到所述初始稀疏化矩阵;

将上一次稀疏化处理的数据作为所述初始数据,将所述初始稀疏化矩阵作为所述注意力矩阵,继续执行所述目标transformer模型采用所述分步自注意力机制,对所述注意力矩阵内与所述初始数据所在位置间隔所述第二预设距离对应位置上的数据进行稀疏化处理,直到所述注意力矩阵内当前数据所处位置与上一次稀疏化处理的数据所在位置之间的间隔距离小于等于所述第二预设距离为止,得到所述第二稀疏化矩阵。

6.根据权利要求1所述的方法,其特征在于,所述对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理,得到目标稀疏化矩阵,包括:

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行算术运算处理,得到中间稀疏化矩阵;

以及优选地,所述对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行算术运算处理,得到中间稀疏化矩阵,包括:

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行加法运算处理,得到所述目标稀疏化矩阵。

7.根据权利要求1所述的方法,其特征在于,所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型,包括:

通过训练集以及测试集,对初始transformer模型进行训练处理,得到目标transformer模型。

8.根据权利要求7所述的方法,其特征在于,所述通过训练集以及测试集,对初始transformer模型进行训练处理,得到目标transformer模型,包括

将所述初始transformer模型中的所述自注意力机制替换为分步自注意力机制,得到中间transformer模型;

通过所述训练集以及测试集,对中间transformer模型进行训练处理,得到所述目标transformer模型。

9.一种数据处理装置,其特征在于,所述装置包括:

第一稀疏化模块,用于将待处理数据输入至目标神经网络模型,通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理,得到第一稀疏化矩阵;其中,所述待处理数据包括语音数据、图像数据以及文本数据,所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型,所述初始神经网络模型包括自注意力机制;

第二稀疏化模块,用于通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理,得到第二稀疏化矩阵;其中,所述第二稀疏化处理的稀疏化程度与所述第一稀疏化处理的稀疏化程度不同;

运算模块,用于对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理,得到目标稀疏化矩阵;

分析模块,用于对所述目标稀疏化矩阵进行分析处理,得到目标结果。

10.一种计算机设备,包括存储器、处理器,所述存储器上存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。


技术总结
本申请提供一种数据处理方法、装置、计算机设备以及可读存储介质,该方法包括将待处理数据输入至目标神经网络模型,通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理,得到第一稀疏化矩阵,通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理,得到第二稀疏化矩阵,对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理,得到目标稀疏化矩阵,对所述目标稀疏化矩阵进行分析处理,得到目标结果;该方法可以对复杂度较高的任务实现稀疏化处理,以减少任务实现过程中的数据运算量。

技术研发人员:周康明;赵佳男
受保护的技术使用者:上海眼控科技股份有限公司
技术研发日:2020.01.15
技术公布日:2020.05.29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1