数据处理方法、装置、计算机设备及可读存储介质与流程

文档序号：20920674发布日期：2020-05-29 14:06阅读：124来源：国知局

导航： X技术> 最新专利>计算;推算;计数设备的制造及其应用技术

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算机设备及可读存储介质。

背景技术：

随着科学技术的发展，深度学习的相关技术在诸多自然语言处理领域得到了广泛的应用。在自然语言处理领域，transformer模型取代了传统的循环神经网络模型和卷积神经网络模型，成为当今自然语言处理领域中的主流模型。

为了满足自然语言处理领域的应用，传统技术中，主要采用transformer模型，来对图像数据、语音数据或文本数据进行一系列分析处理，实现模式识别、自动控制、图像识别处理、辅助决策、人工智能等方面的任务。

例如，在实现图像识别处理任务时，原始图像数据的数据量较大，对采集到的原始图像数据进行图像识别处理时，但是，对于任务量较大的数据，采用传统的transformer模型实现目标任务，会导致在任务实现过程中数据运算量较大。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够降低数据运算量的数据处理方法、装置、计算机设备及可读存储介质。

本申请实施例提供一种数据处理方法，所述方法包括：

将待处理数据输入至目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵；其中，所述待处理数据包括语音数据、图像数据以及文本数据，所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型，所述初始神经网络模型包括自注意力机制；

通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵；其中，所述第二稀疏化处理的稀疏化程度与所述第一稀疏化处理的稀疏化程度不同；

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵；

对所述目标稀疏化矩阵进行目标识别处理，得到目标结果。

在其中一个实施例中，所述将待处理数据输入至目标transformer模型，采用所述目标transformer模型中的分步自注意力机制，对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵，包括：

对所述待处理数据进行矩阵运算处理，得到注意力矩阵；

以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，根据所述初始数据以及第一预设距离，对所述注意力矩阵进行稀疏化处理，得到所述第一稀疏化矩阵。

在其中一个实施例中，所述以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，根据所述初始数据以及第一预设距离，对所述注意力矩阵进行稀疏化处理，得到所述第一稀疏化矩阵，包括：

以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，将所述注意力矩阵内与所述初始数据所在位置间隔大于所述第一预设距离位置上的所有数据进行稀疏化处理，得到所述第一稀疏化矩阵。

在其中一个实施例中，所述通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵，包括：

对所述待处理数据进行矩阵运算处理，得到注意力矩阵；

以所述注意力矩阵对角线位置上的数据为所述初始数据，所述目标transformer模型采用所述分步自注意力机制，对所述注意力矩阵内与所述初始数据所在位置间隔所述预设距离对应位置上的数据进行稀疏化处理，得到所述第二稀疏化矩阵。

在其中一个实施例中，所述以所述注意力矩阵对角线位置上的数据为所述初始数据，所述目标transformer模型采用所述分步自注意力机制，对所述注意力矩阵内与所述初始数据所在位置间隔所述预设距离对应位置上的数据进行稀疏化处理，得到所述第二稀疏化矩阵，包括：

以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，依次对所述注意力矩阵内与所述初始数据所在位置间隔整数倍所述预设距离对应位置上的所有数据进行稀疏化处理，得到所述第二稀疏化矩阵。

在其中一个实施例中，所述对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵，包括：

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行算术运算处理，得到中间稀疏化矩阵。

在其中一个实施例中，所述对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行算术运算处理，得到中间稀疏化矩阵，包括：

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行加法运算处理，得到所述目标稀疏化矩阵。

在其中一个实施例中，所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型，包括：

通过训练集以及测试集，对初始transformer模型进行训练处理，得到目标transformer模型。

在其中一个实施例中，所述通过训练集以及测试集，对初始transformer模型进行训练处理，得到目标transformer模型，包括

将所述初始transformer模型中的所述自注意力机制替换为分步自注意力机制，得到中间transformer模型；

通过所述训练集以及测试集，对中间transformer模型进行训练处理，得到所述目标transformer模型。

在其中一个实施例中，所述将待处理数据输入至所述目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵，包括：

将待处理数据输入至目标transformer模型，通过所述目标transformer模型中的分步自注意力机制，对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵。

本申请实施例提供一种数据处理装置，所述数据处理装置包括：

第一稀疏化模块，用于将待处理数据输入至所述目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵；其中，所述待处理数据包括语音数据、图像数据以及文本数据，所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型，所述初始神经网络模型包括自注意力机制；

第二稀疏化模块，用于通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵；其中，所述第二稀疏化处理的稀疏化程度与所述第一稀疏化处理的稀疏化程度不同；

运算模块，用于对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵；

分析模块，用于对所述目标稀疏化矩阵进行目标识别处理，得到目标结果。

本申请实施例提供一种计算机设备，包括存储器、处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵；

对所述目标稀疏化矩阵进行目标识别处理，得到目标结果。

本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵；

对所述目标稀疏化矩阵进行目标识别处理，得到目标结果。

本实施例提供的数据处理方法、装置、计算机设备及可读存储介质，该方法包括将待处理数据输入至目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵，通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵，对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵，对所述目标稀疏化矩阵进行目标识别处理，得到目标结果；该方法可以对复杂度较高的任务实现稀疏化处理，从而减少任务实现过程中的数据运算量。

附图说明

图1为一实施例提供的一种数据处理方法的应用场景图；

图2为一实施例提供的一种数据处理方法的流程示意图；

图3为另一实施例提供的一种数据处理方法的具体流程示意图；

图4为一实施例提供的10*10的注意力矩阵的分布示意图；

图5为一实施例提供的得到的第一稀疏化矩阵的分布示意图；

图6为一实施例提供的一次稀疏化处理后得到的初始稀疏化矩阵的分布示意图；

图7为一实施例提供的二次稀疏化处理后得到的初始稀疏化矩阵的分布示意图；

图8为一实施例提供的第二稀疏化处理后得到的第二稀疏化矩阵的分布示意图；

图9为一实施例提供的一种数据处理装置的结构示意图；

图10为一实施例提供的计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供的数据处理方法可应用于数据量较大的应用任务，该任务可以包括图像识别、模式识别、自动控制、图像识别处理、辅助决策、人工智能等方面。其中，数据处理方法可以适用于数据处理系统，如图1所示，该数据处理系统可以包括计算机设备以及采集设备，该计算机设备可以为平板电脑、笔记本电脑、台式电脑，还可以为具有仿真代码功能的电子设备，上述采集设备可以为摄像设备，用于采集图像数据，还可以为实现其它任务时能够采集对应待处理任务数据的硬件设备。可选的，数据处理系统中的计算机设备与采集设备之间可以通过无线连接或有线连接方式进行通信，实现数据传送。其中，无线连接的方式可以是wi-fi，移动网络或蓝牙连接。可选的，计算机设备可以对采集设备采集到的待处理数据进行稀疏化处理后，在对稀疏后的数据进行目标识别处理，以得到目标结果。在下述实施例中将介绍数据处理方法的具体过程。

需要说明的是，本公开实施例提供的数据处理方法，其执行主体可以是数据处理装置，该数据处理装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图2为一实施例提供的数据处理方法的流程示意图。本实施例涉及的是如何数据进行稀疏化后在进行分析处理的过程。如图2所示，该方法包括：

步骤s1000、将待处理数据输入至目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵。其中，所述待处理数据包括语音数据、图像数据以及文本数据，所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型，所述初始神经网络模型包括自注意力机制。

具体的，计算机设备可以对初始神经网络模型进行训练，得到目标神经网络模型。可选的，上述初始神经网络模型可以为具有自注意力机制的神经网络模型。其中，初始神经网络模型的自注意力机制可以理解为神经网络在计算能力有限的情况下，将计算资源分配给重要程度较高的任务，同时也可以解决数据量较大的任务。可选的，上述初始神经网络模型可以为transformer模型、snail模型、神经图灵机或者生成对抗网络模型。可选的，上述初始神经网络中的自注意力机制可以为全连接的自注意力机制；初始神经网络模型中全连接的自注意力机制可以理解为神经网络在计算能力有限的情况下，将计算资源分配每个任务，每个任务之间均具有相关性。

需要说明的是，初始神经网络模型不能对数据进行稀疏化处理，目标神经网络模型可以对数据进行稀疏化处理。可选的，初始神经网络模型与目标神经网络模型中的机制可以不相同。

进一步地，稀疏化处理可以表征为将待处理数据中重要程度较高的数据保留，将重要程度较低的数据置位一个预设阈值的过程。可选的，待处理数据可以为语音数据、图像数据以及文本数据，还可以为实现图像识别、模式识别、自动控制、图像识别处理、辅助决策、人工智能等应用过程中的原始数据。在本实施例中，目标神经网络模型的任务可以为语义识别。例如，上述待处理数据可以通过3条英文句子对应的三个一维向量表示，每条英文句子中的每个单词可以为向量中的子元素，每个向量的维度可以相同。其中，1条英文句子对应一个一维向量，每个单词中的字母均有其对应的表示数值。也就是，待处理数据可以通过高维向量表示。

步骤s2000、通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵；其中，所述第二稀疏化处理的稀疏化程度与所述第一稀疏化处理的稀疏化程度不同。

在本实施例中，步骤s1000的执行顺序与步骤s2000的执行顺序可以互换，对此执行顺序不做任何限定。可选的，步骤s1000和步骤s2000均是对待处理数据分别采用不同的稀疏化方法进行处理，得到的稀疏化矩阵的稀疏化程度可以不相同。可选的，稀疏化程度可以表征为数据的密集程度。例如，一个矩阵中所有数据均位非0数值时，此时，该矩阵的稀疏化程度较小，若该矩阵中有部分数值为数值0，此时，该矩阵的稀疏化程度较大。

步骤s3000、对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵。

具体的，计算机设备可以对得到的第一稀疏化矩阵与第二稀疏化矩阵进行运算处理，该运算处理可以为算术运算处理、逻辑运算处理、组合运算处理，还可以为其它运算处理。其中，组合运算处理可以为不同运算组合的一种运算。可选的，计算机设备可以对图像识别、模式识别、自动控制、图像识别处理、辅助决策、人工智能等应用过程中的原始数据进行稀疏化处理以及运算处理后，得到目标稀疏化矩阵。

步骤s4000、对所述目标稀疏化矩阵进行目标识别处理，得到目标结果。

具体的，计算机设备可以通过目标神经网络模型采用深度学习算法，对目标稀疏化矩阵进行目标识别处理，得到目标结果。可选的，目标识别处理可以包括实现图像识别、模式识别、自动控制、图像识别处理、辅助决策或人工智能过程中的一系列处理方法，该处理方法可以包括预处理、去噪、特征提取以及分类等方法。例如，若目标识别处理为图像识别处理，需要识别图像中的一个行人，则待处理数据可以为图像数据，对图像数据通过目标神经网络模型经过稀疏化处理后，得到稀疏化后的数据(即目标稀疏化矩阵)，在对稀疏化后的数据进行目标识别处理包括的一系列处理方法之后，可以得到图像中行人对应的数据信息，即目标结果。

本实施例提供的数据处理方法，该方法包括将待处理数据输入至目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵，通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵，对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵，对所述目标稀疏化矩阵进行分析处理，得到目标结果；该方法可以对复杂度较高的任务实现稀疏化处理，以减少任务实现过程中的数据运算量，从而缩小运算时间，降低实现任务的计算成本。

作为其中一个实施例，在步骤s1000中所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型的过程，可以通过以下步骤实现：

步骤s1100、通过训练集以及测试集，对初始transformer模型进行训练处理，得到目标transformer模型。

在本实施例中，上述初始神经网络模型可以为传统的transformer模型。具体的，训练集和测试集可以为与目标transformer模型实现功能相关的历史数据，还可以为与目标实现功能相关采集到的实时数据，实现功能可以理解为实现任务。例如，目标transformer模型的功能是图像识别，则计算机设备可以通过历史图像数据或实时采集到的图像数据对初始transformer模型进行训练处理。

其中，上述步骤s1100中通过训练集以及测试集，对初始transformer模型进行训练处理，得到目标transformer模型的过程，具体可以通过以下步骤实现：

步骤s1110、将所述初始transformer模型中的所述自注意力机制替换为分步自注意力机制，得到中间transformer模型。

具体的，计算机设备可以对初始transformer模型中的节点参数进行初始化，且初始化的节点参数不变，仅将初始transformer模型中的自注意力机制替换为分步自注意力机制，得到中间transformer模型。

步骤s1120、通过所述训练集以及测试集，对中间transformer模型进行训练处理，得到所述目标transformer模型。

具体的，计算机设备可以通过训练集对中间transformer模型进行训练，通过测试集进行验证达到一定准确率时可以得到一个最优模型，该最优模型可以为目标transformer模型。

需要说明的是，目标transformer模型相比于初始transformer模型，主要可以包括输入序列的嵌入层、批归一化层、自注意力层、弃权层、前向传播层、残差连接、线性映射以及softmax层。其中，自注意力层主要可以实现分步自注意力机制。

本实施例提供的数据处理方法，该方法对初始transformer模型进行训练处理以得到目标transformer模型，进而通过目标transformer模型对复杂度较高的任务实现稀疏化处理，以减少任务实现过程中的数据运算量，从而缩小运算时间，降低实现任务的计算成本。

作为其中一个实施例，如图3所示，在图2所示方法的基础上，上述步骤s1000中将待处理数据输入至目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵的过程，可以包括以下步骤：

步骤s1200、将所述待处理数据输入至目标transformer模型，通过所述目标transformer模型中的分步自注意力机制，对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵。

具体的，分步自注意力机制可以包括局部自注意力机制。可选的，计算机设备可以将待处理数据输入至目标transformer模型，通过目标transformer模型中的局部自注意力机制，对待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵。

可选的，上述步骤s1200中将所述待处理数据输入至目标transformer模型，通过所述目标transformer模型中的分步自注意力机制，对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵的过程，具体可以通过以下步骤实现：

步骤s1210、对所述待处理数据进行矩阵运算处理，得到注意力矩阵。

具体的，矩阵运算处理包括算术运算处理以及激活处理。可选的，上述待处理数据可以通过一维列向量形式表示，向量中的子元素长度可以通过d表示，另外，还可以将一维列向量转化为矩阵表示，列向量中的每个子元素可以表示矩阵的其中一行数据；若一维列向量的维度为n，则转化后矩阵的维度为n*m，m表示向量中包含的所有子元素的数量。可选的，若待处理数据可以表示为x，计算机设备可以通过目标transformer模型对待处理数据x进行运算处理，得到查询矩阵q和关键字矩阵k，分别通过公式(1)和公式(2)表示为：

q＝wq*x(1)；

k＝wk*x(2)；

其中，wq、wk分别为两个映射矩阵，这两个映射矩阵可以通过目标transformer模型通过反向传播算法进行训练得到。在本实施例中，上述矩阵运算处理可以为算术运算处理中的乘法运算。然后，目标transformer模型可以通过激活函数对查询矩阵q、关键字矩阵k与向量的子元素进行处理，得到注意力矩阵att。可选的，上述激活函数可以为深度学习中的任意一个激活函数，可以为sigmoid函数、tanh函数以及relu函数等等。其中，目标transformer模型通过激活函数对查询矩阵q、关键字矩阵k与向量的子元素进行处理的过程可以通过公式(3)表示为：

att＝softmax((q*kt))(3)；

其中，softmax()表示激活函数，k^t表示关键字矩阵k的转置处理。可选的，注意力矩阵中的数据可以表征待处理数据中两两子数据之间的相关程度，在本实施例中，可以通过图4表示10*10的注意力矩阵，其中，不同阴影密集度的方框可以表示，两两子数据之间的相关程度不同，注意力矩阵中对角线上的所有方框均可以表示密集度最大的区域，这些数据可以表示待处理数据中子数据的自相关程度。

步骤s1220、以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，根据所述初始数据以及第一预设距离，对所述注意力矩阵进行稀疏化处理，得到所述第一稀疏化矩阵。

具体的，计算机设备可以再以目标transformer模型得到的注意力矩阵对角线位置上的数据为初始数据，目标transformer模型采用局部自注意力机制，根据初始数据以及第一预设距离，将注意力矩阵内与初始数据所在位置间隔大于第一预设距离位置上的所有数据进行稀疏化处理，或者将注意力矩阵内与初始数据所在位置间隔小于等于第一预设距离位置上的所有数据进行稀疏化处理，得到第一稀疏化矩阵。可选的，预设距离可以通过实际任务需求确定，对此不作任何限定。

可选的，上述步骤s1220中以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，根据所述初始数据以及第一预设距离，对所述注意力矩阵进行稀疏化处理，得到所述第一稀疏化矩阵的步骤，具体可以通过以下过程实现：以所述注意力矩阵对角线位置上的数据为初始数据，所述目标transformer模型采用所述分步自注意力机制，将所述注意力矩阵内与所述初始数据所在位置间隔大于所述第一预设距离位置上的所有数据进行稀疏化处理，得到所述第一稀疏化矩阵。

在本实施例中，计算机设备可以将注意力矩阵输入至目标transformer模型后，以注意力矩阵对角线位置上的数据为初始数据，目标transformer模型采用局部自注意力机制，将注意力矩阵内与初始数据所在位置的列间隔大于第一预设距离位置上的所有数据进行稀疏化处理，同时，以及将注意力矩阵内与初始数据所在位置的行间隔大于第一预设距离位置上的所有数据进行稀疏化处理，得到第一稀疏化矩阵。在本实施例中，稀疏化处理可以表征为将非0数据置0的处理。继续参见上一示例，10*10的注意力矩阵中的对角线数上的所有数据可以为初始数据，若第一预设距离为2，则以注意力矩阵中左上角的第一个方框为例，目标transformer模型可以将该注意力矩阵内，与左上角第一个方框的位置间隔两个方框之后同一行位置上的其余数据均置为0(也就是将注意力矩阵内与初始数据所在位置的列间隔大于第一预设距离位置上的所有数据进行稀疏化处理)，同时，目标transformer模型可以将该注意力矩阵内，与左上角第一个方框的位置间隔两个方框之后同一列位置上的其余数据均置为0(也就是将注意力矩阵内与初始数据所在位置的行间隔大于第一预设距离位置上的所有数据进行稀疏化处理)，得到第一稀疏化矩阵，该第一稀疏化矩阵可以通过图5中的所有小方框表示。

本实施例提供的数据处理方法，该方法可以通过训练的目标transformer模型，对待处理数据进行稀疏化处理，以减少任务实现过程中的数据运算量，从而缩小运算时间，降低实现任务的计算成本。

作为其中一个实施例，继续参见图2所示，上述步骤s2000通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵中的过程，可以通过以下方式实现：

步骤s2100、对所述待处理数据进行矩阵运算处理，得到注意力矩阵。

具体的，步骤s2100中对待处理数据进行矩阵运算处理，得到注意力矩阵的过程，与步骤s1210中对待处理数据进行矩阵运算处理，得到注意力矩阵的处理过程可以完全相同，对步骤s3100的详细处理过程本实施例不再赘述。

步骤s2200、以所述注意力矩阵对角线位置上的数据为所述初始数据，所述目标transformer模型采用所述分步自注意力机制，对所述注意力矩阵内与所述初始数据所在位置间隔第二预设距离对应位置上的数据进行稀疏化处理，得到初始稀疏化矩阵。

具体的，第二预设距离可以通过实际任务需求确定，对此不作任何限定；但是，第二预设距离与第一预设距离可以相同，也可以不相同。可选的，分布注意力机制还可以包括空洞自注意力机制。可选的，计算机设备可以再以目标transformer模型得到的注意力矩阵对角线位置上的数据为初始数据，目标transformer模型采用空洞自注意力机制，将注意力矩阵内与初始数据所在位置行间隔第二预设距离位置上的数据，以及将注意力矩阵内与初始数据所在位置列间隔第二预设距离位置上的数据均进行稀疏化处理，得到初始稀疏化矩阵。继续参见上一示例，10*10的注意力矩阵中的对角线数上的所有数据可以为初始数据，若第一预设距离为2，则以注意力矩阵中左上角的第一个方框为例，目标transformer模型可以将该注意力矩阵内，与左上角第一个方框的位置间隔两个方框之后同一行位置上的数据置为0(也就是将注意力矩阵内与初始数据所在位置行间隔第二预设距离位置上的数据置为0)，同时，与左上角第一个方框的位置间隔两个方框之后同一列位置上的数据也置为0(也就是将注意力矩阵内与初始数据所在位置列间隔第二预设距离位置上的数据置为0)，此时，一次稀疏化处理完成，可以得到初始稀疏化矩阵，该初始稀疏化矩阵可以通过图6表示。

步骤s2300、将上一次稀疏化处理的数据作为所述初始数据，将所述初始稀疏化矩阵作为所述注意力矩阵，继续执行所述目标transformer模型采用所述分步自注意力机制，对所述注意力矩阵内与所述初始数据所在位置间隔所述第二预设距离对应位置上的数据进行稀疏化处理，直到所述注意力矩阵内当前数据所处位置与上一次稀疏化处理的数据所在位置之间的间隔距离小于等于所述第二预设距离为止，得到所述第二稀疏化矩阵。

需要说明的是，将步骤s2200中稀疏化处理的数据作为初始数据，将初始稀疏化矩阵作为注意力矩阵，继续执行目标transformer模型采用分步自注意力机制，将注意力矩阵内与初始数据所在位置行间隔第二预设距离位置上的数据，以及将注意力矩阵内与初始数据所在位置列间隔第二预设距离位置上的数据均进行稀疏化处理，此时，表征二次稀疏化处理完成，得到初始稀疏化矩阵可以通过图7表示，然后，依次对注意力矩阵内的其它数据进行稀疏化处理，直到注意力矩阵内当前数据所处位置与上一次稀疏化处理的数据所在位置之间的间隔距离小于等于第二预设距离为止，此时，第二稀疏化处理结束，得到第二稀疏化矩阵，该第二稀疏化矩阵可以通过图8表示。

本实施例提供的数据处理方法，该方法可以通过目标神经网络模型对待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵，进而对第一稀疏化矩阵与第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵，对目标稀疏化矩阵进行分析处理得到目标结果；该方法可以对复杂度较高的任务实现稀疏化处理，以减少任务实现过程中的数据运算量，从而缩小运算时间，降低实现任务的计算成本。

作为其中一个实施例，上述步骤s3000中对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵的过程，可以包括以下步骤：对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行算术运算处理，得到中间稀疏化矩阵。

具体的，上述运算处理可以为算术运算处理，该算术运算处理可以为加法运算处理、减法运算处理、乘法运算处理或除法运算处理。

其中，所述对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行算术运算处理，得到中间稀疏化矩阵，包括：对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行加法运算处理，得到所述目标稀疏化矩阵。

在本实施例中，上述算术运算结果可以为加法运算处理。可选的，计算机设备可以通过目标transformer模型对得到的第一稀疏化矩阵与第二稀疏化矩阵进行加法运算处理，得到目标稀疏化矩阵。

本实施例提供的数据处理方法，该方法可以对第一稀疏化矩阵与第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵，进而实现不同任务应用；该方法可以对复杂度较高的任务实现稀疏化处理，以减少任务实现过程中的数据运算量，从而缩小运算时间，降低实现任务的计算成本。

应该理解的是，虽然图2～图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2～图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述计算机设备的数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图9为一实施例提供的数据处理装置的结构示意图。如图9所示，该系统可以包括：第一稀疏化模块11、第二稀疏化模块12、运算模块13以及分析模块14。

具体的，所述第一稀疏化模块11，用于将待处理数据输入至目标神经网络模型，通过所述目标神经网络模型对所述待处理数据进行第一稀疏化处理，得到第一稀疏化矩阵；其中，所述待处理数据包括语音数据、图像数据以及文本数据，所述目标神经网络模型为对初始神经网络模型进行训练处理得到的模型，所述初始神经网络模型包括自注意力机制；

所述第二稀疏化模块12，用于通过所述目标神经网络模型对所述待处理数据进行第二稀疏化处理，得到第二稀疏化矩阵；其中，所述第二稀疏化处理的稀疏化程度与所述第一稀疏化处理的稀疏化程度不同；

所述运算模块13，用于对所述第一稀疏化矩阵与所述第二稀疏化矩阵进行运算处理，得到目标稀疏化矩阵；

所述分析模块14，用于对所述目标稀疏化矩阵进行目标识别处理，得到目标结果。