数据处理方法、装置、设备及存储介质与流程

本申请实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

现有技术中批量规范化(batch-norm)算法用于解决神经网络中数据传输过程中梯度消失的问题。其在神经网络中主要做两件事情，第一件事情是对神经网络中各层的输入数据作归一化处理，使得各层的输入均满足预设的数据分布，第二件事情是对归一化后的输入数据进行线性处理，以使各层的输入数据保持差异化，以便能够更好的使得模型收敛。但是目前batch-norm所做的线性处理仅包括缩放和平移，其在进行线性处理时会使得输入数据损失较多的特征，不利于模型尽快收敛，同时也会影响模型的准确度，使得模型不够准确。

技术实现要素：

本申请实施例提供一种数据处理方法、装置、设备及存储介质，用以减少神经网络各层输入数据特征丢失。

本申请实施例第一方面提供一种数据处理方法，包括：在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定所述第n层网络对应的目标多阶函数；基于所述目标多阶函数对所述第一输入数据进行处理，获得所述第n层网络的第二输入数据；基于所述第二输入数据对所述第n层网络进行训练；其中，n为正整数。

本申请实施例第二方面提供一种数据处理装置，包括：确定模块，用于在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定所述第n层网络对应的目标多阶函数；处理模块，用于基于所述目标多阶函数对所述第一输入数据进行处理，获得所述第n层网络的第二输入数据；训练模块，用于基于所述第二输入数据对所述第n层网络进行训练；其中，n为正整数。

本申请实施例第三方面提供一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

基于以上各方面，本申请实施例通过在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定第n层网络对应的目标多阶函数，并基于目标多阶函数对第一输入数据进行处理，获得第n层网络的第二输入数据，从而基于第二输入数据对第n层网络进行训练。由于本申请实施例在对神经网络中各层网络的输入数据进行处理时，采用的是多阶函数，而不是现有技术中的一阶线性函数，相比于一阶线性函数，多阶函数在对数据处理后能够保留更多的数据细节和数据特征，从而能够提高模型的收敛速度和训练效率，提升模型的准确性。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。

附图说明

图1是现有技术提供的一种神经网络中各层网络的输入数据处理场景示意图；

图2是本申请实施例提供的一种神经网络中各层网络的输入数据处理场景示意图；

图3是本申请实施例提供的一种数据处理方法的流程图；

图4是本申请实施例提供的一种步骤s13的执行方法流程图；

图5是本申请实施例提供的一种数据处理装置的结构示意图；

图6是本申请实施例提供的一种训练模块33的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是现有技术提供的一种神经网络中各层网络的输入数据处理场景示意图，在图1中b0表示输入数据，b1表示神经网络中的某一层网络。如图1所示，在输入数据b0输入b1之前需要经过归一化处理和一阶线性处理，以使各层的输入数据保持差异化。其中，在对输入数据进行线性处理时，现有技术通常采用的方法包括缩放和平移，然而缩放和平移会使得输入数据损失较多的特征，不利于模型尽快收敛，同时也会影响模型的准确度，使得模型不够准确。

图2是本申请实施例提供的一种神经网络中各层网络的输入数据处理场景示意图，在图2中a0表示输入数据，a1表示神经网络中的某一层网络。如图2所示，在输入数据a0输入a1之前需要经过归一化处理和多阶线性处理，其中，本申请实施例中的归一化处理过程与现有技术类似，但是本申请实施例采用多阶函数对输入数据进行处理，不但能够保证各层网络输入数据的差异性，还能够保证输入数据的特征不丢失或者较少的丢失，这样在基于多阶函数处理后的输入数据训练网络层时，就能够使得网路层尽快收敛，进而提高模型的训练效率和准确度。当然上述图2仅是示例性说明，并不是对本申请的唯一限定。

下面结合示例性的实施例对本申请技术方案进行详细的阐述：

图3是本申请实施例提供的一种数据处理方法的流程图，该方法可以由一种数据处理装置来执行，如图3所示，该方法包括s11-s13：

s11、在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定所述第n层网络对应的目标多阶函数，其中，n为正整数。

本实施例中对于“目标多阶函数”的命名仅是用于将第n层网络对应的多阶函数与其他网络层对应的多阶函数进行区别，而不具有其他含义。

本实施例中网络层数与多阶函数之间的关联关系可以根据需要进行设定。比如，在一种可能的设计中，可以设计不同网络层对应的多阶函数的表达形式不同，当各网络层对应的多阶函数的表达形式不同时，各网路层对应的多阶函数的阶数可以相同也可以不同。在另一种可能的设计中，不同网络层对应的多阶函数的表达形式相同，但是不同网络层对应的多阶函数的阶数不同，比如，在一种可能的场景下，在不同网络层对应的多阶函数的表达形式相同时，各网络层对应的多阶函数的阶数可以基于预先设定的网路层数与函数阶数之间的函数关系计算获得。当然上述两种可能的设计仅是示例说明而不是对本申请的唯一限定。

本实施例中涉及的第一输入数据可以是经过归一化处理的输入数据，也可以是未经过归一化处理的输入数据，当第一输入数据未经过归一化处理时，在获取到第一输入数据后，本实施例还可以包括对第一输入数据进行归一化处理的步骤，其具体的归一化方法可以参见现有技术，本实施例中不再赘述。

s12、基于所述目标多阶函数对所述第一输入数据进行处理，获得所述第n层网络的第二输入数据。

举例来说，假设第n层网路对应的多阶函数的表达式为：

x³+x²+x¹+c

其中，c为常数，x为输入数据，则将第一输入数据代入该表达式即可获得第n层网络的第二输入数据。

当然上述仅为示例性说明，而不是对本申请的唯一限定。

s13、基于所述第二输入数据对所述第n层网络进行训练。

本实施例中基于第二输入数据训练第n层网络的方法可以参见现有技术，本实施例中不再赘述。

本实施例通过在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定第n层网络对应的目标多阶函数，并基于目标多阶函数对第一输入数据进行处理，获得第n层网络的第二输入数据，从而基于第二输入数据对第n层网络进行训练。由于本实施例在对神经网络中各层网络的输入数据进行处理时，采用的是多阶函数，而不是现有技术中的一阶线性函数，相比于一阶线性函数，多阶函数在对数据处理后能够保留更多的数据细节和数据特征，从而能够提高模型的收敛速度和训练效率，提升模型的准确性。

下面结合示例性的实施例对上述实施例进行进一步的扩展和优化：

图4是本申请实施例提供的一种步骤s13的执行方法流程图，如图4所示，在图3实施例的基础上，步骤s13可以包括子步骤s21-s22：

s21、对所述第二输入数据进行预设的数据增量处理，获得增量数据。

其中，本实施例中涉及的数据增量处理至少包括如下处理中的一种：

基于gan网络的数据增量处理、数据间的加权求和处理、数据的线性压缩处理、数据的线性平移处理。

其中，在通过数据加权求和得到增量数据的方法中，其可选的操作包括如下几种：

在一种可能的设计中，设置在第二输入数据间进行加权求和处理，参与加权求和的数据可以随机的从第二输入数据中抽取，加权求和的数据个数可以预先设定，也可以随机设定，加权求和中各数据的加权值可以随机获取，也可以各加权求和的数据均采用相同的加权值，比如，在对5个数据进行加权求和时，可以设定各数据的加权值为1/5。当然这里仅为示例说明而不是对本申请的唯一限定。

在另一种可能的设计中，可以将第一输入数据中的数据与第二输入数据中的数据进行加权求和，得到增量数据。与前一种设计类似的，在这种设计中，加权求和的数据个数也以预先设定或者随机设定，但是为了保证各网络层间的输入数据的差异性，在这种设计中，优选的，设置加权求和中最大的加权值总是对应的第二输入数据中的数据。

s22、基于所述第二输入数据和所述增量数据训练所述第n层网络。

本实施例，通过对第二输入数据进行预设的数据增量处理，获得增量数据，并基于第二输入数据和增量数据训练第n层网络，从而使得各网络层能够有充足的数据进行训练，提高了各网络层以及整个神经网络的准确性。

图5是本申请实施例提供的一种数据处理装置的结构示意图，如图5所示，该装置30包括：

确定模块31，用于在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定所述第n层网络对应的目标多阶函数；

处理模块32，用于基于所述目标多阶函数对所述第一输入数据进行处理，获得所述第n层网络的第二输入数据；

训练模块33，用于基于所述第二输入数据对所述第n层网络进行训练；

其中，n为正整数。

可选的，在所述关联关系中不同网络层对应的多阶函数的表达形式不同。

可选的，在所述关联关系中不同网络层对应的多阶函数的阶数不同。

本实施例提供的装置能够用于执行图3实施例的方法，其执行方式和有益效果类似在这里不再赘述。

图6是本申请实施例提供的一种训练模块33的结构示意图，如图6所示，在图5实施例的基础上，训练模块33，包括：

数据增量子模块331，用于对所述第二输入数据进行预设的数据增量处理，获得增量数据；

训练子模块332，用于基于所述第二输入数据和所述增量数据训练所述第n层网络。

可选的，所述预设的数据增量处理至少包括如下处理中的一种：

基于gan网络的数据增量处理、数据间的加权求和处理、数据的线性压缩处理、数据的线性平移处理。

本实施例提供的装置能够用于执行图4实施例的方法，其执行方式和有益效果类似在这里不再赘述。

本申请实施例还提供一种计算机设备，包括：一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。

本实施例通过在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定第n层网络对应的目标多阶函数，并基于目标多阶函数对第一输入数据进行处理，获得第n层网络的第二输入数据，从而基于第二输入数据对第n层网络进行训练。由于本实施例在对神经网络中各层网络的输入数据进行处理时，采用的是多阶函数，而不是现有技术中的一阶线性函数，相比于一阶线性函数，多阶函数在对数据处理后能够保留更多的数据细节和数据特征，从而能够提高模型的收敛速度和训练效率，提升模型的准确性。

本申请实施例还提供在一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法。

本实施例通过在获取到神经网络中第n层网络的第一输入数据后，基于预设的网络层数与多阶函数之间的关联关系，确定第n层网络对应的目标多阶函数，并基于目标多阶函数对第一输入数据进行处理，获得第n层网络的第二输入数据，从而基于第二输入数据对第n层网络进行训练。由于本实施例在对神经网络中各层网络的输入数据进行处理时，采用的是多阶函数，而不是现有技术中的一阶线性函数，相比于一阶线性函数，多阶函数在对数据处理后能够保留更多的数据细节和数据特征，从而能够提高模型的收敛速度和训练效率，提升模型的准确性。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。