一种数据处理方法、装置、设备及计算机可读存储介质与流程

本申请涉及计算机技术领域，特别涉及一种数据处理方法，还涉及一种数据处理装置、设备以及计算机可读存储介质。

背景技术

随着时代发展，人们希望机器可以更加智能化，并可以按需适应和改变，由此，深度学习应运而生。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，进一步完成相关数据的处理。

目前，深度学习方面的研究主要以cnn(convolutionalneuralnetworks卷积神经网络)为研究对象，而由于处理场景的不同，对cnn的性能要求也不相同，从而发展出多种网络结构。但是cnn的基本组成是固定的，分别为输入层、卷积层、激活层、池化层和全连接层。其中，输入层是将待处理数据输入到cnn网络中；卷积层是神经元与输入层中的一个局部区域相连，每个神经元都计算自己与输入层相连的小区域与自己权重的内积，也就是进行卷积核运算的一层；激活层将会逐个元素地进行激活函数操作，该层对数据尺寸没有改变；池化层在在空间维度(宽度和高度)上进行降采样操作，数据的尺寸一般会变小；全连接层将会计算分类评分，数据尺寸变为[1x1xn]，其中n个数字对应的就是数据库中n个类别的分类评分值。同样的，cnn的学习框架种类繁多，比较常见的框架有caffe、torch、tensorflow等。

然而，目前cnn网络的实现方案中基本都是针对某一特定网络、特定框架利用高级计算机语言进行编译处理，后台再将其具体实现在fpga平台上。此外，对于某一特定网络，其对应的处理方式也并不唯一，如对待处理数据进行卷积处理时，其对应的卷积核尺寸多种多样；对待处理数据进行激活处理时，也可基于不同的激活函数实现；对待处理数据进行池化处理时，其池化方式也可分为最大值池化、均值池化等；由此，当需要通过cnn网络中的某一特定网络对待处理数据进行处理时，则需要编写不同的计算机算法实现。进一步，当待处理数据较多，且数据处理方式并不唯一时，则需要不断地更新计算机算法，以满足数据处理的需求，由此，数据处理的效率大大降低；此外，由于计算机算法的更新一般是由技术人员人工进行的，很容易出现编写错误，不仅造成了人力浪费，其编写过程、查错过程也进一步造成了时间浪费，从而降低了数据处理效率。

因此，如何更加快速地实现数据处理，减少时间浪费与人力成本，进一步避免人为错误，提高数据处理效率是本领域技术人员亟待解决的问题。

技术实现要素：

本申请的目的是提供一种数据处理方法，该数据处理方法可以更加快速地实现数据处理，有效减少了时间浪费与人力成本，进一步避免了人为错误，大大提高了数据处理效率；本申请的另一目的是提供一种数据处理装置、设备以及计算机可读存储介质，也具有上述有益效果。

为解决上述技术问题，本申请提供了一种数据处理方法，所述数据处理方法包括：

接收待处理数据以及对应的数据处理参数信息；

根据所述数据处理参数信息调用对应的计算脚本；

通过所述计算脚本对所述待处理数据进行处理，获得处理结果。

优选的，所述根据所述数据处理参数信息调用对应的计算脚本之前，还包括：

对所述数据处理参数信息进行识别，获得数据格式信息；其中，所述数据格式信息包括计算数据格式；

判断所述待处理数据是否满足所述计算数据格式；

若不满足所述计算数据格式，则对所述待处理数据进行格式转换，获得满足所述计算数据格式的待处理数据。

优选的，所述数据格式信息还包括输出数据格式；则所述通过所述计算脚本对所述待处理数据进行处理，获得处理结果之后还包括：

判断所述处理结果是否满足所述输出数据格式；

若不满足所述输出数据格式，则对所述处理结果进行格式转换，获得满足所述输出数据格式的处理结果。

优选的，所述根据所述数据处理参数信息调用对应的计算脚本，包括：

对所述数据处理参数信息进行识别，获得脚本参数信息；

根据所述脚本参数信息调用所述计算脚本。

优选的，所述计算脚本基于dsp阵列运行。

优选的，所述dsp阵列为7*7阵列。

优选的，所述计算脚本包括卷积处理脚本，激活处理脚本，归一化处理脚本，池化处理脚本。

为解决上述技术问题，本申请提供了一种数据处理装置，所述数据处理装置包括：

数据接收模块，用于接收待处理数据以及对应的数据处理参数信息；

脚本调用模块，用于根据所述数据处理参数信息调用对应的计算脚本；

数据处理模块，用于通过所述计算脚本对所述待处理数据进行处理，获得处理结果。

为解决上述技术问题，本申请提供了一种数据处理设备，所述数据处理设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一种数据处理方法的步骤。

为解决上述技术问题，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种数据处理方法的步骤。

本申请所提供的一种数据处理方法，包括接收待处理数据以及对应的数据处理参数信息；根据所述数据处理参数信息调用对应的计算脚本；通过所述计算脚本对所述待处理数据进行处理，获得处理结果。

可见，本申请所提供的数据处理方法，预先在相应的开发板上对深度学习网络中的各个网络算法进行配置，完成了各个网络算法架构的构建，当需要基于某一特定网络对待处理数据进行处理时，即可基于对应的数据处理参数信息调用相应的网络算法的计算脚本，并通过调用的计算脚本完成对待处理数据的处理。该种数据处理方法只需对各个网络算法进行一次编写，并构建于相应的开发板上，而无需技术人员对计算机算法进行多次编写，由此，可更加快速地实现数据处理，有效减少了时间浪费与人力成本，进一步避免了人为错误，大大提高了数据处理效率。

本申请所提供的一种数据处理装置、设备以及计算机可读存储介质，也具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请所提供的一种数据处理方法的流程示意图；

图2为本申请所提供的另一种数据处理方法的流程示意图；

图3为本申请所提供的一种数据处理装置的结构示意图；

图4为本申请所提供的另一种数据处理装置的结构示意图；

图5为本申请所提供的一种数据处理设备的结构示意图。

具体实施方式

本申请的核心是提供一种数据处理方法，该数据处理方法可以更加快速地实现数据处理，有效减少了时间浪费与人力成本，进一步避免了人为错误，大大提高了数据处理效率；本申请的另一核心是提供一种数据处理装置、设备以及计算机可读存储介质，也具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的一种数据处理方法的流程示意图，该数据处理方法可以包括：

s101：接收待处理数据以及对应的数据处理参数信息；

具体的，当需要对数据进行处理时，可将该数据作为待处理数据发送至处理器，由处理器对待处理数据进行处理。同时，由于处理器上预先配置有多种网络算法，在发送待处理数据的同时，还需将待处理数据对应的数据处理参数信息一同发送至处理器，该数据处理参数信息中可包括相应网络算法的各类参数信息，如数据格式、相关算法参数、相关函数信息等，由此，即可根据该数据处理参数信息确定待处理数据所需的处理方式，并完成数据处理。

此外，对于上述处理器的类型，或为cpu，或为fpga，其选择类型并不影响本技术方案的实施。在本申请中，所选用的为fpga加速板，fpga加速板可灵活的实现各种网络架构，又由于fpga加速板内部采用标准的元件，其速度和硬件资源开销均可控制，可靠性更高。

其中，对于上述待处理数据，其数量并不唯一，可以为通过某个特定网络算法对一个待处理数据进行处理，获得对应的处理结果；可以为通过某个特定网络算法对多个待处理数据进行相同的处理，获得各个待处理数据对应的处理结果；也可以为通过多个选定的网络算法对一个数据进行多种处理，获得各种不同的网络算法对应的处理结果；还可以为通过多个选定的网络算法对多个数据进行各种不同的处理，例如，当接收到的待处理数据的数量为10个时，可对其中五个进行池化处理，对另外五个进行激活处理，以获得各自对应的处理结果。总之，无论基于哪种网络算法实现数据的处理过程，只需将待处理数据及其对应的数据处理参数信息一同发送至处理器即可。进一步，对于待处理数据的类型，可以为图像数据、视频数据、文字数据等，本申请不做具体限定；同时，对于待处理数据的来源，可基于相应的采集设备进行采集获得，也可以由用户直接基于客户端发送获得，本申请同样不做具体限定。

s102：根据数据处理参数信息调用对应的计算脚本；

具体的，在获得待处理数据及其对应的数据处理参数信息后，即可基于其数据处理参数信息调用相应的计算脚本，例如，当需要对待处理数据进行卷积计算时，即可根据数据处理参数信息中的各类卷积参数调用卷积运算的计算脚本；当需要对待处理数据进行激活处理，即可根据数据处理参数信息中的函数类型调用对应函数的计算脚本等。当然，以上计算脚本仅为本申请所提供的一种实施方式，并不唯一，还可以包括其他计算脚本。

优选的，上述计算脚本可以包括卷积处理脚本，激活处理脚本，归一化处理脚本，池化处理脚本。

具体的，在本申请中所提供的一种具体实施方式中，在开发板上预先构建了一套完整的cnn网络算法中的各类算法对应的计算脚本，可包括卷积处理脚本，激活处理脚本，归一化处理脚本，池化处理脚本。在对数据进行处理时，既可选定其中一种计算脚本对待处理数据进行处理，又可基于整套的计算脚本对待处理数据完成完整的cnn网络处理，更加简单快捷。

当然，上述整套cnn网络算法的构建仅为本申请所提供的一种实施方式，还可以为完整的dnn网络算法、循环网络算法等其它算法，并不唯一。

优选的，上述根据数据处理参数信息调用对应的计算脚本，可以包括：对数据处理参数信息进行识别，获得脚本参数信息；根据脚本参数信息调用计算脚本。

具体的，在根据数据处理参数信息进行计算脚本的调用时，可先对数据处理参数信息进行识别，以获得相应的脚本参数信息，并进一步根据脚本参数信息调用对应的计算脚本。

其中，上述脚本参数信息即为各个计算脚本对应的配置参数信息，以上述cnn网络算法为例，对于卷积处理脚本，其相应的脚本参数信息可以包括卷积核尺寸、卷积核滑动步长、卷积核空洞尺寸等，可支持不同卷积核尺寸任意格式的卷积计算；对于激活处理脚本，其相应的脚本参数信息可以包括激活模式使能、激活模式选择等，可支持relu、sigmod、tanh等激活函数；对于归一化处理脚本，其相应的脚本参数信息可以为不同的归一化参数，如γ、β等，可实现y(k)＝γx(k)+β；对于池化处理脚本，其相应的脚本参数信息可包括池化模使能、池化模式选择、池化窗口尺寸、池化窗口移动步长等，可支持最大值池化算法和均值池化算法。

优选的，上述计算脚本可基于dsp阵列运行。

具体的，对于上述计算脚本，可基于dsp阵列实现运行。对于卷积处理脚本，通过不同的脚本参数信息，使能不同数目的dsp阵列，即可实现不同尺寸的卷积运算；对于激活处理脚本，通过将待处理数据以及激活函数同时输入至该dsp阵列中，即可得到相应的处理结果；对于归一化处理脚本，将待处理数据和归一化参数输入dsp阵列中，对待处理其数据和归一化参数进行加乘运算操作，即可获得相应的处理结果；对于池化处理脚本，将一组待处理数据输入dsp阵列，根据配置模式和配置的池化尺寸，对其进行不同的处理，当选择最大值池化模式时，可从特定尺寸的区域内选择出最大值，当选择均值池化模式时，则可从特定尺寸的区域内进行累加，求出平均值。

优选的，上述dsp阵列可以为7*7阵列。

具体的，通过对主要的cnn网络结构研究之后发现，7*7及以下尺寸的卷积是最常用的，因此，上述dsp阵列可选用7*7阵列，即中间是7*7个dsp组成的阵列，每个dsp单元都有独立的控制逻辑，可以单独控制其开启或者关闭。因此，该7*7阵列可以并行计算1个7*7/6*6/5*5/4*4卷积运算，或者4个3*3卷积运算，或者9个2*2卷积运算，或者49个1*1卷积运算。

s103：通过计算脚本对待处理数据进行处理，获得处理结果。

具体的，在调用获得所需的计算脚本后，即可基于该计算脚本实现对待处理数据的处理，获得相应的处理结果。

本申请所提供的数据处理方法，预先在相应的开发板上对深度学习网络中的各个网络算法进行配置，完成了各个网络算法架构的构建，当需要基于某一特定网络对待处理数据进行处理时，即可基于对应的数据处理参数信息调用相应的网络算法的计算脚本，并通过调用的计算脚本完成对待处理数据的处理。该种数据处理方法只需对各个网络算法进行一次编写，并构建于相应的开发板上，而无需技术人员对计算机算法进行多次编写，由此，可更加快速地实现数据处理，有效减少了时间浪费与人力成本，进一步避免了人为错误，大大提高了数据处理效率。

在上述各个实施例的基础上，请参考图2，图2为本申请所提供的另一种数据处理方法的流程示意图。

作为一种优选实施例，上述根据数据处理参数信息调用对应的计算脚本之前，还包括：

s202：对数据处理参数信息进行识别，获得数据格式信息；其中，数据格式信息包括计算数据格式；

s203：判断待处理数据是否满足计算数据格式；

s204：若待处理数据不满足计算数据格式，则对待处理数据进行格式转换，获得满足计算数据格式的待处理数据；

s205：若待处理数据满足计算数据格式，则执行根据数据处理参数信息调用对应的计算脚本的步骤。

具体的，对于上述数据处理参数信息还可包括数据格式信息，当对待处理数据通过不同的网络算法进行不同的处理时，其对应的计算格式各不相同。因此，在接收到待处理数据及其对应的数据处理参数信息后，即可对数据处理参数信息进行识别，获得待处理数据的数据格式信息，其中该数据格式信息可包括对待处理数据进行网络运算的计算数据格式；进一步，即可判断待处理数据是否满足上述计算数据格式，若满足其计算数据格式，则无需进行格式转换，直接对接收到的待处理进行后续处理即可；若不满足其计算格式，则需先对接收到的待处理数据进行格式转换，获得满足计算数据格式的待处理数据，最后再对满足计算数据格式的待处理数据进行后续处理。

优选的，上述数据格式信息还包括输出数据格式；则上述通过计算脚本对待处理数据进行处理，获得处理结果之后还可以包括：

s207：判断处理结果是否满足输出数据格式；

s208：若处理结果不满足输出数据格式，则对处理结果进行格式转换，获得满足输出数据格式的处理结果。

具体的，与上述待处理数据的格式转换过程相类似，根据用户不同的需求，可能需要对最终获得的处理结果的数据格式有所限制，因此，上述数据格式信息还可包括输出数据格式。具体而言，在基于计算脚本完成对待处理数据的处理，获得处理结果后，可判断其处理结果的数据格式是否满足预先设定的输出数据格式，若不满足输出数据格式，则可进一步对处理结果进行格式转换，获得满足输出数据格式的处理结果，最后将其输出；若获得的处理结果满足上述输出数据格式，则直接将处理结果输出即可。

其中，对于上述各类数据格式，本申请不做具体限定，不同的网络算法可对应于不同的计算数据格式，不同的客户需求可对应于不同的输出数据格式，例如，在本申请中，可同时实现对int8、int16、int32、fp32、fp16等数据格式的支持。

为解决上述问题，请参考图3，图3为本申请所提供的一种数据处理装置的结构示意图，该数据处理装置可包括：

数据接收模块10，用于接收待处理数据以及对应的数据处理参数信息；

脚本调用模块20，用于根据数据处理参数信息调用对应的计算脚本；

数据处理模块30，用于通过计算脚本对待处理数据进行处理，获得处理结果。

在上述实施例的基础上，请参考图4，图4为本申请所提供的另一种数据处理装置的结构示意图。

作为一种优选实施例，该数据处理装置还可以包括：

第一数据转换模块40，用于对数据处理参数信息进行识别，获得数据格式信息；其中，数据格式信息包括计算数据格式；判断待处理数据是否满足计算数据格式；若不满足计算数据格式，则对待处理数据进行格式转换，获得满足计算数据格式的待处理数据。

作为一种优选实施例，上述脚本调用模块20可以包括：

信息识别子模块21，用于对数据处理参数信息进行识别，获得脚本参数信息；

脚本调用子模块22，用于根据脚本参数信息调用计算脚本。

作为一种优选实施例，该数据处理装置还可以包括：

第二数据转换模块50，用于判断处理结果是否满足输出数据格式；若不满足输出数据格式，则对处理结果进行格式转换，获得满足输出数据格式的处理结果。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，请参考图5，图5为本申请所提供的一种数据处理设备的结构示意图，该数据处理设备可包括：

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序时可实现如下骤：

接收待处理数据以及对应的数据处理参数信息；根据数据处理参数信息调用对应的计算脚本；通过计算脚本对待处理数据进行处理，获得处理结果。

对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下骤：

接收待处理数据以及对应的数据处理参数信息；根据数据处理参数信息调用对应的计算脚本；通过计算脚本对待处理数据进行处理，获得处理结果。

该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的数据处理方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。