一种深度学习模型评测方法、系统、存储介质及设备与流程

1.本发明涉及人工智能技术领域，尤其涉及一种深度学习模型评测方法、系统、存储介质及设备。


背景技术：

2.随着人工智能技术的快速发展，越来越多的深度学习模型通过训练被应用到工业界部署，如用于图像分类的resnet50(一种深度残差网络)、用于目标检测的ssd(深度学习目标识别算法)、用于智能推荐的dlrm(深度学习推荐模型)、用于机器翻译的bert(一种预训练的语言表征模型)等等，同时随着各模型的普遍应用、新兴领域及新的模型不断被提出，以及层出不穷的训练芯片的不断兴起，各厂商及企业越来越多地关注深度学习模型在运行软硬件上的性能效率问题，如各模型在芯片上训练时的资源利用率、数据预处理效率、训练阶段的处理速度，以及训练软件对不同模型的支持性与扩展性等等。
3.现有技术中，在深度学习模型基于软硬件的性能效率以及模型支持性的评估方面，ai(artificial intelligence，人工智能)基准评测框架应运而生，ai基准评测框架通过设定统一的软硬件性能评测标准、支持不同模型的训练，来完成不同深度学习模型在不同软硬件下的训练性能指标评测。
4.现有的ai基准评测包括有tf_cnn_benchmark与mlperf竞赛中使用的框架：tf_cnn_benchmark可支持计算机视觉相关模型的训练与性能基准评测，包括googlenet、resnet50、mobilenet；mlperf中的基准评测框架一般是不同的模型基于不同的软件架构支持和实现，如resnet50评测是基于mxnet实现的软件架构，bert评测是基于pytorch实现的软件架构。
5.现有的基准评测工具的缺点是没有一套通过统一的软件和方法实现多模型支持的通用标准架构：对于tf_cnn_benchmark只支持计算机视觉领域的分类模型，对于自然语言处理、推荐等领域的模型无法支持，同时对于后续人工智能领域可能新增的模型，由于存在接口、软件设计上的问题，无法实现模型的扩展与支持；mlperf中的基准评测软件虽然可以支持计算机视觉、自然语言处理、推荐等领域的多种模型，但它在实现上一般一个模型对应一个单独的评测软件框架，这在软件部署和应用上存在很大的效率问题。


技术实现要素：

6.有鉴于此，本发明的目的在于提出一种深度学习模型评测方法、系统、存储介质及设备，用以解决现有技术中ai基准评测系统中存在的多领域模型扩展支持性差、评测软件与评测标准不统一以及评测效率低的问题。
7.基于上述目的，本发明提供了一种深度学习模型评测方法，包括以下步骤：
8.对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取，以得到多种深度学习模型的共同的基类，并将多种深度学习模型的数据预处理过程中的其余独立特征作为各自的继承类；
9.响应于对多种深度学习模型中的一种深度学习模型进行评测，获取原始训练数据集，并在该深度学习模型中对原始训练数据集进行基于基类的预处理，以得到基类数据集；
10.对基类数据集进行基于该深度学习模型的继承类的预处理，以得到样本数据；
11.基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果；
12.将输出结果与原始训练数据集进行比较，以得到对该深度学习模型的评测结果。
13.在一些实施例中，对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取包括：
14.对多种深度学习模型在数据预处理过程中的对数据缺失值的相同处理方式进行提取，和/或对数值连续的数据进行相同的特征标准化方式进行提取，和/或对类别型数据进行相同的特征编码方式进行提取。
15.在一些实施例中，方法还包括：
16.响应于对原始训练数据集进行新训练数据集的新增，对新训练数据集直接进行基于该深度学习模型的继承类的预处理。
17.在一些实施例中，方法还包括：
18.对多种深度学习模型的前向计算过程、损失度计算过程以及反向计算过程分别建立统一的接口，以分别形成前向计算接口、损失度计算接口以及反向计算接口。
19.在一些实施例中，基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果包括：
20.对样本数据进行前向计算以得到前向输出结果，并对前向输出结果和原始训练数据集的标签值进行损失度计算。
21.在一些实施例中，基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果还包括：
22.对损失度计算的结果进行反向计算，以得到输出结果。
23.在一些实施例中，反向计算包括反向梯度计算。
24.本发明的另一方面，还提供了一种深度学习模型评测系统，包括：
25.特征提取模块，配置用于对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取，以得到多种深度学习模型的共同的基类，并将多种深度学习模型的数据预处理过程中的其余独立特征作为各自的继承类；
26.基类数据集获得模块，配置用于响应于对多种深度学习模型中的一种深度学习模型进行评测，获取原始训练数据集，并在该深度学习模型中对原始训练数据集进行基于基类的预处理，以得到基类数据集；
27.样本数据获得模块，配置用于对基类数据集进行基于该深度学习模型的继承类的预处理，以得到样本数据；
28.结果输出模块，配置用于基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果；以及
29.评测模块，配置用于将输出结果与原始训练数据集进行比较，以得到对该深度学习模型的评测结果。
30.本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，
该计算机程序指令被处理器执行时实现上述方法。
31.本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
32.本发明至少具有以下有益技术效果：
33.本发明的深度学习模型评测方法通过对不同人工智能领域的深度学习模型的共性和差异性的提取，有助于在一套ai基准评测系统中实现评测标准的统一以及模型的定制化标准要求；通过针对多种深度学习模型进行基准评估，实现了对新增深度学习模型的自动化扩展和支持，使得ai软件的评测效率和易用性大幅提升。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
35.图1为根据本发明实施例提供的深度学习模型评测方法的示意图；
36.图2为根据本发明实施例提供的深度学习模型评测系统的示意图；
37.图3为根据本发明实施例提供的实现深度学习模型评测方法的计算机可读存储介质的示意图；
38.图4为根据本发明实施例提供的执行深度学习模型评测方法的计算机设备的硬件结构示意图。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
40.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
41.基于上述目的，本发明实施例的第一个方面，提出了一种深度学习模型评测方法的实施例。图1示出的是本发明提供的深度学习模型评测方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
42.步骤s10、对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取，以得到多种深度学习模型的共同的基类，并将多种深度学习模型的数据预处理过程中的其余独立特征作为各自的继承类；
43.步骤s20、响应于对多种深度学习模型中的一种深度学习模型进行评测，获取原始训练数据集，并在该深度学习模型中对原始训练数据集进行基于基类的预处理，以得到基类数据集；
44.步骤s30、对基类数据集进行基于该深度学习模型的继承类的预处理，以得到样本
数据；
45.步骤s40、基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果；
46.步骤s50、将输出结果与原始训练数据集进行比较，以得到对该深度学习模型的评测结果。
47.本发明实施例的深度学习模型评测方法针对多种深度学习模型进行基准评估，实现了对新增深度学习模型的自动化扩展和支持，使得ai软件的评测效率和易用性大幅提升。
48.在一些实施例中，对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取包括：对多种深度学习模型在数据预处理过程中的对数据缺失值的相同处理方式进行提取，和/或对数值连续的数据进行相同的特征标准化方式进行提取，和/或对类别型数据进行相同的特征编码方式进行提取。
49.在一些实施例中，方法还包括：响应于对原始训练数据集进行新训练数据集的新增，对新训练数据集直接进行基于该深度学习模型的继承类的预处理。
50.在一些实施例中，方法还包括：对多种深度学习模型的前向计算过程、损失度计算过程以及反向计算过程分别建立统一的接口，以分别形成前向计算接口、损失度计算接口以及反向计算接口。
51.在一些实施例中，基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果包括：对样本数据进行前向计算以得到前向输出结果，并对前向输出结果和原始训练数据集的标签值进行损失度计算。
52.在一些实施例中，基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果还包括：对损失度计算的结果进行反向计算，以得到输出结果。
53.在一些实施例中，反向计算包括反向梯度计算。
54.本发明实施例的深度学习模型评测方法实现了多领域模型的自适应支持与扩展。本发明一示例性实施例如下：
55.1)对于不同人工智能领域的深度学习模型的训练中的数据预处理模块，由于不同模型对应不同的数据集，而不同的数据集在预处理方式上既存在一定共性又存在一定独立性，因此，首先定义一个用于数据预处理的基类，该基类实现模型的基本处理，即模型共性部分，不同人工智能领域的深度学习模型在数据预处理时继承此基类，各继承类分别实现对应模型的特殊处理，即独立性部分。对于新增的数据集，可通过继承类的方式进行扩展与支持。这样在ai(artificial intelligence，人工智能)基准评测系统中，不同数据集的调用处理实现了接口的统一与扩展。
56.2)对于不同人工智能领域的深度学习模型，其模型结构和计算特点是存在差异的，同时它们也存在一定的共性，共性是训练过程中都包含前向计算图、loss(损失度)计算、反向计算图模块。针对模型结构和计算特点的差异性，本实施例在模型结构设计与模型调用上，通过不同的模型实现类和软件接口实现，这样更有利于新增模型的扩展；而针对模型在前向计算、loss计算、反向计算中的共性，该模块通过统一的接口实现，这样既实现了接口的统一又可避免冗余的代码调用。
57.3)同时本实施例结合不同人工智能领域的深度学习模型的计算特点和训练特性，将不同模型的共性部分进行提取，在系统中形成了一套基于不同模型的统一评估标准，如模型的前向计算性能、loss收敛效率、反向计算性能等，同时针对不同模型存在的独立性部分，本系统也可实现不同模型的定制性评测标准。
58.综上所述，本实施例结合不同人工智能领域的深度学习模型的共性和差异性，在一套ai基准评测系统中既实现了评测标准的统一，也实现了模型的定制化标准要求。
59.本发明实施例的第二个方面，还提供了一种深度学习模型评测系统。图2示出的是本发明提供的深度学习模型评测系统的实施例的示意图。如图2所示，一种深度学习模型评测系统包括：特征提取模块10，配置用于对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取，以得到多种深度学习模型的共同的基类，并将多种深度学习模型的数据预处理过程中的其余独立特征作为各自的继承类；基类数据集获得模块20，配置用于响应于对多种深度学习模型中的一种深度学习模型进行评测，获取原始训练数据集，并在该深度学习模型中对原始训练数据集进行基于基类的预处理，以得到基类数据集；样本数据获得模块30，配置用于对基类数据集进行基于该深度学习模型的继承类的预处理，以得到样本数据；结果输出模块40，配置用于基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果；以及评测模块50，配置用于将输出结果与原始训练数据集进行比较，以得到对该深度学习模型的评测结果。
60.在一些实施例中，特征提取模块10包括共性特征提取模块，配置用于对多种深度学习模型在数据预处理过程中的对数据缺失值的相同处理方式进行提取，和/或对数值连续的数据进行相同的特征标准化方式进行提取，和/或对类别型数据进行相同的特征编码方式进行提取。
61.在一些实施例中，系统还包括新增数据集模块，配置用于响应于对原始训练数据集进行新训练数据集的新增，对新训练数据集直接进行基于该深度学习模型的继承类的预处理。
62.在一些实施例中，系统还包括接口模块，配置用于对多种深度学习模型的前向计算过程、损失度计算过程以及反向计算过程分别建立统一的接口，以分别形成前向计算接口、损失度计算接口以及反向计算接口。
63.在一些实施例中，结果输出模块40进一步配置用于对样本数据进行前向计算以得到前向输出结果，并对前向输出结果和原始训练数据集的标签值进行损失度计算。
64.在一些实施例中，结果输出模块40进一步还配置用于对损失度计算的结果进行反向计算，以得到输出结果。
65.在一些实施例中，反向计算包括反向梯度计算。
66.本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现深度学习模型评测方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现如下步骤：
67.对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取，以得到多种深度学习模型的共同的基类，并将多种深度学习模型的数据预处理过程中的其余独立特征作为各自的继承类；
68.响应于对多种深度学习模型中的一种深度学习模型进行评测，获取原始训练数据集，并在该深度学习模型中对原始训练数据集进行基于基类的预处理，以得到基类数据集；
69.对基类数据集进行基于该深度学习模型的继承类的预处理，以得到样本数据；
70.基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果；
71.将输出结果与原始训练数据集进行比较，以得到对该深度学习模型的评测结果。
72.在一些实施例中，对多种深度学习模型在各自模型训练过程内的数据预处理过程的共性特征进行提取包括：对多种深度学习模型在数据预处理过程中的对数据缺失值的相同处理方式进行提取，和/或对数值连续的数据进行相同的特征标准化方式进行提取，和/或对类别型数据进行相同的特征编码方式进行提取。
73.在一些实施例中，步骤还包括：响应于对原始训练数据集进行新训练数据集的新增，对新训练数据集直接进行基于该深度学习模型的继承类的预处理。
74.在一些实施例中，步骤还包括：对多种深度学习模型的前向计算过程、损失度计算过程以及反向计算过程分别建立统一的接口，以分别形成前向计算接口、损失度计算接口以及反向计算接口。
75.在一些实施例中，基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果包括：对样本数据进行前向计算以得到前向输出结果，并对前向输出结果和原始训练数据集的标签值进行损失度计算。
76.在一些实施例中，基于样本数据依次进行该深度学习模型的前向计算、损失度计算以及反向计算，以得到输出结果还包括：对损失度计算的结果进行反向计算，以得到输出结果。
77.在一些实施例中，反向计算包括反向梯度计算。
78.应当理解，在相互不冲突的情况下，以上针对根据本发明的深度学习模型评测方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的深度学习模型评测系统和存储介质。
79.本发明实施例的第四个方面，还提供了一种计算机设备，包括如图4所示的存储器402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
80.如图4所示，为本发明提供的执行深度学习模型评测方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与深度学习模型评测系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
81.存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的深度学习模型评测方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储深度学习模型评测方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易
失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
82.处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的深度学习模型评测方法。
83.最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram)，该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram可以以多种形式获得，比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强sdram(esdram)、同步链路dram(sldram)、以及直接rambus ram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
84.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
85.结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。
86.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
87.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
88.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发
明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。