一种卷积神经网络模型构建方法与流程

1.本申请涉及配电网故障预测技术领域，尤其涉及一种卷积神经网络模型构建方法。


背景技术：

2.随着5g时代的到来，越来越多的数据和信息被各类智能终端所收集和处理，以开发更加智能化的应用。其中，对图像类数据的处理和识别能力决定了图像类应用的上限。
3.研究表明，深度学习，特别是卷积神经网络的方法在图像识别领域取得了较好的成绩。由于深度学习方法是一种自适应算法，它不需要人为进行大量的特征工程，这不但减小了人工工作量，而且有效避免了特征选取不当导致的模型效果的不理想。顾名思义，卷积神经网络就是主要由卷积层进行特征提取与结果计算的一类神经网络；而卷积层实质上是一系列特征滤波器的组合，用以提取图像中的不同特征。
4.通过对现有的关于卷积神经网络的研究成果进行分析发现，尽管该类模型在图像识别领域取得了接近人类的成绩，但其一个最大的不足之处在于对资源的消耗。具体来说，现有的卷积神经网络模型的大小动辄在几百兆左右，而且模型的训练需要在性能更加优异的gpu、tpu上进行，尽管这样，其训练时长也是以天或者周为单位进行统计的，训练时长过长。
5.如此庞大的模型不但在存储、传输方面占用更多的资源，而且如果模型的计算周期较长，无法满足实时性要求，其在某些场景下的应用效果将会大打折扣。


技术实现要素：

6.本申请提供了一种卷积神经网络模型构建方法，以解决现有技术的模型不但在存储、传输方面占用更多的资源，而且计算周期较长，无法满足实时性要求的问题。
7.本申请采用的技术方案如下：
8.本发明提供了一种卷积神经网络模型构建方法，包括以下步骤：
9.收集配电网线路相关的数据；
10.对配电网线路相关的数据进行预处理；
11.构建卷积神经网络模型，并基于预处理后的配电网线路相关的的数据，对所述卷积神经网络模型进行训练；
12.对所述训练后的卷积神经网络模型进行轻量化压缩处理。
13.进一步地，对所述训练后的模型进行轻量化压缩处理之后，还包括：
14.基于所述预处理后的配电网线路相关的的数据对所述卷积神经网络模型的池化层分段进行最大池化处理。
15.进一步地，所述分段分为线路运行故障阶段和线路运行正常阶段。
16.进一步地，所述基于所述预处理后的配电网线路相关的的数据对所述卷积神经网络模型的池化层分段进行最大池化处理之后，还包括：
17.利用预处理后的配电网线路相关的的数据，对最大池化处理后的卷积神经网络模型进行二次训练。
18.进一步地，配电网线路相关的数据包括：
19.配电网线路的网架结构、历史运行数据和历史故障检修数据。
20.进一步地，对所述训练后的模型进行轻量化压缩处理，包括：
21.对所述训练后的模型进行轻量化的低精度轻量化和/或模型剪枝压缩处理。
22.采用本申请的技术方案的有益效果如下：
23.本发明的一种卷积神经网络模型构建方法，包括以下步骤：收集配电网线路相关的数据；对配电网线路相关的数据进行预处理；构建卷积神经网络模型，并基于预处理后的配电网线路相关的的数据，对卷积神经网络模型进行训练；对训练后的卷积神经网络模型进行轻量化压缩处理。
24.本发明由于采用了轻量化技术，使得卷积神经网络模型的大小进一步缩小，响应时间进一步提升，模型的资源消耗得以降低；与此同时，采用的分段最大池化技术，能够捕获网架设备之间的拓扑特征信息，从而提升故障预测的效果。
附图说明
25.为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明一实施例的一种卷积神经网络模型构建方法的流程图；
27.图2为本发明一实施例的一种卷积神经网络模型构建方法中的一个典型的卷积神经网络结构图。
具体实施方式
28.下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
29.根据背景技术可以知道，现有技术如此庞大的模型不但在存储、传输方面占用更多的资源，而且如果模型的计算周期较长，无法满足实时性要求，其在某些场景下的应用效果将会大打折扣。因此，研究对模型进行轻量化处理的技术，使其可以在保证一定精确率的前提下，减小资源占用，提升响应速度，具有非常重要的意义。
30.参见图1和图2。
31.本申请提供的一种卷积神经网络模型构建方法，包括以下步骤：
32.s01：收集配电网线路相关的数据；
33.其中，配电网线路相关的数据包括：配电网线路的网架结构、历史运行数据和历史故障检修数据。
34.配电网故障预测主要针对的是具有较长发展周期的趋势性故障、具有累积效应的故障及具一定统计规律的故障等,它以当前设备或系统的状态为起点,结合已知测试对象
的结构特性、运行参数、气象因素、环境条件及历史数据等,对其未来的状态进行预测,从而预知配电网风险,提前检修或预案,保障配电网稳定安全运行。
35.s02：对配电网线路相关的数据进行预处理；
36.预处理的目标是使收集到的数据更加的规范，以便于模型的利用。常用的预处理手段包括：缺失值的处理，包括缺失值的填充、删除；异常值的处理，包括异常值的识别、删除、更改；不一致值的处理，包括将不一致值统一化，例如：对单位不一致的情况进行统一化处理等。
37.预处理后的数据能够便于模型更容易识别出不同类样本之间的特点。
38.s03：构建卷积神经网络模型，并基于预处理后的配电网线路相关的的数据，对所述卷积神经网络模型进行训练；
39.图1为一个基本的卷积神经网络模型结构图。从图中可以看出，卷积神经网络模型包括卷积层、池化层、非线形单元、全连接层。每一层的主要作用如下所述：
40.1)卷积层：是卷积神经网络的核心，又称为特征提取层，主要用于提取图像的特征。其由一组卷积核组成，并且卷积核的权重值可以根据目标函数自动学习更新。
41.2)池化层：又称为下采样层，一般在连续的两层卷积层之间进行降维操作，能够有效减少模型参数量以及减轻网络的过拟合现象，一般有最大池化层(max pool ing)和平均池化层(average pooling)等。
42.3)非线形单元：由非线性激活函数构成，根据其特性分为饱和非线性激活函数，如sigmod函数、tanh函数等，以及不饱和非线性激活函数，如relu函数，leaky relu函数等。非线性单元是对卷积层输出结果做非线性映射，使得神经网络可以任意逼近任何非线性函数，提升了模型的特征表达能力。
43.4)全连接层：通常在神经网络的尾部用于分类任务，会把卷积层输出的二维向量转化为一维向量。
44.s04：对所述训练后的卷积神经网络模型进行轻量化压缩处理；
45.经过s03构建的神经网络模型往往具有很多层，即具有很大的深度。这导致的一个问题就是模型训练及应用过程不仅需要耗费巨大的资源，而且还难以满足时效性的要求。因此，有必要采用轻量化基础对其进行“瘦身”。
46.即对所述训练后的模型进行轻量化的低精度轻量化和/或模型剪枝压缩处理。简单来说，就是可以在低精度轻量化处理和模型剪枝压缩处理中任选一种，也可以都选，这些都是比较成熟的方法。
47.1)低精度轻量化
48.模型的本质其实就是对变量按照一定的结构进行组合，而低精度轻量化就是对模型中的变量进行的操作。例如，对于每一个卷积核，可以采用16位甚至8位的浮点数精度来代替64位精度，这样一来，每一个变量所占的空间就缩小到原来的1/4甚至是1/8。当然，变量精度的变化会带来误差，因此，需要仔细分析对哪些变量进行低精度处理。由于卷积神经网络的总参数量是庞大的，一般来说，经过低精度处理后，模型的大小都会显著降低。
49.2)模型剪枝
50.模型剪枝是一种有效的模型压缩方法。通过对不重要的神经元、滤波器或者通道进行剪枝，能有效压缩模型的参数量和计算量。本发明采用了一种基于稀疏卷积神经网络
的模型剪枝方法。稀疏正则化训练，使得网络部分参数在训练中趋向于0或者等于0，进而获得权重较为稀疏的深度神经网络模型，接着对模型进行剪枝，剪除稀疏的滤波器和通道，最后对模型进行微调，恢复模型精度。
51.s05：基于所述预处理后的配电网线路相关的的数据对所述卷积神经网络模型的池化层分段进行最大池化处理；
52.其中，所述分段分为线路运行故障阶段和线路运行正常阶段。例如：假设采集一个月的某条线路运行的数据，该线路在某两天发生了故障，那么采集到的该时间段的数据就是故障数据；其余时间的数据就是正常数据。
53.由于传统的最大池化层或平均池化层捕捉的特征过于粗糙，因此，本发明采用了一种分段最大池化层来作为模型中的池化层。通过将训练集(预处理后的配电网线路相关的的数据)中的数据分为两段(线路运行故障阶段和线路运行正常阶段)，然后分别在每一段应用最大池化方法。
54.s06：利用预处理后的配电网线路相关的的数据，对最大池化处理后的卷积神经网络模型进行二次训练。
55.二次训练的模型的目的是为了让最大池化层生效。实际上，不加入最大池化层，也是一个完整的故障预测模型，但加入池化层并分段进行最大池化处理，效果仍然可以提升；加入最大池化层的目的就是提升预测的准确性。最大池化层加入之后，其权重仍需要根据故障情况进行调整，因此需要二次训练。
56.由以上可知，本发明提出了一种基于轻量化技术和分段最大池化的卷积神经网络构建方法，通过：(1)采用模型轻量化技术来压缩卷积神经网络模型的大小；(2)进而通过采用分段最大池化的方法来提升模型在配电网线路故障预测问题上的效果。即由于采用了轻量化技术，使得卷积神经网络模型的大小进一步缩小，响应时间进一步提升，模型的资源消耗得以降低；与此同时，采用的分段最大池化技术，能够捕获网架设备之间的拓扑特征信息，从而提升故障预测的效果。
57.本发明的方法可以将传统的卷积神经网络模型进行压缩和提速，在基本不影响模型准确性的前提下，具体表现为：模型的体积有所降低，更便于传输和部署；模型的运行速度更快；模型运行时所占用的计算资源更小。
58.本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。