卷积神经网络的样本优化训练方法及计算机可读存储介质

1.本发明属于预测应用场景神经网络模型构建技术领域，尤其涉及一种卷积神经网络的样本优化训练方法及计算机可读存储介质。


背景技术：

2.由于精密监测设备往往被投放到外部环境恶劣的场景中，这样使用场景常常会导致外界环境发生较大的改变，精密监测设备应用的外界环境较为恶劣因此发生的故障频率以及故障类型也会比常规场景要多，因此不能简单将常规工况下的故障诊断方法（或是检测手段）研究结果应用于上述使用场景中。
3.在基于数据实现的故障诊断方法中，rnn、svm、ann等大多数模型得到了广泛的应用；同上述数据模型可以对故障诊断结果得到良好的预测以及给出诊断结果；但是研究发现这种故障样本的基础数据往往还是通过常规实验进行真实采集，这样就容易造成训练集不够使用（无法获得较高且真实的训练集），然而同时更为严重的后果容易造成模型过拟合问题；进一步的研究发现，即便是获得了相关较多的数量的训练集样本，如果不能有效的进行优化（多种故障耦合等），则无法有针对性对典型故障进行精准预测，进而容易造成模型预测精度的下降。


技术实现要素：

4.本发明的目的在于卷积神经网络的样本优化训练方法及计算机可读存储介质，用以解决背景技术中指出的上述技术问题。为了达到上述目的，在本发明的第一个方面，提供了一种卷积神经网络的样本优化训练方法，流程为：预处理操作：调用待优化的文本分析模型；文本分析模型用于收集多个训练样本直至获得目标数量个训练样本集合以优化该文本分析模型；所述文本分析模型还用于针对训练样本进行测试故障鉴定结果的预测，实现当前测试样本针对测试故障鉴定结果进行计算输出概率分布；获取仿真训练样本：获取仿真方式获得的仿真数据集形成的多个训练样本，然后将当前多个当前训练样本输入上述文本分析模型中进行测试输出；针对每个仿真训练样本得到输出概率分布生成k个标准目标故障种类的测试故障鉴定结果；其中，i为仿真训练样本；获取的多个仿真训练样本的数量为m个；通过典型样本对仿真训练样本进行优化筛选：调用实验验证的测试数据集形成的多种种类的典型样本；从多种种类的典型样本中获取筛选后的同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本，通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本；将多个目标典型样本输入上述文本分析模型中进行测试输出，得到输出概率分布生成k个标准目标故障种类的测试故障鉴定结果；然后根据
当前训练样本以及多个目标典型样本进行各自计算按照对应输出概率分布产生的测试故障鉴定结果的最小均方误差，针对当前训练样本以及多个目标典型样本各自计算得到的最小均方误差进行混合排序，在排序时按照最小均方误差由小到大增大方向进行排序得到模型最小均方误差列表；然后从模型最小均方误差列表中选出含有当前仿真训练样本的前个仿真训练样本作为当前仿真训练样本的精选样本；不断获取计算多个仿真训练样本的精选样本组合形成实时仿真训练样本集合；设置优化收集条件：在实时仿真训练样本集合构建的文本分析模型基础上，基于代价函数的变化趋势、文本分析模型中的train loss以及test loss变化趋势设置模型计算的收集收敛条件；模型最小均方误差列表必须含有当前的训练样本；需要不断的更新训练样本集合，将其填充进去形成新的初始典型样本；完成文本分析模型优化收集操作：文本分析模型收集的多个训练样本的操作过程，在检测发现不断仿真模拟q次数后达到预设收集收敛条件，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛过程，此时将迭代获得的目标数量个训练样本集合作为最优训练集合。
5.较佳地，作为一种可实施方式；从多种种类的典型样本中获取筛选后的同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本，通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本，包括：筛选多种种类的典型样本，其中不同典型样本各自含有不同数量个标准目标故障种类的测试故障鉴定结果形成的典型样本；仅筛选获取同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本；基于文本相似度进行分析时，提取人工筛选的当前仿真训练样本的特征文本，利用所述特征文本构成基本特征文本；利用所述基本特征文本在多个初始典型样本中间进行搜索，并计算所述人工筛选的当前仿真训练样本的特征文本与搜索得到的初始典型样本的文本相似度得到相似度实时计算值；将不符合高相似度阈值条件的初始典型样本进行剔除，将符合高相似度阈值条件的初始典型样本进行保留，以此找到初始典型样本中的多个目标典型样本。
6.较佳地，作为一种可实施方式；设置优化收集条件：基于代价函数的变化趋势、文本分析模型中的train loss以及test loss变化趋势设置模型计算的收集收敛条件，包括：在实时仿真训练样本集合构建的文本分析模型基础上，进行当前模型的仿真训练样本收集同时使用验证集进行验证，同时记录验证集的代价函数，记录当前代价函数的变化趋势，在当前代价函数由上升趋势转为下降趋势时认定当前状态一次优化收集收敛条件（即初步判定避免了过拟合问题）；继续记录当前的仿真模拟次数b，在实时仿真训练样本集合构建的文本分析模型基础上计算train loss以及train loss，在仿真模拟次数b大于nmin，且当前时刻实时仿真训练样本集合构建的文本分析模型中的train loss不断下降，test loss由趋于不变变成不断下降时则判定满足二次优化收集收敛条件。
7.较佳地，作为一种可实施方式；在检测发现不断仿真模拟q次数后达到预设收集收
敛条件，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛过程，包括：在不断仿真模拟q次数后，检测发现在进行当前模型的仿真训练样本收集同时满足一次优化收集收敛条件和二次优化收集收敛条件时，则判定当前模型达到收集收敛条件；停止对当前仿真测试集的收集操作，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛操作；将当前的实时仿真训练样本集合作为最优训练集合。
8.较佳地，作为一种可实施方式；所述典型样本包括单位时间周期t时段内的故障频率、故障种类的类型、故障节点的所在位置、单位时间周期t时段内故障频率最高的故障节点的类型、该单位时间周期t时段内故障频率最高的故障节点所在位置构建的信息集合。
9.较佳地，作为一种可实施方式；在将迭代获得的目标数量个训练样本集合作为最优训练集合之后，还包括对文本分析模型的batch_size进行设置处理操作：优先对文本分析模型设置使用relu激活函数；对获取的最优训练集合不断进行训练，计算当前训练误差；如果当前训练误差没有随着迭代次数的增加而变化，则判断relu激活函数导致的神经元死亡的判定结果；更换文本分析模型设置使用leaky relu激活函数或者 elus激活函数，待当前文本分析模型中的当前训练误差继续变化时则判定当前使用leaky relu激活函数或者 elus激活函数为目标激活函数。
10.较佳地，作为一种可实施方式；所述文本分析模型为abcnn训练神经网络模型、keras模型或是rcnn递归卷积神经网络中的任意一种。
11.较佳地，作为一种可实施方式；在设置了文本分析模型使用优选的激活函数后，所述文本分析模型接收针对当前测试样本，对接收的当前测试样本进行测试故障鉴定结果的预测，实现当前测试样本针对测试故障鉴定结果进行计算输出概率分布以及计算得到当前输出概率分布的不确定度。
12.第二方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述卷积神经网络的样本优化训练方法的步骤本发明的有益技术效果至少在于以下几点：本发明提供的卷积神经网络文本分析模型的样本优化训练方法，其通过仿真方式对获得的训练样本进行广泛获取，同时进一步的通过更新算法迭代对样本进行优化（将当前训练样本以及多个目标典型样本混合在一起进行排序）；每次迭代不断的更新训练样本集合（更新当前仿真训练样本的精选样本，同时不断的更新当前仿真训练样本的精选样本将其填充进去，从而形成更新后的训练样本集合），最终设置优化收集条件：在实时仿真训练样本集合构建的文本分析模型基础上，基于代价函数的变化趋势、文本分析模型中的train loss以及test loss变化趋势设置模型计算的收集收敛条件；在采用特定算法实现丰富训练样本的同时，还适当的设置了收集收敛条件，快速收敛获取最优训练集合）；最终由最优训练集合确定优化的文本分析模型，以此由优化的文本分析模型进行测试样本的输出概率分布处理操作。
13.本发明提供的一种卷积神经网络的样本优化训练方法优于现有方案，且对训练集优化具有鲁棒性。采用卷积神经网络的样本优化训练方法结合最小均方误差量化模型形态（模型的最小均方误差），并以迭代方式求取最优的训练样本集合，压缩训练样本获得的时间，降低训练成本。
附图说明
14.利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
15.图1为本发明提供的卷积神经网络文本分析模型的样本优化训练方法的主要流程图；图2为本发明提供的卷积神经网络文本分析模型的样本优化训练方法中执行“典型样本对仿真训练样本进行优化筛选”的一种示例性实施例的操作流程示意图；图3为本发明提供的卷积神经网络文本分析模型的样本优化训练方法中执行“设置优化收集条件”的一种示例性实施例的操作流程示意图；图4为本发明提供的卷积神经网络文本分析模型的样本优化训练方法中执行“完成文本分析模型优化收集操作”的一种示例性实施例的操作流程示意图；图5为本发明提供的卷积神经网络文本分析模型的样本优化训练方法中执行“对文本分析模型的batch_size进行设置处理”的一种示例性实施例的操作流程示意图；图6为本发明提供的卷积神经网络文本分析模型的样本优化训练系统的架构示意图。
16.标号：预处理子模块10、获取计算子模块20、目标典型样本迭代子模块30、条件设置子模块40、优化处理子模块50。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.如图1所示，本发明实施例提供了一种卷积神经网络文本分析模型的样本优化训练方法，包括如下操作步骤：s1,预处理操作：调用待优化的文本分析模型；文本分析模型用于收集多个训练样本直至获得目标数量个训练样本集合以优化该文本分析模型；所述文本分析模型还用于针对当前训练样本进行测试故障鉴定结果的预测，实现当前训练样本针对测试故障鉴定结果进行计算输出概率分布；需要说明的是，上述待优化的文本分析模型是需要收集获取多个相似且价值较高的训练样本集，受到训练样本中实验数据集较少的影响，其实验数据集均为人工筛选时间条件影响导致训练样本不够丰富；对此应当采用仿真方式模拟出多种故障鉴定结果等数据，但是这样获得的仿真训练样本需要进一步验证和优化。上述文本分析模型可以针对当
前训练样本进行测试故障鉴定结果的预测，从而实现当前训练样本针对测试故障鉴定结果进行计算输出概率分布。
19.s2,获取仿真训练样本：获取获取仿真方式获得的仿真数据集形成的多个训练样本，然后将当前多个当前训练样本输入上述文本分析模型中进行测试输出；针对每个仿真训练样本得到输出概率分布生成k个标准目标故障种类的测试故障鉴定结果；其中，代表仿真样本，获取的多个仿真训练样本的数量为m个,且m为多个；需要说明的是，选择部分实验数据集作为训练样本不够，因此需要仿真方式获得的仿真数据集形成的多个训练样本；上述每个训练样本中数据集反馈到该故障类型可以分为故障1，故障2，故障3等多个多个，从而形成了k个标准目标故障种类的测试故障鉴定结果，且每个测试故障鉴定结果都有对应的输出概率数值。
20.s3,通过典型样本对仿真训练样本进行优化筛选；调用实验验证的测试数据集形成的多种种类的典型样本；从多种种类的典型样本中获取筛选后的同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本，通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本；将多个目标典型样本输入上述文本分析模型中进行测试输出，得到输出概率分布生成k个标准目标故障种类的测试故障鉴定结果；然后根据当前训练样本以及多个目标典型样本进行各自计算按照对应输出概率分布产生的测试故障鉴定结果的最小均方误差，针对当前训练样本以及多个目标典型样本各自计算得到的最小均方误差进行混合排序，在排序时按照最小均方误差由小到大增大方向进行排序得到模型最小均方误差列表；然后从模型最小均方误差列表中选出含有当前仿真训练样本的前个仿真训练样本作为当前仿真训练样本的精选样本（即精选样本集合）；不断获取计算多个仿真训练样本的精选样本组合形成实时仿真训练样本集合；解释说明，初始典型样本较多不便于都进行排序计算，对此通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本；然后根据当前训练样本以及多个目标典型样本进行各自计算按照对应输出概率分布产生的测试故障鉴定结果的最小均方误差，针对当前训练样本以及多个目标典型样本各自计算得到的最小均方误差进行混合排序（将当前训练样本以及多个目标典型样本混合在一起进行排序）；从模型最小均方误差列表中选出含有当前仿真训练样本的前个仿真训练样本作为当前仿真训练样本的精选样本，因此分析上述内容可知针对不同的当前训练样本，上述是个动态变化数值；本发明实施例采用的上述训练样本优化目的是通过合理减少（或是获得合理数量）训练过程中所需的优选训练样本，从而压缩训练所需的时间，压缩训练样本获得的时间，降低训练成本。上述模型最小均方误差列表必须含有当前的训练样本，同时需要不断的更新当前仿真训练样本的精选样本将其填充进去，从而形成更新后的训练样本集合；由上述训练样本集合进行后续的损失值趋势计算；s4,设置优化收集条件：在实时仿真训练样本集合构建的文本分析模型基础上，基于代价函数的变化趋势、文本分析模型（神经网络）中的train loss以及test loss变化趋势设置模型计算的收集收敛条件；
s5,完成文本分析模型优化收集操作：文本分析模型收集的多个训练样本的操作过程，在检测发现不断仿真模拟q次数后达到预设收集收敛条件，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛过程，此时将迭代获得的目标数量个训练样本集合作为最优训练集合。
21.在上述步骤s3的执行过程中,通过典型样本对仿真训练样本进行优化筛选；调用实验验证的测试数据集形成的多种种类的典型样本；从多种种类的典型样本中获取筛选后的同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本，通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本；本发明实施例提供的卷积神经网络的样本优化训练方法，通过仿真方式对获得的训练样本进行广泛获取，同时进一步的通过更新算法迭代对样本进行优化（将当前训练样本以及多个目标典型样本混合在一起进行排序）；每次迭代不断的更新训练样本集合（更新当前仿真训练样本的精选样本，同时不断的更新当前仿真训练样本的精选样本将其填充进去，从而形成更新后的训练样本集合），最终设置优化收集条件：在实时仿真训练样本集合构建的文本分析模型基础上，基于代价函数的变化趋势、文本分析模型中的train loss以及test loss变化趋势设置模型计算的收集收敛条件；在采用特定算法实现丰富训练样本的同时，还适当的设置了收集收敛条件，快速收敛获取最优训练集合）；最终由最优训练集合确定优化的文本分析模型，以此由优化的文本分析模型进行测试样本的输出概率分布处理操作。
22.本发明提供的一种卷积神经网络的样本优化训练方法优于现有方案（现有方案训练样本的优化程度不高或是没有优化容易造成模型预测失真严重，降低了系统的性能），且对训练集优化具有鲁棒性。采用卷积神经网络的样本优化训练方法结合最小均方误差量化模型形态（模型的最小均方误差），并以迭代方式求取最优的训练样本集合。
23.参见图2，在s3执行过程中，从多种种类的典型样本中获取筛选后的同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本，通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本，包括：s31,筛选多种种类的典型样本，其中不同典型样本各自含有不同数量个标准目标故障种类的测试故障鉴定结果形成的典型样本；仅筛选获取同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本；s32,基于文本相似度进行分析时，提取人工筛选的当前仿真训练样本的特征文本，利用所述特征文本（所述特征文本包括标准目标故障种类的名称、标准目标故障种类的故障频率最高种类的名称、各个标准目标故障种类对应的故障率）构成基本特征文本；s33,利用所述基本特征文本在多个初始典型样本中间进行搜索，并计算所述人工筛选的当前仿真训练样本的特征文本与搜索得到的初始典型样本的文本相似度得到相似度实时计算值；s34,将不符合高相似度阈值条件的初始典型样本进行剔除（相似度实时计算值低于相似度阈值），将符合高相似度阈值条件（相似度实时计算值大于或是等于相似度阈值）的初始典型样本进行保留，以此找到初始典型样本中的多个目标典型样本。
24.在上述技术方案中，该步骤s3执行时,需要通过典型样本对仿真训练样本进行优
化筛选，由此筛选具有较高判断价值的实时仿真训练样本集合；然而在这之前，应当先确定同类故障描述的多个初始典型样本，然后从通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本多个目标典型样本；利用特征文本（所述特征文本包括标准目标故障种类的名称、标准目标故障种类的故障频率最高种类的名称、各个标准目标故障种类对应的故障率）构成基本特征文本；通过上述处理判断过程可以实现人工筛选的当前仿真训练样本的特征文本与搜索得到的初始典型样本的文本相似度得到相似度实时计算值，以此找到初始典型样本中的多个目标典型样本。
25.基于文本相似度找到初始典型样本中的多个目标典型样本，为了后续进行当前仿真训练样本与相似的多个目标典型样本进行混合排序做准备。
26.参见图3，在s4执行过程中，设置优化收集条件：基于代价函数的变化趋势、文本分析模型（神经网络）中的train loss以及test loss变化趋势设置模型计算的收集收敛条件，包括：s41,在实时仿真训练样本集合构建的文本分析模型基础上，进行当前模型的仿真训练样本收集同时使用验证集进行验证，同时记录验证集的代价函数，记录当前代价函数的变化趋势，在当前代价函数由上升趋势转为下降趋势时认定当前状态一次优化收集收敛条件（即初步判定避免了过拟合问题）；s42,继续继续记录当前的仿真模拟次数b（即收集仿真训练样本的次数），在实时仿真训练样本集合构建的文本分析模型基础上计算train loss以及train loss，在仿真模拟次数b大于nmin（nmin为常数，即标准最小仿真模拟阈值次数），且当前时刻实时仿真训练样本集合构建的文本分析模型（神经网络）中的train loss不断下降，test loss由趋于不变变成不断下降时则判定满足二次优化收集收敛条件；。
27.需要说明的是，在进行当前模型的仿真训练样本收集同时使用验证集进行验证，同时记录验证集的代价函数，然后保存此代价函数对应的神经网络的权重，随着训练次数的进行，代价函数会逐渐下降，此时神经网络正在接近某一局部或者全局最优值；但当训练次数超过某一数值时，代价函数便逐渐上升，此时便出现了过拟合现象，将代价函数有降转成升的地方，称为拐点；基于以上认知，将在当前代价函数由上升趋势转为下降趋势时认定当前状态一次优化收集收敛条件（即第一判断条件）；同时设置了二次优化收集收敛条件（即第二判断条件），train loss是训练集上的损失；test loss是验证集上的损失；train loss 不断下降，test loss趋于不变，说明神经网络过拟合。
28.参见图4，s5执行过程中,在检测发现不断仿真模拟q次数后达到预设收集收敛条件，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛过程，包括：s51,在不断仿真模拟q次数后，检测发现在进行当前模型的仿真训练样本收集同时满足一次优化收集收敛条件和二次优化收集收敛条件时，则判定当前模型达到收集收敛条件；s52,停止对当前仿真测试集的收集操作，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛操作；将当前的实时仿真训
练样本集合作为最优训练集合。
29.较佳地，作为一种优选的方案；所述含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本；该典型样本部分故障如表1所示：表1为部分故障名称及形式；故障编号故障节点的类型故障节点的所在位置1蒸发风机处传感器节点风量检测误差故障蒸发风机处2冷凝器处传感器信号故障冷凝器处3蒸发风机传感器发热故障蒸发风机处较佳地，作为一种优选的方案；关于典型样本主要由单位时间周期t时段内的故障频率、故障种类的类型、故障节点的所在位置、单位时间周期t时段内故障频率最高的故障节点的类型、该单位时间周期t时段内故障频率最高的故障节点所在位置等因素构建的信息集合。
30.上述典型样本包括如下：w(fj)＝；式中，w(fj)代表典型样本的传感器故障节点的信息集合；式中，ns代表典型样本的传感器故障节点个数；其中，pjt为单位时间周期（即单位时间周期为t时段）内的传感器节点j的故障频率;其中，bjt为单位时间周期为t时段内的传感器的故障种类的类型（即该类型的名称）；其中，sjt为单位时间周期为t时段内的传感器节点j的故障节点的所在位置；其中，maxbft为传感器节点f为单位时间周期（即单位时间周期为t时段）内故障频率最高的故障节点的类型（即该类型的名称）；其中，fjt为单位时间周期为t时段内的传感器节点f的故障节点的所在位置；需要说明的是，上述为故障频率最高的故障节点的类型与其所在位置这两个因素构建的集合。为单位时间周期为t时段内的传感器节点f的故障频率，且传感器节点f隶属于传感器节点j集合中的一个故障频率最高的故障节点；为单位时间周期为t时段内的传感器的故障种类的类型与其所在位置这两个因素构建的集合；为单位时间周期（即单位时间周期为t时段）内的传感器节点j的故障频率构建的集合；参见图5，在步骤s5之后，还包括对文本分析模型的batch_size进行设置处理操作（以适应数据集的优化）：s61,优先对文本分析模型设置使用relu激活函数；s62,对获取的最优训练集合不断进行训练，计算当前训练误差；如果当前训练误差没有随着迭代次数的增加而变化，则判断relu激活函数导致的神经元死亡的判定结果
（即上述神经网络包含坏的梯度）；s63,更换文本分析模型设置使用leaky relu激活函数或者 elus激活函数，待当前文本分析模型中的当前训练误差继续变化时则判定当前使用leaky relu激活函数或者 elus激活函数为目标激活函数。
31.关于上述技术方案，需要解释说明的是，为了对文本分析模型实现较好的收敛，其会对网络包含坏的梯度进行检测；使用relu激活函数的神经网络经常会遇到一些因为坏的梯度导致的“破坏或是死亡神经元”的情况。它会导致网络性能下降，甚至某些情况下导致网络无法继续训练。
32.分析上述原因：对于 relu 激活函数来说，其梯度对于正数和负数分别是 1 和0。这是因为输入的微小更改不会影响小于零的输入输出。这对于正数的大梯度来说似乎不是一个问题，但与许多网络层堆叠在一起，负权重能够将大的正值与强梯度变成负值与零梯度，通常情况下，如果无论输入是什么，网络中有一部分或者所有的权值对于损失函数的梯度都是坏的梯度，此时权值是没办法更新，也就是无法继续训练下去了。
33.本技术实施例为了获取的最优训练集合以及构建更稳定的网络模型采用如下的解决办法：优先对文本分析模型设置使用relu激活函数；对获取的最优训练集合不断进行训练，计算当前训练误差；如果当前训练误差没有随着迭代次数的增加而变化，则判断relu激活函数导致的神经元死亡的判定结果（即上述神经网络包含坏的梯度）；在上述结果中，设置使用relu激活函数不合适，则更换文本分析模型设置使用leaky relu激活函数或者 elus激活函数，待当前文本分析模型中的当前训练误差继续变化时则判定当前使用leaky relu激活函数或者 elus激活函数为目标激活函数。关于上述技术方案，需要解释说明的是，为了对文本分析模型实现较好的收敛，其会对网络包含坏的梯度进行检测；使用relu激活函数的神经网络经常会遇到一些因为坏的梯度导致的“破坏或是死亡神经元”的情况。它会导致网络性能下降，甚至某些情况下导致网络无法继续训练。
34.本技术实施例采用的上述方式基于如下原理：如果发现训练误差没有随着迭代次数的增加而变化，那么很可能就是出现了因为是 relu激活函数导致的神经元死亡的情况。则更换尝试使用如leaky relu或者 elus等激活函数，看看是否还出现这种情况。任何带有零梯度的操作，比如舍入或裁剪或取最大/最小值，如果在计算损失函数对权值的导数时使用它们，也会产生坏梯度。所以说采用上述方案可以避免坏梯度的发生，通过合理文本分析模型的batch_size进行设置处理从而以适应数据集的优化。
35.较佳地，作为一种优选的方案；所述文本分析模型（即检测模型）为abcnn训练神经网络模型、keras模型或是rcnn递归卷积神经网络中的任意一种。
36.在本技术实施方式中，该文本分析模型可以选择多种构建形式的神经网络模型，例如：abcnn训练神经网络模型、keras模型或是rcnn递归卷积神经网络。
37.其中，keras模型具有较为合适的使用场景（keras模型其尤其适用于数据集或是训练数据较少的文本分析场景），或者还可以为其他模型，本实施例对此不进行特别限定。
38.需要说明的是，keras模型所采用的训练样本，可以为经过标注的已知样本，这样，可以直接利用这些已知样本进行训练，以构建初始的训练模型；然后，再利用初始的训练模型对未知样本进行预测，以获得识别结果，进而则可以根据未知样本的识别结果，这样对未
知样本进行标注可以形成已知样本，作为新增加的已知样本，以及原始的已知样本重新进行训练，以构建新的训练模型，上述这种keras模型可以适应本技术实施例中训练样本较少的应用场景。
39.其中，递归卷积神经网络（rcnn）利用双向递归神经网络提取上下文信息，然后采用１ｄ卷积神经网络将词嵌入信息与上下文信息进行融合；再利用全局最大池化提取关键信息来完成相关测试故障鉴定结果的文本表示；最后通过匹配层实现相似度计算判断等操作，对此不再赘述；上述递归卷积神经网络也较为适合本技术中训练样本较少的使用场景。
40.较佳地，作为一种优选的方案；在特定设置了文本分析模型使用优选的激活函数后，所述文本分析模型接收针对当前测试样本，对接收的当前测试样本进行测试故障鉴定结果的预测，实现当前测试样本针对测试故障鉴定结果进行计算输出概率分布以及计算得到当前输出概率分布的不确定度（尤其引入了对当前输出概率分布的不确定度的计算操作）。
41.需要说明的是，在本技术的技术方案中，采用多次训练不断通过获得较高准确度的模型；避免了训练数据过少过拟合的问题进行了仿真样本进行获取以及优化，然后在进行相应不断训练后，最后可以对当前测试样本进行测试操作，具体包括对接收的当前测试样本进行测试故障鉴定结果的预测，实现当前测试样本针对测试故障鉴定结果进行计算输出概率分布以及计算得到当前输出概率分布的不确定度；本发明实施例选择的最小均方误差计算公式不再赘述。
42.实施例二如图6所示，本发明实施例提供了一种卷积神经网络文本分析模型的样本优化训练系统，包括预处理子模块10、获取计算子模块20、目标典型样本迭代子模块30、条件设置子模块40和优化处理子模块50：预处理子模块10用于调用待优化的文本分析模型；文本分析模型用于收集多个训练样本直至获得目标数量个训练样本集合以优化该文本分析模型；所述文本分析模型还用于针对当前训练样本进行测试故障鉴定结果的预测，实现当前训练样本针对测试故障鉴定结果进行计算输出概率分布；需要说明的是，上述待优化的文本分析模型是需要收集获取多个相似且价值较高的训练样本集，受到训练样本中实验数据集较少的影响，其实验数据集均为人工筛选时间条件影响导致训练样本不够丰富；对此应当采用仿真方式模拟出多种故障鉴定结果等数据，但是这样获得的仿真训练样本需要进一步验证和优化。上述文本分析模型可以针对当前训练样本进行测试故障鉴定结果的预测，从而实现当前训练样本针对测试故障鉴定结果进行计算输出概率分布。
43.获取计算子模块20用于获取仿真方式获得的仿真数据集形成的多个训练样本，然后将当前多个当前训练样本输入上述文本分析模型中进行测试输出；针对每个仿真训练样本得到输出概率分布生成k个标准目标故障种类的测试故障鉴定结果；其中，代表仿真样本，获取的多个仿真训练样本的数量为m个,且m为多个；需要说明的是，选择部分实验数据集作为训练样本不够，因此需要仿真方式获得的仿真数据集形成的多个训练样本；上述每个训练样本中数据集反馈到该故障类型可以分
为故障1，故障2，故障3等多个多个，从而形成了k个标准目标故障种类的测试故障鉴定结果，且每个测试故障鉴定结果都有对应的输出概率数值。
44.目标典型样本迭代子模块30用于调用实验验证的测试数据集形成的多种种类的典型样本；从多种种类的典型样本中获取筛选后的同样含有k个标准目标故障种类的测试故障鉴定结果的初始典型样本，通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本；将多个目标典型样本输入上述文本分析模型中进行测试输出，得到输出概率分布生成k个标准目标故障种类的测试故障鉴定结果；然后根据当前训练样本以及多个目标典型样本进行各自计算按照对应输出概率分布产生的测试故障鉴定结果的最小均方误差，针对当前训练样本以及多个目标典型样本各自计算得到的最小均方误差进行混合排序，在排序时按照最小均方误差由小到大增大方向进行排序得到模型最小均方误差列表；然后从模型最小均方误差列表中选出含有当前仿真训练样本的前个仿真训练样本作为当前仿真训练样本的精选样本（即精选样本集合）；不断获取计算多个仿真训练样本的精选样本组合形成实时仿真训练样本集合；解释说明，初始典型样本较多不便于都进行排序计算，对此通过当前仿真训练样本基于文本相似度找到初始典型样本中的多个目标典型样本；然后根据当前训练样本以及多个目标典型样本进行各自计算按照对应输出概率分布产生的测试故障鉴定结果的最小均方误差，针对当前训练样本以及多个目标典型样本各自计算得到的最小均方误差进行混合排序（将当前训练样本以及多个目标典型样本混合在一起进行排序）；从模型最小均方误差列表中选出含有当前仿真训练样本的前个仿真训练样本作为当前仿真训练样本的精选样本，因此分析上述内容可知针对不同的当前训练样本，上述是个动态变化数值；本发明实施例采用的上述训练样本优化目的是通过合理减少（或是获得合理数量）训练过程中所需的优选训练样本，从而压缩训练所需的时间，压缩训练样本获得的时间，降低训练成本。上述模型最小均方误差列表必须含有当前的训练样本，同时需要不断的更新当前仿真训练样本的精选样本将其填充进去，从而形成更新后的训练样本集合；由上述训练样本集合进行后续的损失值趋势计算；条件设置子模块40用于在实时仿真训练样本集合构建的文本分析模型基础上，基于代价函数的变化趋势、文本分析模型（神经网络）中的train loss以及test loss变化趋势设置模型计算的收集收敛条件；优化处理子模块50用于文本分析模型收集的多个训练样本的操作过程，在检测发现不断仿真模拟q次数后达到预设收集收敛条件，认定文本分析模型收集含有k个标准目标故障种类的测试故障鉴定结果的训练样本已经完成优化收敛过程，此时将迭代获得的目标数量个训练样本集合作为最优训练集合。
45.第二方面，本发明实施例提供了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例一提供的所述方法的步骤。
46.上述计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的
有形设备。可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。
47.这里所描述的计可读程序指令可以从可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该可读程序指令，以供存储在各个计算/处理设备中的可读存储介质中。
48.尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。