用于实训基地管理的物联网云平台

1.本技术涉及智能化管理技术领域，且更为具体地，涉及一种用于实训基地管理的物联网云平台。


背景技术：

2.在实训基地中，为提高实训效果，需要对操作员或学员等在实训操作岗位如电子电工实训等的操作规范进行评估。
3.电子电工实训是一门实践基础课，是帮助学员了解一些电路原理、连接、调试、维修等，对理论付诸实践有着至关重要的作用，同时还是培养学生实际操作能力的重要途径。
4.目前，现有的电子电工实训实训基地在开展电子电工实训教学的过程中，由于受到实习成本的限制，交给学生实际操作的时间很短，往往只有一个课时和一次操作机会。这就导致对于学员的操作分析评价大多数都是基于结果评价，而疏于对过程评估，导致学员的操作不规范或养成不良的操作习惯。
5.因此，期望一种优化的用于实训基地管理的物联网云平台，其能够对于学员的操作规范进行智能地过程评价，以引导学员注重操作过程，提高学员的电子电工实训的实训效果。


技术实现要素：

6.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种用于实训基地管理的物联网云平台，其通过作为过滤器的卷积神经网络模型提取待评估学员的实训操作视频中关于学员操作动作的隐含特征分布信息，并通过双向长短期记忆神经网络模型和多尺度邻域特征提取模块对于待评估学员的实训操作视频中的各个图像关键帧在高维空间中进行多尺度的实训操作关联特征提取进行学员的操作语义理解，进而进行所述待评估学员的操作过程规范性评估判断。这样，可以对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能且准确地评价判断，提高学员在实训操作岗位如电子电工实训等的实训效果。
7.根据本技术的一个方面，提供了一种用于实训基地管理的物联网云平台，其包括：实训操作视频获取单元，用于在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频；关键帧提取单元，用于基于差帧法从所述实训操作视频提取多个实训操作关键帧；操作特征提取单元，用于将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量；第一操作理解单元，用于将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量；第二操作理解单元，用于将所述多个实训操作关键帧特征向量排列为一维特征向
量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量；融合单元，用于融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；以及操作视频评估结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。
8.在上述用于实训基地管理的物联网云平台中，所述关键帧提取单元，包括：第一关键帧设定子单元，用于设定所述实训操作视频中的初始图像帧为第一实训操作关键帧；像素差值计算子单元，用于计算所述实训操作监控视频中沿时间维度的其他图像帧与所述第一实训操作关键帧之间的按位置像素差值以得到差分图像帧；统计特征值计算子单元，用于计算所述差分图像帧中所有位置的像素差值的统计特征值；以及，关键帧确定子单元，用于基于所述统计特征值与预定阈值之间的比较，确定所述差分图像帧对应的其他图像帧是否为实训操作关键帧以得到所述多个实训操作关键帧。
9.在上述用于实训基地管理的物联网云平台中，所述操作特征提取单元，用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个实训操作关键帧特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个实训操作关键帧。
10.在上述用于实训基地管理的物联网云平台中，所述第二操作理解单元，包括：第一尺度实训操作理解特征提取子单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度实训操作理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;第二尺度实训操作理解特征提取子单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度实训操作理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，多尺度融合子单元，用于将所述第一尺度实训操作理解特征向量和所述第二尺度实训操作理解特征向量进行级联以得到所述第二多尺度实训操作理解特征向量。
11.在上述用于实训基地管理的物联网云平台中，所述第一尺度实训操作理解特征提取子单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一尺度实训操作理解特征向量；其中，所述公式为：其中，a为第一卷积核在x方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，x表示所述一维特征向量。
12.在上述用于实训基地管理的物联网云平台中，所述第二尺度实训操作理解特征提取子单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度实训操作理解特征向量；其中，所
述公式为：其中，b为第二卷积核在x方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，x表示所述一维特征向量。
13.在上述用于实训基地管理的物联网云平台中，所述融合单元，进一步用于：以如下公式来融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；其中，所述公式为：其中，表示所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量，表示级联函数，表示所述分类特征向量。
14.在上述用于实训基地管理的物联网云平台中，所述操作视频评估结果生成单元，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
15.在上述用于实训基地管理的物联网云平台中，还包括用于对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括待评估学员的训练实训操作视频，以及，所述待评估学员的实训操作过程是否符合预定规范要求的真实值；训练关键帧提取单元，用于基于差帧法从所述训练实训操作视频提取多个训练实训操作关键帧；训练操作特征提取单元，用于将所述多个训练实训操作关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练实训操作关键帧特征向量；第一训练操作理解单元，用于将所述多个训练实训操作关键帧特征向量输入所述双向长短期记忆神经网络模型以得到第一训练实训操作理解特征向量；第二训练操作理解单元，用于将所述多个训练实训操作关键帧特征向量排列为训练一维特征向量后通过所述多尺度邻域特征提取模块以得到第二训练多尺度实训操作理解特征向量；训练融合单元，用于融合所述第一训练实训操作理解特征向量和所述第二训练多尺度实训操作理解特征向量以得到训练分类特征向量；分类损失单元，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；以及，训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为加权权重对所述训练分类特征向量进行加权迭代。
16.在上述用于实训基地管理的物联网云平台中，所述训练单元中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为所述加权权重对所述训练分类特征向量进行加权迭代；其中，所述公式为：
其中是所述训练分类特征向量，是所述分类器对所述训练分类特征向量的权重矩阵，表示张量乘法，表示向量之间的距离，且和是权重超参数，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，表示所述加权权重。
17.本发明的有益效果是：与现有技术相比，本技术提供的用于实训基地管理的物联网云平台，其通过作为过滤器的卷积神经网络模型提取待评估学员的实训操作视频中关于学员操作动作的隐含特征分布信息，并通过双向长短期记忆神经网络模型和多尺度邻域特征提取模块对于待评估学员的实训操作视频中的各个图像关键帧在高维空间中进行多尺度的实训操作关联特征提取进行学员的操作语义理解，进而进行所述待评估学员的操作过程规范性评估判断。这样，可以对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能且准确地评价判断，提高学员在实训操作岗位如电子电工实训等的实训效果。
附图说明
18.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
19.图1为根据本技术实施例的用于实训基地管理的物联网云平台的应用场景图。
20.图2为根据本技术实施例的用于实训基地管理的物联网云平台的框图。
21.图3为根据本技术实施例的用于实训基地管理的物联网云平台中所述关键帧提取单元的框图。
22.图4为根据本技术实施例的用于实训基地管理的物联网云平台中所述第二操作理解单元的框图。
23.图5为根据本技术实施例的用于实训基地管理的物联网云平台中所述操作视频评估结果生成单元的框图。
24.图6为根据本技术实施例的用于实训基地管理的物联网云平台中训练模块的框图。
25.图7为根据本技术实施例的用于实训基地管理的物联网云平台的使用方法的流程图。
26.图8为根据本技术实施例的用于实训基地管理的物联网云平台的使用方法的系统架构的示意图。
具体实施方式
27.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
28.场景概述
如上所述，电子电工实训是一门实践基础课，是帮助学员了解一些电路原理、连接、调试、维修等，对理论付诸实践有着至关重要的作用，同时还是培养学生实际操作能力的重要途径。
29.目前，现有的电子电工实训实训基地在开展电子电工实训的过程中，由于受到实习成本的限制，交给学生实际操作的时间很短，往往只有一个课时和一次操作机会。这就导致对于学员的操作分析评价大多数都是基于结果评价，而疏于对过程评估，导致学员的操作不规范或养成不良的操作习惯。因此，期望一种优化的用于实训基地管理的物联网云平台，其能够对于学员的操作规范进行智能地过程评价，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
30.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
31.近年来，深度学习以及神经网络的发展为实训学员操作规范的智能评估提供了新的解决思路和方案。
32.相应地，考虑到对于实训学员的操作规范进行智能评估可以通过对于采集的学员实训操作视频来进行，但是，由于所述实训操作视频中存在有大量的信息干扰对于学员操作过程的规范性评估带来困难，并且每个学员不管是身体外形还是行为习惯都有所不同，因此难以对于视频中的学员动作进行精准语义识别，这样显然仅依靠学员的实训操作视频来直接进行规范性评估会造成评估的精准度难以保证。基于此，在本技术的技术方案中，通过采用基于机器视觉的人工智能检测技术，通过对于待评估学员的实训操作视频中的各个图像关键帧在高维空间中进行多尺度的实训操作关联特征提取来进行学员的操作语义理解，进而来进行所述待评估学员的操作过程规范性评估判断。这样，能够对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能且准确地评价判断，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
33.具体地，在本技术的技术方案中，首先，在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频。接着，在所述待评估学员的实训操作视频中，学员的操作动作动态变化特征可以通过所述实训操作视频中的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示学员的操作动作变化情况。具体地，基于差帧法从所述实训操作视频提取多个实训操作关键帧。
34.然后，使用在图像的隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来对于所述多个实训操作关键帧进行处理，以分别提取出所述多个实训操作关键帧中各个实训操作关键帧的关于学员操作动作的隐含特征分布信息，从而得到多个实训操作关键帧特征向量。
35.进一步地，应可以理解，考虑到对于所述各个关键帧的图像隐含特征来说，所述各个关键帧下关于待评估学员的实训操作动作特征具有着隐藏关联性的特征分布信息。也就是说，所述待评估学员的实训操作动作在各个关键帧中是具有连续性的，为了能够更准确地对其进行动作语义理解，进而提高对于学员实训操作规范性进行准确地评估判断，需要对于所述各个关键帧下关于待评估学员的实训操作动作特征进行关联性的隐含特征提取。因此，在本技术的技术方案中，将所述多个实训操作关键帧特征向量输入双向长短期记忆
神经网络模型以得到第一实训操作理解特征向量。应可以理解，所述双向长短期记忆神经网络模型（lstm，long short-term memory）通过增加输入门、输出门和遗忘门，使得神经网络的权重能够自我更新，在网络模型参数固定的情况下，不同通道的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。特别地，所述双向长短期记忆神经网络模型是由前向lstm与后向lstm组合而成，前向lstm可以学习到当前关键帧前局部区域的关于所述待评估学员的实训操作动作特征的语义关联特征信息而后向lstm可以学习到当前关键帧后续局部区域的关于所述待评估学员的实训操作动作特征的语义关联特征信息，因此，通过所述双向长短期记忆神经网络模型获得的所述第一实训操作理解特征向量学习到了所述各个关键帧下关于所述待评估学员的实训操作动作特征的中短距离依赖的隐含关联特征信息。
36.接着，考虑到所述待评估学员的操作在时间维度上具有着不同尺度的动态变化特征信息，也就是说，所述学员的操作动作在不同的时间跨度下具有着不同的动态变化特征，也就具有着不同的动作语义理解信息。因此，为了更准确地对于所述待评估学员的操作动作进行充分地语义理解，需要将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块中进行编码，以提取出所述学员实训操作动作在不同时间跨度下的动态多尺度邻域关联特征，即所述学员实训操作动作在不同时间跨度下的语义理解特征，从而得到第二多尺度实训操作理解特征向量。
37.然后，融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量来表示所述待评估学员的实训操作动作特征在时间维度上的多尺度关联性特征表示，即所述学员的实训操作动作特征的多尺度语义理解特征表示，并以此来作为分类特征向量通过分类器中进行分类处理，从而得到用于表示待评估学员的实训操作过程是否符合预定规范要求的分类结果。这样，能够对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能地评价判断，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
38.特别地，在本技术的技术方案中，将所述多个实训操作关键帧特征向量分别输入所述双向长短期记忆神经网络模型和所述多尺度邻域特征提取模块以得到所述第一实训操作理解特征向量和所述第二实训操作理解特征向量，这里，所述第一实训操作理解特征向量和所述第二实训操作理解特征向量分别表达了所述多个实训操作关键帧特征向量之间的向量间上下文关联特征和多尺度向量内位置关联特征。因此，为了充分使用上述信息来提高分类准确性，优选地通过直接级联所述第一实训操作理解特征向量和所述第二实训操作理解特征向量来得到所述分类特征向量，但是这样也会导致所述分类特征向量的整体分布具有较强的离散性，使得分类器的训练困难，尤其是分类器的标签值的收敛困难。
39.因此，优选地使用软标签学习来代替常用的硬标签学习，具体地，在每次迭代时，计算所述分类特征向量的基于跨分类器软相似性的自由标签优化因数，表示为：量的基于跨分类器软相似性的自由标签优化因数，表示为：是所述分类特征向量，是所述分类器对所述分类特征向量的权重矩阵，表示张量乘法，表示向量之间的距离，且和是权重超参数。
40.这里，所述基于跨分类器软相似性的自由标签优化因数通过在以硬标签值计算特
征向量的分类概率之前来对所述分类特征向量和分类器对于其的权重矩阵进行双向聚簇，来通过所述分类特征向量与所述权重矩阵的跨分类器的软相似性模拟基于分类器权重矩阵的伪类别，从而以软相似性学习来避免了硬标签学习带来的分类量化损失，实现了更关注于分类器的内在权重结构的自由标签优化，从而优化了分类器的标签值的训练，提升了分类器的训练速度，进而也提高了分类的准确性。这样，能够对于所述待评估学员的操作过程规范性进行准确地评估判断，以引导学员注重操作过程，提高在实训操作岗位如电子电工实训等的实训效果。
41.基于此，本技术提供了一种用于实训基地管理的物联网云平台，其包括：实训操作视频获取单元，用于在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频；关键帧提取单元，用于基于差帧法从所述实训操作视频提取多个实训操作关键帧；操作特征提取单元，用于将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量；第一操作理解单元，用于将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量；第二操作理解单元，用于将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量；融合单元，用于融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；以及，操作视频评估结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。
42.图1为根据本技术实施例的用于实训基地管理的物联网云平台的应用场景图。如图1所示，在该应用场景中，首先，在物联网云平台获取由摄像头（例如，图1中所示意的c）采集并上传的待评估学员的实训操作视频（例如，图1中所示意的d）。然后将获取的实训操作视频输入至部署有用于实训基地管理的物联网云平台的算法的服务器中（例如，图1中所示意的s），其中，所述服务器能够使用用于实训基地管理的物联网云平台的算法对所述实训操作视频进行处理，以生成用于表示待评估学员的实训操作过程是否符合预定规范要求的分类结果。
43.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
44.示例性系统图2为根据本技术实施例的用于实训基地管理的物联网云平台的框图。如图2所示，根据本技术实施例的用于实训基地管理的物联网云平台100，包括：实训操作视频获取单元110，用于在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频；关键帧提取单元120，用于基于差帧法从所述实训操作视频提取多个实训操作关键帧；操作特征提取单元130，用于将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量；第一操作理解单元140，用于将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量；第二操作理解单元150，用于将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量；融合单元160，用于融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；以及，操作视频评估结果生成单元170，用于将所述分类特征向量通过分类器
以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。
45.具体地，在本技术实施例中，所述实训操作视频获取单元110，用于在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频。如前所述，电子电工实训是一门实践基础课，是帮助学员了解一些电路原理、连接、调试、维修等，对理论付诸实践有着至关重要的作用，同时还是培养学生实际操作能力的重要途径。
46.目前，现有的电子电工实训实训基地在开展电子电工实训的过程中，由于受到实习成本的限制，交给学生实际操作的时间很短，往往只有一个课时和一次操作机会。这就导致对于学员的操作分析评价大多数都是基于结果评价，而疏于对过程评估，导致学员的操作不规范或养成不良的操作习惯。因此，期望一种优化的用于实训基地管理的物联网云平台，其能够对于学员的操作规范进行智能地过程评价，以引导学员注重操作过程，提高学员的在实训操作岗位如电子电工实训等的实训效果。
47.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
48.近年来，深度学习以及神经网络的发展为实训学员操作规范的智能评估提供了新的解决思路和方案。
49.相应地，考虑到对于实训学员的操作规范进行智能评估可以通过对于采集的学员实训操作视频来进行，但是，由于所述实训操作视频中存在有大量的信息干扰对于学员操作过程的规范性评估带来困难，并且每个学员不管是身体外形还是行为习惯都有所不同，因此难以对于视频中的学员动作进行精准语义识别，这样显然仅依靠学员的实训操作视频来直接进行规范性评估会造成评估的精准度难以保证。基于此，在本技术的技术方案中，通过采用基于机器视觉的人工智能检测技术，通过对于待评估学员的实训操作视频中的各个图像关键帧在高维空间中进行多尺度的实训操作关联特征提取来进行学员的操作语义理解，进而来进行所述待评估学员的操作过程规范性评估判断。这样，能够对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能且准确地评价判断，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
50.具体地，在本技术的技术方案中，首先，在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频。
51.具体地，在本技术实施例中，所述关键帧提取单元120，用于基于差帧法从所述实训操作视频提取多个实训操作关键帧。接着，在所述待评估学员的实训操作视频中，学员的操作动作动态变化特征可以通过所述实训操作视频中的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示学员的操作动作变化情况。具体地，基于差帧法从所述实训操作视频提取多个实训操作关键帧。
52.更具体地，在本技术实施例中，图3为根据本技术实施例的用于实训基地管理的物联网云平台中所述关键帧提取单元的框图，如图3所示，所述关键帧提取单元，包括：第一关键帧设定子单元210，用于设定所述实训操作视频中的初始图像帧为第一实训操作关键帧；像素差值计算子单元220，用于计算所述实训操作监控视频中沿时间维度的其他图像帧与所述第一实训操作关键帧之间的按位置像素差值以得到差分图像帧；统计特征值计算子单
元230，用于计算所述差分图像帧中所有位置的像素差值的统计特征值；以及，关键帧确定子单元240，用于基于所述统计特征值与预定阈值之间的比较，确定所述差分图像帧对应的其他图像帧是否为实训操作关键帧以得到所述多个实训操作关键帧。
53.这样，可以使得经过卷积神经网络处理后的分类结果更加准确。
54.具体地，在本技术实施例中，所述操作特征提取单元130，用于将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量。然后，使用在图像的隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来对于所述多个实训操作关键帧进行处理，以分别提取出所述多个实训操作关键帧中各个实训操作关键帧的关于学员操作动作的隐含特征分布信息，从而得到多个实训操作关键帧特征向量。
55.进一步地，使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个实训操作关键帧特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个实训操作关键帧。
56.具体地，在本技术实施例中，所述第一操作理解单元140，用于将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量。进一步地，应可以理解，考虑到对于所述各个关键帧的图像隐含特征来说，所述各个关键帧下关于待评估学员的实训操作动作特征具有着隐藏关联性的特征分布信息。也就是说，所述待评估学员的实训操作动作在各个关键帧中是具有连续性的，为了能够更准确地对其进行动作语义理解，进而提高对于学员实训操作规范性进行准确地评估判断，需要对于所述各个关键帧下关于待评估学员的实训操作动作特征进行关联性的隐含特征提取。因此，在本技术的技术方案中，将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量。
57.应可以理解，所述双向长短期记忆神经网络模型（lstm，long short-term memory）通过增加输入门、输出门和遗忘门，使得神经网络的权重能够自我更新，在网络模型参数固定的情况下，不同通道的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。特别地，所述双向长短期记忆神经网络模型是由前向lstm与后向lstm组合而成，前向lstm可以学习到当前关键帧前局部区域的关于所述待评估学员的实训操作动作特征的语义关联特征信息而后向lstm可以学习到当前关键帧后续局部区域的关于所述待评估学员的实训操作动作特征的语义关联特征信息，因此，通过所述双向长短期记忆神经网络模型获得的所述第一实训操作理解特征向量学习到了所述各个关键帧下关于所述待评估学员的实训操作动作特征的中短距离依赖的隐含关联特征信息。
58.具体地，在本技术实施例中，所述第二操作理解单元150，用于将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量。接着，考虑到所述待评估学员的操作在时间维度上具有着不同尺度的动态变化特征信息，也就是说，所述学员的操作动作在不同的时间跨度下具有着不同的动态变化特征，也就具有着不同的动作语义理解信息。因此，为了更准确地对于所述待
评估学员的操作动作进行充分地语义理解，需要将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块中进行编码，以提取出所述学员实训操作动作在不同时间跨度下的动态多尺度邻域关联特征，即所述学员实训操作动作在不同时间跨度下的语义理解特征，从而得到第二多尺度实训操作理解特征向量。
59.更具体地，在本技术实施例中，图4为根据本技术实施例的用于实训基地管理的物联网云平台中所述第二操作理解单元的框图，如图4所示，所述第二操作理解单元，包括：第一尺度实训操作理解特征提取子单元310，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度实训操作理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;第二尺度实训操作理解特征提取子单元320，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度实训操作理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，多尺度融合子单元330，用于将所述第一尺度实训操作理解特征向量和所述第二尺度实训操作理解特征向量进行级联以得到所述第二多尺度实训操作理解特征向量。
60.进一步地，使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一尺度实训操作理解特征向量；其中，所述公式为：其中，a为第一卷积核在x方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，x表示所述一维特征向量。
61.更进一步地，使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度实训操作理解特征向量；其中，所述公式为：其中，b为第二卷积核在x方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，x表示所述一维特征向量。
62.具体地，在本技术实施例中，所述融合单元160，用于融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量。然后，融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量来表示所述待评估学员的实训操作动作特征在时间维度上的多尺度关联性特征表示，即所述学员的实训操作动作特征的多尺度语义理解特征表示，并以此来作为分类特征向量通过分类器中进行分类处理，从而得到用于表示待评估学员的实训操作过程是否符合预定规范要求的分类结果。这样，能够对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能地评价判断，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
63.进一步地，以如下公式来融合所述第一实训操作理解特征向量和所述第二多尺度
实训操作理解特征向量以得到分类特征向量；其中，所述公式为：其中，表示所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量，表示级联函数，表示所述分类特征向量。
64.具体地，在本技术实施例中，所述操作视频评估结果生成单元170，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。这样，能够对于所述待评估学员的操作过程规范性进行准确地评估判断，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
65.在本技术实施例中，图5为根据本技术实施例的用于实训基地管理的物联网云平台中所述操作视频评估结果生成单元的框图，如图5所示，所述操作视频评估结果生成单元，包括：全连接编码单元410，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元420，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
66.在本技术一具体示例中，使用所述分类器以如下公式对所述分类特征向量进行处理以获得所述分类结果，其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征向量。
67.进一步地，所述用于实训基地管理的物联网云平台还包括：用于对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块，图6为根据本技术实施例的用于实训基地管理的物联网云平台中训练模块的框图，如图6所示，所述训练模块500，包括训练数据获取单元510，用于获取训练数据，所述训练数据包括待评估学员的训练实训操作视频，以及，所述待评估学员的实训操作过程是否符合预定规范要求的真实值；训练关键帧提取单元520，用于基于差帧法从所述训练实训操作视频提取多个训练实训操作关键帧；训练操作特征提取单元530，用于将所述多个训练实训操作关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练实训操作关键帧特征向量；第一训练操作理解单元540，用于将所述多个训练实训操作关键帧特征向量输入所述双向长短期记忆神经网络模型以得到第一训练实训操作理解特征向量；第二训练操作理解单元550，用于将所述多个训练实训操作关键帧特征向量排列为训练一维特征向量后通过所述多尺度邻域特征提取模块以得到第二训练多尺度实训操作理解特征向量；训练融合单元560，用于融合所述第一训练实训操作理解特征向量和所述第二训练多尺度实训操作理解特征向量以得到训练分类特征向量；分类损失单元570，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；以及，训练单元580，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为加权权重对所述训练分类特征向量进行加
权迭代。
68.特别地，在本技术的技术方案中，将所述多个实训操作关键帧特征向量分别输入所述双向长短期记忆神经网络模型和所述多尺度邻域特征提取模块以得到所述第一实训操作理解特征向量和所述第二实训操作理解特征向量，这里，所述第一实训操作理解特征向量和所述第二实训操作理解特征向量分别表达了所述多个实训操作关键帧特征向量之间的向量间上下文关联特征和多尺度向量内位置关联特征。因此，为了充分使用上述信息来提高分类准确性，优选地通过直接级联所述第一实训操作理解特征向量和所述第二实训操作理解特征向量来得到所述分类特征向量，但是这样也会导致所述分类特征向量的整体分布具有较强的离散性，使得分类器的训练困难，尤其是分类器的标签值的收敛困难。
69.因此，优选地使用软标签学习来代替常用的硬标签学习，具体地，在每次迭代时，计算所述分类特征向量的基于跨分类器软相似性的自由标签优化因数，也就是，在所述训练的每一轮迭代中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为所述加权权重对所述训练分类特征向量进行加权迭代；其中，所述公式为：其中是所述训练分类特征向量，是所述分类器对所述训练分类特征向量的权重矩阵，表示张量乘法，表示向量之间的距离，且和是权重超参数，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，表示所述加权权重。
70.这里，所述基于跨分类器软相似性的自由标签优化因数通过在以硬标签值计算特征向量的分类概率之前来对所述分类特征向量和分类器对于其的权重矩阵进行双向聚簇，来通过所述分类特征向量与所述权重矩阵的跨分类器的软相似性模拟基于分类器权重矩阵的伪类别，从而以软相似性学习来避免了硬标签学习带来的分类量化损失，实现了更关注于分类器的内在权重结构的自由标签优化，从而优化了分类器的标签值的训练，提升了分类器的训练速度，进而也提高了分类的准确性。这样，能够对于所述待评估学员的操作过程规范性进行准确地评估判断，以引导学员注重操作过程，提高学员在实训操作岗位如电子电工实训等的实训效果。
71.综上，基于本技术实施例的用于实训基地管理的物联网云平台100被阐明，其通过作为过滤器的卷积神经网络模型提取待评估学员的实训操作视频中关于学员操作动作的隐含特征分布信息，并通过双向长短期记忆神经网络模型和多尺度邻域特征提取模块对于待评估学员的实训操作视频中的各个图像关键帧在高维空间中进行多尺度的实训操作关联特征提取进行学员的操作语义理解，进而进行所述待评估学员的操作过程规范性评估判断。这样，可以对于所述待评估学员的实训操作过程是否符合预定规范要求进行智能且准确地评价判断，提高学员在实训操作岗位如电子电工实训等的实训效果。
72.示例性方法图7为根据本技术实施例的用于实训基地管理的物联网云平台的使用方法的流程图。如图7所示，根据本技术实施例的用于实训基地管理的物联网云平台的使用方法，其包括：s110，在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频；s120，
基于差帧法从所述实训操作视频提取多个实训操作关键帧；s130，将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量；s140，将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量；s150，将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量；s160，融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；以及，s170，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。
73.图8为根据本技术实施例的用于实训基地管理的物联网云平台的使用方法的系统架构的示意图。如图8所示，在所述用于实训基地管理的物联网云平台的使用方法的系统架构中，首先，在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频；然后，基于差帧法从所述实训操作视频提取多个实训操作关键帧；接着，将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量；然后，将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量；接着，将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量；然后，融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；以及，最后，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。
74.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述基于差帧法从所述实训操作视频提取多个实训操作关键帧，包括：设定所述实训操作视频中的初始图像帧为第一实训操作关键帧；计算所述实训操作监控视频中沿时间维度的其他图像帧与所述第一实训操作关键帧之间的按位置像素差值以得到差分图像帧；计算所述差分图像帧中所有位置的像素差值的统计特征值；以及，基于所述统计特征值与预定阈值之间的比较，确定所述差分图像帧对应的其他图像帧是否为实训操作关键帧以得到所述多个实训操作关键帧。
75.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个实训操作关键帧特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个实训操作关键帧。
76.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量，包括：将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度实训操作理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;将所述一维特征向量输入所述多尺度邻域特征
提取模块的第二卷积层以得到第二尺度实训操作理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，将所述第一尺度实训操作理解特征向量和所述第二尺度实训操作理解特征向量进行级联以得到所述第二多尺度实训操作理解特征向量。
77.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度实训操作理解特征向量，进一步包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一尺度实训操作理解特征向量；其中，所述公式为：其中，a为第一卷积核在x方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，x表示所述一维特征向量。
78.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度实训操作理解特征向量，进一步包括：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度实训操作理解特征向量；其中，所述公式为：其中，b为第二卷积核在x方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，x表示所述一维特征向量。
79.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量，进一步包括：以如下公式来融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；其中，所述公式为：其中，表示所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量，表示级联函数，表示所述分类特征向量。
80.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求，包括：使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
81.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，还包括：对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长
短期记忆神经网络模型和所述分类器进行训练；其中，所述对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练，包括获取训练数据，所述训练数据包括待评估学员的训练实训操作视频，以及，所述待评估学员的实训操作过程是否符合预定规范要求的真实值；基于差帧法从所述训练实训操作视频提取多个训练实训操作关键帧；将所述多个训练实训操作关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练实训操作关键帧特征向量；将所述多个训练实训操作关键帧特征向量输入所述双向长短期记忆神经网络模型以得到第一训练实训操作理解特征向量；将所述多个训练实训操作关键帧特征向量排列为训练一维特征向量后通过所述多尺度邻域特征提取模块以得到第二训练多尺度实训操作理解特征向量；融合所述第一训练实训操作理解特征向量和所述第二训练多尺度实训操作理解特征向量以得到训练分类特征向量；将所述训练分类特征向量通过所述分类器以得到分类损失函数值；以及，基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为加权权重对所述训练分类特征向量进行加权迭代。
82.在一个具体示例中，在上述用于实训基地管理的物联网云平台的使用方法中，所述在所述训练的每一轮迭代中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为所述加权权重对所述训练分类特征向量进行加权迭代；其中，所述公式为：其中是所述训练分类特征向量，是所述分类器对所述训练分类特征向量的权重矩阵，表示张量乘法，表示向量之间的距离，且和是权重超参数，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，表示所述加权权重。
83.这里，本领域技术人员可以理解，上述用于实训基地管理的物联网云平台的使用方法中的各个步骤的具体操作已经在上面参考图1到图6的用于实训基地管理的物联网云平台的描述中得到了详细介绍，并因此，将省略其重复描述。
84.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
85.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
86.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
87.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。