技术特征：
1.一种用于实训基地管理的物联网云平台，其特征在于，包括：实训操作视频获取单元，用于在物联网云平台获取由摄像头采集并上传的待评估学员的实训操作视频；关键帧提取单元，用于基于差帧法从所述实训操作视频提取多个实训操作关键帧；操作特征提取单元，用于将所述多个实训操作关键帧分别通过作为过滤器的卷积神经网络模型以得到多个实训操作关键帧特征向量；第一操作理解单元，用于将所述多个实训操作关键帧特征向量输入双向长短期记忆神经网络模型以得到第一实训操作理解特征向量；第二操作理解单元，用于将所述多个实训操作关键帧特征向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到第二多尺度实训操作理解特征向量；融合单元，用于融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；以及操作视频评估结果生成单元，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示待评估学员的实训操作过程是否符合预定规范要求。2.根据权利要求1所述的用于实训基地管理的物联网云平台，其特征在于，所述关键帧提取单元，包括：第一关键帧设定子单元，用于设定所述实训操作视频中的初始图像帧为第一实训操作关键帧；像素差值计算子单元，用于计算所述实训操作监控视频中沿时间维度的其他图像帧与所述第一实训操作关键帧之间的按位置像素差值以得到差分图像帧；统计特征值计算子单元，用于计算所述差分图像帧中所有位置的像素差值的统计特征值；以及关键帧确定子单元，用于基于所述统计特征值与预定阈值之间的比较，确定所述差分图像帧对应的其他图像帧是否为实训操作关键帧以得到所述多个实训操作关键帧。3.根据权利要求2所述的用于实训基地管理的物联网云平台，其特征在于，所述操作特征提取单元，用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络模型的最后一层的输出为所述多个实训操作关键帧特征向量，所述作为过滤器的卷积神经网络模型的第一层的输入为所述多个实训操作关键帧。4.根据权利要求3所述的用于实训基地管理的物联网云平台，其特征在于，所述第二操作理解单元，包括：第一尺度实训操作理解特征提取子单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度实训操作理解特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;第二尺度实训操作理解特征提取子单元，用于将所述一维特征向量输入所述多尺度邻
域特征提取模块的第二卷积层以得到第二尺度实训操作理解特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及多尺度融合子单元，用于将所述第一尺度实训操作理解特征向量和所述第二尺度实训操作理解特征向量进行级联以得到所述第二多尺度实训操作理解特征向量。5.根据权利要求4所述的用于实训基地管理的物联网云平台，其特征在于，所述第一尺度实训操作理解特征提取子单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第一尺度实训操作理解特征向量；其中，所述公式为：其中，a为第一卷积核在x方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，x表示所述一维特征向量。6.根据权利要求5所述的用于实训基地管理的物联网云平台，其特征在于，所述第二尺度实训操作理解特征提取子单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度实训操作理解特征向量；其中，所述公式为：其中，b为第二卷积核在x方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，x表示所述一维特征向量。7.根据权利要求6所述的用于实训基地管理的物联网云平台，其特征在于，所述融合单元，进一步用于：以如下公式来融合所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量以得到分类特征向量；其中，所述公式为：其中，表示所述第一实训操作理解特征向量和所述第二多尺度实训操作理解特征向量，表示级联函数，表示所述分类特征向量。8.根据权利要求7所述的用于实训基地管理的物联网云平台，其特征在于，所述操作视频评估结果生成单元，包括：全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。9.根据权利要求7所述的用于实训基地管理的物联网云平台，其特征在于，还包括：用
于对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块；其中，所述训练模块，包括训练数据获取单元，用于获取训练数据，所述训练数据包括待评估学员的训练实训操作视频，以及，所述待评估学员的实训操作过程是否符合预定规范要求的真实值；训练关键帧提取单元，用于基于差帧法从所述训练实训操作视频提取多个训练实训操作关键帧；训练操作特征提取单元，用于将所述多个训练实训操作关键帧分别通过所述作为过滤器的卷积神经网络模型以得到多个训练实训操作关键帧特征向量；第一训练操作理解单元，用于将所述多个训练实训操作关键帧特征向量输入所述双向长短期记忆神经网络模型以得到第一训练实训操作理解特征向量；第二训练操作理解单元，用于将所述多个训练实训操作关键帧特征向量排列为训练一维特征向量后通过所述多尺度邻域特征提取模块以得到第二训练多尺度实训操作理解特征向量；训练融合单元，用于融合所述第一训练实训操作理解特征向量和所述第二训练多尺度实训操作理解特征向量以得到训练分类特征向量；分类损失单元，用于将所述训练分类特征向量通过所述分类器以得到分类损失函数值；以及训练单元，用于基于所述分类损失函数值并通过梯度下降的方向传播来对所述作为过滤器的卷积神经网络模型、所述多尺度邻域特征提取模块、所述双向长短期记忆神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为加权权重对所述训练分类特征向量进行加权迭代。10.根据权利要求9所述的用于实训基地管理的物联网云平台，其特征在于，所述训练单元中，以如下公式计算所述训练分类特征向量的基于跨分类器软相似性的自由标签优化因数作为所述加权权重对所述训练分类特征向量进行加权迭代；其中，所述公式为：其中，是所述训练分类特征向量，是所述分类器对所述训练分类特征向量的权重矩阵，表示张量乘法，表示向量之间的距离，且和是权重超参数，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，表示所述加权权重。
技术总结
公开了一种用于实训基地管理的物联网云平台，其通过作为过滤器的卷积神经网络模型提取待评估学员的实训操作视频中关于学员操作动作的隐含特征分布信息，并通过双向长短期记忆神经网络模型和多尺度邻域特征提取模块对于待评估学员的实训操作视频中的各个图像关键帧在高维空间中进行多尺度的实训操作关联特征提取进行学员的操作语义理解，进而进行所述待评估学员的操作过程规范性评估判断。这样，可以对于待评估学员的实训操作过程是否符合预定规范要求进行智能且准确地评价判断，提高学员在实训操作岗位如电子电工实训等的实训效果。训效果。训效果。
技术研发人员：唐辉 刘江利 韦振汉 郑钦驰 廖植泓 黄红梁
受保护的技术使用者：深圳信息职业技术学院
技术研发日：2022.12.06
技术公布日：2023/3/7