技术特征：
1.一种基于时间一致性对比学习的动作规范性检测方法，其特征在于，包括以下步骤：步骤一，构建第一数量标注和第二数量未标注的摄像头采集视频的数据集，第一数量小于第二数量；步骤二，对第二数量未标注视频数据进行强、弱增强处理，分别得到强、弱增强数据；步骤三，将强、弱增强数据输入自编码特征提取网络中提取出强、弱增强数据的特征；步骤四，将强、弱增强数据的特征输入时间一致性行为动作对齐网络，得到强、弱增强图像特征，后在由强、弱增强图像特征构成的图像特征序列对间查找相似动作最近邻帧并对齐，得到图像特征序列对间相似动作起始帧和结束帧集合；步骤五，将强、弱增强图像特征和图像特征序列对间相似动作起始帧和结束帧集合输入时空判别性特征提取网络，结合对比学习网络，完成对第二数量未标注视频数据的自监督预训练；步骤六，利用自监督预训练后的自编码特征提取网络参数，在自编码特征提取网络后加入分类网络，然后采用第一数量标注视频数据完成网络迁移学习，最后通过视频帧间行为类别的变化判断视频图像的动作规范性。2.如权利要求1所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤二具体为：设无剪切视频数据为，为第i帧视频，为总的视频帧数，从视频x中采样得到的图像序列，其中是高宽为h
×
w的rgb图像，，为采样频率，经过数据增强后，强增强后的图像序列为，即强增强数据，弱增强后的图像序列为，即弱增强数据；其中，其中弱数据增强方式为颜色增强结合尺度变换，强数据增强方式为视频片段置换结合尺度变换；视频片段置换为：将视频分割为不大于m的任意段，且随机打乱分割后的片段。3.如权利要求2所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤三具体为：使用3d resnet50作为自编码器即自编码特征提取网络，将和经过3d resnet50自编码器，映射得到高维特征，其中表示或，，为3d resnet50函数，，为输出特征向量维度，即通过自编码器后分别得到强增强数据的特征和弱增强数据的特征。4.如权利要求3所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤四包括以下子步骤：步骤4.1，将强增强数据的特征和弱增强数据的特征经过时空全局平均池化
层、全连接层和卷积层，输出图像特征序列和，其中为第i帧强增强图像特征，为第i帧弱增强图像特征；步骤4.2，对于步骤4.1输出的图像特征序列和，所述的图像特征序列在彼此间查找相似动作最近邻帧，首先计算第i帧强增强图像特征在中的最近邻帧，得到后再反向计算在中的最近邻帧，若i=k则图像特征序列对间相似动作对齐成功；为计算损失函数，将中第i帧标记为1，其余帧标记为0，预测值，其中，， 表示图像特征序列中的第k帧强增强图像特征，并利用交叉熵损失函数计算预测值与真实标签之间的损失：， ,，其中和分别表示图像特征序列中的第j和k帧弱增强图像特征，表示和间的相似度度量函数， 表示真实标签， 表示预测值；步骤4.3，将步骤4.2中图像特征序列对中i=k的特征位置进行记录，针对输入图像特征序列对，记录i=k位置组成相似动作起始帧集合和动作结束帧集合，其中n为对齐成功的图像特征序列对数，和分别表示图像特征序列对齐起始位置，和分别表示图像特征序列对齐结束位置。5.如权利要求4所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤五包括以下子步骤：步骤5.1，将步骤4.1输出的图像特征序列和，经过多层感知机层，输出感知特征序列和，其中为第i帧强增强图像感知特征图，为第i帧弱增强图像感知特征图；步骤5.2，根据步骤4.3输出相似动作起始帧和结束帧集合和，统一相似动作序列长度，取， ρ为最小序列长度，按最小序列长
度采样步骤5.1输出感知特征序列和起始和结束位置，得到子序列特征图对，记为同类正样本，其余未对齐图像序列为不同类负样本，其中正样本个数为n，负样本个数为2ρb-n，b表示输入的视频数量，利用余弦相似度计算，定义对比损失函数：其中q表示和中所有待计算相似性的片段，是温度超参数，表示q和k之间的余弦相似度，其中k代表和。6.如权利要求5所述的基于时间一致性对比学习的动作规范性检测方法，其特征在于，所述步骤六具体为：保留步骤5.1自编码器特征提取网络，锁定网络各层预训练参数，并在自编码特征提取网络后加入分类网络，所述分类网络包括全连接层和softmax层，输出行为类别及其置信度，然后采用第一数量标注视频数据完成网络迁移学习，使用交叉熵损失函数对网络进行反向传播，并通过批量梯度下降法不断更新网络参数，进行迭代训练，最后通过输入测试集数据，输出当前帧图像行为类别及其置信度，判断出动作规范性。7.一种基于时间一致性对比学习的动作规范性检测装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-6中任一项所述的基于时间一致性对比学习的动作规范性检测方法。8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-6中任一项所述的基于时间一致性对比学习的动作规范性检测方法。
技术总结
本发明涉及智能视频监控及深度学习领域，尤其涉及一种基于时间一致性对比学习的动作规范性检测方法和装置，该方法为：首先将第一数量标注和第二数量未标注的通过摄像头采集的视频构建数据集，第一数量小于第二数量；然后将未标注视频经过强弱数据增强后提取特征，再输入时间一致性行为对齐网络，输出特征图和不同样本间相似动作起始与结束帧集合，映射集合在特征图上对应子特征图，构造同类与不同类子特征图样本，送入对比学习网络提取时空判别性特征；再将第一数量标注视频送入预训练后的网络进行迁移学习，输出行为类别；最后通过帧间行为类别变化判断行为规范性，若不规范则发出预警。出预警。出预警。
技术研发人员：李玲 徐晓刚 王军 祝敏航 曹卫强 何鹏飞
受保护的技术使用者：浙江工商大学
技术研发日：2022.04.28
技术公布日：2022/6/21