一种基于深度学习的战术动作评估方法与流程

本发明是一种基于深度学习的战术动作评估方法，属于人体动作识别技术领域。

背景技术：

在单兵或作战小队战术训练中，对每个人的战术动作进行评估，指出动作的不标准之处是必须的。传统的战术动作评估以人工判断为主，指挥官通过现场观看或视频回看，根据自身的专业知识进行评估。这种评估方法受人为主观因素的影响较大，而且在进行小队战术训练时，指挥官难以对每个人的战术动作进行全面的观察。基于视频采集和深度学习技术，对受训者的战术动作进行捕捉和智能评估，是提高战术训练动作评估科学性和自动化的有效手段。

目前人体动作识别主要采用两类方法，（1）人体佩戴姿态测量传感器，如惯性测量单元或光学动作捕捉设备，通过传感器测量值，计算人体动作；（2）基于视频图像进行动作识别。

典型的光学式运动捕捉系统使用多个相机围绕受训者，受训者在身体的关键部位贴上一些特制的标志称为“marker”。每个marker同时被多个相机所见，根据相机参数和空间位置关系，可计算marker的三维空间位置计算。这样就能实现人体动作的跟踪，将运动跟踪数据与模板匹配或输入训练好的ai系统，即可进行动作识别。基于姿态测量传感器的行为识别方案，需要佩戴相应设备，使用不便，扩展性不强。

通过摄像机拍摄的视频跟踪和识别行为采用的主要技术是计算机视觉，主要目标是判断一段视频中人的行为的类别，采用的方法包括以下几种。

idt（improveddensetrajectories)算法，利用光流场来获得视频序列中采样点轨迹，再沿着轨迹提取trajectory特征、hof/hog特征以及mbh特征。最后利用fv（fishervector）方法对特征进行编码，再基于编码结果训练svm分类器。

双流法，基本原理为对视频序列中每两帧计算密集光流，得到密集光流的序列（即temporal信息）。然后对于视频图像（spatial）和密集光流（temporal）分别训练cnn模型，两个分支的网络分别对动作的类别进行判断，最后直接对两个网络的classscore进行fusion（包括直接平均和svm两种方法），得到最终的分类结果。

基于测量传感器的动作评估需要在受训者身上佩戴多个传感器，这在战术训练时是不现实的。所以战术动作评估最好采用视频评估的方式，不干扰训练，成本低。

基于视频进行战术动作评估包括动作识别和动作评估两个步骤。目前对动作识别的研究较多，例如手势识别、跌落检测等，但对于战术动作的识别还未检索到相关资料。虽然动作识别的方法具有一定的可借鉴性，但训练数据集是难以通用的。

目前动作识别主流方法是idt和双流法。idt虽然计算效率高，但是对相似动作的异常值不敏感，不能准确反映人体动作的局部运动特征，降低了战术动作评估的准确性。双流法可进行动作识别分类，但难以为评估提供支持。

技术实现要素：

本发明提出的是一种基于深度学习的战术动作评估方法，旨在提供一种基于视频的战术动作识别分类和评分的方法。不同战术动作的速度协方差轨迹存在显著差异，动作的差异程度可根据两个轨迹之间的距离进行评价，本方法以此为基础进行动作识别和评估，准确性高，成本较低。

本发明的技术解决方案：一种基于深度学习的战术动作评估方法，用于识别和评估受训者的战术动作，例如匍匐前进，滚进、持枪设计等。整个方案分为两个过程，第一个过程是训练神经网络，基于标记了动作和评分的视频，对深度学习神经网络进行训练，用于动作分类；第二个过程是实际应用，对实际训练视频进行战术动作评估。应用过程包括两个阶段，首先基于深度学习神经网络对战术动作进行识别分类，其次基于评估模型对战术动作进行评估。包括以下步骤：

（1）构建战术动作视频数据库；

（2）计算光流场；

（3）生成运动矢量流图像；

（4）进行pca降维处理；

（5）对上一步的计算结果进行lda变换；

（6）训练神经网络；

（7）应用神经网络进行动作分类；

（8）pca-lda空间投影；

（9）分数评估。

所述步骤（1）构建战术动作视频数据库：使用统一颜色背景，由若干专业人员实施各类单兵战术动作，使用相机录制视频，录制采样率为25帧/秒，使用相同的焦距记录所有动作；视频以avimpeg编码格式保存，并裁剪为600×400分辨率；每类动作按照分数高低划分为优秀组，良好组，中等组，低分组，每类视频中必须包含这些组别，录制多个视频序列，形成战术动作视频数据库。

所述步骤（2）计算光流场：基于lk金字塔光流法，计算每一采样时刻t的光流场。

所述步骤（3）生成运动矢量流图像：光流场是二维网格上的运动矢量的量化表示，对于视频中的每个帧，都获得相应的光流场；为了将运动的速度信息编码到图像中，对于每个采样时刻t，根据光流场将速度矢量编码为矩形，其中矩形的宽度和高度表示速度的方向，而像素颜色或灰度值表示速度的大小，运动矢量流图像的生成步骤如下：首先对输入视频进行帧遍历，对每一帧图像进行光流计算；其次，根据计算得到的速度，在像素点处生产速度矩形，矩形的边为速度矢量分解，矩形的灰度或颜色表示速度的幅值，得到运动矢量图；第三，为便于后期处理，将运动矢量图进按照速度排序。

所述步骤（4）进行pca降维处理：将步骤（4）中得到的视频中的每一帧图像，向整个视频的pca特征空间投影，进行降维处理；处理后，每一帧图像相当于pca特征空间中的一点，整个动作是一条曲线，视频中所有图像定义为：

其中是一帧图像的像素矩阵，表示第i类动作视频包含的帧数；对x进行主成分分析，得到k维pca特征空间，其中k远远小于x的维数；设x协方差矩阵前k个特征值对应的特征向量构成矩阵e，将视频中的所有帧向pca特征空间投影，得到每帧对应的点向量；

所述步骤（5）lda变换：为了便于区分动作的类型，需要使pca空间中同类动作协方差更小，不同类动作协方差变大，所以对进行lda变换，可调用opencv中的lda类实现lda变换，使得输入的视频成为低维、便于分类的标记数据集。

所述步骤（6）训练神经网络：使用步骤（5）变换后的数据集，对卷积神经网络进行训练，cnn的结构可根据需要灵活设计，一种典型结构包括卷积层，池化层，卷积层，池化层，向量层和全连接层。

所述步骤（7）应用神经网络进行动作分类：将测试视频按照步骤（2）-（5）进行处理，处理后的视频输入步骤（6）中训练好的神经网络，得到视频的战术动作分类。

所述步骤（8）pca-lda空间投影：根据测试视频的战术动作分类，将测试视频的光流向训练数据集中相应动作的pca-lda空间投影。

所述步骤（9）分数评估：采用线性评估模型评估分数，线性模型的参数使用最小二乘法进行校准，具体包括以下步骤：

1）使用knn算法计算待测动作属于优秀组、良好组、中等组和低分组的概率，设概率分别为，，，，每组分数的中位数分别为，，，，则战术动作初步评分为；

2）对初步评分进行校正，最后得分为，其中校正参数k和b可通过最小二乘优化得到，针对测试动作所属动作类的有标签视频，通过优化目标函数得到校正参数；

其中i是本类动作标记视频的序号，第i个标记视频动作评分，是使用方法1）计算的标记视频初步评分，完成对一个动作视频的评估。

本发明的有益效果：

1）无需穿戴测量传感器，方便快捷，不干扰训练。

2）只需要录制视频即可进行战术动作评估，有效降低成本。

3）对视频数据的降维处理编码了人体运动速度场，便于使用速度差异进行动作识别和评分。

4）提供了建立战术动作视频数据集的方法。

5）不仅可以识别战术动作，还可以对战术动作进行打分。通过线性校正使打分贴近专家打分，能够为战术训练提供支持。

附图说明

附图1是基于深度学习的战术动作评估方法技术方案示意图。

附图2是运动矢量流图像的生成步骤图。

具体实施方式

下面结合附图对本发明技术方案进一步说明

如附图1所示，基于深度学习的战术动作评估方法，包括以下步骤：

第一步，构建战术动作视频数据库。

使用统一颜色背景，由若干专业人员实施各类单兵战术动作，包括但不限于卧倒、直身前进、屈身前进、跃进、滚进、低姿匍匐、高姿匍匐、侧身匍匐等。使用相机录制视频，录制采样率为25帧/秒，使用相同的焦距记录所有动作。视频以avimpeg编码格式保存，并裁剪为600×400分辨率。每类动作按照分数高低划分为优秀组，良好组，中等组，低分组，每类视频中必须包含这些组别。录制足够数量的视频序列，形成战术动作视频数据库。

第二步，计算光流场。

基于lk金字塔光流法，计算每一采样时刻t的光流场。

第三步，生成运动矢量流图像。

如附图2所示，对于视频中的每个帧，可以获得相应的光流场。光流场是二维网格上的运动矢量的量化表示。为了将运动的速度信息编码到图像中，对于每个采样时刻t，根据光流场将速度矢量编码为矩形，其中矩形的宽度和高度表示速度的方向，而像素颜色（或灰度值）表示速度的大小。

首先对输入视频进行帧遍历，对每一帧图像进行光流计算；其次，根据计算得到的速度，在像素点处生产速度矩形，矩形的边为速度矢量分解，矩形的灰度或颜色表示速度的幅值，得到运动矢量图；第三，为便于后期处理，将运动矢量图进按照速度排序。

第四步，进行pca降维处理。

将上一步得到的视频中的每一帧图像，向整个视频的pca特征空间投影，进行降维处理。处理后，每一帧图像相当于pca特征空间中的一点，整个动作是一条曲线。视频中所有图像定义为：

其中是一帧图像的像素矩阵，表示第i类动作视频包含的帧数；对x进行主成分分析，得到k维pca特征空间，其中k远远小于x的维数；设x协方差矩阵前k个特征值对应的特征向量构成矩阵e，将视频中的所有帧向pca特征空间投影，得到每帧对应的点向量。

第五步，对上一步的计算结果进行lda变换。

为了便于区分动作的类型，需要使pca空间中同类动作协方差更小，不同类动作协方差变大。所以对进行lda变换，可调用opencv中的lda类实现此功能。最终，输入的视频经过一系列变换，成为低维、便于分类的标记数据集。

第六步，训练神经网络。

使用第五步变换后的数据集，对卷积神经网络（cnn）进行训练。cnn的结构可根据需要灵活设计。

第七步，应用神经网络进行动作分类。

将测试视频按照第2-第5步进行处理，处理后的视频输入上一步训练好的神经网络，得到视频的战术动作分类。

第八步，根据测试视频的战术动作分类，将测试视频的光流向训练数据集中相应动作的pca-lda空间投影。

第九步，分数评估。

战术动作分数评估模型是分数评估的核心。采用线性评估模型，线性模型的参数使用最小二乘法进行校准。具体实施过程如下。

1.使用knn算法计算待测动作属于优秀组、良好组、中等组和低分组的概率，设概率分别为，，，，每组分数的中位数分别为，，，，则战术动作初步评分为；

对初步评分进行校正，最后得分为，其中校正参数k和b可通过最小二乘优化得到，针对测试动作所属动作类的有标签视频，通过优化目标函数得到校正参数：

其中i是本类动作标记视频的序号，第i个标记视频动作评分，是使用方法1）计算的标记视频初步评分，完成对一个动作视频的评估。

通过以上步骤，完成对一个动作视频的评估。

实施例1

首先确定六类战术动作，包括直身前进、屈身前进、跃进、滚进、低姿匍匐、高姿匍匐。铺设绿色背景场地，采用索尼hdr-pj675数码摄像机进行拍摄，采样率设置为20帧/秒。选择20名人员，分别进行六类动作，然后由专业人员进行评分，确保每一类动作的优秀组、良好组、中等组和低分组都至少包含5段视频。最后得到100个视频片段，视频片段格式为avi，分辨率640×480。

使用python调用opencv的api，实现每一帧的光流计算。

使用python，对光流计算结果进行处理，得到每帧运动向量流图。

对所有视频进行pca降维和lda处理。

将处理过的视频输入卷积神经网络进行训练

使用上述训练数据集，基于最小二乘优化，计算评分校正参数。

进行测试，输入一段70帧直身前进测试视频，经过神经网络分类后，确定为直身前进战术动作。将测试视频的光流计算结果向直身前进动作的pca-lda空间投影。

投影后的测试动作视频转换为pca-lda空间的一条曲线，基于knn算法计算测试曲线属于直身前进动作类中优秀组、良好组、中等组和低分组的概率，然后计算初步评分。

基于评分校正的线性模型，对评分进行校正，输出最终得分。