一种基于人体姿态分析的舞蹈评价方法及系统

本发明涉及舞蹈动作智能评价，尤其是涉及一种基于人体姿态分析的舞蹈评价方法及系统。

背景技术：

1、中国专利申请cn202210381482.4公开了基于姿态识别的智能舞蹈评教方法，基于关节的角度数据评价舞蹈动作的标准程度，根据逐帧关节点的定位数据进行节奏评分，以生成整体舞蹈的评教结果。

2、中国专利申请cn202110449558.8公开了一种舞蹈动作姿态、节奏和表情的智能评估方法，通过比对关节点数据与面部关键点数据，进行动作姿态准确度判断、动作节奏准确度判断和表情评估。

3、现有技术普遍是基于关节点的位置及角度对舞蹈动作的准确程度进行评分，但对于动作整体姿态方面还欠缺考量，并且在评价过程中未考虑到不同人体型的差异、舞蹈表演时在相机画面中位置的差别等因素；对于同一个舞蹈动作，不同表演者的动作节奏会稍有不同，表现到动作上为人体运动的快慢会有细微差别，现有技术仅是基于关键帧的时间偏差及偏差次数计算动作节奏分数，评估的方案过于机械呆板，整体评价的准确性还有待提高。

技术实现思路

1、本发明的目的是克服上述现有技术存在的缺陷而提供一种基于人体姿态分析的舞蹈评价方法及系统。

2、本发明的目的可以通过以下技术方案来实现：

3、作为本发明的第一方面，提供一种基于人体姿态分析的舞蹈评价方法，所述方法步骤包括：

4、分别获取待评价舞蹈动作视频与标准舞蹈动作视频，对视频中的人体进行姿态检测，提取舞蹈动作视频中每一帧图像中人体关键点，并构建待评价动作序列与标准动作序列；

5、基于所提取的人体关键点进行姿态特征计算，获得两个不同姿态的动作相似度；

6、通过移动感受野的动作对齐算法，基于两个不同姿态的动作相似度，对待评价动作序列与标准动作序列进行姿态匹配；

7、基于待评价动作序列标准动作序列与中人物的运动轨迹，计算路线评分；

8、基于姿态匹配结果与路线评分，量化得到评价结果。

9、进一步的，所述的人体关键点位置是人体关节点在图像中的坐标，关键点之间的连接为人体骨骼。

10、进一步的，所述基于所提取的人体关键点进行姿态特征计算包括：计算关键点位置、关键角度以及重要关键点之间的相对位置关系；

11、基于姿态特征计算两个不同姿态的动作相似度。

12、进一步的，对于所述关键点位置进行姿态特征计算，具体如下：

13、获取即包含所有人体关键点的最小矩形包围框；

14、基于矩形包围框的中心坐标，对关键点进行归一化处理：

15、基于归一化处理后的关键点，进一步计算计算两个姿态对应关键位置相似度。

16、进一步的，对于所述关键角度进行姿态特征计算，具体如下：

17、以三个依次连接的关键点表示两个相连接的人体骨骼，计算人体骨骼的关键点夹角：并进一步计算计算两个不同姿态的对应关键角度相似度。

18、进一步的，对于所述关键点之间的相对位置进行姿态特征计算，具体如下：

19、计算重要关键点的相对位置，包括手和头的相对位置关系以及手肘和肩膀的相对位置关系；并进一步计算两个不同姿态对应的相对位置关系相似度。

20、进一步的，采用所述移动感受野的动作对齐算法，对待评价动作序列与标准动作序列进行姿态匹配，具体如下：

21、将待评价动作序列与标准动作序列首对齐；

22、对于待评价动作序列中的第t帧姿态，以标准动作序列对应第t帧的前后为姿态感受野，基于姿态的动作相似度搜寻最佳匹配帧数据；

23、匹配到最佳姿态后，待评价姿态序列前进一帧，对应的姿态感受野也前进一帧，进行下一帧的匹配。

24、进一步的，计算所述路线评分，具体如下：

25、将待评价动作序列标准动作序列中关键点位置在时间轴上的先后位置相连得到运动轨迹；

26、对运动轨迹进行归一化；

27、分别计算标准动作轨迹与待评测动作轨迹的轨迹最小包围框；

28、计算出标准动作轨迹包围框与待评测动作轨迹包围框之间的偏移量与缩放量；

29、基于偏移量与缩放量，对出待评测动作轨迹所有的点的坐标进行变换，并在标准动作轨迹上找到距离待评测动作轨迹坐标变换后的点最近的点作为对应点；

30、计算所有待评测动作轨迹坐标变换后的点与其标准动作轨迹对应点之间的距离。

31、进一步的，所述基于姿态匹配结果与路线评分，量化得到评价结果，具体如下：

32、基于最佳匹配姿态的相似度以及待评测动作轨迹坐标变换后的点与其标准动作轨迹对应点之间的相似度，得到标准序列与待评价序列之间的相似度；

33、通过评分转换函数将标准序列与待评价序列之间的相似度转为评分。

34、作为本发明的第二方面，提供一种基于人体姿态分析的舞蹈评价系统，所述系统执行实如上任一所述的方法，具体包括：

35、工业相机，用于图像获取；

36、交换机，分别通过网线连接工业相机与交换机与计算工作站通过网线连接到交换机，用于实现图像数据从工业相机到计算工作站的传输；

37、计算工作站，用于进行智能舞蹈评价的运算工作；

38、人机交互界面，用于显示实时舞蹈表演者影像和最终的评价结果。

39、与现有技术相比，本发明具有以下有益效果：

40、1)本发明提出的基于人体姿态分析的舞蹈评价方法，基于动作序列的关键点位置、关键角度以及重要关键点之间的相对位置关系等姿态特征对待评价动作序列与标准动作序列进行姿态匹配并计算姿态匹配度，并计算舞蹈序列中人物的运动轨迹的相似度得分。本发明方案更侧重于舞蹈动作本身，相较于现有技术能够对舞蹈过程中整体的运动姿态做出评价，并且对于人物的运动轨迹也进行评估，评价也更具连续性与客观性，准确度更高。

41、2)本发明还提出一种基于移动感受野的动作对齐算法，将待评价动作序列与标准动作序列首对齐，然后对于待评价序列中的第t帧姿态，在标准动作序列对应帧前后，根据关键点位置、关键点角度和相对位置关系特征搜寻最佳匹配帧数据；找到最佳匹配姿态后，待评价姿态序列前进一帧，对应的姿态感受野也前进一帧。通过上述匹配方式能够消除动作快慢造成的评价误差，提高评价准确度。

42、3)本发明首先计算出标准动作的轨迹最小包围框与出待评测动作轨迹的最小包围框：通过包围框之间的偏移量与缩放量对所有的点的坐标进行变换，然后找到距离变换后最近的标准点作为对应点，计算所有对应点之间的距离，来评估待评价动作与标准动作之间的路线差异，消除了拍摄位置与角度的相对误差，评价更加准确。

技术特征：

1.一种基于人体姿态分析的舞蹈评价方法，其特征在于，所述方法步骤包括：

2.根据权利要求1所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，所述的人体关键点位置是人体关节点在图像中的坐标，关键点之间的连接为人体骨骼。

3.根据权利要求2所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，所述基于所提取的人体关键点进行姿态特征计算包括：计算关键点位置、关键角度以及重要关键点之间的相对位置关系；

4.根据权利要求3所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，对于所述关键点位置进行姿态特征计算，具体如下：

5.根据权利要求3所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，对于所述关键角度进行姿态特征计算，具体如下：

6.根据权利要求3所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，对于所述关键点之间的相对位置进行姿态特征计算，具体如下：

7.根据权利要求2-6任一所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，采用所述移动感受野的动作对齐算法，对待评价动作序列与标准动作序列进行姿态匹配，具体如下：

8.根据权利要求7所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，计算所述路线评分，具体如下：

9.根据权利要求8所述的一种基于人体姿态分析的舞蹈评价方法，其特征在于，所述基于姿态匹配结果与路线评分，量化得到评价结果，具体如下：

10.一种基于人体姿态分析的舞蹈评价系统，其特征在于，所述系统执行实如权利要求1-9中任一所述的方法，具体包括：

技术总结
本发明涉及一种基于人体姿态分析的舞蹈评价方法及系统，方法步骤包括：获取待评价舞蹈动作视频与标准舞蹈动作视频，对视频中的人体进行姿态检测，提取舞蹈动作视频中每一帧图像中人体关键点，并构建待评价动作序列与标准动作序列；基于所人体关键点进行姿态特征计算，获得两个不同姿态的动作相似度；通过移动感受野的动作对齐算法，基于两个不同姿态的动作相似度，对待评价动作序列与标准动作序列进行姿态匹配；基于待评价动作序列标准动作序列与中人物的运动轨迹，计算路线评分；基于姿态匹配结果与路线评分，得到量化评价结果。本发明通过对人体姿态序列进行分析，给出量化评价结果，更侧重于舞蹈动作本身，更具客观性，准确性更高。

技术研发人员：曲慧佳,张昭,是科圣,栾建超,马凌云,江帆,张海威,刘媛,黄馥君,张群
受保护的技术使用者：上海电影艺术职业学院
技术研发日：
技术公布日：2024/2/6