运动评分方法、系统、终端及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种运动评分方法、系统、终端及存储介质。


背景技术：

2.在体育赛事项目中，对评分类竞技体育项目的打分标准要求比较严格。目前，主要采用基于计算机视觉的体育动作评分方案，包括技术指标加权评分和整体动作识别分级评分。其中，技术指标加权评分方案，是通过架设多路摄像机对运动员的体育动作进行多角度拍摄，然后根据多路录像实行3d重构生成3d录像，利用深度学习方法对3d录像中的技术指标进行动作识别，比如躯干旋转圈数、起跳高度等，最后根据同一裁判规则评分标准进行技术评分。但是，每个运动员自身的体重、身高等身体素质不同，若每个运动员的体育动作的轨迹采用同一评分标准进行评分存在偏差，导致运动评分不精确。


技术实现要素：

3.本技术实施例通过提供一种运动评分方法、系统、终端及存储介质，旨在解决运动评分不精确的问题。
4.本技术实施例提供了一种运动评分方法，所述运动评分方法，包括：
5.确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定；
6.确定所述标准运动轨迹的各个分段对应的缩放系数；
7.根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；
8.确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果；
9.根据所述分段对比结果确定所述运动员对应的评分结果。
10.在一实施例中，所述确定视频中运动员的体育动作对应的实际运动轨迹的步骤包括：
11.确定视频中所述实际运动轨迹的各个分段的关键点位信息；
12.将各个分段的所述关键点位信息进行拟合，得到所述运动员的所述实际运动轨迹。
13.在一实施例中，所述根据所述缩放系数对所述标准运动轨迹的各分段进行缩放的步骤包括：
14.获取所述缩放系数对应的实际运动轨迹的分段的关键点位信息；其中，每一所述分段对应的所述缩放系数不同；
15.将所述缩放系数与所述关键点位信息进行相乘，得到缩放后的所述标准运动轨迹的各分段。
16.在一实施例中，所述确定视频中运动员的体育动作对应的实际运动轨迹的步骤之前，包括：
17.确定运动员在运动起点时对应的参照线段；
18.获取所述参照线段对应的标准参照线段；
19.将所述标准参照线段与所述参照线段在基准坐标系下进行对齐。
20.在一实施例中，所述将所述标准参照线段与所述参照线段在基准坐标系下进行对齐的步骤包括：
21.将所述标准参照线段的末端位置平移至所述参照线段的末端位置；
22.确定平移后的所述标准参照线段与所述参照线段在基准坐标系的各个坐标轴方向的夹角；
23.基于所述夹角对所述标准参照线段进行坐标转换，以使所述标准参照线段与所述参照线段在基准坐标系下对齐。
24.在一实施例中，所述确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果的步骤包括：
25.将所述实际运动轨迹以及缩放后的所述标准运动轨迹映射到直播相机的相机坐标系中；
26.比对映射后的所述实际运动轨迹与映射且缩放后的所述标准运动轨迹之间的各个分段，得到所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果。
27.在一实施例中，所述将所述实际运动轨迹以及缩放后的所述标准运动轨迹映射到直播相机的相机坐标系中的步骤包括：
28.对同一时刻所述直播相机的图像帧和固定相机的图像帧进行特征点提取和匹配，得到匹配点对；
29.根据所述匹配点对以及相机内参，得到本征矩阵；
30.对所述本征矩阵进行分解，得到所述直播相机的旋转平移矩阵以及所述固定相机的旋转平移矩阵；
31.根据所述直播相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对所述实际运动轨迹进行转换，得到在所述直播相机的相机坐标系下的实际运动轨迹，以及根据所述相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对缩放后的所述标准运动轨迹进行转换，得到在所述直播相机的相机坐标系下的缩放后的所述标准运动轨迹。
32.此外，为实现上述目的，本发明还提供了一种运动评分系统，所述运动评分系统包括：
33.轨迹确定模块，用于确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定；
34.缩放系数确定模块，用于确定所述标准运动轨迹的各个分段对应的缩放系数；
35.缩放模块，用于根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；
36.比对模块，用于确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果；
37.评分模块，用于根据所述分段对比结果确定所述运动员对应的评分结果。
38.此外，为实现上述目的，本发明还提供了一种智能终端，该智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的运动评分程序，所述运动评分程序被所述处理器执行时实现上述的运动评分方法的步骤。
39.此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有运动评分程序，所述运动评分程序被处理器执行时实现上述的运动评分方法的步骤。
40.本技术实施例中提供的一种运动评分方法、系统、终端及存储介质的技术方案，由于采用了确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定；确定所述标准运动轨迹的各个分段对应的缩放系数；根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果；根据所述分段对比结果确定所述运动员对应的评分结果的技术方案，由于将运动员的体育动作对应的实际运动轨迹与缩放后的标准运动轨迹进行分段比对，根据各个分段的分段对比结果确定运动员的评分结果，使得评分结果更加准确。
附图说明
41.图1为本发明实施例方案涉及的智能终端的结构示意图；
42.图2为本发明运动评分方法第一实施例的流程示意图；
43.图3为本发明运动评分方法一实施例的流程示意图；
44.图4为本发明3d运动轨迹示意图；
45.图5为本发明关键点角度变化曲线示意图；
46.图6为本发明相机成像原理示意图；
47.图7为本发明运动评分系统的功能模块图。
48.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
49.本技术为了解决运动过程中运动评分不精确的问题，通过采用确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定；确定所述标准运动轨迹的各个分段对应的缩放系数；根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果；根据所述分段对比结果确定所述运动员对应的评分结果的技术方案，由于将运动员的体育动作对应的实际运动轨迹与缩放后的标准运动轨迹进行分段比对，根据各个分段的分段对比结果确定运动员的评分结果，使得评分结果更加准确。
50.为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
51.如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
52.需要说明的是，图1即可为智能终端的硬件运行环境的结构示意图。
53.如图1所示，该智能终端可以包括：处理器1001，例如cpu，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接
口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
54.本领域技术人员可以理解，图1中示出的智能终端结构并不构成对智能终端限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
55.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及运动评分程序。其中，操作系统是管理和控制智能终端硬件和软件资源的程序，运动评分程序以及其它软件或程序的运行。
56.在图1所示的智能终端中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的运动评分程序。
57.在本实施例中，智能终端包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的运动评分程序，其中：
58.处理器1001调用存储器1005中存储的运动评分程序时，执行以下操作：
59.确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定；
60.确定所述标准运动轨迹的各个分段对应的缩放系数；
61.根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；
62.确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果；
63.根据所述分段对比结果确定所述运动员对应的评分结果。
64.处理器1001调用存储器1005中存储的运动评分程序时，还执行以下操作：
65.确定视频中所述实际运动轨迹的各个分段的关键点位信息；
66.将各个分段的所述关键点位信息进行拟合，得到所述运动员的所述实际运动轨迹。
67.处理器1001调用存储器1005中存储的运动评分程序时，还执行以下操作：
68.获取所述缩放系数对应的实际运动轨迹的分段的关键点位信息；其中，每一所述分段对应的所述缩放系数不同；
69.将所述缩放系数与所述关键点位信息进行相乘，得到缩放后的所述标准运动轨迹的各分段。
70.处理器1001调用存储器1005中存储的运动评分程序时，还执行以下操作：
71.确定运动员在运动起点时对应的参照线段；
72.获取所述参照线段对应的标准参照线段；
73.将所述标准参照线段与所述参照线段在基准坐标系下进行对齐。
74.处理器1001调用存储器1005中存储的运动评分程序时，还执行以下操作：
75.将所述标准参照线段的末端位置平移至所述参照线段的末端位置；
76.确定平移后的所述标准参照线段与所述参照线段在基准坐标系的各个坐标轴方向的夹角；
77.基于所述夹角对所述标准参照线段进行坐标转换，以使所述标准参照线段与所述
参照线段在基准坐标系下对齐。
78.处理器1001调用存储器1005中存储的运动评分程序时，还执行以下操作：
79.将所述实际运动轨迹以及缩放后的所述标准运动轨迹映射到直播相机的相机坐标系中；
80.比对映射后的所述实际运动轨迹与映射且缩放后的所述标准运动轨迹之间的各个分段，得到所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果。
81.处理器1001调用存储器1005中存储的运动评分程序时，还执行以下操作：
82.对同一时刻所述直播相机的图像帧和固定相机的图像帧进行特征点提取和匹配，得到匹配点对；
83.根据所述匹配点对以及相机内参，得到本征矩阵；
84.对所述本征矩阵进行分解，得到所述直播相机的旋转平移矩阵以及所述固定相机的旋转平移矩阵；
85.根据所述直播相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对所述实际运动轨迹进行转换，得到在所述直播相机的相机坐标系下的实际运动轨迹，以及根据所述相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对缩放后的所述标准运动轨迹进行转换，得到在所述直播相机的相机坐标系下的缩放后的所述标准运动轨迹。
86.以下将以实施例的方式介绍本技术的技术方案。
87.本技术主要针对特定的某一体育赛事场景，对需要打分的动作和姿态根据打分标准构建一个3d标准运动轨迹数据库；通过对镜头中的运动场景选择合适的参照物，比如跳板、跳台等，将其检测并拟合出中心线，作为标准数据库匹配的起始曲线段，然后利用3d-2d的坐标映射，将3d标准运动轨迹投影到镜头内，并根据运动员的起跳高度等信息进行尺度调整；最后通过将运动员的实际运动轨迹与3d标准运动轨迹数据库中的标准运动轨迹，以及将运动员的实际运动轨迹分段和3d标准运动轨迹数据库中的标准运动轨迹分段进行比对，最终给出参考得分。
88.具体的，本技术将评分类体育项目的各个动作进行3d轨迹建模，并形成对应的运动类别-动作类别-轨迹的标准运动轨迹数据库。在实际的比赛或者训练过程中，首先，利用深度学习技术，对运动起点的环境特征，例如跳水运动中的跳台或者跳板进行识别，提取跳台或者跳板的中心线；根据中心线参照，将3d标准运动轨迹的起始线段与基准坐标系下当前视频帧中的中心线进行对齐；然后跟踪识别运动员的起跳高度，将3d标准运动轨迹与运动员的实际运动轨迹在起始点位置进行校正；对运动员的体育动作进行跟踪，将运动员的实际运动轨迹与3d标准运动轨迹进行实时分段对比，最后通过运动员的整体实际运动轨迹绘制与3d标准运动轨迹进行比对，实现裁判的主观评分客观化；同时，根据具体直播或者转播需求，通过直播相机的坐标系与基准坐标系的位姿关系，将运动员的实际运动轨迹和标准运动轨迹实时投影到直播图像中。整体流程图如图3所示。
89.如图2所示，在本技术的第一实施例中，本技术的运动评分方法，包括以下步骤：
90.步骤s110，确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定。
91.在本实施例中，本技术的硬件系统由一个固定相机和若干个移动直播相机组成，其中固定相机为基准相机，用于构建全局的参考坐标系。若干个移动直播相机为可选项，根
据不同的场景选择坐标系映射。标准运动轨迹和运动员实际运动轨迹在基准坐标系中生成和对齐，移动坐标系通过计算直播相机与基准相机的相对位姿关系得到，并将标准运动轨迹和实际运动轨迹通过坐标系变换，投影到直播相机的图像中。
92.在本实施例中，所述视频为移动直播相机拍摄得到。所述实际运动轨迹为运动员在实现该体育动作时对应的轨迹。所述标准运动轨迹存储于标准运动轨迹数据库中，且该标准运动轨迹根据该体育动作对应的标准动作确定。可将评分类体育项目的各个体育动作进行3d轨迹建模，并将各个轨迹按照运动类别-动作类别-轨迹的格式存储于标准运动轨迹数据库。其中，该轨迹可以是整体运动轨迹，即从上升到下落整个过程的运动轨迹。例如，该标准运动轨迹数据库中存储着跳水-向前翻腾3周半抱膝-整体运动轨迹。该轨迹也可以是分段运动轨迹。例如，该标准运动轨迹数据库中可存储着：跳水-向前翻腾3周半抱膝-上升轨迹、跳水-向前翻腾3周半抱膝-三个翻滚轨迹、跳水-向前翻腾3周半抱膝-半圆曲线轨迹、跳水-向前翻腾3周半抱膝-下落轨迹等。
93.具体的，所述标准运动轨迹根据所述体育动作对应的标准动作确定。不同的体育项目的运动轨迹不同。以跳水运动的107b体育动作为例，根据轨迹的特性，可按照起跳段(抛物线)、旋转段(螺旋曲线)、下落段(抛物线)等不同的时间阶段对标准运动轨迹进行分段曲线建模。以运动的起跳点作为坐标原点，构建相应的空间曲线方程，坐标原点可根据实际情况进行设置。
94.参照图4，以跳板的起跳点，即参照线和起跳段的交点为坐标原点，标准运动轨迹由6个分段曲线组成：起跳段u、3个圆形曲线段c
1-3
、一个半圆曲线段sc、以及下落段d。其中，起跳段为直线的三维方程表示，圆形曲线段由圆的三维曲线方程表示，半圆曲线段由半圆的三维曲线方程表示，下落段由直线的三维方程表示。考虑重力加速度，在圆形曲线段、半圆曲线段之间设计一个小的直线间距，具体表示如下：
95.c
ref
＝{u,c1,c2,c3,sc,d}。
96.由于具体的动作可能需要人体的多个部位来共同构成。因此，在具体的建模过程中，可以将人体按关节进行分别建模，比如选择7个人体关键点：头、左手、右手、左膝关节、右膝关节、左脚、右脚。然后对该7个关键点在运动过程中的轨迹进行分段曲线设计，总计7条标准曲线段(c
ref_head
，c
ref_lefth
，c
ref_righth
，c
ref_leftn
，c
ref_rightn
，c
ref_leftf
，c
ref_rightf
)，并根据具体动作组成来进行组合。例如，在107b中，抱膝动作需要组合左右手、左右膝关节，则在确定标准运动轨迹时，需要对左右手、左右膝关节曲线进行组合，该4条轨迹在抱膝动作中应该完全重合，即该标准运动轨迹可表示为：
[0097][0098]
其中，标准运动轨迹的原点为基准坐标系下的原点o(0，0，0)，设预设参照线段的长为1个单位，预设参照线段沿z轴方向，则预设参照线段末端顶点o'坐标为(0，0，1)。
[0099]
在通过上述方式对标准运动轨迹进行分段建模之后，将该标准运动轨迹存储于标准运动轨迹数据库。
[0100]
在本实施例中，通过对当前视频中的体育动作对应的实际运动轨迹进行识别，并且从标准运动轨迹数据库中获取与该实际运动轨迹匹配的标准运动轨迹。
[0101]
步骤s120，确定所述标准运动轨迹的各个分段对应的缩放系数。
[0102]
在本实施例中，在获取实际运动轨迹各个分段匹配的标准运动轨迹分段之后，确定每个分段对应的缩放系数。其中，每个分段存在对应的缩放系数。由于标准运动轨迹是以单位尺度进行构建，因此在做实际运动轨迹比对的时候，需要先将标准运动轨迹的各个分段按缩放系数进行比例缩放。而在将标准运动轨迹的各个分段按缩放系数进行缩放之前，需要确定标准运动轨迹的各个分段对应的缩放系数。例如，以跳水运动的107b体育动作为例，该体育动作分为上升段、三个翻滚段、半圆曲线段以及下落段。其中，用real表示实际运动轨迹，用ref表示标准运动轨迹。不同分段的缩放系数计算如下：
[0103]
上升段u：该上升段的缩放系数可以直接由计算得到。
[0104]
三个翻滚段c
1-3
：该三个翻滚段的缩放系数分别由每个圆周运动中的半径比例得到，即通过计算得到。
[0105]
半圆曲线段sc：该半圆曲线段的缩放系数由半圆曲线的半径比例得到，即通过计算得到。
[0106]
下落段d：该下落段的缩放系数计算方式可以直接由计算得到。
[0107]
步骤s130，根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；
[0108]
在本实施例中，每个标准运动轨迹的各分段存在对应的缩放系数，可采用上述的缩放系数对标准运动轨迹的各分段进行缩放。例如，可采用上升段的缩放系数对标准运动轨迹的上升段进行缩放。可采用下落段的缩放系数对标准运动轨迹的下落段进行缩放。
[0109]
步骤s140，确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果。
[0110]
在本实施例中，在对标准运动轨迹的各个分段进行缩放之后，将实际运动轨迹的各个分段分别与标准运动轨迹对应的分段进行比对，进而确定各个分段的分段比对结果。该分段比对结果用比对分值进行表示。例如，可将实际运动轨迹的上升段与标准运动轨迹的上升段进行比对，根据实际运动轨迹的上升段与标准运动轨迹的上升段的重合程度确定比对分值。例如在实际运动轨迹的上升段与标准运动轨迹的上升段的重合程度达到98％时，确定比对分值为98分。
[0111]
步骤s150，根据所述分段对比结果确定所述运动员对应的评分结果。
[0112]
在本实施例中，在确定各个分段的分段比对结果之后，可将各个分段的分段比对结果进行加权，根据加权值确定运动员对应的评分结果。还可将各个分段的比对结果结合各分段的占比确定运动员对应的评分结果，例如，以跳水运动的107b体育动作为例，假设上
升段占比为15％、三个翻滚段45％、半圆曲线段25％以及下落段15％。上升段分值为100、三个翻滚段95、半圆曲线段90以及下落段100，则最终得分为：15％*100+45％*95+25％*90+15％*100＝95.25，即最终得分为95.25。
[0113]
在一实施例中，还可采用技术指标加权评分和整体动作识别分级评分等方式对运动员的体育动作进行评分。其中，技术指标加权评分方案，是通过架设多路摄像机对运动员的体育动作进行多角度拍摄，根据多路录像实行3d重构生成3d录像，利用深度学习方法对3d录像中的技术指标进行动作识别，比如躯干旋转圈数、起跳高度等，最后根据裁判规则评分标准进行技术评分。整体动作识别分级评分是利用过往运动员的赛事或训练数据，通过深度学习算法，将整套动作按照体育裁判的评分等级进行打分训练，最后通过训练好的模型，对运动员的整套体育动作进行推理打分。
[0114]
本实施例根据上述技术方案，由于采用了确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定；确定所述标准运动轨迹的各个分段对应的缩放系数；根据所述缩放系数对所述标准运动轨迹的各分段进行缩放；确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果；根据所述分段对比结果确定所述运动员对应的评分结果的技术方案，由于将运动员的体育动作对应的实际运动轨迹与缩放后的标准运动轨迹进行分段比对，根据各个分段的分段对比结果确定运动员的评分结果，使得评分结果更加准确。
[0115]
在一实施例中，确定视频中运动员的体育动作对应的实际运动轨迹具体包括以下步骤：
[0116]
步骤s111，确定视频中所述实际运动轨迹的各个分段的关键点位信息；
[0117]
步骤s112，将各个分段的所述关键点位信息进行拟合，得到所述运动员的所述实际运动轨迹。
[0118]
在本实施例中，在确定运动员的体育动作对应的实际运动轨迹的过程中，需要同时考虑在进行该体育动作时，该运动员身体各关节的位置信息，即关键点位信息。例如，可确定视频中运动员的体育动作对应的关键时刻或关键时段；提取所述关键时刻下所述运动员的至少两个关键点位信息，或提取所述关键时段内每一时刻下所述运动员的至少两个关键点位信息；对各个所述关键点位信息进行拟合，得到所述运动员的所述体育动作对应的实际运动轨迹。
[0119]
具体的，首先利用开源的目标检测算法，如retinanet，yolo系列等网络，对目标场景的运动员进行目标检测和跟踪模型训练，并在视频流中进行实时推理，输出检测到的运动员目标框。然后对目标框中的运动员区域利用深度学习方法，如openpose方法，对运动员进行人体关键点检测，得到头、手、膝关节、脚等关键点在相机坐标系下的坐标。由于算法估计误差，在图像前后帧中通过高斯平滑等滤波方法进行关键点位平滑，并得到实时的点位序列。在得到关键点位序列之后，根据不同体育动作的关键时刻拆解，对运动员的实际运动轨迹进行曲线拟合。
[0120]
例如，以跳水运动的107b动作为例，曲线拟合的具体步骤如下：
[0121]
上升段u：记运动员的起跳时间为t0，运动员手部关键点与膝关节关键点的第一次重合时间为t1，该时间段为起跳段，则此时分别对前文所述的7个关键点的点位序列进行直线的最小二乘拟合；由于存在弯腰、屈肘等动作影响，上升段直线只取起跳时刻t0的关键点
位置和重合时刻t1的关键点位置。
[0122]
三个翻滚段c
1-3
：记第一次重合时刻头部关键点与手部(膝关节)的关键点向量为v0，计算每帧图像中的头部关键点与手部(膝关节)的关键点向量v
1-vk与v0的向量夹角，可得到一条夹角曲线。根据翻滚动作的轨迹特性，该夹角曲线呈半正弦式。随着翻滚开始，头和手的连接线以头为对称点，进行顺时针旋转，vk将越来越偏离v0，直到与v0反向，此时为最大夹角180度，随后vk向v0靠近，并最终重合，此时为完整的一个圆周运动。因此，从图5中可以得到每个完整圆周运动的起始和终止时刻(t1，t2)、(t2，t3)、(t3，t4)。取该时间段内的7个关键点位，分别进行圆形曲线的最小二乘拟合，即可得到7个关键点的三个翻滚段曲线，其中，c
ref_lefth
，c
ref_righth
，c
ref_leftn
，c
ref_rightn
共用同一个翻滚曲线段。
[0123]
半圆曲线段sc：从图5中可得到半周运动的起止时间(t4，t5)，对该时间段内的7个关键点的点位序列进行半圆曲线的最小二乘拟合。
[0124]
下落段d：记关键点入水消失的时间t
end
为整个动作的终止时间，取该时间段(t5，t
end
)内的7个关键点的点位序列进行直线的最小二乘拟合。
[0125]
本实施例根据上述技术方案，由于采用了通过对各个分段的关键点位信息进行拟合从而得到实际运动轨迹的技术手段，从而提高实际运动轨迹的准确性。
[0126]
在一实施例中，根据所述缩放系数对所述标准运动轨迹的各分段进行缩放具体包括以下步骤：
[0127]
步骤s131，获取所述缩放系数对应的实际运动轨迹的分段的关键点位信息；其中，每一所述分段对应的所述缩放系数不同；
[0128]
步骤s132，将所述缩放系数与所述关键点位信息进行相乘，得到缩放后的所述标准运动轨迹的各分段。
[0129]
在本实施例中，每一分段对应的缩放系数不同，即缩放系数关联着对应的实际运动轨迹的分段以及标准运动轨迹的分段。获取缩放系数对应的实际运动轨迹的分段的关键点位信息。通过将缩放系数与对应的分段的关键点位信息进行相乘，从而得到缩放后的标准运动轨迹的各分段。例如，将实际运动轨迹中的上升段的关键点位信息与该上升段的缩放系数进行相乘，从而得到缩放后的标准运动轨迹的上升段。将标准运动轨迹的各个分段通过上述上升段相同的缩放处理方式，进而得到缩放后的标准运动轨迹的各分段。
[0130]
本实施例根据上述技术方案，由于采用了通过缩放系数对标准运动轨迹的各分段进行缩放的技术手段，实现将标准运动轨迹与实际运动轨迹转化为同一尺度，为后续标准运动轨迹与实际运动轨迹的比对准备条件。
[0131]
在一实施例中，确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果具体包括以下步骤：
[0132]
步骤s141，将所述实际运动轨迹以及缩放后的所述标准运动轨迹映射到直播相机的相机坐标系中；
[0133]
步骤s142，比对映射后的所述实际运动轨迹与映射且缩放后的所述标准运动轨迹之间的各个分段，得到所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果。
[0134]
在本实施例中，上述第一实施例中记载了在固定相机的基准坐标系下，将运动员的实际运动轨迹与标准运动轨迹进行比对。在实际应用场景中，由于直播或者录播等需求，
需要将基准坐标系中的实际运动轨迹和标准运动轨迹投影到相应的直播相机中。此时需要根据直播相机和固定相机之间的相对位姿关系计算投影变换矩阵，先将实际运动轨迹和标准运动轨迹变换到直播相机的相机坐标系中，再根据相机成像原理投影回画面中。在最后的可视化效果上，通过全轨迹比对和分段轨迹比对两种方式，将运动轨迹进行全方位的对比，为裁判评分提供客观的视觉依据。
[0135]
本实施例根据上述技术方案，由于采用了将实际运动轨迹以及标准运动轨迹映射到直播相机的相机坐标系中，再对映射后的运动轨迹进行分段比对的技术手段，实现了运动轨迹的可视化，为裁判评分提供客观的视觉依据。
[0136]
在一实施例中，将所述实际运动轨迹以及缩放后的所述标准运动轨迹映射到直播相机的相机坐标系中具体包括以下步骤：
[0137]
步骤s1411，对同一时刻所述直播相机的图像帧和固定相机的图像帧进行特征点提取和匹配，得到匹配点对；
[0138]
步骤s1412，根据所述匹配点对以及相机内参，得到本征矩阵；
[0139]
步骤s1413，对所述本征矩阵进行分解，得到所述直播相机的旋转平移矩阵以及所述固定相机的旋转平移矩阵；
[0140]
步骤s1414，根据所述直播相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对所述实际运动轨迹进行转换，得到在所述直播相机的相机坐标系下的实际运动轨迹，以及根据所述相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对缩放后的所述标准运动轨迹进行转换，得到在所述直播相机的相机坐标系下的缩放后的所述标准运动轨迹。
[0141]
在本实施例中，直播相机和固定相机之间的相对位姿变换矩阵计算如下：对同一时刻直播相机的图像帧和固定相机的图像帧进行特征点提取和匹配，得到一系列的匹配点对；对匹配点对每8点求解基础矩阵f；通过基础矩阵f，利用相机内参(fx，fy，u0，v0)，计算本征矩阵e；对本征矩阵e进行svd分解，即可得到两个相机位姿的旋转平移矩阵r，t。得到旋转平移矩阵r，t后，直播相机的相机坐标系下的实际运动轨迹和标准运动轨迹计算如下：
[0142][0143][0144]
本实施例根据上述技术方案，由于采用了将固定相机坐标系下的实际运动轨迹以及标准运动轨迹映射到直播相机坐标系的技术手段，实现了运动轨迹的可视化，为裁判评分提供客观的视觉依据。
[0145]
在本技术的第二实施例中，在第一实施例的步骤s110之前，本技术的运动评分方法，包括以下步骤：
[0146]
步骤s210，确定运动员在运动起点时对应的参照线段；
[0147]
步骤s220，获取所述参照线段对应的标准参照线段；
[0148]
步骤s230，将所述标准参照线段与所述参照线段在基准坐标系下进行对齐。
[0149]
在本实施例中，为使得标准运动轨迹与实际运动轨迹的有效匹配，需要将标准运动轨迹与实际运动轨迹统一在固定相机的基准坐标系下。由于3d标准动作模型是曲线信息，因此需要对真实场景提取对应的参照线段，根据参照线段与标准动作模型的标准参照线段之间的空间位置关系计算坐标系转换矩阵。
[0150]
3d标准动作模型根据具体的运动项目设置参照线段，即图4中的参照线段。而实际运动轨迹可以以运动员的有效动作所依赖的环境提取参照线段。以跳水运动为例，可以选择跳板的中心线作为运动员实际运动轨迹的参照线段。具体的，利用深度学习算法，根据不同体育项目，对动作场景中的运动起始部分所处的运动环境进行目标检测，然后提取检测的区域的中心线用于表征基准坐标系中3d轨迹模型的参照线。以跳水项目为例，采集不同比赛或训练环境视频数据，对跳板或跳台进行精细标注，然后利用实例分割算法对目标跳板或跳台进行分割。例如，可采用deepmask对采集的数据集进行训练，并将训练得到的网络模型对视频流的每一帧进行目标跳板或跳台的分割推理。最后，对跳板或跳台的矩形区域根据矩形的角点提取相应的中心线。根据相机坐标系与图像坐标系之间的相互关系，可以得到中心线在基准坐标系下的坐标，其两端顶点分别为(os，os')。
[0151]
如前所述，基准坐标系是固定相机的相机坐标系，在该相机坐标系中，根据成像原理(如图6所示)，图像坐标系与相机坐标系，即基准坐标系的相互关系可通过相机内参计算得到。其中，在图6中，oc为相机的光心，即基准坐标系的坐标原点，o为图像坐标系的坐标原点，根据成像定理可得：
[0152][0153]
其中，(x，y)为图像坐标系下的像素坐标，(fx，fy，u0，v0)为相机内参，可通过张正友相机标定法标定得到，(xc,yc,zc)为相机坐标系下的坐标。
[0154]
本实施例根据上述技术方案，通过将标准运动轨迹，通过坐标系对齐和尺度校正方法，将竞技体育的主观评价方法客观的呈现在视频中，让评分类体育赛事的直播、转播、录播打破传统视觉体验方式，更具观赏性。
[0155]
在一实施例中，将所述标准参照线段与所述参照线段在基准坐标系下进行对齐包括以下步骤：
[0156]
步骤s231，将所述标准参照线段的末端位置平移至所述参照线段的末端位置；
[0157]
步骤s232，确定平移后的所述标准参照线段与所述参照线段在基准坐标系的各个坐标轴方向的夹角；
[0158]
步骤s233，基于所述夹角对所述标准参照线段进行坐标转换，以使所述标准参照线段与所述参照线段在基准坐标系下对齐。
[0159]
在本实施例中，将标准运动轨迹按照标准参照线段的末端顶点o'平移对齐真实场景检测到的参照线段的末端顶点os'；计算平移后的标准运动轨迹的标准参照线段和检测到的参照线段的三个轴的夹角(α,β,γ)；根据坐标系转换公式，将标准参照线段旋转至实际场景的参照线段处：
[0160]
[0161][0162]
本实施例根据上述技术方案，由于采用了通过坐标系和尺度的对齐，实现在视频中进行叠加呈现的效果。
[0163]
本发明实施例提供了运动评分方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0164]
如图7所示，本技术提供的一种运动评分系统，该运动评分系统包括：
[0165]
轨迹确定模块10，用于确定视频中运动员的体育动作对应的实际运动轨迹，以及标准运动轨迹，所述标准运动轨迹根据所述体育动作对应的标准动作确定。在一实施例中，所述轨迹确定模块10用于确定视频中所述实际运动轨迹的各个分段的关键点位信息；将各个分段的所述关键点位信息进行拟合，得到所述运动员的所述实际运动轨迹。
[0166]
缩放系数确定模块20，用于确定所述标准运动轨迹的各个分段对应的缩放系数；
[0167]
缩放模块30，用于根据所述缩放系数对所述标准运动轨迹的各分段进行缩放。在一实施例中，缩放模块30用于获取所述缩放系数对应的实际运动轨迹的分段的关键点位信息；其中，每一所述分段对应的所述缩放系数不同；将所述缩放系数与所述关键点位信息进行相乘，得到缩放后的所述标准运动轨迹的各分段。
[0168]
比对模块40，用于确定所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果。在一实施例中，比对模块40用于将所述实际运动轨迹以及缩放后的所述标准运动轨迹映射到直播相机的相机坐标系中；比对映射后的所述实际运动轨迹与映射且缩放后的所述标准运动轨迹之间的各个分段，得到所述实际运动轨迹与缩放后的所述标准运动轨迹之间的分段对比结果。在一实施例中，比对模块40用于对同一时刻所述直播相机的图像帧和固定相机的图像帧进行特征点提取和匹配，得到匹配点对；根据所述匹配点对以及相机内参，得到本征矩阵；对所述本征矩阵进行分解，得到所述直播相机的旋转平移矩阵以及所述固定相机的旋转平移矩阵；根据所述直播相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对所述实际运动轨迹进行转换，得到在所述直播相机的相机坐标系下的实际运动轨迹，以及根据所述相机的旋转平移矩阵、所述固定相机的旋转平移矩阵对缩放后的所述标准运动轨迹进行转换，得到在所述直播相机的相机坐标系下的缩放后的所述标准运动轨迹。
[0169]
评分模块50，用于根据所述分段对比结果确定所述运动员对应的评分结果。
[0170]
在一实施例中，在轨迹确定模块10之前，还连接有一对齐模块，该对齐模块用于确定运动员在运动起点时对应的参照线段；获取所述参照线段对应的标准参照线段；将所述标准参照线段与所述参照线段在基准坐标系下进行对齐。在一实施例中，该对齐模块还用于将所述标准参照线段的末端位置平移至所述参照线段的末端位置；确定平移后的所述标准参照线段与所述参照线段在基准坐标系的各个坐标轴方向的夹角；基于所述夹角对所述标准参照线段进行坐标转换，以使所述标准参照线段与所述参照线段在基准坐标系下对齐。
[0171]
本发明运动评分系统具体实施方式与上述运动评分方法各实施例基本相同，在此
不再赘述。
[0172]
基于同一发明构思，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有运动评分程序，所述运动评分程序被处理器执行时实现如上所述的运动评分方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0173]
由于本技术实施例提供的存储介质，为实施本技术实施例的方法所采用的存储介质，故而基于本技术实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本技术实施例的方法所采用的存储介质都属于本技术所欲保护的范围。
[0174]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0175]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0176]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0177]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0178]
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0179]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0180]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。