专利名称：一种基于动作识别技术的体育教学辅助系统及其实现方法
技术领域：
本发明涉及人机交互、动作识别以及计算机辅助教学领域，尤其涉及一种体育教学辅助系统的构建方法。
背景技术：
目前，运动追踪的方法根据传感元件的不同分为惯性追踪、光学追踪、力和机械式追踪、电磁式追踪、声学追踪等等。目前，在人机交互领域比较常用的运动追踪技术是惯性追踪技术和光学追踪技术。惯性追踪技术，通过在目标上设置惯性测量单元，测量得到加速度、角速度等数据，以此为基础使用数学工具解算，得到目标的运动情况。惯性追踪的特点是实现简单，抗干扰性强；缺点是不能全面地获取被追踪目标的运动特征，只能有限和局部地反映被追踪目标的运动特点。光学追踪技术，通过对目标上特定光点的监视和跟踪来完成运动追踪的任务。理论上，对于空间的任意一个点，只要它能同时被两台摄像机所见， 则根据同一瞬间两摄像机所拍摄的图像和摄像机参数，即可以确定这一时刻该点的空间位置。当摄像机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。其中图像的处理采用的是三维图象重建技术，即通过摄像机记录图像，通过数字化处理形成虚拟物体，然后通过三维空间标定，确定物体的空间位置。光学追踪技术的特点是能全面地反映物体的运动情况，精度高；缺点是实现较为困难，且追踪的范围较小。CN10115888公开了一种基于计算机视觉的虚拟体育系统及其实现方法，用于通用计算机，利用计算机视觉来识别人体以及体育器械的运动状态和动作模式，并将动作模式反馈给计算机，通过计算机的处理，控制虚拟体育运动中的角色做出相应的动作。该发明可以更好地提高全民健身运动的普及程度，但缺点是对于实际动作的识别范围较小。
发明内容
本发明的目的是提供一种基于动作识别技术的体育教学辅助系统及其实现方法， 利用人机交互技术以及光学追踪与惯性追踪相结合的方法，能够有效扩大运动追踪范围并及时反馈运动信息，实现较大范围内特定运动信息的采集与处理，并将之应用于计算机虚拟辅助体育教学。本发明解决其技术问题所采用的技术方案是一种基于动作识别技术的体育教学辅助系统，用于PC或嵌入式主机，其包括运动数据采集模块、运动数据获取模块、辨识与训练模块、虚拟教学环境模块组成，所述的运动数据采集模块进一步包括特定波长点光源、不少于二个摄像头；所述的运动数据获取模块进一步包括图像特征提取单元、三维空间定位单元、运动信息解算单元、多传感器数据融合单元；所述的辨识与训练模块进一步包括动作模式数据采集模块、训练模块、辨识单元；所述的虚拟教学环境模块包括一动作模式标准库、一动作解析单元、一虚拟教学环境、一显示设备；其特征在于在所述的运动数据采集模块中还是设有一微惯性测量单元和一惯性参数提取单元，微惯性测量单元与被测目标绑定，用于测量被测目标的惯性参数，供运动数据获取模块处理，所述的微惯性测量单元通过无线信号与所述的惯性参数提取单元信号输入端连接；所述的运动信息解算单元对惯性参数提取单元输出的数据传输到多传感器数据融合单元作解算处理。所述的运动数据获取模块，其中所述的三维空间定位单元利用标记点在两个摄像头内成像的位置，利用双目视觉算法得到标记点的三维空间坐标，所述多传感器数据融合单元采用基于D-S证据理论的多传感器数据融合算法对运动目标的惯性参数和三维空间坐标作处理，获取目标的动作模式数据。所述的虚拟教学环境模块，其中所述动作模式标准库用于供动作解析单元解析动作模式的范本；所述的动作模式标准库包括特定体育运动动作模式标准库、非特定动作模式标准库和连续动作模型库；所述动作解析单元用于解析动作模式数据的辨识结果；所述虚拟教学环境为人机互动平台，用于提供体育教学方案；所述显示设备用于反馈运动动作模式辨识的解析结果、显示人机交互动作状态， 其输入端与计算机连接；所述的特定体育运动动作模式标准库，以体育运动项目的基本动作为主，包括乒乓球的基本动作、网球基本动作、高尔夫挥杆动作、保龄球掷球动作、跑步的抬腿动作等；所述的非特定动作模式标准库，是根据体育教学要求定制特殊应用的动作模型库，包括鞍马运动员基本动作、体操、体育教学动漫游戏类应用的动作等；所述的连续动作模型库，为辅助体育教学特定功能而设计的由系列动作组成的组合动作库，它基于特定动作模型库和非特定模型库，包括体操、舞蹈、武术、健身气功等一套完整的动作。一种基于动作识别技术的虚拟体育教学辅助系统的构建方法，其包括以下步骤A、将标记点与被测目标绑定，将摄像头安装在指定区域的正前方，用于捕捉指定区域的图像、获取标记点运动的惯性参数；B、采集数字图像并输入通用计算机，得到目标运动的数字图像；采集标记点运动的惯性参数；C、对采集的惯性参数和数字图像进行解算和多传感器融合，获取标记点运动方式；D、根据标记点运动方式识别其运动模式，传送给虚拟体育教学环境，并反馈输出相应的交互动作状态，对输出的交互动作状态进行统计，并与预设的体育教学指标进行比对和解析，得到动作修正方案如位置、速度、角度等方面，并将结果输出在显示设备上。所述的步骤C还包括在图像特征提取单元，首先通过二值算法提取目标运动的特征构图，对特征构图求取其重心，得到特征构图中心位置；接着根据对所选特征的计算， 建立特征之间的对应关系；所述步骤C还包括对所述步骤B中获取的标记点运动方式和惯性参数，通过D-S 证据理论的多传感器数据融合算法，得到反映目标运动特征的一致性数据。
所述步骤D还包括D1、采集各种样本动作模式数据，对采集到的样本动作模式数据进行标注；D2、逐一从所述样本动作模式数据中提取出反映其本质特征的特征向量；D3、根据所述特征向量划分所属类别区域，使得划分后的各个不同类别区域中只包含同类样本的特征向量，建立从特征向量到所属类别之间映射关系的分类器；D4、对待检测的动作模式数据进行处理，提取其特征向量；D5、将待检测的作模式数据的特征向量输入到所述分类器，分类器根据其特征向量进行判别，得到该待检测的作模式数据的辨识结果。D6、动作模式数据的辨识结果输入到虚拟教学环境和动作解析单元中，通过显示设备，反馈输出运动状态。所述步骤D2还包括D21、对所述样本动作模式数据进行预处理，得到训练数据；D22、从训练数据中提取反映训练数据本质特征的特征成分；D23、将所述特征成分进行组合，得到所述特征向量。所述步骤D4还包括D41、对所述待检测的动作模式数据进行预处理，得到辨识数据；D42、从辨识数据中提取反映辨识数据本质特征的特征成分；D43、将所述特征成分进行组合，得到所述特征向量。所述步骤D6还包括D61、自定义不同类别的标准动作模式，建立动作模式标准库；D62、将标准动作模式和体育运动教学步骤自定义为教学方案，并输入虚拟体育教学环境中；D63、将辨识结果输入到虚拟体育教学环境中，实现人机交互运动状态；以动作模式标准库为参照标准，对辨识结果进行解析，得到动作修正方案；D64、将动作修正方案和动作模式数据辨识结果输入到显示设备。本发明的有益效果由于采用在原来的光学追踪方式下增加了惯性追踪方式其综合后使反映目标运动情况，有效扩大了追踪范围，提高了测量的精度，解决了惯性追踪无法获取目标整体信息、不能做复杂的运动识别、敏感性差的问题，同时也解决光学追踪技术还原真实性差、有效追踪范围小以及阻挡影响的问题。本发明还具有很强的实用性，为体育教学提供一种全新的教学模式，让体育运动教学方法趋于数字化、多媒体化和科学标准化。以下将结合附图和实施例，对本发明进行较为详细的说明。
图1为本发明基于动作识别技术的体育辅助教学系统示意框图。图2为本发明运动数据采集模块示意框图。图3为本发明运动数据获取模块示意框图。图4为本发明辨识与训练模块示意框图。图5为本发明虚拟教学环境模块示意框图。图6为图5的局部放大示意框图。
图7为本发明总体结构的示意框图。
具体实施例方式实施例1，如图1、图7所示，一种基于动作识别技术的体育教学辅助系统，用于PC 或嵌入式主机，其包括运动数据采集模块1、运动数据获取模块2、辨识与训练模块3、虚拟教学环境模块3组成；如图2所示，所述的运动数据采集模块1进一步包括特定波长点光源11、不少于二个摄像头12 ；如图3所示，所述的运动数据获取模块2进一步包括图像特征提取单元21、三维空间定位单元22、运动信息解算单元23、多传感器数据融合单元M ；运动数据获取模块2，其中所述的三维空间定位单元22利用标记点在两个摄像头 12内成像的位置，利用双目视觉算法得到标记点的三维空间坐标，所述的多传感器数据融合单元M采用基于D-S证据理论的多传感器数据融合算法对运动目标的惯性参数和三维空间坐标作处理，获取目标的动作模式数据。如图4所示，所述的辨识与训练模块3进一步包括动作模式数据采集模块31、训练模块32、辨识单元33 ；如图5所示，所述的虚拟教学环境模块4包括一动作模式标准库41、一动作解析单元42、一虚拟教学环境43、一显示设备44 ；所述的虚拟教学环境模块4，其中所述动作模式标准库41用于供动作解析单元解析动作模式的范本；所述动作解析单元42用于解析动作模式数据的辨识结果；所述虚拟教学环境43为人机互动平台，用于提供体育教学方案；所述显示44设备用于反馈运动动作模式辨识的解析结果、显示人机交互动作状态，其输入端与计算机连接；如图2所示，在所述的运动数据采集模块1中还是设有一微惯性测量单13元和一惯性参数提取单元14，微惯性测量单元13与被测目标绑定，用于测量被测目标的惯性参数，供运动数据获取模块2处理，所述的微惯性测量单元13通过无线信号与所述的惯性参数提取单元14信号输入端连接；所述的运动信息解算单元23对惯性参数提取单元14输出的数据传输到多传感器数据融合单元M作解算处理。如图6所示，所述的动作模式标准库41包括特定体育运动动作模式标准库45、非特定动作模式标准库46和连续动作模型库47。所述的特定体育运动动作模式标准库45，以体育运动项目的基本动作为主，包括乒乓球的基本动作、网球基本动作、高尔夫挥杆动作、保龄球掷球动作、跑步的抬腿动作等。所述非特定动作模式标准库46，是根据体育教学要求定制特殊应用的动作模型库，包括鞍马运动员基本动作、体操、体育教学动漫游戏类应用的动作等.所述连续动作模型库47，为辅助体育教学特定功能而设计的由系列动作组成的组合动作库，它基于特定动作模型库和非特定模型库，包括体操、舞蹈、武术、健身气功等一套完整的动作。运动数据采集模块1主要用于采集运动目标的数字图像和惯性参数，该模块中特定波长点光源11为发出单色光的点光源，图像采集设备为可见光摄像头，微惯性测量单元 13与被测目标绑定并通过无线信号与惯性参数提取单元14信号输入端连接，特定波长点光源11的光信号则由摄像头采集，摄像头12输出端与图像特征提取单元21输入端连接， 运动数据采集模块1采集的运动数据输入运动数据获取模块2中运动信息解析单元23和图像特征提取单元21，供运动数据获取模块2分析处理。实施例2如图1、图7所示，一种基于动作识别技术的体育教学辅助系统，用于PC 或嵌入式主机，其包括运动数据采集模块1、运动数据获取模块2、辨识与训练模块3、虚拟教学环境模块4组成。目标在所述显示设备44正面运动，与目标绑定的所述微惯性测量单元13将测量得到一组运动数据，经惯性参数提取单元14处理后得到运动惯性参数，通过无线传输模块传送至所述运动信息解算单元23 ；运动数据采集模块1中特定波长点光源11为发出单色光的点光源，图像采集设备为不少于二个的可见光摄像头，特定波长点光源的光信号则由摄像头采集，摄像头12输出端与图像特征提取单元21输入端连接。运动数据采集模块1 采集的运动数据输入运动数据获取模块2中运动信息解析单元23和图像特征提取单元21， 供运动数据获取模块2分析处理。运动信息解算单元23对所获数据进行解算并将结果传送至多传感器数据融合单元M ；图像特征提取单元21对所获视频图像进行二值算法得到运动目标的特征构图，三维空间定位单元22通过运算变换，得到运动目标的三维空间坐标，并将其传送至多传感器数据融合单元M ；多传感器数据融合单元M将得到的数据信息采用基于D-S证据理论的多传感器数据融合算法对运动目标的惯性参数和三维空间坐标作处理，获取目标的动作模式数据。辨识与训练模块3，通过动作模式数据采集模块31采集各种动作模式样本数据， 由训练模块32对样本模式数据进行预处理，得到训练数据。图4中的分类器从训练数据中提取反映数据本质特征的特征向量并根据特征向量对其进行分类，建立从特征向量到所属类别之间映射关系的分类器；辨识单元33对经运动数据获取模块2分析得到的待检测的动作模式数据进行预处理，得到辨识数据，从辨识数据中提取特征向量并输入到图4所述分类器中，分类器根据其特征向量进行判别，得到对待辨识动作模式数据的辨识结果。自定义不同类别的标准动作模式，建立动作模式标准库41，有如乒乓球的基本动作、网球基本动作、高尔夫挥杆动作、保龄球掷球动作、跑步的抬腿动作等以体育运动项目的基本动作为主的特定体育运动动作模式标准库45，如鞍马运动员基本动作、体操、体育教学动漫游戏类应用的动作等根据体育教学要求定制特殊应用的非特定动作模式标准库 46，以及基于特定动作模型库和非特定模型库为辅助体育教学特定功能而设计的由系列动作组成的续动作模型库47，包括体操、舞蹈、武术、健身气功等一套完整的动作。将标准动作模式和体育运动教学步骤自定义为教学方案，并输入虚拟体育教学环境中；将辨识结果输入到虚拟教学环境43中，实现人机交互运动状态；以动作标准模式库为参照标准，由动作解析单元42对辨识结果进行解析，得到动作修正方案(如位置、速度、 角度等方面)，并将结果输出在显示设备44。由于采用在原来的光学追踪方式下增加了惯性追踪方式其综合后使反映目标运动情况，有效扩大了追踪范围，提高了测量的精度，解决了惯性追踪无法获取目标整体信息、不能做复杂的运动识别、敏感性差的问题，同时也解决光学追踪技术还原真实性差、有效追踪范围小以及阻挡影响的问题。本发明还具有很强的实用性，为体育教学提供一种全新的教学模式，让体育运动教学方法趋于数字化、多媒体化和科学标准化。
权利要求
1.一种基于动作识别技术的体育教学辅助系统，用于PC或嵌入式主机，其包括运动数据采集模块、运动数据获取模块、辨识与训练模块、虚拟教学环境模块组成，所述的运动数据采集模块进一步包括特定波长点光源、不少于二个摄像头； 所述的运动数据获取模块进一步包括图像特征提取单元、三维空间定位单元、运动信息解算单元、多传感器数据融合单元；所述的辨识与训练模块进一步包括动作模式数据采集模块、训练模块、辨识单元； 所述的虚拟教学环境模块包括一动作模式标准库、一动作解析单元、一虚拟教学环境、 一显示设备；其特征在于在所述的运动数据采集模块中还是设有一微惯性测量单元和一惯性参数提取单元，微惯性测量单元与被测目标绑定，用于测量被测目标的惯性参数，供运动数据获取模块处理，所述的微惯性测量单元通过无线信号与所述的惯性参数提取单元信号输入端连接；所述的运动信息解算单元对惯性参数提取单元输出的数据传输到多传感器数据融合单元作解算处理。
2.如权利要求1所述的一种基于动作识别技术的体育教学辅助系统，其特征在于所述的运动数据获取模块，其中所述的三维空间定位单元利用标记点在两个摄像头内成像的位置，利用双目视觉算法得到标记点的三维空间坐标，所述多传感器数据融合单元采用基于D-S证据理论的多传感器数据融合算法对运动目标的惯性参数和三维空间坐标作处理， 获取目标的动作模式数据。
3.如权利要求1所述的一种基于动作识别技术的体育教学辅助系统，其特征在于所述的虚拟教学环境模块，其中所述动作模式标准库用于供动作解析单元解析动作模式的范本；所述的动作模式标准库包括特定体育运动动作模式标准库、非特定动作模式标准库和连续动作模型库； 所述动作解析单元用于解析动作模式数据的辨识结果； 所述虚拟教学环境为人机互动平台，用于提供体育教学方案； 所述显示设备用于反馈运动动作模式辨识的解析结果、显示人机交互动作状态，其输入端与计算机连接；所述的特定体育运动动作模式标准库，以体育运动项目的基本动作为主，包括乒乓球的基本动作、网球基本动作、高尔夫挥杆动作、保龄球掷球动作、跑步的抬腿动作等；所述的非特定动作模式标准库，是根据体育教学要求定制特殊应用的动作模型库，包括鞍马运动员基本动作、体操、体育教学动漫游戏类应用的动作等；所述的连续动作模型库，为辅助体育教学特定功能而设计的由系列动作组成的组合动作库，它基于特定动作模型库和非特定模型库，包括体操、舞蹈、武术、健身气功等一套完整的动作。
4.一种基于动作识别技术的虚拟体育教学辅助系统的构建方法，其包括以下步骤A、将标记点与被测目标绑定，将摄像头安装在指定区域的正前方，用于捕捉指定区域的图像、获取标记点运动的惯性参数；B、采集数字图像并输入通用计算机，得到目标运动的数字图像；采集标记点运动的惯性参数；C、对采集的惯性参数和数字图像进行解算和多传感器融合，获取标记点运动方式；D、根据标记点运动方式识别其运动模式，传送给虚拟体育教学环境，并反馈输出相应的交互动作状态，对输出的交互动作状态进行统计，并与预设的体育教学指标进行比对和解析，得到动作修正方案如位置、速度、角度等方面，并将结果输出在显示设备上。
5.如权利要求4所述的基于动作识别技术的虚拟体育教学辅助系统的构建方法，其特征在于所述的步骤C还包括在图像特征提取单元，首先通过二值算法提取目标运动的特征构图，对特征构图求取其重心，得到特征构图中心位置；接着根据对所选特征的计算，建立特征之间的对应关系；
6.如权利要求4所述的基于动作识别技术的虚拟体育教学辅助系统的构建方法，其特征在于所述步骤C还包括对所述步骤B中获取的标记点运动方式和惯性参数，通过D-S 证据理论的多传感器数据融合算法，得到反映目标运动特征的一致性数据。
7.如权利要求4所述的基于动作识别技术的虚拟体育教学辅助系统的构建方法，其特征在于所述步骤D还包括D1、采集各种样本动作模式数据，对采集到的样本动作模式数据进行标注； D2、逐一从所述样本动作模式数据中提取出反映其本质特征的特征向量； D3、根据所述特征向量划分所属类别区域，使得划分后的各个不同类别区域中只包含同类样本的特征向量，建立从特征向量到所属类别之间映射关系的分类器； D4、对待辨识动作模式数据进行处理，提取其特征向量；D5、将待辨识动作模式数据的特征向量输入到所述分类器，分类器根据其特征向量进行判别，得到对该待辨识动作模式数据的辨识结果。D6、动作模式数据的辨识结果输入到虚拟教学环境和动作解析单元中，通过显示设备， 反馈输出运动状态。
8.如权利要求7所述的基于动作识别技术的虚拟体育教学辅助系统的构建方法，其特征在于所述步骤D2还包括D21、对所述样本动作模式数据进行预处理，得到训练数据； D22、从训练数据中提取反映训练数据本质特征的特征成分； D23、将所述特征成分进行组合，得到所述特征向量。
9.如权利要求7所述的基于动作识别技术的虚拟体育教学辅助系统的构建方法，其特征在于所述步骤D4还包括D41、对所述待辨识动作模式数据进行预处理，得到辨识数据； D42、从辨识数据中提取反映辨识数据本质特征的特征成分； D43、将所述特征成分进行组合，得到所述特征向量。
10.如权利要求7所述的基于动作识别技术的虚拟体育教学辅助系统的构建方法，其特征在于所述步骤D6还包括D61、根据辨识数据的特征向量，自定义不同类别的标准动作模式，建立动作模式标准库；D62、将标准动作模式和体育运动教学步骤自定义为教学方案，并输入虚拟体育教学环境中；D63、将辨识结果输入到虚拟体育教学环境中，现实人机交互运动状态；以标准动作库为参照标准，对辨识结果进行解析，得到动作修正方案；D64、将动作修正方案和动作模式数据辨识结果输入到显示设备。
全文摘要
本发明提供了一种基于动作识别技术的体育教学辅助系统及其实现方法，用于PC或嵌入式主机，包括运动数据采集模块、运动数据获取模块、辨识与训练模块、虚拟教学环境模块组成，其特征在于在所述的运动数据采集模块中还是设有一微惯性测量单元和一惯性参数提取单元，所述的运动信息解算单元对惯性参数提取单元输出的数据传输到多传感器数据融合单元作解算处理。由于采用惯性追踪和光学追踪两种方式综合反映目标运动情况，有效扩大了追踪范围，提高了测量的精度，解决了惯性追踪无法获取目标整体信息、不能做复杂的运动识别、敏感性差的特点。为体育教学提供一种全新的教学模式，让体育运动教学方法趋于数字化、多媒体化和科学标准化。
文档编号G06F19/00GK102243687SQ20111010257
公开日2011年11月16日 申请日期2011年4月22日 优先权日2011年4月22日
发明者刘思杨, 宁岩, 牛涛, 王略志, 陈拥权 申请人:安徽寰智信息科技股份有限公司