专利名称：一种基于哈尔特征和动态时序匹配的投篮动作识别方法
技术领域：
本发明涉及一种投篮动作识别方法，尤其涉及一种基于哈尔特征和动态时序匹配的投篮动作识别方法。
背景技术：
动作捕捉设备对场地、服装和演员都有较高的限制，以光学捕捉设备为例，演员需要穿着特定的服装并贴上标记点，需要十分繁琐的准备过程。应用从多视点轮廓图识别动作的方法，可以做到无标记点，以改善用户体验，提高交互性。
在近年来动作识别的相关研究中，很多学者结合计算机视觉和机器学习等知识，针对不同的应用领域和需求，提出了从二维图像序列恢复三维动作的解决方案，其研究成果主要被应用于智能监控、感知接口、运动分析和虚拟现实等方面。如，K.Takahashi等人基于手部动作提出了一种全帧匹配方案，使用spatio-temporal vector fields作为识别依据，使用CDP(Continuous DynamicProgramming)定位，用于人的有限个手部动作的识别。而LIU REN等则以舞蹈动作为基础，使用AdaBoost学习得到的矩形特征计算轮廓图在这些特征上的海明距离，后基于预先生成的动作图(Motion Graph)进行单幅图像的局部敏感匹配，最后合成与输入最相近的姿势序列。
发明内容
本发明的目的在于克服动作捕捉设备对场地、服装和演员高限制，避免繁琐的准备过程，在无标记点的情况下快速而准确地识别出投篮动作。
基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤 1)预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存； 2)标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引； 3)依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库； 4)依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库； 5)对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征； 6)使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量； 7)运行时，通过多视点摄像机拍摄人投篮的图片序列，并处理为轮廓图序列作为输入； 8)从图像序列中篮球轮廓是否与人体轮廓分离及其速度、位置，判断投篮出手时刻； 9)使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，判断所属类； 10)从数据库中索引同一类的所有动作，作为备选相似动作； 11)对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价； 12)取匹配代价最优的备选相似动作，作为输入的识别结果。
基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征步骤包括 1)选择若干哈尔特征样式，按照图像大小和移动步长，选取不同的长度、宽度和位置，定义若干哈尔特征； 2)对样本库中的每一个样本所对应的二值轮廓图像，对每个已定义的哈尔特征，计算哈尔特征值； 3)对每个已定义的哈尔特征，将其值域等分为K个子域，对每个类c统计每个子域中哈尔特征值落于该子域的样本个数，得到样本分布统计； 4)对每个已定义的哈尔特征，根据样本分布统计，计算每个子域的类属偏向值，得到基于LUT扩展的浮点哈尔特征，类属偏向值的计算公式是 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量步骤包括 1)挑选若干样本姿势分为k类，共n个，初始化样本W权重为1/n，并标记类别c； 2)在每一轮特征选取过程中，对每个浮点哈尔特征，根据样本分布统计和样本权重，重新计算每个子域的类属偏向值，同时计算其对样本的错判误差 挑选错判误差最小的浮点哈尔特征为本轮中选特征，然后更新样本权重 最后归一化新样本权重； 3)重复步骤2)直至特征集合个数满足要求或错判误差过大，得到哈尔特征向量。
基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价步骤包括 1)对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，建立匹配矩阵； 2)以出手时刻前若干帧为匹配起点集合，后若干帧为匹配终点集合，按照定义的局部连续性约束和全局连续性约束，从起点集合开始依次扩展匹配路径至终点集合，匹配路径上的每个点始终记录从起点开始到达该点的最优匹配代价和生成该代价的最优父节点； 3)从匹配终点集合中挑选匹配代价最优的点作为终点，根据每个点记录的最优父节点，回溯得到最优匹配路径和最优匹配代价。
本发明是通过多视点摄像机采集动作图片序列，提取轮廓并抽取图像特征，再以此为依据在数据库中寻找最优匹配动作，以快速并准确地达到识别投篮动作的目的。不同于动作捕捉设备对场地、服装和演员的高要求和繁琐的准备过程，本发明无标记点，无演员身高、性别、服装限制，具有良好的用户体验，且具有较高的计算效率，可满足交互装置等的准实时响应要求，考虑动作的时序性，结合轮廓图的特征相似性，具有较高的识别准确率。
图1是基于时序匹配的多视点轮廓图序列识别动作方法流程图； 图2(a)是动作捕捉设备捕获投篮动作的场景； 图2(b)是动作捕捉设备捕获到的动作； 图2(c)是动作的轮廓图； 图3是本发明数据库组织与索引形式； 图4(a)是哈尔特征示意； 图4(b)是基于LUT扩展的浮点哈尔特征类属偏向值示意； 图4(c)是根据偏向值判断样本的类别示意； 图5(a)是动态时序匹配的匹配矩阵和匹配路径示意； 图5(b)是动态时序匹配的局部连续性约束示意； 图6(a)是本发明右手抛球的识别结果； 图6(b)是本发明双手右侧投篮的识别结果； 图6(c)是本发明双手抛球的识别结果。
具体实施例方式 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤 1)预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存； 2)标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引； 3)依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库； 4)依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库； 5)对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征； 6)使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量； 7)运行时，通过多视点摄像机拍摄人投篮的图片序列，并处理为轮廓图序列作为输入； 8)从图像序列中篮球轮廓是否与人体轮廓分离及其速度、位置，判断投篮出手时刻； 9)使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，判断所属类； 10)从数据库中索引同一类的所有动作，作为备选相似动作； 11)对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价； 12)取匹配代价最优的备选相似动作，作为输入的识别结果。
基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征步骤包括 1)选择若干哈尔特征样式，按照图像大小和移动步长，选取不同的长度、宽度和位置，定义若干哈尔特征； 2)对样本库中的每一个样本所对应的二值轮廓图像，对每个已定义的哈尔特征，计算哈尔特征值； 3)对每个已定义的哈尔特征，将其值域等分为K个子域，对每个类c统计每个子域中哈尔特征值落于该子域的样本个数，得到样本分布统计； 4)对每个已定义的哈尔特征，根据样本分布统计，计算每个子域的类属偏向值，得到基于LUT扩展的浮点哈尔特征，类属偏向值的计算公式是 基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量步骤包括 1)挑选若干样本姿势分为k类，共n个，初始化样本W权重为1/n，并标记类别c； 2)在每一轮特征选取过程中，对每个浮点哈尔特征，根据样本分布统计和样本权重，重新计算每个子域的类属偏向值，同时计算其对样本的错判误差 挑选错判误差最小的浮点哈尔特征为本轮中选特征，然后更新样本权重 最后归一化新样本权重； 3)重复步骤2)直至特征集合个数满足要求或错判误差过大，得到哈尔特征向量。
基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价步骤包括 1)对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，建立匹配矩阵； 2)以出手时刻前若干帧为匹配起点集合，后若干帧为匹配终点集合，按照定义的局部连续性约束和全局连续性约束，从起点集合开始依次扩展匹配路径至终点集合，匹配路径上的每个点始终记录从起点开始到达该点的最优匹配代价和生成该代价的最优父节点； 3)从匹配终点集合中挑选匹配代价最优的点作为终点，根据每个点记录的最优父节点，回溯得到最优匹配路径和最优匹配代价。
实施例 基于哈尔特征和动态时序匹配的投篮动作识别方法步骤如下 1)首先用动作捕捉设备捕获各种投篮动作到数据库，如图2(a)和图(b)，将所有动作向两侧分别旋转15°以丰富数据库内容。将所有动作渲染成多视角下的二维图像，然后处理为如图2(c)的轮廓图储存在数据库中； 2)手动标记所有动作的投篮出手时刻、出手位置和出手方式，根据出手位置将所有动作分为左手单手、右手单手和双手三大类，并如图3建立索引； 3)依据动作分类，在每一类中平均随机选取动作共计5100个，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库，再在每一类中平均随机取姿势对共计6000个，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库； 4)选择如图4(a)的四种哈尔特征样式，对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征； 5)使用Multiclass Gentle AdaBoost算法，针对第4步提取的浮点哈尔特征，从姿势分类样本库中抽取50个浮点哈尔特征组成分类哈尔特征向量，从姿势区分样本库中抽取150个浮点哈尔特征组成度量哈尔特征向量； 6)在系统运行时，在左前、右前、后方、右方和右上方架设多视点摄像机，先在无人的环境下拍摄一组背景照片，再拍摄人投篮的图片序列，使用上下双阈值轮廓提取算法将其处理为轮廓图序列，以此作为输入； 7)使用图像序列中的右方和右上方图像，逐帧判断其中篮球轮廓是否与人体轮廓分离以及篮球轮廓的速度、位置是否符合物理规律，若连续若干帧条件均成立，则将条件成立的第二帧作为输入序列中的投篮出手时刻； 8)使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，分类哈尔特征值中的最大分量所对应的类为其所属类，再从数据库中索引同一类的所有动作，作为备选相似动作； 9)对每一个备选相似动作，将其与输入序列按出手时刻对齐，分别截取备选相似动作和输入序列的出手时刻前后若干帧作为匹配序列，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值建立匹配矩阵，做动态时序匹配，得到匹配代价； 10)取匹配代价最优的备选相似动作，作为输入的识别结果，如图6(a)(b)(c)。
所述的第4步提取基于LUT扩展的浮点哈尔特征的步骤为 1)选择如图4(a)的哈尔特征样式，按照图像大小和移动步长，选取不同的长度、宽度和位置，定义具体的哈尔特征共计约110000个； 2)对样本库中的每一个样本所对应的二值轮廓图像，对每个已定义的哈尔特征，计算哈尔特征值，计算方法为统计黑白矩阵中像素点的个数差； 3)对每个已定义的哈尔特征，将其值域等分为32个子域，对每个类c统计每个子域中哈尔特征值落于该子域的样本个数，得到样本分布统计，再根据样本分布统计，计算如图4(b)的每个子域的类属偏向值，得到基于LUT扩展的浮点哈尔特征，类属偏向值的计算公式是 4)类属偏向值中的最大项所对应的类别，即为该浮点哈尔特征对该样本的类属判断，如图4(c)。
所诉的第5步Multiclass Gentle AdaBoost算法的步骤为 1)挑选若干样本姿势分为k类，共n个，初始化样本W权重为1/n，并标记类别c； 2)在每一轮特征选取过程中，对每个浮点哈尔特征，根据样本分布统计和新的样本权重，重新计算每个子域的类属偏向值，同时计算该特征对所有样本的错判误差 挑选错判误差最小的浮点哈尔特征为本轮中选特征，然后更新样本权重 最后归一化得到新的样本权重； 3)重复步骤2)直至特征集合个数满足要求或错判误差过大，得到哈尔特征向量。
所述的第9步动态时序匹配的步骤为 1)对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值作为姿势间的匹配代价，建立如图5(a)的匹配矩阵，矩阵中的点用于记录相应姿势间的匹配代价； 2)以出手时刻前若干帧为匹配起点集合，后若干帧为匹配终点集合，按照如图5(b)的局部连续性约束，并要求全局帧错位不得超过3帧，从起点集合开始依次扩展匹配路径至终点集合，匹配路径上的每个点始终记录从起点开始到达该点的最优匹配代价和生成该代价的最优父节点； 3)从匹配终点集合中挑选匹配代价最优的点作为终点，根据路径中每个点在第2步中记录的最优父节点，依次回溯得到最优匹配路径，路径上所有点的匹配代价之和就是最优匹配代价。
本方法已经被实现为一个具体的投篮动作识别系统，在Windows下使用C++语言编写实现。本方法的表现情况主要在于动作的识别率，我们对其做了大规模数据的识别测试。参加测试的人员共有A、B两人，每人各做110个投篮动作，包含各种左手、右手和双手投篮动作共220个动作，按照对匹配要求的不同层次统计了分类命中率和具体动作识别率这两项数据。其中，分类命中率值的是识别出的动作与测试动作分类的一致性，即是否同为左手、右手或双手动作；具体动作识别率则要求测试数据能够良好的区分抛球和投球，并且出手的具体位置也相近。具体测试结果如下表
测试结果表明本系统对投篮动作的识别情况良好，且系统的识别速度快，识别一个动作大约只需2-3秒钟，能被应用于交互式游戏。
权利要求
1.一种基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于包括以下步骤
1)预先用动作捕捉设备捕获各种投篮动作存入数据库中，将所有动作向两侧轻微旋转后渲染成多视角下的二维图像，然后处理为轮廓图储存；
2)标记所有动作的投篮出手时刻、出手位置和出手方式，将所有动作分为左手单手、右手单手和双手三大类，并建立索引；
3)依据动作分类，在每一类中平均随机取若干动作，取其出手时刻对应的姿势为样本，按类标记，建立姿势分类样本库；
4)依据动作分类，在每一类中平均随机取若干姿势对，取两者图像的异或值为样本，并以两者三维骨架间的距离是否过大为标记，建立姿势区分样本库；
5)对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征；
6)使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量；
7)运行时，通过多视点摄像机拍摄人投篮的图片序列，并处理为轮廓图序列作为输入；
8)从图像序列中篮球轮廓是否与人体轮廓分离及其速度、位置，判断投篮出手时刻；
9)使用分类哈尔特征向量，计算出手时刻对应姿势的分类哈尔特征值，判断所属类；
10)从数据库中索引同一类的所有动作，作为备选相似动作；
11)对每一个备选相似动作，将其与输入按出手时刻对齐，使用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价；
12)取匹配代价最优的备选相似动作，作为输入的识别结果。
2.如权利要求1所述的一种基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对姿势分类样本库和姿势区分样本库中的每一个样本，提取基于LUT扩展的浮点哈尔特征步骤包括
1)选择若干哈尔特征样式，按照图像大小和移动步长，选取不同的长度、宽度和位置，定义若干哈尔特征；
2)对样本库中的每一个样本所对应的二值轮廓图像，对每个已定义的哈尔特征，计算哈尔特征值；
3)对每个已定义的哈尔特征，将其值域等分为K个子域，对每个类c统计每个子域中哈尔特征值落于该子域的样本个数，得到样本分布统计；
4)对每个已定义的哈尔特征，根据样本分布统计，计算每个子域的类属偏向值，得到基于LUT扩展的浮点哈尔特征，类属偏向值的计算公式是
3.如权利要求1所述的一种基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的使用Multiclass Gentle AdaBoost算法，针对浮点哈尔特征，从姿势分类样本库和姿势区分样本库中分别抽取分类哈尔特征向量和度量哈尔特征向量步骤包括
1)挑选若干样本姿势分为k类，共n个，初始化样本W权重为1/n，并标记类别c；
2)在每一轮特征选取过程中，对每个浮点哈尔特征，根据样本分布统计和样本权重，重新计算每个子域的类属偏向值，同时计算其对样本的错判误差
挑选错判误差最小的浮点哈尔特征为本轮中选特征，然后更新样本权重
最后归一化新样本权重；
3)重复步骤2)直至特征集合个数满足要求或错判误差过大，得到哈尔特征向量。
4.如权利要求1所述的一种基于哈尔特征和动态时序匹配的投篮动作识别方法，其特征在于，所述的对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，再做动态时序匹配，得到匹配代价步骤包括
1)对每一个备选相似动作，将其与输入按出手时刻对齐，用度量哈尔特征向量计算两两姿势间的度量哈尔特征值，建立匹配矩阵；
2)以出手时刻前若干帧为匹配起点集合，后若干帧为匹配终点集合，按照定义的局部连续性约束和全局连续性约束，从起点集合开始依次扩展匹配路径至终点集合，匹配路径上的每个点始终记录从起点开始到达该点的最优匹配代价和生成该代价的最优父节点；
3)从匹配终点集合中挑选匹配代价最优的点作为终点，根据每个点记录的最优父节点，回溯得到最优匹配路径和最优匹配代价。
全文摘要
本发明公开了一种基于哈尔特征和动态时序匹配的投篮动作识别方法。方法的步骤如下预先捕获投篮动作到数据库，将所有动作处理成多视角下的二维轮廓图像后储存并标记和分类，再建立姿势分类样本库和姿势区分样本库分别抽取分类哈尔特征和度量哈尔特征。运行时通过多视点摄像机拍摄人投篮的图片序列并处理为轮廓图序列作为输入，判断投篮出手时刻，计算该时刻姿势的分类哈尔特征值并判断所属类，再从数据库中索引同一类的动作作为备选相似动作，将这些动作与输入以度量哈尔特征值为相似性度量做动态时序匹配，取匹配代价最优者为输入的识别结果。本发明能在无标记点的情况下快速而准确地识别出投篮动作，可应用于实时交互设备。
文档编号G06K9/00GK101826155SQ201010140038
公开日2010年9月8日 申请日期2010年4月2日 优先权日2010年4月2日
发明者耿卫东, 林驰 申请人:浙江大学