专利名称：：一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法
技术领域：
：本发明涉及一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，具体涉及一种通过人的轮廓图像和人的投篮动作数据组成的运动图进行人的投篮动作识别的方法。
背景技术：
：人体运动的识别技术一直都是计算机视觉领域的研究热点，它的研究目的就是让机器能够识别出人的动作，包括体态、手势等，它也是一种全新的人与机器交互的方式，这种交互不通过标记点等附着在人身上的硬件设备，只通过人自身的运动。在工业的应用中有着潜在的广泛的应用，此外在影视、游戏这些数字娱乐产业中也有着巨大的前景甚至已经加以应用。在现有的较成熟的运动识别技术中主要依靠的是一些特种的硬件设备，如运动捕捉设备，但它需要在人身体上粘贴标记点来记录人的三维位置信息而识别运动，这很影响人的交互体验。无标记点的运动识别是一种良好的代替方式，它不需要给用户附加额外的硬件设备，这种方法主要依靠摄像机获取图像再对二维图像进行分析来估计三维运动，从二维恢复三维本质上是多解问题，所以不可能达到百分之百的识别精度，但是在一些应用中(如交互式游戏)，它的识别精度已经能够满足要求。本发明通过剔除图像中人的阴影和环境的干扰获得高质量的人物轮廓，又通过有机的组织运动图，在运动图上使用多段扩展和局部搜索的查找策略，实现了较快速的无标记点的篮球运动识别。
发明内容本发明的目的是克服现有技术的不足，提供一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法。基于人体轮廓图提取与分组运动图查询的投篮动作识别方法包括如下步骤1)将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动2)对于每个组的运动图上的姿态，将其渲染成多个视角下的二维图像，使用机器学习的方法对每个组在各个视角上的图像提取图像特征向量；3)将步骤2)中的每个姿态的各个视角的二维图像拼接成一张图，并用步骤2)中的特征向量计算这个拼接图像的特征值，称为该姿态的特征值；4)拍下篮球动作识别系统的场景内在没有人时的各个视角下图片，称为背景；5)在进行动作识别时，拍下人的各个视角下的整个投篮动作序列的图片，称为前景图片；6)在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图；7)将每个视角的轮廓图拼接起来，用步骤2)中提取出来的特征向量计算出特征值，在步骤1)所述的每个组上寻找与他特征值最相似的姿态，并将与其特征值最近姿态所在的组称为这帧图像的击中组。8)找出投篮动作的每帧图像的击中组，投票选出击中最多的组，称为整个动作的击中组；9)找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果。所述的将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图步骤包括1)将用动作捕捉设备捕获下来的三维运动分成四组，第一组包括正向左手、正向双手、左侧身左手，第二组包括正向右手单手、正向双手、右侧身右手，第三组包括背向双手、背向左手、左侧身左手，第四组包括背向双手、背向右手、右侧身右手，分组原则是每一个组内的动作自然过渡；2)将每组内的所有动作的每一帧都截取下来，每一帧称为一个姿态；3)在每组内计算任意两个姿态间的三维距离，用一张运动图来表示这些姿态和他们之间的距离，运动图上的节点是姿态，运动图上的边是它所连接的两个节点所表示的姿态间的三维骨架距离，为每一个组都构建一个运动图。所述的在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图步骤包括1)对于一张输入的由摄像机拍摄下来的图像，计算出输入图像与背景图像的差异I麵，定义背景图像上某点(X，y)的颜色值为(Rba—d(x，y)，G—und(x，y)，B一，d(x，y))，输入图像上对应点的颜色值为(Ri,t(x，y)，G—(x，y)，B—(x，y))，工di^r是一张灰度图，它表示了输入图像和背景图像对应点的差异，产《计算的公式是s(x，y)一max(|Rbackgr。ud(x，y)—Rbackgr。ud(x，)0I，IGbackgroud(x，y)_Gbackgroud(x，y)|，|Bbackgroud(X，y)_Bbackgroud(x，y)I);Idiffer(x，y)=s(x，y)/3+s(x_l，y)/6+s(x+l，y)/6+s(x，y_l)/6+s(x，y+l)/6;2)先用一个大的阈值来将Idiff6r二值化，前景为白色，背景为黑色，然后再进行膨胀，将会得到一些粗略的人体的团块，而小的噪声已被滤去，首先找到这些团块中最大的那个团块，然后设定一个距离为阈值，将那些距离主要团块小于这个阈值的团块吸附到这个主团块上，最后找到这个图像中的前景的矩形区域R是人体出现的区域；3)先对包围盒里面的图像用一个小的阈值进行二值化，这将得到一个清晰的轮廓图；4)在这个包围盒的底部用一个大阈值来进行二值化，这将剔除人的影子；5)最后再对提取出来的图像进行简单的平滑降噪处理，并且将人体轮廓縮放成统一大小后放置在图片正中央，得到轮廓图。所述的找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果步骤包括1)轮廓图像序列在击中组的运动图上将映射成一些点，首先将那些明显偏离群体的点去除，动作图上的点将形成一些序列段；2)从每个段开始向前和向后去拓展缺少的节点，对于一个要进行推测的节点，以最邻近它的帧所映射到的节点为中心，以设定距离为半径的一个区域，对于这个区域的每一个点，计算它的二维图像与以该推测节点号为帧号的轮廓图在特征值上的海明距离，找到那个距离最小的点就认为是该帧匹配的节点；3)找出运动图上节点所形成的所有序列段，对于每段序列，用上一步所述的拓展方法，推断出整个动作序列所有节点，这些节点组成新的序列，对于推断出来的每一个新的序列，计算它的每个节点的二维图像与原始轮廓图相对应帧的特征值的海明距离的和，最后挑选出这个和最小的那个序列就是我们匹配到的结果；4)对结果动作序列进行插值，适当地增加帧数以提高动作的平滑连贯。本发明使用人的轮廓图信息这一动作的载体作为系统的输入，通过动作图将各种预先采集的投篮动作有机的组织起来作为数据库支持，用通过各种简单的机器学习方法寻找到的图像特征作为匹配工具，将三维的动作识别转变成二维的图像匹配问题.本发明主要对影响最终结果的重要因素-轮廓图的质量和运动图的组织和查询进行改善来提高识别的准确率.在对人的轮廓提取的时候，首先通过对前背景差值图的大阈值滤波和形态学操作获得图像上人体的部分的包围盒位置，过滤掉图像上费人体区域的大部分区域的噪音干扰，然后在人体包围盒内用较小阈值滤波得到精细人体轮廓，最后在人体区域的下部用另外一个较大阈值滤波除去人的阴影，得到质量较高的人体轮廓图像.在组织运动图的时候，首先将预先采集的各种投篮动作按照左右手、单双手等大类进行分组，然后最后投票决定在哪个组上进行匹配，可以首先保证动作识别不会出现大类上的错误，在得到原始的动作图上匹配帧后，首先在运动图上对明显出错的匹配帧进行检测与修复，克服了一部分以因为机器学习产生的误差，然后对多个连续断分别在运动图上前后推断，最终寻找最优解，对匹配结果进行了优化，而且在运动图上用一个点推断另一个点时，只在运动图的一个局部范围内进行，可以避免最终结果帧与帧之间的跨度过大，保证结果运动的序列的连贯性和平滑性。图1(a)是用动作捕捉设备采集投篮动作的场景图1(b)是用动作捕捉设备采集到的动作；图2是对采集动作的分组以及在每组中构造的运动图；图3是系统运行时采集的背景图；图4是系统运行时实时采集的带有人的图片(前景图)；图5是人的轮廓提取的过程，按照箭头方向四幅图依次为原始差值图、判定包围盒示意图、小阈值滤波的较精细轮廓图、除去阴影的轮廓图6是在击中组上对初次匹配到的节点进行修复的示意图；图7是在对初次匹配节点修复后找到的几个节点连续段示意图；图8(a)是对图7中第1段连续区进行拓展产生的节点序列(动作)图8(b)是对图7中第2段连续区进行拓展产生的节点序列(动作)。具体实施例方式基于人体轮廓图提取与分组运动图查询的投篮动作识别方法包括如下步骤1)将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图；2)对于每个组的运动图上的姿态，将其渲染成多个视角下的二维图像，使用机器学习的方法对每个组在各个视角上的图像提取图像特征向量；3)将步骤2)中的每个姿态的各个视角的二维图像拼接成一张图，并用步骤2)中的特征向量计算这个拼接图像的特征值，称为该姿态的特征值；4)拍下篮球动作识别系统的场景内在没有人时的各个视角下图片，称为背景；5)在进行动作识别时，拍下人的各个视角下的整个投篮动作序列的图片，称为前景图片；6)在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图；7)将每个视角的轮廓图拼接起来，用步骤2)中提取出来的特征向量计算出特征值，在步骤1)所述的每个组上寻找与他特征值最相似的姿态，并将与其特征值最近姿态所在的组称为这帧图像的击中组。8)找出投篮动作的每帧图像的击中组，投票选出击中最多的组，称为整个动作的击中组；9)找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果。所述的将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图步骤包括1)将用动作捕捉设备捕获下来的三维运动分成四组，第一组包括正向左手、正向双手、左侧身左手，第二组包括正向右手单手、正向双手、右侧身右手，第三组包括背向双手、背向左手、左侧身左手，第四组包括背向双手、背向右手、右侧身右手，分组原则是每一个组内的动作自然过渡；2)将每组内的所有动作的每一帧都截取下来，每一帧称为一个姿态；3)在每组内计算任意两个姿态间的三维距离，用一张运动图来表示这些姿态和他们之间的距离，运动图上的节点是姿态，运动图上的边是它所连接的两个节点所表示的姿态间的三维骨架距离，为每一个组都构建一个运动图。所述的在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图步骤包括1)对于一张输入的由摄像机拍摄下来的图像，计算出输入图像与背景图像的差异I麵，定义背景图像上某点(X，y)的颜色值为(Rba—d(x，y)，G—und(x，y)，B一，d(x，y))，输入图像上对应点的颜色值为(Ri,t(x，y)，G—(x，y)，B—(x，y))，工di^r是一张灰度图，它表示了输入图像和背景图像对应点的差异，产《计算的公式是s(x，y)一max(|Rbackgr。ud(x，y)—Rbackgroud(x，)0I，IGbackgroud(x，y)_Gbackgroud(x，y)|，|Bbackgroud(X，y)_Bbackgroud(x，y)I);Idiffer(x，y)=s(x，y)/3+s(x_l，y)/6+s(x+l，y)/6+s(x，y_l)/6+s(x，y+l)/6;2)先用一个大的阈值来将Idiffer二值化，前景为白色，背景为黑色，然后再进行膨胀，将会得到一些粗略的人体的团块，而小的噪声已被滤去，首先找到这些团块中最大的那个团块，然后设定一个距离为阈值，将那些距离主要团块小于这个阈值的团块吸附到这个主团块上，最后找到这个图像中的前景的矩形区域R是人体出现的区域；3)先对包围盒里面的图像用一个小的阈值进行二值化，这将得到一个清晰的轮廓图；4)在这个包围盒的底部用一个大阈值来进行二值化，这将剔除人的影子；5)最后再对提取出来的图像进行简单的平滑降噪处理，并且将人体轮廓縮放成统一大小后放置在图片正中央，得到轮廓图。所述的找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果步骤包括1)轮廓图像序列在击中组的运动图上将映射成一些点，首先将那些明显偏离群体的点去除，动作图上的点将形成一些序列段；2)从每个段开始向前和向后去拓展缺少的节点，对于一个要进行推测的节点，以最邻近它的帧所映射到的节点为中心，以设定距离为半径的一个区域，对于这个区域的每一个点，计算它的二维图像与以该推测节点号为帧号的轮廓图在特征值上的海明距离，找到那个距离最小的点就认为是该帧匹配的节点；3)找出运动图上节点所形成的所有序列段，对于每段序列，用上一步所述的拓展方法，推断出整个动作序列所有节点，这些节点组成新的序列，对于推断出来的每一个新的序列，计算它的每个节点的二维图像与原始轮廓图相对应帧的特征值的海明距离的和，最后挑选出这个和最小的那个序列就是我们匹配到的结果；4)对结果动作序列进行插值，适当地增加帧数以提高动作的平滑连贯。实施例基于人体轮廓图提取与分组运动图查询的投篮动作识别方法步骤如下1)如图la和图lb首先用运动捕捉设备采集各种投篮动作，然后将这些动作放入数据库，然后按照图2的方式(动作的左右手与单双手)将这些动作分成四组，数据库中的每个动作一定属于其中的一组中。最后在每一组内构建一张运动图，构建运动图的方式是将组内的所有动作拆开成一帧帧的姿态，表示成图上的一个节点，计算任意两个姿态间的三维骨架距离，表示成连接两个节点间的连线；2)对每个组内的每个节点表示的姿态渲染成二维图像，如图2中节点上的图像，使用机器学习的方法对所有的这些图像进行训练，提取图像的特征向量，图像的特征向量可以选择各种通用的图像特征，本例中选用图像的哈尔特征，最后提取出150个图像的哈尔特征；3)用提取出来的150个哈尔特征计算所有动作图节点的图像的特征值，储存在这个节点上；4)在我们的系统开始运行时，首先拍下场景中没有人的图片，储存为背景，如图3时其中一个视角下的背景图；5)保持场景和摄像机位置不变，当人进入场景做出投篮动作后拍下图片，这是前景图片，如图4是其中的一帧；6)在每个视角下对每一帧前景图片进行如下过程的轮廓提取提取的过程如图5，将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到轮廓图；7)对于拍下来的一串动作序列，他由很多帧组成，对每一帧图像将各视角的轮廓图拼接起来形成新的图像，用第2步提取的哈尔特征对拼接图像进行计算，这样每一帧图像拥有一个特征值。对于每一帧图像，分别找出每个动作组中与其特征值最相近的那个节点及这个差距，找出所有组中差距最小的那个组，记下在这个组号，称为该帧的击中组；8)按照第7步中的方法找到每帧图像的击中组，统计每个组作为击中组的次数，选择次数最多的那一组，称为整个动作序列的击中组；9)对于每一帧图像，在动作的击中组中，都找到与它特征值最相似的那个节点，称为该帧的匹配节点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果。如图5所述的第6步提取人轮廓图的步骤为1)首先计算前景图像与背景图像的原始差异图Idiffer，定义背景图像上某点(x，y)的颜色值为(RbaekgMUnd(X，y)，Gb^fd(x，y)，B^kfd(x，y))，输入图像上对应点的颜色值为(Rinput(x，y)，Ginput(x，y)，Binput(x，y))，则IdiffCT的计算方式为s(x，y)=max(|Rbadtgr。ud(x，y)-Rbackgroud(X，Y)I，IGbackgroud(X，Y)-Gbackgroud(X，Y)I，IBbackgroud(X，Y)-Bbackgroud(X，)0I);工differ(x，y)=s(x，y)/3+s(x_l，y)/6+s(x+l，y)/6+s(x，y_l)/6+s(x，y+l)/6;2)然后确定图像中人所处的大致位置，也就是计算人的包围盒位置，先用一个较大的阈值来将IdiffCT二值化，前景为白色，背景为黑色，然后再进行膨胀，将会得到一些较粗略的人体的团块，而小的噪声已被滤去，首先找到这些团块中最大的那个团块，认为他是人身体的主要部分，然后设定一个距离为阈值，将那些距离主要团块小于这个阈值的团块为可见，其余不可见，这样找到的这些团块就被认为是人的身体，最后找出这些团块的最小包围盒就是人体的包围盒；3)在包围盒内用一个较小的阈值对ldiffsr进行滤波，而在包围盒外全部置为黑色，这样将得到一个较为精细的人体轮廓图，但是人体的脚下部分通常可能会出现一片阴影区域；4)最后在人体包围盒的下方约1/3的地方用一个较大的阈值对IdiffCT滤波，将很好的过滤掉阴影，最后得到较良好的人轮廓所述的第9步根据原始匹配点合成最后最终运动结果的步骤为1)从第8步中可以找到每帧图像在击中组上的一个匹配点，这些点如图6中有阴影的点，这些点在运动图上有些接续在一起，有些可能偏离大多数点，那些明显偏离群体的点如点5被认为是匹配错误的点，首先将这些明显偏离群体点去除；2)因为去除了一些点，所以要将这些点进行修复，例如第5帧的位置修复成为图6中的黑色实心点，修复的方法是先在第6帧的点或者第4帧的点周围的一定范围找出一些相邻点，然后计算第5帧轮廓图的特征值与这些相邻点的特征值哪一个最相似，那个最相似的节点就认为是新的第5帧的匹配节点。；3)经过错误点修复，剩下的将是断裂的一段段序列，每一段序列组成一个连续区，如图7中的连续区1与连续区2，本方法认为最后合成的那个动作序列肯定包含其中的一个连续区，所以这一步要以每一个连续区为基础进行推断出整个动作序列，这称作多段拓展。如图8a是基于连续区1做出的推断，图8b是基于连续区2做出的推断。推断的算法是从每个段开始向前和向后去拓展，设要进行推测的节点为f，它代表第i帧动作所匹配的节点，设用于拓展它的父节点为；，t(通常是最邻近i帧的节已知点)，则找到动作图以f，M节点为中心，以一定距离为半径的一个区域，对于这个区域的每一个点，计算它的轮廓图与第i帧的轮廓图间在特征值上的海明距离，找到那个距离最小的点就认为是第i帧应该匹配的姿态节点，推测这些点的依据是一个动作序列的前后两帧在动作图上应该在同一块局部区域内，这称为局部搜索。最后对于每一种推断结果，计算它的每个节点的二维图像与原始轮廓图相对应帧的特征值的海明距离的和，最后挑选出和最小的那个，这个序列所代表的动作序列就是我们匹配到的结果；4)对结果动作序列进行插值，适当地增加帧数以提高动作的平滑连贯。本方法已经被实现为一个具体的投篮动作识别系统，在Windows下使用C++语言编写实现，本系统的表现情况的主要在于动作的识别率，我们将系统对不同人的运动的识别情况进行了测试，测试结果如下表<table>tableseeoriginaldocumentpage10</column></row><table>参加测试的人员为体态差异很大的两人A和B，，每人各做46个投篮动作，合计92个动作.其中包含了左手、右手、双手、侧身、和部分背身的投篮动作，按照对匹配要求的不同层次列出了三项统计数据，其中第一项结果为匹配后的动作与测试数据基本姿态的一致性，要求测试数据的左右手、单双手、是否下蹲等直观动作特点完全匹配，第二项统计为具体的投篮手型的识别率，要求测试数据能够良好的区分抛球和投球以及出手的位置，第三项统计了测试数据朝向的准确率，要求能识别出正向、侧身和背向。测试结果表明本系统对投篮动作的识别情况良好，本系统对动作的识别率已经可以使用于交互式游戏中。权利要求一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，其特征在于包括如下步骤1)将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图；2)对于每个组的运动图上的姿态，将其渲染成多个视角下的二维图像，使用机器学习的方法对每个组在各个视角上的图像提取图像特征向量；3)将步骤2)中的每个姿态的各个视角的二维图像拼接成一张图，并用步骤2)中的特征向量计算这个拼接图像的特征值，称为该姿态的特征值；4)拍下篮球动作识别系统的场景内在没有人时的各个视角下图片，称为背景；5)在进行动作识别时，拍下人的各个视角下的整个投篮动作序列的图片，称为前景图片；6)在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图；7)将每个视角的轮廓图拼接起来，用步骤2)中提取出来的特征向量计算出特征值，在步骤1)所述的每个组上寻找与他特征值最相似的姿态，并将与其特征值最近姿态所在的组称为这帧图像的击中组。8)找出投篮动作的每帧图像的击中组，投票选出击中最多的组，称为整个动作的击中组；9)找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果。2.如权利要求1所述的一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，其特征在于，所述的将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建成运动图步骤包括1)将用动作捕捉设备捕获下来的三维运动分成四组，第一组包括正向左手、正向双手、左侧身左手，第二组包括正向右手单手、正向双手、右侧身右手，第三组包括背向双手、背向左手、左侧身左手，第四组包括背向双手、背向右手、右侧身右手，分组原则是每一个组内的动作自然过渡；2)将每组内的所有动作的每一帧都截取下来，每一帧称为一个姿态；3)在每组内计算任意两个姿态间的三维距离，用一张运动图来表示这些姿态和他们之间的距离，运动图上的节点是姿态，运动图上的边是它所连接的两个节点所表示的姿态间的三维骨架距离，为每一个组都构建一个运动图。3.如权利要求1所述的一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，其特征在于，所述的在每个视角下进行如下过程的轮廓提取将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图步骤包括1)对于一张输入的由摄像机拍摄下来的图像，计算出输入图像与背景图像的差异工differ，定义背景图像上某点(X，y)的颜色值为(Rba勿，d(x，y)，(^勿，<1(x，y)，#勿，<1(x，y))，输入图像上对应点的颜色值为(Rinput(x，y)，Ginput(x，y)，Binput(x，y))，Idiffer是一张灰度图，它表示了输入图像和背景图像对应点的差异，IdiffCT计算的公式是<formula>formulaseeoriginaldocumentpage3</formula>2)先用一个大的阈值来将IdiffCT二值化，前景为白色，背景为黑色，然后再进行膨胀，将会得到一些粗略的人体的团块，而小的噪声已被滤去，首先找到这些团块中最大的那个团块，然后设定一个距离为阈值，将那些距离主要团块小于这个阈值的团块吸附到这个主团块上，最后找到这个图像中的前景的矩形区域R是人体出现的区域；3)先对包围盒里面的图像用一个小的阈值进行二值化，这将得到一个清晰的轮廓图；4)在这个包围盒的底部用一个大阈值来进行二值化，这将剔除人的影子；5)最后再对提取出来的图像进行简单的平滑降噪处理，并且将人体轮廓縮放成统一大小后放置在图片正中央，得到轮廓图。4.如权利要求1所述的一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，其特征在于，所述的找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果步骤包括1)轮廓图像序列在击中组的运动图上将映射成一些点，首先将那些明显偏离群体的点去除，动作图上的点将形成一些序列段；2)从每个段开始向前和向后去拓展缺少的节点，对于一个要进行推测的节点，以最邻近它的帧所映射到的节点为中心，以设定距离为半径的一个区域，对于这个区域的每一个点，计算它的二维图像与以该推测节点号为帧号的轮廓图在特征值上的海明距离，找到那个距离最小的点就认为是该帧匹配的节点；3)找出运动图上节点所形成的所有序列段，对于每段序列，用上一步所述的拓展方法，推断出整个动作序列所有节点，这些节点组成新的序列，对于推断出来的每一个新的序列，计算它的每个节点的二维图像与原始轮廓图相对应帧的特征值的海明距离的和，最后挑选出这个和最小的那个序列就是我们匹配到的结果；4)对结果动作序列进行插值，适当地增加帧数以提高动作的平滑连贯。全文摘要本发明公开了一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法。方法的步骤如下预先采集投篮动作到数据库并按类分组，每组构建运动图，将所有动作渲染成多视角下的二维图像后提取关键特征，计算每个姿态的图像特征值。运行时拍下人投篮的图片序列对其进行精细的轮廓提取，计算轮廓图的特征值，在数据库中找到与其特征值最相似姿态所在组为击中组，找到该投篮动作所有轮廓击中最多的组，再找到每帧轮廓图在该组运动图上与其特征值最相近的姿态所在节点，分析这些点并修复成连续的一段，作为动作识别结果。本发明能只利用图像获取设备快速而准确地识别出投篮动作。文档编号G06K9/00GK101794384SQ20101012291公开日2010年8月4日申请日期2010年3月12日优先权日2010年3月12日发明者耿卫东,魏知晓申请人:浙江大学