专利名称：基于Kinect的抛体检测、三维定位与轨迹预测方法
技术领域：
本发明涉及抛体的检测与轨迹预测领域，特别涉及一种基于Kinect的抛体检测、三维定位与轨迹预测方法，应用于包括球类比赛(乒乓球、羽毛球等)球体轨迹的数据分析、某些针对抛体运行轨迹进行某些动作的机器人系统，以及其他用到此技术的领域。
背景技术：
实现抛体检测与轨迹预测的方案很多，目前较多采用立体视觉的方法。由于视觉系统受光照变化、环境变化影响较大，虽然有很多技术能够适应环境与光照的变化，但仍然是一个很有挑战的课题。且双目视觉系统对处理器计算能力要求较高，算法非常复杂，成本也较闻。Kinect是美国微软公司推出的一款体感设备,一般用于开发在XBox360游戏主机上运行的体感交互游戏。Kinect从技术本质上来说是一个RGB-D传感器，微软同时提供了有关人体检测以及人体各关节位置检测的算法。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于Kinect的抛体检测、三维定位与轨迹预测方法，以感知抛体的三维坐标，相比传统的立体视觉方法，其在变光照环境下可靠性更强，且无需进行立体相机标定以及立体视觉匹配算法，整个方案简单且稳定，成本较低。本发明通过以下技术方案实现:
一种基于Kinect的抛体检测、三维定位与轨迹预测方法，包括以下步骤:
51、深度背景建模，包括:
5101、将背景像素的所有深度值量化并标准化到0-255的范围之内；
5102、对背景像素的每一像素点采用一布尔型数组来存储该像素在一段时间X内的所有深度值，得到一数据区域，作为背景模型；
52、采用Kinect的API函数获取图像的深度信息；
53、对抛体图像的深度信息进行前景提取，得到前景图像；
54、将前景图像分割为若干独立的连通分量；
55、判断连通分量是否为抛体，并通过Kinect的深度相机的标定模型计算抛体的三维坐标；
56、将空气阻力作为滤波的状态量之一进行滤波，对抛体进行轨迹预测。较佳的，布尔型数组的大小为255，数据区域为宽度X高度X255。较佳的,前景提取包括:设一像素坐标(x，y)的深度值量化到0-255之后的取值为a，判断像素坐标在背景模型中对应的像素(X，y)的布尔型数组中的a-3至a+3项中是否存在“true”项，是则该像素为背景，否则为前景。较佳的，步骤S4是采用种子填充的方法将前景图像分割为若干独立的连通分量。
较佳的，滤波是采用Kalman滤波方式。较佳的,深度背景建模是采用codebook背景建模。较佳的，X为10分钟。
图1为本发明一种基于Kinect的抛体检测、三维定位与轨迹预测方法的流程图。图2为本发明一种基于Kinect的抛体检测、三维定位与轨迹预测方法的一较佳实施例。
具体实施例方式下面结合实施例对本发明作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。请参考图1，本发明的流程图，按照如下步骤实现:
1、深度背景建模
考虑到检测抛体的环境可能是在背景复杂且相对固定的环境，因此有必要对背景进行建模，背景建模的作用是为了在输入图像中更好地分别背景和前景。考虑到背景可能不是一成不变的，本发明采用一种codebook来描述背景中感兴趣的状态。Codebook是背景建模的常用手段之一，本发明在此不做赘述和限制。具体做法如下:
将所有可能的深度值量化并标准化到0-255的范围之内；
对图像中每一个像素点，采集一段时间(典型值为10分钟)深度值。用一个大小为255的布尔型数组来存储该像素在这10分钟之内所有被采集到的深度值；
对图像中的所有像素执行以上操作，得到一个(图像宽度*图像高度* 255)的数据区域，作为最终的背景模型。2深度图获取
采用Kinect官方提供的API函数可直接获得图像深度信息。3前景提取
将背景模型应用在输入图像中，则可提取前景模型，亦即将背景部分从图像中剔除掉。提取方法如下:设像素坐标(x，y)的深度值量化到0-255之后的取值为a，则判断背景模型中对应像素(x，y)的布尔型数组中的第a-3项至第a+3项共七个布尔值中，有没有为“true”的项，如果存在，则认为该像素是背景，否则该像素是前景。4图像分割
图像分割的作用是将提取出来的前景图像分割成独立连通的分量。本发明采用种子填充的方法，将前景分割成各个彼此独立的连通分量。5抛体识别
抛体识别是对图像分割之后的各个连通分量进行判别，判别其是否属于抛体。判断的依据包括:连通区域的大小尺寸、连通区域的形状特征、连通区域的运动情况是否符合一般的抛体运动规律，依据以上判据，将对抛体进行识别，并通过Kinect深度相机的标定模型，计算出抛体的三维坐标。6基于Kalman滤波的轨迹预测 本发明采用Kalman滤波的方式，对抛体进行轨迹预测。需要指出的是，考虑到抛体的空气阻力模型与系数的不确定性，本发明将抛体的空气阻力系数作为Kalman滤波(卡尔曼滤波，一种现有滤波技术，本发明在此不做赘述和限制)的状态量一起进行估计，使得本发明能够适应各种不同类型的抛体。请参考图2，为了便于技术人员理解本发明，以下提供一本发明所述的一种基于Kinect的抛体检测、三维定位与轨迹预测方法的较佳实施例，但本发明并不以此为限。以兵兵球轨迹预测为例，所需包括:兵兵球台，Kinect设备(为了更全面的覆盖球台，在此采用了两台Kinect设备，本发明在此不做限制)，信号处理设备连接上述两台Kinect设备，用于信号处理与轨迹预测。( I)该实施例的主要功能包括:
1、乒乓球轨迹重现与测速系统:系统实时记录乒乓球的三维轨迹，并可在播放慢镜头时重放乒乓球轨迹序列与实时速度，达到比赛信息多方位重现的目的；
2、乒乓球自动计分系统:通过对轨迹的判断，对比赛进行自动计分；
3、乒乓球裁判辅助系统:对于一些人眼不好判别的情况，采用该系统可以进行准确的判断。( 2 )该实施例的使用流程如下:
1、背景建模:布置好球台之后，在非比赛期间对背景进行建模；
2、空阻参数辨识:让运动员进行一场训练比赛，在比赛过程中系统将对乒乓球的空阻参数进行学习；
3、比赛中实际使用。另外，根据上述实施例，本发明还可以扩展应用于乒乓球机器人中，即在上述实施例中加入机器人代替运动员，机器人根据Kinect设备对乒乓球的轨迹预测，对机械臂进行轨迹规划完成回球功能。一台机器人可用于人机对打，两台机器人可用于机器人之间对打，可应用于科技馆展览项目或其他领域。本发明的主要优点有两点:
I)可靠性优势:相对于视觉系统而言，Kinect利用结构光技术，对于光照变化、环境变化有很高的鲁棒性。且立体视觉系统是通过间接的解算方式计算深度信息，而Kinect可直接获取深度信息，大大简化了计算代价。2)成本优势=Kinect作为微软推出的民用体感交互产品，其成本很低。如果采用立体视觉方案且需要适应一定的光照与环境变化，则相机的成本与处理器的成本均会远超过本发明所阐述的方案。以上公开的仅为本申请的一个具体实施例，但本申请并非局限于此，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。
权利要求
1.一种基于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，包括以下步骤: 51、深度背景建模，包括: 5101、将背景像素的所有深度值量化并标准化到0-255的范围之内； 5102、对背景像素的每一像素点采用一布尔型数组来存储该像素在一段时间X内的所有深度值，得到一数据区域，作为背景模型； 52、采用Kinect的API函数获取图像的深度信息； 53、对所述抛体图像的深度信息进行前景提取，得到前景图像； 54、将前景图像分割为若干独立的连通分量； 55、判断所述连通分量是否为抛体，并通过Kinect的深度相机的标定模型计算所述抛体的三维坐标； 56、将空气阻力作为滤波的状态量之一进行滤波，对抛体进行轨迹预测。
2.如权利要求1所述的一种基于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，所述布尔型数组的大小为255，所述数据区域为宽度X高度X255。
3.如权利要求1所述的一种基于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，所述前景提取包括:设一像素坐标U，y)的深度值量化到0-255之后的取值为a，判断所述像素坐标在背景模型中对应的像素(X，y)的布尔型数组中的a-3至a+3项中是否存在“true”项，是则该像素为背景，否则为前景。
4.如权利要求1所述的一种基于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，所述步骤S4是采用种子填充的方法将前景图像分割为若干独立的连通分量。
5.如权利要求1所述的一种基于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，所述滤波是采用Kalman滤波方式。
6.如权利要求1所述的一种基于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，所述深度背景建模是采用codebook背景建模。
7.如权利要求1所述的一种基 于Kinect的抛体检测、三维定位与轨迹预测方法，其特征在于，所述X为10分钟。
全文摘要
一种基于Kinect的抛体检测、三维定位与轨迹预测方法，包括以下步骤S1、深度背景建模，包括S101、将背景像素的所有深度值量化并标准化到0-255的范围之内；S102、对背景像素的每一像素点采用一布尔型数组来存储该像素在一段时间x内的所有深度值，得到一数据区域，作为背景模型；S2、采用Kinect的API函数获取抛体图像的深度信息；S3、对抛体图像的深度信息进行前景提取，得到前景图像；S4、将前景图像分割为若干独立的连通分量；S5、判断连通分量是否为抛体，并通过Kinect的深度相机的标定模型计算抛体的三维坐标；S6、将空气阻力作为滤波的状态量之一进行滤波，对抛体进行轨迹预测。
文档编号G06T7/20GK103218826SQ201310087780
公开日2013年7月24日 申请日期2013年3月19日 优先权日2013年3月19日
发明者陶熠昆, 王聪颖, 王宏涛, 周连杰 申请人:浙江中控研究院有限公司, 浙江国自机器人技术有限公司