一种运动物体的位置捕捉系统、方法及装置与流程

文档序号:16002696发布日期:2018-11-20 19:39阅读:161来源:国知局

本发明涉及运动捕捉技术领域,具体涉及一种运动物体的位置捕捉系统,本发明还涉及一种运动物体的位置捕捉方法及实现该方法的装置。



背景技术:

现有技术中,要实现对运动物体的位置捕捉,通常要用到多台摄像机同时对运动物体进行拍摄,并利用计算机系统进行合成,方能获得运动物体的三维运动轨迹。作为典型示例,网球比赛中广泛使用的鹰眼回放系统就采用了这种位置捕捉系统来捕捉网球的运动轨迹。这种位置捕捉系统不仅造价高昂,而且安装和标定也较为麻烦,标定后各个摄像机的位置和姿态就不能再改变,一旦发生改变,则需要重新进行标定,同时,这种位置捕捉系统也只能捕捉各个摄像机之间预定范围内的空间中的物体的位置,因而应用的灵活性较差,无法随时随地进行位置捕捉。

在机器人的开发过程中,在对飞行机器人(包括无人机)的飞行性能进行开发或测试时,往往需要对飞行机器人的飞行轨迹进行分析,前述的位置捕捉系统无论是造价方面还是安装应用的灵活性方面,都无法满足机器人开发者的需求。



技术实现要素:

基于上述现状,本发明的主要目的在于提供一种运动物体的位置捕捉系统、方法及实现该方法的装置,能够以较低的成本实现对运动物体的位置捕捉,并且不受使用场地的限制,灵活性高。

为实现上述目的,本发明采用的技术方案如下:

根据本发明的第一方面,一种运动物体的位置捕捉系统,包括:

具有预定颜色的标记,用于设置在所述运动物体上;

图像获取单元,用于拍摄所述运动物体的彩色图像,并使得所述彩色图像中包含所述标记的影像;

测距单元,与所述图像获取单元并排设置,用于测定所述运动物体到所述图像获取单元的距离;和

处理单元,与所述图像获取单元、所述测距单元相连,用于根据所述彩色图像和所述距离计算所述运动物体的位置。

优选地,所述标记包括用于粘贴在运动物体上的标签纸,优选为可移除标签纸。

优选地,所述预定颜色为蓝色或绿色。

优选地,所述图像获取单元包括彩色摄像头。

优选地,所述测距单元包括深度摄像头。

优选地,所述深度摄像头为TOF摄像头或双目摄像头。

优选地,所述处理单元将所述标记作为目标,识别出所述目标在所述彩色图像中的影像,并根据所述影像在所述彩色图像中的位置和所述距离计算所述运动物体的位置。

优选地,所述处理单元包括单片机、PC机或笔记本电脑。

优选地,所述图像获取单元、所述测距单元和所述处理单元集成于同一设备中。

根据本发明的第二方面,一种运动物体的位置捕捉方法,包括步骤:

S100、在运动物体上设置标记,所述标记具有预定的颜色;

S200、利用图像获取单元获取所述运动物体的彩色图像,使得所述彩色图像中包含所述标记的影像,同时,利用测距单元测定所述运动物体到所述图像获取单元的距离,并将所述彩色图像和所述距离传输给处理单元,其中,所述测距单元与所述图像获取单元并排设置;

S300、所述处理单元根据所述彩色图像和所述距离计算所述运动物体的位置。

优选地,所述步骤S300包括步骤:

S310、所述处理单元将所述标记作为目标,识别出所述目标在所述彩色图像中的影像;

S320、所述处理单元确定所述影像在所述彩色图像中的位置;

S330、所述处理单元根据所述影像在所述彩色图像中的位置和所述距离计算所述目标相对于所述图像获取单元的实际位置。

优选地,所述步骤S310中,所述处理单元采用颜色识别法识别出所述目标的影像。

优选地,所述步骤S310中,所述处理单元将所述彩色图像转换到HSV颜色空间,并限定所述目标的预定颜色的H、S和V这三个分量的范围,然后仅保留所述预定颜色的H值,将其他颜色的H值置为零,从而识别出所述目标的影像。

优选地,所述步骤S320中,所述处理单元利用灰度质心算法得到所述影像的质心坐标,并以所述质心坐标表示所述影像在所述彩色图像中的位置。

优选地,所述步骤S330中,所述处理单元计算L1和L2,得到所述目标相对于所述图像获取单元的实际位置,计算式如下:

L1=L*sin(arctan(N*ps/f)),

L2=L*cos(arctan(N*ps/f)),

其中,L1为所述目标相对于所述图像获取单元的光轴的偏离量;

L2为过所述目标、并且与所述图像获取单元的像平面相平行的平面到所述图像获取单元的光心的距离;

L为所述目标到所述图像获取单元的距离;

N为所述影像的质心与所述图像获取单元的像平面中心之间的像素个数;

ps为单位像素的长度大小;

f为所述图像获取单元的焦距。

优选地,所述步骤S300之后,还包括步骤:

S400、所述处理单元将所述运动物体的位置信息绘制成图像。

根据本发明的第三方面,一种用于实现前面所述的位置捕捉方法的装置,包括:

图像获取单元,用于拍摄所述运动物体的彩色图像,并使得所述彩色图像中包含设置在所述运动物体上的所述标记的影像;

测距单元,与所述图像获取单元并排设置,用于测定所述运动物体到所述图像获取单元的距离;和

处理单元,与所述图像获取单元、所述测距单元相连,用于根据所述彩色图像和所述距离计算所述运动物体的位置。

优选地,所述图像获取单元包括彩色摄像头。

优选地,所述测距单元包括深度摄像头。

优选地,所述深度摄像头为TOF摄像头或双目摄像头。

优选地,所述处理单元将所述标记作为目标,识别出所述目标在所述彩色图像中的影像,并根据所述影像在所述彩色图像中的位置和所述距离计算所述运动物体的位置。

优选地,所述处理单元包括单片机、PC机或笔记本电脑。

优选地,所述图像获取单元、所述测距单元和所述处理单元集成于同一设备中。

本发明的位置捕捉系统、方法及装置无须采用多台摄像机就能实现对运动物体的位置捕捉,大大降低了系统的成本,并且无须进行复杂的标定,也不会对使用场地产生依赖性,而是可以随意挪动,从而能够随时随地进行位置捕捉,灵活性非常高。

附图说明

以下将参照附图对根据本发明的运动物体的位置捕捉系统及方法的优选实施方式进行描述。图中:

图1为根据本发明的一种优选实施方式的运动物体的位置捕捉系统的原理示意图;

图2为根据本发明的一种优选实施方式的运动物体的位置捕捉方法的流程图;

图3为处理单元计算目标相对于图像获取单元的实际位置时的原理示意图。

具体实施方式

针对现有技术的位置捕捉系统造价方面过于昂贵和使用灵活性欠佳等不足,本发明的第一方面提供了一种能够低成本实现的运动物体的位置捕捉系统,如图1所示,其包括:

具有预定颜色的标记1,用于设置在所述运动物体2上;

图像获取单元3,用于拍摄所述运动物体2的彩色图像,在拍摄时应确保拍到的彩色图像中包含所述标记1的影像,当然也会包括背景;

测距单元4,与所述图像获取单元3并排设置并同步工作,用于测定所述运动物体2到所述图像获取单元3的距离;和

处理单元5,与所述图像获取单元3、所述测距单元4相连,用于根据所述彩色图像和所述距离计算所述运动物体2的位置。

测距单元4可以测定运动物体2到测距单元4的距离,由于测距单元4与图像获取单元3并排设置,因此,该距离可以近似地表示运动物体2到图像获取单元3的距离。

本发明的位置捕捉系统无须采用多台摄像机就能实现对运动物体的位置捕捉,大大降低了系统的成本,并且无须进行复杂的标定,也不会对使用场地产生依赖性,而是可以随意挪动,从而能够随时随地进行位置捕捉,灵活性非常高。

具体地,由于在拍摄时所述图像获取单元3(例如为摄像机)的光轴通过所述彩色图像的中心,因此,处理单元5能够根据所述标记1的影像在所述彩色图像中的位置判断运动物体2在某一时刻对所述图像获取单元3的光轴的偏离方向和偏离程度,同时,结合该时刻运动物体2到所述图像获取单元3的距离,可以进一步量化所述运动物体2到所述光轴的距离,从而获得运动物体2在该时刻以所述图像获取单元3为度量基准的位置信息。当连续获取运动物体2的图像和距离时,便能方便地得出运动物体2在不同时刻的位置信息,将这些位置信息按照时间顺序进行排列,即可获得运动物体2的三维运动轨迹。

特别地,所述处理单元5可以将所述标记1作为目标,识别出所述目标在所述彩色图像中的影像,并根据所述影像在所述彩色图像中的位置和所述距离计算所述运动物体2的位置。也即,通过在运动物体2上设置标记1,从而可以使处理单元5在运算过程中仅以该标记1为目标,以该标记1在空间中的位置表示运动物体2在空间中的位置,即在位置捕捉时以局部代替整体,使得整个运算过程可以不受运动物体2自身的大小、形状和颜色的影响,可方便、快速地在所述彩色图像中锁定运动物体2,同时还能够大大简化后续的运算量。例如,标记1可以采用圆形、正方形、矩形等简单形状,从而可进一步简化运算过程。

优选地,所述位置捕捉系统还可以包括结果输出单元(未示出),例如为图像显示装置,所述处理单元5还可以将所述运动物体的位置信息绘制成图像,并经由所述结果输出单元输出,例如显示运动物体2的三维运动轨迹。

优选地,所述标记1包括用于粘贴在运动物体2上的标签纸,从而可以方便地设置在运动物体2上,并且可以根据运动物体2的大小和/或拍摄距离裁剪成合适的尺寸。该标签纸优选为可移除标签纸,以便于在结束位置捕捉任务后轻松地予以去除。采用标签纸来形成标记1还具有成本低的优点。

需要说明的是,如果运动物体2自身的主体颜色或者局部颜色与所述预定颜色相同或相近,则运动物体2的主体外表或局部颜色区域即可构成本发明中的标记1。也即,在运动物体2自身的主体颜色或局部颜色满足要求时,可以不必再在运动物体2上额外地设置标记1,这种情况下,所述标记1包括运动物体2的主体外表或其局部。

优选地,标记1的所述预定颜色为蓝色或绿色,并且不同于运动物体2自身的颜色,优选也不同于背景颜色,从而便于进行处理单元5进行识别和运算。

优选地,所述图像获取单元3包括彩色摄像头,其例如为能够连续进行拍摄的彩色摄像机。

优选地,所述测距单元4包括深度摄像头,从而可与图像获取单元3的拍摄动作同步地提供运动物体2的深度信息。

优选地,所述深度摄像头为TOF(Time of Flight的缩写)摄像头或双目摄像头。其中,TOF摄像头采用飞行时间法获得运动物体2的深度信息,其能发出经调制的近红外光,遇到运动物体2后反射,于是,通过计算光线发射和反射的时间差或相位差,便可以计算被拍摄的运动物体2在该时刻到深度摄像头的距离,以产生深度信息。双目摄像头则利用双目立体视觉成像原理,通过两个摄像机来提取包括三维位置在内的信息进行深度感知。

优选地,所述处理单元5可以采用多种类型不同的部件,例如可以包括单片机、PC机或笔记本电脑,以方便地进行相关的运算工作。具体地,单片机可以与图像获取单元3和/或测距单元4集成设置,PC机或笔记本电脑则可以通过数据线分别与图像获取单元3和测距单元4相连。

优选地,所述图像获取单元3、所述测距单元4和所述处理单元5可以集成于同一设备中,从而便于搬运,提高使用的便捷性和灵活性,另外还有利于将图像获取单元3和测距单元4的相对位置进行固定,从而确保运动物体2到测距单元4的距离始终等于到图像获取单元3的距离。本实施方式中,处理单元5例如包括单片机或其他处理芯片。

优选地,所述处理单元5在计算运动物体2的位置时,可以采用颜色识别法识别出标记1在图像中的影像,并可以利用灰度质心算法得到所述影像的质心坐标,并且以所述质心坐标表示所述影像在所述彩色图像中的位置,也即表示运动物体2在所述彩色图像中的位置,随后,可利用同一时刻运动物体2到图像获取单元3的距离并根据几何关系计算出运动物体2相对于图像获取单元3的实际位置,例如相对于图像获取单元3及其光轴的实际位置。

本发明的第二方面还提供了一种运动物体的位置捕捉方法,优选采用本发明前述的位置捕捉系统进行捕捉,如图2所示,其包括步骤:

S100、在运动物体2上设置前述的具有预定颜色的标记1;

S200、利用图像获取单元3获取所述运动物体2的彩色图像,使得所述彩色图像中包含所述标记1的影像,同时,利用测距单元4测定所述运动物体2到所述图像获取单元3的距离,并将所述彩色图像和所述距离传输给处理单元5,其中,所述测距单元4与所述图像获取单元3并排设置;

S300、所述处理单元5根据所述彩色图像和所述距离计算所述运动物体2的位置。

具体地,可以预先在待检测的运动物体2(例如飞行机器人等)上设置蓝色或绿色的标签纸,例如圆形或方形的标签纸,随后,可以令待检测的运动物体2开始运动,并将图像获取单元3和测距单元4布置成同时朝向运动中的运动物体2,以便同步地拍摄彩色图像和测定距离,处理单元5则根据接收到的每一幅彩色图像的内容及与其同一时刻的距离信息进行计算,得到运动物体2在该时刻的实际位置。图像获取单元3和测距单元4连续拍摄图像和测定距离,处理单元5连续进行计算,就可以得到运动物体2的一系列实际位置,从而可得到运动物体2在一段时间内的运行轨迹。

本发明的位置捕捉方法能够低成本地实现对运动物体的位置捕捉,并且不会受到应用场地的限制,因为该图像获取单元3和测距单元4不需要结合特定场地进行标定,于是可以随时随地地对运动物体进行位置捕捉,灵活性非常高。

优选地,所述步骤S300包括步骤:

S310、所述处理单元5将所述标记1作为目标,识别出所述目标在所述彩色图像中的影像;

S320、所述处理单元5确定所述影像在所述彩色图像中的位置;

S330、所述处理单元5根据所述影像在所述彩色图像中的位置和所述距离计算所述目标相对于所述图像获取单元3的实际位置。

优选地,所述步骤S310中,所述处理单元5采用颜色识别法识别出所述目标的影像。

具体实施时,所述处理单元5优选将所述彩色图像转换到HSV颜色空间,并限定所述目标的预定颜色(例如蓝色或绿色)的H、S和V这三个分量的范围,然后仅保留所述预定颜色的H值,将其他颜色的H值置为零,从而可方便地识别出所述目标的影像。

由于处理单元5将前述标记1(例如预定颜色的标签纸)作为目标,因此,可以根据实际情况为标记1选择合适的颜色,例如,使得其既能有效区别于运动物体2自身的颜色,又能有效区别于图像的背景颜色,从而提高目标识别的效率和精度。

优选地,所述步骤S320中,所述处理单元5利用灰度质心算法得到所述影像的质心坐标,并以所述质心坐标表示所述影像在所述彩色图像中的位置。

具体地,已知图像第i行第j列处的H值为H(i,j),于是目标影像的质心坐标可由以下公式求出:

公式(1)和公式(2)中,N为目标影像的分辨率,例如,目标影像的分辨率为200*200,则N=200。

公式(3)中的ic和jc即为最终求得的目标影像的质心坐标。在随后的计算中,处理单元5即以此质心坐标作为运动物体2在图像中的位置。

优选地,为了获得所述目标相对于所述图像获取单元3的实际位置,本发明的位置捕捉系统及方法中,以图像获取单元3的光心和光轴作为基准,计算目标相对于光心和光轴的偏离程度。

如图3所示,O为图像获取单元3的光心,C、P所在的平面为像平面,CC’为垂直于像平面且经过光心O的直线,即,C为像平面的中心,P为目标P’(例如标记1)在像平面上成的像,即目标的影像,C’、P’所在的平面与所述像平面平行。由图可知,OC的长度为图像获取单元3的焦距,记为f;PC的长度为目标影像到像平面中心的距离;OP’的长度为目标到图像获取单元3的距离,即为测距单元4的测定结果,记为L。因此,对于该时刻拍摄的图像而言,假定单位像素的长度大小为ps,P点到C点的距离可以用影像的质心与像平面中心之间的像素个数N来表示,则有:

PC=N*ps (4)

tan(∠COP)=PC/OC=N*ps/f (5)

∠COP=arctan(N*ps/f) (6)

P’C’=OP’*sin(∠C’OP’)=L*sin(∠COP) (7)

OC’=L*cos(∠COP) (8)

因此,将P’C’记为L1,将OC’记为L2,则在所述步骤S330中,所述处理单元5计算L1和L2,便可以得到所述目标相对于所述图像获取单元3的实际位置,计算式如下:

L1=L*sin(arctan(N*ps/f)) (9)

L2=L*cos(arctan(N*ps/f)) (10)

其中,L1为所述目标相对于所述图像获取单元3的光轴的偏离量;

L2为过所述目标、并且与所述图像获取单元3的像平面相平行的平面到所述图像获取单元3的光心的距离;

L为所述目标到所述图像获取单元3的距离;

N为所述影像的质心与所述图像获取单元3的像平面中心之间的像素个数;

ps为单位像素的长度大小;

f为所述图像获取单元3的焦距。

由于f和ps可以通过事先的校准得到,属于已知量,于是,处理单元5可以根据每一幅图像中的N和其对应时刻的距离L计算出相应的L1和L2。

优选地,所述步骤S300之后,还可以包括步骤:

S400、所述处理单元5将所述运动物体2的位置信息绘制成图像,例如,将深度信息、位置信息进行绘图,如按照时间先后进行绘制,得到运动物体2在一段时间内的三维轨迹,并通过结果输出单元输出,以便于观测。

本发明的第三方面还提供了一种用于实现前述位置捕捉方法的装置,参见图1,其包括:

图像获取单元3,用于拍摄所述运动物体2的彩色图像,并使得所述彩色图像中包含设置在所述运动物体2上的所述标记1的影像;

测距单元4,与所述图像获取单元3并排设置,用于测定所述运动物体2到所述图像获取单元3的距离;和

处理单元5,与所述图像获取单元3、所述测距单元4相连,用于根据所述彩色图像和所述距离计算所述运动物体2的位置。

也即,本发明的装置可以与前述标记1共同构成本发明所述的位置捕捉系统。其中,本发明的装置的各组成部分(包括图像获取单元3、测距单元4、处理单元5等)的优选实施方式可参见前文中对所述位置捕捉系统的描述部分,在此不再赘述。

利用本发明的位置捕捉系统和位置捕捉方法对飞行机器人的飞行轨迹进行实测试验,在飞行机器人离图像获取单元3和测距单元4大约3m远的情况下,实测目标位置的最大误差在2cm左右,基本能够满足此类位置捕捉评定项目的需求。

本发明的位置捕捉系统、方法及相应的装置特别适用于对飞行机器人(包括无人机、仿生机器人)、运动中的球类(羽毛球、乒乓球、网球等)等运动物体的位置进行捕捉,以便分析其飞行轨迹或相关的运动指标,如无人机的飞行精度等,包括定高波动范围测试、定点悬停漂移范围测试等。

本领域的技术人员容易理解的是,在不冲突的前提下,上述各优选方案可以自由地组合、叠加。

应当理解,上述的实施方式仅是示例性的,而非限制性的,在不偏离本发明的基本原理的情况下,本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换,都将包含于本发明的权利要求范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1