专利名称：三维立体空间中的多目标跟踪方法
技术领域：
本发明涉及计算机立体视觉(Stereo Vision)、通信编码(Channel Coding)、计算机搜索技术(Computer Searching Methods)、模式识别(Pattern Recognition) 数值分析(Numerical Analysis)，适用于虚拟现实和控制系统的输入环节，以及面向轨迹的操作应用，为一种三维立体空间中的多目标跟踪方法。
背景技术：
目前，普及应用的输入设备主要是键盘为代表的按键类设备和鼠标触摸屏为代表的指点类设备。在文字处理和日常性办公室用中可以很好的满足要求，但是在日趋火热的三维处理领域，以符号或二维坐标为输入信号的外围设备则不能很好的适应这种趋势。而现有的三维输入系统又存在实时性、精度、自由度、可靠性、便携性、成本等方面的不足。为此，一种廉价的易于集成的实时三维立体输入技术将促进立体技术的普及和应用深入。三维输入设备主要有以下几种(1)三维扫描仪通过对同一物体多角度的扫描来重建物体的立体模型。优点扫描精度高。缺点扫描时间长，不适合运动物体的建模。(2)运动重建设备使用运动传感器，可以感知设备加速度和角度的变化，然后通过积分来重建运动轨迹。优点成本低，适合简单应用。缺点初始位置无法确定，只能通过积分变换得到相对位移。此类的输入设备的数据精度不高，且误差有时间累积效应。(3)3D摄像机模仿人眼的结构，通过两个或以上摄像头同步获取的图像进行解析，以达到三维模型的重建。优点理论上可以媲美人眼来完全解析任何立体。缺点算法耗费运算量很大，成像质量要求高，不适合大规模实时的场合。(4)透视法解析此方法只适合空间某点的解析，利用“近大远小”的透视法则使用一个摄像机来对球型物体进行定位。优点成本极低，算法简单，实时性好。缺点精度一般，不能进行旋转操作。(5)深度摄像机a)第一种是投影设备对物体投射有规律的图案，然后对反馈回来的空间扭曲图案进行逆向解析来得到立体影像。缺点需要额外的投影设备，分辨率受到投射图案和摄像设备的双重限制。b)第二种是由光源以脉冲的形式发光，然后对光线传播的时间进行计算，得到物体的立体影像。缺点要求有精确的拍摄时间控制。共同优点算法相对简单，容易集成；共同缺点对被解析物体材质的反光特性有一定要求；受环境光影像很大。(6)三维鼠标由传统鼠标升级而成，加入了旋钮和可升降的机械模块，用于表示立体空间中的上下移动和旋转。优点符合传统使用习惯，成本低。缺点Z轴方向上的移动相对较慢，附加的输入设备不符合人体对高度和旋转的直接理解，不能做到快速实时的立体轨迹的输入。
对于目前的输入技术，主要问题集中在以下几个方面(1)摄像机的限制目前的摄像机虽然较以前有了明显的进步，但对于运动跟踪而言，高速摄像机的功耗、体积和价格都不能满足普及的需要。普通图像传感器在高速获取图 像的时候，为了保证所获取的画质，曝光时间上必须满足一定的条件，通常室外1/30秒， 室内1/5秒；为了保证足够的细节，通常采用彩色摄像机，对彩色的输出使得内部带宽比灰度摄像机增加了 3倍，对获取图像的数据处理计算量十分庞大，计算速度也受到限制。(2)算法的限制一般的步骤包括目标轮廓的提取和识别，关键点的识别与对齐， 目标位置和状态的还原。每一步都会有比较苛刻的条件限制。如复杂物体的建模，需要对大量的样本进行训练，同时也需要充足光照。(3)误差的控制上一次跟踪状态的误差往往会传播到当前判定过程，误差随时间又积累效应。当误差积累到一定限度以后，系统往往会对所跟踪的目标进行误判并丢失目标。同时，精度和速度往往是一对不可调和的矛盾。
发明内容
本发明要解决的问题是现有的三维立体输入技术，在实际应用中由于受到图像传感器、跟踪算法和跟踪误差等限制，存在系统复杂、设备昂贵、跟踪时受限条件多、精度不高、输入信息处理数据量大等各种问题。本发明的技术方案为三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程由识别码确定设置在关键点上光信号发射器的亮灭，将识 别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留1帧所对应的姿势用于预测下一帧的姿势，1为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，并将所述轨迹数据作为下一次跟踪的预测姿势的预测基础；对同一个被跟踪目标的不同轨迹数据所记录的校正前后姿势的差异值求和，得到轨迹数据的总差异值，确定与总差异值差别最小的轨迹数据所对应的轨迹路径作为实际的运动轨迹结果输出，用于防止预测错误的发生。在校正被跟踪目标姿势之后，检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势来进行。优选跟踪装置和被跟踪目标设备之间有通信连接，用于数据和指令的传输，保证跟踪装置和被跟踪目标设备之间的时序同步。本发明采用双目摄像机，通过捕捉至少3个不共线的关键点及其立体空间坐标确定被跟踪目标设备的姿势，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两台并列摆放的摄像机。进一步的，被跟踪目标上还设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，用于识别被跟踪目标运动状态的突然改变，所述运动传感器包括电子陀螺仪和加速度传感器；被跟踪目标设备在当前时刻的预测姿势由被跟踪目标运动的轨迹路径和运动传感器输出的数据共同确定。优选光信号发射器为LED发光二极管，跟踪装置采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪；跟踪装置中设有光学滤波器，光学滤波器允许通过光线的波长与光信号发射器发出的光信号波长相一致，关键点的光信号经过光学滤波器后输入图像传感器。跟踪信号处理系统设有对外接口模块，用于接收主机的命令和提交跟踪结果。本发明假设被跟踪目标设备的运动具有短时平稳性，即被跟踪目标的运动在短时间内的运动参数不会连续剧烈变化，这样才能保证通过采集不同时刻的部分关键点坐标来还原被跟踪目标的姿势，目前的实际操作中的三维跟踪应用场合，运动目标的运动基本都具有短时平稳性。为了解决现有技术中存在的问题，本发明采用高亮度的LED发光二极管来发射信号，使得黑白摄像机进行超短时间(例如1/10000秒)的曝光也可以获得高质量的信号，解决了低成本传感器对高速运动物体引起的拖尾现象；只针对光点进行识别，不需要对被跟踪目标的复杂立体结构进行影像配准(注册)，而只需要确定光点对应的关键点的位置就可以进行识别；关键点的对应的光信号发射器由事先确定的识别码控制亮灭，可以在动态中对各个关键点加以区分。其中光点的位置由一组摄像机决定，以摄像机位参考点，误差不会随时间的积累而扩散。在本发明系统中，由于只需要对有限的关键点进行追踪，算法的复杂度只和关键点的个数以及搜索的深度有关，当系统对目标进行误判以后，由于各关键点的有互异的编码，可以有效地对丢失的目标状态进行纠正，并排除干扰项。
本发明是一套完整的多目标在立体空间的定位和跟踪解决方案，可以很好的和各种立体应用程序配合。用编码的方式将各个关键点加以区分，以此来获得更准确的跟踪效果，实现多目标跟踪，不仅定位准确，而且还可以提供被跟踪目标的方向信息，实现三维坐标的平移及旋转信息的及时获取。本发明的的有益效果是实现了低成本的精确多点在三维立体空间中的定位。在三维设计、3D操作系统、远程医疗、虚拟现实、涉及立体的实时操作领域内有着广泛的应用， 并且原理简单，利于普及推广，具体有如下优点1)对图像传感器的要求低曝光时间要求短、灰度或黑白图像、不要求图像处理模块，只在高速跟踪时候对帧速(fps)有一定要求，降低了系统成本；2)各个模块之间的数据交换量小对于数据量最大的图像数据，只传送有限个亮点数据及其坐标的压缩矩阵，降低了硬件设计的难度；3)使用了编码技术，处理对象从图像象素或图像特征变为三维立体空间中的关键点，降低了跟踪处理设计的难度并提高了跟踪精确性；4)使用了辅助运动传感模块，即运动传感器，进一步降低了第(1)项中帧速的要求，给跟踪处理提供了更好的预测模型；5)利用多个关键点之间的空间拓扑关系可以减少跟踪算法搜索的复杂度。
图1为本发明被跟踪目标在空间中运动时的姿势以及关键点的编码的示意图，被跟踪目标设备在运动时关键点的亮灭情况编码为关键点1 :1100，关键点2 :1001，关键点 3 :0011，关键点 4 =OllO0图2为本发明被跟踪目标运动过程中，相邻运动状态的解码过程图3为本发明被跟踪目标部分的设备结构示意图。图4为本发明跟踪装置的结构示意图。图5为本发明系统的整体流程结构示意图。图6为操作者在本发明摄像机前移动或旋转手持目标设备，系统对其进行立体位置和角度的跟踪示意图。图7为本发明的应用举例一雕塑家直接用本系统输入的空间轨迹雕塑各种造型。图8为本发明的应用举例二 医生在远程通过视频对手术器官进行观察，用本系统提供的立体坐标输入设备控制手术刀，对经过数字化放大处理的三维影像进行精确手术。图9为本发明对多个目标设备进行跟踪的示意图。
具体实施例方式本发明是一种三维立体空间中的多目标跟踪方法，对被跟踪目标的关键点用识别码的方式来进行区分，使用一组高速摄像机对跟踪区域的关键点实现立体空间的跟踪和定位，并通过运动传感器来增强跟踪预测的效果。 具体为由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留1帧所对应的姿势用于预测下一帧的姿势，1为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值本发明通过至少3个不共线的关键点及其立体空间坐标，采用双目摄像机确定被跟踪目标设备的三维空间坐标及其指向，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两个并列摆放的摄像机。本发明对图像传感器的要求低曝光时间要求短、灰度或黑白图像、不要求图像处理模块，只在高速跟踪时候对帧速(fps)有一定要求，没有运动传感器时，满足
=就可以实现跟踪，其中系数2是考虑到其他因素产生的干扰而放宽的
100%冗余，fmin是对摄像机拍摄速率的最低要求，d是关键点之间的最小距离，Aamax是被跟踪目标设备受到外力做出的加速度改变量的最大值。比如Aamax = 10g, d = 0. Im时，摄像机速率要达到60fps左右，g是重力加速度。进一步的，本发明在被跟踪目标上设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，以增强跟踪性能。光信号发射器为LED发光二极管，跟踪装置 采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪。跟踪装置中设有光学滤波器，关键点的光信号经过光学滤波器后输入图像传感器；跟踪信号处理系统设有对外接口模块。本发明的目的是提供一种三维目标跟踪方法，建立一套快速低成本的三维立体输入系统，以满足日益发展的三维立体应用的需要。具有以下基本特点(1)用LED发光二极管作为输入信号的发射器，其亮度可以使其轻易地在快速曝光的同时从背景中被提取出来，降低了对图像传感器的要求；且单色性好，可以和滤光系统配合使用以达到更高的性噪比。(2)集成有运动传感器，及时更新被跟踪目标的运动状态，在其动作状态突然改变的时候为后续跟踪信号处理系统的跟踪算法提供更准确的目标位置和方向。(3)信号源，也就是关键点用二进制识别码中不同的0、1码来表示亮、灭状态，其中0(灭)的状态可以理解为背景，没有实际的意义。本发明对各个关键点进行编码，在系统区分关键点的同时，相对于多频或变频系统简化了光学系统的设计，相对于形状或图案识别系统算法设计而言，简化了对象识别的复杂度。(4)对于一个被跟踪目标，选取多个关键点，各关键点彼此之间的位置存在联系。 跟踪系统只需要捕捉其中3个关键点的信号源即可确定目标的立体空间位置和旋转。(5)精度高，定位准确，设备只处理拍摄图像的亮点数据，数据传输量小，可以很容易升级至高清晰图像传感器而不用担心传输率的瓶颈。相对其他需要搜索关键点的跟踪系统来说，本发明减少了判断错误的概率。(6)抗干扰能力强，对不符合编码的干扰源有一定的容错率，误差不会随时间增长本发明方法不受环境光源(电子设备的指示灯，玩具，照明设备……)、目标移动过快导致的图像不连贯、传感器精度不够高等因素影响。(7)由于本发明的跟踪识别中，只对光信号进行处理，不需要复杂的计算，算法简单，速度快，软硬件实现都很容易。算法可以做到使用简单的处理芯片时，摄像机摄取的每一帧也都可以做到实时处理。(8)成本低，功耗小。可集成在各类移动设备上，大大拓展了 3D应用的使用范围。本发明的光信号发射器也可以采用其它的信号源，如探险机器人可以安装X光光源来达到更好的穿透性。为了让计算机能够理解物体的立体结构，需要在多幅画面中找出可以表示物体状态的一组关键点或轮廓，然后通过各种算法来解析物体的状态。本发明用光信号时序编码的方式极大的简化了关键点的提取和区分，并降低了图像传感器的要求，实现了多点立体运动轨迹的快速建模。几乎可以忽略环境光的影响和其它信号源的干扰。运动传感器可以快速感知运动状态的突然改变，有很好的辅助预测效果。通过对二进制识别码的设置，可以提供更好的纠错性能。下面具体描述本发明方法中的各基本结构(1)包括可以活动的从属设备(remote slave device)和负责解析运动以及接口通信的固定端主设备(fixed master device)，从属设备对应被跟踪目标，在从属设备上设置关键点，主设备进行跟踪识别。如图3，被跟踪目标与关键点之间的相对位置固定，跟踪装置从通信接口读取指令和数据，并按照给定的二进制识别码依次点亮或熄灭LED灯，同时传回从运动传感器获得的数据。其他输入输出设备也可以通过通信接口进行交流。
(2)从属设备上安装有若干个波长一致的光信号发射器，所述光信号发射器与关键点一一对应，各发射器独立发出二进制“01”光信号序列。(3)LED灯的选择以单一波长的为佳。此时可以和接收系统的滤光系统匹配，提高系统的信噪比(4)从属设备上集成有运动传感器，可以感知各个方向上加速度和角度的变化。(5)从属设备上集成有通信组件，和主设备之间建立实时的通信连接进行命令和数据的交换。(6)从属设备上还可以集成其他的输入输出设备，如按键、轨迹球、震动设备、喇口Λ、麦克风，感应力度的传感器等，在三维立体空间跟踪的基础上，拓展设备的应用范围。(7)主设备集成有光学滤波系统，减少环境光造成的影响。(8)主设备安装有一组摄像机，基于计算机立体视觉技术，感知光信号器发出的信号，并解析出三维立体坐标。(9)主设备上集成有通信组件，和多个从属设备建立实时的通信连接进行命令和数据的交换。(10)主设备集成数据采集和处理单元，对实时采集的数据进行分析和处理，接受和处理来自主机的命令，相应从属设备的请求和对其下达指令。(11)主设备集成有和主机的通信组件，和主机进行实时通信，将跟踪的结果即使报告给主机。(12)系统对多个关键点进行编码，通过编码组合，支持一个主设备对多个关键点的定位和跟踪，如图9所示。(13)不同波长系统之间没有干扰。下面具体描述本发明的实施步骤和系统的跟踪过程图4为本发明跟踪装置的结构示意图。其中光学滤波系统只允许特定波长的光通过，降低环境光的影响，保证如果有几套系统互不影响地同时工作。在光信号进入系统以后，由图像传感器芯片来获取光点的位置。在曝光时间极短的情况下，传感器只能捕捉到高亮度的光源，其余部分则曝光不足，相应亮度很小。此时，把不是亮点的像素全部设为零，则捕捉到的图像的亮度矩阵是一个稀疏矩阵。用压缩矩阵来存储和传输此矩阵，数据量在640x480分辨率、100个亮点时，数据量减少至原来的0. 07%。 进一步可以将相邻的亮点做积分，得到其亮度中心和总亮度，再传给下一级处理。在亮点数据进入一个先进先出缓冲之后，由一个处理单元对亮点数据以及通信接口传来的数据进行分析和处理。并最终将跟踪到的目标设备轨迹通过与主机之间的接口传递给主机。同时，处理器还担负着处理主机发来的指令和维持整套系统运行的任务。下面是系统实施的具体步骤步骤一摄像机立体标定
在计算机立 体视觉技术中，我们需要从摄像机获取的图像中得到世界坐标的对应关系，而这种对应关系是由摄像机成像的几何模型决定的。获取这些几何参数的方法就被称为摄像机标定。在立体视觉里，不仅需要单个的摄像机参数，各个摄像机之间的相对位置也是重建立体目标的重要参数。有了各个摄像机的几何成像参数以及他们之间的相互位置关系，我们就可以通过一组摄像机来重建光点的立体坐标。步骤二 系统初始化(1)外部接口初始化包括跟踪装置和上位机之间的连接，驱动的安装，建立跟踪系统和外部主机之间的联系。(2)主从设备的通信连接初始化建立命令和数据通道，然后通过有线或无线的通信连接，获得被跟踪目标的数量以及各目标具体的软硬件配置等信息，并对其进行设置。硬件信息包括设置在被跟踪目标上关键点的位置、运动传感器的型号和参数、各输入输出接口的配置等信息。(3)时钟同步校准如前所述，跟踪系统的限制之一是采用摄像机的速度，为了节省追踪信号的带宽， 需要对主从设备进行时钟校准，使得被跟踪目标上关键点的亮灭可以完整清楚地被摄像机捕捉到。具体的方法有共用一个时钟；时钟同步；采用中断或命令的方式在每帧拍摄完成之后设置关键点的亮灭。(4)运动传感器初始化运动传感器作为跟踪系统的辅助工具，用于识别被跟踪目标运动状态的突然改变，优选地设置在被跟踪目标设备的物理重心上，具有三维立体空间内三个轴向上的感知能力。在没有运动传感器的跟踪过程中，设备跟踪目标设备可能在受到外力作用，使得运动状态突然改变时预测出下一步的位置，不能让真正的运动轨迹路径获得最优的差异值，即出现误判。运动传感器的参数设定原则a)精度和最小量程必须能够防止误判；b)刷新率必须达到摄像机的拍摄速率；c)最大量程定了系统最终的跟踪能力，在满足原则a)和b)的基础上，应尽可能设定为的最大值。(5)摄像机初始化对于本发明的立体跟踪方法而言，对外界的图像摄取必须保持同步，所有时序必须保持一致。推荐的方法是所有摄像机均采用统一的硬件配置，统一的时钟信号和统一的配置参数，并利用图像传感器提供的同步信号管脚来完成摄像机的同步。步骤三跟踪处理本发明中每个关键点被赋予了一串长度为L的二进制编码。关键点上的LED等依据编码按摄像机拍摄次序亮灭。如图1，关键点固定在被跟踪目标上，并依据事先设定的编码规则亮灭。虚线及其上的箭头表明了被跟踪目标运动的轨迹，目标上的姿势由其自身的坐标系在世界坐标系中的相对位置来表示。本发明基本原理就是利用二进制识别码来区分不同的关键点，由跟踪不同的关键点来跟踪多个目标的轨迹路径。图1中采用正四边形的拓扑结构。考虑到要完全确定物体的位置和方向，在已知摄像机位置的情况下，需要3个的有编号的关键点被捕捉到。4个点则是为了避免出现旋转时某点被遮挡的情况。实际的目标设备可以根据自身的物理结构灵活选择关键点的位置。 在实际应用中需要针对被跟踪目标设备的形状和运动特点来设定关键点的位置。 跟踪处理是按照摄像机的拍摄时间点来划分步骤的，如图5。首先说明一下涉及的各种参数(1)帧时序k，表示摄像机连续拍摄图像的序数，所对应的曝光时刻记为tk。(2)被跟踪目标设备序号n，其中η = 1. . N，N为被跟踪目标设备的总数。(3)轨迹路径序号r，轨迹路径表示某个被跟踪目标设备最近运动所形成的空间路径及其指向。(4)光信号所对应的立体坐标集合其中元素为立体空间中的一个点。(5)被跟踪目标设备η上关键点对应光信号的亮灭情况 <，即在tk时刻被跟踪目标设备η上对应光发射器被点亮的关键点所对应的集合，其元素为关键点的编号。(6)姿势S，表示被跟踪目标设备在空间中的位置和旋转，包括表示XYZ三个坐标轴上的位置向量[x，y，z]'和表示旋转的欧拉角向量[α，β，Y]'，其中被跟踪目标设备的位置优选地设置在其物理重心上。(7)跟踪过程中对两个姿势Stl和S1之间的差异值的计算D(S0,S,) = (x, -X0)2 +Cy1 -y0 f+(Z1-Z0)2 +72θ2其中θ是Stl和Sii间由于旋转不同而产生的旋转角度差，由(α(1，β0, Ytl)和 (O1, Y1)确定；(&，％，2(1)、(％，β0, Y0)分别是 S。的空间坐标和欧拉角，(XijYijZ1), (α” β” Y1)分别是S1W空间坐标和欧拉角，F是目标设备中心到各个关键点的平均距罔。(8)节点 Iiodei,包含:a)节点所对应图像的拍摄时间、；b)被跟踪目标的空间姿势Si ；c)校正预测姿势前后的差异值Di。(9)轨迹数据_kn r，表示被跟踪目标设备η在tk时刻假设经过轨迹路径r时的数据结构a)轨迹路径上容量为1的节点列队node。，Hode1,……，Iiodei^每放进一个节点到队列首部，其余节点自动向后移一位，并删除位于尾部的节点；b)轨迹函数系数彻，b0, c0, ai; bi; C1...,所述函数系数与节点用于确定轨迹函数；c)轨迹路径的总预测差异值dL = ΣΑ，其中i是中的节点编号。
in,r(10)轨迹数据列表//<，表示被跟踪目标设备η在tk时刻出现总预测差异值最小的Σ条轨迹路径，其内容是总预测差异值从小到大排列的Σ个轨迹数据。
^ Xk ( )λ (α0 +αχ + α2 2 +...、(11)轨迹函数而、=yk(t) = b0+b\t + b/+...，表示被跟踪目标设备η在时
/(t) J+ — y
刻tk假定经过轨迹路径的情况下，姿势的位置随时间变化的情况，优选形式为关于时间t 的多项式。在没有运动传感器的情况下，轨迹函数还应当包含姿势的在各个欧拉角分量随时间变化的情况，即
权利要求
1.三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪， 其特征是被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮， 跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来对应生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程由识别码确定设置在关键点上光信号发射器的亮灭，将识别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势， 然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中， 如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留1帧所对应的姿势用于预测下一帧的姿势，1为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。
2.根据权利要求1所述的三维立体空间中的多目标姿势跟踪方法，其特征是对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，并将所述轨迹数据作为下一次跟踪的预测姿势的预测基础；对同一个被跟踪目标的不同轨迹数据所记录的校正前后姿势的差异值求和，得到轨迹数据的总差异值，确定与总差异值差别最小的轨迹数据所对应的轨迹路径作为实际的运动轨迹结果输出，用于防止预测错误的发生。
3.根据权利要求1或2所述的三维立体空间中的多目标姿势跟踪方法，其特征是在校正被跟踪目标姿势之后，检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势来进行。
4.根据权利要求1或2所述的三维立体空间中的多目标姿势跟踪方法，其特征是跟踪装置和被跟踪目标设备之间有通信连接。
5.根据权利要求1或2所述的三维立体空间中的多目标跟踪方法，其特征是采用双目摄像机，通过捕捉至少3个不共线的关键点及其立体空间坐标确定被跟踪目标设备的姿势，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两台并列摆放的摄像机。
6.根据权利要求1或2所述的三维立体空间中的多目标姿势跟踪方法，其特征是被跟踪目标上还设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，用于识别被跟踪目标运动状态的突然改变，所述运动传感器包括电子陀螺仪和加速度传感器；被跟踪目标设备在当前时刻的预测姿势由被跟踪目标运动的轨迹路径和运动传感器输出的数据共同确定。
7.根据权利要求1或2所述的三维立体空间中的多目标跟踪方法，其特征是光信号发射器为LED发光二极管，跟踪装置采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪；跟踪装置中设有光学滤波器，光学滤波器允许通过光线的波长与光信号发射器发出的光信号波长相一致，关键点的光信号经过光学滤波器后输入图像传感器。
8.根据权利要求1或2所述的三维立体空间中的多目标跟踪方法，其特征是跟踪信号处理系统设有对外接口模块，用于接收主机的命令和提交跟踪结果。
全文摘要
三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，根据光信号规律对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转。本发明是一套完整的多目标在立体空间的定位和跟踪解决方案，可以很好的和各种立体应用程序配合。用编码的方式将各个关键点加以区分，以此来获得更准确的跟踪效果，实现多目标跟踪，不仅定位准确，而且还可以提供被跟踪目标的方向信息，实现三维坐标的平移及旋转信息的及时获取。
文档编号G06F3/033GK102169366SQ20111006691
公开日2011年8月31日 申请日期2011年3月18日 优先权日2011年3月18日
发明者汤牧天 申请人:汤牧天