一种目标跟踪方法、存储设备及目标跟踪装置与流程

本发明属于目标跟踪领域，尤其涉及一种目标跟踪方法、存储设备及目标跟踪装置。

背景技术：

目前，在智慧课堂领域，尤其是在智慧教室中，对运动目标进行跟踪时，采用以下两种方案：

1、采用定位头与跟踪头绑定的摄像机对运动目标进行跟踪；

2、定位头与跟踪头相分离，其中，所述定位头用于对运动目标进行定位，所述跟踪头用于根据定位头的反馈结果，对运动目标进行跟踪拍摄。

但是，上述两种方案存在的共同问题是仅仅是对运动目标进行二维跟踪拍摄，不能实现对运动目标的三维的准确跟踪定位，严重影响了智慧课堂的教学效果。

因此，迫切需要提供一种目标跟踪方案来解决上述技术问题。

技术实现要素：

本发明提供一种目标跟踪方法、存储设备及目标跟踪装置，以解决上述问题。

本发明实施例公开了一种目标跟踪方法，包括以下步骤：通过双目摄像机，获取运动目

标的第一三维坐标d；

根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；

根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

本发明还公开了一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行，包括：

通过双目摄像机，获取运动目标的第一三维坐标d；

根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；

根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

本发明实施例还公开了一种目标跟踪装置，包括：处理器，适于实现各指令；

存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；

通过双目摄像机，获取运动目标的第一三维坐标d；

根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；

根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

本发明实施例提供以下技术方案：通过双目摄像机，获取运动目标的第一三维坐标d；根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

上述技术方案中，通过云台摄像机相对世界坐标系的旋转矩阵、所述运动目标在世界坐标系中的第二三维坐标及所述第一三维坐标，获取所述运动目标在所述云台摄像机中的位置坐标，实现了对运动目标的三维的准确跟踪定位，大大提升了智慧课堂的教学效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明实施例的一较佳实施例提供的目标跟踪方法的流程图；

图2所示为根据本发明实施例的一较佳实施例提供的目标跟踪装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为根据本发明的一较佳实施例提供的目标跟踪方法的流程图，包括以下步骤：

步骤101：通过双目摄像机，获取运动目标的第一三维坐标d；

进一步地，所述双目摄像机由至少两个分析定位摄像机组成。

步骤102：:根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；

进一步地，所述云台摄像机相对世界坐标系的旋转矩阵r的获取过程为：

获取云台摄像机相对世界坐标系的俯视角、水平偏移角、旋转角；

根据所述俯视角、所述水平偏移角、所述旋转角，获取所述云台摄像机相对世界坐标系的旋转矩阵r。

进一步地，所述俯视角ψ＝((t1-t0)/lammdat，所述水平偏移角θ＝((p1-p0)/lammdap，所述旋转角其中，所述lammdap表示所述云台摄像机水平转1度时对应的位移，所述lammdat表示所述云台摄像机上下转1度时对应的位移；

获得云台摄像机原点位置对应的绝对坐标：(p0，t0，z0)；控制所述云台摄像机画面中心指向参考物上对应的对称点，且所述云台摄像机中的画面与所述参考物平行，记录此时的所述云台摄像机的绝对坐标：(p1，t1，z0)；

通过参考物上的对称点挂一条垂线，所述云台摄像机中的画面中标定出所述垂线，进而

获取所述垂线在画面中的斜率k。

进一步地，

所述r＝rz*rx*ry；

具体而言：

预先对云台摄像机、分析定位摄像机和世界坐标系进行标定。

预先选择和云台安装墙面相对的墙面为参考物。

查询记录安装好后的云台原点位置对应的绝对坐标：(p0，t0，z0)；

控制所述云台摄像机画面中心指向参考物上对应的对称点，且所述云台摄像机中的画面与所述参考物平行，记录此时的所述云台摄像机的绝对坐标：(p1，t1，z0)；

测量云台摄像机头转1度下ptz大小，记录云台摄像机头水平最左位置pl，及最右位置pr，以及此时云台摄像机一共所转的角度cp，lammdap＝(pr-pl)/cp；

记录云台摄像机头俯视最低位置td，及台头最上位置tu，以及此时云台摄像机一共所转的角度ct，lammdat＝(tu-td)/ct.事实证明，一般情况下lammdat＝lammdap。

云台摄像机相对世界坐标系的俯视角ψ＝((t1-t0)/lammdat)和水平偏移角θ＝((p1-p0)/lammdap)。

在参考墙面上挂一条过云台摄像机对称点的铅垂线，在云台摄像机画面中标定出该条铅垂线，测量该线段在画面中斜率k，云台摄像机相对世界坐标系的旋转角＝atan(k)。

据此可通过云台摄像机相对世界坐标系的旋转矩阵r，pc＝r(p0-t)，计算运动目标在云台摄像机坐标系的位置坐标pc。其中p0为运动目标在世界坐标系中的3d坐标，t为双目摄像机相对于世界坐标系的3d坐标，r＝rz*rx*ry(yxz旋转顺序)为旋转平移矩阵。

所述r＝rz*rx*ry；

步骤103：根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

进一步地，所述pc＝r(f-d)。

从上述实施例可以获知：

云台摄像机和世界坐标系关联，同时双目摄像机也可和世界坐标系关联。系统初始使用双目摄像机定位感兴趣的运动目标，当运动目标被检测后使用双目摄像机可以测量出运动目标在世界坐标系中的3d坐标，在粗定位后根据云台摄像机相对世界坐标系的旋转矩阵，运动目标在世界坐标系中的坐标，获取运动目标在所述云台摄像机中的位置坐标，根据所述位置坐标，控制云台摄像机对所述运动目标进行跟踪。还可以通过采用人脸检测及识别技术，运用交互多模型(卡尔曼滤波)对目标3d位置进行建模跟踪。

本发明实施例还提供了一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行，包括：

通过双目摄像机，获取运动目标的第一三维坐标d；

根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；

根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

进一步地，所述pc＝r(f-d)。

进一步地，所述云台摄像机相对世界坐标系的旋转矩阵r的获取过程为：

获取云台摄像机相对世界坐标系的俯视角、水平偏移角、旋转角；

根据所述俯视角、所述水平偏移角、所述旋转角，获取所述云台摄像机相对世界坐标系的旋转矩阵r。

进一步地，所述俯视角ψ＝((t1-t0)/lammdat，所述水平偏移角θ＝((p1-p0)/lammdap，所述旋转角其中，所述lammdap表示所述云台摄像机水平转1度时对应的位移，所述lammdat表示所述云台摄像机上下转1度时对应的位移；

获得云台摄像机原点位置对应的绝对坐标：(p0，t0，z0)；控制所述云台摄像机画面中心指向参考物上对应的对称点，且所述云台摄像机中的画面与所述参考物平行，记录此时的所述云台摄像机的绝对坐标：(p1，t1，z0)；

通过参考物上的对称点挂一条垂线，所述云台摄像机中的画面中标定出所述垂线，进而获取所述垂线在画面中的斜率k。

进一步地，

所述r＝rz*rx*ry；

图2所示为根据本发明实施例的一较佳实施例提供的目标跟踪装置的框图，包括：处理器，适于实现各指令；

存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；

通过双目摄像机，获取运动目标的第一三维坐标d；

根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；

根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

进一步地，所述pc＝r(f-d)。

进一步地，所述云台摄像机相对世界坐标系的旋转矩阵r的获取过程为：

获取云台摄像机相对世界坐标系的俯视角、水平偏移角、旋转角；

根据所述俯视角、所述水平偏移角、所述旋转角，获取所述云台摄像机相对世界坐标系的旋转矩阵r。

进一步地，所述俯视角ψ＝((t1-t0)/lammdat，所述水平偏移角θ＝((p1-p0)/lammdap，所述旋转角其中，所述lammdap表示所述云台摄像机水平转1度时对应的位移，所述lammdat表示所述云台摄像机上下转1度时对应的位移；

获得云台摄像机原点位置对应的绝对坐标：(p0，t0，z0)；控制所述云台摄像机画面中心指向参考物上对应的对称点，且所述云台摄像机中的画面与所述参考物平行，记录此时的所述云台摄像机的绝对坐标：(p1，t1，z0)；

通过参考物上的对称点挂一条垂线，所述云台摄像机中的画面中标定出所述垂线，进而获取所述垂线在画面中的斜率k。

进一步地，

所述r＝rz*rx*ry；

本发明实施例提供以下技术方案：通过双目摄像机，获取运动目标的第一三维坐标d；根据云台摄像机相对世界坐标系的旋转矩阵r、所述运动目标在世界坐标系中的第二三维坐标f及所述第一三维坐标d，获取所述运动目标在所述云台摄像机中的位置坐标pc；根据所述位置坐标pc，控制所述云台摄像机对所述运动目标进行跟踪。

上述技术方案中，通过云台摄像机相对世界坐标系的旋转矩阵、所述运动目标在世界坐标系中的第二三维坐标及所述第一三维坐标，获取所述运动目标在所述云台摄像机中的位置坐标，实现了对运动目标的三维的准确跟踪定位，大大提升了智慧课堂的教学效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。