一种基于枪机和ptz设备的目标跟踪方法和系统与流程

1.本发明涉及智能安防监控领域，具体涉及一种基于枪机和ptz设备的目标跟踪方法和系统。


背景技术：

2.在现代智能化安防监控中，自动分析监视场景中目标行为意图，例如目标是否即将进入限制区域、快速移动等，对于减轻工作人员负荷，提升系统的实用价值具有重要意义。而要进行目标行为意图的自动分析，需先感知到监视场景中的目标，尤其是通过ptz(pan/tilt/zoom的简写，代表云台全方位(左右/上下)移动及镜头变倍、变焦控制)设备如云台摄像机、ptz球机等，利用其水平和垂直方向上的旋转和景深方向的缩放功能，不仅可锁定大范围移动的目标，还可提供目标细节纹理丰富的特写画面。纹理丰富的特写画面为后续智能化分析算法应用提供了前提。通过手动控制云台摄像机旋转缩放，不仅给工作人员增加了工作量，同时得到的监控画面也不平滑连续，更重要的是难以跟踪快速移动的目标，因此，为了更好的实现ptz设备对监视场景中目标的跟随锁定，有必要实现对ptz设备旋转缩放的自动控制。
3.现有的ptz设备自动控制，依据其控制数据来源大致可分为主动式和被动式。主动式需要场景中目标加载gps定位追踪设备、电子罗盘、或其他辅助参考组件等设备，目标主动告知ptz设备其位置信息，用于实现对ptz设备的旋转缩放控制或用于对系统初始化校正，该种模式不仅增加了系统的复杂性和提高了投入成本，且目标需要携带辅助设备导致实际应用受到一定限制。被动式则不需要目标主动告知ptz设备其位置信息，而是通过图像智能分析算法自动检测跟踪ptz设备画面中的特定目标，通过目标位置控制ptz设备旋转缩放，该种方式系统相对简单，不需要额外设备投入，更重要的是几乎能够处理闯入监视场景中的各种对象，因此得到了大量的应用。然而被动式ptz设备控制性能好坏取决于图像智能分析算法是否能持续稳定的跟踪画面中的目标，现实应用中，由于目标在监视场景中大范围移动，例如对机场飞行区的监视中飞机从停机位滑行上跑道，为了保持对目标跟踪，ptz设备也需要快速旋转缩放，导致目标姿态、画面背景、场景光照等因素容易呈现较大差异，进而容易导致图像智能分析算法不能持续稳定的跟踪画面中的目标。
4.但是在枪机画面中，由于枪机静止，上述因素的变化程度相对较低，因此对于场景中的目标，枪机画面中的目标跟踪成功率较ptz设备画面中的目标跟踪成功率高，如果利用枪机画面中的目标跟踪数据修正ptz设备的画面跟踪数据产生的ptz设备运动控制参数，则可提高ptz设备跟踪监视场景中目标的成功率。


技术实现要素：

5.针对上述技术问题，本发明采用的技术方案为：
6.本发明实施例提供一种基于枪机和ptz设备的目标跟踪方法，包括以下步骤：
7.s10，获取监视场景中的同一感兴趣目标在ptz设备画面中的第一初始位置信息和
在枪机画面中的第二初始位置信息，并根据获取的第一初始位置信息启动第一目标跟踪算法以及根据获取的第二初始位置信息启动第二目标跟踪算法；
8.s20，分别利用第一目标跟踪算法和第二目标跟踪算法获取感兴趣目标在ptz设备画面中的位置以及在枪机画面中的位置，得到第一跟踪位置和第二跟踪位置；
9.s30，基于第一目标跟踪算法获取的当前帧对应的第一当前跟踪位置，确定当前帧和下一帧之间的时间间隔内ptz设备的运动控制参数值，包括在水平、垂直、景深方向上的运动控制参数值；
10.s40，基于第二目标跟踪算法获取的当前帧对应的第二当前跟踪位置以及枪机画面和ptz设备的空间对应映射关系，确定枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置；
11.s50，基于ptz设备当前的空间位置、运动控制参数值、枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置，对所述运动控制参数值进行修正；
12.s60，根据修正后的运动控制参数值对ptz设备的运动进行控制。
13.本发明实施例还提供一种基于枪机和ptz设备的目标跟踪系统，包括：通信连接的前端监视设备、后台数据处理设备和客户交互终端；
14.所述前端监视设备包括设置在监视场景中的枪机和ptz设备；
15.所述客户交互终端用于确定监视场景需要跟踪的感兴趣目标，并将确定的感兴趣目标在ptz设备画面中的第一初始位置信息或在枪机画面中的第二初始位置信息发送给所述后台数据处理设备；
16.所述后台数据处理设备用于执行计算机程序，以实现如下步骤：
17.s1，根据获取的第一初始位置信息启动第一目标跟踪算法以及根据获取的第二初始位置信息启动第二目标跟踪算法；
18.s2，分别利用第一目标跟踪算法和第二目标跟踪算法获取感兴趣目标在ptz设备画面中的位置以及在枪机画面中的位置，得到第一跟踪位置和第二跟踪位置；
19.s3，基于第一目标跟踪算法获取的当前帧对应的第一当前跟踪位置，确定当前帧和下一帧之间的时间间隔内ptz设备的运动控制参数值，包括在水平、垂直、景深方向上的运动控制参数值；
20.s4，基于第二目标跟踪算法获取的当前帧对应的第二当前跟踪位置以及枪机画面和ptz设备的空间对应映射关系，确定枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置；
21.s5，基于ptz设备当前的空间位置、运动控制参数值、枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置，对所述运动控制参数值进行修正；
22.s6，根据修正后的运动控制参数值对ptz设备的运动进行控制。
23.本发明实施例提供的基于枪机和ptz设备的目标跟踪方法和系统，利用枪机画面中的目标跟踪数据修正ptz设备的画面跟踪数据产生的ptz设备运动控制参数，能够提高ptz设备跟踪监视场景中目标的成功率。
附图说明
24.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1为本发明实施例提供的基于枪机和ptz设备的目标跟踪方法的流程示意图；
26.图2为本发明实施例提供的基于枪机和ptz设备的目标跟踪系统的结构框图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.图1为本发明实施例提供的基于枪机和ptz设备的目标跟踪方法的流程示意图。如图1所示，本发明实施例提供一种基于枪机和ptz设备的目标跟踪方法，可包括以下步骤：
29.s10，获取监视场景中的同一感兴趣目标在ptz设备画面中的第一初始位置信息和在枪机画面中的第二初始位置信息，并根据获取的第一初始位置信息启动第一目标跟踪算法以及根据获取的第二初始位置信息启动第二目标跟踪算法。
30.在本发明实施例中，监视场景和感兴趣目标可基于实际需要进行确定。
31.在本发明实施例中，第一目标跟踪算法和第二目标跟踪算法可为现有的目标跟踪算法，例如基于连续自适应均值漂移(continuously adaptive mean-shift，camshift)、核相关滤波(kernel correlation filter，kcf)等经典的目标跟踪算法，只要能够实现目标跟踪即可，本发明不做特别的限定。第一目标跟踪算法和第二目标跟踪算法可为相同的算法，也可为不同的算法。第一目标跟踪算法和第二目标跟踪算法分别用于在后续跟踪过程中实时获取感兴趣目标在ptz设备画面和在枪机画面中的位置。
32.在本发明实施例中，所述第一初始位置信息和所述第二初始位置信息可基于点击的ptz设备画面或者枪机画面确定。
33.进一步地，在一个示意性实施例中，所述第一初始位置信息和所述第二初始位置信息基于点击的ptz设备画面或者枪机画面确定，可包括：
34.s101，如果当前点击的是ptz设备画面，获取第一初始位置信息。
35.在本发明实施例中，第一初始位置信息包括目标在ptz设备画面中的坐标和尺寸，可通过包含目标的最小矩形框进行标识。
36.s102，根据ptz设备当前所处的空间位置、ptz设备当前参数和感兴趣目标在ptz设备画面中的第一初始位置信息，确定感兴趣目标相对于ptz设备的坐标空间位置。
37.在本发明实施例中，可以ptz设备当前所处的空间位置为基准，根据ptz设备当前参数和感兴趣目标在ptz设备画面中的第一初始位置信息计算目标相对于基准的偏移量。感兴趣目标相对于ptz设备的坐标空间位置可通过基准和感兴趣目标相对于基准的偏移量确定。
38.s103，根据感兴趣目标相对于ptz设备的坐标空间位置以及枪机画面和ptz设备的空间对应映射关系，确定感兴趣目标在枪机画面中的第二初始位置信息。
39.在本发明实施例中，枪机画面和ptz设备的空间对应映射关系为设定的空间对应
映射关系，可通过实际标定确定。在实际标定时，将枪机画面划分成m行n列的网格，调节ptz设备转到每个网格中心，得到以网格中心的坐标和ptz设备对应的空间坐标作为映射关系的元素单元，所有元素单元组成m行n列的空间对应映射关系的映射矩阵。
40.进一步地，在s103中，第二初始位置信息可通过如下方式确定：
41.s1031，以感兴趣目标相对于ptz设备的坐标空间位置作为参考位置，在表征枪机画面和ptz设备的空间对应映射关系的映射矩阵中获取距离参考位置最近的l个近邻元素单元；优选，l＝4。
42.s1032，对l个近邻元素单元中表示图像像素坐标的数据进行双线性插值，得到感兴趣目标在枪机画面中的第二初始位置信息。
43.进一步地，在另一个示意性实施例中，所述第一初始位置信息和所述第二初始位置信息基于点击的ptz设备画面或者枪机画面确定，可包括：
44.s104，如果当前点击的是枪机画面，获取第二初始位置信息。
45.在本发明实施例中，第二初始位置信息包括目标在枪机画面中的坐标和尺寸，可通过包含目标的最小矩形框进行标识。
46.s105，根据第二初始位置信息，枪机画面和ptz设备的空间对应映射关系，确定感兴趣目标相对于ptz设备的空间位置。
47.进一步地，在s105中，感兴趣目标相对于ptz设备的空间位置可通过如下方式确定：
48.s1051，以第二初始位置信息作为参考位置，在表征枪机画面和ptz设备的空间对应映射关系的映射矩阵中获取距离参考位置最近的l个近邻元素单元；优选，l＝4。
49.s1052，对l个近邻元素单元中表示ptz设备位置的数据进行双线性插值，得到感兴趣目标相对于ptz设备的空间位置。
50.s106，根据感兴趣目标相对于ptz设备的空间位置控制ptz设备转动到感兴趣目标相对于ptz设备的空间位置，以在ptz设备画面中捕获该感兴趣目标，得到第一初始位置信息。
51.在本发明实施例中，可根据感兴趣目标相对于ptz设备的空间位置控制ptz设备转动到感兴趣目标相对于ptz设备的空间位置处，然后在ptz设备画面中将第二初始位置信息中的标识框偏移到以ptz设备画面中心为参考的位置处，将偏移后的标识框作为ptz设备画面中感兴趣目标的第一初始位置信息。
52.s20，分别利用第一目标跟踪算法和第二目标跟踪算法获取感兴趣目标在ptz设备画面中的位置以及在枪机画面中的位置，得到第一跟踪位置和第二跟踪位置。
53.s30，基于第一目标跟踪算法获取的当前帧对应的第一当前跟踪位置，确定当前帧和下一帧之间的时间间隔内ptz设备的运动控制参数值，包括在水平、垂直、景深方向上的运动控制参数值。
54.s30进一步包括：
55.s301，根据第一当前跟踪位置和感兴趣目标在前n帧中的位置变化，估计感兴趣目标的移动速度。
56.在本发明实施例中，估计感兴趣目标的移动速度的估计方法可采用现有估计方法，例如，公告号为cn105744234b、发明名称为一种基于像素差分比的运动目标联动方法及
其装置的文献公开的估计方法。
57.s302，向ptz设备发送运动状态查询命令，获取ptz设备当前的运动状态。
58.s303，根据估计的感兴趣目标的移动速度和ptz设备当前的运动状态，确定当前帧和下一帧之间的时间间隔内ptz设备在水平、垂直、景深方向上的运动控制参数值。
59.在本发明实施例中，根据估计的感兴趣目标的移动速度和ptz设备当前的运动状态，确定当前帧和下一帧之间的时间间隔内ptz设备在水平、垂直、景深方向上的运动控制参数值可采用现有方法，例如，公告号为cn105744234b、发明名称为一种基于像素差分比的运动目标联动方法及其装置的文献公开的方法。
60.s40，基于第二目标跟踪算法获取的当前帧对应的第二当前跟踪位置以及枪机画面和ptz设备的空间对应映射关系，确定枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置。
61.具体地，在s40中，感兴趣目标相对于ptz设备的空间位置可通过如下方式确定：
62.s401，以第二目标跟踪算法获取的当前帧对应的第二当前跟踪位置作为参考位置，在表征枪机画面和ptz设备的空间对应映射关系的映射矩阵中获取距离参考位置最近的l个近邻元素单元；优选，l＝4。
63.s402，对l个近邻元素单元中表示ptz设备位置的数据进行双线性插值，得到枪机画面中的感兴趣目标相对于ptz设备的坐标空间中的位置。
64.s50，基于ptz设备当前的空间位置和枪机画面中的感兴趣目标相对于ptz设备的坐标空间中的位置，对所述运动控制参数值进行修正。
65.在本发明实施例中，对所述运动控制参数值进行修正可包括：
66.(1)向ptz设备发送位置状态查询命令，获取ptz设备当前的空间位置；
67.(2)根据查询的ptz设备空间位置和枪机画面中的感兴趣目标相对于ptz设备空间中的位置，确定ptz设备在水平、垂直、景深方向上的运动控制参数修正系数；
68.(3)根据计算的当前帧运动控制参数和修正系数，修正步骤s30中得到的运动控制参数值。
69.在一个具体示例中，s50可进一步包括以下步骤：
70.s501，获取δvi＝v
ic-v
iptz
；其中，v
ic
∈(v
1c
，v
2c
，v
3c
)，v
iptz
∈(v
1ptz
，v
2ptz
，
71.v
3ptz
)，δvi∈(δv1，δv2，δv3),i的取值为1到3；v
1c
，v
2c
，v
3c
分别表示枪机画面中的感兴趣目标在ptz设备的坐标空间中的水平方向上的坐标、垂直方向上的坐标和景深方向上的坐标；v
1ptz
，v
2ptz
，v
3ptz
分别表示ptz设备当前在水平方向上的坐标、垂直方向上的坐标和景深方向上的坐标；δv1，δv2，δv3分别表示上述对应坐标的差分。
72.s502，获取v
iptz-r
＝v
iptz-c
+(δvi/δt)*k；v
iptz-c
∈(v
1ptz-c
，v
2ptz-c
，v
3ptz-c
)，
73.v
1ptz-c
，v
2ptz-c
，v
3ptz-c
分别为通过估计ptz设备画面中目标运动确定的当前帧和下一帧之间的时间间隔内ptz设备在水平、垂直、景深方向上的运动控制参数值；δt为当前帧和下一帧之间的时间间隔；v
iptz-r
∈(v
1ptz-r
，v
2ptz-r
，v
3ptz-r
)，v
1ptz-r
，v
2ptz-r
，v
3ptz-r
分别为修正后的当前帧和下一帧之间的时间间隔内ptz设备在水平、垂直、景深方向上的运动控制参数值。ki∈(k1，k2，k3)，k1，k2，k3分别为ptz设备在水平、垂直、景深方向上的运动控制参数的权重系数。
74.在一个示意性实施例中，k1，k2，k3为固定值，k1，k2，k3的取值可基于实际应用场景
调试确定。
75.在另一个示意性实施例中，k1，k2，k3为变量，可基于自适应调整得到。在一个示例中，ki＝(1-exp((δvi*δvi)/μi))*α，其中，μi∈(μ1,μ2,μ3)为设定的ptz在水平、垂直、景深方向速度变化方差，优选，可为根据实际应用场景统计的ptz在水平、垂直、景深方向速度变化方差，α为设定的权重系数，优选，可为根据实际应用场景调试确定的权重系数。与k1，k2，k3为固定值相比，基于自适应调整得到的k1，k2，k3能够使得控制更加准确。
76.s60，根据修正后的运动控制参数值对ptz设备的运动进行控制。
77.可根据修正后的运动控制参数值控制ptz设备旋转缩放，以跟踪监视场景中的感兴趣目标。根据修正的ptz设备在水平、垂直、景深方向上的运动控制参数，以及不同生产商的ptz设备的水平、垂直、景深运动控制命令定义，生成在当前帧和下一帧之间的时间间隔内ptz设备的控制命令，控制ptz设备平滑稳定的旋转缩放以跟踪监视场景中的感兴趣目标。
78.进一步地，本发明实施例提供的方法还包括：
79.s70，确定跟踪流程是否结束，如果否，执行s20；否则，执行s80。
80.s80，结束跟踪流程。
81.在s70中，判断当前对监视场景中感兴趣目标的自动跟踪任务是否结束。如果未结束，则返回枪机和ptz设备的目标跟踪过程，继续执行后续目标自动跟踪步骤的状态更迭。如果结束，则退出上述过程，并重置方法状态以为下一次执行目标自动跟踪任务做好准备。在本发明实施例中，有两种情况可判断为结束，其一是手动控制结束ptz设备目标自动跟踪任务，其二是当枪机和ptz设备对感兴趣目标的自动跟踪均失败且在失败后的感兴趣目标运动估计次数超过事先设置的最大估计阈值，感兴趣目标运动估计次数通过跟踪算法的预测模块获取，最大估计阈值可根据实际应用场景设置。
82.在本发明实施例中，所述ptz设备可包括云台和枪机或者为集旋转缩放和摄像一体化的球机。
83.在本发明实施例中，所述枪机包括一个或者多个摄像机。用于配合ptz实现对不同范围的监视场景中目标的跟踪任务，如果是多个摄像机，则可将多个画面拼接成一幅全景画面，以便于计算枪机画面和ptz设备的空间对应关系。
84.图2为本发明实施例提供的基于枪机和ptz设备的目标跟踪系统的结构框图。如图2所示，本发明实施例提供的基于枪机和ptz设备的目标跟踪系统可包括通信连接的前端监视设备、后台数据处理设备、客户交互终端三部分，三部分的交换机之间通过光纤链路连接，设备与对应交换机之间通过千兆网线连接。
85.在本发明实施例中，前端监视设备用于对监视场景中的感兴趣目标的跟踪，以提供目标细节纹理丰富的特写画面，包括设置在监视场景中的枪机、ptz设备和前端交换机，ptz设备和枪机固定在安装支架上。ptz设备可以是云台和枪机的组合或是集旋转缩放和摄像一体化的球机。根据监视场景的视野范围大小，枪机可以是单个或多个摄像机，用于配合ptz设备实现对不同范围的监视场景中目标的跟踪任务，如果是多个摄像机，则可将多个画面拼接成一幅全景画面，以便于计算枪机画面和ptz设备的空间对应关系。前端交换机可以是普通交换机，考虑到前端监视设备长期放置于户外，也可选择性能更好的工业交换机，前端交换机的端口数量根据前端设备需要确定。安装支架用于将前端设备的枪机和ptz设备
固定于安装位置上，同时安装支架还搭配一个小型户外机柜，用于放置交换机、设备供电等相关模块。
86.客户交互终端用于运行系统的客户端程序，通过便捷的交互操作帮助用户控制系统实现对监视场景中重点关注目标的自动跟踪功能，包括用于确定监视场景需要跟踪的感兴趣目标，并将确定的感兴趣目标在ptz设备画面中的第一初始位置信息或在枪机画面中的第二初始位置信息发送给所述后台数据处理设备。客户交互终端主要由客户端电脑、显示器、客户端交换机构成。其中如果显示器是普通显示器，则通过鼠标实现交互操作，如果是触控显示器，则直接在显示器屏幕上通过触控的方式实现交互操作。
87.后台数据处理设备用于执行联合枪机和ptz设备的目标跟踪方法。后台数据处理设备主要由数据处理工作站、后台交换机构成。数据处理工作站用于从前端监视设备抓取视频流、解码视频时，执行联合枪机和ptz设备的目标跟踪方法，对接处理客户交互终端控制命令，实现控制前端监视设备对监视场景中重点关注目标的自动跟踪。后台交换机用于数据处理工作站、前端监视设备和客户交互终端之间的数据交互。具体地，所述后台数据处理设备用于执行计算机程序，以实现如下步骤：
88.s1，根据获取的第一初始位置信息启动第一目标跟踪算法以及根据获取的第二初始位置信息启动第二目标跟踪算法；
89.s2，分别利用第一目标跟踪算法和第二目标跟踪算法获取感兴趣目标在ptz设备画面中的位置以及在枪机画面中的位置，得到第一跟踪位置和第二跟踪位置；
90.s3，基于第一目标跟踪算法获取的当前帧对应的第一当前跟踪位置，确定当前帧和下一帧之间的时间间隔内ptz设备的运动控制参数值，包括在水平、垂直、景深方向上的运动控制参数值；
91.s4，基于第二目标跟踪算法获取的当前帧对应的第二当前跟踪位置以及枪机画面和ptz设备的空间对应映射关系，确定枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置；
92.s5，基于ptz设备当前的空间位置、运动控制参数值、枪机画面中的感兴趣目标相对ptz设备的坐标空间中的位置，对所述运动控制参数值进行修正；
93.s6，根据修正后的运动控制参数值对ptz设备的运动进行控制；
94.s7，确定跟踪流程是否结束，如果否，执行s2；否则，执行s8；
95.s8，结束跟踪流程。
96.上述步骤s1至步骤s8的具体实施可与前述实施例的步骤s10至s80相同，为避免赘述，省略对其的具体描述。
97.此外，对于复杂的监视场景，可通过部署多个前端监视设备以覆盖其监视视野，每个前端监视设备配备后台数据处理单元。根据需要，后台数据处理设备还可配置流媒体服务器，用于储存枪机和ptz设备的历史视频，便于用户事后事件查看。根据用户需要，可配置多个客户交互终端，交互终端通过通道切换可实现对多个前端监视设备的控制，同时为每个交互终端分配不同的角色权限，以确保不同交互终端对同一个前端监视设备的有序控制。
98.虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技
术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。