专利名称：一种全景虚拟警戒目标接力追踪装置的制作方法
技术领域：
本发明属于图像采集及视频智能监控技术领域，特别涉及一种全景虚拟警戒目标 接力追踪装置。
背景技术：
基于视频的目标的检测与跟踪在军事武器、机器人导航、智能监控系统等领域具 有广泛的应用，它是一种融合了图像处理、模式识别、人工智能、自动控制等多领域先进技 术的综合应用技术。而全景视频是对单摄像机视频的扩展，它综合应用图像配准、图像融合 技术，无缝拼接生成的360度视场视频。全景虚拟警戒目标接力追踪则是在360度全景视 频下对虚拟设定的区域内目标的检测与接力追踪。在中国CNKI、万方、维普、中国专利等数据库中查找了目前基于全景视频装置及全 景目标接力跟踪的相关论文及专利。综合分析目前的相关全景虚拟警戒目标接力追踪装 置，大致可归结为以下特征1.全景视频相关拼接算法有一定的研究，但少有相关全景视 频拼接装置的报导；2.没有全景视场下的目标接力追踪；3.虚拟警戒在部分智能监控系统 中有一定的应用。全景视频中由于装置中的摄像机组各摄像机的相对方位不同，在自然场景下，其 照明条件不同，致使进光量不同，造成各摄像机成像视频的亮度、对比度等参数各不相同， 一般的视频拼接算法不能满足无缝拼接成像的要求；在全景视频装置中对虚拟警戒检测到 的目标进行接力追踪过程中，目标在各摄像机中的成像特征不同，接力中目标特征的计算 与匹配是保证高精度稳定追踪的关键，而简单借用单摄像机目标跟踪算法则不能满足稳定 性要求。所以，实现自然场景下全景无缝视频实时的目标检测与稳定跟踪，是对现有目标跟 踪技术与跟踪算法的补充。中国专利文献数据库公开了一种发明名称为《全景联动视频监控装置及其全景图 像的拼接方法》(公开号为CN101312526)的专利技术，该发明属于视频监控领域的一种全 景联动视频监控装置及其全景图像的拼接方法，全景联动视频监控装置由监控装置和运动 摄像机组成，运动摄像机安装在监控装置的内部，其技术特点是在监控装置的外罩上均勻 安装N台静止摄像机，由N个静止摄像机的画面拼接成全景画面，在监控装置内安装有控制 静止摄像机视频图像与运动摄像机视频图像联动的控制电路，以此实现对目标的跟踪与放 大显示。该专利技术的不足之处是静止摄像机和运动摄像机联动方式的采用对整个系统的 目标跟踪稳定性影响较大，导致系统工作不够稳定、运动摄像机的图像模糊不清、分辨率下 降，不利于后端图像的处理及对图像数据的后期分析。
发明内容
本发明要解决的技术问题的是提供一种全景虚拟警戒目标接力追踪装置。本发明的全景虚拟警戒目标接力追踪装置包括摄像机组，三通道视频采集拼接处 理板，三通道视频采集拼接目标跟踪板；摄像机组的摄像机依次与三通道视频采集拼接处理板的视频输入接口连接，在三通道视频采集拼接处理板上设置有执行视频图像处理的 DSP模块；三通道视频采集拼接处理板的视频输出接口依次连接到三通道视频采集拼接目 标跟踪板的三路视频输入接口 ；三通道视频采集拼接目标跟踪板的视频图像处理模块DSP 通过网口接收外部指令，根据接收指令完成对虚拟警戒的设置、威胁目标的检测，威胁目标 的特征、方位计算，通过串口向三通道视频采集拼接处理板发送拼接、单路视频及视频切换 指令，实现对威胁目标的追踪；根据控制指令实现视频拼接及单路视频切换输出。所述的摄像机组中的摄像机数量为314个，三通道视频采集拼接处理板的数量 为1、个。所述的摄像机组中的摄像机数量为9个，三通道视频采集拼接处理板的数量为3 个。所述的三通道视频采集拼接处理板的视频图像处理模块DSP中的嵌入式图像处 理程序包括以下步骤
a)初始化AD转换控制数据，通过AD转换电路将三路模拟视频信号转换成数字信号，并 生成相应的视频格式；
b)判断系统是否处于拼接状态，若处于拼接状态，则转入对原始视频进行滤波运算， 滤除噪声，转入步骤d)；
c)若步骤b)中判断系统处于非拼接状态，则通过接收三通道视频采集目标接力跟踪 处理板的跟踪状态和跟踪参数，判断目标是否处于本采集拼接处理板的三路通道中，若判 断结果为否，转入步骤i)；
d)若步骤c)中判断目标处于本采集拼接处理板的三通道中，则识别出该通道代码，采 集该通道视频数据，转入步骤h)；
e)对三路邻接视频进行相应的压缩，转入步骤f)；
f)对三路邻接压缩视频进行两邻接区域的配准，转入步骤g)；
g)采用线性加权融合算法，对三邻接视频数据配准后的两块重叠区域进行拼接，生成 拼接视频，转入步骤h)；
h)视频数据经DA转换电路，转换成模拟视频信号输出；
i)判断是否接收到结束指令，若接收到结束指令，则程序终止，否则转入步骤b)。所述的三通道视频采集拼接目标跟踪板的视频图像处理嵌入式图像DSP中的处 理程序包括以下步骤
A.初始化系统为视频拼接状态，并通过串口向三个三通道视频采集拼接处理板发送拼 接指令，并接收三个三通道视频采集拼接处理板的输出视频，进行实时的AD转换；
B.通过网口，接收外部操控指令，包括虚拟警戒区域、虚拟警戒线等的参数设置、是否 拼接等指令，当接收到非拼接指令，转入步骤D ；
C.当步骤B中，接收到的指令为拼接指令，转入步骤E；
D.接收外部所需显示的场景的摄像机编号，判断该编号摄像机的视频输出接入的对应 的三通道视频采集拼接处理板，向该处理板发送单场景采集指令，并只接收该视频采集拼 接处理板的输出视频，转入步骤F ；
E.向三块三通道视频采集拼接处理板发送拼接指令，并接收三块处理板拼接处理后的 模拟视频，将三路拼接后的视频拼接融合成一幅图像，转入步骤F ；F.通过网口，接收虚拟设置的操控指令，判断是否有虚拟警戒区或虚拟警戒线设置，当 接收到设置参数，转入步骤H;
G.当步骤F中没有接收到设置，转入步骤K;
H.按照设置参数进行相应的警戒区域或线的划分，进行局部场景的动目标检测与跟 踪，当检测到动目标并触线需跟踪时，转入步骤J ；
I.当步骤H中没有检测到动目标或没有目标触线时，转入步骤K；
J.判定当前的拼接状态和被跟踪目标在整个视场中的位置，计算目标所在的摄像机编 号，发送非拼接指令及该编号摄像机视频采集指令或视频切换指令，转入步骤K ； K.视频数据经DA转换电路，转换成模拟视频信号输出； L.判断是否接收到结束指令，当接收到结束指令后，程序终止，否则转入步骤B。本发明的全景虚拟警戒目标追踪装置采用单一的摄像机组和视频图像处理板组 合的方式，既保证了拼接功能的实现，也克服了系统间联动带来的稳定性不高的问题，能够 解决实际应用中大视场监测却不能精确稳定跟踪较远距离目标，以及能精确稳定跟踪较远 距离目标却不能实现全景视场监控的问题。全景视频拼接能够保证对360度视场范围内场 景的实时监控，通过外部终端发送不同的虚拟警戒命令的实现对特定监控区域的设置，保 证在人工全局监控与智能局部精确监控的并行处理，以及在检测到威胁目标的情况下，能 保证实现对目标的精确稳定跟踪及运动趋势的预测，以及纵横向大范围的目标跟踪，从而 使系统的稳定性与可靠性得到极大改善。本发明的全景虚拟警戒目标追踪装置所使用的嵌 入式图像处理程序的图像处理能力可以稳定地保持在25帧/秒以上。本发明的全景虚拟 警戒目标接力追踪装置能够实现在自然场景中对360度场景的无缝拼接全景显示，并且在 全景视频中实现对虚拟警戒区的目标检测，完成对目标的稳定实时的追踪。
图1为本发明的全景虚拟警戒目标追踪装置的总体结构示意图。图2为本发明中的三通道视频采集拼接处理板与三通道视频采集拼接目标跟踪 板结构图。图3为本发明中的三通道视频采集拼接处理板中的嵌入式图像处理程序流程图。图4为本发明中的三通道视频采集拼接目标跟踪板中的嵌入式图像处理程序流 程图。
具体实施例方式下面将结合附图和实施例对本发明进行详细说明。如图1所示，本发明的全景虚拟警戒目标追踪装置16包括摄像机组10，三通道视 频采集拼接处理板11，三通道视频采集拼接处理板12，三通道视频采集拼接处理板13，三 通道视频采集拼接目标跟踪板14。摄像机组10包括九路光轴同心等距均勻分布的摄像机。 其中，摄像机1011、摄像机1012、摄像机1013通过同轴电缆101连接到三通道视频采集拼 接处理板11的三路视频输入接口，摄像机1021、摄像机1022、摄像机1023通过同轴电缆 102连接到三通道视频采集拼接处理板12的三路视频输入接口，摄像机1031、摄像机1032、 摄像机1033通过同轴电缆103连接到三通道视频采集拼接处理板13的三路视频输入接口，三块三通道视频采集拼接处理板视频输出接口分别通过同轴电缆104、同轴电缆105、 同轴电缆106连接到三通道视频采集拼接目标跟踪板14的三路视频输入接口。三通道视 频采集拼接目标跟踪板14通过网口 111接收外部指令，通过串口 112、串口 113、串口 114 发送拼接指令、单路视频指令及视频切换指令；根据接收指令完成对虚拟警戒的设置、威胁 目标的检测，当检测到威胁目标，计算目标的方位，匹配目标所在摄像机视场的编号，通过 串口向该摄像机连接的三通道视频采集拼接处理板发送单路视频采集指令，将该路视频传 送到三通道视频采集拼接目标跟踪板14实现对威胁目标的跟踪。本发明的全景虚拟警戒目标接力追踪装置包括摄像机组，三块三通道视频采集拼 接处理板，一块三通道视频采集拼接目标跟踪板；摄像机组由九个光轴相交于一点、环形均 布的高清晰低照度摄像机组成；九路摄像机的模拟视频接口依次连接到三块三通道视频采 集拼接处理板的视频输入接口，三块三通道视频采集拼接处理板的视频输出接口连接到三 通道视频采集拼接目标跟踪板的三通道视频输入接口 ；三通道视频采集拼接处理板上程序 实现三路视频的拼接视频、单路原始视频的切换输出，三通道视频采集拼接目标跟踪板上 程序实现外部虚拟警戒终端控制信息的接收、三块三通道视频采集拼接处理板的控制信息 指令发送，完成无缝360度全景视频拼接、虚拟警戒目标检测、威胁目标跟踪与接力跟踪， 并将信息迭加后的视频信息传输到虚拟警戒终端显示等功能。如图2所示，本发明的三通道视频采集拼接处理板与三通道视频采集拼接目标跟 踪板硬件架构相同，采用以720Mhz主频的TI公司DM642为核心的DSP处理器21，三路模 拟视频经以TVP5150为核心的AD转换电路22、转换电路23、转换电路M转换成数字视 频传送到DSP处理器，处理后视频经DA转换电路沈转换成模拟视频输出，DA转换器采用 SAA7121H，通过10M/100M以太网接口 25接收外部指令，DSP处理器EMIF总线与内存四、闪 存观、串口控制器22连接，串口控制器采用TL16C752B实现对两路串口的控制与数据传输， 闪存电路采用AIC9LV033C实现对程序的存储。如图3所示，三通道视频采集拼接处理板中的嵌入式图像处理程序流程图中步骤 30为初始动作，实现对系统参数与接口参数的初始化，在步骤31首先判断系统是否处于拼 接状态，若为拼接状态，则转入步骤321，进行三通道视频的同时采集，若为非拼接状态，则 在步骤311中判断是否是第一路视频处于追踪状态，若为是，则在步骤32将第一路视频信 息采集后经步骤35的DA转换输出，否则在步骤312中判断是否是第二路视频处于追踪状 态，若为是，则在步骤33将第二路视频信息采集后经步骤35的DA转换输出，否则在步骤 313中判断是否是第三路视频处于追踪状态，若为是，则在步骤34将第三路视频信息采集 后经步骤35的DA转换输出，否则转入步骤37。在步骤321中，对三通道视频进行同时采集、AD转换，在步骤322中将各路视频进 行相应的压缩，在步骤323实现对各路视频的预处理，完成图像亮度、对比度的调整；在步 骤3M实现对第一、第二路邻接视频的重迭区域的配准，在步骤325实现该两路视频重迭区 域的融合；将融合后的视频在步骤3 实现与第三路视频重迭区域的配准，在步骤327实现 视频图像的融合，融合后的视频图像在步骤35经DA转换输出。在步骤37判断是否接收到程序退出指令，若为是，则程序结束，否则转入步骤31。如图4所示，三通道视频采集拼接目标跟踪板中的嵌入式图像处理程序流程图中 步骤40为初始步骤，完成对三通道视频AD转换电路参数、系统接口数据参数的初始化，在步骤41判断系统是否为拼接状态，若为拼接状态转到步骤45，实现三通道视频的同时采集 获取，若为非拼接状态，则在步骤410判断系统是否是在第一路视频视场中进行目标追踪， 若判断结果为是，则在步骤42，只采集第一路视频数据，将视频数据传输到步骤412进行目 标的搜索，若步骤410的判断结果为否，则在步骤411进一步判断是否是在第二路视频视场 中进行目标追踪，若判断结果为是，则在步骤42，只采集第二路视频数据，并将其传送到步 骤412进行目标搜索，否则，在步骤44，只采集第三路视频数据，并将其传送到步骤412进行 目标搜索。在步骤412中，根据目标的检测信息或上一帧图像目标跟踪中计算的目标特征数 据进行特征匹配和目标搜索，在步骤413中实现对目标特征的提取与更新，在步骤414中， 计算目标的位置信息，根据目标的位置信息，在步骤415中，判断目标是否处于该路摄像机 与其邻接摄像机的重迭区域，若处于该邻接区域，则判定接力状态为是，则在步骤416中， 发送视频切换指令，将其邻接摄像机的编号发送给系统，若接力状态为否，则保存目标的特 征及位置信息，将视频DA转换输出。在步骤45，对三通道视频数据同时进行采集和AD转换，在步骤422，实现三通道视 频的拼接，在步骤423通过接收外部指令信息判断是否接收到虚拟警戒指令，若判断结果 为否，则在步骤47，将拼接后视频DA转换输出。在步骤423中，若判断结果为是，则在步骤424中，获取虚拟警戒的类型和监控区 域，针对监控区域视频数据，在步骤425进行背景建模，在步骤似6进行运动目标的检测，在 步骤427中，判断运动目标是否出现，若没有出现，则在步骤417，在视频中迭加相关虚拟警 戒设置信息，将视频数据发送到步骤47进行DA转换输出。在步骤427中，判断结果为运动目标出现，则在步骤428中进行目标的特征提取， 并进行目标的标识，在步骤429中判断运动目标是否触及虚拟警戒线或进入虚拟警戒区， 若判断结果为否，则在步骤418中，叠加虚拟警戒及目标标识信息，将叠加信息的视频数据 发送到步骤47DA转换输出，若判断结果为是，则发送视频的切换信息，并迭加目标及虚拟 警戒信息，将视频发送到步骤47进行DA转换输出，在步骤49判断是否接收到程序退出指 令，若为是，则程序结束，否则转入步骤41。
权利要求
1.一种全景虚拟警戒目标接力追踪装置，其特征在于所述的追踪装置包括摄像机组 (10)，三通道视频采集拼接处理板(11、12、13)，三通道视频采集拼接目标跟踪板(14)；摄 像机组(10)的摄像机依次与三通道视频采集拼接处理板(11、12、13)的视频输入接口连 接，在三通道视频采集拼接处理板(11、12、13)上分别设置有执行视频图像处理的DSP模 块；三通道视频采集拼接处理板(11、12、13)的视频输出接口依次连接到三通道视频采集 拼接目标跟踪板(14)的三路视频输入接口 ；三通道视频采集拼接目标跟踪板(14)的视频 图像处理模块DSP通过网口(111)接收外部指令，根据接收指令完成对虚拟警戒的设置、 威胁目标的检测，威胁目标的特征、方位计算，通过串口(112、113、114)分别向三通道视频 采集拼接处理板(11、12、13)发送拼接、单路视频及视频切换指令，实现对威胁目标的追踪； 根据控制指令实现视频拼接及单路视频切换输出。
2.根据权利要求1所述的追踪装置，其特征在于所述的摄像机组(10)中的摄像机数 量为314个，三通道视频采集拼接处理板的数量为广8个。
3.根据权利要求1所述的追踪装置，其特征在于所述的摄像机组中的摄像机数量为9 个，三通道视频采集拼接处理板的数量为3个。
4.根据权利要求1所述的追踪装置，其特征在于所述的三通道视频采集拼接处理板 的视频图像处理模块DSP中的嵌入式图像处理程序包括以下步骤初始化AD转换控制数据，通过AD转换电路将三路模拟视频信号转换成数字信号，并生 成相应的视频格式；判断系统是否处于拼接状态，若处于拼接状态，则转入对原始视频进行滤波运算，滤除 噪声，转入步骤d)；若步骤b)中判断系统处于非拼接状态，则通过接收三通道视频采集目标接力跟踪处 理板的跟踪状态和跟踪参数，判断目标是否处于本采集拼接处理板的三路通道中，若判断 结果为否，转入步骤i)；若步骤c)中判断目标处于本采集拼接处理板的三通道中，则识别出该通道代码，采集 该通道视频数据，转入步骤h)；对三路邻接视频进行相应的压缩，转入步骤f)；对三路邻接压缩视频进行两邻接区域的配准，转入步骤g)；采用线性加权融合算法，对三邻接视频数据配准后的两块重叠区域进行拼接，生成拼 接视频，转入步骤h)；视频数据经DA转换电路，转换成模拟视频信号输出；判断是否接收到结束指令，若接收到结束指令，则程序终止，否则转入步骤b)。
5.根据权利要求1所述的追踪装置，其特征在于所述的三通道视频采集拼接目标跟 踪板(14)的视频图像处理模块DSP中的嵌入式处理程序包括以下步骤A.初始化系统为视频拼接状态，并通过串口向三个三通道视频采集拼接处理板发送 拼接指令，并接收三个三通道视频采集拼接处理板的输出视频，进行实时的AD转换；B.通过网口，接收外部操控指令，包括虚拟警戒区域、虚拟警戒线等的参数设置、是否 拼接等指令，当接收到非拼接指令，转入步骤D ；C.当步骤B中，接收到的指令为拼接指令，转入步骤E；D.接收外部所需显示的场景的摄像机编号，判断该编号摄像机的视频输出接入的对应的三通道视频采集拼接处理板，向该处理板发送单场景采集指令，并只接收该视频采集 拼接处理板的输出视频信号，转入步骤F ；E.向三块三通道视频采集拼接处理板发送拼接指令，并接收三块处理板拼接处理后 的模拟视频，将三路拼接后的视频拼接融合成一幅图像，转入步骤F ；F.通过网口，接收虚拟设置的操控指令，判断是否有虚拟警戒区或虚拟警戒线设置， 当接收到设置参数，转入步骤H ；G.当步骤F中没有接收到设置，转入步骤K;H.按照设置参数进行相应的警戒区域或线的划分，进行局部场景的动目标检测与跟 踪，当检测到动目标并触线需跟踪时，转入步骤J ；I.当步骤H中没有检测到动目标或没有目标触线时，转入步骤K；J.判定当前的拼接状态和被跟踪目标在整个视场中的位置，计算目标所在的摄像机 编号，发送非拼接指令及该编号摄像机视频采集指令或视频切换指令，转入步骤K; K.视频数据经DA转换电路，转换成模拟视频信号输出； L.判断是否接收到结束指令，当接收到结束指令后，程序终止，否则转入步骤B。
全文摘要
本发明提供了一种全景虚拟警戒目标接力追踪装置，所述的追踪装置的摄像机组的九路视频依次输入到三块三通道视频采集拼接处理板进行视频拼接或单路视频提取输出，三块三通道视频采集拼接处理板的输出视频输入到三通道视频采集拼接目标跟踪板的视频输入接口，实现在自然场景下的全景无缝拼接显示，并且根据外部指令实现对虚拟警戒区域的运动目标检测，完成对威胁目标的稳定实时的追踪。本发明的全景虚拟警戒目标追踪装置解决了实际应用中实现大视场监控却不能精确稳定跟踪较远距离目标，以及能精确稳定跟踪较远距离目标却不能实现全景监控的问题，实现在监测到威胁目标的情况下，能保证实现对目标的精确稳定跟踪。
文档编号H04N7/18GK102063724SQ20101055850
公开日2011年5月18日 申请日期2010年11月25日 优先权日2010年11月25日
发明者刘启辉, 刘歆浏, 刘治红, 向学辅, 张云龙, 张钊, 彭福红, 李健, 王钤, 田瑞娟, 陈阳 申请人:四川省绵阳西南自动化研究所