基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统的制作方法

文档序号:14684799发布日期:2018-06-12 23:12阅读:160来源:国知局
基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统的制作方法

本发明属于电子信息学科领域,涉及图像信息处理技术,特别涉及一种基于多特征联合与Camshift算法结合的多目标跟踪的多焦距镜头超高分辨率联动成像摄像机系统。



背景技术:

目前,在政府广场、大型停车场、机场候车厅、车站候车厅等大范围区域的视频监控方案中,传统方案主要采用多台枪机和高速球配合。但安装长焦镜头的枪机,视野范围有限,安装短焦镜头的枪机,采集到的远处目标的分辨率不足,高速球观察范围有限,不能同时兼顾多个场景,使用时会存在盲区;而且对于用户来说,对多台摄像机的画面进行监控和回放,非常不方便,降低了监控效率,增加了监控难度。

随着视频监控技术的发展,高分辨率感光芯片技术越来越成熟,市场已有1200万像素的CMOS,但单台摄像机仍然很难满足大范围区域的应用需求。



技术实现要素:

本发明要解决的技术问题是:为了克服上述传统大范围区域视频监控方案存在的不足,提出一种基于多特征联合与Camshift算法结合的多目标跟踪的多焦距镜头超高分辨率联动成像摄像机系统,通过使用单镜头单元采集的场景概貌与多个不同焦距的镜头单元获取的超高分辨率拼接画面联动,实现对场景的无死角全覆盖监控。

本发明的技术方案是:提供一种多焦距镜头超高分辨率联动成像摄像机系统,该多焦距镜头超高分辨率联动成像摄像机系统主要包括一个基于多目标智能跟踪的视频采集装置、视频合成处理输出系统、视频管理软件以及两路视频输出接口;

所述的视频采集装置包括一个概貌采集单元,用于采集低分辨率的场景概貌;十个细节采集单元,用于共同采集细节部分超高分辨率画面;以及两块辅助功能电路板,一块用于提供供电电压转换并为前端摄像机和交换机提供电源,同时提供千兆网络交换机功能并连接前端摄像机,另一块则进行基于多特征联合与Camshift算法结合的多目标智能跟踪系统的编写与输入,控制前端摄像机的多目标智能跟踪;

所述的视频合成处理输出系统,包括一个基于FPGA的多路视频合成系统,用于接入、转发前端视频采集装置获取的视频流,同时将多路视频流转换为一路高清视频存储并输出;

所述的视频管理软件,用于实现场景概貌画面和超高分辨率画面协同联动预览,回放以及缩放;

所述的两路视频输出接口,一路视频为概貌视频,一路为4K高清细节视频。

所述的概貌采集单元采用1080P网络摄像机,编码方式使用h264标准;摄像机前端连接短焦距镜头,横向视场角大于90度;所述的十个细节采集单元均为网络摄像机,采用1200万像素CMOS感光器件,视频采集分辨率为4000×3000,编码方式使用h264标准。

所述的十个细节采集单元均为网络摄像机,其中3台摄像机前端连接中焦距镜头,单台摄像机横向视场角大于30度,3台摄像机按照左中右摆放在同一个平面,共同构成横向90度的视场角,每两个摄像机的视场范围有一定重叠,摆放在中间的摄像机,视场方向与概貌采集单元一致;另外7台摄像机前端连接长焦距镜头,单台摄像机横向视场角大于13度,7台摄像机分两排放置在两个平行平面上,摄像机的视场方向在同一个平面,按照不同角度摆放,共同构成横向90度的视场角,每两个摄像机的视场范围有一定重叠;放置中焦距摄像机的平面和放置长焦距摄像机的平面,在纵向上形成一定的夹角,使中焦摄像机和长焦距摄像机在纵向视场范围上有一定重叠区域。

所述的视频采集装置还包括壳体与支架,所述壳体用于保护整个装置,所有摄像机和辅助功能电路板都安装在壳体内部;所述支架安装在壳体底部,通过固定螺丝,可以进行纵向角度调节。

所述的视频合成处理输出系统包含两个独立的千兆网口,一个基于FPGA的多路视频采集显示系统,用于接入、转发前端视频采集装置获取的视频流,将多路视频流转换为一路高清视频存储并输出;通过前端网口接入前端视频采集装置,获取多路视频流接入基于FPGA的多路视频合成系统,将多路视频流合并处理后转换为一路高清视频进行存储,同时将概貌采集单元的一路概貌视频进行存储,最后根据后端视频管理软件需求对两路视频进行输出。

所述的视频管理软件,用于实现场景概貌画面和超高分辨率画面协同联动预览和回放以及对视频进行缩放、调用;所述的视频管理软件主要功能包含网络视频存储设备管理功能,概貌采集单元和细节采集单元的空间配准功能,设备协同联动预览功能,设备协同联动回放功能以及日志管理功能,用户管理功能和系统配置功能。

所述的网络视频存储设备管理功能,用户可通过onvif协议搜索和接入网络视频存储设备;也可以配置网络视频存储设备的网络地址、存储参数、系统配置;

所述的概貌采集单元和细节采集单元的空间配准功能,通过对场景概貌画面和细节显示画面分别采样,计算得到空间配准信息;空间配准信息用于场景概貌单元和细节单元的匹配联动;

所述的设备协同联动预览功能,使用者在场景概貌画面选择需要预览的细节,通过空间配准信息计算后,在超高分辨率画面显示窗口中,对使用者选择的细节进行联动匹配放大预览;

所述的设备协同联动回放功能,用户可通过onvif协议搜索和查询录像文件,并对查询到的录像文件进行回放;在回放过程中,使用者在场景概貌画面选择需要查看的场景细节,通过空间配准信息计算后,在超高分辨率画面显示窗口中,对使用者选择的细节进行联动匹配放大回放。

所述的日志管理功能,可检索视频管理软件本地操作和告警日志;

所述的用户管理功能,可添加和删除用户账户,并配置用户权限;

所述的系统配置功能,可进行语言、NTP服务功能、CPU性能配置。

所述的概貌采集单元和所述的细节采集单元通过以下步骤实现空间配准:

(1)建立单镜头单元采集画面坐标系,采用球型模型,用于映射实际空间坐标到感光器件的平面坐标的对应关系;

(2)分别对场景概貌画面和细节采集单元的视频画面采样,计算采样点的映射关系;计算方法是,在场景概貌画面上采样6个点的像素坐标,并转换为空间坐标,得到6个向量v1,v2…v6;在细节采集单元的视频画面上采样6个点的像素坐标,并转换为空间坐标,得到v1’,v2’…v6’,应用下面计算方法,由这6组空间坐标计算得到旋转矩阵MatH2D:

MatD=[v1,v2,v3,v4,v5,v6],

MatH=[v1',v2',v3',v4',v5',v6'],

MatH2D=MatD×PINV(MatH),其中PINV(Matrix)为矩阵Matrix的广义逆;

(3)匹配联动预览或回放时,首先通过场景概貌画面上的坐标(x,y)计算其空间坐标v,并由v×MatH2D=v’得到该点在超高分辨率画面坐标系下的空间坐标v’,最后由v’计算单个U10X的像素坐标(x’,y’)。

所述的多目标智能跟踪系统中的多目标跟踪算法实现主要包括以下步骤:

(1)基于背景差法和帧差法融合检测出多运动目标;多运动目标检测主要

分为三步:第一步初始化背景模型;第二步利用帧差法背景更新,然后进行

二值化;第三步利用背景差法背景差分,然后将图像进行二值化;

(2)将二值化的图像进行进一步的去噪,以及多目标分割;

(3)利用改进的Camshift算法进行运动前景目标跟踪;

其中,步骤(1),步骤(2)是基于所有待处理视频图像所必须的,是进行多目标跟踪前的预处理。

本发明采用上述技术方案,具有以下有益效果:该系统创新性地使用单镜头单元采集的场景概貌与多个不同焦距的镜头单元获取的超高分辨率拼接画面联动,不仅同时实现对多台摄像机的画面进行监控和回放,还实现对场景的无死角全覆盖监控,并在距装置130m范围内,采集影像的像素密度大于125像素/米,提高监控的效率和精度。

附图说明

图1是多焦距镜头超高分辨率联动成像系统连接示意图;

图2是视频采集单元壳体内固定位置示意图;

图3是实施例所述多目标智能跟踪算法整体流程图;

图4是视频合成处理系统的整体硬件图;

图5是后端视频管理软件界面;

图6是单镜头单元采集的画面坐标系模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面结合图示对本发明实施方式作进一步地详细描述。

图1所示为一种基于多特征联合与Camshift算法结合的多目标跟踪的多焦距镜头超高分辨率联动成像摄像机系统,包括一套前端视频采集装置,一套后端网络视频存储装置,一套网络视频视频合成处理输出系统和一套后端视频管理软件,具体实施方式如下:

1、前端视频采集装置,包括一个概貌采集单元,用于采集低分辨率的场景概貌;十个细节采集单元,用于共同采集超高分辨率画面;两块辅助功能电路板,一块用于提供供电电压转换和千兆网络交换机功能;另一块用于输入多目标智能跟踪模块,壳体与支架。

其中壳体由导热金属制成,内部水平放置三块金属平板,用于固定摄像机。其中放置于壳体中间和底部的平板与壳体底板平行,放置于壳体上部的平板与壳体底板纵向上形成一定的夹角,夹角大小由中焦距摄像机和长焦距摄像机的纵向视场范围确定。支架安装在壳体底部,通过固定螺丝,可以进行纵向角度调节。

概貌采集单元采用分辨率为1080P的网络摄像机。摄像机前端连接短焦距镜头,并固定在底座上。底座固定在壳体内中间金属平板的中心位置。

十个细节采集单元均为网络摄像机,采用1200万像素CMOS感光器件,视频采集分辨率为4000×3000。其中3台摄像机前端连接中焦距镜头,按照左中右摆放,固定在壳体内上部的金属平板上,3台摄像机共同构成横向90度的视场角,每两个摄像机的视场范围有一定重叠;另外7台摄像机前端连接长焦距镜头,其中3台按照左中右摆放,固定在壳体内底部的金属平板上,另外4台分布在概貌采集单元两边,固定在壳体内中间的平板上,7台摄像机共同构成横向90度的视场角,每两个摄像机的视场范围有一定重叠。前端视频采集装置包含的所有镜头单元的固定位置如图2所示。

壳体背部固定了两块辅助功能电路板。一块的主要功能包括供电电压转换,将使用24VAC供电电压转换为12VDC,为所有采集单元及交换机供电;同时提供千兆网络交换机功能,用于连接所有采集单元的网口;辅助功能电路板对外提供供电电源接口及千兆网络接口。另一块主要用于进行多目标智能跟踪模块的输入,多目标跟踪模块算法实现主要包括:

(1)基于背景差法和帧差法融合检测出多运动目标;多运动目标检测主要

分为三步:第一步初始化背景模型;第二步利用帧差法背景更新,然后进行

二值化;第三步利用背景差法背景差分,然后将图像进行二值化;

(2)将二值化的图像进行进一步的去噪,以及多目标分割;

(3)利用改进的Camshift算法进行运动前景目标跟踪;

其中,步骤(1),步骤(2)是基于所有待处理视频图像所必须的,是进行多目标跟踪前的预处理。基于以上步骤进行的多目标跟踪算法,计算效率较高,处理效果好。多目标智能跟踪模块算法整体流程图如图3所示。

2、网络视频合成处理输出系统,用于接入、转发前端视频采集装置获取的视频流,将多路细节视频流转换为一路高清视频存储并输出,同时将另一路概貌视频存储并同时通过接口输出。其特征在于包含两个独立的千兆网口,通过前端网口接入前端视频采集装置,获取多路视频流接入基于FPGA的多路视频合成系统,系统将多路视频合并处理后转换为一路高清视频存储并根据后端视频管理软件需求进行输出。通过该系统可以同时实现对多路视频信号的采集和显示,也可以对某一路信号进行全屏放大显示。该系统具体设计包括两个主要部分:硬件平台的的搭建,视频合成后的去噪处理算法。

1)硬件平台的搭建;

以输入多路高清视频为例,系统的硬件结构如图4所示。主要用到视频解码芯片,视频编码芯片,FPGA和DDR2SRAM等器件。视频解码芯片选用SAA7113H作为视频模数转换器件;视频编码芯片选用SAA7121作为数模转换器件;片外存储器SRAM采用IS61LV51216而FPGA采用德州仪器公司的DM6467芯片。其中FPGA内部的设计主要包括按键控制单元、数据采集及提取单元、帧合成处理单元和帧存控制单元。本实施例所述系统接收16路由高清CMOS摄像头采集的模拟视频信号,通过视频解码芯片转换为PAL制式的数字视频信号,通过FPGA对其进行抽取和帧合成等数据格式转换,再通过视频编码芯片的数模转换送入VGA显示器,可显示1、4、9、16路分割画面,并通过按键轮流切换视频画面。

2)合成视频去噪处理算法;

常用的去噪算法有均值滤波和中值滤波,以及在它们基础上改进的算法,中值滤波在尽可能地保护信号原有特征的同时滤除掉噪声,因而被广泛应用。中值滤波的基本原理是把数字图像中每一像素点的值设置为该点某邻域窗口内所有像素点值的中值,因为噪声的特点,窗口内的中值一般不是噪声点,从而达到抑制噪声的目的。

本发明采用一种改进的“Max/Median中值滤波”算法:

设am,n为图像在(m,n)处的像素值,Z是一个(2N+1)×(2N+1)的滤波窗口:

由以上公式(1)得到以am,n为中心的4个子窗口的中值,然后再由以下公式对4个中值取最大值,作为窗口的滤波值:

y(m,n)=max[Z1(m,n),Z2(m,n),Z3(m,n),Z4(m,n)]

(2)基于上述公式(2),可进行改进:

先由上述改进公式(3)得到Z1,Z2,am,n和Z3,Z4,am,n的中值,然后再由下式(4)得到滤波的值:

y(m,n)=median[Y1(m,n),Y2(m,n),am,n] (4)

如式(2)所示的算法保留了信号的几何特性,结合图像所有一维的特性来做二维估计,保留二维图像的一维特性,但是它本质上不是对称的,对噪声比较密集的区域性能不是很好。如式(4)所示的算法在保持前一种算法的优点同时,解决了它的不足之处。本发明在FPGA上对公式(4)所示改进算法进行了实现,设计算法实现的逻辑结构,完成了对合成后的一路视频的去噪处理。

3、后端视频管理软件,主要用于实现场景概貌画面和超高分辨率画面协同联动预览和回放功能,以及概貌采集单元和细节采集单元的空间配准。如图5所示。其他功能主要包含网络视频存储设备管理,日志管理,用户管理和系统配置。

网络视频存储设备管理功能是指,用户通过onvif协议,搜索和接入网络视频存储设备,以及配置网络视频存储设备的网络地址、存储参数、系统配置。

软件接入网络视频存储设备后,通过空间配准功能,对场景概貌画面和细节显示画面分别采样,计算得到空间配准信息。空间配准信息用于场景概貌单元和细节单元的匹配联动。

设备协同联动预览功能是指,使用者在场景概貌画面选择需要预览的细节,通过空间配准信息计算,得到细节采集单元的序号及画面对应的坐标后,在超高分辨率画面显示窗口中,对使用者选择的细节进行联动匹配放大预览。

设备协同联动回放功能是指,用户可以通过onvif协议搜索和查询录像文件,并对查询到的录像文件进行回放。在回放过程中,使用者在场景概貌画面选择需要查看的场景细节,通过空间配准信息计算后,得到细节采集单元的序号及画面对应的坐标后,在超高分辨率画面显示窗口中,对使用者选择的细节进行联动匹配放大回放。

日志管理功能用于检索软件本地操作和告警日志;用户管理功能用于添加和删除用户账户以及配置用户权限;系统配置功能用于进行语言配置、NTP服务功能配置、CPU性能配置。

后端视频管理软件是通过空间配准方法来实现概貌采集单元和细节采集单元的空间配准,解决镜头单元之间的匹配联动问题。空间配准方法的步骤主要包括:

(1)建立单镜头单元采集画面坐标系,如图6所示,采用球型模型,用于映射实际空间坐标到感光器件的平面坐标的对应关系。

(2)分别对场景概貌画面和细节采集单元的视频画面采样,计算采样点的映射关系。计算方法是,在场景概貌画面上采样6个点的像素坐标,并转换为空间坐标,得到6个向量v1,v2…v6;在细节采集单元的视频画面上采样6个点的像素坐标,并转换为空间坐标,得到v1’,v2’…v6’,应用下面计算方法,由这6组空间坐标计算得到旋转矩阵MatH2D:

MatD=[v1,v2,v3,v4,v5,v6],

MatH=[v1',v2',v3',v4',v5',v6'],

MatH2D=MatD×PINV(MatH),其中PINV(Matrix)为矩阵Matrix的广义逆。

(3)匹配联动预览或回放时,首先通过场景概貌画面上的坐标(x,y)计算其空间坐标v,并由v×MatH2D=v’得到该点在超高分辨率画面坐标系下的空间坐标v’,最后由v’计算单个U10X的像素坐标(x’,y’)。

4、运用多目标智能跟踪的多焦距镜头超高分辨率联动成像系统,能够实现场景概貌和超高分辨率画面的联动监控,并且设备横向视场角大于90度,所以能够在大范围场景监控中实现无死角全覆盖,并在距装置130m范围内,采集影像的像素密度大于125像素/米。

以上对本发明所提供的基于多特征联合与Camshift算法结合的多目标跟踪的多焦距镜头超高分辨率联动成像摄像机系统进行了详细介绍,本具体实施方式中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1