一种一主多从式智能视频监控装置的制作方法

本实用新型涉及一种视频监控装置，特别涉及一种一主多从式智能视频监控装置。

背景技术：

当前，在视频监控领域中，视频监控装置主要由单一的摄像机构成，即：由单一的摄像机负责固定地点的拍摄，这样的监控系统往往表现出监控范围小、清晰度不高等特点，功能上不能兼顾广视角与局部细节特征获，虽然可以增加分布摄像机的数量、更换高清摄像机来进行改善，但是这样则增加了成本，又需要消耗大量人力来对监控画面进行判读，并且依靠人力对视频内容进行分析，效率低下，易出错，除实时监控外，视频监控系统还需要担负事后查证工作，通常情况下事后查证都依赖人工在数据服务器中检索，费时费力，易错过重要信息，这种做法极大地浪费了资源，所以提出一种更高效的监控装置及其控制方法具有重要的意义。

技术实现要素：

本实用新型的目的是提供一种一主多从式智能视频监控装置，可以使得主摄像机与从摄像机相互配合，有利于对目标的情况进行掌握和监控，既无需单独设立更多的主摄像机或者更换高清摄像机，有无需消耗大量的人力对监控画面的判读，节约了资源，提高了监控效率。

为实现上述目的，本实用新型提供了一种一主多从式智能视频监控装置，包括主摄像机和若干从摄像机，所述主摄像机和从摄像机与图像采集单元相连，所述图像采集单元与视频处理器模块连接，所述视频处理器模块分别与外设单元、图像显示单元以及从摄像机控制单元相连，所述从摄像机控制单元与若干从摄像机相连；

所述视频处理器模块用于对图像采集单元传输的图像进行处理；

所述图像采集单元用于对主摄像机和从摄像机图像的采集；

所述从摄像机控制单元包括从摄像机控制器，所述从摄像机控制器的输入端与视频处理器模块相连，输出端与从摄像机相连从，所述从摄像机控制器用于将视频处理器模块的处理结果发送给从摄像机控制器，并调度从摄像机进行监控；

所述外设单元用于通过视频处理器模块手动控制从摄像机进行监控；

所述图像显示单元包括显示器，用于将视频处理器模块传输的图像通过显示器进行显示。

与现有技术相比，本实用新型的有益效果在于，上述视频处理器模块、图像采集单元、从摄像机控制单元以及外设单元为硬件模块，通过主摄像机进行监控，当出现需要跟踪观察的目标时，通过视频处理器将主摄像机拍摄的信息反馈给从摄像机控制器，从摄像机控制器控制从摄像机对目标多范围多角度地持续跟踪抓拍，可以使得主摄像机与从摄像机相互配合，有利于对目标的情况进行掌握和监控，既无需单独设立更多的主摄像机或者更换高清摄像机，有无需消耗大量的人力对监控画面的判读，节约了资源，提高了监控效率，本实用新型可以用于需要进行安全监控的区域。

作为本实用新型的进一步改进，所述图像采集单元包括视频采集卡，所述视频采集卡的输入端与主摄像机以及若干从摄像机相连，输出端通过USB通讯模块一与视频处理器模块相连，这样可以使得主、从摄像机拍摄的图像更好更快地传递给视频处理器模块。

作为本实用新型的进一步改进，所述外设单元包括鼠标和键盘，所述鼠标和键盘通过USB通讯模块二与视频处理器模块相连，所述显示器通过显示器通讯模块与视频处理器模块相连，这样可以通过鼠标和键盘能够更方便地手动对从摄像机进行调度，并且显示器显得图像更加清晰准确。

作为本实用新型的进一步改进，所述视频处理模块通过以太网通讯模块来与数据中心相连，用于将视频处理模块处理后的图像数据发送给数据中心进行存储，所述数据中心可进行数据的检索分类，这样可以使得视频处理器模块处理后的图像数据能够得到很好的保存，以便于事后对图像数据进行检索查证。

为了实现上述目的，本实用新型还提供了一主多从式智能视频监控的控制方法，包括以下步骤：

步骤1，通过摄像机标定法，获取摄像机转换矩阵K0，K1，K2…Kn；

步骤2，通过主从摄像机坐标转换方法，获取主从摄像机坐标转换矩阵T1，T2，T3…Tn；

步骤3，使用三帧差分法，获取运动目标在主摄像机图像坐标系中的质心坐标(U0,V0)；

步骤4，根据质心坐标(U0,V0)、摄像机转换矩阵以及主从摄像机坐标转换矩阵，计算物体在从摄像机坐标系中的世界坐标(XW1，YW1，ZW1)；

步骤5，根据角度换算公式求得从摄像机需要转动的角度θX和θY；

步骤6，根据转动角度θX和θY，控制从摄像机转动并对目标进行抓拍。

与现有技术相比，本实用新型的有益效果在于，采用摄像机标定法，获取摄像机转换矩阵；依据摄像机转换矩阵，计算出摄像点的位置坐标；依据主从摄像机的坐标转换矩阵，求得主摄像机图像中的物体在从摄像机图像坐标系中的坐标；将坐标转换为从摄像机云台运动参数；控制从摄像机对目标进行抓拍，提高了智能监控系统的性能，能够完全脱离人力进行全自动视频监控，节省人力，并且数据中心具有分类检索的功能，便于事后查证，本实用新型可以用于需要进行安全监控的区域。

作为本实用新型的进一步改进，所述摄像机标定法为BP神经网络摄像机标定法，这样可以提高摄像机转换矩阵数据的准确性，使得从摄像机抓拍的精度更高。

作为本实用新型的进一步改进，所述主从摄像机坐标转换方法为ICP空间坐标转换法，这样可以提高主从摄像机坐标转换矩阵的准确性，使得从摄像机抓拍的精度更高。

作为本实用新型的进一步改进，所述三帧差分法获取质心坐标具体步骤如下：步骤3.1，选取主摄像机视频图像序列中连续三帧图像；步骤3.2，分别计算相邻两帧的差分图像；步骤3.3，将差分图像通过选取适当的阈值进行二值化处理；步骤3.4，在每一个像素点得到的二值图像进行逻辑与运算，获取共同部分，从而获得运动目标的轮廓信息；步骤3.5，使用向量法计算其在主摄像机图像坐标系中的质心坐标；这样可以更好地求得质心坐标，确保质心坐标的准确性。

作为本实用新型的进一步改进，所述物体在从摄像机坐标系中的世界坐标计算步骤如下：步骤4.1，使用摄像机转换矩阵K将物体的质心坐标转换为物体在主摄像机坐标系中的世界坐标；步骤4.2，使用主从摄像机坐标转换矩阵T，将物体在主摄像机坐标系中的世界坐标转换为在从摄像机坐标系中的世界坐标；这样可以很好地求得从摄像机坐标系中的世界坐标，进一步提升从摄像机的抓拍精度。

作为本实用新型的进一步改进，所述三角转换公式包括θX＝arcsin(X/2r)和θY＝arcsin(Y/2r)，通过三角运算求得从摄像机视觉中心轴到物体位置的相对位移(X,Y)，再经三角转换公式求得从摄像机需要转动的角度θX和θY，这样可以很方便准确地求得从摄像机转动的角度，确保从摄像机在抓拍目标的时候角度更加精确，拍摄的图像更加清晰准确。

附图说明

图1为本发明结构图。

图2为本发明图像采集单元框图。

图3为本发明视频处理模块框图。

图4为本发明USB通讯模块电路图。

图5为本发明电源电路图。

图6为本发明显示器电路图。

图7为本发明以太网模块电路图。

图8为本发明控制方法流程图。

图9为本实用新型主摄像机、从摄像机以及世界坐标转换示意图。

具体实施方式

下面结合附图对本实用新型进一步说明：

如图1-7所示的一种一主多从式智能视频监控装置，包括主摄像机和若干从摄像机，主摄像机和从摄像机与图像采集单元相连，图像采集单元与视频处理器模块连接，视频处理器模块分别与外设单元、图像显示单元以及从摄像机控制单元相连，从摄像机控制单元与若干从摄像机相连；视频处理器模块用于对图像采集单元传输的图像进行处理；图像采集单元用于对主摄像机和从摄像机图像的采集；

从摄像机控制单元包括从摄像机控制器，从摄像机控制器的输入端与视频处理器模块相连，输出端与从摄像机相连从，从摄像机控制器用于将视频处理器模块的处理结果发送给从摄像机控制器，并调度从摄像机进行监控；外设单元用于通过视频处理器模块手动控制从摄像机进行监控；图像显示单元包括显示器，用于将视频处理器模块传输的图像通过显示器进行显示。

图像采集单元包括视频采集卡，视频采集卡的输入端与主摄像机以及若干从摄像机相连，输出端通过USB通讯模块一与视频处理器模块相连；外设单元包括鼠标和键盘，鼠标和键盘通过USB通讯模块二与视频处理器模块相连，显示器通过显示器通讯模块与视频处理器模块相连；视频处理模块通过以太网通讯模块来与数据中心相连，用于将视频处理模块处理后的图像数据发送给数据中心进行存储，数据中心可进行数据的检索分类；

其中图像采集单元包括ADV7181B视频编码器，ADV7181B视频编码器与主摄像机和从摄像机相连，ADV7181B视频编码器通过IC2_SCLK端口以及IC2_SDAT端口与ADV7181B视频编码器配置模块相连，ADV7181B视频编码器通过TD_DA[7：0]端口、TD_HS端口以及TD_VS端口与视频采集模块相连，视频采集模块与H.264/AVC编码模块相连，H.264/AVC编码模块相的H.264/AVC编码码流输出端与视频处理器模块相连；视频采集模块与SRAM接口模块相连，SRAM接口模块的ADDR端口、DATA端口、CE端口、OE端口以及WE端口与图像缓存SRAM相连，SRAM接口模块的输出端与H.264/AVC编码模块相连；ADV7181B视频编码器配置模块、视频采集模块、SRAM接口模块以及H.264/AVC编码模块集成为FPGA芯片；视频处理器模块包括视频处理器，视频处理器采用ARM Cortex-A53系列的处理芯片，但不限于ARM Cortex-A53系列的芯片。

工作时，电源实现电力供给；正常情况下，主摄像机拍摄的视频画面通过图像采集单元经USB通讯模块一传送至视频处理器模块，通过视频处理器模块传送至显示器观看，当出现需要跟踪监控的目标时，视频处理器模块将目标信号传递给从摄像机控制器，通过从摄像机控制器调度从摄像机对目标进行抓拍，抓拍的视频画面与主摄像头拍摄的视频画面都会经过视频采集单元以及视频处理器传送至显示器进行观看，这样可以很清晰准确的对目标进行监控，当需要手动监控时，可以通过鼠标、键盘手动调度从摄像机进行监控；主摄像机与从摄像机拍摄的视频画面通过与视频处理器相连的以太网通讯模块发送至数据中心进行存储，以便于将来需要的时候可以随时调取出来。

如图8-9所示的一种一主多从式智能视频监控的控制方法，包括以下步骤：(1)采用BP神经网络摄像机标定法进行标定，获取摄像机转换矩阵K0，K1，K2…Kn；

(2)通过ICP空间坐标转换法，获取主从摄像机坐标转换矩阵T1，T2，T3…Tn；

(3)使用三帧差分法，选取主摄像机视频图像序列中连续三帧图像并分别计算相邻两帧的差分图像，然后将差分图像通过选取适当的阈值进行二值化处理，得到二值化图像，最后在每一个像素点得到的二值图像进行逻辑与运算，获取共同部分，从而获得运动目标的轮廓信息。记视频序列中第n+1帧、第n帧和第n1帧的图像分别为fn+1、fn和fn1，三帧对应像素点的灰度值记为fn+1(x,y)、fn(x,y)和fn1(x,y),按照下式：

Dn(x,y)＝|fn(x,y)-fn-1(x,y)|

分别得到差分图像Dn+1和Dn，对差分图像Dn+1和Dn按照下式：

D′n＝|fn+1(x,y)-fn(x,y)|∩|fn(x·1)-fn-1(x,y)|

进行操作，得到图像Dn'，之后再进行阈值处理、连通性分析，可获取运动目标轮廓图像，然后使用向量法计算其在主摄像机图像坐标系中的质心坐标(U0,V0)；

(4)根据物体在主摄像机图像坐标系中的质心坐标(U0,V0)和摄像机转换矩阵K0，K1，K2…Kn，获得物体在主从摄像机坐标系中的世界坐标(XW0，YW0，ZW0)，然后依据主从摄像机坐标转换矩阵T1，T2，T3…Tn，求得物体在从摄像机坐标系中的世界坐标(XW1，YW1，ZW1)；

(5)根据求得从摄像机图像坐标系中的坐标(UX,VX)，可以通过三角运算求得从摄像机视觉中心轴到物体位置的相对位移(X,Y)，然后根据以下角度换算公式：

θX＝arcsin(X/2r),θY＝arcsin(Y/2r)

求得从摄像机需要转动的角度θX和θY；

(6)根据求得的转动角度θX和θY，控制从摄像机转动并对目标进行抓拍。

本实用新型中，摄像机标定是为了获取主摄像机图像坐标(U0，V0)与各从摄像机图像坐标(Un，Vn)及世界坐标(Xw，Yw，Zw)之间的关系，可得到如下摄像机矩阵K：

其中，fx，fy为焦距，一般情况下，二者相等，θx、θy为主点坐标(相对于成像平面)，D为坐标轴倾斜参数，理想情况下为0；

摄像机矩阵由内参矩阵和外参矩阵组成，对摄像机矩阵进行QR分解可以得到内参矩阵和外参矩阵。内参包括焦距、主点、倾斜系数、畸变系数。外参包括旋转矩阵R3×3、平移向量T3×1，它们共同描述了如何把点从世界坐标系转换到摄像机坐标系，旋转矩阵描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移向量描述了在摄像机坐标系下空间原点的位置；经过标定的摄像机含有更多关于场景以及图像的信息，有助于后续控制从摄像机对目标精确抓拍。

BP神经网络摄像机标定法：反向传播网络(Back Propagation Network)是一种对非线性可微函数进行权值训练的多层前馈神经网络，神经网络利用多层前馈网络学习二维像素坐标与三维世界坐标的关系，不要求预先建立成像系统的精确的模型结构，也不需要对参数的先验知识进行假设，而是利用神经网络通过直接学习二维像素坐标与三维世界坐标，从而得出二者之间的关系，其过程如下：

(1)利用线性标定法取得摄像机的内部参数，分别计算用于标定的三维控制点的理论图像点；

(2)求取用于标定的控制点的理论图像点与对应的实际图像点的偏差，其过程如下：

1)网络初始化

给各连接权值分别赋一个区间(-1，1)内的随机数，设定误差函数e，给定计算精度值ε和最大学习次数M；

2)随机选取第k个输入样本及对应期望输出：

x(k)＝(x1(k),x2(k),…,xn(k))

d0(k)＝(d1(k),d2(k),…,dq(k))

3)计算隐含层各神经元的输入和输出：

hOh(k)＝f(hih(k)) h＝1,2,…,p

yOo(k)＝f(yio(k)) O＝1,2,…,q

4)利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数δo(k)：

5)利用隐含层到输出层的连接权值、输出层的δo(k)和隐含层的输出计算误差函数对隐含层各神经元的偏导数δh(k)：

6)利用输出层各神经元的δo(k)和隐含层各神经元的输出来修正连接权值Who(k)：

7)利用隐含层各神经元的δh(k)和输入层各神经元的输入修正连接权：

8)计算全局误差E：

9)判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习；

(3)每个摄像机都需要一个自己的校正网络，将其实际图像坐标作为神经网络的输入，由第(2)步得到的各自偏差值作为神经网络的输出，通过网络的训练建立起摄像机镜头畸变的校正模型，获得摄像机转换矩阵K如下：

其中，fx，fy为焦距，一般情况下，二者相等，θx、θy为主点坐标(相对于成像平面)，D为坐标轴倾斜参数，理想情况下为0。

ICP空间坐标转换法：ICP(Iterative Closest Point)算法是一种坐标点配准算法，ICP算法能够使不同的坐标系下的点的坐标数据合并到同一个坐标系统中。首先是找到一个可用的变换，配准操作实际是要找到从坐标系1到坐标系2的一个刚性变换。假设在三维空间中有两个点：

他们的欧式距离表示为：

三维坐标点匹配问题的目的是找到P和Q变化的矩阵R和T，对于

利用最小二乘法求解最优解使：

最小时的R和T即可，其中T为从坐标系1到坐标系2的变换矩阵。

主从摄像机坐标转换：为了实现从摄像机的精确抓拍，需要将物体坐标从主摄像机坐标系转换至从摄像机坐标系。当主摄像机与从摄像机对准同一目标时，可以根据主摄像机姿态描述矩阵[P0,D0](其中P为俯仰角，D为偏转角)和摄像机转换矩阵K求得的物体在主摄像机坐标系中的现实坐标A0(XW0，YW0，ZW0)和当前姿态下物体在从摄像机坐标系中的现实坐标A1(X1，Y1，Z1)，然后可由移轴变换获得从摄像机相对于主摄像机的坐标O1(XW0-XW1，YW0-YW1，ZW0-ZW1)。之后，利用从摄像机姿态描述矩阵[P1,D1]和转轴变换：

得到物体在从摄像机坐标系中的现实坐标B(XW1，YW1，ZW1)。最后，通过ICP空间坐标转换法得到主从摄像机坐标转换矩阵T。

工作时，首先采用BP神经网络摄像机标定法进行标定，获取摄像机转换矩阵K0，K1，K2…Kn，再通过ICP空间坐标转换法，获取主从摄像机坐标转换矩阵T1，T2，T3…Tn，之后使用三帧差分法得到物体在主摄像机图像坐标系中的质心坐标(U0,V0)；根据物体在在主摄像机图像坐标系中的质心坐标(U0,V0)和摄像机转换矩阵K0，K1，K2…Kn，获得物体在主从摄像机坐标系中的世界坐标(XW0，YW0，ZW0)，然后依据主从摄像机坐标转换矩阵T1，T2，T3…Tn，求得物体在从摄像机坐标系中的世界坐标(XW1，YW1，ZW1)；

根据求得从摄像机图像坐标系中的坐标(UX,VX)，可以通过三角运算求得从摄像机视觉中心轴到物体位置的相对位移(X,Y)，然后根据度换算公式：θX＝arcsin(X/2r),θY＝arcsin(Y/2r)求得从摄像机需要转动的角度θX和θY；根据求得的转动角度θX和θY，控制从摄像机转动并对目标进行抓拍，这样提高了智能监控系统的性能，能够完全脱离人力进行全自动视频监控，节省人力，并且具有分类检索功能的数据中心，便于事后查证。

本实用新型不局限于上述实施例，在本公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本实用新型的保护范围内。