一种仿真人眼视觉的多目标指向性智能监控系统及其方法与流程

本发明涉及一种仿真人眼视觉的多目标指向性智能监控系统及其方法，属于视频监控技术领域。

背景技术：

随着智慧城市的发展、公共安全需求的日益增长，视频监控在安防系统中的地位愈发重要，用户不仅对监控场景提出了更为广泛的要求，同时也对分辨率提出了更高的要求。现有视频监控技术为扩大监控范围，通常使用短焦距的大视场相机，对整体环境进行监控。然而，大范围场景的监控以牺牲局部细节描述为代价，使得系统应用具有一定局限性。长焦距相机成像较大，能够提供更多的细节信息，但视场较小。将两者结合起来是目前主要的解决思路，现有方法多采用全景相机与ptz云台相机构成双视场图像采集系统，由处理主机控制ptz相机全方位旋转，使感兴趣目标以特写画面成像于镜头中央。然而，普通ptz相机控制存在延时，无法及时响应，在多目标观测方面也存在一定局限性，大大降低了实用性。

技术实现要素：

针对上述现有技术存在的问题及不足，本发明提供一种仿真人眼视觉的多目标指向性智能监控系统及其方法。本发明有算法复杂度低、稳定性强、响应速度快以及面向多目标的优点，以解决现有视频监控中视场范围与分辨率无法兼顾、响应速度慢、多目标观测效果差的问题。本发明通过以下技术方案实现。

一种仿真人眼视觉的多目标指向性智能监控系统，包括双视场图像采集模块、处理模块和驱动模块，所述双视场图像采集模块包括全景相机1和小视场相机2，所述处理模块包括nvidiajetsontx2开发板5和显示器8，所述驱动模块包括控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4、控制水平方向的步进电机驱动器6、控制俯仰方向的步进电机驱动器7和电路转换系统9，全景相机1以光轴平行于地面的方式放置在高处，全景相机1下方设置小视场相机2，小视场相机2上设有控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4，控制水平方向旋转的步进电机3依次通过控制水平方向的步进电机驱动器6、电路转换系统9连接nvidiajetsontx2开发板5，控制俯仰方向旋转的步进电机4依次通过控制俯仰方向的步进电机驱动器7、电路转换系统9连接nvidiajetsontx2开发板5，nvidiajetsontx2开发板5连接显示器8。

所述全景相机1焦距为4mm，小视场相机2焦距为25mm。

所述驱动模块包括控制水平方向旋转的步进电机3放置在带光杆的支架10上，驱动模块包括控制水平方向旋转的步进电机3电机轴为竖直方向，驱动模块包括控制水平方向旋转的步进电机3电机轴顶部连接小视场相机2；带光杆的支架10背部设有的光杆通过联轴器12连接电机轴为水平的控制俯仰方向旋转的步进电机4，控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4分别与控制水平方向的步进电机驱动器6、控制俯仰方向的步进电机驱动器7连接。

所述电路转换系统9包括限位开关信号转换电路和脉冲/方向信号转换电路。

所述限位开关信号转换电路包括三线npn常开接近开关11、若干电阻和tlp521的光电耦合器14，三线npn常开接近开关11分别安装在控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4上，三线npn常开接近开关11的输出端引脚经过电阻ⅰ13与+24v直流电源的正极相连，光电耦合器tlp52114的输入端引脚1与+24v直流电源的正极直接相连，引脚2经过电阻ⅱ15与三线npn常开接近开关11的输出端引脚相连，输出端引脚3与nvidiajetsontx2开发板5的gnd相连，引脚4经过上电阻ⅲ16与nvidiajetsontx2开发板5的+3.3v引脚相连，nvidiajetsontx2开发板5的gpio引脚经过电阻ⅳ17与tlp521的光电耦合器14的输出端引脚4相连。

所述脉冲/方向信号转换电路包括6n136m的光电耦合器20和若干电阻，nvidiajetsontx2开发板5的gpio引脚经过电阻ⅴ18与6n136m的光电耦合器20的输入端引脚2相连，输入端引脚3与nvidiajetsontx2开发板5的gnd相连，6n136m的光电耦合器20的输出端引脚5与nvidiajetsontx2开发板5的gnd引脚相连，6n136m的光电耦合器20的输出端引脚8与nvidiajetsontx2开发板5的+5v引脚相连，6n136m的光电耦合器20的输出端引脚6与步进电机驱动器的pul-/dir-相连，步进电机驱动器的pul+/dir+与nvidiajetsontx2开发板5的+5v引脚相连，步进电机驱动器的pul-/dir-经过电阻ⅵ19与nvidiajetsontx2开发板5的+5v引脚相连。

一种仿真人眼视觉的多目标指向性智能监控方法，具体步骤包括

步骤1、系统初始化，设定系统运行所需参数，并将小视场相机2置于初始位置；

步骤2、抓取全景图像，实时抓取全景图像帧，将像素大小为640×480的图像分为1600个16×12的图像块，以块为单位进行背景更新；

步骤3、变化检测，将步骤2抓取的图像块进行变化检测，选择第一帧图像作为初始背景图像，构建缓存队列，存放最近的10帧图像，用于背景更新；根据背景图像子块与缓存队列中图像对应子块间的相关系数与阈值的关系，实现对应背景子块的更新；计算背景图像子块与当前帧对应子块的标准差及两者间的相关系数，若满足相关系数与标准差均小于阈值的条件，则认为子块存在变化；求解变化子块的最小外接矩形，得到多个变化区域的范围，并保存其中心坐标；

步骤4、偏转角度与脉冲数计算，根据图像距离与实际距离的对应关系建立映射关系，求解步骤3中得到的变化区域中心坐标与小视场相机2位置间的实际距离，以及步骤3中得到的变化区域中心坐标与小视场相机2位置间的角度，与前一次偏转角度做差即可得到本次对准变化区域中心实际所需偏转角度，进而得到对准变化区域中心所需脉冲数；

步骤5、优先级计算，设置10帧内不重复对同一区域采集图像；以当前图像与背景图像间相关系数的大小作为判断变化程度的指标，将变化程度和所需偏转角度分别按从大到小和从小到大对多个变化区域进行排序，分别以n=i，i=n,n-1,n-2,…,1和l=i，i=1,2,…,n-2,n-1,n表示，最后对两者加权求得总的优先级；

步骤6、驱动相机转动，按照步骤5得到的优先级顺序控制相机旋转，实现多目标指向性成像，由处理模块按优先级顺序通过gpio引脚将脉冲以及方向的相关参数经电路转换系统传输到步进电机驱动器，驱动相机沿水平与俯仰方向旋转，对准变换区域中心，捕捉变化区域细节信息。

本发明的有益效果是：

1、本发明兼顾了视场范围与分辨率，解决了传统大范围视频监控无法获取局部细节的问题。

2、本发明可移植性强，可将其应用在多种嵌入式系统，十分有利于系统的推广使用。

3、本发明仿真人眼视觉特性，对变化区域设置优先级，有利于系统高效有序地获取多个变化区域的细节信息。

4、本发明算法复杂度低，且无需处理器与微控制器间的通讯，由微处理器直接控制步进电机驱动器，解决了传统控制存在较大延时的问题。

附图说明

图1是本发明仿真人眼视觉的多目标指向性智能监控系统模块示意图；

图2是本发明驱动模块连接示意图；

图3是本发明电路转换系统中限位开关信号转换电路图；

图4是本发明电路转换系统中脉冲/方向信号转换电路图；

图5是本发明仿真人眼视觉的多目标指向性智能监控方法工作流程图。

图中：1-全景相机，2-小视场相机，3-控制水平方向旋转的步进电机，4-控制俯仰方向旋转的步进电机，5-nvidiajetsontx2开发板，6-控制水平方向的步进电机驱动器，7-控制俯仰方向的步进电机驱动器，8-显示器，9-电路转换系统，10-带光杆的支架，11-三线npn常开接近开关，12-联轴器，13-电阻ⅰ，14-tlp521的光电耦合器，15-电阻ⅱ，16-电阻ⅲ，17-电阻ⅳ，18-电阻ⅴ，19-电阻ⅵ，20-6n136m的光电耦合器。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

实施例1

如图1至5所示，该仿真人眼视觉的多目标指向性智能监控系统，包括双视场图像采集模块、处理模块和驱动模块，所述双视场图像采集模块包括全景相机1和小视场相机2，所述处理模块包括nvidiajetsontx2开发板5和显示器8，所述驱动模块包括控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4、控制水平方向的步进电机驱动器6、控制俯仰方向的步进电机驱动器7和电路转换系统9，全景相机1以光轴平行于地面的方式放置在高处，全景相机1下方设置小视场相机2，小视场相机2上设有控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4，控制水平方向旋转的步进电机3依次通过控制水平方向的步进电机驱动器6、电路转换系统9连接nvidiajetsontx2开发板5，控制俯仰方向旋转的步进电机4依次通过控制俯仰方向的步进电机驱动器7、电路转换系统9连接nvidiajetsontx2开发板5，nvidiajetsontx2开发板5连接显示器8。

所述全景相机1焦距为4mm，小视场相机2焦距为25mm。

所述驱动模块包括控制水平方向旋转的步进电机3放置在带光杆的支架10上，驱动模块包括控制水平方向旋转的步进电机3电机轴为竖直方向，驱动模块包括控制水平方向旋转的步进电机3电机轴顶部连接小视场相机2；带光杆的支架10背部设有的光杆通过联轴器12连接电机轴为水平的控制俯仰方向旋转的步进电机4，控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4分别与控制水平方向的步进电机驱动器6、控制俯仰方向的步进电机驱动器7连接。

所述电路转换系统9包括限位开关信号转换电路和脉冲/方向信号转换电路。

所述限位开关信号转换电路包括三线npn常开接近开关11、若干电阻和tlp521的光电耦合器14，三线npn常开接近开关11分别安装在控制水平方向旋转的步进电机3、控制俯仰方向旋转的步进电机4上，三线npn常开接近开关11的输出端引脚经过电阻ⅰ13与+24v直流电源的正极相连，光电耦合器tlp52114的输入端引脚1与+24v直流电源的正极直接相连，引脚2经过电阻ⅱ15与三线npn常开接近开关11的输出端引脚相连，输出端引脚3与nvidiajetsontx2开发板5的gnd相连，引脚4经过上电阻ⅲ16与nvidiajetsontx2开发板5的+3.3v引脚相连，nvidiajetsontx2开发板5的gpio引脚经过电阻ⅳ17与tlp521的光电耦合器14的输出端引脚4相连。

所述脉冲/方向信号转换电路包括6n136m的光电耦合器20和若干电阻，nvidiajetsontx2开发板5的gpio引脚经过电阻ⅴ18与6n136m的光电耦合器20的输入端引脚2相连，输入端引脚3与nvidiajetsontx2开发板5的gnd相连，6n136m的光电耦合器20的输出端引脚5与nvidiajetsontx2开发板5的gnd引脚相连，6n136m的光电耦合器20的输出端引脚8与nvidiajetsontx2开发板5的+5v引脚相连，6n136m的光电耦合器20的输出端引脚6与步进电机驱动器的pul-/dir-相连，步进电机驱动器的pul+/dir+与nvidiajetsontx2开发板5的+5v引脚相连，步进电机驱动器的pul-/dir-经过电阻ⅵ19与nvidiajetsontx2开发板5的+5v引脚相连。

该仿真人眼视觉的多目标指向性智能监控方法，具体步骤包括

步骤1、系统初始化，设定系统运行所需参数，并将小视场相机2置于初始位置；

步骤2、抓取全景图像，实时抓取全景图像帧，将像素大小为640×480的图像分为1600个16×12的图像块，以块为单位进行背景更新；

步骤3、变化检测，将步骤2抓取的图像块进行变化检测，选择第一帧图像作为初始背景图像，构建缓存队列，存放最近的10帧图像，用于背景更新；根据背景图像子块与缓存队列中图像对应子块间的相关系数与阈值的关系，实现对应背景子块的更新；计算背景图像子块与当前帧对应子块的标准差及两者间的相关系数，若满足相关系数与标准差均小于阈值的条件，则认为子块存在变化；求解变化子块的最小外接矩形，得到多个变化区域的范围，并保存其中心坐标；

步骤4、偏转角度与脉冲数计算，根据图像距离与实际距离的对应关系建立映射关系，求解步骤3中得到的变化区域中心坐标与小视场相机2位置间的实际距离，以及步骤3中得到的变化区域中心坐标与小视场相机2位置间的角度，与前一次偏转角度做差即可得到本次对准变化区域中心实际所需偏转角度，进而得到对准变化区域中心所需脉冲数；

步骤5、优先级计算，设置10帧内不重复对同一区域采集图像；以当前图像与背景图像间相关系数的大小作为判断变化程度的指标，将变化程度和所需偏转角度分别按从大到小和从小到大对多个变化区域进行排序，分别以n=i，i=n,n-1,n-2,…,1和l=i，i=1,2,…,n-2,n-1,n表示，最后对两者加权求得总的优先级；

步骤6、驱动相机转动，按照步骤5得到的优先级顺序控制相机旋转，实现多目标指向性成像，由处理模块按优先级顺序通过gpio引脚将脉冲以及方向的相关参数经电路转换系统传输到步进电机驱动器，驱动相机沿水平与俯仰方向旋转，对准变换区域中心，捕捉变化区域细节信息。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。