一种智能复眼监控系统的制作方法

本发明涉及视频监控及模式识别技术领域，尤其涉及一种可同时输出全景图像和特写图像的智能监控系统。

背景技术：

随着社会的进步与科技的发展，传统的视频监控系统已无法满足当前的监控需求。传统的视频监控系统通常由一个摄像机对着固定的区域进行监控，当监控距离较远、区域很大的时候，这种监控系统只能获取监控场景的笼统信息，无法获得例如人脸和车牌等详细信息，使得监控系统无法将拍摄得到的可疑情况清晰地记录下来展示给监控人员观看，导致监控系统未能发挥其应有的作用。

现有的解决方案之一是使用多个固定摄像机的组合对较大区域进行监控，每个摄像机对某个特定的局部区域进行监控，再利用视频拼接技术将多个摄像头的视频拼接组成全局区域的监控视频。这种解决方法解决了远距离大场景高清晰度监控的问题，同时缺点是需要大量摄像机，而且非常难以架构调试成功，很难保证长期稳定拼接无误，体验很差，成本很高。

另一种解决方案是使用可以在水平方向与垂直方向旋转且具有变焦功能的摄像机(简称ptz摄像机)和固定摄像机进行组合监控(抢球联动)，固定摄像机对较大的区域进行监控但无法获取细节信息，ptz摄像机由人工手动操作或者依据固定的巡航路线对某些感兴趣的区域进行局部监控。无法兼顾多点同时细节监控，而依据固定路线巡航监控的方式很有可能遗漏重要的监控信息，无法实现全时空回溯信息。

上述的解决方案提到了使用固定摄像机和ptz摄像机组合监控的方式解决传统监控系统的不足，但现有的技术在利用固定摄像机的监控信息对ptz摄像机进行控制方面等仍存在如下缺陷：1.当时用多摄像机组合时，特写摄像机所提供的特写图像的视角是固定的，无法向使用者提供任意角度的特写图像；2.当使用pzt摄像机时，特写图像的观察只能通过使用者实时的调节摄像机角度焦距进行提取，无法再视频回放时进行特写图像的提取，也无法同时在监控显示设备上同时输出特写图像和全景图像。

技术实现要素：

依据上述所述的现有技术中的缺陷，本发明所要解决的技术问题在于复眼监控摄像机能够实现对远距离大场景进行全时空(全范围、全细节、全时段)无死角监控，并同时提供全景图像和特写图像的视频输出，也可以提供全分辨率图像；同时复眼监控摄像机还可以输出智能分析的数据和报警信息、并可以把智能分析的数据和报警信息进行视频结构化进行输出和存储(以便于检索)；另一方面复眼监控摄像机还可以集成物联网传感器并集成物联网传感信息数据及针对物联网传感信息数据的综合智能分析输出数据和报警信息，或者集成物联网传感信息输出集成到视频数据结构化数据中进行输出和存储(便于检索的报警)。

为了解决上述技术问题，本发明提供了一种智能复眼监控系统，所述智能复眼监控系统能够同时输出多路视频数据，所述智能监控系统如图1包括：复眼成像单元1、复眼图像处理单元2、数据输入单元3、数据分析单元4、数据输出单元5，所述复眼成像单元1是两个或者以上的成像子单元按一定规则排列成的；

所述复眼图像处理单元2用于实现对复眼图像的重建，生成全景图像及特写图像；

所述数据输入单元3用于实现对存储数据、人工数据、物联网传感器数据及上级ai分析数据的获取；

所述数据分析单元4将数据输入单元3获取的数据与复眼图像处理单元2所生成的全景图像和特写图像相结合进行分析，并生成相应的控制信息；

所述数据输出单元5用于输出全景图像、特写图像、控制信息以及智能分析结果。

在一个实施例中，所述数据输入单元3是指具备标准电器物理接口如usb接口、485/can总线、rj45网络接口、stat/esata接口等及软件协议如tcp/ip、modbus等的数据输入接口，完成图像数据以外的数据采集并传递到数据分析单元4的工作。包括如下数据采集指令：

存储数据获取，从存储介质或数据库中获取数据信息，如：特写图像生成/切换预案，特写图像名称等。

人工数据获取，人工对系统输入控制指令，如改变特写图像中心位置，强制触发报警信号，人工标定区域名称及坐标信息等。

物联传感获取，通过传感器获取各类型信息，如环境温度信息、gps信息等。

上级ai数据获取，通过协助系统级联方式获取有效的数据信息，如通过车辆识别系统获取的车辆颜色、车牌号码等，通过人像识别系统获取的人脸特征信息等。

在一个实施例中，所述数据分析单元4是指具备数据汇总，结合复眼成像综合分析研判，将海量视频数据接合数据输入单元3的数据综合分析进行大数据结构化后对外输出。完成视频与数据信息的绑定过程，并将分析结果转化为可控制设备的指令传递到数据输出单元5。

在一个实施例中，所述数据输出单元5完成数据输出及联动控制。包括如下动作指令：

全景图像视频流输出，依据显示分辨率、显示模式等不同输出监视范围的全景图像及全局数据信息。

特写图像视频流输出，根据应用需求输出特写图像视频流及其关联信息。

控制信号输出，输出驱动控制信号，驱动相关如开关、扬声器、照明、飞行打击装置等完成联动控制。

下级ai数据输出，将系统/装置的数据分析结果以相应数据格式输出到其他智能分析系统，如将某区域的特写图像流及附属地理坐标信息传递到人群密度分析系统做客流统计等。

在一个实施例中，所述复眼系统成像过程，全景图像及特写图像的目标像素点或系列点是预先设定的。

在一个实施例中，所述复眼系统成像过程，全景图像及特写图像的目标像素点是由受基础输入单元实时控制或结合预案综合分析后动态更新指定的，并输出图像关联信息及控制信号。

在一个实施例中，所述复眼系统结合输入信息的图像成像过程，全景图像及特写图像的目标像素点是由受ai输入单元实时控制结合预案综合分析后动态更新指定的，并输出图像关联信息、控制信号及结构化数据传递到下一级ai。

本发明的另一方面还在于提供一种智能复眼监控方法，所述智能复眼监控方法能够实现对所监控区域的智能控制，所智能复眼监控方法种包含如下指令：

全景图像的生成，对由复眼成像子单元所获取的图像进行图像拼接从而获得全景图像；

特写图像的生成；根据对全景图像的智能识别分析或物联网传感信号对目标区域生成特写图像；

控制信息的生成，根据对全景图像、特写图像以及物联网传感信号的分析生成用于控制相关装置的驱动控制信号；

数据的输出，将全景图像、特写图像、控制信息和智能识别分析结果向外部装置输出。

在一个实施例中，所述复眼系统成像过程，全景图像及特写图像的目标像素点是由受基础输入单元实时控制或结合预案综合分析后动态更新指定的，并输出图像关联信息及控制信号。

在一个实施例中，所述复眼系统结合输入信息的图像成像过程，全景图像及特写图像的目标像素点是由受ai输入单元实时控制结合预案综合分析后动态更新指定的，并输出图像关联信息、控制信号及结构化数据传递到下一级ai。

所述复眼成像单元作为复眼监控摄像机的后端复眼图像/视频重建，获取统一坐标系下的完整的的全分辨率图像/视频，或者缩小像素尺寸的全景图像/视频，或者指定特写区域的特写图像/视频单元，或者全景和特写的组合图像/视频，是指对采集到的前端各路视频进行包括但不限于对不同前端摄像机的图像/视频采集、坐标系进行变换到统一坐标系、对各路摄像机数据进行图像拼接、图像融合、图像裁切、视频流生成、视频流输出等关键技术步骤实现统一坐标系下超高分辨率复眼成像图像/视频的处理子系统。

特写图像控制参数的获取是指来自操作员、后端平台、智能分析模块的对前端的控制参数的接口和信息分布发送模块，如包括但不限于复眼图像/视频处理模块的控制信息、开关机控制信息、温度调节控制信息、物联网传感器的控制信号、后端对前端执行器的控制信息、由操作员或者智能分析结果给出的特写区域数量、位置、放大率信息等。

人工智能分析是指对复眼摄像机采集到的图像/视频和物联网传感各类信息进行综合的智能分析，给出分析结果如包括场景中的车牌号码、车辆类型、人员数量、车辆行为、人员行为、人脸识别数据及报警、物体运动数据及过界、温度数据及温度过高等的模块。物联网传感器/执行器模块是指汇集了各类物联网传感器和/或执行器并设有各类传感器/执行器与操作员或者后端平台接口的模块。

图像数据结构化是指一种基于视频内容信息提取的处理单元，处理单元基于大数据、深度学习、人工智能等技术手段以及人工干预、物联网采集数据关联等方法对视频内容按照语义关系，采用时空分割、特征提取、对象识别最终组织成可供计算机和人类理解的结构化数据信息，实现最大限度的提取非结构化的视频数据，将更多有效信息提取转化为人和机器可理解的结构化或者半结构化情报信息，并提供标准便捷对外接口供其他专业行业领域所用的情报数据，实现视频数据向信息化、情报化的方向转化，达到视频感知世界的目的。

图像转换压缩是指复眼监控摄像机的输出视频(包括但不限于全分辨率视频、缩小到分辨率如包括但不限于4k、1080p、720p、d1、cif等的全景视频、控制分辨率如包括但不限于4k、1080p、720p、d1、cif等的特写区域视频)是可以被视频压缩输出的，执行压缩输出的模块即为视频压缩模块。

以下对本发明中所使用的复眼摄像技术及图像处理技术进行进一步详细的介绍：

<复眼成像单元>

本发明所述的复眼成像单元是指包括但不限于两个或者两个以上摄像单元按一定排列规则组成的一个一体的拍摄设备，通过对某一被拍摄场景进行视场分割拍摄或者多尺度视场分割拍摄，并保证被拍摄场景无遗漏区域。再通过复眼成像算法实现等效于一个传统单目相机成像的一个全幅或者局部高分辨率成像效果的成像系统，该系统的摄像单元所用镜头可以是等焦镜头，也可以是不等焦镜头。

例如，由m排和n列个窄视场长焦成像子单元组成的m×n窄视场长焦成像子系统阵列，相邻的窄视场长焦成像子系统的视场互相交叠，每一个窄视场长焦成像子系统的主光轴汇聚于一点或者该点邻域范围内，该点为宽视场超高分辨率成像系统的光心，其中，m和n均为大于等于1的自然数，且至少其中之一大于1；每个窄视场长焦光学成像子系统的水平视场角为ωh+2δωh，垂直视场角为ωv+2δωv；所述宽视场超高分辨率成像系统的水平视场角hfov即m×n窄视场长焦成像子系统阵列的水平视场角为nωh+2δωh，宽视场超高分辨率成像系统的垂直视场角vfov即m×n窄视场长焦成像子系统阵列的垂直视场角为mωv+2δωv，其中180°>ωh>0°，90°>δωh>0°，180°>ωv>0°，90°>δωv>0°，ωh为水平相邻的窄视场长焦成像子系统的主光轴之间的夹角，ωv为垂直相邻的窄视场长焦成像子系统的主光轴之间的夹角，δωh为在水平相邻的窄视场长焦成像子系统的主光轴所形成的平面内物距在无穷远处的水平视场交叠区域与所属的窄视场长焦成像子系统光心连线所形成的夹角，即水平交叠视场角，δωv为在垂直相邻的窄视场长焦成像子系统的主光轴所形成的平面内物距在无穷远处的垂直视场交叠区域与所属的窄视场长焦成像子系统光心连线所形成的夹角，即垂直交叠视场角。

<复眼图像重建算法>

假设由m行和n列窄视场长焦成像子单元(nflfs)组成的阵列，相邻的窄视场长焦成像子单元的视场互相交叠，每一个窄视场长焦成像子单元的主光轴汇聚于一点或者该点邻域范围内，该点为复眼成像单元光心，其中，m、n均为大于等于1的自然数，并且m和n中至少一个大于1且均不等于2；设置第i行j列处窄视场长焦成像子单元的水平视场角为ωh+δωh+εhij，垂直视场角为ωv+δωv+εvij；设置复眼成像单元的水平视场角hfov为nωh+δωh+εh，复眼成像单元的垂直视场角vfov为mωv+δωv+εv，其中，180°＞ωh＞0°，90°＞δωh＞0°，180°＞ωv＞0°，90°＞δωv＞0°，ωh为水平相邻的窄视场长焦成像子单元的主光轴之间的设计夹角，ωv为垂直相邻的窄视场长焦成像子单元的主光轴之间的设计夹角，δωh为水平相邻的窄视场长焦成像子单元的视场交叠角，近似为在水平相邻的窄视场长焦成像子单元的物距无穷远处水平视场交叠区域边缘对系统光心的夹角，δωv为垂直相邻的窄视场长焦成像子单元的视场交叠角，近似为在垂直相邻的窄视场长焦成像子单元的物距无穷远处垂直视场交叠区域边缘对系统光心的夹角，εhij、εvij分别为第i行j列处窄视场长焦成像子单元的水平、垂直视场角误差，εh、εv分别为复眼成像单元的水平、垂直视场角误差。

对所述窄视场长焦成像子单元阵列所拍的具有相邻交叠特性的阵列图像进行处理以获得宽视场超高分辨率图像。本发明中可以采用全程运算模式和数据映射模式两种图像处理方法。

所述全程运算模式包括图像投影、确定图像重叠区域特征点、图像配准拼接、图像融合以及图像裁切多个步骤。

首先，根据当前拍摄获得的相邻图像重叠区域的特征点对的相对位置关系，计算出每个阵列图像所在传感器坐标系相对于系统坐标系的投影矩阵，获得投影图像。

随后，通过确定相邻投影图像之一作为配准模板，选择另一图像作为被配准模板，在配准模板重叠区域的边界邻近处，选取有效的区域极值特征点的起始搜寻点，在过该起始搜寻点的任意交叉线上，所述交叉线包括但不限于两条线的交叉线，以各个方向的固定步长来确定该条交叉线上的两个区域极值特征点的判断辅助点。计算交叉线中的每条线上判断辅助点与搜寻点的像素值差之和的绝对值，将两条线上的绝对值进行求和，获取求和值高于预设条件阈值的搜寻点，作为当前的区域极值特征点坐标，置于极值特征点列表中。移动搜寻点，并遍历整个重叠区域，获取求和值高于预设条件阈值的搜寻点，得到重叠区域的区域极值特征点列表。

将获取的区域极值特征点，按照求和值从大到小进行排序，选取排序的前k个极值点作为候选区域极值特征点；更新得到的重叠区域的区域极值特征点列表。

其中，所述区域极值特征点计算公式为：

其中，

f(i,j)为点搜寻点p(i,j)的像素值，i,j为正实数；

diffx为交叉线中的第一条线上辅助判断点p(i-step1,j-step2)、p(i+step3,j+step4)与搜寻点p(i,j)的像素值差之和；

diffy为交叉线中的第二条线上辅助判断点p(i+step5,j-step6)、p(i-step7,j+step8)与搜寻点p(i,j)的像素值差之和；

t为预设条件阈值；

step1、step3、step5、step7为判断辅助点与搜索点的采样在图像横坐标方向的步长间隔，step2、step4、step6、step8为判断辅助点与搜索点的采样在图像纵坐标方向的步长间隔。

接下来，按照产品设计的结构、物距参数选择最大可能配准区域；以过选择的配准模板的区域极值特征点的交叉线作为msad配准的配准交叉线，遍历被配准图像配准区域并计算每个搜索点的sad，找到最小sad点，作为配准区域当前区域极值特征点的候选配准点对；遍历前k个区域极值特征点区域极值特征点，寻找出k个候选配准点对；根据获取的候选配准点对，基于距离差积分算法，获取当前候选配准点对的合理性筛选积分；按照从小到大，对获取的各候选配准点对的合理性筛选积分进行排序，选取排序前ncheck个合理性筛选积分对应的候选配准点对；将选取的ncheck对候选配准点对作为相邻投影图像之间配准的坐标关系，进一步得到对应于系统坐标系的各个投影图像所有像素点的坐标。

其中，所述重叠区域当前特征点的候选配准点计算公式为：

msad＝minsadq(ii,jj)

所述计算公式以两条线的交叉线为例，多条线的交叉线同样适用；

式中，

step9、step10、step11、step12为配准步长；

n为以当前极值特征点为中心的配准步长数；

p(i,j)为配准图像区域极值特征点；

q(ii，jj)为被配准图像区域极值特征点对应的配准点。

其中，所述获取当前候选配准点对的合理性筛选积分包括：

基于当前ncheck个配准点对(pk1(i，j)，qk1(ii，jj))，取任意一组配准点对(pk2(i，j)，qk2(ii，jj))，分别计算距离pk1pk2，qk1qk2，将|pk1pk2-qk1qk2|作为当前的积分值，累加到当前配准点对的合理性筛选积分sk1中:

按照从小到大，对获取的各候选配准点对的合理性筛选积分进行排序，选取排序前ncheck个合理性筛选积分对应的候选配准点对。如果在图像拼接过程中在配准区域内无法搜寻到特征点的情况，采用上一次精确配准的数据作为本次配准的坐标数据。按照找到的有效配准点对计算得到的各个传感器投影图像之间的相对位置关系，在系统坐标系内进行图像的拼接。

对拼接后相邻图像之间在色调、亮度、饱和度进行调整以达到相邻图像间在色调、亮度、饱和度的平滑过渡得到图像融合后的图像。取融合后所得图像的内接四边形，并剪切掉四边形之外的部分，得到图像输出，该图像输出称之为全分辨率图像。

所述进行复眼成像单元图像的映射和生成，即为寻找复眼成像单元输出的大分辨率图像的像素值与各个传感器阵列图像像素值之间的关系，其具体表达式如下：

其中，

r(i,j)为大分辨率图像坐标(i,j)处的像素值；

p为影响大分辨率图像坐标(i,j)处像素值的传感器图像编号；

(xp,yp)为传感器图像编号为p的图像地址；

fp(xp,yp)为传感器图像编号为p的像素值；

kp为权重因子。

当实际拍摄的物距和产品设计的物距有一定变化时，获取物距变化带来的相邻投影后图像间的相对位置关系的偏移量，根据该偏移量，对像素映射模块存储的像素映射关系进行修正，获得更新的像素映射关系。

<特写图像生成算法>

本发明中在进行特写图像生成时，首先需要预先确定在压缩分辨率全景图像像素坐标系中特写图像中心像素坐标点f(i，j)和特写图像放大倍数α，以及全分辨率全景图像输出分辨率a×b。所述特写图像中心像素坐标点的确定可以通过三种方式获得：一种方式是根据全景图像预先设定特写图像中心像素坐标点的位置；另一种方式是通过操作者在浏览图像时实时指定特写图像中心像素坐标点的位置；另一种方式也可以是通过智能识别单元给出特写图像中心像素坐标点位置。所述特写图像放大倍数α可以使通过预先确定或者操作者在浏览图像时进行实时指定。

将特写图像中心像素坐标点f(i，j)转换为全分辨率全景图像坐标系中相应的特写图像中心像素坐标点位置f(i'，j')，然后根据特写图像放大倍数α和全分辨率全景图像输出分辨率a×b确定全分辨率特写图像的像素范围，即以特写图像中心像素坐标点位置f(i'，j')位置出发全分辨率特写图像的像素的上下左右四个边界的像素数分别是j'-a/2α、j'+a/2α、i'-b/2α、i'+b/2α。

根据全分辨率特写图像的像素范围确定该范围内所涉及的全部的窄视场长焦成像子单元，将该全部窄视场长焦成像子单元所形成的图像进行复眼图像重建，即得到特写图像的全分辨率图像。

本发明中所预先确定的目标像素点也可以设定在压缩后全景图像像素坐标系中特写图像最左上角位置像素坐标点g(i，j)，则以该坐标点出发发全分辨率特写图像的像素的最右及最左边界的像素数分别为i'+a/α、j'+b/α。同理，本发明中也可以预先确定目标像素点是最右下角的像素坐标位置，或最左下角，或最右上角的。

设压缩图像输出分辨率为a×b，所述压缩图像输出分别率即将图像重建单元形成的全分辨率图像进行压缩而输出的用于监控系统显示设备显示的图像分辨率，例如，其可以是4k，1080p或720p等等。本发明中特写图像中心像素坐标点f(i，j)的选取不能超出压缩图像输出分辨率为a×b所限定的范围，即全分辨率特写图像中心像素坐标点位置f(i'，j')中，i'应至少大于或等于a/2，j'应至少大于或等于b/2。

<人工智能分析算法和图像数据结构化算法>

本发明中通过对复眼成像单元采集到的图像/视频和物联网传感各类信息进行综合的智能分析，利用大数据分析、机器学习、模式识别等现有技术，对图像/视频中的热点目标进行追踪和分析，并出分析结果。如包括场景中的车牌号码、车辆类型、人员数量、车辆行为、人员行为、人脸识别数据及报警、物体运动数据及过界、温度数据及温度过高等的模块。同时利用视频内容信息处理技术，基于大数据、深度学习、人工智能等技术手段以及人工干预、物联网采集数据关联等方法对视频内容按照语义关系，采用时空分割、特征提取、对象识别最终组织成可供计算机和人类理解的结构化数据信息，实现最大限度的提取非结构化的视频数据，将更多有效信息提取转化为人和机器可理解的结构化或者半结构化情报信息，并提供标准便捷对外接口供其他专业行业领域所用的情报数据，实现视频数据向信息化、情报化的方向转化，达到视频感知世界的目的。

本发明的其它特征和优点将在随后的具体实施方式中进一步的阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明第一实施例的系统结构图；

图1a是根据本发明第一实施例的方法流程图；

图2是根据本发明第二实施例的系统结构图；

图2a是根据本发明第二实施例的方法流程图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。需要进一步说明的是，本发明所列举的实施例中所述的各个单元模块，既可以是具体的装置模块，也可以是存储在存储介质中便于处理器进行执行的，能够达到相应技术效果的程序模块。

第一实施例

图1是根据本发明第一实施例系统结构图。图1a是本发明第一实施例中全景图像及特写图像输出方法流程图。下面结合图1和1a对本方法进行说明。

本实施例中的智能监控系统用于对场景火灾的发生进行监测。本实施例中的复眼成像单元1采用9×9个窄视场长焦成像子单元10构成阵列，每个窄视场长焦成像子单元的焦距为75mm，视场角为25°，输出图像的分辨率为1080p。该复眼成像单元的整体带宽36mbps。将全部9×9个窄视场长焦成像子单元10所拍摄的81路1080p主、子码流输入复眼图像重建单元20，经过存储、解码、坐标变换、尺度变换、拼接、融合、裁切及编码输出得到全分辨率下的全景图像，该图像分辨率为162000×7500。将全分辨下的全景图像输入图像转换压缩单元23输出预定格式分辨率的压缩分辨率全景图像，例如本实施例中将全分辨率全景图像转换为1080p@25fps/30fps分辨率图像。

复眼成像单元1通过连续拍摄并通过复眼图像处理单元2的处理得到的全景图像视频数据流输出给数据分析单元4的视频分析ai模块41，视频分析ai模块41识别出场景中移动的红色景物，数据分析单元4的控制指令模块43生产图像获取指令及相应成像参数并传送至复眼图像处理单元2。

本实施例中，特写图像的中心像素坐标点即选取的红色景物的图像中心点，特写图像放大倍数为预先设定数值。随后，根据特写图像中心像素坐标点f(i1，j1)进行分辨率转换得到相应的全分辨率下的特写图像中心像素坐标点f(i'1，j'1)，根据全分辨率下的特写图像中心像素坐标点f(i'1，j'1)及图像放大倍数α得到该特写图像取景范围，例如左上(i'1-960，j'1+540)，右下(i'1+960，j'1+540)矩形范围内的所有像素，而该像素范围内所对应的窄视场长焦成像子单元10为：

其中lx,y即指复眼成像单元1中第x行，第y列的窄视场长焦成像子单元10，将上述阵列中所涉及的全部窄视场长焦成像子单元10所成图像输入复眼图像处理单元2进行图像拼接和裁剪，然后将得到预定格式分辨率的压缩分辨率特写图像，例如本实施例中将全分辨率特写图像转换为1080p@25fps/30fps分辨率图像。特写图像的视角数量可以是多路的，且可预先设定的。

此时，本发明的智能监控系统即可同时输出全景图像及特写图像，并且保证全景图像及特写图像同为1080p@25fps/30fps高清分辨率，输入总数据带宽为36mbps，输出带宽8mbps。本发明该实施例中不同于现有技术中其他的特写图像获取方法，本实施例中采用直接将复眼成像单元中涉及特写图像的子单元所成图像进行拼接，其图像处理效率得到了明显的提高。

复眼图像处理单元2按照红色景物的坐标取出的特写图像视频数据流被再次传输数据分析单元4的视频分析ai模块41，视频分析ai模块41进行识别，若经过图像识别其识别结果是疑似火情时，控制指令模块43生成物联网传感器开启信号，由数据输入单元3中的物联传感器数据33将红色移动物体所在位置的辐射温度传感器采集的温度信息传输物联网智能分析模块42，物联网智能分析模块42根据来自于特写图像视频数据流的红色报警信息和来自于物联网温度传感器的的温度信息进行综合逻辑判断，给出该红色景物的火情判断信号。并由控制指令模块43控制数据输出单元5输出全景图像视频流、特写图像视频流和火情判断信号给ai实时分析系统及事件响应系统6。

第二实施例

图2是根据本发明第二实施例系统结构图。图2a是本发明第一实施例中全景图像及特写图像输出方法流程图。下面结合图2和2a对本方法进行说明。

本发明提出的第二实施例是应用于车辆监控。与第一实施例相同地，本实施例中的复眼成像单元1采用9×9个窄视场长焦成像子单元10构成阵列，每个窄视场长焦成像子单元的焦距为75mm，视场角为25°，输出图像的分辨率为1080p。该复眼成像单元的整体带宽36mbps。将全部9×9个窄视场长焦成像子单元10所拍摄的81路1080p主、子码流输入复眼图像重建单元20，经过存储、解码、坐标变换、尺度变换、拼接、融合、裁切及编码输出得到全分辨率下的全景图像，该图像分辨率为162000×7500。将全分辨下的全景图像输入图像转换压缩单元23输出预定格式分辨率的压缩分辨率全景图像，例如本实施例中将全分辨率全景图像转换为1080p@25fps/30fps分辨率图像。

首先，数据输入单元3中的物联传感器数据33将地感线圈检测到的车辆通过信号传递给数据分析单元4，控制指令模块43控制复眼成像单元1开始视频拍摄。

并根据车辆通过信号的发生车道，控制指令模块43控制复眼图像处理模块2取出复眼成像的特写图像视频数据流。由控制指令模块43根据识别出的车辆图像中心坐标点作为特写图像中心像素坐标点f(i识别，j识别)。将特写图像中心像素坐标点f(i识别，j识别)进行分辨率转换得到相应的全分辨率下的特写图像中心像素坐标点f(i'识别，j'识别)，根据全分辨率下的特写图像中心像素坐标点f(i'识别，j'识别)及图像放大倍数α得到该特写图像所对应的窄视场长焦成像子单元10为：

其中lx,y即指复眼成像单元1中第x行，第y列的窄视场长焦成像子单元10，将上述阵列中所涉及的全部窄视场长焦成像子单元10所成图像输入复眼图像处理单元2进行图像拼接和裁剪，然后将得到预定格式分辨率的压缩分辨率特写图像，例如本实施例中将全分辨率特写图像转换为1080p@25fps/30fps分辨率图像。

将特写图像视频传输给视频分析ai模块41，视频分析ai模块41对视频图像进行分析得到结构化的数据，包括该车辆的车牌号码、车标、颜色、车型、车辆行进方向以及车辆是否否闯红灯等，并把视频和该结构化数据传输给单元5，数据传输给单元55将全景图像视频数据流、特写图像视频数据流+结构化数据传输给ai实时分析系统及事件响应系统6，ai实时分析系统及事件响应系统6发现a，b两地同时出现了同一个车牌，判断出疑似伪造牌照车辆出现。再根据a，b两地特写流+车辆行进方向的结构化数据，传输指令给a,b两地车流方向下一个复眼智能监控系统的数据输入单元3的上级ai分析数据34，并指令下一个智能复眼监控系统确认该疑似伪造牌照车辆的信息，在下一个智能复眼监控系统中按照上述相同的流程得到疑似伪造牌照车辆的确认信息，并输出给ai实时分析系统及事件响应系统6，ai实时分析系统及事件响应系统6根据确认的疑似伪造牌照车辆信息及相关数据(如违法信息、车型、车牌号、车身颜色等)传递给a、b两地的下一个或多个交通检查站，对该疑似伪造牌照车辆进行人工检查。

以上是从本发明构思出发所列举的部分实施方式，对本领域技术人员而言，可以容易的地理解，基于本发明构思的其他的实施方式均应该包含在本发明的保护范围之内，包括但不限于对发明所列举的实施例的组合。