一种基于鱼眼镜头摄像机的监测装置及监控系统的制作方法

本发明涉及图像处理领域，具体涉及一种基于鱼眼镜头摄像机的智能全景三维位置监测装置及监控系统。

背景技术：

随着信息技术、数据通信传输技术、电子传感技术、计算机技术等技术的发展，智能交通系统日益受到各国重视，智能交通系统的发展，已不限于解决交通拥堵、交通事故、交通污染等问题。智能交通系统能有效地利用现有交通设施去减少交通负荷，保证交通安全，提高运输效率，为交通参与者提供多样性服务，使人、车、路之间的相互作用关系以全新的方式呈现，智能交通系统是建立在完善的信息网络基础上的，通过传感器、检测器和传输设备等向交通信息中心传递道路上的实时交通信息，交通信息中心对传输进来的数据进行处理，根据处理后的信息对道路交通进行测量、控制、勘测等。

在民航领域，随着国民经济的快速发展，各大机场航空器的起降架次不断增多，甚至达到或超出了设计的最大允许起降次数，造成跑道侵入事件等安全隐患时有发生，对航空安全带来重大威胁。所以同样需要一种可以在不改变原有设备的前提下可以对跑道上飞机行为进行智能全方位监测和预警的系统。

基于视频检测技术的智能交通系统，可以通过将摄像机安装在路灯上或另外架设在道路或机场跑道上的摄像机来获取道路交通视频图像。但是传统的一般镜头，视场较小，使用较少的镜头难以拍摄得到大面积的视频，而使用鱼眼镜头摄像机，虽然可以获得较大的视场，但是标定难度较高，同时较为不便。

技术实现要素：

本发明的第一目的在于，提供一种基于鱼眼镜头摄像机的监测装置，安装时就可以建立鱼眼镜头与地面坐标系的位姿关系，减少标定成本，解决以上技术问题；

本发明的第二目的在于，提供一种基于鱼眼镜头摄像机的智能全景三维监测系统，安装后可以直接标定相邻检测装置上鱼眼镜头摄像机的相对位姿关系。

本发明所解决的技术问题可以采用以下技术方案来实现：

为了实现本发明的第一目的，提供一种基于鱼眼镜头摄像机的智能全景三维监测系统，包括壳体以及鱼眼镜头摄像机，

所述壳体内部设置有惯性传感器以及核心处理模块、无线传输模块，所述惯性传感器包括所述三轴陀螺模块、所述磁力计模块、所述三轴加速度计模块，所述惯性传感器固定于所述壳体内部，所述惯性传感器模块与所述鱼眼镜头摄像机之间有第一相对位姿关系，

所述三轴陀螺模块用于确定所述惯性传感器于大地坐标系中的第一绝对姿态；

所述磁力计模块用于确定所述惯性传感器于大地坐标系北向的第一方向关系；

所述三轴加速度计模块用于确定所述惯性传感器与大地坐标系的水平面的第一倾斜关系；

所述处理模块配置有第一策略，所述第一策略根据所述第一绝对位姿、所述第一方向关系以及所述第一倾斜关系得到所述惯性传感器与所述大地坐标系中的第二相对位姿关系；

所述处理模块配置有第二策略，所述第二策略根据所述第一相对位姿关系以及第二相对位姿关系得到所述鱼眼镜头摄像机于大地坐标系中的第三位姿关系；

每一所述监测装置的所述壳体内部分别设置有GPS模块，所述GPS模块用于接收GPS位置信息和GPS时间信息；

所述监测装置根据其接收的GPS位置信息确立对应的绝对位置；

所述监测装置根据其接收的GPS时间信息建立对应的时间基准。

为了实现本发明的第二目的，提供一种基于鱼眼镜头摄像机的智能全景三维监测系统，其特征在于，包括有至少两个相邻设置的上述的基于鱼眼镜头摄像机的监测装置，所述智能全景三维监测系统配置有第三策略，所述第三策略分别根据每一所述鱼眼镜头摄像机与地面坐标系中的第三位姿关系，得到相邻的所述鱼眼镜头摄像机的相对位姿关系。

进一步地，所述监测装置还包括无线模块，相邻的所述监测装置通过所述无线模块完成组网。

进一步地，还包括一校验车，所述校验车设置有一预标定校验图形；所述智能全景三维监测系统配置有第四策略，所述第四策略包括当所述校验车运动时，相邻的所述监测装置同步采集预标定校验图形以修正对应的所述相对位姿关系。

进一步地，还包括一校验车，所述校验车设置有一预标定校验图形；所述智能全景三维监测系统配置有第五策略，所述第五策略包括当所述校验车运动时，所述监测装置采集预标定校验图形以修正对应的所述预标定内参数。

进一步地，还包括处理中心，每一监测装置通过无线模块与所述处理中心通讯以传输所述监测装置采集的图像数据；所述处理中心接收图像数据并根据所述相对位姿关系拼接对应的相邻监测装置采集的图像数据形成第一图像数据。

进一步地，所述处理中心配置有第六策略，所述第六策略根据所述相对位姿关系计算获得所述第一图像数据中任一特征点的深度值。

进一步地，所述监测装置还设置有结构光投射器。

进一步地，当目标同时位于多个相邻监测装置视场中时，所述处理中心配置有第七策略，所述第七策略根据多个监测装置的三角定位结果进行平差。

进一步地，当用于平面道路监测时，所述处理中心配置有第七策略，所述第七策略利用道路的平面约束。

有益效果：由于采用以上技术方案，系统主体由多个独立的监测装置和专用的标校车组成。与传统的图像监测系统在安装完成后需要进行标定的方式不同，本发明中设计的监测装置只需安装并固定在普通的路灯或直接固定在机场跑道上即可，而无需进行复杂的专业的标定工作，从而大大提高了系统的便捷性和实用性。

附图说明

图1为本发明实施例1的监测装置结构示意图；

图2为本发明实施例2中的小车标定场景图；

图3为本发明实施例3中的小车标定场景图；

图4为本发明实施流程图。

附图标记：1、鱼眼镜头摄像机；2、差分GPS模块；3、三轴陀螺模块；4、磁力计模块；5、加速度计模块；6、无线通讯模块；7、电源模块；8、结构光投射器；9、处理模块；10、壳体。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例1为监控装置，首先，参照图1所述，一种基于鱼眼镜头摄像机1的智能全景三维监测系统，包括壳体10以及鱼眼镜头摄像机1。

所述壳体10内部设置有惯性传感器以及核心处理模块9、无线传输模块，所述惯性传感器包括所述三轴陀螺模块3、所述磁力计模块4、所述三轴加速度计模块5，所述惯性传感器固定于所述壳体10内部，所述惯性传感器模块与所述鱼眼镜头摄像机1之间有第一相对位姿关系，

所述三轴陀螺模块3配置有表示所述惯性传感器所在位置的第一绝对位姿；

所述磁力计模块4用于确定所述惯性传感器于大地坐标系的水平面上的第一方向关系；

所述三轴加速度计模块5用于确定所述惯性传感器与大地坐标系的水平面的第一倾斜关系；

所述处理模块9配置有第一策略，所述第一策略根据所述三轴陀螺模块3的所述第一绝对位姿、所述第一方向关系以及所述第一倾斜关系得到所述惯性传感器于一地面与所述大地坐标系中的第二相对位姿关系；

所述处理模块9配置有第二策略，所述第二策略根据所述第一相对位姿关系以及第二相对位姿关系得到所述鱼眼镜头摄像机1于地面坐标系中的第三位姿关系。

所述监测装置设置有温控器、散热装置以及散热孔，所述温控器根据环境温度驱动散热装置工作。每一所述监测装置的所述壳体10内部分别设置有差分GPS模块2，所述差分GPS模块2用于接收GPS时间信息；所述监测装置根据其接收的GPS时间信息建立对应的时间基准。所述监测装置还设置有结构光投射器。

参照图1所示，智能全景三维监测单元的组成结构如图2所示，单个监测装置主要包括鱼眼镜头摄像机1、差分GPS模块2、三轴陀螺模块3、磁力计模块4、加速度计模块5、无线通讯模块6、电源模块7、结构光投射器8、处理模块9，壳体10。其中，壳体10是上述各个模块的，它的外部固定鱼眼镜头摄像机1，壳体10内部固定有差分GPS模块2、三轴陀螺模块3、磁力计模块4、加速度计模块5、无线通讯模块6、电源模块7、结构光投射器8、智能核心处理器模块。如图1所示，鱼眼摄像头向下设置并安装，用来拍摄路面。由于本装置需要长期暴露在室外，因此需要添加特别的防护单元，防护单元包含一个防护外壳以及温控器，防护外壳安装在三维重建成像系统外壳外面，作为优选的，在防护外壳的一侧安装一个温控器，在右侧开设散热装置以及散热孔。由于鱼眼摄像头具有较广阔的实业，本发明优选视场角为210度的鱼眼摄像头，可以用来获取大视场范围内的监测视频信息，大大降低智能交通系统的成本。

而接下来对监测装置的功能原理进行解释，鱼眼镜头摄像机1用来拍摄道路或机场跑道视频图像，差分GPS模块2用来测量基线长度以及提供相邻像机间的时间同步，三轴陀螺模块3、磁力计模块4、加速度计模块5用来标定相邻鱼眼像机的位姿关系，无线通讯模块6用来传输视频图像至交通信息中心，方便交通信息中心对视频图像的监管，电源模块7用来提供系统装置电源；结构光投射器8为优选方式，用于对精度要求高的场合，结构光投射器8作为专门的光源可以提供目标物体周围的照明，在没有外界光源或外界光源不足的条件下，鱼眼摄像机也能工作，在有外界光源的条件下，结构光能增强立体信息，从而使鱼眼摄像机获得的三维深度图像更加精确，因此，在实际应用当中，可以根据具体的环境，来选择是否使用结构光投射器8。处理模块9，用来实现所有模块的控制和数据的处理。

本发明的优势即为只需将本发明装置固定安装在路灯上即可完成测量任务，固定安装之后各监测装置的排列关系以及内外部参数为固定的，其中，各监测装置的内参与实际使用时的安装操作无关，需要在出厂时进行统一的初标，或者当设计条件优良时也可统一采用理论值，也就是说，每一监测装置的预标定内参数已知，而监测装置的外参由于与实际的安装相关，所以无法事先确定，需要利用特定的技术手段进行自动标定。这样，在后续对拍摄的视频图像进行处理时，就可以地将不同鱼眼像机获得的目标信息投影到共同坐标系下，而这个共同坐标系，在本发明中选为地面坐标系，无论安装位置如何变化，地面坐标系是不会发生改变的，从而实现三维测量的目的。

预标定内参数的获得，在监测装置安装前，需要首先分别对每个监测装置的内参进行标定，尤其是监测装置中鱼眼摄像机的标定。鱼眼摄像机的内参标定方法有多种，比如模型法，Ocam法等，在此不做赘述。其中模型法首先需要标定出鱼眼镜头的投影方法，几种常见投影方法有体视投影、等距投影、等立体角投影、正交投影等，此外，还需要标定出成像半径以及成像中心坐标(c_x,c_y)。而对于Ocam标定法，则需要标定出拟合假想曲面的多项式系数，成像中心坐标(c_x,c_y)以及仿射变换系数获得预先标定内参数。

为了对监测装置的外参进行自动标定，本发明通过借助GPS模块、陀螺模块、磁力计模块4以及加速度计模块5来间接的对监测装置的外参进行标定，这就需要事先标定出这些模块自身坐标系与鱼眼摄像机坐标系之间的关系。可以通过采用类似于机器人手眼标定的方法，通过多次转动监测装置装置(并静置一段时间，以通过取平均值来消除测量噪声的影响)的方法，标定出鱼眼摄像机坐标系与陀螺组坐标系之间的关系，也就是第一相对位姿，再通过陀螺组与磁力计的数据获得三轴陀螺模块3与磁北极的位姿关系，通过三轴陀螺模块3与重力加速度计数据获得三轴陀螺模块3与水平面的位姿关系，即可以获得陀螺仪坐标系与大地坐标系之间的关系，也就是第二相对位姿，将大地坐标系作为基准坐标系，就可以得到鱼眼镜头摄像机1相对于大地坐标系的第三相对位姿，就可以间接计算出相邻监测装置的陀螺组之间的位姿关系，从而可以获得相邻两个鱼眼摄像机的相对位姿关系。

另，GPS实现相邻监测装置之间的时间同步，从而达到所有检测装置时间同步的目的。同步控制模块通过定期与接收的GPS时间对比进行校正，在每一个PPS脉冲边沿，把接收到的定位数据(包括时间)和交通信息中心的系统时间对应起来。这样，交通信息中心的系统时间就可以和GPS的UTC时间对应，每个三维重建成像系统都和GPS的基准时间对应，则整个系统的时间就可以对应起来，即可完成不同鱼眼摄像机之间的同步。

在实施例2中，一种基于鱼眼镜头摄像机1的智能全景三维监测系统，其特征在于，包括有至少两个相邻设置的上述的基于鱼眼镜头摄像机1的监测装置，所述智能全景三维监测系统配置有第三策略，所述第三策略分别根据每一所述鱼眼镜头摄像机1于地面坐标系中的第三位姿关系，得到相邻的所述鱼眼镜头摄像机1的相对位姿关系。差分GPS模块2可以确定相邻的鱼眼镜头摄像机1的相对位置。所述监测装置还包括无线模块，相邻的所述装置通过所述无线模块完成组网。还包括处理中心，每一监测装置通过无线模块与所述处理中心通讯以传输所述监测装置采集的图像数据；所述处理中心接收图像数据并根据所述相对位姿关系拼接对应的相邻监测装置采集的图像数据形成第一图像数据。安装本系统装置，保证监测区域中的点能同时被两个鱼眼镜头摄像机拍摄到，并获取道路或机场跑道视频图像。

处理中心配置算法用于深度学习，深度学习是机器学习的一个新的研究领域，它试图通过让计算机模拟人脑感知视觉信号的机制，进而设计深层的网络来实现视觉的功能。深度学习可以无监督地从数据中学习到特征，因此，当样本足够大时，通过深度网络学习到的特征往往具有一定的语义特征，适合用于目标的识别、跟踪，行为分析等等。深度学习的优点在于模型的表达能力强，能更好地处理目标识别、行为分析等比较复杂的问题，学习到更加复杂的函数关系。本发明基于深度学习的目标识别系统，通过采集和利用大量道路或机场跑道上的样本(比如行人、车辆、飞机等)，训练深度神经网络，然后对无线传输模块传回的视频图像进行目标识别、跟踪。

以下对第六策略进行解释说明，处理中心配置有第六策略，所述第六策略根据所述相对位姿关系计算获得所述第一图像数据中任一特征点的深度值。通过深度学习网络对道路或机场跑道上的目标进行识别分类，然后提取我们感兴趣的目标进行三维重建。获得行人、车辆的三维信息或深度信息具有重要意义，比如用来检测、勘测交通事故、违规现象等。

本发明根据三角测量法来推断出目标的每个特征点的深度。鱼眼摄像机标定之后，我们可以得到每个摄像机的投影矩阵P，设一对特征点匹配对的坐标分别为(x_i,y_i)、(x_j,y_j)，根据三角测量法有：

同理，X为横坐标值，Y为纵坐标值，而p_ij(i,j为1-3)则代表对应标号的投影矩阵，坐标点(x_j,y_j)也可以得到一组方程，令W＝1，用常规的最小二乘法求解即可计算出特征点的三维坐标值，其中Z值即为该特征点的深度值，最终我们可以获得感兴趣目标的三维信息。

当内参的事先标定和外参的自动标定完成后，为了进一步提高测量精度，也为了对标定结果定期修正，可以在三维监测装置安装完成后，通过在路面上开行特定的标定检校车来对所标定的结果进行检校修正，检校车的顶部为已知几何物理关系的平面或立体标志物，如图2-3所示。所述系统还包括一校验车，所述校验车设置有一预标定校验图形；所述智能全景三维监测系统配置有第四策略，所述第四策略包括当所述校验车运动时，相邻的所述监测装置同步采集预标定校验图形以修正对应的所述相对位姿关系。还包括一校验车，所述校验车设置有一预标定校验图形；所述智能全景三维监测系统配置有第五策略，所述第五策略包括当所述校验车运动时，所述监测装置采集预标定校验图形以修正对应的所述预标定内参数。

还包括处理中心，每一监测装置通过无线传输模块与所述处理中心通信以传输所述监测装置采集的图像数据、位置数据、姿态数据；所述处理中心接收各监测装置的图像数据、位置数据、姿态数据、监测装置ID数据并根据所述相邻监测装置间的相对位姿关系利用三角定位方法求解公共视场内同名目标的三维空间位置。当目标同时位于多个(大于2个)相邻监测装置视场中时，所述处理中心配置有第六策略，所述第六策略根据多个监测装置的三角定位结果进行平差，从而提高测量精度。当用于平面道路监测时，所述处理中心配置有第七策略，所述第七策略利用道路的平面约束，进一步提高测量精度。

以下对小车标定的原理进行说明，通过上述过程获得的相邻鱼眼摄像机的位姿关系可能存在一定误差，或者标定数据由于外界环境的影响有了缓慢的变化(例如由于四季变换而产生的温度变化引起的热胀冷缩等)，因此需要对监测装置进行进一步的修正。

在校验车上搭载一块平面标定板，通过同步控制模块对处于相邻鱼眼摄像机公共视场内的校验车进行成像，则两个相邻鱼眼摄像头的位姿关系可以通过以下方法进行修正：

假设P＝[X Y 0 1]^T为平面目标的齐次世界坐标,p＝[u v 1]^T为对应的目标像点齐次坐标，为鱼眼摄像机内参数矩阵，R为像机坐标系相对于世界坐标系的旋转矩阵，t为像机坐标系相对于世界坐标系的平移向量，由透视投影模型可知：

sp＝K[R t]P

(1)

进一步可以得到：

其中，K为事先标定的鱼眼摄像机内参矩阵，对于每个特征点都可以获得上述等式，因此多个特征点就可以获得多个等式，最终，根据校验车上的平面标定板的特征点，可以求出[r₁ r₂ t]，即可达到对R和t进行修正的目的，多个相邻监测装置之间还可以通过联合平差的方法进一步提高修正的精度。

实施例2应用于安装在高速公路两旁，用来勘测该地区的交通状况。将本发明系统固定在高速公路两旁的路灯上，并对鱼眼摄像机进行标定。拍摄高速公路的视频图像，并通过无线传输模块实时传回交通信息处理中心。用本专利方法对传输回来的视频图像进行处理和分析。输出处理结果，实现对道路交通进行勘测、监测，对交通个体识别、跟踪以及行为分析等目的。

实施例3应用于安装在机场跑道两旁的指示灯上，用来监测机场区域的各类飞行器起降、机场跑道非正常目标的侵入等。将本发明系统固定在机场跑道两旁的指示灯或其他合适的地方，并对鱼眼摄像机进行标定。拍摄机场区域的视频图像，并通过无线传输模块实时传回交通信息处理中心。对传输回来的视频图像进行处理和分析。输出处理结果，实现对机场起降区域进行勘测、监测，对各类飞行器、人员、车辆等相关个体的识别、跟踪以及行为分析等目的。

参照图4所示，对本发明的监测系统实施流程进行介绍，

1、根据实际情况选择对应的功能模块以及在交通信息处理中心以及检测装置内通过程序预置算法；

2、对监测装置进行内参标定工作，优选采用Ocam法标定出每个鱼眼摄像机的内参数；

3、将本装置安装在选定道路或机场跑道两旁的路灯或杆体上；其中，用于道路交通监测时摄像头朝下安装，用于机场跑道飞行器监测时摄像头朝上安装；

4、利用无线通信的方式进行相邻监测装置连接组网；利用稀疏信号处理技术对各测量单元进行智能休眠调度，达到节能、延长使用寿命的目的；

5、进行外参标定，标定出鱼眼摄像机和对应的陀螺组的位姿关系，然后标定出陀螺组与大地坐标系之间的关系，从而可以间接获得相邻陀螺组坐标系之间的关系，最终获得相邻鱼眼摄像机之间的位姿关系；

6、利用校验车(车顶搭载一块特定的平面标定板)在道路或机场跑道上行驶一趟或多趟，各相邻监测装置通过同步控制模块对相邻鱼眼摄像机公共视场内的校验车进行成像，从而对前面标定得到的内参和外参进行修正；

7、采集道路或机场跑道视频图像，通过无线传输模块传回交通信息处理中心，利用分析处理软件对视频图像进行分析；

8、对视频图像中的目标进行识别、分类、跟踪算法；

9、对感兴趣的目标进行特征提取并获得相应的特征点匹配对集合，三角测量法，获得每个特征点的深度值，最终可以获得感兴趣目标的三维信息。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。