一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法与流程
本发明涉及一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法，可通过骨架点的局域动态更新实现对大范围场景的三维全局可视化监控，属于计算机视觉领域。
背景技术：
大范围三维场景的三维全局可视化监控是计算机视觉领域的一个热门研究方向，它在工业监控、遗迹考古、虚拟现实等许多领域都有着广泛的应用前景。作为基础配套设施，目前各大工厂、变电站以及一些公共设施，均部署了摄像机，数量从几个至上百个不等，用以监控现场各部分是否正常运转，但目前的监控图像均为人力完成，而摄像机获取的二维图像对于场景信息损失较大，且与场景关联度较低，对于值守人员和管理者来说，不停地观看如此海量的视频信息是一个很大负担，也是一个不可持续的工作。但如果通过机器视觉的方法，将这些摄像机拍摄的图像实时重建为一个与真实的场景相似的三维空间，通过监控重建后的三维模型，实时了解场景内的动态，这样便能极大地减少工作人员的工作量，又能比较真实地掌握现场情况，还可以及时发现现场可能存在的问题，及时做出响应。
针对这些问题，近几年来，随着计算机视觉的发展，基于移动平台（车载式）的多摄像机区域巡视构建三位场景的技术及软件系统逐渐发展起来。但是，由于其建立整个三维场景需要对整个场景区域巡视，才能采集全部的图像数据采集，对于大范围三维场景，耗时较长，不能在较短的时间内实现整个三维场景的重建，更不能满足三维场景实时更新的要求，而且没有充分利用现场已有的多个摄像机视频信息。但利用现场已有的多个摄像机视频信息进行三维重建，又只能实现现场局部的三维场景快速重建，而不能获得全局三维地图，如果对局部信息进行三维点云拼接获得全局动态三维地图，又不能满足实时更新的需求。针对以上问题，本方案结合移动机器人的场景重建方法，并提出了一种基于骨架点匹配实现的三维场景重建方法。
技术实现要素：
本发明提供一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法，该方法通过立体视觉的三维重建技术，采用基于多摄像机的立体视角，结合移动机器人的区域性三维重建技术，并采用局域差异更新的方法，实现大范围场景下实时三维全局可视化监控。为了方便对变电站各个摄相机所采集的图像的区域进行识别以及对局部场景的重建，因此，在变电站各相机的视野范围区域加上人工标记的编码圆作为骨架点，用以识别区域位置。本发明的技术方案如下：一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法，该方法主要包括：
（1）移动车载式摄像机三维场景重建系统：主要包含移动机器人平台及其所承载的阵列摄像机（相机），主要完成固定监控现场摄像机无法重建的局部区域重建；
（2）大范围多视角场景三维重建系统：主要由场景中含公共视野的多个固定放置的摄像机（相机）构成，主要完成固定监控区域的场景三维重建；
（3）骨架点三维定位及匹配系统：主要由有场景中人为设置的编码标记、场景中固定放置的摄像机及移动机器人承载的阵列相机共同构成，主要完成场景中骨架点的三维定位，以及如上（1）及（2）重建后的三维场景融合。
本发明的技术方案如下：一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法，本方案包括离线全局三维场景地图重建和在线三维场景区域准实时更新两部分。离线三维场景重建部分是基于移动车载式摄像机和监控现场摄像机共同实现，实现对固定监控区域重建，移动车载式摄像机实现其他区域重建，二者同时采集图像中的编码骨架点进行提取和编码识别，并对骨架点进行三维重建，将局域骨架点的坐标值转换到全局坐标系下。最后，结合局域三维重建的结果和骨架点在全局坐标系下的位置，将各局域三维重建的地图进行拼接和融合，从而实现静态全景三维地图的重建。同时通过场景中固定放置的摄像机采集的图像帧进行局域性三维动态更新。主要工作流程包括以下步骤：
（1）大范围多视角场景三维重建：此步骤主要基于场景中固定放置的摄像机（相机），完成图像采集、大体区域三维重建、骨架点提取；
（2）移动机器人视角场景三维重建：此步骤主要完成移动机器人承载的阵列摄像机标定、图像采集、局域三维重建、移动机器人视角骨架点提取；
（3）全局坐标系下骨架点三维定位：根据如步骤（1）及步骤（2）所提取到的骨架点，将其对齐归一至全局坐标系下，以便于根据此骨架点重建的三维场景信息融合；
（4）大范围三维场景的实时更新：对于已重建后的三维场景，对场景中固定放置的摄像机采集的图像帧进行图像帧序列分析及局部更新方式，在已建立的三维场景基础之上，进行局域性三维更新，在保证三维场景实时有效的情况下，大幅提升更新效率；
（5）累积误差的控制：主要采用公共视图的重建策略与平差优化方法进行累计误差的控制，以得到鲁棒性更强的三维重建效果；
本发明的有益效果，本发明结合固定放置的多视角摄像机（相机）及移动机器人承载的阵列相机（相机），以完成大范围下实时三维场景重建，并结合局域差异化更新的方法，既获得了场景的全局三维地图，并可对其进行实时更新。
附图说明
图1为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的人工标记点设计示意图；
图2为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的标记点检测流程图；
图3为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的基于公共视图的拍摄方式示意图；
图4为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的基于公共视图的重建方式示意图；
图5为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的三维场景融合示意图；
图6为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的光束法平差效果示意图；
图7为本发明一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法的差异区域最小外接矩形扩展示意图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。
参照图1、图2、图3、图4、图5、图6及图7所示，一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法，主要包括移动机器人视角场景三维重建系统、大范围多视角场景三维重建系统、骨架点三维定位及匹配系统。
大范围场景下实时三维全局可视化监控首先需要完成场景的大范围三维重建，大范围三维重建是一种基于图像数字近景摄影重建技术，利用多张从不同角度拍摄的照片，通过处理被测物体中的特征目标边缘、人工标志等的图像，然后对特征目标图像进行定位来计算出物体空间点准确的三维位置。数字影像要识别这些目标，必须借助于提取构成这些目标的所谓影像的特征。特征提取是影像分析和影像匹配的基础。这些特征可以采用个人工设计的编码标记来区分不同的场景，编码标记以及场景特征点共同构成场景骨架点。编码标记对影像中的每个点给定一个唯一的编码值，具有明显特征的编码标记作为大范围场景的骨架点。
人工标记的编码点按照如图1所示进行设计。人工标志均取白色为前景色，黑色为背景色。标记的内部有一个圆形，圆形的中心即圆心是检测的目标点。编码和非编码点的目标点对应圆的直径一般一致，便于一次性提取编码目标点。编码标记的目标点周围为分段的环状区域，用于对编码点进行编码，惟一确定某个编码点的特征信息，被称为“编码带”。编码标记的“编码带”按角度每24度一份，共分为15份，每份都可等同于一个二进制位。选定逆时针或顺时针的方向作为编码的顺序，编码用二进制位来记录，每一位可以分别取前景或背景色，用二进制码“1”或“0”来表示。
根据图像特征提取算法，提取相机成像后满足标记点特征的圆心的图像坐标。本发明先用canny算子对拍摄图片进行图像分割，提取不同区域的轮廓信息，因为拍摄的圆在图像中呈现为椭圆，然后结合标记点的特征如尺寸、形状及位置分布等特征信息搜索可能的椭圆边界，对于可能的椭圆边界的图像点使用梯度均值法进行亚像素修正，用最小二乘法拟合算法得到椭圆中心和长短轴等信息。对其椭圆边界外围的编码环进行灰度采样，得到编码标记点的编码，如果不存在编码值，则认为是非编码标志点。标记点的检测流程如图2所示。
标记点的匹配方法采用两种解决方案，若对于编码标志，可以在各影像上分别探测编码标志点时予以识别其编码，并给每一个编码标志标识一个id，在不同的图片上具有相同id的点就是同名点。若对于其他标志，采用空间点拓扑结构一致的几何约束来排除一些错误的匹配点。
相机的内部参数（固有参数）可以通过相机标定获得，但在三维重建系统中，除了每个相机的内部参数需要标定之外，必须同时知道每一个相机在全局（世界）坐标下的外部参数。这里将全局坐标系建立在其中一个相机坐标系上，则其他相机的外部参数也就是这两个摄像机之间的姿态和相对位置。相机的外部参数主要用相机平移矩阵和旋转矩阵来表示。
相机平移矩阵量指双目视觉系统中两台相机坐标系之间的相对平移量。根据相机针孔模型和每台相机所建立的坐标，三个平移量所构成的矢量实际上就是第二个相机坐标系的原点在第一个相机坐标系下的坐标值。将全局坐标系建立在第一相机坐标系上。确定相机外部参数包含了两个过程，即相对定向和绝对定向。相对定向指两个相机之间的相对位置和方位信息。绝对定向指的是所有相机坐标系相对于全局坐标系下的位置和方位信息。大范围多视图三维重建往往通过相机之间的相对定向确定两两相机的相对关系，最后通过逐次的坐标变换将所有相机坐标系统一到全局坐标系下，完成绝对定向。
本发明采用编码点来获取左右摄像机的投影矩阵并建立骨架点的三维坐标，除此外，被测物体三维空间结构中往往有许多特征点，确定了这些特征点的三维空间的位置，也就能够大致确定这个物体的三维结构。三维重建主要依据的是三角测量原理，三角测量需要对两帧图像中的同名点进行立体匹配。立体匹配主要是提取多幅图像的特征点，寻求同一被测物体在不同视角下的图像像素之间的匹配对应关系，建立更加精确的匹配关系。本发明采用特征匹配方法，在匹配过程中，利用外极线约束关系，将最小二乘拟合的孔心图像坐标，结合标定数据和极线几何原理进行匹配。如果一个标记点在多于两个相机上成像，利用冗余信息更加精确重建空间点。
在一个重建场景中，以一区域为中心围绕该区域的多个公共点拍摄多帧图像，如图3所示。在拍摄中，使得相机1拍摄的视图
其重建过程如下：根据各个图像公共点的信息，建立图像网络，其中包括多个公共视图组和一个基准视图组；由公共编码点确定各个视图相对公共视图的定向关系；求得各个视图组坐标系下的三维点坐标；找到各个视图组周围未定向成功的相机，若未定向的图像与已定向图像存在公共点（>5个），则通过五点算法进行相对定向并计算它们之间的公共三维编码点，同时用极线几何等实现非编码点的预匹配；将新相机和新三维编码点定向到公共组中；通过各个公共视图组与基准组的公共点，将各个公共视图组进行绝对定向到基准视图组的全局坐标系中。该方法由于公共视图组的区域远大于单组双视图，而公共视图组内定向不存在坐标变换，所以此方法可以大大减少大型物体测量的坐标变换次数，从而减少误差的累积。
本发明采用基于公共视图的重建策略，可以有效降低坐标转换次数，从而使得误差累计变小，有利于提高系统的重建精度。同时，由于固定放置的摄像机的视野存在不能完全覆盖全部待重建区域，或者由于相机之间的公共视野不足而造成的重建效果不好的问题，故在利用场景中固定放置的相机完成大体区域三维重建基础之上，结合移动机器人平台进行局域性三维重建，以对整个大范围的三维场景进行完善，以达到全局三维重建的目的。
移动机器人承载的摄像机阵列包含普通深度相机和普通ccd阵列，通过深度相机获取到低分辨率的深度图，融合普通ccd阵列获取到的场景信息，得到高分辨率的深度图，即场景深度信息。利用得到的场景深度信息；结合相机标定参数及三角测量原理，将深度图映射为场景表面点云并计算表面法线图；运用连续的表面点云图和法线图拼接成一个全局的场景表面模型；针对表面拼接过程中icp算法迭代效率低的问题，使用一种在多个尺度表面下从粗到细地优化迭代拼接过程的方法；为了解决icp非线性优化计算时间效率低下的问题，提出利用两个连续表面之间相对运动较小的特性，将拼接过程中的非线性优化问题近似转变成线性优化问题，从而提高优化阶段计算时间效率；最后，结合gpu并行计算能力，将以上步骤进一步加速，实现了实时的基于移动机器人平台快速大范围三维场景重建。
对于使用固定放置的相机重建的三维场景以及机器人平台重建的三维场景，通过骨架点三维定位将其融合成全局三维场景，具体示意图如图5所示。其中，py是通过机器人平台承载相机获得的场景中的关键点，其余p1、p2、pi、以及px、pz等为固定放置相机获取到的场景关键点（骨架点），在机器人的视区内，通过三维重建，可获得该视区的三维场景信息以及px、py、pz等关键点的位姿关系，而同时，对于如多边形内部已经重建完成的大体区域的三维场景，px、pz的全局坐标为已知，故通过px、py、pz等关键点（骨架点）的相对位姿关系，可以获得机器人平台重建的三维场景与固定放置相机重建的三维场景的对应关系，并利用其完成场景信息的融合。
对于三维重建过程中不可避免地出现的累积误差，本发明采用先重建再优化的方法，对重建精度调整。主要采取光束法平差的方法，摄像机在不同位置多次拍摄，通过近景摄像测量中的光束法平差，可以精确求出全局坐标系下的这些标志点的坐标。平差方法是通过泰勒展开将非线性方程线性化，将以待求解量为未知数的非线性问题转化为在给定初值的情况下以待求解量的修正量为未知数的线性问题，从而可以使用各种针对线性问题的成熟的算法，如最小二乘等算法解决问题。在成像测量任务中，光束法平差方法以空间物点的成像共线方程为平差约束条件的优化算法，先求得待测参数的初始值，代入目标函数，不断调整待测参数多次迭代，使目标函数余差不断减小，从而求得待定参数的最优值，其示意图如图6所示。
本发明采用的自检校光束法平差。与一般的光束法平差的区别是：一般的光束法平差是基于共线条件方程，把像点坐标、待测点像点坐标以及其它业内外测量数据的全部或者部分作为观测值，代入误差方程中整体地同时求解的解算方法。而自检校光束法平差还将相机内参数，以及畸变参数也作为未知数代入误差方程中同时优化。无需额外的附加观测用自检校光束平差法就可实现系统误差的自动补偿和精确求解。
由于静态全局三维场景是在固定摄像机三维重建结合移动机器人平台三维重建的基础上获得的，根据监测需求，实时监测的区域肯定是固定安置了摄像机的，所以场景的更新也主要是针对其主要监测区域（固定摄像机的视区），对于部分需要更新的区域采用移动机器人平台三维场景局域更新的方式，其主要方法和固定摄像机三维更新一致。
对于大范围三维重建场景的更新是在全局静态地图上构建局域的动态三维地图。通过现场多台摄像机获取到不同区域的图像信息，对于每台相机采集的图像信息，将采集的图像序列中的后一幅图像与前一幅图像作对比，如果，后一幅图像中与前一幅图像中的场景事物存在差异，则表示场景中的事物发生了改变，并将差异部分进行更新，而不重新重建整个三维场景。具体实现方法如下：对于存在差异的区域，提取出差异部分，并求取差异部分的最小外接矩形。针对图像中不同位置的差异，外接矩形的求取可以大致分为两种情况：在采集的图像非边界处存在差异信息与在采集图像边界处存在差异信息。对于上述两种情况，分别做不同的后续处理。如图7所示，黑色阴影部分代表差异部分，蓝色矩形代表差异部分的最小外接矩形，红色矩形代表扩张之后的矩形区域。针对差异区域最小外接矩形处于图像的非边界处的情况，将最小外接矩形的四条边分别向外扩张一定宽度，而对于差异区域最小外接矩形处于图像边界处的情况，只对最小外接矩形的非边界边扩张一定宽度，对于其处于边界处的边，则不进行扩张，扩张的宽度一般由经验值确定。对于扩张后的矩形，其矩形范围内包括了差异部分和非差异部分，即此矩形与上幅图像的相应位置区域有了公共视野，可进行图像拼接，从而实现对该区域差异部分的场景信息更新。本方案对比每个区域场景的当前状态和之前的状态，对于存在差异的区域，对差异部分进行提取，并对此差异部分的场景信息进行更新，而对于不存在差异的区域，则保持之前的状态，不进行场景更新。大大减少了系统的运算时间和运算量，很大程度地提高了系统的运行速率，使系统更加快速高效。
以上所述，仅为本发明较佳的具体实施方式，本发明的应用适用范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的应用适用范围内。
- 还没有人留言评论。精彩留言会获得点赞！