警用便携式快速图像拼接处理系统的制作方法

本发明涉及图像处理技术领域，尤其是涉及一种警用便携式快速图像拼接处理系统。

背景技术：

无人机航拍技术。航拍摄影由来已久,早在1858年法国摄影师纳达尔就在巴黎上空进行了人类历史上的首次航拍。技术革新使得无人机的操控门槛不断降低,自从2016年以大疆为代表的小型无人机开始迅猛发展以来,利用无人机航拍逐渐成为摄影爱好者的新宠。无人机航拍同样可以应用到公安刑事案件侦查领域，其可以为案件侦查提供全局的视角，为案件分析提供全新的思路，实践证明无人机航拍对案件侦破率和侦破效率的提升起到了不可替代的作用。无人机航拍是通过无人机搭载高清摄像头在空中完成拍摄的。在早期的无人机航拍过程中，需要飞手全程通过遥控器控制无人机的飞行和摄像头角度，随着技术的进步，近几年飞行控制app软件推出了自动航拍功能，即飞手在软件上选好航拍数据采集任务类型，划设好任务执行空域，配置好相关的参数后，无人机可以自动在规划空域内执行航拍数据采集任务。

360°全景图生成技术。全景技术是一种基于图像的拼接与渲染技术，其在空间一点连续采集视野范围上的图像，经过图像拼接融合处理，形成该视点的无缝隙全景图像，并利用全景显示引擎在计算机上模拟从视点任意角度观察的三维虚拟场景。构建这种三维虚拟场景，无需对视野中场景进行具体建模，它是一种伪3d技术，但它的优点是能快速真实地反映案发地周边的环境。

正射影像图生成技术。数字正射影像是基于数字高程模型(简称dem)或tin模型对通过扫描得到的数字化航拍影像，将每个像元经过投影进行数字微分纠正，再对影像拼接，最后将得到的影像范围经过裁剪生成的数字正射影像及相关数据。数字正射影像具有如下几方面特点：(1)数字正射影像具有巨大的且相比较于数字矢量地形图及数字地形模型所不能及的信息库。数字正射影像的细节展示清晰,相较于其他影像，可以随着逐级放大提取出来越来越多的信息,以至于可以应用于更为广泛的领域；(2)数字正射影像是根据未处理的基础影像经过规范的纠正处理,所依据的比例尺和相对地面点位置较为准确,出图精确，能很好的实现使用者的各种需求；(3)随时更新，操作快捷。利用先进的无人机传感器可以更快速、更便捷地更新所需要的实时地理信息；(4)数字正射影像图简单易读,使得无人机正射影像的相关研究变得简单，也能更好的普及推广。

三维实景图生成技术。它是一种运用数码相机对现有场景进行多角度拍摄，然后进行后期缝合，并通过播放软件加载展现的一种三维虚拟展示技术。三维实景在浏览中可以由观赏者对图像进行放大、缩小、移动、多角度观看等操作。经过深入的编程，可实现场景中的热点链接、多场景之间虚拟漫游、雷达方位导航等功能。三维实景技术已广泛应用于诸多领域。

在目前侦查工作中，通常使用ptgui等客户端软件手动生成360°全景图，使用pix4d软件手动生成正射影像图，使用smart3d软件手动生成三维实景图。这种生成方式从照片采集到输入与编辑，人工参与过程较多，导致相对耗时，对案件侦查分析进度造成一定影响，而且对人员的软件操作技能有较高的要求，因此，亟待提供一种简单易操作且能够实现对采集的图像进行自动化处理得到图像处理结果的图像生成系统。

技术实现要素：

本发明的目的在于克服上述技术不足，提出一种警用便携式快速图像拼接处理系统，实现对采集的图像进行自动化处理得到图像处理结果、且简单易操作的目的。

为达到上述技术目的，本发明的技术方案提供一种警用便携式快速图像拼接处理系统，其包括360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎；其中，

所述360°全景图处理引擎包括置信度筛选模块，所述置信度筛选模块用于对图像的置信度进行排序，删除置信度低于门限阈值的图像匹配，得到能够正确匹配的图像序列；

所述正射影像图处理引擎包括特征匹配筛选模块，所述特征匹配筛选模块用于使用opencv中的flann方法进行基于knn最近邻搜索的特征匹配，并根据设定的距离阈值从所匹配的全部关键点中筛选出优秀的特征点；

所述三维实景图处理引擎是采用基于开源框架webodm来实现的。

与现有技术相比，本发明通过将360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎进行集成，形成一种便携式的、一体化的快速图像处理设备，实现自动、快速地对360°全景图、正射影像图、三维实景图三种图像处理和生成，能够满足大型活动安保、刑事案件侦查、抢险救灾等任务需求；同时支持离线和在线两种工作模式，能够适应各种网络运行环境；且操作简单，用户不需要经过培训即可上手使用，从而能够提高案件侦查的效率。

附图说明

图1是本发明实施例所述的一种警用便携式快速图像拼接处理系统的工作原理组成结构图；

图2是本发明实施例所述的一种警用便携式快速图像拼接处理系统中360°全景图处理引擎的模块框图；

图3是本发明实施例所述的一种警用便携式快速图像拼接处理系统中正射影像图处理引擎的模块框图；

图4是本发明实施例所述的一种警用便携式快速图像拼接处理系统中三维实景图处理引擎的模块框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的实施例提供了一种警用便携式快速图像拼接处理系统，其包括360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎。

其中，如图2所示，所述360°全景图处理引擎包括特征提取模块、特征匹配模块、置信度筛选模块、矩阵估算模块、图像校正模块、图片拼接模块、图片优化模块。

所述特征提取模块用于根据特征提取算法对输入图片进行特征点检测的特征提取模块；具体是使用opencv中的surf或orb特征提取算法，对输入图片进行特征点检测。

所述特征匹配模块用于使用快速最近邻逼近搜索函数库对图像的特征点进行匹配；具体是使用opencv中的flann(fastlibraryforapproximatenearestneighbors)快速最近邻逼近搜索函数库对图像的特征点进行匹配，然后使用opencv中的knn(最近邻和次近邻)方法，将两个最优匹配的置信度保存下来。knn最近邻方法是基于距离进行特征点的筛选，取最优匹配的两幅图像中一幅图像中的一个suft关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率ratio小于某个设定阈值t，则接受这一对匹配点，阈值t可根据实际输出要求达到的效果进行调参配置。

所述置信度筛选模块用于对图像的置信度进行排序，删除置信度低于门限阈值的图像匹配，得到能够正确匹配的图像序列；即使用快速排序法对图像的置信度进行排序，并将置信度高的图像保存到同一个集合中，删除置信度比较低的图像间的匹配，得到能正确匹配的图像序列，从而将置信度高于门限阈值的所有匹配合并到一个集合中，所述门限阈值可由系统根据实际效果进行配置。

所述矩阵估算模块用于对所有图像进行相机参数估计，计算出旋转矩阵；所述矩阵估算模块包括粗略估算子模块和精确估算子模块，所述粗略估算子模块用于使用opencv中的stitching_detail程序接口对所有图像进行相机参数粗略估计，然后计算出旋转矩阵；所述精确估算子模块用于使用opencv中的stitching_detail程序接口中的光束平均法进一步精准估计出旋转矩阵。

所述图像校正模块用于对图像进行波形校正；即使用opencv中的stitching_detail程序接口对图像进行波形校正。由于拍摄照片的时候角度不一定是相同的，所以拼接起来的照片会使全景图出现“飞机曲线”，因此要对图像进行波形矫正，主要是寻找每幅图形的“上升向量”，使它矫正成同一水平或垂直角度。

所述图片拼接模块用于执行图片拼接；即使用opencv中的stitching_detail程序接口执行图片拼接。

所述图片优化模块用于对图像分别进行补天优化、垂直角度优化、色差优化。由于图片拼接完成后上方是黑色的，则利用镜像扩充，即提取图片黑色边缘相邻的像素填充至黑色部分完成补天优化。原拼接后的图片无法看到垂直角度，将图片进行2:1比例调整后实现垂直角度优化。对拼接缝隙处分别获取左右边部分像素的直方图，进行均值处理，优化缝隙处色差明显的现象，即色差优化。

如图3所示，所述正射影像图处理引擎包括边界扩充模块、灰度处理模块、特征检测模块、特征匹配筛选模块、仿射变换模块、图像拼接模块。

所述边界扩充模块用于使用opencv中的copymakeborder函数对按照输入顺序排列的两张图片从四个方向进行边界扩充；

所述灰度处理模块用于使用opencv中的cvtcolor函数分别对两张扩充图进行灰度化处理。

所述特征检测模块用于使用opencv中的sift特征匹配算法对灰度图片进行特征检测得到关键点列表和描述符。sift特征匹配算法是将一幅图像映射(变换)为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性；因此sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。

所述特征匹配筛选模块用于使用opencv中的flann算法进行基于knn最近邻搜索的特征匹配，并根据设定的距离阈值从所匹配的全部关键点中筛选出优秀的特征点；所述flann算法使用的是kdtreeindex配置索引，密度树的数量为5，递归次数为50。基于knn最近邻搜索的邻居数量设为2，如果第一个邻近距离比第二个邻近距离的0.6倍小，则保留，从而进行下一步的仿射变换矩阵的计算，否则舍弃。两个图至少有10个特征点匹配成功才算匹配成功。

所述仿射变换模块用于使用opencv中的ransac随机抽样一致算法计算两张图片之间的仿射变换矩阵，将第二张图片进行变换放在与第一张图片相对应的位置；ransac随机抽样一致算法(randomsampleconsensus,ransac),采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。ransac算法假设数据中包含正确数据和异常数据(或称为噪声)。正确数据记为内点(inliers)，异常数据记为外点(outliers)。同时ransac也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。

所述图像拼接模块用于使用opencv中的stitching_detail程序接口将两个图片进行拼接。

如图4所示，所述三维实景图处理引擎包括账户创建模块、项目创建模块、任务创建模块、模型拼接模块、状态获取模块、模型获取模块。

所述账户创建模块用于调用webodm的登录接口，创建登录账户，发送登录认证请求；

所述项目创建模块用于调用webodm的创建项目接口，执行创建项目命令；

所述任务创建模块用于在创建的项目下，调用webodm的创建任务接口，执行创建任务命令；

所述模型拼接模块用于调用webodm的执行任务接口，执行该任务，进行三维模型拼接；

所述状态获取模块用于调用webodm的获取状态接口，实时获取任务执行状态；

所述模型获取模块用于在任务执行完毕后，通过http请求下载任务成果，获取三维模型。

所述警用便携式快速图像拼接处理系统还包括无线通信模块，所述无线通信模块分别与360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎通信连接，并与图像采集系统建立通信连接；所述无线通信模块用于分别建立图像采集系统与360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎之间的信息交互通道。

当无人机执行完航拍数据采集任务后，降落到地面。工作人员把无人机sd卡中的照片导入本发明系统中，选择360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎中的一种或者多种执行图像处理任务，根据所选择的图像处理引擎，基于上述处理步骤自动生成得到图像处理结果。

该设备同时支持离线和在线工作模式，适应不同的网络环境。当采用在线模式时，无人机在执行飞行任务拍摄图片过程中，通过调用无线通信模块，将图片即时回传至所述警用便携式快速图像拼接处理系统，并选择360°全景图处理引擎、正射影像图处理引擎、三维实景图处理引擎中的一种或者多种执行图像处理任务，根据所选择的图像处理引擎，基于上述处理步骤自动生成得到图像处理结果。整个图像处理过程中无需取下无人机，即可快速生成模型，在网络通信条件好的情况下，可节约宝贵时间、并行工作，提高工作效率，进而提高案件侦破效率。任务执行完成后的成果文件，既可以在本地查看，也可以导出发送给相关案件侦破单位进行分析。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。