基于无人机飞机航拍的交通事故现场三维重建系统及方法与流程

本发明涉及智能交通技术领域，特别是涉及一种基于无人机飞机航拍的交通事故现场三维重建系统和重建方法。

背景技术：

随着机动车保有量的快速增加，部分驾驶员的安全驾驶意识不高，同时受不良道路、气象等条件的影响，道路交通事故时有发生。交通事故发生以后，交通警察通常采取临时交通管制措施，如道路限行、甚至是封路，然后对交通事故现场进行测量、摄影，为后续的交通事故鉴定与责任划分获取第一手资料。然而，上述的传统方法存在若干缺陷，一是需要较长的道路封闭时间(如1小时以上)，这会严重影响道路的通行能力；二是交通事故现场存在事故车辆、伤亡人员、事故散落物、车辆制动印迹，同时需要开展事故救援等工作，事故现场面临被破坏的风险；三是传统的测量与摄影工作，主要针对局部的、二维的交通事故场景，难以从交通事故全景的角度(包括事故车辆、伤亡人员、事故散落物、车辆制动印迹、道路标线和道路环境等)，进行全方位的交通事故信息采集。

鲁光泉，李一兵在《交通运输工程与信息学报》2005年第3卷第3期63-67页，发表了“基于普通数码相机的交通事故摄影测量技术及其研究进展”，归纳、展望了交通事故现场的二维和三维建模方法，但是这些方法还处于研究阶段，同时面临相机标定、重建精度的影响，离实际应用存在较大的差距。

中国专利文献cn200710045440.9公布了一种基于摄影测量与车身外轮廓的汽车碰撞事故再现方法，该方法对变形车辆和同型号的完好车辆进行摄影测量，建立车辆外轮廓的三维数值模型，然后建立有限元模型进行模拟，确定事故发生时刻的车速和碰撞角度。该方法在摄影测量时，需要设定多个标定物，且有拍摄角度要求，同时该方法未对其它的交通事故现场信息(如制动印记、道路环境等)进行处理，这就大大的限制了其实用性。

中国专利文献cn106295556公布了一种基于小型无人飞机航拍图像的道路检测方法，该方法通过人机交互方式，手动提取道路和非道路像素点，进行聚类和建模，用max-flow算法检测出道路区域。但是该方法未考虑交通事故现场的三维建模问题。

此外，航拍图片的质量易受到光线不良和物体遮挡等因素的影响，造成航拍图像特征点提取、图像匹配的困难。

技术实现要素：

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于无人机飞机航拍的交通事故现场三维重建系统和重建方法。

为实现本发明的目的所采用的技术方案是：

一种基于无人机飞机航拍的交通事故现场三维重建系统，包括，

无人飞机系统，包括用以承载和飞行的无人飞机机体、惯性测量单元、定位定向模块、通讯模块和机载相机，其中，惯性测量单元用以测量无人飞机的三轴姿态角和加速度信息；定位定向模块用以生成实时的导航数据和每张航拍图像pos数据；

地面控制平台，其与所述的无人飞机系统的通讯模块通讯连接以实现控制通讯和图片信息传输；

事故现场三维图像处理系统，与所述的地面控制平台通讯连接以实现图片信息传输。

所述的飞机机体为四旋翼无人飞机，所述的机载相机通过360°旋转的云台模块设置在无人飞机机体上。

一种基于无人机飞机航拍的交通事故现场三维重建方法，包括以下步骤，

1)拍摄步骤，无人飞机以事故车辆为中心，围绕事故车辆绕圈飞行，并于多个航点处悬停拍照，拍摄图片实时传输至事故现场三维图像处理系统，

2)图像的筛选处理，按内容重叠率筛选预定数量的航拍照片以便于图像特征提取与匹配；

3)图像的卷积计算：对筛选出来的图像使用索贝尔算子和拉普拉斯算子从水平和垂直两个梯度进行加权卷积计算，提高图像对光线变化和物体遮挡的鲁棒性；水平和垂直方向上的卷积计算公式分别为：

其中，im是筛选出来的图像的灰度图像矩阵，是卷积操作，sx是索贝尔水平算子，sy是索贝尔垂直算子，lx是拉普拉斯水平算子，ly是拉普拉斯垂直算子，b是偏移量取值范围为0.1-0.3；当光线不良时，α取值范围为0.6-1，β取值范围为0-0.4；当有物体遮挡时，α取值范围为0-0.4，β取值范围为0.6-1，当光线不良又有物体遮挡时，α取值范围为0.5-0.6，β取值范围为1-α；

其中，

图像的卷积值为：

根据图像的卷积计算结果，可获得经卷积处理后的灰度图像；

4)导入pos数据：导入经过处理后的图像的经度、维度、高度和航向信息；

5)图像特征提取与匹配：使用基于尺度特征不变换算法进行交通事故现场图像的特征点提取和匹配；

6)建立稀疏、稠密点云模型：运用多目立体视觉的从运动中恢复算法，计算两幅匹配图像间的旋转矩阵和平移矩阵，计算出特征点的三维坐标，从而得到稀疏的三维网络点云；运用多目立体视觉的和patch-basedmulti-viewstereo算法，将sfm算法获得的稀疏点云作为种子点输入，利用cmvs算法，根据视角对图像序列进行聚类，减少稠密重建的数据量，再用基于微面片模型的pmvs算法，将种子点向周围扩散，得到空间有向点云或面片，并在局部光度一致性和全局可见性约束下完成稠密重建；

7)三维模型网格化和纹理化：使用泊松表面重建算法，重建三维稠密点云模型的表面网格，将表面的纹理信息映射到网络模型中；

8)三维重建质量评价：交通事故现场三维模型重建以后，分析参考图像和处理图像之间评价对象的相似程度，若相似程度未达到预定值则重新建模。

在所述的步骤1)中，飞行半径取值为3-10m，航点数量为12-24个，无人飞机在每个航点处悬停2-5秒钟，以30°-90°的角度拍摄照片。

无人飞机的机载相机以水平角度、45°和90°的角度拍摄照片。

在所述的步骤1)中，无人飞机以交通事故现场为对象，分低层、中层、高层三个层次，其中低层高度为2-5m，中层高度为10-15m，高层高度为20-25m。

在所述的步骤1)中，对车辆碰撞受损处，从水平、45°以及垂直角度在车辆受损处2-5m的距离进行航拍。

当航拍图像较多时，需要剔除多余的低质量图像，图像处理采用brenner梯度函数法来分析图像的清晰度，计算公式为：

其中：i(x,y)表示图像i对应像素点(x,y)的灰度值，d(i)为图像清晰度的计算结果，d(i)值排名靠前的图像视情况予以保留，其它的图像予以删除。

所述的步骤8)中，评价指标选用结构相似性，ssim的计算公式如下：

其中，x和y分别是参考图像和处理图像，μx和μy是平均值，σx和σy是标准差，σxy是x和y的协方差，c1和c2是用来维持稳定的常数，当ssim值≤0.85时，需要进行交通事故现场的重新建模；当ssim值>0.85时，交通事故现场三维模型符合精度要求。

所述的评价对象包括事故车辆、制动印记和事故散落物。

与现有技术相比，本发明的有益效果是：

本发明通过设定无人飞机的飞行路线和航点，从不同高度和不同角度进行道路交通事故现场的图像采集，然后运用多目立体视觉处理技术，建立三维的交通事故现场模型，从技术角度来讲，该方法充分发挥了无人飞机机动、灵活、视域好的优势，使用航拍图像的pos数据，无需设定地面控制点，无需标定相机；降低光线不良和物体遮挡等因素对重建质量的影响；从使用效果来讲，该方法可显著缩短道路限行、封闭的时间，降低交通事故现场被破坏的风险，从全局的角度获取交通事故现场的各类信息，从而为道路交通事故鉴定与责任划分提供完备的信息。

附图说明

图1是四旋翼无人飞机系统的构成图。

图2是无人飞机系统各模块之间的信息流向图。

图3是事故现场三维图像处理系统的构成图。

图4是无人飞机水平航拍路线图。

图5是无人飞机垂直航拍高度图。

图6是事故车辆受损处航拍角度图。

图7是sift算法流程图。

图8是ransac算法流程图。

图9是sfm算法流程图。

图10是cmvs算法流程图。

图11是pmvs算法流程图。

图12是泊松表面重建算法流程图。

图13是系统工作流程图。

图14是稀疏点云模型。

图15是稠密点云模型。

图16是交通事故现场三维模型。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图所示，本发明的基于无人机飞机航拍的交通事故现场三维重建系统，包括，

无人飞机系统，包括用以承载和飞行的无人飞机机体、惯性测量单元、定位定向模块、通讯模块和机载相机，其中，惯性测量单元用以测量无人飞机的三轴姿态角和加速度信息；定位定向模块包括差分gps,其和惯性测量单元相配合用以生成实时的导航数据和每张航拍图像pos数据，包括每张航拍图像的经度、维度、高度、航向等；

地面控制平台，其与所述的无人飞机系统的通讯模块通讯连接以实现控制通讯，同时地面控制平台还包括图传电台，无人飞机的通讯模块取得联系，实现实时的交通事故现场图像传输；

事故现场三维图像处理系统，与所述的地面控制平台通讯连接以实现图片信息传输。所述的事故现场三维图像处理系统为云计算终端或者计算工作站。通过网络与地面控制平台通讯连结，同时还可包括与所述的地面控制平台同步通讯连结的数据存储平台，如警方存储平台，实现原始数据的公正存储，利用数据中转实现了原始数据异地存储和集中式计算，实现数据安全的同时，利用互联网整合各处资源，提高社会服务效果。

其中，所述的飞机机体为四旋翼无人飞机，所述的机载相机通过360°旋转的云台模块设置在无人飞机机体上。以便于相机从不同角度对交通事故现场进行航拍。

无人飞机由地面控制平台进行控制，控制指令由其发出，航拍图像由其中转，可做到城市内多点布置地面控制台，实现就近控制，减少飞行时间，提高反应效率，而且利用集中式事故现场三维图像处理系统，降低处理成本，保证数据统一和真实还原度。

本发明的重建方法包括以下步骤，

1)飞行路线设定：首先控制无人飞机飞抵现场，如何以事故车辆为中心，无人飞机围绕事故车辆绕圈飞行，优选地，飞行半径取值为3-10m，航点数量为12-24个，如16个，即航点之间夹角为22.5°，无人飞机在每个航点处悬停2-5秒钟，机载相机以30°-90°的角度拍摄照片(如图4所示)。拍摄图片实时经通讯模块传送至地面控制平台，地面控制平台实时传输至事故现场三维图像处理系统，

另外，无人飞机以交通事故现场为对象，分低、中、高三个层次(如图5所示)，在不同的高度层次，按照前述飞行和拍照方法，航拍交通事故现场图像，其中低层高度为2-5m，中层高度为10-15m，高层高度为20-25m。此外，对车辆碰撞受损处，视情况从水平、45°以及垂直角度(如图6所示)，在车辆受损处2-5m的距离，进行航拍，

(2)图像的筛选处理：进行多航点连续拍照，拍的交通事故的航拍照片的内容重叠率≥60％，以便于图像特征提取与匹配。另外，当航拍图像较多时，需要剔除多余的低质量图像，图像处理采用brenner梯度函数法来分析图像的清晰度，计算公式为：

其中：i(x,y)表示图像i对应像素点(x,y)的灰度值，d(i)为图像清晰度的计算结果，d(i)值排名前10％-30％的图像视情况予以保留，其它的图像予以删除。

(3)图像的卷积计算：卷积对象是筛选出来的图像，卷积计算涉及每个像素点的灰度值,具体地，对筛选出来的图像使用索贝尔算子和拉普拉斯算子从水平和垂直两个梯度进行加权卷积计算，提高图像对光线变化和物体遮挡的鲁棒性；水平和垂直方向上的卷积计算公式分别为：

其中，im是筛选出来的图像的灰度图像矩阵，是卷积操作，sx是索贝尔水平算子，sy是索贝尔垂直算子，lx是拉普拉斯水平算子，ly是拉普拉斯垂直算子，b是偏移量取值范围为0.1-0.3；当光线不良时，α取值范围为0.6-1，β取值范围为0-0.4；当有物体遮挡时，α取值范围为0-0.4，β取值范围为0.6-1。当光线不良又有物体遮挡时，α取值范围为0.5-0.6，β取值范围为1-α。物体遮挡指的是：其他物体(包括阴影)在图像的遮盖面积比例大于预定值，如大于等于15％时,光线不良指的是：图像采集时的环境照度值小于预定值，如小于等于50勒克斯。

其中，

图像卷积值为：

根据图像的卷积计算结果，可获得经卷积处理后的灰度图像，该图像对光线变化和物体遮挡具有较好的鲁棒性。

(4)导入pos数据：导入经过处理后的图像的经度、维度、高度、航向等信息。

(5)图像特征提取与匹配：使用基于尺度特征不变换算法(scaleinvariantfeaturetransform，sift)进行交通事故现场图像的特征点提取和匹配，此步骤处理的现场图像是指经过步骤3图像卷积计算处理后的图片。首先，利用sift算子从卷积图像上提取特征点，并获取其对应的特征描述子；然后，根据图像的pos约束关系，选出可能具有重叠关系的像对；最后，对每一个像对描述子进行匹配，并使用随机抽样一致算法(randomsampleconsensus，ransac)，进行粗差剔除，消除误匹配。

其中，sift算法的特征提取与匹配流程为：建立尺度空间，检测图像极值；精准定位特征点；计算特征方向；构建特征描述子；根据特征描述子和相似性度量，实现不同视角下的数据配准，流程如图7所示。ransac算法的流程为：随机抽取4个样本数据，计算出变换矩阵，记为模型m；计算数据集个体在m上的投影误差，若误差小于阈值，则加入内点集；如果当前内点集元素个数大于最优内点集，则用前者取代后者；迭代更新，流程如图8所示。

(6)建立稀疏、稠密点云模型：运用多目立体视觉的从运动中恢复算法(structurefrommotion，sfm)，计算两幅匹配图像间的旋转矩阵和平移矩阵，计算出特征点的三维坐标，从而得到稀疏的三维网络点云。运用多目立体视觉的clusteringviewsformulti-viewstereo(cmvs)和patch-basedmulti-viewstereo(pmvs)算法，将sfm算法获得的稀疏点云作为种子点输入，利用cmvs算法，根据视角对图像序列进行聚类，减少稠密重建的数据量，再用基于微面片模型的pmvs算法，将种子点向周围扩散，得到空间有向点云或面片，并在局部光度一致性和全局可见性约束下完成稠密重建。其中，sfm算法的流程如图9所示，cmvs算法的流程如图10所示，pmvs算法的流程如图11所示。

(7)三维模型网格化和纹理化：使用泊松表面重建算法(poissonsurfacereconstruction)，重建三维稠密点云模型的表面网格，将表面的纹理信息映射到网络模型中。泊松表面重建算法的流程为：三维模型表面参数化；优化目标图像，减少纹理接缝；校正模型颜色，减少纹理的不连续状况。泊松表面重建算法的流程如图12所示。

(8)三维重建质量评价：交通事故现场三维模型重建以后，需要对重建质量进行评价。评价对象包括事故车辆、制动印记、事故散落物。评价方法为选取无人飞机航拍的事故车辆、制动印记、事故散落物的正射图像作为参考图像，选取交通事故现场三维模型的事故车辆、制动印记、事故散落物的正射图像作为处理图像，分析参考图像和处理图像之间的相似程度。评价指标选用结构相似性(structuralsimilarityindex，ssim)，ssim的计算公式如下：

其中，x和y分别是参考图像和处理图像，μx和μy是平均值，σx和σy是标准差，σxy是x和y的协方差，c1和c2是用来维持稳定的常数。当ssim值≤0.85时，需要进行交通事故现场的重新建模；当ssim值>0.85时，交通事故现场三维模型符合精度要求。

本发明的重建方法，在事故现场三维图像处理系统获取交通事故图像以后，进行图像的筛选处理，剔除低质量的富余图片，开展图像的卷积计算，提高图像对光线变化和物体遮挡的鲁棒性；导入图像的pos数据，紧接着开展图像的特征提取与匹配、建立稀疏和稠密点云模型、三维点云模型的网络化纹理化，最后进行三维交通事故现场模型的质量评价，使用航拍图像的pos数据，无需设定地面控制点，无需标定相机；降低光线不良和物体遮挡等因素对重建质量的影响；从使用效果来讲，该方法可显著缩短道路限行、封闭的时间，降低交通事故现场被破坏的风险，从全局的角度获取交通事故现场的各类信息，从而为道路交通事故鉴定与责任划分提供完备的信息。

具体地，某小区内发生一起轿车与自行车相撞的交通事故，道路环境为小区道路和绿化植物，交通事故现场三维重建步骤如下：

(1)飞行路线设定：以事故车辆为中心，无人飞机围绕事故车辆绕圈飞行，飞行半径取值为5m，航点数量为16个，航点之间夹角为22.5°，无人飞机在每个航点处悬停3秒钟，以45°和90°的角度拍摄照片。另外，无人飞机以交通事故现场为对象，在22m的高度，按照前述飞行和拍照方法，航拍交通事故现场图像。此外，对车辆碰撞受损处，以45°角，在车辆受损处4m的距离，进行航拍，获得航拍图像80张。

(2)图像获取与处理：按照交通事故的航拍照片的内容重叠率≥60％，以及图像清晰度排序的要求，选取24张图像进行后续工作。

(3)图像的卷积计算：对筛选出来的图像，使用索贝尔算子和拉普拉斯算子从水平和垂直两个梯度进行加权卷积计算，提高图像对光线变化和物体遮挡的鲁棒性。偏移量b的取值为0.2，α取值为0.6，β取值为0.4。

(4)导入pos数据：导入经过处理后的图像的经度、维度、高度、航向等信息。

(5)图像特征提取与匹配：使用基于尺度特征不变换算法(scaleinvariantfeaturetransform，sift)进行交通事故现场图像的特征点提取和匹配。首先，利用sift算子从每张图像上提取特征点，并获取其对应的特征描述子；然后，根据图像的pos约束关系，选出可能具有重叠关系的像对；最后，对每一个像对描述子进行匹配，并使用随机抽样一致算法(randomsampleconsensus，ransac)，进行粗差剔除，消除误匹配。

(6)建立稀疏、稠密点云模型：运用多目立体视觉的从运动中恢复算法(structurefrommotion，sfm)，计算两幅匹配图像间的旋转矩阵和平移矩阵，计算出特征点的三维坐标，从而得到稀疏的三维网络点云，如图14所示。运用多目立体视觉的clusteringviewsformulti-viewstereo(cmvs)和patch-basedmulti-viewstereo(pmvs)算法，将sfm算法获得的稀疏点云作为种子点输入，利用cmvs算法，根据视角对图像序列进行聚类，减少稠密重建的数据量，再用基于微面片模型的pmvs算法，将种子点向周围扩散，得到空间有向点云或面片，并在局部光度一致性和全局可见性约束下完成稠密重建，得到稠密点云模型，如图15所示。

(7)三维模型网格化和纹理化：使用泊松表面重建算法(poissonsurfacereconstruction)，重建三维稠密点云模型的表面网格，将表面的纹理信息映射到网络模型中。得到经过网络化和纹理化处理的交通事故现场三维模型，如图16所示。

(8)三维重建质量评价：交通事故现场三维模型重建以后，需要对重建质量进行评价。选取无人飞机航拍的事故车辆的正射图像作为参考图像，选取交通事故现场三维模型的事故车辆的正射图像作为处理图像，分析参考图像和处理图像之间的相似程度，评价指标ssim取值为0.92，符合三维重建精度要求。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。