通过空中倾斜摄影结合视频数据的自动建模方法及系统与流程

本发明属于摄影测量技术领域，具体涉及一种通过空中倾斜摄影结合视频数据的自动建模方法及系统。

背景技术：

21世纪以来，低空飞行器迅速发展。以此为依托形成的航空摄影技术日趋成熟，同时，随着三维技术的应用，提取建筑物模型有着重要作用。现有用于提取建筑物模型的技术包括倾斜摄影技术、lidar技术和基于建模软件的人工方法，但是，以上方法主要存在以下不足：

倾斜摄影技术，因进行摄影时不同传感器和地面存在特定角度，导致拍摄影像存在近地面处分辨率较远地面分辨率低，从而使获取的模型存在靠近地面段模型模糊失真。lidar技术由于本身特性无法准确获取到地物的侧面纹理特征，需要单独的传感器提供色彩，采集数据量大，效率低。基于建模软件的人工方法建模是一项耗费人力的工作，工作效率低下，人工成本高，模型真实程度较低。

技术实现要素：

针对现有技术存在的缺陷，本发明提供一种通过空中倾斜摄影结合视频数据的自动建模方法及系统，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种通过空中倾斜摄影结合视频数据的自动建模方法，包括以下步骤：

s1，飞行器同时搭载倾斜摄影装置、视频拍摄装置和gps设备；其中，所述倾斜摄影装置的拍摄方向，与所述视频拍摄装置的拍摄方向具有夹角，使所述视频拍摄装置的拍摄方向不同于所述倾斜摄影装置的拍摄方向；

s2，确定目标区域后，飞行器从目标区域的起点按航迹飞行到目标区域的终点，在飞行器飞行过程中，同步启动所述倾斜摄影装置、所述视频拍摄装置和所述gps设备；

所述倾斜摄影装置具有对应的相对于所述飞行器的相对姿态，所述倾斜摄影装置每隔设定间隔，拍摄一张影像，由此形成与当前拍摄批次对应的一系列摄影影像；其中，每张所述摄影影像均具有摄影影像记录信息，所述摄影影像记录信息包括：摄影影像id、摄影影像拍摄位置信息、倾斜摄影装置id、倾斜摄影装置相对姿态以及拍摄批次信息；各张所述摄影影像的影像记录信息形成表格形式的摄影影像记录汇总信息表；

所述倾斜摄影装置拍摄到的与当前拍摄批次对应的一系列摄影影像，按倾斜摄影装置id以及拍摄批次分文件夹存储，即：同一倾斜摄影装置拍摄到的所有摄影影像，均存储于文件夹名为倾斜摄影装置id的文件夹中；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有摄影影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储摄影影像数据文件；

所述视频拍摄装置具有对应的相对于所述飞行器的相对姿态，所述视频拍摄装置持续对所述目标区域进行视频拍摄，得到与当前拍摄批次对应的视频拍摄文件；其中，所述视频拍摄文件具有拍摄时间属性；

所述gps设备持续记录得到所述飞行器飞行过程中的航迹数据；其中，所述航迹数据包括拍摄时间、对应的所述飞行器的飞行位置以及飞行器飞行姿态；

s3，所述摄影影像记录汇总信息表、所述分类分级存储摄影影像数据文件、所述视频拍摄文件以及所述航迹数据均被分析中心获得；

s4，所述分析中心对所述视频拍摄文件进行分析处理，按照所述倾斜摄影装置的拍摄时间间隔，从所述视频拍摄文件中提取到对应时间的拍摄影像，并按视频拍摄装置id以及拍摄批次分文件夹存储，即：同一视频拍摄装置拍摄到的所有拍摄影像，均存储于文件夹名为视频拍摄装置id的文件夹中，该文件夹关联所述视频拍摄装置的姿态；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有拍摄影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储的拍摄影像数据文件；

s5，对于同一拍摄批次，从所述拍摄影像数据文件中，获得一系列拍摄影像；每张所述拍摄影像均对应拍摄时间以及视频拍摄装置相对姿态；然后，根据所述拍摄时间，查找所述航迹数据，得到每个拍摄影像对应的飞行器位置、飞行器飞行姿态信息；

对于同一拍摄批次，从所述分类分级存储摄影影像数据文件中，获得一系列摄影影像；再根据每张所述摄影影像的摄影影像id，查找所述摄影影像记录汇总信息表，获得对应的倾斜摄影装置相对姿态；再查找所述航迹数据，得到每个摄影影像对应的飞行器位置、飞行器飞行姿态信息；

s6，由此获得飞行器在同一位置不同角度得到的拍摄影像和摄影影像；并且，所述拍摄影像关联视频拍摄装置相对姿态、飞行器位置、飞行器飞行姿态信息；所述摄影影像关联倾斜摄影装置相对姿态、飞行器位置、飞行器飞行姿态信息；

s7，然后，对同一位置不同角度得到的拍摄影像和摄影影像进行空三测量，经过提取特征点，匹配连接点，相对定向、控制点量测和平差后，生成摄区的空中三角测量成果；

s8，根据所述摄区的空中三角测量成果，生成密集点云数据以及三角网构建、纹理映射，最终得到三维倾斜模型。

优选的，s2中，所述倾斜摄影装置拍摄到原始影像，对所述原始影像进行预处理，得到处理后的影像，再存储；

其中，对所述原始影像进行预处理，包括：将所述原始影像的格式统一为tif格式，并进行色彩一致性、图像边缘处理、图像反差处理、纹理处理和比值处理。

优选的，所述飞行器的飞行位置，包括飞行器的高度、经度和纬度信息。

本发明还提供一种通过空中倾斜摄影结合视频数据的自动建模系统，包括：

倾斜摄影装置，用于在飞行器从目标区域的起点按航迹飞行到目标区域的终点的过程中，每隔设定间隔，拍摄一张影像，由此形成与当前拍摄批次对应的一系列摄影影像；其中，每张所述摄影影像均具有摄影影像记录信息，所述摄影影像记录信息包括：摄影影像id、摄影影像拍摄位置信息、倾斜摄影装置id、倾斜摄影装置相对姿态以及拍摄批次信息；各张所述摄影影像的影像记录信息形成表格形式的摄影影像记录汇总信息表；

摄影影像数据文件生成模块，用于对与当前拍摄批次对应的一系列摄影影像，按倾斜摄影装置id以及拍摄批次分文件夹存储，即：同一倾斜摄影装置拍摄到的所有摄影影像，均存储于文件夹名为倾斜摄影装置id的文件夹中；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有摄影影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储摄影影像数据文件；

视频拍摄装置，用于在飞行器从目标区域的起点按航迹飞行到目标区域的终点的过程中，持续对所述目标区域进行视频拍摄，得到与当前拍摄批次对应的视频拍摄文件；其中，所述视频拍摄文件具有拍摄时间属性；

gps设备，用于持续记录得到所述飞行器飞行过程中的航迹数据；其中，所述航迹数据包括拍摄时间、对应的所述飞行器的飞行位置以及飞行器飞行姿态；

分析中心，用于获得所述摄影影像记录汇总信息表、所述分类分级存储摄影影像数据文件、所述视频拍摄文件以及所述航迹数据；

所述分析中心包括：

拍摄影像数据文件生成模块，用于按照所述倾斜摄影装置的拍摄时间间隔，从所述视频拍摄文件中提取到对应时间的拍摄影像，并按视频拍摄装置id以及拍摄批次分文件夹存储，即：同一视频拍摄装置拍摄到的所有拍摄影像，均存储于文件夹名为视频拍摄装置id的文件夹中，该文件夹关联所述视频拍摄装置的姿态；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有拍摄影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储的拍摄影像数据文件；

拍摄影像定位模块，对于同一拍摄批次，用于从所述拍摄影像数据文件中，获得一系列拍摄影像；每张所述拍摄影像均对应拍摄时间以及视频拍摄装置相对姿态；然后，根据所述拍摄时间，查找所述航迹数据，得到每个拍摄影像对应的飞行器位置、飞行器飞行姿态信息；

摄影影像定位模块，对于同一拍摄批次，用于从所述分类分级存储摄影影像数据文件中，获得一系列摄影影像；再根据每张所述摄影影像的摄影影像id，查找所述摄影影像记录汇总信息表，获得对应的倾斜摄影装置相对姿态；再查找所述航迹数据，得到每个摄影影像对应的飞行器位置、飞行器飞行姿态信息；

匹配模块，用于获得飞行器在同一位置不同角度得到的拍摄影像和摄影影像；并且，所述拍摄影像关联视频拍摄装置相对姿态、飞行器位置、飞行器飞行姿态信息；所述摄影影像关联倾斜摄影装置相对姿态、飞行器位置、飞行器飞行姿态信息；

空三测量模块，用于对同一位置不同角度得到的拍摄影像和摄影影像进行空三测量，经过提取特征点，匹配连接点，相对定向、控制点量测和平差后，生成摄区的空中三角测量成果；

三维倾斜模型生成模块，用于根据所述摄区的空中三角测量成果，生成密集点云数据以及三角网构建、纹理映射，最终得到三维倾斜模型。

本发明提供的一种通过空中倾斜摄影结合视频数据的自动建模方法及系统具有以下优点：

本发明提供的一种通过空中倾斜摄影结合视频数据的自动建模方法及系统，将倾斜摄影影像与同步采集到的视频数据进行关联和有效融合，由于视频数据始终清晰，不存在靠近地面段模糊的问题，因此，可通过视频数据有效改善三维模型底部失真问题，提升三维模型真实化程度；另外，本发明通过视频数据和倾斜摄影影像的融合，还减少人工修复工作量，从而提升三维模型作业效率。

附图说明

图1为本发明提供的通过空中倾斜摄影结合视频数据的自动建模方法的流程示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种通过空中倾斜摄影结合视频数据的自动建模方法，主要构思为：获取倾斜原始影像和视频数据，从视频数据中提取视频数据图像，对提取的视频图像和倾斜原始影像预处理，然后进行空中三角测量获取空三成果，生成用于模型重建工程；最后进行模型重建获取三维模型。本发明改善了倾斜摄影建模时模型底部失真等问题，使三维模型重建更加快速高效。

参考图1，本发明提供一种通过空中倾斜摄影结合视频数据的自动建模方法，具体包括以下步骤：

s1，飞行器同时搭载倾斜摄影装置、视频拍摄装置和gps设备；其中，所述倾斜摄影装置的拍摄方向，与所述视频拍摄装置的拍摄方向具有夹角，使所述视频拍摄装置的拍摄方向不同于所述倾斜摄影装置的拍摄方向；在同一批次的飞行器飞行过程中，倾斜摄影装置和视频拍摄装置之间的相对姿态固定不变。

s2，确定目标区域后，飞行器从目标区域的起点按航迹飞行到目标区域的终点，在飞行器飞行过程中，同步启动所述倾斜摄影装置、所述视频拍摄装置和所述gps设备；

所述倾斜摄影装置具有对应的相对于所述飞行器的相对姿态，包括俯仰角姿态信息；所述倾斜摄影装置每隔设定间隔，拍摄一张影像，由此形成与当前拍摄批次对应的一系列摄影影像；其中，每张所述摄影影像均具有摄影影像记录信息，所述摄影影像记录信息包括：摄影影像id、摄影影像拍摄位置信息、倾斜摄影装置id、倾斜摄影装置相对姿态以及拍摄批次信息；其中，摄影影像拍摄位置信息是指：每张摄影影像曝光时的空间位置坐标x、y、z，即：高度、经度和纬度；各张所述摄影影像的影像记录信息形成表格形式的摄影影像记录汇总信息表，例如，excel表格形式的文件。

本步骤中，所述倾斜摄影装置拍摄到原始影像，对所述原始影像进行预处理，得到处理后的影像，再存储；

其中，对所述原始影像进行预处理，包括：将所述原始影像的格式统一为tif格式，并进行色彩一致性、图像边缘处理、图像反差处理、纹理处理和比值处理。

所述倾斜摄影装置拍摄到的与当前拍摄批次对应的一系列摄影影像，按倾斜摄影装置id以及拍摄批次分文件夹存储，即：同一倾斜摄影装置拍摄到的所有摄影影像，均存储于文件夹名为倾斜摄影装置id的文件夹中；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有摄影影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储摄影影像数据文件；

所述视频拍摄装置具有对应的相对于所述飞行器的相对姿态，所述视频拍摄装置持续对所述目标区域进行视频拍摄，得到与当前拍摄批次对应的视频拍摄文件；其中，所述视频拍摄文件具有拍摄时间属性；当然，也可以实时记录飞行器飞行过程中，视频拍摄装置的拍摄角度、高度和焦距等信息，方便后续融合处理；

在视频数据获取时，按需求设置视频拍摄距离，其关键在于对视频数据图像提取，根据视频拍摄时移动速度确认视频图像提取时间间隔，并将图像分组存储。

所述gps设备持续记录得到所述飞行器飞行过程中的航迹数据；其中，所述航迹数据包括拍摄时间、对应的所述飞行器的飞行位置以及飞行器飞行姿态；其中，所述飞行器的飞行位置，包括飞行器的高度、经度和纬度信息。

s3，所述摄影影像记录汇总信息表、所述分类分级存储摄影影像数据文件、所述视频拍摄文件以及所述航迹数据均被分析中心获得；

s4，所述分析中心对所述视频拍摄文件进行分析处理，按照所述倾斜摄影装置的拍摄时间间隔，从所述视频拍摄文件中提取到对应时间的拍摄影像，并按视频拍摄装置id以及拍摄批次分文件夹存储，即：同一视频拍摄装置拍摄到的所有拍摄影像，均存储于文件夹名为视频拍摄装置id的文件夹中，该文件夹关联所述视频拍摄装置的姿态；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有拍摄影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储的拍摄影像数据文件；

s5，对于同一拍摄批次，从所述拍摄影像数据文件中，获得一系列拍摄影像；每张所述拍摄影像均对应拍摄时间以及视频拍摄装置相对姿态；然后，根据所述拍摄时间，查找所述航迹数据，得到每个拍摄影像对应的飞行器位置、飞行器飞行姿态信息；

对于同一拍摄批次，从所述分类分级存储摄影影像数据文件中，获得一系列摄影影像；再根据每张所述摄影影像的摄影影像id，查找所述摄影影像记录汇总信息表，获得对应的倾斜摄影装置相对姿态；再查找所述航迹数据，得到每个摄影影像对应的飞行器位置、飞行器飞行姿态信息；

s6，由此获得飞行器在同一位置不同角度得到的拍摄影像和摄影影像；并且，所述拍摄影像关联视频拍摄装置相对姿态、飞行器位置、飞行器飞行姿态信息；所述摄影影像关联倾斜摄影装置相对姿态、飞行器位置、飞行器飞行姿态信息；

s7，然后，对同一位置不同角度得到的拍摄影像和摄影影像进行空三测量，经过提取特征点，匹配连接点，相对定向、控制点量测和平差后，生成摄区的空中三角测量成果；

其中，匹配连接点时，同时设置匹配连接点权值，提取视频数据设置的权，一般设置为倾斜摄影影像的1/2～1/5，进行相对定向，使定向结果符合国标后输出相对定向结果。

进行控制点量测时，连接点误差优于1个像素，进行控制点量测，然后进行平差，控制点残差控制在一个像素内后输出空三成果(注此指标可根据项目要求调整)。

控制点量测后，进行点云匹配，根据需求设定匹配点云的质量和间隔；然后通过对匹配点云进行模型建立。

s8，根据所述摄区的空中三角测量成果，生成密集点云数据以及三角网构建、纹理映射，最终得到三维倾斜模型。

本发明中，将获取的视频数据联合倾斜摄影数据进行空三测量，其主要作用在于：使用视频数据获取建筑物模型的侧面，尤其是改善近地面端模型纹理失真问题。

本发明还提供一种通过空中倾斜摄影结合视频数据的自动建模系统，包括：

倾斜摄影装置，用于在飞行器从目标区域的起点按航迹飞行到目标区域的终点的过程中，每隔设定间隔，拍摄一张影像，由此形成与当前拍摄批次对应的一系列摄影影像；其中，每张所述摄影影像均具有摄影影像记录信息，所述摄影影像记录信息包括：摄影影像id、摄影影像拍摄位置信息、倾斜摄影装置id、倾斜摄影装置相对姿态以及拍摄批次信息；各张所述摄影影像的影像记录信息形成表格形式的摄影影像记录汇总信息表；

摄影影像数据文件生成模块，用于对与当前拍摄批次对应的一系列摄影影像，按倾斜摄影装置id以及拍摄批次分文件夹存储，即：同一倾斜摄影装置拍摄到的所有摄影影像，均存储于文件夹名为倾斜摄影装置id的文件夹中；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有摄影影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储摄影影像数据文件；

视频拍摄装置，用于在飞行器从目标区域的起点按航迹飞行到目标区域的终点的过程中，持续对所述目标区域进行视频拍摄，得到与当前拍摄批次对应的视频拍摄文件；其中，所述视频拍摄文件具有拍摄时间属性；

gps设备，用于持续记录得到所述飞行器飞行过程中的航迹数据；其中，所述航迹数据包括拍摄时间、对应的所述飞行器的飞行位置以及飞行器飞行姿态；

分析中心，用于获得所述摄影影像记录汇总信息表、所述分类分级存储摄影影像数据文件、所述视频拍摄文件以及所述航迹数据；

所述分析中心包括：

拍摄影像数据文件生成模块，用于按照所述倾斜摄影装置的拍摄时间间隔，从所述视频拍摄文件中提取到对应时间的拍摄影像，并按视频拍摄装置id以及拍摄批次分文件夹存储，即：同一视频拍摄装置拍摄到的所有拍摄影像，均存储于文件夹名为视频拍摄装置id的文件夹中，该文件夹关联所述视频拍摄装置的姿态；在该文件夹中，包括若干个子文件夹，每个所述子文件夹存储每个拍摄批次对应的所有拍摄影像，所述子文件夹的文件夹名为拍摄批次，由此形成分类分级存储的拍摄影像数据文件；

拍摄影像定位模块，对于同一拍摄批次，用于从所述拍摄影像数据文件中，获得一系列拍摄影像；每张所述拍摄影像均对应拍摄时间以及视频拍摄装置相对姿态；然后，根据所述拍摄时间，查找所述航迹数据，得到每个拍摄影像对应的飞行器位置、飞行器飞行姿态信息；

摄影影像定位模块，对于同一拍摄批次，用于从所述分类分级存储摄影影像数据文件中，获得一系列摄影影像；再根据每张所述摄影影像的摄影影像id，查找所述摄影影像记录汇总信息表，获得对应的倾斜摄影装置相对姿态；再查找所述航迹数据，得到每个摄影影像对应的飞行器位置、飞行器飞行姿态信息；

匹配模块，用于获得飞行器在同一位置不同角度得到的拍摄影像和摄影影像；并且，所述拍摄影像关联视频拍摄装置相对姿态、飞行器位置、飞行器飞行姿态信息；所述摄影影像关联倾斜摄影装置相对姿态、飞行器位置、飞行器飞行姿态信息；

空三测量模块，用于对同一位置不同角度得到的拍摄影像和摄影影像进行空三测量，经过提取特征点，匹配连接点，相对定向、控制点量测和平差后，生成摄区的空中三角测量成果；

三维倾斜模型生成模块，用于根据所述摄区的空中三角测量成果，生成密集点云数据以及三角网构建、纹理映射，最终得到三维倾斜模型。

本发明提供的一种通过空中倾斜摄影结合视频数据的自动建模方法及系统具有以下优点：

本发明提供的一种通过空中倾斜摄影结合视频数据的自动建模方法及系统，将倾斜摄影影像与同步采集到的视频数据进行关联和有效融合，并且，由于获得了倾斜摄影影像和视频数据的大量参数，因此，融合过程简单，可快速实现倾斜摄影影像和视频数据图像的对应关联，由于视频数据始终清晰，不存在靠近地面段模糊的问题，因此，可通过视频数据有效改善三维模型底部失真问题，提升三维模型真实化程度；另外，本发明通过视频数据和倾斜摄影影像的融合，还减少人工修复工作量，从而提升三维模型作业效率。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过与计算机程序指令相关的硬件来完成的，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(rom：read-onlymemory)或随机存储记忆体(ram：randomaccessmemory)等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。