一种无人机3d全景视觉装置的制造方法
【技术领域】
[0001] 本发明涉及无人直升机、全景激光光源、全方位视觉传感器、无线传输以及计算机 视觉技术在无人机视觉等方面的应用，尤其涉及一种无人机3D全景视觉装置。
【背景技术】
[0002] 无人直升机航拍照片具有大比例尺、广视角、高现势性的优点。目前无人机航拍广 泛应用于军事侦察、国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资 源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森 林病虫害防护与监测、公共安全、国防事业、数字地球以及广告摄影等领域，有着广阔的市 场需求。
[0003] 当前无人机视觉上的研究，大多是利用无人机视觉进行避障，或者利用无人机视 觉进行飞行控制。但是，无人机航拍所获取的二维图像缺乏实际的几何数据，无法再现被测 物的3D实体几何数据；为了获取更详细，更准确的信息，需要对无人机所拍摄的图像进行 拼接以活动周围全景图像，另外还需要进行3D测量。目前基本上采用双目立体视觉的方式 来获取被测物的深度信息。近年来出现了一种直接测量物体深度的技术，如微软公司的深 度传感器，但是这种技术属于面扫描技术，要获取3D全景仍然存在着很大困难。无人机视 觉从2D图像走向3D图像，从某一个面走向360°全景是一个发展趋势，基于无人机航拍图 像的3D测量与3D全景重建技术在军事、民用和科学研究等方面都有着极其广阔的应用前 旦 〇
[0004] 申请号为201410264745. 9的中国专利申请公开了一种基于无人机的航拍测绘装 置及图像校准方法，通过设置角度摄像头和坚直摄像头，可以同时提供斜角影像图和俯视 影像图；根据两个最终影像点之间的应然距离与两个原始影像点之间的实然距离的比值， 对原始影像图进行缩放，从而得到最终影像图。这种方法属于双目立体视觉的测量方式，该 方式除了 3D测量效率低以外，容易受到各种干扰，摄像机构复杂，计算复杂度高，在实用上 还存在着较大距离。
[0005] 申请号为201110085596. 6的中国专利申请公开了一种无人机航拍视频实时全景 图拼接方法。利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序 列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的 SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减 少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在 空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景 图的构建，实现了边飞边拼接的实时效果；在图像变换时，利用视域上相邻帧信息和空域相 邻帧信息，优化图像变换，获得准确的全景图。该案件实现的效果只是将局部图像拼接为全 景图像，未涉及到3D测量与3D重构。
[0006] 申请号为201010297558. 2的中国专利文献公开了一种基于激光探测和图像识 别的无人直升机三维定位及测绘方法，包括了基于激光探测和图像识别的测距传感器、高 度传感器和飞行控制计算机，测距传感器由机载摄像机和激光发射器组成，用于探测无人 直升机距周围障碍物的距离，通过改变俯仰角和偏航角，测距传感器对无人直升机周围环 境进行探测并测距；高度传感器用于测量无人直升机距地面的飞行高度；根据在不同俯仰 角、航向角和飞行高度条件下测量得到的测距数据，实现无人直升机对未知环境的三维同 步定位及测绘。该案属于主动视觉对周围障碍物的检测，但是在检测过程中要不断改变俯 仰角、航向角和飞行高度，使得摄像机构复杂度增加，实时性降低；此外该案尚未涉及如何 应用主动式视觉对周围环境的3D重构。
[0007]综上所述，在无人机航拍技术中，对于还原场景、目标的三维结构存在着如下若干 个棘手的问题：1)如何消除航拍过程中飞机本身的抖动、偏移、旋转等引起摄像机的摆动、 旋转对成像模型的不利影响；2)如何使得无人机以较低的速度甚至"悬停"并稳定地沿预 定航线飞行，来获得构建理想的3D模型的图像；3)如何使得无人机在不改变俯仰角、航向 角和飞行高度情况下能方便地获取飞行航线上的全景图像，使得无人机视觉装置简单化； 4)如何使得无人机能够适应各种复杂、狭小的环境，并且能实现悬停、侧飞等多种姿态飞 行，无人机的机身机械结构简单；5)如何对主动式全景视觉传感器进行微型化和轻量化设 计，有效减少无人机的负载量；6)如何进行场景及对象的快速3D测量，包括对飞行过程中 的障碍物的检测及避障；7)如何根据相同场景在多个成像上的内在约束关系重建目标三 维结构并进行精确测量；8)如何实现边飞行、边3D测量和边3D建模。
【发明内容】
[0008]为了克服已有的无人机视觉装置的自动化和智能化水平低、难以对周边场景及对 象进行快速3D测量、难以用视觉方式对周边障碍物进行快速检测与快速避障、周边环境的 三维建模困难等不足，本发明提供一种新型的无人机3D全景视觉装置，能够提高无人机视 觉装置的自动化和智能化水平，对无人机周边环境及物体对象进行快速3D视觉测量，并自 动实现三维建模。
[0009]要实现上述
【发明内容】
，必须要解决几个核心问题：（1)适合于3D环境视觉测量与 3D建模的无人机的选型；（2)实现一种价格低廉、总体重量在无人机的负重能力范围内、具 有无线视频图像传输能力、并能快速并高精度获得实际物体深度信息的主动式全景视觉传 感器；（3)采用计算机视觉技术对周边环境的三维重建方法；(4)采用计算机视觉技术对周 边障碍物的检测与避障；（5)采用计算机视觉技术计算得到无人机的飞行轨迹。
[0010] 本发明解决其技术问题所采用的技术方案是：
[0011] 首先是无人机的选型，根据技术要点，本发明采用旋翼式无人机，该机型能实现 "悬停"动作并可以垂直起降，其机动性大大超过固定翼式无人机，非常适合在城市或室内 等的复杂狭窄空间或者在需要低速稳定飞行的场合下使用。
[0012] 与传统的直升机相比，多旋翼无人机的结构更为紧凑，各个旋翼间可相互抵消反 扭力；由于采用了较小的旋翼，无人机可以飞至离目标更近的区域。多旋翼飞行器通过多个 旋翼转速的配合控制来实现多种姿态飞行的，多旋翼产生的推力可更有效的控制无人机的 飞行姿态。
[0013]在航拍应用中，最基本的要求是无人机拍摄出的画面平稳清晰，便于后期的处理 以及为之后的三维重建提供优质的航拍素材。
[0014]首先，无人机需要搭载高分辨率的3D全景视觉装置升空并完成飞行航线，这就要 求无人机具有一定的负载能力。
[0015] 其次，在航拍过程中对无人机的飞行速度有较高的要求，常常需要无人机以较低 的速度甚至"悬停"并稳定地沿预定航线飞行，来获得理想的全景图像。而"悬停"以及低 速飞行正是多旋翼无人机所适合的，它较差的抗风性能可通过飞行控制器和相机云台加以 补偿。
[0016] 针对航拍这一应用场合的特殊需求和各类型无人机的特点，最终选取四旋翼无人 机作为航拍无人机平台。
[0017] 四旋翼无人机系统可分为飞行器主体部分、3D全景视觉装置和飞行控制机地面站 控制系统部分；3D全景视觉装置固定安装在飞行器主体部分中部，3D全景视觉装置的中轴 线与飞行器主体部分的中轴线重叠。
[0018] 飞行器主体部分根据四旋翼飞行器的结构。考虑到机身自重、强度，机身采用全碳 纤结构，由中心板、机臂和起落架组成。中心板成正四边形，四个机臂分布于中心板四边形 的定点处。机身材料采用2. 0mm厚度3K全碳板加工而成，配合航空错合金管夹和碳纤管组 合而成。在各个机臂末端安装电机与螺旋桨，电机采用机臂上安装有电子调速器，中心板上 安装有飞行控制器及其附属设备。
[0019] 考虑到需要满足飞行器载重和续航时间的要求，选择的主要电子器件如下：1)电 机：盘式无刷电机，定子尺寸48MM幸2MM，配合1447螺旋桨，单个电机全油门拉力为2260 克，功率355瓦，力效6. 4克每瓦。2)电子调速器：持续工作电流30安，瞬间最大电流45 安，持续10秒。3)电池：6S锂电池，电压22. 2V，最大放电倍率20~25C，单体内阻1.2毫 欧，重量1400克；在该配置下，无人机最大起飞重量8千克，巡航飞行的时间15分钟。
[0020] 3D全景视觉装置主要包括主动式全景视觉传感器、嵌入式设备和电源；嵌入式设 备中包括图像获取模块，无线图像传输模块，地面监视器等。主要功能是获取稳定，高清的 场景航拍全景图像，并实时的在地面监视拍摄内容。
[0021] 主动式全景视觉传感器内置WiFi无线通信。它的特点是体积小、重量轻、直接拍 摄全景，非常适合对重量较为敏感、航拍摄像面大的航拍应用。
[0022] 无线图像传输模块，定向天线和监视器，使得地面人员可以实时观察到飞行器飞 行中图像获取的内容，以便于控制人员对飞行器做出相应的控制。图像传输设备工作频率 为1. 2GHz，该频段的信号，跨越障碍的能力出色，与其他频段干扰少。
[0023] 无线数据通信模块保证了飞行器和地面控制系统之间的数据交换，同时定向天线 可以进一步加强图像传输的信号，使得地面监视器不会出现信号干扰和中断的情况。
[0024] 3D全景视觉装置主要包括无线通信单元、主动式全景视觉传感器和电源；本发明 是让无人机携带3D全景视觉装置对周边环境进行视觉检测和建模。
[0025] 无人机负重能力与3D全景视觉装置的重量匹配的计算：无线通信单元，其重量 <l〇g，有效通信距离5km;主动式全景视觉传感器，其重量<200g，成像分辨率为300万像素； 电源，其重量50g ;这三者重量的总和为260g。
[0026]主动式全景视觉传感器，其硬件包括：全方位视觉传感器、全景激光光源和LED带 光源；所述的全方位视觉传感器与所述的全景激光光源进行同轴固定连接，LED带光源环 绕在所述的全方位视觉传感器的下固定座上；为了满足轻量化和低成本设计要求，所述的 全方位视觉传感器与所述的全景激光光源中的部件采用塑料模具压制生产。
[0027] 为了最大限度获取无人机周边环境高质量的全景图像，要求所述的全方位视觉传 感器的垂直视场尽可能大些，成像的全景图像更便于进行3D测量与3D建模；根据周边环境 的3D测量及3D建模的要求，对全方位视觉传感器的折反射镜面的光学成像后的全景图像 的测量数据能方便计算，垂直视场角度尽可能大，同时要尽可能减少畸变，并具有较高的检 测精度；
[0028] 折反射镜面的垂直剖面设计为凹圆弧曲线，如图2所示，根据光学反射原理，得到 以下几个公式；
[0029]
[0030]
[0031]
[0032]
[0033] 式中，r为入射光束的高度，r'为入射光束的角度，S为反射光束的角度，R为反射 镜面的圆弧半径，a为入射光束的入射角，0为反射镜面圆弧曲线的切线角。对于选定的 固定焦距的摄像机，反射光束的角度S只有在一个固定的范围内才能在成像芯片上成像； 也就是说，入射光束的高度和角度只有满足一定条件才能在成像芯片上成像。
[0034] 全方位视觉传感器的折反射镜面是将凹圆弧的曲线环绕对称轴一周而形成的，如 图11所示；这种设计便于塑料模具成型加工，全景成像的畸变小，水平成像范围为360°， 垂直成像范围接近90°，并且成像清晰度与物点距离远近无关；这些特性非常适合于航拍 视觉装置。
[0035] 主动式3D立体全景视觉传感器，如图12所示，将实际物理空间坐标系建立在全景 激光光源的轴心线与垂直于轴心线的全景激光的交点，坐标值分别用X、Y、Z表示；全景图 像坐标系建立在全景图像的中心，坐标值分别用u、v表示；折反射镜面的坐标系建立在凹 圆弧的中心，坐标值分别用X'、Y'表示。
[0036] 为了对空间环境及物体进行3D测量，需要对全方位视觉传感器进行标定，标定的 目的是从成像平面上的点P(U'，V'）上找出入射光束的高度r和入射光束的角度的r'对应 关系，用公式（5)表示；
[0037]r=f(p(u，，V'））
[0038] (5)
[0039] r' =g(p(u