基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置及方法
【专利摘要】基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置及方法，涉及基于激光雷达和四轴飞行器的多分辨室内三维场景重构技术。本发明是为了解决复杂室内环境移动机器人无法进入，进而不能对室内三维场景进行重建的问题，以及常规室内环境三维重建方法分辨率单一的问题。本发明有针对性的将激光雷达扫描技术与四轴飞行器进行结合，发挥各自优势，同时突破未知室内地面环境复杂使普通地面机器人无法进入的难题。将激光雷达扫描技术和四轴飞行器灵活移动的特点相结合，可提高室内三维重建的分辨率，即同时获得室内三维环境的细节和轮廓信息。本发明适用于交通、救灾、探测等多种场合。
【专利说明】基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置及方法
【技术领域】
[0001]本发明涉及基于激光雷达和四轴飞行器的多分辨室内三维场景重构技术。
【背景技术】
[0002]三维信息比较符合人类眼睛的认识习惯，逐渐成为多领域的研宄热点。三维重构技术是指对现实客观的三维场景在计算机中数字化处理，进而在计算机中真实再现，通过三维重构技术不仅可以为机器人和人类提供准确的场景信息，而且还可以用于场景认知或辨识，所以三维重构将会成为未来情景感知应用的基础。室内环境的三维信息是室内移动机器人安全可靠操作的必要前提，可以帮助机器人更清楚的了解自身所处的环境信息并且实现与环境交互，做出相应的操作，所以精确的室内三维场景信息在公共服务、救援、军事侦察等领域有着重要作用。
[0003]三维场景重构方法大致可以分为基于结构光和基于视觉两种。基于视觉方法获得场景信息，由于缺少真实的空间距离信息，不能真实的反应三维空间。目前来说主要是基于结构光来获取场景的三维信息，如激光雷达。激光雷达为获取空间三维信息提供了实现途径，它采用非接触式主动测量的方法直接获取多种精度的三维信息，不仅对光线没有任何限制，而且可以对任意物体和场景进行扫描，准确而快速的将现实场景数字化，将数字化后的信息提供给计算机来处理。
[0004]三维场景重构装置主要有固定平台和地面移动机器人平台两种，基于固定平台的三维场景重构装置可以对距离相对固定的物体进行三维重构，由于其不可以移动，导致三维场景重构分辨率单一；地面移动机器人可在地面方便灵活的移动，对于可进入室内环境，可以进行多分辨的室内三维场景的重构，但对于复杂未知室内环境，例如室内环境污染、火灾或有军事威胁等，这种地面移动机器人将无法发挥作用。
[0005]国内外室内三维场景重构技术主要存在以下问题。
[0006]1、国内、外的三维重构的理论和方法主要基于固定平台和可移动的机器人平台，由于地面移动机器人无法进入复杂未知室内环境，故不能通过以上平台进行室内三维场景信息重建；
[0007]2、国内、外的三维建模的理论和方法由于其自身平台的特点导致三维重建的分辨率单一，不能从细节和轮廓多分辨的角度对室内三维场景进行重建。
【发明内容】
[0008]本发明是为了解决复杂室内环境移动机器人无法进入，进而不能对室内三维场景进行重建的问题，以及常规室内环境三维重建方法分辨率单一的问题，从而提供一种基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置及方法。
[0009]基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置，它包括四轴飞行器和安装平台，所述的四轴飞行器包括主机体1、四组螺旋桨及电机保护罩2、四组直流电机3、四组螺旋桨4和四组支撑臂5 ;
[0010]所述四组螺旋桨及电机保护罩2分别通过四个支撑臂5与主机体I连接，所述四组直流电机3分别通过电机轴与四组螺旋桨4连接，四组直流电机3的定子固定在支撑臂5上，所述四个支撑臂5组成“十”字型交叉结构，相邻两个支撑臂之间的夹角为90度，所述主机体I的四个角上分别开有四个螺孔6 ;主机体I的中心还开有一个通孔7，用于安装平台不同层之间电路元件走线；
[0011]安装平台按照从下向上的顺序分为两层，即:第一层和第二层，该两层安装平台通过主机体I上的四个螺孔用螺栓固定连接为一体；
[0012]安装平台的第一层中设置有机载飞行控制及传感器信息采集单元，所述机载飞行控制及传感器信息采集单元由大容量锂电池供电，所述机载飞行控制及传感器信息采集单元包括ARM主控板8、电调电路9、加速度计10、陀螺仪11、激光器电路12、摄像机电路13、无线收发单元14和舵机电路15 ;
[0013]ARM主控板8的加速度信号输入端与加速度计10的加速度信号输出端连接；ARM主控板8的陀螺仪信号输入端与陀螺仪11的陀螺仪信号输出端连接；所述ARM主控板8用于根据该加速度信号和陀螺仪信号获取四轴飞行器当前姿态信息；
[0014]ARM主控板8的四个转速控制信号输出端分别通过四个电调电路9与四个直流电机3的转速控制信号输入端连接；
[0015]ARM主控板8的激光控制信号输出端与激光器电路12的控制信号输入端连接；所述ARM主控板8用于通过激光器电路12控制安装平台第二层的激光器20发出线状激光；
[0016]ARM主控板8的图像信号输入端与摄像机电路13的图像信号输出端连接，所述ARM主控板8用于获取摄像机采集到的线状激光照射在室内物体上反射所形成的图像；
[0017]ARM主控板8的舵机控制信号输出端与舵机电路15的控制信号输入端连接，所述ARM主控板8用于控制舵机旋转；
[0018]安装平台的第二层中设置有舵机18、激光器20、固定板21、摄像机22、舵机旋转盘23和舵机轴24 ；
[0019]主机体I上开有用于固定主机体和舵机的螺孔25 ;所述主机体I与舵机18通过螺孔25固定连接；舵机18通过舵机轴24与舵机旋转盘23固定连接；舵机旋转盘23上开有螺孔19，舵机旋转盘23通过螺孔19与固定板21底部连接；固定板21上左右两侧开有两个圆形孔，分别用于固定激光器20和摄像机22。
[0020]它还包括地面控制单元，所述地面控制单元包括无线收发设备16和控制微机17，所述控制微机17通过无线收发设备16和无线收发单元14与ARM主控板8进行数据交互。[0021 ] 摄像机22的镜头上装有滤光片。
[0022]基于上述装置的多分辨室内三维场景重构方法，它由于以下步骤实现:
[0023]步骤一、地面控制微机17通过无线方式向四轴飞行器发送控制指令，控制四轴飞行器在室内飞行的姿态和位置，四轴飞行器接收到指令后，通过陀螺仪11和加速度计10获取四轴飞行器的三个轴向的角速度和加速度信息，并将这些信息传送给ARM主控板8，ARM主控板8根据所述四轴飞行器的三个轴向的角速度和加速度信息解算出四轴飞行器的当前姿态，并计算当前姿态、位置与所需要控制的姿态、位置之间的误差，然后通过四个电调电路9驱动四个直流电机3，以将四轴飞行器飞行姿态和位置控制至稳定状态；
[0024]步骤二、当四轴飞行器的姿态和位置达到稳定状态后，ARM主控板8通过激光器电路12向激光器20发送指令，使激光器12发出线状激光，然后ARM主控板8通过摄像机电路13采集摄像机22采集到的线状激光照射在室内物体上反射所形成的图像；
[0025]步骤三、ARM主控板8通过无线收发电路14将步骤二所采集到的图像传送给地面控制微机17 ；
[0026]步骤四、控制微机17对接收到的图像进行解算，解算出线状激光器扫描到的物体距离四轴飞行器的实际距离；
[0027]步骤五、ARM主控板8通过舵机电路15向舵机18发送指令，使舵机18按固定的步进角进行旋转，每旋转到一个新角度后，重复步二、步骤三和步骤四，当控制舵机旋转360度后，获得完整的室内三维场景的重构信息；
[0028]步骤六、地面控制微机17通过无线方式向四轴飞行器发送控制指令，调整四轴飞行器在室内的高度和位置，重复步一至步骤五，实现多分辨的室内三维场景重构。
[0029]本发明将激光雷达扫描技术与四轴飞行器灵活移动的特点相结合，进行室内三维场景重构，所带来的效果有:
[0030]1、克服了未知室内环境复杂使普通地面机器人无法进入，进而不能进行室内三维场景重构的问题；
[0031]2、通过四轴飞行器灵活移动的特点与激光雷达扫描技术相结合，解决了常规室内三维重构分辨率单一的问题；
[0032]3、采用激光雷达扫描技术重构三维场景，解决了基于视觉方法获得场景信息缺少真实的空间距离信息，不能真实反映三维空间的问题；
[0033]4、通过四轴飞行器的灵活移动，结合三维激光扫描技术，可以从不同距离、不同角度对室内三维空间进行重构，可解决常规重构方法无法同时获取室内场景细节信息和轮廓?目息的冋题。
【专利附图】
【附图说明】
[0034]图1为四轴飞行器结构示意图；
[0035]图2为四轴飞行器主机体第一层结构示意图；
[0036]图3为机载飞行控制及传感器信息采集单元连接示意图；
[0037]图4为无线通信结构示意图；
[0038]图5为四轴飞行器主机体第二层结构示意图；
[0039]图6为激光单点测距原理示意图；
[0040]图7为激光线条光斑在平行平面上各点的距离问题抽象示意图；
[0041]图8为3D测距原理不意图；
【具体实施方式】
[0042]【具体实施方式】一、如图1所示，本发明所述的基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置包括四轴飞行器，所述的四轴飞行器包括主机体1、四组螺旋桨及电机保护罩2、四组直流电机3、四组螺旋桨4、四组支撑臂5、主机体对称的四个螺孔6和主机体上的通孔7构成。所述四组保护罩2通过相应支撑臂5与主机体I连接，所述四组直流电机3通过电机轴与对应的四组螺旋桨4连接，四组直流电机3与支撑臂5连接，所述四个支撑臂5呈十字交叉，相邻两个支撑臂角度为90度，所述主机体I上还包括对称的四个螺孔6，用于和安装平台连接固定，主机体I中心还包括有一个通孔7，用于安装平台不同层之间电路元件走线。
[0043]本实施方式中，所述主机体I还设有安装平台，该安装平台按照从下向上的顺序共两层，该两层安装平台通过主机体上的四个对称螺孔用螺栓固定连接。
[0044]如图2、图3和图5所示，安装平台的第一层还包括机载飞行控制及传感器信息采集单元，该机载控制单元包括ARM主控板8、电调电路9、加速度计10、陀螺仪11、激光器电路12、摄像机电路13、无线收发14和舵机电路15构成。其中ARM主控板8与加速度计10和陀螺仪11连接，用于获取四轴飞行器当前姿态信息；ARM主控板8还与四个电调电路9连接，并控制四个无刷电机转速增加或减少，达到机体平衡的目的；ARM主控板8与激光器电路12连接用于控制安装平台第二层的激光器20发出线状激光；ARM主控板8与摄像机电路13连接用于获取摄像机采集到的线状激光照射在室内物体上反射所形成的图像;ARM主控板8与舵机电路15连接用于控制舵机旋转，这样可以获取室内360度空间的图像信息。
[0045]安装平台的第二层还包括舵机18、舵机旋转盘上的螺孔19、激光器20、固定板21、摄像机22、舵机旋转盘23、舵机轴24和用于固定主机体和舵机的螺孔25构成。主机体I与舵机18通过螺孔25固定连接；舵机18通过舵机轴24与舵机旋转盘23固定连接；舵机旋转盘23通过舵机旋转盘上的螺孔19与固定板21底部连接；固定板21上左右两侧有两个圆形孔，分别用于固定激光器20和摄像机22。
[0046]机载飞行控制及传感器信息采集单元由大容量锂电池供电。
[0047]如图4所示，与机载飞行控制及传感器信息采集单元配合的还有地面控制单元，该地面控制单元由无线收发16和控制微机17构成。地面控制微机17通过无线收发电路16向四轴飞行器发送控制指令，机载控制单元的无线收发电路14接收到指令后会传送给ARM主控板8，ARM主控板8会根据指令控制电机旋转以达到飞行姿态控制的目的。ARM主控板8还会通过无线收发电路14将采集到的图像传送给地面控制微机17，控制微机对接收到的图像进行解算，解算出线状激光器扫描到的物体距离四轴飞行器的实际距离。
[0048]摄像机22还装有滤光片，用于保留激光器发射波长的光线进入，避免光线干扰，减少后续地面控制微机的计算量，提高实时性。
[0049]四轴飞行器具有类似直升机的飞行性能，可在空中悬停，同时具有机械结构简单、成本低廉、维护简便、飞行噪音小等特点。它可以根据实际情况，实时调整自身姿态，保持机体平衡，并可接收用户指令，实现要求动作。四轴飞行器可应用于交通，救灾，探测等很多场入口 ο
[0050]本发明有针对性的将激光雷达扫描技术与四轴飞行器进行结合，发挥各自优势，同时突破未知室内地面环境复杂使普通地面机器人无法进入的难题。将激光雷达扫描技术和四轴飞行器灵活移动的特点相结合，可提高室内三维重建的分辨率，即同时获得室内三维环境的细节和轮廓信息。
[0051]【具体实施方式】二、基于激光雷达和四轴飞行器的多分辨室内三维场景重构方法，具体步骤为:
[0052]步骤一、地面控制微机17通过无线方式向四轴飞行器发送控制指令，控制四轴飞行器在室内飞行的姿态和位置，四轴飞行器接收到指令后，通过陀螺仪11和加速度计10获取四轴飞行器的三个轴向的角速度和加速度信息，并将这些信息传送给ARM主控板8，ARM主控板8根据这些信息解算出四轴飞行器的当前姿态，并计算当前姿态、位置与所需要控制的姿态、位置之间的误差，然后通过四个电调电路9驱动四个直流电机3，以达到四轴飞行器飞行姿态和位置控制的目的。
[0053]步骤二、当四轴飞行器自己姿态和位置稳定后，ARM主控板8会通过激光器电路12向激光器20发送指令，使激光器12发出线状激光，然后ARM主控板8通过摄像机电路13采集摄像机22采集到的线状激光照射在室内物体上反射所形成的图像。
[0054]步骤三、ARM主控板8通过无线收发电路14将步骤二所采集到的图像传送给地面控制微机17。
[0055]步骤四、控制微机17对接收到的图像进行解算，解算出线状激光器扫描到的物体距离四轴飞行器的实际距离。
[0056]步骤五、ARM主控板8通过舵机电路15向舵机18发送指令，使舵机18按固定的步进角进行旋转，每旋转到一个新角度后，重复步二、步骤三和步骤四，当控制舵机旋转一周后，最后就可以得到完整的室内三维场景的重构信息。
[0057]步骤六、地面控制微机17通过无线方式向四轴飞行器发送控制指令，调整四轴飞行器在室内的高度和位置，重复步一至步骤五，以此达到多分辨的室内三维场景重构的目的。
[0058]下面结合图6、图7和图8对步骤四中解算线状激光器扫描到的物体距离四轴飞行器的实际距离进行进一步说明，具体为:
[0059]图6为激光单点测距原理图，图中线段s是固定摄像机和激光器的平面，摄像机成像平面与该固定平面平行，而激光器发出的射线与该平面夹角为β，d为要测量的物体与激光器的距离，f为摄像机的焦距，q为物体到固定平面的垂直距离，X为待测物体上激光光点在摄像机感光元件上的成像到一侧边的距离，则物体距离激光器的距离可以由如下公式求得:
[0060]q = f*s/x (I)
[0061]d = q/sin ( β ) (2)
[0062]对于变量X的求解，假设图像中激光光点的像素坐标为(px，py)，要求出公式中的X，要将像素单位的坐标变换到实际的距离值，为了方便计算，在安装时可以令摄像机画面的一个坐标轴与上述线段X平行，这样就只需通过光点像素坐标中的一个参量(ρχ或者py)来求出实际投影距离X，这里只用到ρχ，变量X可由下式得到:
[0063]X = PixelSize*px+offset (3)
[0064]其中PixelSize是摄像机感光元件上单个像素感光单元的尺寸,offset是通过像素点计算的投影距离和实际投影距离的偏差。
[0065]由以上分析得到距离d的公式如下:
[0066]d = f*s/ (PixelSize*px+offset)/sin(β ) (4)
[0067]对于线状激光器进行测距的问题可以转化为图6所示的单点测距问题。为了简化问题，先考虑对于一个与摄像机感光面平行的平面上激光光斑各点的距离问题。
[0068]如图7所示，远处平面为目标待测平面，上面有一条紫色的激光光斑。近处的平面是摄像机的感光成像平面，经过翻折后，可以看作是目标平面到摄像头成像中心点组成的凌锥的一个截面。图中Pi点位于摄像机投影画面高度的中点，该点在画面上的投影P1’距离摄像机中心的距离为摄像机的焦距f。因此对于Pl可以直接带入式(4)求出实际距离。对于其它高度上的点P2的求解涉及到额外的参数。
[0069]如图8所示，设P2的投影点P2’到摄像机中心距离为f’，则P2到baseline垂线距离d’可以由如下公式得到:
[0070]d’ = f’*baseline/x (5)
[0071]而f’可以通过f求出，公式如下:
[0072]f' = f/cos (arctan ((P2'.y-ΡΓ.y) /f)) (6)
[0073]其中的P2’.y以及Pl’.y分别是点P2’和P1’在成像元件上的实际高度，可以由各自点像素坐标py乘以像素高度求出。
[0074]在求出了垂线距离d’后，可以通过夹角Θ来求出实际距离D。在求出了平行平面上激光光斑任意点的坐标后，可以将问题一般化，对于3D空间任意激光投影点，可以先构造出该点坐标在的一个平行平面，然后利用上述算法求解。
[0075]最后通过舵机的旋转和四轴飞行器的灵活移动达到对未知复杂室内多分辨三维重建的目的。
【权利要求】
1.基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置，其特征是:它包括四轴飞行器和安装平台，所述的四轴飞行器包括主机体(I)、四组螺旋桨及电机保护罩(2)、四组直流电机(3)、四组螺旋桨(4)和四组支撑臂(5); 所述四组螺旋桨及电机保护罩(2)分别通过四个支撑臂(5)与主机体(I)连接，所述四组直流电机(3)分别通过电机轴与四组螺旋桨⑷连接，四组直流电机(3)的定子固定在支撑臂(5)上，所述四个支撑臂(5)组成“十”字型交叉结构，相邻两个支撑臂之间的夹角为90度，所述主机体(I)的四个角上分别开有四个螺孔￠);主机体(I)的中心还开有一个通孔(7)，用于安装平台不同层之间电路元件走线； 安装平台按照从下向上的顺序分为两层，即:第一层和第二层，该两层安装平台通过主机体(I)上的四个螺孔用螺栓固定连接为一体； 安装平台的第一层中设置有机载飞行控制及传感器信息采集单元，所述机载飞行控制及传感器信息采集单元由大容量锂电池供电，所述机载飞行控制及传感器信息采集单元包括ARM主控板(8)、电调电路(9)、加速度计(10)、陀螺仪(11)、激光器电路(12)、摄像机电路(13)、无线收发单元(14)和舵机电路(15); ARM主控板⑶的加速度信号输入端与加速度计(10)的加速度信号输出端连接；ARM主控板(8)的陀螺仪信号输入端与陀螺仪(11)的陀螺仪信号输出端连接；所述ARM主控板(8)用于根据该加速度信号和陀螺仪信号获取四轴飞行器当前姿态信息； ARM主控板⑶的四个转速控制信号输出端分别通过四个电调电路(9)与四个直流电机(3)的转速控制信号输入端连接； ARM主控板(8)的激光控制信号输出端与激光器电路(12)的控制信号输入端连接；所述ARM主控板(8)用于通过激光器电路(12)控制安装平台第二层的激光器(20)发出线状激光； ARM主控板(8)的图像信号输入端与摄像机电路(13)的图像信号输出端连接，所述ARM主控板(8)用于获取摄像机采集到的线状激光照射在室内物体上反射所形成的图像；ARM主控板⑶的舵机控制信号输出端与舵机电路(15)的控制信号输入端连接，所述ARM主控板(8)用于控制舵机旋转； 安装平台的第二层中设置有舵机(18)、激光器(20)、固定板(21)、摄像机(22)、舵机旋转盘(23)和舵机轴(24)； 主机体(I)上开有用于固定主机体和舵机的螺孔(25);所述主机体(I)与舵机(18)通过螺孔(25)固定连接；舵机(18)通过舵机轴(24)与舵机旋转盘(23)固定连接；舵机旋转盘(23)上开有螺孔(19)，舵机旋转盘(23)通过螺孔(19)与固定板(21)底部连接；固定板(21)上左右两侧开有两个圆形孔，分别用于固定激光器(20)和摄像机(22)。
2.根据权利要求1所述的基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置，其特征在于它还包括地面控制单元，所述地面控制单元包括无线收发设备(16)和控制微机(17)，所述控制微机(17)通过无线收发设备(16)和无线收发单元(14)与ARM主控板(8)进行数据交互。
3.根据权利要求1所述的基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置，其特征在于摄像机(22)的镜头上装有滤光片。
4.基于权利要求2的多分辨室内三维场景重构方法，其特征是:它由于以下步骤实现: 步骤一、地面控制微机(17)通过无线方式向四轴飞行器发送控制指令，控制四轴飞行器在室内飞行的姿态和位置，四轴飞行器接收到指令后，通过陀螺仪(11)和加速度计(10)获取四轴飞行器的三个轴向的角速度和加速度信息，并将这些信息传送给ARM主控板(8)，ARM主控板(8)根据所述四轴飞行器的三个轴向的角速度和加速度信息解算出四轴飞行器的当前姿态，并计算当前姿态、位置与所需要控制的姿态、位置之间的误差，然后通过四个电调电路(9)驱动四个直流电机(3)，以将四轴飞行器飞行姿态和位置控制至稳定状态；步骤二、当四轴飞行器的姿态和位置达到稳定状态后，ARM主控板⑶通过激光器电路(12)向激光器(20)发送指令，使激光器(12)发出线状激光，然后ARM主控板(8)通过摄像机电路(13)采集摄像机(22)采集到的线状激光照射在室内物体上反射所形成的图像； 步骤三、ARM主控板(8)通过无线收发电路(14)将步骤二所采集到的图像传送给地面控制微机(17)； 步骤四、控制微机(17)对接收到的图像进行解算，解算出线状激光器扫描到的物体距离四轴飞行器的实际距离； 步骤五、ARM主控板⑶通过舵机电路(15)向舵机(18)发送指令，使舵机(18)按固定的步进角进行旋转，每旋转到一个新角度后，重复步二、步骤三和步骤四，当控制舵机旋转360度后，获得完整的室内三维场景的重构信息； 步骤六、地面控制微机(17)通过无线方式向四轴飞行器发送控制指令，调整四轴飞行器在室内的高度和位置，重复步一至步骤五，实现多分辨的室内三维场景重构。
【文档编号】G05B19/042GK104503339SQ201510003097
【公开日】2015年4月8日 申请日期:2015年1月5日 优先权日:2015年1月5日
【发明者】刘柏森, 刘静森, 侯晓力, 杨冬云, 王岩, 杨春光 申请人:黑龙江工程学院