环境数据共享平台、无人飞行器、定位方法和定位系统与流程

文档序号:12821594阅读:302来源:国知局
环境数据共享平台、无人飞行器、定位方法和定位系统与流程

本发明属于无人飞行器领域,特别是涉及一种无gps信号下,例如室内的共享环境数据的无人飞行器定位方法、定位系统、环境数据共享平台和无人飞行器。



背景技术:

目前,主要基于gps,这里用gps来举例式说明卫星定位导航系统,事实上全球范围内还存在俄罗斯以及中国的类似系统,由于其具体原理和情况与本申请技术方案并无直接关联,在此不再展开说明,或者差分gps来实现的室外无人飞行器的定位问题已经基本得到解决,由于对于gps信号的使用效率越来越高,在室外飞行的较好的无人飞行器,利用gps信号已经能够轻易做到在厘米级别程度的位置识别。具体体现在操控体验上,一台悬停状态的多旋翼无人机,在室外利用来自多颗gps卫星的信号,能够像钉子一样定在某个特定地点,纹丝不动。

事实上,对于旋翼式无人机来说,悬停精准可靠是其他复杂飞行轨迹操控的前提,正是由于在室外环境下,旋翼式无人机的定位问题已经基本得到解决,并且这个解决方案的成本比较低廉。所以,旋翼式无人机尤其是多旋翼无人机的应用领域得到广泛开拓,包括航拍、物流、勘测、巡线、植保等多个领域,已经出现了无人机活跃的身影。

相较而言,对于缺乏gps信号指引的情况下,无人机的悬停定位成为一个大问题,尤其是对于室内这个典型环境而言,多旋翼无人机无法精准悬停,导致在室内飞行的可行性受到极大挑战。

在室内环境下,由于无法借助gps信号来实现对自身位置的确认,低成本的解决方案是通过imu来实现自身位置判断,但是由于积分误差,使用这种方案来定位的无人机漂移现象严重,也就是说,在使用者不给出任何移动指令的情况下,无人机可能朝向任意方向持续移动,并且速度还不慢。而室内环境往往比室外更复杂,障碍物更多,这种无人飞行器的漂移,将导致使用者忙于调整无人飞行器的位置,而无暇去让飞行器完成实际飞行任务。

为了实现室内环境下的精准定位的另一种解决方案,是通过动作捕捉系统来实现,在预先设计好的环境下,通过动作捕捉系统,利用红外高速摄像机捕捉被动发光标记,能够实现针对目标物体的高速位置识别。一种著名的动作捕捉系统被称为vicon动作捕捉系统。但是采用这种方法的一个重大问题是成本不可控,使用动作捕捉系统来实现室内环境的精准定位,不仅需要针对该室内环境的环境特点预先布置价格不菲的高速摄像设备,还需要在无人飞行器上设置用于被捕捉的发光标记。一套效果满意的解决方案成本要上百万,对于消费级产品来说,这就意味着这种方案没有市场价值。

当前,研究的热门是通过图像识别技术来解决上述定位问题。所谓图像识别技术一般是利用若干摄像头,实时拍摄无人飞行器周围的环境,根据周围的环境来判断无人飞行器当前的位置。

两种典型的图像识别技术如下:

其一是根据被拍摄对象的特征来定位,比如在地面上存在或者预先设置有若干具有明显标识效果的地标,无人飞行器上设置有向下拍摄的摄像头,通过不间断的对地面的拍摄,不断去读取这些地标,来帮助无人机判断自身位置。该方案的前提是需要对周围环境有预先的了解,如此才能根据实时拍摄的数据与预先了解到的地标进行比对,从而判断自身位置。

专利文献cn103149939a公开的一种基于视觉的无人机动态目标跟踪与定位方法包括如下步骤:第一步,视频处理,进行动态目标的检测和图像跟踪;动态目标检测:在连续两帧图像中,第一帧图像中提取特征点集,在第二帧图像中对这些特征点进行跟踪,得到第一帧图像中特征点集的对应特征点集,进一步去除对应特征点集中属于动态目标的特征点;用剩余的有效特征点集对中的各特征点对的运动矢量估计全局的运动,得到变换矩阵,从而补偿背景的运动,将动态背景下的动态目标检测转换为静态背景下的动态目标检测,帧差补偿背景后的两帧图像,用最小类间方差阈值法自动选取阈值产生相应的二值图像,对二值图像进行滤波处理,接着用最小外接矩形描述该动态目标,实现动态目标的检测;(2)对检测出的动态目标在后续帧中采用融合基于偏移的均值向量跟踪和卡尔曼先验预估的算法连续跟踪,首先用卡尔曼滤波预估出动态目标在当前帧图像中的位置,然后将该位置信息传递给基于偏移的均值向量跟踪算法,该算法在该位置附近搜索目标,判定搜索结果是否有效,若是有效则进一步传递给卡尔曼滤波作为观测值进行下一步的预测;第二步,云台伺服控制,实时调整云台的俯仰偏转角度,使目标保持在图像的中央;第三步,建立影像中目标与现实环境中目标的对应关系,进一步测量摄像机与动态目标之间的距离,完成动态目标的精确定位;第四步,无人机飞控系统进行自主跟踪地面动态目标飞行。该专利可自行完成对运动目标的检测、图像跟踪,自动偏转光轴使动态目标始终呈现在成像平面中央,在获取无人机高度信息的基础上依据建立的模型实时测量无人机与动态目标之间的距离,但该专利由于对于未知的室内环境缺乏数据支持,导致室内定位问题解决的不好,即使采用视觉定位方式进行定位,效果也不好。

另一种是采用slam(并发建图与定位)方式,即飞行器通过自身在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图,实现机器人的自主定位和导航。这种方式的适用性更广,但是对于图像处理能力和计算能力的要求更高。这种方式虽然在没有任何地图数据的情况下也能从零开始搜集环境资料,但是如果是这种情况也就意味着该飞行器在正常工作之前,还需要有一个对当前环境的地图构建工作要做。

专利文献cn104062977a公开了一种基于视觉slam的四旋翼无人机全自主飞行控制方法,包括如下步骤:利用安装在四旋翼无人机底部的摄像头采集图像信息,利用集成惯性导航单元获取无人机的姿态角及加速度信息,这两部分信息作为输入,运行改进的视觉slam算法获取四旋翼无人机三维位置和姿态信息;采用扩展卡尔曼滤波器融合视觉位置信息和惯性导航单元提供的三维加速度,从而得到精确的位置信息,采用上述算法得到的水平位置和速度信息及气压计获得的高度信息作为反馈量,设计pid控制器,实现四旋翼无人机的全自主飞行控制。该专利文献搭建了四旋翼无人机视觉控制系统实验平台,该平台采用嵌入式控制系统架构,使用机载嵌入式计算机运行论文中提出的算法,但该专利的无人飞行器结构复杂以及对于图像处理能力和计算能力的要求更高,而获得的定位精度以及及时性无法满足无人飞行器的飞行控制需要。

因此,如上背景技术所述,传统无人飞行器使用视觉定位方式来解决室内定位问题的时候,虽然也能取得一定效果,但是由于对于未知的室内环境缺乏数据支持,导致室内定位问题解决的不好,即使采用视觉定位方式进行定位,效果也不好。



技术实现要素:

本申请通过某个平台预先收集各个场所的室内环境数据资料,并且分享给需要的无人飞行器,如此,当某个无人飞行器在陌生的室内环境中开始飞行任务的时候,可以通过提前调取该环境的对应环境数据资料,来提高其实施室内定位飞行的准确性和可靠性。每台无人飞行器在某个具体的室内环境中进行飞行的同时,还可以将实时所采集的摄像数据保存下来,即时或者后续传送给共享平台,不断完善共享平台上各个室内环境数据的对应资料。

本发明的目的是通过以下技术方案予以实现。

根据本发明的一方面,一种共享环境数据的无人飞行器定位方法包括以下步骤:

在第一步骤中,环境数据共享平台收集并共享环境数据。

在第二步骤中,无人飞行器确定当前位置,并基于所述当前位置连接所述环境数据共享平台以获得相应环境数据。

在第三步骤中,无人飞行器基于所述环境数据进行视觉定位。在本发明中,所述环境数据指的是无人飞行器飞行环境的空间信息,包括但不仅限于如地形、障碍物、通道等构成的带有数据的二维地图和/或三维地图。

在所述的共享环境数据的无人飞行器定位方法中,在第三步骤中,所述无人飞行器将飞行中采集的环境数据上传所述环境数据共享平台。

在所述的共享环境数据的无人飞行器定位方法中,在第一步骤中,环境数据共享平台通过激光雷达和/或摄像头采集环境信息且进行并发建图与定位(slam)以形成环境数据。进一步地,激光雷达包括单线激光雷达或多线激光雷达,所述摄像头包括单目深度摄像头、双目深度摄像头、单目结构光深度摄像头、双目结构光深度摄像头或tof(timeofflight)深度摄像头;所述并发建图与定位(slam)经由ptam算法模块、monoslam算法模块、orb-slam算法模块、rgbd-slam算法模块、rtab-slam算法模块或lsd-slam算法模块建模以形成环境数据。

在所述的共享环境数据的无人飞行器定位方法中,在第一步骤中,环境数据共享平台通过摄像头采集地面纹理信息作为环境数据。

在所述的共享环境数据的无人飞行器定位方法中,在第一步骤中,所述环境数据包括环境数据采集的场所名称、环境数据采集的朝向、环境数据的采集方式、环境数据的类型和/或环境数据的处理格式,其中,所述环境数据的类型包括地面纹理地图和slam建立的三维地图。

在所述的共享环境数据的无人飞行器定位方法中,在第一步骤,环境数据共享平台为云端服务器,无人飞行器无线通信连接所述环境数据共享平台进行数据交互。

在所述的共享环境数据的无人飞行器定位方法中,在第二步骤中,无人飞行器设有双目摄像头,所述无人飞行器基于所述环境数据进行双目视觉定位。

在所述的共享环境数据的无人飞行器定位方法中,在第二步骤中,无人飞行器基于环境数据采集的场所名称、环境数据采集的朝向、环境数据的采集方式、环境数据的类型、环境数据的内容和/或环境数据的处理格式搜索和下载环境数据,所述环境数据是二维地图或三维地图。

在所述的共享环境数据的无人飞行器定位方法中,在第三步骤中,无人飞行器采集到的环境数据实时或延迟上传到环境数据共享平台。

根据本发明的另一方面,一种实施所述的共享环境数据的无人飞行器定位方法的定位系统包括收集并共享环境数据的环境数据共享平台和无人飞行器,所述环境数据共享平台包括存储有环境数据的数据库的存储设备和访问所述数据库的通信端口,所述通信端口经由无线通信连接所述无人飞行器,所述无人飞行器包括接收环境数据的通信设备、处理环境数据的处理器和用于视觉定位的摄像头和/或激光雷达,所述无人飞行器基于所述环境数据利用所述摄像头和/或激光雷达进行视觉定位。

在所述的定位系统中,所述无人飞行器将飞行中采集的环境数据经由所述通信设备上传所述环境数据共享平台。

在所述的定位系统中,所述环境数据共享平台设有用于采集环境信息的激光雷达和/或摄像头和用于并发建图与定位(slam)以形成环境数据的slam模块。进一步地,所述激光雷达包括单线激光雷达或多线激光雷达,所述摄像头包括单目深度摄像头、双目深度摄像头、单目结构光深度摄像头、双目结构光深度摄像头或tof(timeofflight)深度摄像头;所述slam模块包括ptam算法模块、monoslam算法模块、orb-slam算法模块、rgbd-slam算法模块、rtab-slam算法模块或lsd-slam算法模块。

根据本发明的另一方面,一种用于所述的定位系统的环境数据共享平台为云端服务器,服务器包括处理器、存储有环境数据的数据库的硬盘、内存、总线和用于与无人飞行器数据交互的通信端口。

根据本发明的另一方面,一种实施所述的定位方法的无人飞行器包括接收环境数据的通信设备、处理环境数据的处理器和用于视觉定位的摄像头和/或激光雷达,摄像头和/或激光雷达发送当前位置到所述处理器,所述处理器基于当前位置经由所述通信设备连接所述定位系统获得相应环境数据,所述无人飞行器基于所述环境数据利用所述摄像头和/或激光雷达进行视觉定位。

根据本发明的另一方面,一种用于所述的定位系统的无人飞行器包括接收环境数据的通信设备和用于视觉定位的摄像头和/或激光雷达,采集环境数据的摄像头和/或激光雷达经由所述通信设备连接所述定位系统以上传环境数据。本发明提出的方案,结构简单、通过提前调取对应环境数据来提高其实施室内定位飞行的准确性和可靠性,每台无人飞行器在某个具体的室内环境中进行飞行的同时,还可以将实时所采集的摄像数据保存下来,即时或者后续传送给共享平台,不断完善共享平台上各个室内环境数据。

附图说明

图1是根据本发明一个实施例的共享环境数据的无人飞行器定位方法的步骤示意图。

图2是根据本发明一个实施例的共享环境数据的无人飞行器定位系统的结构示意图。

图3是根据本发明另一个实施例的共享环境数据的无人飞行器定位系统的结构示意图。

以下结合附图和实施例对本发明作进一步的解释。

具体实施方式

以下详细描述实际上仅是示例性的而并不意欲限制应用和使用。此外,并不意欲受以上技术领域、背景、简要概述或以下详细描述中呈现的任何明确或暗示的理论约束。如本文使用,术语“模块”或“单元”是指任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备单独地或者以任何组合,包括而不限于:专用集成电路asic、电子电路、执行一个或多个软件或固件程序的处理器共享、专用或成组的和存储器、组合逻辑电路和/或提供所描述的功能性的其他适合的部件。此外,除非明确地具有相反的描述,否则词语“包括”及其不同的变型应被理解为隐含包括所述的部件但不排除任意其他部件。

无人飞行器简称“无人飞行器”,英文缩写为“uav”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。从技术角度定义可以分为:无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇、无人伞翼机等。

本发明实施例中优选的无人飞行器为多旋翼无人飞行器(或称为多旋翼飞行器),可以是四旋翼、六旋翼及旋翼数量大于六的无人飞行器。优选的,机身由碳纤维材料制成,在满足较高使用强度和刚度的前提下,可大幅减轻机身的重量,从而降低多旋翼无人飞行器的动力需求以及提高多旋翼无人飞行器的机动性。当然,在本发明的其他实施例中,机身还可以由塑料或者其他任意使用的材料制成。机身上设有多个相对于所述机身中的对称平面呈对称分布的浆臂,每一个浆臂远离所述机身的一端设有桨叶组件,所述桨叶组件包括安装在所述浆臂上的电机和连接在所述电机的输出轴上的桨叶,每一片桨叶的旋转轴线均位于同一圆柱面上。

当然,所述多旋翼无人飞行器的说明只是一个简单说明,具体还包括许多其他的组成构件,也还有其他许多种无人飞行器类型,均可以用于实现本发明的目的,在此不再赘述。

但是,从消费级市场的需求以及用户对于飞行拍摄的操纵便利性的发展趋势来看,本发明技术方案的飞行拍摄设备主要是指小、微型多旋翼无人飞行器,这种无人机体积小、成本低、飞行稳定性较好,飞行拍摄成本低等。本发明使用的飞行器,典型的以四轴多旋翼飞行器为代表。并且,这种飞行器已经开始广泛用于航拍、空中作业、物流等领域。

图1是根据本发明一个实施例的共享环境数据的无人飞行器定位方法的步骤示意图,一种共享环境数据的无人飞行器定位方法包括以下步骤:

在第一步骤s1中,环境数据共享平台1收集并共享环境数据。

在第二步骤s2中,无人飞行器2确定当前位置,并基于所述当前位置连接所述环境数据共享平台1以获得相应环境数据。

在第三步骤s3中,无人飞行器2基于所述环境数据进行视觉定位。在本发明中,所述环境数据指的是无人飞行器飞行环境的空间信息,包括但不仅限于如地形、障碍物、通道等构成的带有数据的二维地图或三维地图。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第三步骤s3中,所述无人飞行器2将飞行中采集的环境数据上传所述环境数据共享平台1。

本发明的至少一台计算机组成的环境数据共享平台1,其上存储有针对不同室内环境的环境数据。若干注册在该环境数据共享平台1上的无人飞行器2,可以通过该平台下载其所需要的环境数据,来提升其室内飞行的稳定性。另外这些无人飞行器2也可以将其在特定室内环境下飞行过程中,所搜集到的环境数据上传给该环境数据共享平台1,从而不断提升该环境数据共享平台1的服务范围和服务深度。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第一步骤s1中,环境数据共享平台1通过激光雷达和/或摄像头采集环境信息且进行并发建图与定位slam以形成环境数据,其中,激光雷达包括单线激光雷达或多线激光雷达,所述摄像头包括单目深度摄像头、双目深度摄像头、单目结构光深度摄像头、双目结构光深度摄像头或tof(timeofflight)深度摄像头;所述并发建图与定位slam经由ptam算法模块、monoslam算法模块、orb-slam算法模块、rgbd-slam算法模块、rtab-slam算法模块或lsd-slam算法模块建模以形成环境数据。

在一个实施例中,首先,所述环境数据共享平台1按照slam方式来搜集环境数据资料。slam方式的具体实现主要通过激光雷达单线、多线或摄像头单目、双目、单目结构光、双目结构光、tof这两种方式来实现。由于本申请中这种建模所得到的环境数据,主要适用于无人机在室内飞行中的避障参考使用,所以对于建模精度和算法要求没有那么高,并且当前较为成熟的应用于无人机上的视觉避障手段,主要还是基于双目视觉的摄像头来实现的,比如在无人飞行器的前方和下方各设置有一对双目视觉的深度摄像头。由于具体的算法本身和数据格式的选取并非本申请的重点,在本申请方案中不再赘述,比较知名的算法,比如ptam、monoslam、orb-slam、rgbd-slam、rtab-slam、lsd-slam等等,均可适当的使用于本申请方案,在此对算法本身也不做更多详细陈述。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第一步骤s1中,环境数据共享平台1通过摄像头采集地面纹理信息作为环境数据。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第一步骤s1中,所述环境数据包括环境数据采集的场所名称、环境数据采集的朝向、环境数据的采集方式、环境数据的类型和/或环境数据的处理格式,其中,所述环境数据的类型包括地面纹理地图和slam建立的三维地图。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第一步骤s1,环境数据共享平台1为云端服务器,无人飞行器2无线通信连接所述环境数据共享平台进行数据交互。环境数据共享平台1是云端服务器或一个服务器集群,有很多服务器,和通用的计算机架构类似,环境数据共享平台1的构成包括处理器、硬盘、内存、系统总线等。环境数据共享平台1能够提供简单高效、安全可靠、处理能力可弹性伸缩的计算服务。环境数据共享平台1的处理器还可以包括:cpu,ram内存,操作系统和应用软件,负责多任务调度,包括无线通信功能、存储器读写和数据处理等等。环境数据共享平台1的硬盘或存储器可包括可快速读写的sdd硬盘以及可插入sd卡的移动读写装置,主要用于存储无人飞行器的环境数据。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第二步骤s2中,无人飞行器2设有双目摄像头,所述无人飞行器2基于所述环境数据进行双目视觉定位。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第二步骤s2中,无人飞行器2基于环境数据采集的场所名称、环境数据采集的朝向、环境数据的采集方式、环境数据的类型、环境数据的内容和/或环境数据的处理格式搜索和下载环境数据,所述环境数据是二维地图或三维地图。

在本发明所述的共享环境数据的无人飞行器定位方法优选地是,在第三步骤s3中,无人飞行器2采集到的环境数据实时或延迟上传到环境数据共享平台1。

为了进一步说明本发明的共享环境数据的无人飞行器定位方法,下面举例说明。

实施例1

为了说明的便利,先对一个较简单的实施方式进行说明如下:

前述虽然是以slam方式为例来说明了环境数据共享平台1,但是由于slam方式对于无人飞行器2的数据运算和处理能力要求较高,所以更多的应用于性能较强的无人飞行器。对于某些更加便携和傻瓜化的自拍型无人飞行器,其实也可以采用数据量更低的室内环境数据共享模式,比如利用自拍型无人飞行器上设置的朝向某个特定方向的单摄像头,来采集对应数据,从而建立该室内环境的对应环境数据。举例来说,该特定方向是朝向正下方,那么无人飞行器实际上能够获得整个室内环境的地面纹理环境数据。对于某些特定的室内场合而言,其地面纹理具有较为明显的标识度,一台无人飞行器只要能够通过共享平台获得了该特定室内场合的地面纹理,就像是获得了完备的地图数据一样,能够可靠的在该室内场合可靠的飞行。

更具体的说,某商场室内铺设了地砖,该复数地砖构成了独特的不重样纹理,本申请所述的环境数据共享平台获得从高度为2米左右的水平向下垂直俯拍得到的地面纹理全图,并且伴随该全图还标识有对应的飞行安全区域,该数据构成了该特定场合,也就是商场的环境数据。

一台自拍型无人飞行器a,只要下载了上述数据,通过俯拍摄像头得到的拍摄数据,就能够通过该地面纹理全图迅速了解自身当前处于商场室内的哪个位置,并且通过图形的大小对比,还能辅助判断无人飞行器的飞行高度。由于确定了当前无人机的飞行位置和高度,通过该地面纹理全图所对应的飞行安全区域标注,该无人飞行器还能可靠的避开商场室内的障碍物。上述全部过程仅需要从所述共享平台获得对应的环境资料即可轻易实现,并且可靠性极高。

实施例2

对于更为复杂的slam情况而言,下面以在无人飞行器的前方和下方各设置有一对双目视觉的深度摄像头的视觉识别定位方案为例进行说明。

由于通过一对双目视觉的深度摄像头获得了景深,所以当前的这种无人飞行器实际上能够在设置有摄像头的前向和下向,实现视觉避障,让无人飞行器躲开这个方向上的障碍物。但是由于这些数据是即时获得即时处理即时判断是否存在障碍物,而不做历史数据的积累,所以数据采集的结果不能通过反复积累而提升使用效率。本申请方案中,对深度摄像头所连续采集到的视频数据进行连续储存,并且经由上述任意slam算法,将该前向摄像头和下向摄像头所拍摄到的数据处理转换成对应格式的,能够反映周围物理模型的环境数据,从而能够得到与实际室内环境对应的简略的三维模型坐标。

对于数据要求比较简单的情况,可以将前向摄像头获得的数据和下向摄像头获得的数据分别按照slam算法进行处理,得到不同的环境数据以供具有同样前向摄像头和下向摄像头的飞行器来利用。对于另一台仅由前向摄像头的无人飞行器来说,虽然与当前采集数据的无人飞行器在摄像头配置上不同,但是只要仅从该数据共享平台上下载与前向摄像头对应的环境数据,同样能够充分利用该环境数据,在无需重新进行学习的情况下,就能提高对某个实际环境的认识。

对于数据处理能力更高的情况而言,也可以基于多组摄像头构成的摄像头套件,来建立针对某个室内环境的较为完善的三维物理模型,在这种情况下,相当于形成了一个基于某个特定室内环境的三维地图。另一台能够支持该对应slam算法的无人飞行器,只要下载了该三维地图数据,就能基于该数据,按图索骥的进行飞行,进一步提高了飞行的可靠性。

按照如上所述的数据共享平台的建设中,需要针对不同的室内环境设置对应的记录数据,该记录数据除了包括对应的环境数据之外,一般还需要标注该室内环境的名称、该室内环境的地图类型比如上述的纹理地图、某特定朝向的双目视觉摄像头采集的数据、按照某个格式的slam算法建立的三维地图模型等。

实施例3

如果基于某个特定飞行器自身在用户的飞行使用过程中去采集对应的环境数据,并通过不断改进环境数据来提高飞行器在室内飞行的定位效果,那么这种方案从商业上来讲是不现实的,因为效果不好,而且付出的代价也比较高。

本申请强调,通过海量的不同用户的单独使用行为来前期大量的积累不同场所的环境数据。

在最开始的时候,可能需要通过平台运营者,主动使用无人飞行器去主动在一些常用的室内飞行场地去主动搜集环境数据,但是更重要的是通过各种方式鼓励用户去在不同的室内飞行场所飞行,并尝试收集这些用户所产生的,可能被浪费或者忽视掉的历史环境数据。

随着环境数据在不同场所的不断积累,数据的准确性将越来越高。并且随着用户使用频率的增加,该环境数据与实际环境的实际匹配程度也将越来越快。

并且,本申请不仅限于室内环境,实际上对于那些gps信号不好,难于获得可靠定位的环境而言,本申请同样适用。

一种典型的场所就是城市内摩天高楼林立的环境下,在高楼中的某个环境,此时由于周围建筑物和金属物的干扰,尤其城市内还往往存在大量的电磁干扰,此时gps信号是不可靠的。那么基于本申请方案,只要无人飞行器能够获得该对应场合的环境数据,无人飞行器就能够在不依赖于gps这种常规定位方式的情况下,可靠的通过视觉定位来完成自身定位和导航任务。

实施例4

本部分对于数据共享平台中的环境数据的名称的划分和归类进行进一步说明。

对于某些特定场合而言,可以通过其名称来定义,比如某个室内公园、某个室内广场,当然也可以是室外环境,比如香港迪士尼乐园。

此时,无人飞行器在使用时,只要通过用户指定对应的场所名称,来匹配下载该对应地点的环境数据,从而让无人飞行器在实际飞行中获得参考数据。

当然,该特定场合的数据匹配也可以是自动的。

对于能够获得gps坐标的场合而言,无人飞行器在启动后,通过gps判断出当前所在位置,然后去共享平台查询是否存在与该坐标对应的环境数据,如果存在则请求分享该环境数据。

另外,由于无人飞行器在使用时,也会不断搜集对应的环境数据信息,以本申请的第一实施例为例,当一台无人飞行器不断扫描地面纹理的时候,发现该地面纹理与数据平台中的某个特定地点的环境数据匹配的时候,也可以自动下载并对应该特定地点的环境数据,来提升该无人飞行器的飞行稳定性。

当然在上述示例中,由于某些特定场合在某些局部的纹理或者某些局部的三维地图可能存在雷同的情形,上述这种自动对应某个特定场合的环境数据信息的操作,也可以向用户发出一个确认信息,在用户确认之后,在予以使用。

实施例5

该共享平台可以建立在云端,由各个无人飞行器通过无线通信或者其他通信方式来与该平台进行连接,并完成数据分享。

当然,该共享平台的数据也可以定时打包分享到无人飞行器本体上的记忆单元,此时无人飞行器本体即可完成数据利用。该场合下,对于数据量不大的情况,尤为适合。比如用户明确即将携带无人飞行器赴香港游玩,则该无人飞行器在进入香港地域后,在开机条件下,通过gps判断出处于香港,则在闲时利用网络下载香港所在的所有已知环境数据到无人飞行器本体。当用户在香港的任意一个特定场合使用该飞行器的时候,该飞行器可以通过本体中的数据来匹配环境数据。当用户携带无人飞行器离开香港奔赴下一目的地时,该无人飞行器可重新下载新地点的对应数据包,并且可选择的删除或者保留香港的对应数据包。

实施例6

鉴于双目视觉的无人飞行器在飞行时采集的数据量较大,对于某些航拍无人机来说,本身完成实施航拍影像图传的时候,所需要占用的通信信道资源就很多,所以,对于这种采集到的环境数据的上传过程,也可以延迟到闲时实施。比如在无人飞行器的通信信道闲置,并没有被航拍数据所占用的时候;再如,在无人飞行器并未起飞,但是处于开机状态的时候等等。当然,对于通信信道资源足够支撑的情况下,也可以即时上传对应的环境数据。

图2是根据本发明一个实施例的无人飞行器的定位系统的结构示意图,一种实施所述的共享环境数据的无人飞行器定位方法的定位系统包括收集并共享环境数据的环境数据共享平台1和无人飞行器2,所述环境数据共享平台1包括存储有环境数据的数据库的存储设备3和访问所述数据库的通信端口4,所述通信端口4经由无线通信连接所述无人飞行器2,所述无人飞行器2包括接收环境数据的通信设备5、处理环境数据的处理器6和用于视觉定位的摄像头和/或激光雷达7,所述无人飞行器2基于所述环境数据利用所述摄像头和/或激光雷达7进行视觉定位,所述无人飞行器2将飞行中采集的环境数据经由所述通信设备5上传所述环境数据共享平台1。

在一个实施例中,处理器6包括通用处理器、数字信号处理器、专用集成电路asic,现场可编程门阵列fpga、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。存储设备3包括一个或多个只读存储器rom、随机存取存储器ram、快闪存储器、电子可擦除可编程只读存储器eeprom或其它类型的存储器。

在一个实施例中,无人飞行器包括接收环境数据的通信设备5、处理环境数据的处理器6和用于视觉定位的摄像头和/或激光雷达7、输入输出界面、功能设备、动力单元以及其他。各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。所述处理器6在接收到执行指令后,执行所述可执行的软件功能模块包括的程序,本发明实施例任一实施例揭示的无人飞行器所执行的方法可以应用于处理器中,或者由处理器实现。

其中,存储器用于存储所述无人飞行器的环境数据。所述存储器可以是所述无人飞行器的内部存储器,也可为可移除的存储器,存储器可以是,但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。其中,存储器可用于存储程序。

处理器可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器103(networkprocessor,简称np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一个实施例中,无线访问通过通信设备5建立,所述通信设备5至少包括具有不同优选级的无线局域网通信设备、移动通信网络设备、平流层通信网络设备和卫星网络通信设备中的一个,所述通信设备5建立无人飞行器2和环境数据共享平台1之间的无线通信链路。其中,移动通信网络设备主要由2g/3g/4g无线通信芯片组构成。无线局域网通信设备可以是蓝牙、zigbee或wi-fi模块中的一个,无线局域网通信设备可通过2.4ghz通信频率建立短距离通信,在室内或低速移动的室外环境会优选该通信设备建立无人飞行器2和环境数据共享平台1之间的通信连接。平流层通信网络设备一般用充氦飞艇、气球作为安置转发站的平台,平台高度距地面17km~22km,无人飞行器在大范围野外飞行时,可以优选平流层通信网络设备建立无人飞行器2和环境数据共享平台1之间的通信连接。卫星网络通信设备利用卫星通信信道建立无人飞行器2和环境数据共享平台1之间的通信连接,一般是在无其他可用无线通信网络的情况下,会使用卫星网络通信设备作为应急通信。

在一个实施例中,依据无线网络成本或无线网络接入速度,选择无线传输网络,本申请设计以下为优先级方案,wi-fi网络:优先级为0;4g无线网络:优先级为1;3g无线网络:优先级为2;平流层通信网络:优先级为3;卫星通信网络:优先级为4;优先级别0-4,所选择无线网络优先级由高到低,即如果同时存在多种无线信号,且信号强度有效时,无人飞行器会首先选择wi-fi网络作为无线接入网络;当wi-fi信号强度无效时,无人飞行器会次优选择4g网络作为无线接入网络;依次类推。

动力单元包括电子调速器,电机,旋翼等,其中,所述电子调速器与电机电性连接,旋翼安装在电机上,该电子调速器接收处理器发送的控制信号,控制电机旋转,从而带动旋翼的旋转。

图3是根据本发明一个实施例的无人飞行器的定位系统的结构示意图,一种实施所述的共享环境数据的无人飞行器定位方法的定位系统包括收集并共享环境数据的环境数据共享平台1和无人飞行器2,所述环境数据共享平台1包括存储有环境数据的数据库的存储设备3和访问所述数据库的通信端口4,所述通信端口4经由无线通信连接所述无人飞行器2,所述无人飞行器2包括接收环境数据的通信设备5、处理环境数据的处理器6和用于视觉定位的摄像头和/或激光雷达7。进一步地,所述无人飞行器2基于所述环境数据利用所述摄像头和/或激光雷7达进行视觉定位,所述无人飞行器2将飞行中采集的环境数据经由所述通信设备5上传所述环境数据共享平台1,所述环境数据共享平台1设有用于采集环境信息的激光雷达和/或摄像头和用于并发建图与定位slam以形成环境数据的slam模块8,其中,所述激光雷达包括单线激光雷达或多线激光雷达,所述摄像头包括单目深度摄像头、双目深度摄像头、单目结构光深度摄像头、双目结构光深度摄像头或toftimeofflight深度摄像头;所述slam模块8包括ptam算法模块、monoslam算法模块、orb-slam算法模块、rgbd-slam算法模块、rtab-slam算法模块或lsd-slam算法模块。

在一个实施例中,单目结构光深度摄像头具有激光投射器、光学衍射元件doe、红外摄像头三大核心器件。

在一个实施例中,tof(timeofflight)深度摄像头通过传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息。

在一个实施例中,orb-slam算法模块可以实时运行,适用于各种场合,室内的或者室外的,大场景或小场景。系统具有很强的鲁棒性,可以很好地处理剧烈运动图像、可以有比较大的余地自由处理闭环控制、重定位、甚至全自动位置初始化。

在一个实施例中,rgbd-slam算法模块提取获取的深度图的每帧图像特征点,利用相邻帧图像,进行特征点匹配,然后利用ransac去除大噪声,然后进行匹配,得到一个pose信息位置和姿态,同时可以利用imu提供的姿态信息进行滤波融合,利用滤波理论ekf、ukf、pf、或者优化理论toro、g2o进行树或者图的优化,最终得到最优的位姿估计。

本发明中,.一种用于所述的定位系统的环境数据共享平台为云端服务器,服务器包括处理器、存储有环境数据的数据库的硬盘、内存、总线和用于与无人飞行器数据交互的通信端口。

本发明中,一种实施所述的定位方法的无人飞行器包括接收环境数据的通信设备5、处理环境数据的处理器6和用于视觉定位的摄像头和/或激光雷达7,摄像头和/或激光雷达7发送当前位置到所述处理器6,所述处理器6基于当前位置经由所述通信设备5连接所述定位系统获得相应环境数据,所述无人飞行器基于所述环境数据利用所述摄像头和/或激光雷达7进行视觉定位。

本发明中,一种用于所述的定位系统的无人飞行器包括接收环境数据的通信设备5和用于视觉定位的摄像头和/或激光雷达7,采集环境数据的摄像头和/或激光雷达7经由所述通信设备5连接所述定位系统以上传环境数据。

尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1