基于室内定位的无人机辅助智能车驾驶方法与系统

本发明涉及无人机控制技术、智能车控制技术、与uwb定位系统的交叉领域，具体涉及一种基于室内定位的无人机辅助智能车驾驶方法与系统。

背景技术：

现有技术中，为了能充分发挥无人机与无人车各自的功能，以更好地实现智能交通中的无人车自主行驶能力，提出了无人机与无人智能车协同行驶的方案。

但是，传统的无人机辅助智能车驾驶系统，大多依赖于车载传感器，在传感范围和灵活性上具有很大的局限性。例如，专利201810059695.9提出基于图像识别的无人机与智能车协同导航方法，该方法中默认已知小车的实时位置，并没有考虑智能车的定位问题，不具有实用性；在任涛等的期刊论文《无人机与智能车协同导航系统的设计》中，考虑无人机通过摄像头拍摄目标区域位置，这种方案的局限在于无人机在远距离非视距的情况下无法通过图像定位到目标区域；专利201910511710.3提出一种无人机与智能车组自主协同运输系统及方法，该方法中考虑的定位是通过gps定位，无法适用于无gps信号的场景。

综上所述，现有技术中的无人机辅助智能车驾驶系统仍然需要依赖传感器和gps定位，而在信号条件较差、无法使用gps定位的场地，则无法实现无人机辅助智能车驾驶的目的。

技术实现要素：

发明目的：针对上述现有技术的缺陷，本发明提出一种基于室内定位的无人机辅助智能车驾驶方法与系统，能够应用于堆场或仓库等无法使用gps的场合，未来可运用于辅助车辆驾驶、车位自动泊车等领域。

技术方案：为实现上述目的，本发明提出以下技术方案：基于室内定位的无人机辅助智能车驾驶系统，包括智能车单元、无人机单元、pc端、uwb基站和uwb定位标签；

智能车单元具有电驱和方向控制功能，并配有信号接收装置，通过接收pc端发来的指令完成指定的循迹路线；

无人机单元通过搭载的摄像头模块对智能车周围环境进行图像采集，对采集图像进行预处理后发送给pc端，采集到的图像中均带有预先设置于场地内的人工标记；同时，无人机单元根据pc端下发的控制指令调整飞行姿态；

uwb定位标签设置于智能车单元和无人机单元上，不断发送uwb定位脉冲；

uwb基站有三个，三个uwb基站分别测量uwb定位脉冲并将测量结果反馈给pc端；

pc端根据接收到的测量结果采用tof算法估算uwb定位标签的位置，实现无人机单元和智能车单元的初步定位，然后根据初步定位结果生成无人机控制指令，控制无人机单元飞行在智能车单元的正上方；之后，根据无人机发送的图像和预先加载的场地栅格地图进行智能车精确定位和障碍物识别，根据精确定位结果控制无人机单元始终飞行在智能车单元的正上方，根据障碍物识别结果和预先设定好的目的地坐标对智能车的行驶路线进行规划。

进一步的，所述uwb基站内置有stm32微处理器，其信号发射装置与接收装置集成为一体。

进一步的，所述无人机单元配置有摄像头、图像处理模块、wifi模块、信号接收装置、飞行控制模块和嵌入式主控模块；其中，

摄像头位于无人机下方，以固定的频率采集无人机下方区域图像；图像处理模块用于接收摄像头发来的信息，并对图像进行预处理。

飞行控制模块控制无人机的飞行姿态，并将无人机的飞行状态信息传输给嵌入式主控模块；

嵌入式主控模块用于驱动摄像头模块与图像处理模块工作，将处理完的数据通过wifi模块发送给pc端作进一步处理，同时控制信号接收装置接收由pc端传来的飞行指令，驱动无人机以相应姿态飞行。

wifi模块用以实现无人机与pc端之间的信息传输。

进一步的，所述pc端上设有wifi模块、路径规划模块、机车协同模块；其中，

wifi模块用以实现pc端与无人机、智能车与uwb基站之间的信息传输；

路径规划模块基于由无人机端传输的数据，用神经网络的方式对实时路况进行判断，并规划出智能车的实时运行路线，这些路线指令将通过wifi模块传回给无人机与智能车；

机车协同模块基于由无人机端传输的数据，实时监测无人机与智能车的体态位置信息，若出现误差超过所设阈值情况，立刻发送指令给无人机调整无人机姿态。

本发明还提出一种基于所述系统实现的基于室内定位的无人机辅助智能车驾驶方法，包括以下步骤：

(1)构建场地的栅格地图，在栅格地图中设置人工地标；

(2)在场地中设置uwb基站，并在栅格地图中标出uwb基站的坐标；

(3)将经过步骤(2)处理后的栅格地图加载到pc端；

(4)pc端与uwb基站以及uwb标签构成uwb定位系统，采用tof算法估算uwb定位标签的位置，实现无人机单元和智能车单元的初步定位；

(5)pc端根据无人机单元和智能车单元的初步定位结果生成无人机单元控制指令，使无人机飞行至智能车单元的正上方，并控制无人机的飞行高度始终在高度h；

(6)当pc端检测到无人机单元与智能车单元的位置差小于预设的阈值，则控制无人机单元开始采集图像；

(7)pc端接收无人机单元上传的图像数据，对图像中智能车单元进行边缘检测以提取智能车单元的轮廓和中心坐标，然后根据栅格地图中智能车中心位置与人工地标的相对位置计算出智能车单元的精确位置坐标；对图像中障碍物进行识别，确定障碍物的轮廓和坐标；

(8)pc端根据智能车单元的精确位置坐标对无人机单元的位置进行微调，使得无人机单元始终飞行在智能车单元正上方；pc端根据障碍物的轮廓和坐标以及预先设定好的目的地坐标对智能车单元的行驶路线进行规划，并控制智能车单元按照规划的路线行驶。

进一步的，当pc端在图像中未检测到智能车单元时，控制无人机单元以当前所在位置为中心点，作半径为1m范围的环绕飞行；若环绕飞行时间达到预设的时间阈值，则无人机返回起始点，pc端重新执行步骤(4)。

进一步的，所述步骤(8)中，采用改进的蚁群算法来进行路径规划。

本发明所实现的功能有二，一是通过uwb定位系统与摄像头采集图像实现无人机对目标智能车的自动追踪，二是通过无人机上所装摄像头对智能车前路况进行拍摄并对地面障碍物进行识别，引导智能车避开障碍物并到达指定目的地。pc端会随时监视无人机单元与智能车单元的工作状态，并通过神经网络的方式为智能车的行驶做出引导；智能车单元根据接收到的pc端指令，智能调整自身的行进路线，并配有超声波自主避障功能。本发明将有效提升定位精度，实现无人机与智能车之间无人工控制的协同驾驶系统。

有益效果：与现有技术相比，本发明有效地结合了无人机与无人车各自所具备的优势：

一方面，无人机利用自己的高机动性与宽阔视野，为无人车(尤其是无路边单元时的应用)提供其工作周边环境的相应信息，二者实现资源互通，使无人机周围位置的环境变为已知环境，达到更精确的车辆导航。另一方面，利用智能车与无人机之间的优势协同，可以更快速更高效地合作完成原先任务，从过去一个个体执行任务转变为两个智能系统合作完成，大大提高了任务执行的可靠性和稳定性。在堆场或仓库等无法使用gps定位的场合通过无人机的指引精确导航。

附图说明

图1为本发明的系统结构图：

图2无人机找寻智能车流程图：

图3无人机引导智能车避障流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

实施例1：

图1为本实施例提出的基于室内定位的无人机辅助智能车驾驶系统的结构图，包括智能车单元、无人机单元、pc端、uwb基站和uwb定位标签；其中，

智能车单元具有电驱和方向控制功能，并配有信号接收装置，通过接收pc端发来的指令完成指定的循迹路线；

无人机单元通过搭载的摄像头模块对智能车周围环境进行图像采集，对采集图像进行预处理后发送给pc端，采集到的图像中均带有预先设置于场地内的人工标记；同时，无人机单元根据pc端下发的控制指令调整飞行姿态；

uwb定位标签设置于智能车单元和无人机单元上，不断发送uwb定位脉冲；

uwb基站有三个，三个uwb基站分别测量uwb定位脉冲并将测量结果反馈给pc端；

pc端根据接收到的测量结果采用tof算法估算uwb定位标签的位置，实现无人机单元和智能车单元的初步定位，然后根据初步定位结果生成无人机控制指令，控制无人机单元飞行在智能车单元的正上方；之后，根据无人机发送的图像和预先加载的场地栅格地图进行智能车精确定位和障碍物识别，根据精确定位结果控制无人机单元始终飞行在智能车单元的正上方，根据障碍物识别结果和预先设定好的目的地坐标对智能车的行驶路线进行规划。

具体的，所述uwb基站内置有stm32微处理器，其信号发射装置与接收装置集成为一体。所述无人机单元配置有摄像头、图像处理模块、wifi模块、信号接收装置、飞行控制模块和嵌入式主控模块；其中，摄像头位于无人机下方，以固定的频率采集无人机下方区域图像；图像处理模块用于接收摄像头发来的信息，并对图像进行预处理。飞行控制模块控制无人机的飞行姿态，并将无人机的飞行状态信息传输给嵌入式主控模块；嵌入式主控模块用于驱动摄像头模块与图像处理模块工作，将处理完的数据通过wifi模块发送给pc端作进一步处理，同时控制信号接收装置接收由pc端传来的飞行指令，驱动无人机以相应姿态飞行。wifi模块用以实现无人机与pc端之间的信息传输。所述pc端上设有wifi模块、路径规划模块、机车协同模块；其中，wifi模块用以实现pc端与无人机、智能车与uwb基站之间的信息传输；路径规划模块基于由无人机端传输的数据，用神经网络的方式对实时路况进行判断，并规划出智能车的实时运行路线，这些路线指令将通过wifi模块传回给无人机与智能车；机车协同模块基于由无人机端传输的数据，实时监测无人机与智能车的体态位置信息，若出现误差超过所设阈值情况，立刻发送指令给无人机调整无人机姿态。

实施例2：

基于实施例1提出的基于室内定位的无人机辅助智能车驾驶系统，本实施例提出基于室内定位的无人机辅助智能车驾驶方法，该方法整体上分为两个流程，第一个是无人机找寻智能车流程，第二个是无人机引导智能车避障流程。

无人机找寻智能车流程如图2所示，包括以下步骤：

(1)构建场地的栅格地图，在栅格地图中设置人工地标；

(2)在场地中设置uwb基站，并在栅格地图中标出uwb基站的坐标；

(3)将经过步骤(2)处理后的栅格地图加载到pc端；

(4)pc端与uwb基站以及uwb标签构成uwb定位系统，采用tof算法估算uwb定位标签的位置，实现无人机单元和智能车单元的初步定位；

所述tof算法：dwm1000超宽带测距采用的是twr双向测距方法，其需要设备间能够保证双向通信，通过uwb信号收发时间戳计算uwb信号的往返时间，再将时间乘上信号传播的速度从而获得两个设备之间的距离。具体地，这里采用单边双向测距法(ss-twr)，先由设备a发起测距请求的信息，设备b接收到由a发出的测距请求信息并将信息处理的时间延迟treply返回，设备a收到响应消息后再计算出消息的往返时延tround，那么信息的在a，b两点间飞行的时间即可由计算得出：tprop＝0.5·(tround-treply)。

因此a，b两点间的距离为：d＝vt＝c·tprop

如果假定设备a，b的晶振频率偏移分别为ea和eb，则有：

t′round＝(1+ea)·tround

t′reply＝(1+eb)·treply

将t′prop＝0.5·(t′round-t′reply)带入，

同时保证：tprop＝0.5·(tround-treply)，有：

于是ss-twr的测量误差为：

标签通过与三个位置确定的基站分别进行twr获得相应的测量距离dk,得到以下方程组：

将方程转化为线性化方程ax＝b

其中：

通过最小二乘法即可解得：x＝(a^ta)^-1a^tb，从而求解出标签的位置坐标x。

(5)pc端根据无人机单元和智能车单元的初步定位结果生成无人机单元控制指令，使无人机飞行至智能车单元的正上方，并控制无人机的飞行高度始终在高度h；

智能车体的中心指的是无人机对智能车的图像进行边缘检测计算后得出的智能车中心位置坐标；通过三个基站三点定位法确定智能车的平面坐标后还要再通过采集智能车的图像进行边缘检测计算智能车的中心位置坐标，因为通过三个基站三点定位法确定智能车的平面坐标不够精确，存在很大的误差，只能粗略计算智能车位置，无人机飞行到智能车的大致位置后再通过图像识别建立道路与障碍物的场地模型并精确计算出智能车位置。

(6)当pc端在图像中未检测到智能车单元时，控制无人机单元以当前所在位置为中心点，作半径为1m范围的环绕飞行；若环绕飞行时间达到预设的时间阈值，则无人机返回起始点，pc端重新执行步骤(4)。

(7)不断更新智能车体坐标，直至连续三次智能车体返回值误差小于预设阈值；

(8)确定智能车体坐标后，系统进入稳定状态，无人机主控模块通过wifi模块返回给pc端信号，示意可执行之后操作。

无人机引导智能车避障流程如图3所示，具体步骤如下：

1)人为输入智能车的运行目的地至pc端；

2)pc端将目的地信息通过wifi模块同时传输给智能车单元与无人机单元；

3)智能车主控模块通过接收到的信息控制智能车电机使智能车进入运行状态/无人机主控模块通过接收到的信息控制无人机飞控模块使无人机进入飞行状态；

4)无人机摄像头模块以特定频率采集图像，并对图像进行灰度处理与边缘检测，以识别出智能车的位置与智能车周围障碍物的位置信息；

5)无人机主控模块通过wifi模块将障碍物信息发送给pc端；

6)无人机主控模块通过图像处理模块判断智能车与无人机之间相对位置，若出现偏差，则发送指令给无人机飞控模块调整无人机飞行姿态；

7)pc端接收到有无人机发送来的障碍物信息，并通过算法计算智能车实时的避障运行轨迹；

8)pc端通过wifi模块将运行指令发送给智能车单元和无人机单元；

9)智能车主控模块通过接收到的信息控制智能车电机改变智能车的运行状态/无人机主控模块通过接收到的信息控制无人机飞控模块改变无人机的飞行姿态；

具体的，以上避障操作4)中所述的图像处理方法：首先将图像转化为二值化图像，利用颜色特征检测算法和基于霍夫变换的图形检测方法识别出障碍物的轮廓，计算出地面网格的数量、所占地面网格大小以及位置坐标；

具体的，以上避障操作7)中所述避障方法：从无人机端接收到的信息有：障碍物距离智能车距离d，障碍物中心点坐标，障碍物最长长度l与宽度w。假设智能车行驶速度恒定为v，则智能车需偏转的角度为θ＝arctan(l/d)+c，在行驶w*cosθ距离后，再将智能车行驶方向调整为原先行驶方向。

智能车的位置准确计算后，到目标地导航，采用基于蚁群算法的智能车路径规划。智能车路径规划，依据某个或某些优化原则(如最小能量消耗，最短行走路线，最短行走时间等)，在其工作空间中找到一条从起始状态到目标状态的能避开障碍物的最优路径。智能车路径规划问题可以建模为一个有约束的优化问题，都要完成路径规划、定位和避障等任务。

算法理论采用蚁群算法提出了精英蚁群模型(eas)和改进的转移概率模型，应用全局搜索与局部搜索策略，来进行深度搜索。利用给出的最大-最小蚂蚁系统(max-minas)，所谓最大-最小即是为信息素设定上限与下限，设定上限避免搜索陷入局部最优，设定下限鼓励深度搜索。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。