一种基于无人机寻找停车位的方法及无人机与流程

文档序号:11592058阅读:804来源:国知局

本发明涉及无人机飞行领域,尤其涉及一种基于无人机寻找停车位的方法。



背景技术:

用户在到达一个露天停车场,通常情况并不知道该露天停车场是否具有空停车位以及空停车位在该露天停车场内的位置,用户只能开车进入露天停车场逐行逐行的寻找,看到有空停车位的情况下才能停放,如果发现该停车场内无空停车位,只能开车驶出该露天停车场,寻找他处能够停放的地方。上述用户亲自开车进入停车场寻找空停车位的方法,显然不够便捷。在停车位急缺的情况下,经常会出现因停车场内无空停车位而空跑一趟的情况,或在停车场有停车位的情况下,用现有方法不能寻找到最近的最优停车位,这些都是亟待解决的问题。



技术实现要素:

针对上述问题,本发明提供一种基于无人机寻找停车位的方法。

本发明提供的一种基于无人机寻找停车位的方法,包括以下步骤:s1:无人机飞行至目标区域中心位置正上方;s2:无人机机身上设置的多个摄像头开启并采集无人机下方的整个目标区域的图像;s3:无人机检测所述图像,从所述图像中选定出适合用户汽车停放的停车位;s4:无人机飞行移动至所述停车位正上方并悬停;s5:无人机反馈自身gps位置至用户终端。

优选地,所述步骤s3进一步包括:a1:无人机检测并筛选出能够容纳用户汽车的空白停车区域;a2:无人机从所述能够容纳用户汽车的空白停车区域中选取出一个距离用户最近的空白停车区域。

优选地,所述步骤s3又包括:a3:采用基于汽车识别的svm分类模型检测所述一个距离用户最近的空白停车区域是否紧邻已停放的汽车;如果所述一个距离用户最近的空白停车区域紧邻已停放的汽车,则直接选定为适合用户汽车停放的停车位;如果所述一个距离用户最近的空白停车区域未紧邻已停放的汽车,则在所述一个距离用户最近的空白停车区域周围向外检测距离最近的停放的汽车,并将与所述距离最近的停放的汽车邻近的空白停车区域选定为适合用户汽车停放的停车位。

优选地,所述基于汽车识别的svm分类模型的生成步骤,包括:预先收集用于训练的第一正样本集和第一负样本集,其中所述第一正样本集为包含有停放的汽车的多个样本图像,所述负样本集为不包含有停放的汽车的多个样本图像;按照设定的规格剪裁所述第一正样本集内的每个样本图像,使得所述每个样本图像内只分布有一个完整的停放的汽车;分别提取第一负样本集和剪裁后的第一正样本集内每个样本图像的特征向量;采用sigmoid核函数,将所述特征向量映射成为高维空间中的特征向量;根据所述高维空间中的特征向量,获取具有优化参数的基于汽车识别的svm分类模型。

优选地,所述步骤a1进一步包括:选取一个时刻对应的一个图像帧集合,并提取所述一个图像帧集合内每帧图像的特征向量,其中所述一个图像帧集合是由无人机机身上设置的所述多个摄像头在同一时刻分别采集的图像构成。

优选地,所述步骤a1进一步包括:利用基于空停车位识别的svm分类模型对所述一个图像帧集合内所述每帧图像的所述特征向量进行检测,检测所述一个图像帧集合内是否包含有空白停车区域;如果所述一个图像帧集合内未包含有空白停车区域,则放弃所述一个图像帧集合,按照物理存储地址的顺序选取下一时刻的一个图像帧集合重新进行检测;如果所述一个图像帧集合内包含有空白停车区域,则标记出所述一个图像帧集合内包含的所有空白停车区域。

优选地,所述基于空停车位识别的svm分类模型的生成步骤,包括:预先收集用于训练的第二正样本集和第二负样本集,其中所述第二正样本集为包含有空停车位的多个样本图像,所述第二负样本集为不包含有空停车位的多个样本图像;按照设定的规格剪裁所述第二正样本集内的每个样本图像,使得所述每个样本图像内只分布有一个完整的空停车位;分别提取第二负样本集和剪裁后的第二正样本集内每个样本图像的特征向量;采用sigmoid核函数,将所述特征向量映射成为高维空间中的特征向量;根据所述高维空间中的特征向量,获取具有优化参数的基于空停车位识别的svm分类模型。

优选地,所述步骤a1进一步包括:放大标记出的所述空白停车区域,将放大后的所述空白停车区域的面积与用户所需停车位面积做差值运算得到差值量,分析所述差值量与预先设置的阈值的关系;如果所述差值量小于所述阈值,则放弃所述差值量对应的标记出的空白停车区域;如果所述差值量大于所述阈值,则所述差值量对应的标记出的空白停车区域为能够容纳用户汽车的空白停车区域,直接进行存储。

优选地,所述步骤a2包括:筛选出面积最大的所述能够容纳用户汽车的空白停车区域并存储,其中面积最大的所述空白停车区域包括一个或多个;按照物理存储地址的顺序选取一个面积最大的所述空白停车区域,作为距离用户最近的空白停车区域。

优选地,所述步骤a3又包括:检测所述距离用户最近的空白停车区域对应的一帧图像是否是由主摄像头采集;如果不是由主摄像头采集的,则保持所述主摄像头和所述一帧图像对应的一个辅助摄像头开启,关闭剩余的辅助摄像头;如果是由所述主摄像头采集的,则保持所述主摄像头开启,关闭所有辅助摄像头。

优选地,所述步骤s4包括:首先检测无人机机身上摄像头的开启情况;当只有主摄像头和一个辅助摄像头开启时:无人机朝向开启的辅助摄像头朝向的方位移动直至所述适合用户汽车停放的停车位开始出现在主摄像头的图像视野范围内;关闭所述开启的辅助摄像头;根据所述适合用户汽车停放的停车位在主摄像头的图像中的位置距离图像中心位置的脱靶量,无人机飞行移动至所述适合用户汽车停放的停车位的正上方。

优选地,所述步骤s4包括:首先检测无人机机身上摄像头的开启情况;当只有主摄像头开启时:根据所述适合用户汽车停放的停车位在主摄像头的图像中的位置距离图像中心位置的脱靶量,无人机飞行移动至所述适合用户汽车停放的停车位的正上方。

优选地,所述多个摄像头包括安装在无人机四周侧面的四个辅助摄像头和安装在无人机底面的主摄像头,所述四个辅助摄像头采集图像的区域覆盖无人机的前下方、后下方、左下方和右下方,所述主摄像头采集图像的区域覆盖无人机的正下方。

优选地,所述多个摄像头采用可变焦的广角摄像头,所述摄像头的焦距由控制摄像头的超声波电机进行控制。

本发明提供一种应用任一项上述方法的无人机。

本发明提供的一种基于无人机寻找停车位的方法,只需要用户停留在停车场外就可知到一个露天停车场内是否还有空停车位,避免出现因停车场内无空停车位而空跑一趟的情况出现。

附图说明

图1表示本发明实施例所述的一种基于无人机寻找停车位的流程示意图;

图2表示本发明实施例所述的基于无人机寻找停车位中检测并筛选出能够容纳用户汽车的空停车位的流程示意图;

图3表示本发明实施例所述的基于无人机寻找停车位中选取出距离最近的空停车位的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的详细描述,通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的一个实施例为无人机在露天停车场自动搜寻空白停车位,下面对其处理流程进行详细说明。

用户在到达某个大型露天停车场时,使用无人机搜寻某个露天停车场中的空车位,用户操作及无人机的处理流程如图1中所示。

用户通过地图获取停车场中心位置坐标以及停车场的区域面积,然后通过终端上的app将停车场中心位置坐标以及停车场的区域面积无线发送至无人机,无人机起飞后根据此坐标和面积生成飞行路线,飞行移动至停车场中心位置处的正上方且在竖直方向距离中心位置处一定高度(步骤10)。在上述一定高度,无人机机身上的5个摄像头的拍摄范围能够覆盖到整个停车场区域。

其中,所述停车场的面积s决定无人机升空的高度,停车场的面积s越大,无人机升空的高度h相对升高,无人机升空的高度h设置示例性的如下:在一个的停车场,无人机升空的高度h=20m;在一个的停车场,无人机升空的高度h=30m,此处仅为示例性的列举,也可采用其它适合的方式进行高度设置。

无人机到达设定的位置后,向用户终端反馈到达设定点位置信息,然后用户通过终端上的app开启搜寻功能,无人机无线接收到搜寻指令后,无人机内部处理器控制无人机机身上的主摄像头和四个辅助摄像头开始同步并行的对整个停车场区域进行图像采集(步骤20)。某一时刻,无人机机身上的主摄像头和四个辅助摄像头采集的停车场图像经常规处理后形成与该时刻对应的一个图像帧集合,每个图像帧集合内包含有5帧图像,即在某一时刻,无人机机身上5个摄像头采集生成5帧图像,形成该时刻的一个图像帧集合。

其中,所述无人机机身上,除去位于无人机正下方的主摄像头外,无人机的前侧端面、后侧端面、左侧端面和右侧端面的正中位置处都分别安装有一个辅助摄像头,所述主摄像头和四个辅助摄像头可以采集的图像区域覆盖无人机的正下方、前下方、后下方、左下方、右下方等五个方向。当无人机位于停车场上空的适合高度时,无人机机身上的主摄像头和四个辅助摄像头可以采集的图像区域能够覆盖整个目标区域。无人机机身上安装的四个辅助摄像头都为可变焦的广角摄像头,摄像头的焦距可由控制摄像头的超声波电机进行控制,同时超声波电机的控制由无人机的处理器通过电机驱动控制芯片实现。所述主摄像头和四个辅助摄像头通过感光元件将物体反射的光线转换成原始的光学信息并存储,然后通过内部传输接口如移动产业处理器接口(mipi,mobileindustryprocessorinterface)或者串口,采用通用的数据传输协议将采集的图像传输至无人机并存储在存储器内,以便进行进一步的处理。

无人机对上述采集的图像进行检测并筛选出能够容纳用户汽车的空停车位(步骤30)。

在上述步骤中,具体的,如图2所示,无人机内部处理器选取某一时刻对应的一个图像帧集合,并对选取出来的所述一个图像帧集合内包含的5帧图像进行特征向量的提取(步骤301),其中涉及到对每帧图像进行特征向量的提取方法可采用现有的常规方法。

具体的,选取某一时刻对应的一个图像帧集合并对该图像帧集合内每帧图像进行特征向量的提取,此处仅以方向梯度直方图(histogramoforientedgradient,hog)算法作为例举进行示例性说明。hog特征提取方法的步骤如下所示:

将每帧图像灰度化;

采用gamma矫正法对每帧图像进行颜色空间的归一化,gamma矫正的数学表示式为:,其中i(x,y)为每个像素点的灰度值,gamma的取值根据适应情况选定,例如可取0.5;当gamma=0.5时,即为对每个像素点的值进行开方;

计算每帧图像中每个像素点的梯度,包括大小和方向,其梯度计算的数学表示式为:,其中表示每帧图像中像素点(x,y)处的水平方向梯度,表示每帧图像中像素点(x,y)处的垂直方向梯度,h(x,y)表示每帧图像中像素点(x,y)处的灰度值;像素点(x,y)处的梯度幅值和梯度方向分别为:

将每帧图像划分成数个小单元cell,如6*6的像素点组成的区域窗口,统计每个单元cell的梯度直方图,形成每个单元cell的descriptor;

选取数个上述单元cell组成一个区块block,将一个区块block内所有cell的特征descriptor串联起来便得到一个区块block的hog特征,每帧图像可组成数个区块block,得到数个区块block的hog特征;

将每帧图像内所有区块block的hog特征串联起来得到每帧图像的特征向量。然后利用同样的方法依次提取出上述一个图像帧集合每帧图像的特征向量。

然后无人机内部处理器利用基于空停车位识别的支持向量机(svm,supportvectormachine)分类模型对上述一个图像帧集合每帧图像所提取出的特征向量进行检测,检测上述图像帧集合中是否有空停车位(步骤302):如果在上述一个图像帧集合中未检测到有空停车位,说明检测出现错误或者在上述图像帧集合对应的时刻,该停车场已停满车,则放弃上述一个图像帧集合,返回到步骤20,重新开始进行图像采集(步骤303);如果在上述一个图像帧集合中检测到有空停车位,则标记出上述图像帧集合内每帧图像中的空停车位(步骤304);

其中,所述基于空停车位识别的svm分类模型是事先通过对大量空停车位的样本图像进行特征提取以及训练得到并存储在无人机内的存储器内,所述基于空停车位识别的svm分类模型的生成以及对上述一个图像帧集合每帧图像所提取出的特征向量进行检测的过程具体如下:

首先,预先收集大量的停车场内空停车位样本图像和大量的非空停车位样本图像,其中包含有空停车位的样本图像为第二正样本集,不包含有空停车位的样本图像为第二负样本集;将上述第二正样本集内的每个样本图像按照设定的规格依次进行剪裁,确保剪裁后的每个样本图像内只分布有一个完整的空停车位;上述第二负样本集不做剪裁处理;

其次,提取出上述剪裁后的第二正样本集和第二负样本集的特征向量;

再次,采用sigmoid核函数,将上述两类样本的特征向量数据映射到高维空间,避免出现在原始空间中找不到满足条件的函数参数以将两类样本数据划分区别开来的情况;

然后,将上述两类样本的特征向量作为具有初始化参数的svm分类器的输入,经训练后得到具有优化参数的svm分类器,具有优化参数的svm分类器就是所需要的基于空停车位识别的svm分类模型;

最后,使用上述生成的基于空停车位识别的svm分类模型在高维空间中对上述一个图像帧集合每帧图像所提取出的特征向量进行分类标记,从而标记出上述一个图像帧集合每帧图像中空停车位部分和非空停车位部分。

以数学模型的方式对上述分类标记的过程进行示例描述,即:上述一个图像帧集合每帧图像所提取出的特征向量中包括属于空停车位类别的特征向量和属于非空停车位类别的特征向量,如果用x表示特征向量数据,y=1或-1表示特征向量数据的类别,例如可以是y=1表示属于空停车位类别的特征向量,y=-1表示属于非空停车位类别的特征向量,则属于空停车位类别的特征向量都可以表示为(x,1),属于非空停车位类别的特征向量都可以表示为(x,-1),这两类特征向量映射到高维空间即表示两类高维离散坐标点,而上述基于空停车位识别的svm分类模型需要预先进行样本训练的目的是要在高维空间中找到一个超平面z=f(x,y),能够将上述两类坐标点区分开来,具体为f(x,y)>0的点对应上述y=1的所有坐标点,f(x,y)<0的点对应上述y=-1的所有坐标点,即f(x,y)>0的点都属于空停车位类别的特征向量,f(x,y)<0的点都属于非空停车位类别的特征向量。另外,还有一类f(x,y)=0的点属于特征不明显的点,不能明确的归属为空停车位类别的特征向量或非空停车位类别的特征向量,对于f(x,y)=0的点,则直接丢弃,有利于减少错误率。

因此上述经训练得到的具有优化参数的基于空停车位识别的svm分类器即为我们所需的能够将两类坐标点区分开来的这样一个超平面函数,利用这样一个超平面函数就能够对一个图像帧集合每帧图像所提取出的特征向量进行分类标记。

回到图2中,在标记出上述图像帧集合内每帧图像中的空停车位后,然后以实际停车位等同的比例倍数放大上述标记的空停车位,计算上述放大后的标记的空停车位区域面积,并与用户汽车所需的实际停车位区域面积做差值运算(步骤305);判断上述差值量是否大于系统内预先设置的阈值(步骤306):如果上述差值量小于阈值,说明参与计算的标记的空停车位所对应的停车场中的实际停车位区域不足以用来停放用户汽车,则直接放弃此差值量对应的标记的空停车位(步骤307);如果上述差值量大于阈值,说明参与计算的标记的空停车位所对应的停车场中的实际停车位区域能够停放用户汽车,则存储上述能够容纳用户汽车的空停车位数据(步骤308)。

回到图1中,在筛选出能够容纳用户汽车的空停车位后,需要进一步选取出距离用户最近的空停车位(步骤40)。

具体的,在上述步骤中,如图3所示,计算上述筛选出的能够容纳用户汽车的空停车位的面积,并比较各面积的大小,筛选出面积最大的空停车位并存储(步骤401),其中筛选出的面积最大的空停车位是距离用户最近的,筛选出的面积最大的空停车位可能包含数个,然后按照存储地址的顺序从中选取一个筛选出的面积最大的空停车位(步骤402);找到上述选取出的空停车位所对应的一帧图像(步骤403);检测上述步骤中选取出的面积最大的停车场所对应的一帧图像是否是由主摄像头采集的(步骤404):如果上述面积最大的停车场所对应的一帧图像是由主摄像头采集的,则保持该主摄像头开启并关闭四个辅助摄像头(步骤405;如果上述面积最大的停车场所对应的一帧图像不是由主摄像头采集的,即是由四个辅助摄像头中的任意一个采集的,则保持主摄像头和该帧图像对应的辅助摄像头开启,关闭其余的辅助摄像头(步骤406)。

继续回到图1中,在选取出距离用户最近的空停车位后,需要进一步判断选取出的空停车位是否紧邻停放的其它汽车(步骤50):如果上述选取出的空停车位不是紧邻停放的其它汽车,说明上述选取出的空停车位周围可能还紧邻着另外的空停车位,为了避免间隔停放,需要检测出距离上述选取出的空停车位最近的停放的其它汽车,然后将停放的其它汽车紧邻的空停车位确定为用户可以停放的车位(步骤60);如果该暂定的空停车位周围检测到停放有汽车,说明上述选取出的空停车是紧邻周围停放的汽车的,用户的汽车可以直接停放在上述选取出的空停车位,然后将紧邻停放的汽车的上述选取出的空停车位确定为用户汽车可以停放的车位(步骤70),无人机飞行移动至确定为用户汽车可以停放的车位的正上方并悬停(步骤80)。

在上述步骤50中,具体的,在进一步判断选取出的空停车位是否紧邻停放的其它汽车时,需要用到基于汽车识别的svm分类模型对选取出的空停车位对应的该帧图像中选取出的空停车位周围的图像是否存在汽车进行检测,其中此处用到的基于汽车识别的svm分类模型是事先通过对大量停车场内停放的汽车的样本图像进行特征提取以及训练得到并存储在无人机内的存储器内,所述基于汽车识别的svm分类模型的生成以及对选取出的空停车位对应的该帧图像中选取出的空停车位周围的图像是否停放有汽车进行检测的具体过程如下:

首先,预先收集大量的停车场内停放的汽车的样本图像和大量的空停车位样本图像,其中包含有停放的汽车的样本图像为第一正样本集,不包含有停放的汽车的样本图像为第一负样本集;将上述第一正样本集内的每个样本图像按照设定的规格依次剪裁,使得所述每个样本图像内只分布有一个完整的停放的汽车;上述第一负样本集不做剪裁处理;

其次,提取出上述剪裁后的第一正样本集和第一负样本集的特征向量;

再次,采用sigmoid核函数,将上述两类样本的特征向量数据映射到高维空间,避免在原始空间中出现找不到满足条件的参数函数将两类样本数据划分区别开来的情况;

然后,将上述两类样本的特征向量作为具有初始化参数的svm分类器的输入,经训练后得到svm分类器的优化参数,具有优化参数的svm分类器就是所需要的基于汽车识别的svm分类模型;

最后,使用上述生成的基于汽车识别的svm分类模型在高维空间中对选取出的空停车位周围的图像进行分类标记,检测识别选取出的空停车位周围是否停放有汽车。

以数学模型的方式对上述分类标记的过程进行示例描述,即:上述选取出的空停车位周围的图像的特征向量中包括属于汽车类别的特征向量和属于空停车位类别的特征向量,如果用x表示特征向量数据,y=2或-2表示特征向量数据的类别,例如可以是y=2表示属于汽车类别的特征向量,y=-2表示属于空停车位类别的特征向量,则属于汽车类别的特征向量都可以表示为(x,2),属于空停车位类别的特征向量都可以表示为(x,-2),这两类特征向量映射到高维空间即表示两类高维离散坐标点,而上述基于汽车识别的svm分类模型需要预先进行样本训练的目的是要在高维空间中找到一个超平面z=f(x,y),能够将上述两类坐标点区分开来,具体为f(x,y)>0的点对应上述y=2的所有坐标点,f(x,y)<0的点对应上述y=-2的所有坐标点,即f(x,y)>0的点都属于汽车类别的特征向量,f(x,y)<0的点都属于空停车位类别的特征向量。另外,还有一类f(x,y)=0的点属于特征不明显的点,不能明确的归属为空停车位类别的特征向量或汽车类别的特征向量,对于f(x,y)=0的点,则直接丢弃,有利于减少错误率。

因此上述经训练得到的具有优化参数的基于汽车识别的svm分类器即为我们所需的能够将两类坐标点区分开来的这样一个超平面函数,利用这样一个超平面函数就能够对上述选取出的空停车位周围的图像的特征向量进行分类标记。

返回至图1中的步骤60,在检测出距离选取出的空停车位不远处的周围停放有汽车后,接着执行步骤70,即将紧邻检测出的停放的汽车的空停车位作为用户汽车可以停放的车位。

在步骤80中,无人机飞行移动至确定为用户汽车可以停放的车位的正上方的过程如下述步骤中所述:

首先监测无人机机身上各摄像头的开启情况,对于上述开启主摄像头和一个辅助摄像头的情况,然后无人机的处理器驱动无人机的飞行控制单元使得无人机朝向开启的辅助摄像头所朝向的侧面方向移动直至上述确定为用户汽车可以停放的车位在某一时刻开始出现在主摄像头采集的图像内,当上述确定为用户汽车可以停放的车位在主摄像头中出现后,开启的辅助摄像头可以关闭,然后无人机的处理器根据上述确定为用户汽车可以停放的车位在主摄像头的图像中的位置距离图像中心位置的脱靶量,驱动无人机的飞行控制单元控制无人机朝向确定为用户汽车可以停放的车位飞行移动以使得无人机移动到上述确定为用户汽车可以停放的车位的正上方,此时用户汽车可以停放的车位应该是位于无人机开启的主摄像头采集的图像内的中心位置处,即此时用户汽车可以停放的车位在主摄像头的图像中的位置距离图像中心位置的脱靶量为零;对于上述只开启主摄像头的情况,无人机的处理器根据上述确定为用户汽车可以停放的车位在该主摄像头采集的图像中的位置距离图像中心位置的脱靶量,驱动无人机的飞行控制单元控制无人机朝向上述确定为用户汽车可以停放的车位飞行移动以使得无人机移动到上述选取出的目标对象的正上方。

在无人机朝向开启的辅助摄像头所朝向的侧面方向移动的过程中,在开启的辅助摄像头采集的图像内,检测到上述确定为用户汽车可以停放的车位应该是逐渐往图像的边缘移动,同时在开启的主摄像头采集的图像内,上述确定为用户汽车可以停放的车位是从无到出现在采集的图像边缘,然后逐渐往采集的图像中心移动的过程。如果没有出现上述现象,则说明此次检测失败,则丢弃此时刻对应的图像帧集合,按照存储地址顺序选取下一时刻对应的图像帧集合并重新开始检测空白停车位。

无人机悬停后,会将无人机的gps位置信息无线发送至用户终端(步骤90),用户根据无人机的gps位置,就能找到将要停放的车位。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1