一种基于单目视觉的目标识别定位方法与流程

本发明属于视觉目标检测与目标定位技术领域，具体涉及一种基于单目视觉的识别定位方法。

背景技术：

在一些情况下(例如战场环境侦察)，我们需要快速的采集场景中的目标类别与位置等信息，并通过与现有环境数据库中的信息进行结合与匹配，获取实时动态的环境信息。现在常用的视觉目标识别与定位方法具有以下问题：

1、只能用于简单视觉元素。如王天奇等在论文《基于单目视觉的目标识别与定位》中提出了一种通过检测目标轮廓中包含的直线、圆等基本几何特征，利用平面约束的单目定位模型，结合给定工件数据模型库对目标进行识别和位姿计算的单目视觉目标识别定位方法。这种方法只能用于简单物体视觉元素的识别和定位，对于复杂元素或物体的识别就无能为力了。

2、识别物体十分有限。如朴松浩在专利《一种基于轮椅式护理机器人的单目摄像头视觉定位系统》(cn108020222)中公布了一种通过使用单目摄像头获取图像中的特殊标志，并结合同时定位与地图构建获取机器人具体位置的方法。该方法只能识别一些特殊的标志，然后结合地图等先验信息对机器人进行定位，适用的场景有限。

3、只能完成近距离测距。当前效果比较好的测距方法为双目视觉测距，但该方法随着测量距离的增大，精度急速下降，且双目视觉测距在应用中受到左右摄像头光心之间基线长度的限制，若双目摄像头在有限空间内安装，其测量距离从根本上难以突破现有的瓶颈。

技术实现要素：

有鉴于此，本发明的目的是提供一种基于单目视觉的识别定位方法，可以通过单目视觉实现测距和定位。

一种基于单目视觉的目标识别定位方法，包括如下步骤：

步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；

步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；

步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息，定义为w×h；

步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于单目视觉摄像头的方向(α,β)与距离ρ：

其中，(u0,v0)为图像坐标系中心在像素坐标系中的位置，fx和fy分别为摄像头在像素坐标系x轴和y轴方向上的像素焦距；或k为摄像头修正系数；

步骤5：获取摄像头的绝对位置信息和相对位姿信息；

步骤6：根据步骤4得到的目标相对于摄像头的方向与距离及步骤5得到的摄像头的对位置信息和相对位姿信，计算得到图像中目标的绝对位置信息，实现目标定位。

较佳的，所述步骤5中，采用摄像头的gps和惯性导航设备获取摄像头的绝对位置。

较佳的，所述步骤2中，当深度学习目标检测模型检测出多个目标时，采用步骤3至步骤6的方法分别对每个目标进行定位。

进一步的，还包括：将步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。

本发明具有如下有益效果：

1、本发明使用深度学习目标检测神经网络进行目标检测与定位，具有识别复杂物体、识别物体类型多的特点，突破了之前单目视觉测距只能识别简单目标物、识别目标物种类有限的限制。

2、本发明基于单目摄像头利用针孔成像原理进行目标测距，相较于双目视觉测距，理论上不受双目视觉视差极限的束缚，在视线范围内可检测到的物体基本都可以实现定位测距，可以实现远近不同距离目标物的测距，适用范围广。

3、本发明可以同时检测一张图片上的多个目标物，并结合先验信息同时获取其相对方位，可以非常方便的实现单目摄像头多目标检测与测距定位。

附图说明

图1为本发明的流程图。

图2为本发明的像素坐标系与图像坐标系之间的关系图。

图3为本发明的二维定位测距原理图。

图4为本发明的二维空间定位测距原理图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，本发明提供的一种基于单目视觉的识别定位方法，具体包括如下步骤：

步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；

步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；bx,by表示目标回归框的中心点坐标，bw,bh表示目标回归框的长和宽；

步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息；

步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于摄像头的方向与距离；

步骤5：通过依附于摄像头的gps和惯性导航设备获取摄像头的绝对位置信息和相对位姿信息；

步骤6：将步骤4得到的目标的相对位置信息和步骤5得到的摄像头的绝对位姿信息进行数据融合，得到图像中目标的绝对位置信息；

步骤7：结合地图数据库与步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。

具体的，步骤1中通过使用张正友标定法对摄像头标定，得到摄像头的内参矩阵：

得到图像坐标系中心在像素坐标系中的位置为(u0,v0)，摄像头在x轴方向上的像素焦距为fx，在y轴方向上的像素焦距为fy。

如图2所示，为像素坐标系与图像坐标系之间的关系，设像素坐标系中的点为(u,v)，图像坐标系中的点为(x,y)，则像素坐标到相机坐标的变换为：

步骤2中通过对摄像头采集的图像利用深度神经网络目标检测模型进行目标检测，获取图像中检测目标物的类别label与回归框像素坐标为(bx,by,bw,bh)，回归框中心点t′的像素坐标为(bx,by)，宽高为(bw,bh)，回归框的左上角顶点u'的像素坐标为(lux,luy)＝(bx-bw/2,by-bh/2)，左下角定点c'的坐标为(ldx,ldy)＝(bx-bw/2,by+bh/2)，右下角顶点d'的像素坐标为(rdx,rdy)＝(bx+bw/2,by+bh/2)。

步骤3中获取目标物的实际物理尺寸大小为w×h。

如图3所示为三维空间中，利用目标物先验知识进行单目视觉测距的原理图。图像坐标系中物体的回归框左上角顶点为u'，左下角顶点为c'，右下角顶点为d'，中心点为t'，目标物回归框在物理世界中二维平面的投影左上角顶点为u，左下角顶点为c，右下角顶点为d，中心点为t，在光轴上，光心为f，成像中心点为o'(对称之后)，在目标物二维平面的投影为o。

设t't在平面fo'x上的投影与平面fo'y的夹角为α，在平面fo'y上的投影与平面fo'x的夹角为β，目标物中心点到光心的距离为ft，根据几何关系，求得：

其中，tx'表示t'点在x轴上的投影，ty'表示t'点在y轴上的投影；数组(α,β,ρ)可确定目标物中心相对于光心的方位，当目标物位于视觉左侧(bx<u0)时，α为正，右侧(bx>u0)时，α为负，当目标物位于视觉上侧(by<v0)时，β为正，下侧(by>v0)时，β为负。通过以上关系，得到最终结果为：

其中或k为修正系数，与不同摄像头(或镜头)有关，实际中依据一个目标物方位与距离估计得出。

步骤4中，依据公式(5)计算出目标物相对于摄像头的方位与距离。

如图4，以北半球、东经区域的二维平面为例，简要说明定位原理。摄像头位于中心点o，其视线正方向为os方向，目标物在点t处。假设摄像头视线正方向相对于正东方向逆时针偏角为θ，已经得到摄像头经纬度坐标为(e,n)，目标物相对于摄像头正方向的方位为(α,ρ)，根据几何关系推导可得目标物经纬度(e',n')为：

其中trans()函数将距离转换为经纬度变化量。

步骤6将依据图4所示原理，计算得出目标物的绝对位置信息。

除此之外，因为目标检测过程中可以同时检测远近多个目标物的回归框，所以可以同时完成对多目标物的即时定位。在实际应用过程中，摄像头的焦距是可变的，当需要更精确定位远近处不同的目标物时，可以尝试改变摄像头的焦距，获得更加精准的数据。

在获得目标物的位置信息之后，既可以通过地图数据库获得位置匹配信息，在地图上将目标物的位置显示出来，实现动态环境的实时可视化。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。