基于单目视觉的位姿识别方法

1.本发明涉及一种基于单目视觉的位姿识别方法，用于对固定翼飞行器的近距离的单目视觉的位姿识别。


背景技术：

2.位姿识别是指利用视觉等传感器获取的信息，从中估计目标固定翼飞行器与传感器的距离与姿态，这种技术是智能化设备与环境交互应用的关键组成部分之一。
3.在国外计算机视觉进行位姿识别的算法发展的历史很长，目前的位姿识别算法可以满足空中加油的精度，部分国家使用的ccd相机进行视觉传感器导航系统的搭建，虽然精度高但是会出现位姿模糊的问题。我国的机器视觉的研究虽然起步较晚，但是也有着诸多丰富的成果，北京航空航天大学的谢洪文学者提出了基于双目视觉的近距离对接方式，其中也使用了相关的辅助标志的方法，用轮廓跟踪法检测目标的辅助标志，最后采用空间中的圆拟合法进行受油机与锥套的相对位姿估计。实验表明，这种位姿识别的方法在近距离对接之时具备极高的精度和较强的抗干扰能力，但是在中远距离对接时的误差较大。


技术实现要素：

4.本发明提供一种基于单目视觉的位姿识别的方法，能够通过算法对摄像头获取的图像进行识别，获取被识别固定翼飞行器相对于摄像机的横向距离、水平距离、纵向距离和偏转角、滚转角、俯仰角等参数，以解决现有技术存在的在中远距离对接时误差较大的问题。
5.本发明的技术方案是：
6.一种基于单目视觉的位姿识别方法，其特征在于，包括以下步骤：
7.(1)至少设置四个红外光灯：在固定翼飞行器的两个机翼上与机身中轴线距离相等的地方，安装两个红外光灯，要求这两个红外光灯与机身中轴线的垂点重合；在机身中轴线靠近尾部的地方放置第三个红外光灯，在机身中轴线靠近头部的地方放置第四个红外光灯；在远离被识别固定翼飞行器处设置摄像头，在该摄像头的镜头上设有能够允许红外光灯发射的红外光线通过的带通滤光片；
8.(2)用摄像头去拍摄被识别固定翼飞行器的状态：开启红外光灯组和摄像头，由所述的红外光灯组映射到摄像头；
9.(3)图像预处理：对拍摄的图像进行预处理，最终获得一张底色与光点颜色相异的图像；
10.(4)获取光点的质心像素位置：对经过图像预处理的图像，使用基于椭圆拟合法改良的质心定位算法得到光点的边缘形状和光点的质心的像素位置；
11.(5)获取固定翼飞行器位姿：根据质心像素位置，采用传统的epnp算法获取被识别固定翼飞行器的位姿。
12.所述的步骤(1)中：因固定翼飞行器机身设计的多样性，机体表面情况不适合安装
红外光时，则在不合适安装红外光灯的位置对称安装两个红外光灯，代替该位置应安装的红外光灯；然后通过算法取这两个红外光点的像素坐标的中点，此时这个中点代表该位置应安装的红外光灯的像素坐标。
13.所述的步骤(2)的具体方法为：用摄像头去拍摄被识别固定翼飞行器的状态时，需要先同时开启红外光灯组，本方法适用于近距离位姿识别，所以整个过程中需要保证摄像头可以拍摄到红外光灯组；
14.所述的步骤(3)的图像预处理包括以下步骤：
15.(a)灰度化处理：根据灰度化公式，对获取的rgb图像进行灰度化处理，将图像转换成灰度图；
16.(b)二值化处理：使用基于otus阈值分割法改进的光点质心寻找法对灰度图识别进行阈值分割，将图像二值化成黑白图像；
17.(c)图像滤波：采用形态学滤波方式，对图像进行腐蚀和膨胀处理；
18.(d)对图像的畸变进行矫正：通过张正友标定法获取摄像头的畸变参数，利用算法矫正图像的畸变。
19.所述的步骤(b)“二值化处理”的具体方法为：采用基于otus的光点质心寻找的阈值分割法对图像区域分割，用以提取光点区域：
20.a)因光点较小，因此光点的最佳灰度阈值是一定大于大量低灰度值黑色背景所影响的图像平均灰度值t
mean
，在缩小的阈值定义域[t
mean
,255]中采用二分迭代法，求出阈值定义域的中间值t
mid
；
[0021]
b)将t
mid
取代阈值定义域的上限值，对新的阈值定义域获取中间值t
mid
′
，将t
mid
和t
mid
′
代入求取类间方差方程中，同时比较两者的类间方差σ
b2
，将大的σ
b2
对应的灰度值取代阈值定义域的上限值，并不断进行迭代，最终获得阈值定义域的最佳上限值t
k
；
[0022]
c)遍历[t
mean
,t
k
]灰度值，每次遍历的灰度值t将图像化作两个部分，分别为第一部分的占比p0和平均灰度μ0以及第二部分部分的占比p1和平均灰度μ1，此时图像的总平均灰度值如公式(1)：
[0023]
μ＝μ0×
p0+μ1×
p1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0024]
对p0和p1取θ＝0.7的指数函数，用来消除两者间的占比差，改进后的最大类间方差公式(2)如下：
[0025]
σ
b2
＝p0′
(μ0‑
μ)2+p1′
(μ1‑
μ)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0026]
其中：
[0027][0028][0029]
所述的步骤(c)“图像滤波”的具体方法为：红外led点光源的成像区域被成功从图像中分割开来，出现新的问题是红外led灯的成像区域周围都是锯齿状的，同时在led点光源之外还存在少量的噪声点，本项目所采用的图像滤波方式是形态学滤波方式，最基本的形态学操作分为膨胀和腐蚀两种，膨胀是将与目标所接触的所有背景点合并到该物体中，
使边界向外部扩张的过程；腐蚀则正好相反，是一种消除边界点，使边界向内部收缩的过程，可以用来消除小而无意义的物体，算法设计的是第一步进行腐蚀操作，第二步进行膨胀操作，第三步依旧进行膨胀操作，最后再进行一次腐蚀操作，经过多次滤波后的图像满足实验要求。
[0030]
所述的步骤(d)“对图像的畸变进行矫正”的具体方法为：使用张正友标定法获取摄像头的畸变参数，把畸变参数写入算法中，可以实现矫正图像的畸变。
[0031]
所述的步骤(4)中“获取光点的质心像素位置”的具体方法为：光点在图像中一般呈现类椭圆形，鉴于椭圆拟合法速度快和精度高的特点，采用多批量检测剔除离群点的方法对拟合算法进行改进，方法是不采用一次性轮廓点代入的方法，而是将轮廓点分成多个段，每个小段进行一次椭圆拟合，这样可以获得一个质心点或者椭圆集合，最后利用数学统计学方法和数学上的剔除离群点的思想，将那些离绝对质心点最近的、比较密集的质心点作为一个类，计算这一类质心点的重心，该重心便是最佳质心点。
[0032]
所述的步骤(5)中“获取固定翼飞行器位姿”的具体方法为：通过上述步骤获取的四个光点的像素坐标的数据，采用应用广泛的epnp算法来进行计算求解，进而获取被识别固定翼飞行器相对于摄像机的横向距离、水平距离、纵向距离和偏转角、滚转角、俯仰角等参数。
[0033]
一种实施所述的基于单目视觉的位姿识别方法的系统，包括处理器、存储器、数据输出设备以及所述的红外光灯组和所述的摄像头，摄像头的输出端与处理器连接，处理器与存储器连接，处理器的输出接口与数据输出设备连接；该数据输出设备包括显示器或/和打印机。
[0034]
本发明的优点是：通过仿真和模拟实验表明，本发明在位姿的测量上具备较高的精度，改进了视觉测量算法实现细节，在速度和抗干扰能力上都有着显著的优势。
附图说明
[0035]
图1是本发明位姿识别系统的构成示意图；
[0036]
图2是本发明位姿识别的方法的流程图；
[0037]
图3是本发明仿真和模拟实验的噪声环境下两种算法质心误差分布图；
[0038]
图4是本发明仿真和模拟实验的部分实际光点图；
[0039]
图5是图4中任意一个光点放大图；
[0040]
图6是传统otsu绘制的轮廓局部放大图；
[0041]
图7是本发明仿真和模拟实验的改进的otsu算法绘制的轮廓局部放大图；
[0042]
图8是本发明真实拍摄固定翼飞行器背部的四个红外光灯的示意图。
具体实施方式
[0043]
参见图1
‑
图2，本方法是用于对固定翼飞行器的近距离的单目视觉的位姿识别方法，包括以下步骤：
[0044]
(1)在固定翼飞行器的两个机翼上与机身中轴线距离相等的地方，安装两个红外光灯，要求这两个红外光灯与机身中轴线的垂点重合。在机身中轴线靠近尾部的地方放置第三个红外光灯，在机身中轴线靠近头部的地方放置第四个红外光灯，在远离被识别固定
翼飞行器处设置摄像头，在该摄像头的镜头上设有能够允许红外光灯发射的红外光线通过的带通滤光片；
[0045]
因固定翼飞行器机身设计的多样性，机体表面情况不适合安装红外光时，则在不合适安装红外光灯的位置对称安装两个红外光灯，代替该位置应安装的红外光灯；然后通过算法取这两个红外光点的像素坐标的中点，此时这个中点代表该位置应安装的红外光灯的像素坐标。所以本方法安装的红外光灯的数量可以为4
‑
8个。
[0046]
(2)用摄像头去拍摄被识别固定翼飞行器的状态：开启红外光灯组和摄像头，由所述的红外光灯组映射到摄像头。
[0047]
(3)图像预处理：对三角形映射图像进行预处理，最终获得一张底色为黑色的图像，其中只有四个光点的部分是白色。
[0048]
所述的步骤(3)包括以下步骤：
[0049]
(a)灰度化处理：根据灰度化公式，对获取的rgb图像进行灰度化处理，将图像转换成灰度图。具体方法为：根据摄像头获得的图像的rgb三个通道各自的数值，由gray＝0.2989
×
r+0.5870
×
g+0.1140
×
b公式将三通道图像转换为单通道的灰度图。
[0050]
(b)二值化处理：使用基于otus阈值分割法改进的光点质心寻找法对灰度图识别进行阈值分割，将图像二值化成黑白图像；
[0051]
所述“二值化处理”的具体方法为：采用基于otus的光点质心寻找的阈值分割法对图像区域分割，用以提取光点区域，传统的一维otsu阈值分割方式计算简单，但是t值遍历区域范围太大，常规遍历效率太低，不适合实时分割，因此进行了如下改进：因光点较小，因此光点的最佳灰度阈值是一定大于大量低灰度值黑色背景所影响的图像平均灰度值t
mean
，在缩小的阈值定义域[t
mean
,255]中采用二分迭代法，求出阈值定义域的中间值t
mid
；
[0052]
将t
mid
取代阈值定义域的上限值，对新的阈值定义域获取中间值t
mid
′
，将t
mid
和t
mid
′
代入求取类间方差方程中，同时比较两者的类间方差σ
b2
，将大的σ
b2
对应的灰度值取代阈值定义域的上限值，并不断进行迭代，最终获得阈值定义域的最佳上限值t
k
；
[0053]
遍历[t
mean
,t
k
]灰度值，每次遍历的灰度值t将图像化作两个部分，分别为第一部分的占比p0和平均灰度μ0以及第二部分部分的占比p1和平均灰度μ1，此时图像的总平均灰度值如公式(1)：
[0054]
μ＝μ0×
p0+μ1×
p1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0055]
对p0和p1取θ＝0.7的指数函数，用来消除两者间的占比差，改进后的最大类间方差公式(2)如下：
[0056]
σ
b2
＝p0′
(μ0‑
μ)2+p1′
(μ1‑
μ)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0057]
其中：
[0058][0059][0060]
上述方法可以将其阈值适当提高，不会将亮度较暗的光晕或者其他衍射光也分割出来，具备较好的效果。
[0061]
(c)图像滤波：采用形态学滤波方式，对图像进行腐蚀和膨胀处理。所述的步骤(c)“图像滤波”的具体方法为：红外led点光源的成像区域被成功从图像中分割开来，出现新的问题是红外led灯的成像区域周围都是锯齿状的，同时在led点光源之外还存在少量的噪声点，本项目所采用的图像滤波方式是形态学滤波方式，最基本的形态学操作分为膨胀和腐蚀两种，膨胀是将与目标所接触的所有背景点合并到该物体中，使边界向外部扩张的过程；腐蚀则正好相反，是一种消除边界点，使边界向内部收缩的过程，可以用来消除小而无意义的物体，算法设计的是第一步进行腐蚀操作，第二步进行膨胀操作，第三步依旧进行膨胀操作，最后再进行一次腐蚀操作，经过多次滤波后的图像满足实验要求。
[0062]
(d)对图像的畸变进行矫正：通过张正友标定法获取摄像头的畸变参数，利用算法矫正图像的畸变。
[0063]
所述的步骤(d)“对图像的畸变进行矫正”的具体方法为：使用张正友标定法获取摄像头的畸变参数，把畸变参数写入算法中，可以实现矫正图像的畸变。
[0064]
(4)获取光点的质心像素位置：经过图像预处理后获得一张底色为黑色的图像，其中只有四个光点的部分是白色的图像，对图像使用基于椭圆拟合法改良的质心定位算法得到光点的边缘形状和光点的质心的像素位置。
[0065]
所述的步骤(4)的具体方法为：光点在图像中一般呈现类椭圆形，鉴于椭圆拟合法速度快和精度高的特点，传统的椭圆拟合法在实际应用中容易受到噪点影响，其在黑子遮挡等环境下定位十分不准确，这对于需要高精度的检测是不适用的，因此这里对该方法做出改进，采用多批量检测剔除离群点的方法对拟合算法进行改进，方法是不采用一次性轮廓点代入的方法，而是将轮廓点分成多个段，每个小段进行一次椭圆拟合，这样可以获得一个质心点(或者椭圆)集合，最后利用数学统计学方法和数学上的剔除离群点的思想，将那些离得比较密集的质心点作为一个类(这一类质心点都是离绝对质心点最近的质心点)，计算这一类质心点的重心，该重心便是最佳质心点。
[0066]
(5)获取固定翼飞行器位姿：根据质心像素位置，采用传统的epnp算法获取被识别固定翼飞行器的位姿。
[0067]
所述的步骤(5)的具体方法为：采用应用广泛的epnp算法来进行计算求解，通过上述步骤获取的四个光点的像素坐标的数据，其中任意三个红外光灯光点组成的三角形映射图像，经过分析该三角映射图像的像素坐标信息可以得到4组位姿解，最终由第四个红外灯的映射点的像素坐标确定出唯一解，进而获取被识别固定翼飞行器相对于摄像机的横向距离、水平距离、纵向距离和偏转角、滚转角、俯仰角等参数。
[0068]
参见图1，本发明一种实施所述的基于单目视觉的位姿识别方法的系统，其特征在于，包括处理器、存储器、数据输出设备以及所述的红外光灯组和所述的摄像头，摄像头的输出端与处理器连接，处理器与存储器连接，处理器的输出接口与数据输出设备连接；该数据输出设备包括显示器或/和打印机。
[0069]
本发明仿真和模拟实验说明：
[0070]
1.改进算法与传统算法的对比：
[0071]
(1)研究本发明改进算法和传统算法在噪声图片中的识别精度，用计算机生成10张已知光点质心位置的高斯光点图像，大小为400*400，光点为小尺寸光点，添加相同级别的随机椒盐噪声。分别采用本发明的算法和传统的算法，本发明算法是改进的otus阈值分
割法(基于otus的光点质心寻找的阈值分割法)以及改进的椭圆拟合法(基于椭圆拟合法的质心定位法)，传统的算法即传统的otsu阈值分割算法和传统的椭圆拟合算法，进行光点质心计算，获得小尺寸光点质心计算误差，为了避免计算系统误差，每张图像均进行100次计算获取误差(算法提取的质心数据与真实质心数据的差值)的平均值，结果如图3所示。
[0072]
如图3所示，横轴代表光点图像数，纵轴代表每张图片每种算法100次运行下的误差的平均值，小三角代表的是本发明改进算法的定位误差，圆点代表的是传统算法的定位误差。从图中可以清晰地看到，本发明改进算法的定位误差要小于传统的算法误差。
[0073]
本发明改进算法在10张图片中的质心定位误差平均为0.228像素，平均耗时为7.763ms，传统算法的质心定位误差平均为0.405像素，平均耗时为38.776ms。分析可知，本发明算法在定位精度上提升了43.69％，时间延迟上提升了79.97％，由此可知，本发明改进算法具备更高的精度和更快的识别速度。
[0074]
(2)为了检测算法适应真实光点的情况，多次采集了led灯图片进行实验，如图4真实光点所示。
[0075]
取图4中一张光点图的放大图(图5)进行实验展示，图5为滤片下真实led光点，ccd采集图片，选择光强最强处为光点质心位置，光点质心位置为(185.0183，150.8967)。实验中采集的红外光灯的光点可以看到，其具备衍射，反射光晕现象，还伴随一定的噪点。
[0076]
首先为了将改进的otsu算法和传统的otsu算法进行对比，采取了控制变量法：
[0077]
a)传统的otsu算法以及改进的椭圆拟合算法；
[0078]
b)改进的otsu算法以及改进的椭圆拟合算法；
[0079]
如图6所示，可以看出传统的otsu算法在对小型光点图片进行阈值分割时，其阈值偏低，会将光点周围产生的光晕同时分割出来，这将严重影响之后的质心位置的定位。而本发明改进的otsu算法能够较好地将光点分割出来(如图7所示)。
[0080]
采用三种算法对图5光点图片进行识别，其采用了控制变量法，分别是：
[0081]
1)本发明的改进otsu以及改进的椭圆拟合双改进算法；
[0082]
2)传统的otsu以及改进的椭圆拟合算法；
[0083]
3)改进的otsu以及传统的椭圆拟合算法；
[0084]
共3种算法。综合3种算法的实验数据对传统的otsu和改进的otsu算法，传统的椭圆拟合算法和改进的椭圆拟合算法做分别对比。
[0085]
将三种算法流程测得的实验数据列表1所示。
[0086]
表1三种算法的数据
[0087][0088]
如表1所示，比对第一和第二算法情况可以发现，改进的otsu算法作为阈值分割方式在速度和精度上都要远远强于传统的otsu算法。对比第一和第三算法的情况可以发现，
改进的椭圆拟合算法同样具备抗噪优势，其精确度要强于传统的椭圆算法。
[0089]
2.位姿识别验证实验：
[0090]
接下来通过对红外光点的提取和匹配，采用相应的三维估计算法计算光点所在的坐标空间相对摄像机的位置，这样就可以得到固定翼飞行器相对于摄像头的姿态。如图8所示，开启红外光灯组，摄像机进行拍摄，获取四个光点的图像信息：
[0091]
经过一系列图像处理流程，采用上述算法进行计算得到的结果如下表所示：
[0092]
表2单目视觉测量误差
[0093][0094]
从表2可以发现，本发明所提出的测量方法的测量精度随着距离的接近，精度不断提高，在距离较近<1m的情况下，所计算的固定翼飞行器的坐标相对于世界坐标系的位置只有毫米级的误差，且其角度误差<3
°
。