基于双目视觉传感器的轨道机器人检测方法与流程

文档序号:14940507发布日期:2018-07-13 20:35阅读:318来源:国知局

本发明涉及轨道机器人检测方法。



背景技术:

随着社会经济技术的发展,交通发展四通八达,越来越多的交通轨道涉及到了隧道。隧道的搭建是现代化大型城市交通发展的特色和发展方向,地铁,公路都是隧道化交通的实例。巡检是确保地下隧道安全稳定运行的主要手段。目前传统的交通隧道巡检方法主要依靠人工及少量环境监控器实现。但是由于隧道道路路程长,封闭性强,构造物多,通讯不便,一旦出现突发事故,将对巡检人员的人身安全造成极大的威胁。



技术实现要素:

本发明的目的是为了解决现有隧道道路路程长,封闭性强,构造物多,通讯不便,一旦出现突发事故,将对巡检人员的人身安全造成极大的威胁的问题,而提出基于双目视觉传感器的轨道机器人检测方法。

基于双目视觉传感器的轨道机器人检测方法具体过程为:

步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统,具体过程为:

两台红外双目视觉传感器对隧道内部图像进行采样,得到同一场景下同时在两种不同角度拍摄的视频图像;

采用图像处理法对视频图像中的目标特征进行识别,得到目标特征在两幅图像中的视差;

红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号,位于红外双目视觉传感器中的信号调理单元将电信号采样,量化成数字,图像重构形成数字图像;

数字图像以m*n维矩阵的形式储存,数字图像矩阵中的每一个元素为数字图像的一个像素;

红外传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;

步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。

本发明的有益效果为:

本发明使用机器人代替人类进行隧道巡检,相对于人工巡检而言,隧道机器人具有以下优势:本发明使用机器人可以全天候运行,不会出现疲劳;对恶劣环境的适应性更强;即使在巡检过程中发生危险,也无需担心人身伤害事故,不会对巡检人员的人身安全造成威胁;此外,通常人工巡检方式所能获得的所有信息,机器人皆可以在隧道内检测,通过通信方式反馈给控制站巡检人员获得。因此隧道机器人可以代替人工方式,成为一种有效的隧道施工,检修手段。本发明机器人能够准确的识别在隧道环境下的事故位置,在恶劣环境下进行定位,提高了人工寻找故障点的效率和安全性。并且可以自主对事故点进行处理,预防事故的蔓延。增加隧道监巡检系统的智能性与安全性,本发明采用通过基于双目视觉传感器的轨道机器人检测方法预计在典型应用场景中自主避障错误率低于5%,提高识别精度。

附图说明

图1为本发明双目视觉传感器的指示模型示意图;

图2为本发明红外双目视觉传感器成像模型示意图。

具体实施方式

具体实施方式一:本实施方式的基于双目视觉传感器的轨道机器人检测方法具体过程为:

步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统,具体过程为:

两台红外双目视觉传感器对隧道内部图像进行采样,得到同一场景下同时在两种不同角度拍摄的视频图像;

采用图像处理法对视频图像中的目标特征进行识别,得到目标特征在两幅图像中的视差;(对比两张针对相同物体不同角度的拍摄图像可以获得视差。不同角度是指双目处于不同角度,分别对相同物体进行拍摄。视差就是两张图片中不同的地方);

红外双目定位系统作为隧道检测定位机器人的识别系统,能够在隧道内出现异常情况时,及时发现异常情况发生位置,准确定位机器人的操作目标。利用双目立体定位算法准确获得机器人目标位置,将目标位置信息反馈给机器人,再对目标进行准确动作。

红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号,位于红外双目视觉传感器中的信号调理单元将电信号采样,量化成数字,图像重构形成数字图像;

红外双目视觉传感器焦平面为焦距点所在的平面,过第一焦点(前焦点或物方焦点)且垂直于系统主光轴的平面称第一焦平面,又称前焦面或物方焦面。

数字图像在计算机中以m*n维矩阵的形式储存,数字图像矩阵中的每一个元素为数字图像的一个像素;m、n为矩阵的维度,取值为正整数;

红外双目视觉传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;

步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。

具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤一中红外双目视觉传感器将三维空间场景中的每一点构建成二维图像,采用数学公式对二维图像进行构建,实现不同坐标系之间的转换,构成红外双目立体视觉系统;具体过程为:

1)、像素平面坐标系:

建立像素平面坐标系o-uv;

所述o表示像素平面坐标系原点,u为数字图像中像素点位置所对应的长的分辨率的值,上限等于红外双目视觉传感器分辨率的长;v为数字图像中像素点位置所对应的宽的分辨率的值,上限等于红外双目视觉传感器分辨率的宽;

将数字图像像素在像素平面坐标系中表示为(u,v);

图中的o-uv是像素平面坐标系;像素平面坐标系是在数字图形处理中十分常见和广泛应用的坐标系。

2)、成像平面坐标系:

成像平面坐标系与像素平面坐标系截然不同,像素平面坐标系中的变化值意味着单个像素在数字化图形中所在的位置。与之不同的是,成像平面坐标系使用的是像素点在成像器件上的长度坐标。成像平面坐标系使用的是二维坐标系,横坐标与纵坐标的取值范围表示成像靶面的大小尺寸。在图1中,o1-xy被称为成像平面坐标系。

建立成像平面坐标系o1-xy;

所述x表示成像平面坐标系x轴,y表示成像平面坐标系y轴;o1点表示数字图像的主点(摄影中心与像平面的垂线与像平面的交点,称为像主点),由红外双目视觉传感器的光轴和数字图像平面交叉而成;

将数字图像像素在成像平面坐标系成像靶面(靶面指的是在相机镜头上的平面)中表示为(x,y);

成像平面坐标系与像素平面坐标系之间的关系式表示如下:

其中,数字图像的主点o1在像素平面坐标系中的焦平面阵列几何中心,表示为(u0,v0),dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置;

3)、红外双目视觉传感器坐标系:

红外视觉传感器所在的位置设定为原点,用原点来描述投影到视觉传感器成像平面上的空间坐标点;在图1中,oc-xcyczc是红外视觉传感器所在的坐标系;

建立红外双目视觉传感器坐标系oc-xcyczc;

所述oc表示红外双目视觉传感器的光心;xc表示红外双目视觉传感器坐标系的x轴,平行于成像平面坐标系的x轴;yc表示红外双目视觉传感器坐标系的y轴,平行于成像平面坐标系的y轴;zc表示红外视觉传感器的光轴主轴;

将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc);

红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下:

其中,f为红外双目视觉传感器的焦距;λ为两个坐标系之间的倾斜因子,表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度;

4)、世界坐标系:

将数字二维图像和空间三维中的点建立对应的关系;确立视觉传感器在世界坐标系下的位姿与方向。针对视觉传感器建一个世界坐标系,该坐标系以视觉传感器为基础。图1中,

建立世界坐标系ow-xwywzw;

所述ow为世界坐标系圆心,xw为世界坐标系的x轴,yw为世界坐标系的y轴,zw为世界坐标系的z轴;

将图像像素在世界坐标系中表示为(xw,yw,zw);

设定世界坐标系ow-xwywzw为双目视觉系统的理想成像模型所在的坐标系;

红外双目视觉传感器在世界坐标系中的位姿和方向用世界坐标系的旋转矩阵r和平移矩阵t表示;

三维空间中任意一个点pt在红外双目视觉传感器坐标系中表示为(xc,yc,zc),在世界坐标系下,则表示成为(xw,yw,zw);

世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下:

其中,r表示旋转矩阵,tab表示平移矩阵;

像素平面坐标系与世界坐标系之间的转换关系式如下:

其中k为红外双目视觉传感器的内参矩阵;

红外双目视觉传感器的内参矩阵k包含了传感器的镜头焦距,像素尺寸,主点位置等重要参数;将[rt]定义为红外双目视觉传感器的外参矩阵,外参矩阵是红外双目视觉传感器转换到世界坐标系的转换因子。

其它步骤及参数与具体实施方式一相同。

具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述旋转矩阵r为3*3阶正交旋转矩阵;平移矩阵tab为1*3阶平移矩阵。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标;具体过程为:

双目视觉原理:

双目视觉识别是一项从数字图像中提取三维空间坐标信息的技术。和生物视觉原理类似,计算机视觉技术通过对比在两个不同的拍摄点对于同一场景所捕获到的信息,研究目标物体在两幅图像中的相对位置,进而提取出目标在三维场景中的位置信息。双目成像模型可以看成是由两个单目成像模型组合而成。

红外双目视觉模型的空间坐标关系如图2所示。

将两个红外双目视觉传感器编号为a和b,在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系oca-xcaycazca和ocb-xcbycbzcb;在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系o1a-xaya和o1b-xbyb;在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系oa-uava和ob-ubvb;p和p′是三维空间中的任意两点;

空间点p(xw,yw,zw)(世界坐标系ow-xwywzw上的点)投影到红外双目视觉传感器a像素平面坐标系中,双目视觉系统的理想成像模型表达式如下:

这个公式求出空间点p(xw,yw,zw);公式中除xw,yw,zw都为已知;

其中,fa为红外双目视觉传感器a的焦距;(u0a,v0a)为红外双目视觉传感器a的光心;zac是坐标计算式中的比例因子;ua表示像素点在红外双目视觉传感器a中对应的像素点长,va表示像素点在红外双目视觉传感器a中对应的像素点宽,r1a、r2a、r3a、r4a、r5a、r6a、r7a、r8a、r9a表示在红外双目视觉传感器坐标系oca-xcaycazca下的旋转参数,txa表示像素平面坐标系oa-uava的u轴在红外双目视觉传感器坐标系oca-xcaycazca下的平移参数,tya表示像素平面坐标系oa-uava的v轴在红外双目视觉传感器坐标系oca-xcaycazca下的平移参数,tza表示像素平面坐标系oa-uava的i轴在红外双目视觉传感器坐标系oca-xcaycazca下的平移参数,ma为红外双目视觉传感器a的投影矩阵;像素平面坐标系ob-ubvb的i轴为垂直于像素平面坐标系ob-ubvb的轴;

将空间点p(xw,yw,zw)投射到红外双目视觉传感器b像素平面的坐标系中,双目视觉系统的理想成像模型表达式如下:

这个公式求出空间点p(xw,yw,zw);公式中除xw,yw,zw都为已知;

其中,fb为红外双目视觉传感器b的焦距;(u0b,v0b)为红外双目视觉传感器b的光心,zbc是坐标计算式中的比例因子;ub表示像素点在红外双目视觉传感器b中对应的像素点长,vb表示像素点在红外双目视觉传感器b中对应的像素点宽,r1b、r2b、r3b、r4b、r5b、r6b、r7b、r8b、r9b表示在红外双目视觉传感器坐标系ocb-xcbycbzcb下的旋转参数,txb表示像素平面坐标系ob-ubvb的u轴在红外双目视觉传感器坐标系ocb-xcbycbzcb下的平移参数,tyb表示像素平面坐标系ob-ubvb的v轴在红外双目视觉传感器坐标系ocb-xcbycbzcb下的平移参数,tzb表示像素平面坐标系ob-ubvb的i轴在红外双目视觉传感器坐标系ocb-xcbycbzcb下的平移参数,mb为红外双目视觉传感器b的投影矩阵;

将以上两个公式统称为双目视觉系统的理想成像模型,ma作为红外双目视觉传感器a的投影矩阵,mb是红外双目视觉传感器b的投影矩阵。相机内参矩阵与外参矩阵乘积可以得到投影矩阵。假设双目视觉传感器系统内部参数矩阵,有效焦距,光心坐标恒定不变。双目视觉传感器之间的相对位置关系也保持不变。

计算两台红外双目视觉传感器之间的相对位置关系,通过a,b两台红外双目视觉传感器之间的旋转平移矩阵mab实现两台红外双目视觉传感器之间的转换,旋转平移矩阵mab包括旋转矩阵和平移矩阵:

mab=[rabtab]

其中,rab表示a,b两台红外双目视觉传感器之间的旋转矩阵,tab表示a,b两台红外双目视觉传感器之间的平移矩阵;

红外双目视觉传感器a和红外双目视觉传感器b之间的转换关系表达式为:

其中,xb表示空间点p(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-xcbycbzcb下的x坐标,yb表示空间点p(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-xcbycbzcb下的y坐标,zb表示空间点p(xw,yw,zw)在红外双目视觉传感器b坐标系ocb-xcbycbzcb下的z坐标,

xa表示空间点p(xw,yw,zw)在红外双目视觉传感器a坐标系oca-xcaycazca下的x坐标,ya表示空间点p(xw,yw,zw)在红外双目视觉传感器a坐标系oca-xcaycazca下的y坐标,za表示空间点p(xw,yw,zw)在红外双目视觉传感器a坐标系oca-xcaycazca下的z坐标;

在进行实际的双目视觉测定时,指定红外双目视觉传感器a作为全局坐标系,那么空间点p(xw,yw,zw)投射到红外双目视觉传感器a坐标系中的理想成像模型表示为:

这个公式求出空间点(xa,ya,za);公式中除xa、ya、za都为已知;

其中,ka为红外双目视觉传感器a的内部参数矩阵,xg=(xayaza)t为空间点p(xw,yw,zw)在红外双目视觉传感器a坐标系oca-xcaycazca下的坐标(xg为待测量值);t为转置;

结合a,b矩阵之间的旋转平移矩阵mab,将空间点p(xw,yw,zw)投射到红外双目视觉传感器b坐标系中的理想成像模型表示为:

这个公式求出空间点(xa,ya,za);公式中除xa、ya、za都为已知;

其中,kb表示红外视觉传感器b的内部参数矩阵;

根据视差和四个理想成像模型得到数字图像的三维空间位置坐标pa和pb;

pa=[uava1]t和pb=[ubvb1]t分别是a,b两台红外双目视觉传感器坐标系对应于三维空间同一投影点的像素坐标值。pa,pb通过双目立体匹配确定;zac,zbc表示两个投影变换比例因子的数值。

完成以上所有参量的确定就可以实现红外双目视觉传感器从数字图像恢复到三维场景信息的目的,本发明所描述的红外双目视觉传感器定位系统基于此方法实现定位。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述红外双目视觉传感器a的内部参数矩阵ka为红外双目视觉传感器的焦距和红外双目视觉传感器的光心坐标。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六:本实施方式与具体实施方式一至五之一不同的是:所述红外双目视觉传感器a的内部参数矩阵ka、红外视觉传感器b的内部参数矩阵kb和旋转平移矩阵mab的参数矩阵通过相机标定获得。

其它步骤及参数与具体实施方式一至五之一相同。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1