一种双目CCD视觉矿井移动目标定位方法及系统与流程

本发明涉及无线通信技术和计算机视觉技术，特别是涉及一种双目ccd视觉矿井移动目标定位方法及系统。

背景技术：

煤炭是我国重要的基础能源，以煤为主的能源结构在相当长时间内不会改变，随着国民经济的发展和煤炭的需求量越来越大，伴随的煤矿安全生产事故也在不断增多。因此，矿井安全的要求也越来越高，这对于矿井作业人员、作业设备等移动目标定位的准确性和可靠性也提出了更高的要求。

目前，已经有一些基于rfid、wifi、zigbee等定位技术，以及三角形质心定位、toa、aoa等定位算法在井下人员定位方面得到应用，但上述定位技术和定位方法，在井下移动目标定位精准度上存在问题：一方面由于井下nlos环境电磁波非直视传播和多径干扰，wifi、zigbee等定位技术的实时性、准确性易受影响，而且由于矿井巷道无线电磁波传输损耗大、信号衰减较为严重，采用三角形质心定位、toa、aoa等定位算法存在较大误差，无法实现矿井移动目标的精确定位。另一方面，rfid定位技术只能进行井下移动目标的进出识别，无法实现移动目标的二维定位，尤其是，当井下出入口及工作面同一地点同时出现多个移动目标时，rfid识别会造成漏检或识别不准问题，也难以进行准确定位。

ccd视觉定位技术广泛应用于工业非接触测量中，具有定位精度高、抗干扰能力强、可远距离获取目标图像等特点，而且，随着ccd视觉传感器及其测量技术在工业应用成果的不断推广，其在煤矿井下移动目标定位的应用也得到越来越多的重视。

技术实现要素：

本发明所要解决的技术问题是：针对上述存在的问题，提出一种双目ccd视觉矿井移动目标定位方法及系统，实现矿井移动目标实时、精确定位。

本发明的技术方案是：提出一种双目ccd视觉矿井移动目标定位方法及系统，实现该方法的系统包括井上设备和井下装置，井上设备包括基站控制器、以太网交换机、定位服务器和监控终端，井下装置包括矿井本安型基站、无线射频识别标签。井上设备通过光链路与所述井下装置进行通信。

所述矿井本安型基站具有lte、wifi、uwb等无线接口，用于井下移动目标的无线射频识别；

所述矿井本安型基站内置双目ccd视觉传感器，用于采集井下移动目标的左右立体图像信息，并对其进行orb特征匹配和立体标定；

所述矿井本安型基站通过lte无线网络和光链路将双目ccd视觉传感器标定的位置信息发送至井上所述定位服务器；

所述无线射频识别标签，作为识别标志安装或固定在井下移动目标上，用于移动目标的rssi无线射频识别、特征提取与匹配；

所述双目ccd视觉矿井移动目标定位方法及系统，其实现步骤包括：

步骤1、所述矿井本安型基站通过接收安装或固定在移动目标上的无线射频识别标签信号，采用rssi算法估算移动目标的位置。

步骤2、定义双目ccd视觉识别的判决阈值thr为双目ccd视觉传感器的图像信息采样最远距离。

步骤3、当矿井本安型基站监测到移动目标距该基站的距离小于等于判决阈值，即drssi≤thr时，双目ccd视觉传感器对移动目标进行图像信息采样与距离计算，否则，返回步骤1重新估算移动目标的位置。

步骤4、双目ccd视觉传感器采用orb算法对无线射频识别标签进行特征提取训练，并根据提取特征和双目ccd视觉传感器采集到的移动目标识别标志特征进行匹配。

步骤5、当移动目标特征匹配成功，双目ccd视觉传感器对移动目标图像进行左右立体标定，获取双目ccd视觉传感器的内外参数矩阵及视差均值，并采用双目ccd视觉传感器融合计算出移动目标的世界坐标信息，否则返回步骤1重新估算移动目标的位置。

步骤6、根据所述矿井本安型基站所处位置，对移动目标的世界坐标信息进行校正，获取移动目标的最终位置坐标信息。

所述矿井本安型基站，采用rssi算法监测井下移动目标的接收信号强度并对井下移动目标定位，根据传播损耗理论模型计算双目ccd视觉传感器对移动目标的图像信息采样分析距离thr，其中，pr(drssi)为井下环境中信号传输距离为drssi时的信号强度，pr(d0)为理想空间状态中信号传输距离为d0时的信号强度，k为信号强度衰减系数，i＝1，...，nloss，为实测nloss次井下信号强度衰减系数。

所述双目ccd视觉矿井移动目标定位方法及系统，实现对井下移动目标进行orb特征匹配的步骤进一步包括：

步骤1、利用orb算法检测特征点，采用fast算子检测井下移动目标特征点。

步骤2、对检测到的井下移动目标特征点添加方向信息，构成ofast。

步骤3、采用灰度质心法对检测到的井下移动目标角点添加方向信息。orb采取灰度质心法给检测到的角点添加方向信息。rosin定义邻域矩：mpq＝∑x，yx^py^qi(x，y)，质心为：特征点与质心夹角定义为fast特征点的方向：θ＝atan2(m01，m10)。

步骤4、采用brief描述子对检测到的井下移动目标进行特征点描述。

步骤5、对检测到的井下移动目标特征点描述子添加旋转不变性，构成steerbrief，不仅利用brief的计算简单、快速的优点，而且解决了brief本身不具有旋转不变性的特点。定义s×s大小图像，算法提取到特征点描述符其中p(x)是平滑之后图像邻域p在x＝(u，v)^t处的灰度值。对于(xi，yi)的n个位置对，steerbrief在(xi，yi)处，对于任意n个位置对的特征集利用旋转矩阵rθ旋转匹配点，得到带有方向的特征集sθ＝rθs。

步骤6、计算两个匹配点对的描述子hamming距离ham，进行特征匹配判决。旋转后的二进制准则描述子gn(p，θ)：＝fn(p)|(xi，yi)∈sθ，在匹配时只需计算两个特征点描述子的hamming距离ham，进行特征匹配判决。

步骤7、利用贪婪算法从所有可能的像素块对中搜索已设定的n个相关性最低的像素块对，检索并匹配移动目标特征，判决特征匹配结果。

所述双目ccd视觉矿井移动目标定位方法及系统，对井下移动目标进行立体标定的步骤进一步包括：

双目ccd视觉传感器通过orb算法特征匹配井下移动目标成功后，利用双目ccd视觉传感器对采集到的移动目标进行定位，图像像素坐标系其中，(xw，yw，zw)为世界坐标，u，v是图像像素坐标系坐标，图像物理坐标系的x，y轴平行于像素坐标系u，v轴，dx,dy分别是水平和竖直方向的像元间距，zc为双目ccd视觉传感器的光轴，f为焦距；

步骤1、双目ccd视觉传感器对采集到的移动目标图像进行左右立体标定，获取双目ccd视觉传感器的内外参数矩阵。即通过相机坐标系和世界坐标系标定估算双目ccd视觉传感器的外参矩阵其中r是3×3旋转矩阵，0^t是1×3平移矩阵，通过对所述双目ccd视觉传感器内部参数和移动目标图像左右立体标定求解双目ccd视觉传感器的内参矩阵其中fx,fy为有效焦距。

步骤2、获取双目ccd视觉传感器的视差均值，根据立体匹配得到的匹配点对求视差di，i＝1，2，…，nver,并求视差di的均值

步骤3、通过图像像素坐标系方程求移动目标的世界坐标,根据内外参数矩阵和双目ccd视觉传感器视差dver，求解移动目标的世界坐标系中坐标(xw，yw，zw)，其中，zw为空间定位移动目标到双目ccd视觉传感器的垂直距离，即为深度信息。

步骤4、通过基站坐标校正移动目标的世界坐标系坐标,内置双目ccd视觉传感器的矿井本安型基站在世界坐标系中坐标(0，0，0)，定位移动目标的世界坐标系中坐标(xw，yw，zw)，并结合基站所处矿井巷道实际位置对移动目标的世界坐标信息进行坐标位置校正，获取矿井移动目标的最终位置信息，实现对移动目标的精确定位。

本发明的有益效果在于：

该发明基于rssi与orb算法，通过对井下移动目标的rssi无线射频识别和双目ccd视觉标定相融合，提供了一种双目ccd视觉矿井移动目标定位方法及系统。本发明解决了现有定位技术存在漏检和识别不准以及定位精度较低等问题，尤其是克服了井下nlos环境下目标遮挡导致无法对移动目标识别与精准定位问题，提高了井下移动目标定位的实时性与准确性和系统鲁棒性。系统定位精度高，抗干扰能力强，适宜于各种复杂环境及限定空间的移动目标实时跟踪与精确定位。

附图说明

图1为一种双目ccd视觉矿井移动目标定位方法及系统的系统组成示意图。

图2为一种双目ccd视觉矿井移动目标定位方法及系统的定位流程图。

图3为一种双目ccd视觉矿井移动目标定位方法及系统采取的orb算法流程图。

图4为一种双目ccd视觉矿井移动目标定位方法及系统采取的双目ccd定位算法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明的具体实施方式进行详细描述。

图1为双目ccd矿井移动目标定位方法及系统的系统组成。参照图1所示，实现上述矿井定位方法的系统主要包括：无线射频识别标签(101)、内置双目ccd本安型定位基站(102)、以太网交换机(103)、基站控制器(104)、定位服务器(105)、监控终端(106)。

其中，无线射频识别标签(101)发射无线射频信号可被本安型定位基站识别，用于粗略定位，对该标签进行特征匹配的识别提取训练，用于双目ccd视觉传感器orb算法特征匹配。双目ccd本安型定位基站(102)，本安型定位基站基于传播损耗理论模型，利用rssi算法识别移动目标上的无线射频识别标签并获取矿井移动目标的射频信息，内置于本安型定位基站的双目ccd视觉传感器在被触发后采集移动目标图像并进行特征匹配和立体标定进而实现对移动目标的精确定位。以太网交换机(103)，用于定位系统网络的汇聚节点，实现定位系统与地面通信网络的互联。基站控制器(104)，用于井下无线网络管理、无线资源管理及矿井本安基站的管理、控制和监测，以及井下移动目标的越区切换控制等。定位服务器(105)，用于处理、存储矿井移动目标实时位置信息，为井下移动目标提供移动定位服务，实现对井下移动目标的定位和监测功能，并且提供监控终端的历史信息查阅和调取服务。监控终端(106)，用于接收来自于定位服务器的图像和实时定位信息，将图像和实时定位信息进行可视化显示。

图2为双目ccd矿井移动目标定位方法及系统的定位流程图。参照图2所示，双目ccd矿井移动目标定位方法的定位流程步骤及功能描述如下：(1)信号衰减系数测量与标定(201)，内置ccd视觉传感器的矿井本安型基站采取对数-常态的传播损耗理论模型进行信号衰减系数测量与标定，由于矿井信号的衰减系数要明显高于井上环境，在矿井进行实测nloss次求均值作为矿井信号衰减系数；(2)无线射频识别标签特征识别提取训练(202)，对于安装在矿井移动目标的无线射频标签识别进行匹配特征的识别与提取训练，为目标的orb算法匹配提供匹配特征；(3)rssi算法粗略定位获取移动目标距基站距离(203)，利用基站的rssi算法，识别移动目标上的无线射频识别标签，采取对数-常态的传播损耗理论模型来粗略估算矿井移动目标的粗略位置；(4)判决移动目标距基站距离是否小于等于双目ccd采样距离thr(203)，通过判决移动目标距基站距离是否小于等于双目ccd采样距离thr，当满足条件时触发双目ccd对移动目标图像采集，否则返回采取rssi重新估算移动目标的位置；(5)触发双目ccd对移动目标图像采集(205)，当基站采集到移动目标距离基站距离drssi小于等于阈值双目ccd视觉传感器可进行图像信息采样分析距离thr，可触发内置双目ccd视觉传感器的矿井本安型基站，通过双目ccd视觉传感器进行移动目标的图像信息采样；(6)orb算法对移动目标特征匹配是否成功(206)，当矿井本安型基站监测到移动目标距该基站的距离小于等于判决阈值，即drssi≤thr时，双目ccd视觉传感器对移动目标进行图像信息采样与距离计算，否则返回采取rssi重新估算移动目标的位置；(7)移动目标坐标标定(207)，根据图像像素坐标系坐标公式获取坐标标定所需要的内外参数矩阵、视差均值dver，标定移动目标的世界坐标；(8)基站校正定位完成(208)，内置双目ccd视觉传感器的矿井本安型基站在世界坐标系中坐标系坐标(0，0，0)，定位移动目标的世界坐标系中坐标(xw，yw，zw)，并结合基站所处矿井巷道实际位置对矿井移动目标的世界坐标信息进行坐标位置校正，获取矿井移动目标的最终位置信息，实现对移动目标的精确定位。

图3为双目ccd矿井移动目标定位方法及系统采取的orb算法流程图。如图3所示，双目ccd矿井移动目标定位方法采取的orb算法流程步骤包括：(1)输入移动目标图像信息(301)，将双目ccd视觉传感器的采集到的移动目标图像作为orb算法特征匹配的输入；(2)利用ofast算子进行特征点检测(302)，采取对fast算子添加旋转不变性形成ofast算子，利用ofast算子进行特征点检测，并且采用灰度质心法为检测到的特征点增加匹配局部不变性；(3)使用steerbrief对特征点进行描述(303)，steerbrief算法利用brief的计算简单、快速的优点对ofast算法检测到的特征点进行特征描述，并且解决了brief本身不具有旋转不变性的缺点；(4)构建特征集及二进制准则描述子(304)，定义s×s大小图像，该区域内选取任意n个位置特征对(xi，yi)构成特征集并在s×s大小图像内，构建算法提取到特征点描述符steerbrief在(xi，yi)处，对于任意n个位置对的特征集利用旋转矩阵rθ旋转匹配点，得到带有方向的特征集sθ＝rθs，旋转后的二进制准则描述子gn(p，θ)：＝fn(p)|(xi，yi)∈sθ；(5)设置特征匹配的阈值haming距离(305)，多次利用相同特征图像匹配训练得到相同特征图像匹配的阈值haming距离并求均值，以获得最佳特征匹配的阈值haming距离，设置该特征匹配的阈值haming距离均值作为特征对是否配的判决标准；(6)贪婪检索符合特征匹配像素块(306)，使用贪婪算法检出小于等于设定haming距离阈值的像素块，检索出特征匹配的结果；(7)输出特征匹配检索结果(307)，根据贪婪算法的检索出特征匹配的结果，判决特征匹配结果。

图4为双目ccd矿井移动目标定位方法及系统采取的双目ccd定位算法流程。如图4所示，上述矿井定位方法采取的双目ccd定位算法流程主要包括：(1)双目ccd对移动目标采集左右图像(401)，通过利用双目ccd视觉传感器对矿井下移动目标采集左右图像。(2)双目ccd对移动目标左右图像进行立体标定(402)，通过双目ccd视觉传感器的内部参数以及双目ccd视觉传感器对采集到的移动目标图像进行左右立体标定，获取摄像头中心距、焦距f、视差di、内外参数矩阵，设世界坐标系坐标(xw，yw，zw)，相机坐标系坐标其中，(xc，yc，zc)是相机坐标系坐标，r是3×3旋转矩阵，0^t是1×3平移矩阵，可以通过双目ccd视觉传感器对采集到的移动目标图像进行左右立体标定,即对相机坐标系和世界坐标系标定估算外参矩阵图像物理坐标系其中，zc为光轴，x，y是图像物理坐标系坐标，f为焦距，图像像素坐标系u，v是图像像素坐标系坐标，图像物理坐标系x，y轴平行于像素坐标系u，v轴，dx,dy分别是水平和竖直方向的像元间距，利用双目ccd视觉传感器内部参数以及双目ccd视觉传感器对采集到的移动目标图像进行左右立体标定求解内参矩阵其中fx,fy为有效焦距；(3)获取双目ccd的视差(403)，根据双目ccd视觉传感器立体匹配得到的匹配点对求视差di，i＝1，2，…，nver,并求视差di的均值(4)图像像素坐标系方程求移动目标的世界坐标(404)，根据图像像素坐标公式求得移动目标的世界坐标(xw，yw，zw)，其中zw就是空间定位移动目标到双目ccd视觉传感器的垂直距离，也称为深度信息；(5)通过基站坐标校正移动目标的世界坐标系坐标(405)，内置双目ccd视觉传感器的矿井本安型基站在世界坐标系中坐标(0，0，0)，定位移动目标的世界坐标系中坐标(xw，yw，zw)，并结合基站所处矿井巷道实际位置对移动目标的世界坐标信息进行坐标位置校正，获取矿井移动目标的最终位置信息，实现对移动目标的精确定位。

显然，本领域的技术人员应该明白，本发明及上述实施例所涉及定位方法及系统各组成功能，除作为矿井移动目标定位应用于煤矿井下环境外，通过适当集成或改进后也适用于非金属和金属等非煤矿山的移动目标监控、跟踪与定位，以及井下智能工作面设备精确定位。这样本发明不限制除煤矿井下移动目标定位之外的非煤矿山、智能工作面移动监控和设备精确定位等通信技术领域。

以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明设计思路的前提下，还可进行若干简单的替换和更改，都应当视为属于本发明所提交的权利要求书所涉及的保护范围。