基于信息融合的分层渐进烟羽跟踪方法
【专利摘要】本发明公开了一种基于信息融合的分层渐进烟羽跟踪方法，解决现有烟羽跟踪方法实时性较差、对环境限制条件较多等问题。所提方法通过嗅觉传感器获取气体种类及浓度信息，通过视觉传感器获取跟踪环境视觉信息；通过分层有针对性的提取环境信息提高了跟踪系统的实时性，在不同的层次下，检测不同尺度的物体，并将该尺度的物体视为一个区域，其中，初始层次时的物体尺度最大，随着层次的增加，物体尺度减小；通过嗅觉传感信息与视觉传感信息的深度融合提高了信息的利用率，不仅提高了烟羽跟踪效率并且降低了对跟踪环境的限制，使该方法可以应用于复杂环境及泄漏源视觉信息未知的环境。
【专利说明】基于信息融合的分层渐进烟羽跟踪方法
【技术领域】
[0001] 本发明属于自动检测及机器人【技术领域】，特别涉及一种基于信息融合的烟羽跟踪 方法。
【背景技术】
[0002] 烟羽跟踪是指当机器人检测到气体泄漏后，通过一定的跟踪算法向泄漏源趋近的 过程，是气体监测寻踪领域的研究重点，也是当今环境保护领域和煤炭、石油、化工等工业 生产行业亟待解决的重要问题之一，常用的方法有基于浓度梯度的方法和基于多传感融合 的方法。
[0003] 基于浓度梯度的方法利用监测到的气体浓度信息结合概率统计、分析进行烟羽跟 踪，该方法易受湍流影响而使跟踪陷入局部最优从而得出错误结果。
[0004] 基于多传感融合的方法将传感器获取的气体浓度信息和其它传感器信息进行融 合，进而引导机器人趋近泄漏源，常见的方法有风向趋向性方法和嗅视觉融合等方法。风向 趋向性方法融合气体浓度信息和感知的环境风向信息逆风趋近泄漏源，在风速较大时得到 了可靠的应用，然而风向信息易受湍流漩涡影响，而且目前风速传感器的监测阈值较高，当 风速较小时风向信息将无法获得，制约了该方法的应用；嗅视觉方法融合嗅觉信息和视觉 感知的环境信息引导机器人趋近泄漏源，例如，Kowadlo将"裂纹"作为气体泄漏源的视觉特 征辅助嗅觉进行烟羽跟踪，显然该方法只适用于机器人距离泄漏源较近且泄漏裂缝较大的 情况；Ishida将具有突出颜色的瓶子作为疑似泄漏源放置在简单环境中，通过嗅视觉融合 进行烟羽跟踪定位，取得了一定的成果，但是在复杂环境中此方法误判率较高，很难应用于 实际的搜寻任务。
[0005] 此外，目前基于多传感融合的方法只是对嗅觉信息和其它传感器信息进行了简单 的切换处理，例如视觉信息用于寻找疑似泄漏源并引导机器人到达疑似泄漏源附近，嗅觉 信息仅用于气体泄漏源的最终判定，并没有实现真正意义上的融合，当存在多个疑似泄漏 源时，真正的泄漏源得不到优先处理，因此烟羽跟踪的实时性和可靠性较差。
[0006] 综上，现有的烟羽跟踪方法虽然都有其独特的一面，但是由于烟羽跟踪问题的复 杂性，这些方法的实时性较差，并且多对环境加以一定限制（例如假设气体分布模式已知、 或环境风速较大、或泄漏源的视觉信息已知），并没有提出一种可以用于复杂环境及泄漏源 视觉信息未知环境下的有效的烟羽跟踪方法。
【发明内容】
[0007] 针对上述现有烟羽跟踪方法不能适用于复杂环境及泄漏源视觉信息未知的环境， 且跟踪效率较低，在发生气体泄漏时不能及时给出预警等问题，提出一种基于信息融合的 分层渐进烟羽跟踪方法，可用于复杂环境及泄漏源视觉信息未知的环境，并且具有较高的 跟踪效率。本发明方法通过融合嗅觉传感信息与视觉传感信息进行分层渐进烟羽跟踪，其 中嗅觉传感信息用于计算跟踪区域的气体种类及浓度；而视觉传感信息用于对跟踪环境进 行分层感知并据此对机器人进行导航。
[0008] 为了解决上述技术问题，本发明一种基于信息融合的分层渐进烟羽跟踪方法，包 括如下步骤：
[0009] 步骤一、层次1划分：按照视觉尺度从大到小的顺序分别提取环境图像的特征点 并记录该尺度下特征点的个数，当在某尺度时提取的特征点个数在3-10之内时，依据提取 的特征点将层次1划分为多个分区，其中一个特征点代表一个分区，各分区边界以图像中 心为起点经相邻两特征点连线的中点指向图像边缘；当两特征点与图像中心的夹角小于 30°时，该两个特征点所代表的两个分区合并为一个分区；对各分区进行编号得到层次1 下的区域划分；
[0010] 步骤二、层次1下的烟羽跟踪：选取第一个分区的特征点为目标并对其进行视觉 特征描述，依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传感信 息进行气体浓度计算；若在L距离内检测到气体浓度呈上升趋势则认为层次1下的烟羽跟 踪结束，跟踪结果为第一分区；若在L距离内未检测到气体浓度呈上升趋势则按照分区编 号由小到大的顺序依次选取其它分区的特征点为目标进行视觉特征描述，依据视觉特征引 导机器人趋近目标并在趋近目标的过程中实时获取气体传感信息进行气体浓度计算，当在 某分区检测到气体浓度呈上升趋势时，则认为层次1下的烟羽跟踪结束，设此时目标所在 分区的编号为i，则层次1下的烟羽跟踪结果为分区i ;
[0011] 步骤三、层次2划分：设层次1下的烟羽跟踪结果为分区i，且分区i不符合烟羽 跟踪的结束条件，则按照视觉尺度从大到小的顺序分别提取分区i所对应图像的特征点并 记录该尺度下特征点的个数，当在某尺度时提取的特征点个数在2-10之内时，依据提取的 特征点将分区i划分为多个子分区，其中一个特征点代表一个子分区，各子分区边界以图 像中心为起点经相邻两特征点连线的中点指向图像边缘；当两特征点与图像中心的夹角小 于分区i所占夹角的〇. 1倍时，该两个特征点所代表的两个子分区合并为一个子分区；对各 子分区进行编号得到层次2下的区域划分；
[0012] 步骤四、层次2下的烟羽跟踪：选取层次2下的第一个分区的特征点为目标并对其 进行视觉特征描述，依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气 体传感信息进行气体浓度计算；若在L距离内检测到气体浓度呈上升趋势则认为层次2下 的烟羽跟踪结束，跟踪结果为分区il ;若在L距离内未检测到气体浓度呈上升趋势则按照 分区编号由小到大的顺序依次选取层次2下其它分区的特征点为目标进行视觉特征描述， 依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传感信息进行气 体浓度计算，当在某分区检测到气体浓度呈上升趋势时认为层次2下的烟羽跟踪结束，设 此时目标所在分区的编号为ij，则层次2下的烟羽跟踪结果为分区ij ;
[0013] 步骤五、层次3划分：设层次2下的烟羽跟踪结果为分区ij，且分区ij不符合烟 羽跟踪的结束条件，则按照视觉尺度从大到小的顺序分别提取分区ij所对应图像的特征 点并记录该尺度下特征点的个数，当在某尺度时提取的特征点个数在2-10之内时，依据提 取的特征点将分区ij划分为多个子分区，其中一个特征点代表一个子分区，各子分区边界 以图像中心为起点经相邻两特征点连线的中点指向图像边缘；但是当两特征点与图像中心 的夹角小于分区ij所占夹角的〇. 1倍时，两个特征点所代表的两个子分区合并为一个子分 区；对各子分区进行编号得到层次3下的区域划分；
[0014] 步骤六、层次3下的烟羽跟踪：选取层次3下的第一个分区的特征点为目标并对其 进行视觉特征描述，依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气 体传感信息进行气体浓度计算；若在L距离内检测到气体浓度呈上升趋势则认为层次3下 的烟羽跟踪结束，跟踪结果为分区ijl ;若在L距离内未检测到气体浓度呈上升趋势则按照 分区编号由小到大的顺序依次选取层次3下其它分区的特征点为目标进行视觉特征描述， 依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传感信息进行气 体浓度计算，当在某分区检测到气体浓度呈上升趋势时认为层次3下的烟羽跟踪结束，设 此时目标所在分区的编号为ijk，则层次3下的烟羽跟踪结果为分区ijk ;
[0015] 步骤七、以此类推，按照步骤三至六继续分层细化烟羽跟踪分区及逐渐靠近泄漏 源，直至烟羽跟踪结束。
[0016] 与现有技术相比，本发明的有益效果是：
[0017] 1、跟踪效率高：分层渐进烟羽跟踪方法遵循循序渐进的原则有针对性的提取环境 不同尺度的视觉信息，可以减少视觉信息提取与处理的工作量；此外，由粗到细的分层渐进 烟羽跟踪，可以避免跟踪的盲目性，提高烟羽跟踪的实时性和可靠性。
[0018] 2、可用于复杂环境及泄漏源视觉信息未知环境：深度融合嗅觉传感信息与视觉传 感信息进行环境由粗到细的分层感知，符合生物对未知环境的感知规律，不需要泄漏源的 视觉先验信息，并且可以实现复杂环境下的烟羽跟踪。
【专利附图】
【附图说明】
[0019] 图1-1为分层渐进烟羽跟踪示意图；
[0020] 图1-2为图1-1所示分层渐进烟羽跟踪的局部放大示意图；
[0021] 图2为本发明基于信息融合的分层渐进烟羽跟踪方法流程图。
【具体实施方式】
[0022] 下面结合【具体实施方式】对本发明作进一步详细地描述。
[0023] 本实施例涉及到的场景图像通过全景鱼眼镜头获得，本发明中依据环境的视觉尺 度特征进行区域划分，其实质是：在不同的层次下，检测不同尺度的物体，并将该尺度的物 体视为一个区域，其中，初始层次时的物体尺度最大，随着层次的增加，物体尺度减小。如图 1-1所示，其中，浅灰色椭圆表示层次1下的视觉信息（尺度较大），较深色椭圆表示层次2 下的视觉信息（尺度较小），黑色椭圆、三角及矩形表示层次3下的视觉信息（尺度更小）。 依据层次1下的视觉尺度特征将跟踪环境划分为6各区域，分界线为粗实线；依据层次2下 的视觉尺度特征将层次1下的分区3细分为4个子区域，分界线为细实线；如图1-2所示， 依据层次3下的视觉尺度特征将层次2下的分区32、33各细分为3个子区域，分界线为虚 线，黑色带箭头实线表示跟踪区域顺序。
[0024] 如图1-1及图2所示，利用本发明基于信息融合的分层渐进烟羽跟踪方法实现烟 羽跟踪的步骤是：
[0025] 第一层烟羽跟踪：
[0026] 1、按照视觉尺度从大到小的顺序分别提取环境图像的特征点并记录该尺度下特 征点的个数，当用图1-1中各浅灰色椭圆所代表的尺度提取特征点时，得到的特征点个数 为6,依据这6个特征点将层次1划分为6个分区，其中一个特征点代表一个分区，各分区边 界以环境图像中心为起点经相邻两特征点连线的中点指向图像边缘；由于不存在两相邻特 征点与图像中心的夹角小于30°的情况，因此不需要分区合并；最终依据视觉尺度特征将 场景划分为编号为1、2、3、4、5、6的6个区域；
[0027] 2、选取分区1的特征点为目标并对其进行视觉特征描述，依据视觉信息引导机器 人（该机器人可以选用轮式机器人或履带机器人等）趋近目标并在趋近目标的过程中实时 采集气体传感信息进行气体浓度计算，测得在导航距离L内气体浓度未呈上升趋势，因此 放弃该分区，机器人转向分区2进行检测；
[0028] 3、选取分区2的特征点为目标并对其进行视觉特征描述，依据视觉信息引导机器 人趋近目标并在趋近目标的过程中实时采集气体传感信息进行气体浓度计算，测得在分区 2中气体浓度未呈上升趋势，因此放弃该分区，机器人转向分区3进行检测；
[0029] 4、选取分区3的特征点为目标并对其进行视觉特征描述，依据视觉信息引导机器 人趋近目标并在趋近目标的过程中实时采集气体传感信息进行气体浓度计算，测得在分区 3中气体浓度呈上升趋势，因此认为泄漏源在该分区中，层次1下的烟羽跟踪结束，跟踪结 果为分区3 ;分区3不符合烟羽跟踪的结束条件（目标的尺度大于尺度阈值且机器人与目 标的距离大于距离阈值），进行下一层烟羽跟踪；
[0030] 第二层烟羽跟踪：
[0031] 1、按照视觉尺度从大到小的顺序分别提取分区3所对应图像的特征点并记录该 尺度下特征点的个数，当用如图1-2所示分区3中各较深色椭圆所代表的尺度提取特征点 时，得到的特征点个数为4,从而将分区3划分为4个子分区，其中一个特征点代表一个子 分区，各子分区边界以图像中心为起点经相邻两特征点连线的中点指向图像边缘；由于分 区3中不存在两相邻特征点与图像中心的夹角小于分区3所占夹角的0. 1倍的情况，因此 分区3的子分区不需要合并；最终将分区3细分为编号为31、32、33、34的4个子分区；
[0032] 2、选取子分区31的特征点为目标并对其进行视觉特征描述，依据视觉信息引导 机器人趋近目标并在趋近目标的过程中实时采集气体传感信息进行气体浓度计算，测得在 导航距离L内气体浓度未呈上升趋势，因此放弃该分区，机器人转向子分区32进行检测；
[0033] 3、选取子分区32的特征点为目标并对其进行视觉特征描述，依据视觉信息引导 机器人趋近目标并在趋近目标的过程中实时采集气体传感信息进行气体浓度计算，测得在 子分区32中气体浓度呈上升趋势，因此认为泄漏源在该分区中，层次2下的烟羽跟踪结束， 跟踪结果为子分区32 ;子分区32不符合烟羽跟踪的结束条件（目标的尺度大于尺度阈值 且机器人与目标的距离大于距离阈值），进行下一层烟羽跟踪；
[0034] 第三层烟羽跟踪：
[0035] 1、按照视觉尺度从大到小的顺序分别提取子分区32所对应图像的特征点并记录 该尺度下特征点的个数，当用如图1-2所示子分区32中各黑色椭圆、三角及矩形所代表的 尺度提取特征点时，得到的特征点个数为3,从而将子分区32进一步划分为3个子分区，其 中一个特征点代表一个子分区，各子分区边界以图像中心为起点经相邻两特征点连线的中 点指向图像边缘；由于子分区32中不存在两相邻特征点与图像中心的夹角小于子分区32 所占夹角的〇. 1倍的情况，因此子分区32的子分区不需要合并；最终将子分区32进一步细 分为编号为321、322、323的3个子分区；
[0036] 2、选取子分区321的特征点为目标并对其进行视觉特征描述，依据视觉信息引导 机器人趋近目标并在趋近目标的过程中实时采集气体传感信息进行气体浓度计算，测得在 导航距离L内气体浓度未呈上升趋势，因此放弃该子分区，机器人转向子分区322进行检 测；
[0037] 3、同理依次选取子分区322、323进行检测，在子分区322、323中气体浓度均未呈 上升趋势；由于在子分区32的各子分区中未跟踪到烟羽，因此最终放弃子分区32,机器人 转向子分区33进行检测；
[0038] 4、按照上述1-3的过程对子分区33进行烟羽跟踪。在对子分区33烟羽跟踪过程 中，检测到子分区332中气体浓度呈上升趋势，因此认为泄漏源在子分区332中，层次3下 的烟羽跟踪结束，跟踪结果为子分区332 ;
[0039] 烟羽跟踪结束：
[0040] 由于子分区332符合烟羽跟踪的结束条件（目标尺度小于尺度阈值且气体浓度在 当前区域呈上升趋势），至此结束烟羽跟踪，其跟踪结果为子分区332。
[0041] 在上述实施例中，假设在步骤三中，在子分区33中也未跟踪到烟羽，则依次对子 分区31、34进行烟羽跟踪，直至在某分区的子分区中跟踪到烟羽。
[0042] 本发明可以应用于煤炭、石油、化工等工业生产行业及其它易发生有害气体泄漏 的场合。解决了现有烟羽跟踪方法实时性较差，并且多对环境加以一定限制的问题。当检 测到有害气体泄漏时通过分层渐进烟羽跟踪快速趋近泄漏源，从而方便提供泄漏源的相关 信息，为事故救援争取宝贵时间，避免泄漏的有害气体引起人员中毒、破坏生态环境、甚至 引发爆炸、火灾等重特大事故。
[0043] 尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方 式，上述的【具体实施方式】仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发 明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保 护之内。
【权利要求】
1. 一种基于信息融合的分层渐进烟羽跟踪方法，其特征在于，该方法包括如下步骤： 步骤一、层次1划分：按照视觉尺度从大到小的顺序分别提取环境图像的特征点并记 录该尺度下特征点的个数，当在某尺度时提取的特征点个数在3-10之内时，依据提取的特 征点将层次1划分为多个分区，其中一个特征点代表一个分区，各分区边界以图像中心为 起点经相邻两特征点连线的中点指向图像边缘；当两特征点与图像中心的夹角小于30° 时，该两个特征点所代表的两个分区合并为一个分区；对各分区进行编号得到层次1下的 区域划分； 步骤二、层次1下的烟羽跟踪：选取第一个分区的特征点为目标并对其进行视觉特征 描述，依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传感信息进 行气体浓度计算；若在L距离内检测到气体浓度呈上升趋势则认为层次1下的烟羽跟踪结 束，跟踪结果为第一分区；若在L距离内未检测到气体浓度呈上升趋势则按照分区编号由 小到大的顺序依次选取其它分区的特征点为目标进行视觉特征描述，依据视觉特征引导机 器人趋近目标并在趋近目标的过程中实时获取气体传感信息进行气体浓度计算，当在某分 区检测到气体浓度呈上升趋势时，则认为层次1下的烟羽跟踪结束，设此时目标所在分区 的编号为i，则层次1下的烟羽跟踪结果为分区i ; 步骤三、层次2划分：设层次1下的烟羽跟踪结果为分区i，且分区i不符合烟羽跟踪 的结束条件，则按照视觉尺度从大到小的顺序分别提取分区i所对应图像的特征点并记录 该尺度下特征点的个数，当在某尺度时提取的特征点个数在2-10之内时，依据提取的特征 点将分区i划分为多个子分区，其中一个特征点代表一个子分区，各子分区边界以图像中 心为起点经相邻两特征点连线的中点指向图像边缘；当两特征点与图像中心的夹角小于分 区i所占夹角的〇. 1倍时，该两个特征点所代表的两个子分区合并为一个子分区；对各子分 区进行编号得到层次2下的区域划分； 步骤四、层次2下的烟羽跟踪：选取层次2下的第一个分区的特征点为目标并对其进行 视觉特征描述，依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传 感信息进行气体浓度计算；若在L距离内检测到气体浓度呈上升趋势则认为层次2下的烟 羽跟踪结束，跟踪结果为分区il ;若在L距离内未检测到气体浓度呈上升趋势则按照分区 编号由小到大的顺序依次选取层次2下其它分区的特征点为目标进行视觉特征描述，依据 视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传感信息进行气体浓 度计算，当在某分区检测到气体浓度呈上升趋势时认为层次2下的烟羽跟踪结束，设此时 目标所在分区的编号为ij，则层次2下的烟羽跟踪结果为分区ij ; 步骤五、层次3划分：设层次2下的烟羽跟踪结果为分区ij，且分区ij不符合烟羽跟 踪的结束条件，则按照视觉尺度从大到小的顺序分别提取分区ij所对应图像的特征点并 记录该尺度下特征点的个数，当在某尺度时提取的特征点个数在2-10之内时，依据提取的 特征点将分区ij划分为多个子分区，其中一个特征点代表一个子分区，各子分区边界以图 像中心为起点经相邻两特征点连线的中点指向图像边缘；但是当两特征点与图像中心的夹 角小于分区ij所占夹角的0. 1倍时，两个特征点所代表的两个子分区合并为一个子分区； 对各子分区进行编号得到层次3下的区域划分； 步骤六、层次3下的烟羽跟踪：选取层次3下的第一个分区的特征点为目标并对其进行 视觉特征描述，依据视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传 感信息进行气体浓度计算；若在L距离内检测到气体浓度呈上升趋势则认为层次3下的烟 羽跟踪结束，跟踪结果为分区ijl ;若在L距离内未检测到气体浓度呈上升趋势则按照分区 编号由小到大的顺序依次选取层次3下其它分区的特征点为目标进行视觉特征描述，依据 视觉特征引导机器人趋近目标并在趋近目标的过程中实时获取气体传感信息进行气体浓 度计算，当在某分区检测到气体浓度呈上升趋势时认为层次3下的烟羽跟踪结束，设此时 目标所在分区的编号为ijk，则层次3下的烟羽跟踪结果为分区ijk ; 步骤七、以此类推，按照步骤三至六继续分层细化烟羽跟踪分区及逐渐靠近泄漏源，直 至烟羽跟踪结束。
2. 根据权利要求1所述基于信息融合的分层渐进烟羽跟踪方法，其特征在于，层次1中 各分区的编号方法为：在图像中设定第一分区的位置，自第一分区开始按照顺时针方向各 分区编号依次为1、2、3、4、……。
3. 根据权利要求1所述基于信息融合的分层渐进烟羽跟踪方法，其特征在于，烟羽跟 踪的结束条件为：机器人与目标的距离小于距离阈值且气体浓度在当前区域呈上升趋势， 或者目标尺度小于尺度阈值且气体浓度在当前区域呈上升趋势。
4. 根据权利要求1所述基于信息融合的分层渐进烟羽跟踪方法，其特征在于，各分区 中子分区的编号方法为：自该子分区的一边开始按照顺时针方向至该子分区的另一边为 止，各子分区编号依次为1、2、3、4、……。
5. 根据权利要求1所述基于信息融合的分层渐进烟羽跟踪方法，其特征在于，若某时 刻跟踪结果为某分区，设其编号为q，但在分区q的各子分区中未成功跟踪到烟羽时的处理 方法为：对除分区q以外的分区按照分区编号为q+1、q_l、q+2、q_2、……的顺序依次对各 分区进行子分区划分及烟羽跟踪，直至在某分区的子分区中跟踪到烟羽。
6. 根据权利要求1所述基于信息融合的分层渐进烟羽跟踪方法，其特征在于，依据环 境的视觉尺度特征进行区域划分的实质是：在不同的层次下，检测不同尺度的物体，并将该 尺度的物体视为一个区域；其中，初始层次时的物体尺度最大，随着层次的增加，物体尺度 减小。
【文档编号】G01N33/00GK104142383SQ201410378662
【公开日】2014年11月12日 申请日期:2014年7月31日 优先权日:2014年7月31日
【发明者】刘铁根, 贾云伟, 刘琨 申请人:天津大学