多感官主动巡检机器人装置及其控制方法与流程

本发明属于特种机器人技术领域，特别涉及一种主要基于光纤传感的多感官主动巡检机器人装置及其控制方法。

背景技术：

目前，变电站、化工厂等高危环境的巡检工作主要由基于触、摸、闻、听的人工检测方式实现，复杂的环境条件给人身安全带来巨大威胁。采用巡检机器人可以降低人工劳动强度，减少工人危险环境暴露并提升工作效率，然而现有的巡检机器人只能在常规环境下使用，其电子传感部件无法在高压、极端温度或高电磁干扰下使用，且存在质量重，响应慢和精度低的问题。

光纤传感具有质量轻、灵敏度高、响应快、耐极端耐腐蚀、抗电磁干扰等特点。

技术实现要素：

本发明旨在提出一种多感官主动巡检机器人装置及其控制方法，利用光纤传感技术对声音、压力、应变、振动、温度等信号进行检测，运用机器视觉识别并跟踪环境中可疑物，并运用便携式光谱仪检测危险物化学成分，在发现可疑信号后，调动前述多感官传感系统对信号源进行全方位多维度分析探测，实现在极端环境极端工况下，代替人工完成复杂巡检工作，提高巡检水平，解放巡检危险。

本发明的一种多感官主动巡检机器人装置，该装置包括平台界面、设置于平台底层的运动及控制模块1以及设置于平台上层的视觉模块2、光纤嗅觉模块3、光纤听觉模块4、光纤触觉模块5和光纤味觉模块6，其中：光纤嗅觉模块3与光纤听觉模块4均为传感器阵列，光纤听觉模块4包括f-p声振动传感器组成的阵列，光纤嗅觉模块3为由激光散射pm2.5传感器31与指定气体激光内腔反馈光纤传感器32组成的双通道测试模块，均安放在不共线的位置，构建三维坐标系。

所述光纤听觉模块4选用基于双可协调激光器的光纤f-p声振动传感解调系统进行声音信号采集，其结构包括dfb双光束光源41、波分复用器42、3db耦合器43、包括3个或3个以上分别安放于机器人非共面的位置的f-p声振动传感器的f-p声振动传感器阵列44、光电探测器45、、数据采集卡46与控制板12；两个具有不同波长的dfb激光器41输出的激光通过波分复用器42合束到单根光纤中，经3db耦合器43入射到光纤f-p声振动传感器阵列44产生干涉，近似成双光束干涉；通过温控驱动调节光源波长，使两个波长产生的两路干涉信号正交；通过波分复用器42分离出两个波长下的光信号，并经光电探测器45转换为电信号，由数据采集卡46对两路干涉信号进行采集并传输到12控制板中进行相位计算。

所述光纤嗅觉模块3中的指定气体激光内腔反馈光纤传感器32包括宽带光源321，滤光片322，探测气室323、参考气室324与探测器325，将宽带光源321发出的光分为两路，经过两个不同波长的滤波片322进行滤光，从而得到波长邻近的λ1和λ2两个波长的光，这里λ1的光作为检测信号，通过检测气室323后由探测器325检测其光强i1；波长λ2的光作为参考信号，通过参考气室324后用探测器325测量其光强i2。

不共线设置的所述多感官主动巡检机器人传感模块构成建立判定信号源方位的三维坐标系。

本发明的一种多感官主动巡检机器人控制方法，该方法具体包括如下步骤：

接收到一种或多种传感器发出的预警信号，步骤一；发送预报警信号，步骤二；根据收集到的信号预报警信号个数判断是否可以确认信号源可能方向；若是，则驱动机器人向信号源可能方向移动，步骤三；在移动过程中，获取新的传感器信号，步骤四；判断是否到达信号源位置，步骤五；若是，则作为预警情况向上位机发送全部传感器数据，步骤六；判断预警信号是否消失，步骤七；若是，则沿z字形移动机器人，步骤八；在移动过程中，获取新的传感器信号，步骤九；再次判断预警信号是否消失，步骤十；若是，则本次预警信号处理过程完毕，结束报警，步骤十一；若根据收集到的信号个数判断不可以确认信号源方向，则判断预警信号是否消失，步骤十二；若未消失，则沿z字形移动机器人，步骤十三；在移动过程中，获取新的传感器信号，步骤十十四，并根据收集到的信号个数判断是否可以确认信号源可能方向，步骤十五。

所述步骤一的接收到一种或多种传感器发出的预警信号，还具体包括以下处理：

将机器人放置于巡检场景；

在正常巡检场景下至少3个位置进行至少3次进行全部传感器的信号采集，标定正常信号；

在正常巡检场景下另取至少3个位置进行至少3次全部传感器的信号采集，标定正常信号变化阈值，设立警戒值；

对特殊预警信号进行采集，对采集到的特殊预警信号建立云端数据库；

一种或多种传感器接收到的信号超出所设立的警戒值，

其中所述预警信号包括以下一个或多个信号：

视觉预警信号包括出现异常物体或出现物体的异常移动；

嗅觉预警信号包括传感器信号数值超过预警值或出现特定异常气体；

听觉预警信号包括频谱或波谱出现异常波形或异常数值；

触觉预警信号包括温度、压力、应变、振动信号的异常数值、味觉预警信号指检测到异常物质。。

所述步骤二的发送预报警信号，还具体包括以下步骤：

通过无线传输向上位机发送预报警信息，提示出现传感器预警信号；

控制机器人进入预警模式，控制扬声器播放语音警告。

所述步骤五的判断是否确认信号源可能方向移动，还具体包括以下步骤：

激光雷达建立所在区域的二维地图，在此基础上建立三维空间坐标系；

依次按优先级进行信号源位置确认，当优先级高的信号已完成方向确认后，优先级低的信号作辅助信号源位置确认；

若预警信号包括视觉预警信号，则视觉信号优先级为1级，视觉信号移动轨迹方向结合视觉激光雷达对移动物体位置标定，即可判定的信号源可能方向；

若预警信号不包括视觉预警信号，至少3个同类型传感器接收到预警信号时，可确认信号源方向，优先级为2级，即3个同类型传感器信号进行数值比较，在三维空间坐标系下信号数值大的方向为信号源方向；

若预警信号不包括视觉信号，至少2个同类型传感器接收到信号时，确认信号源方向，优先级为3级，即2个同类型传感器信号进行数值比较，在三维空间坐标系下确认某一平面信号数值大的方向，该方向为信号源粗略方向；特别的，对于听觉信号，以3个听觉信号为例锁定声源坐标，空间中任意设置的三个接收器，三个接收器能定位发声声源，空间处(x0,y0,z0)存在一个声源，此声源发出的声波信息被接收器所捕捉到，此时接收到声波能流密度及其模，接收器能探测到该处的能量，同时也能搜集到该处的相位信息；联立3个传感器的6个方程求解6个未知数，有特定解，确定信号源位置(x0,y0,z0)。

所述步骤十五的根据收集到的信号个数判断是否可以确认信号源可能方向，还具体包括以下步骤：

在优先级完成确认之后：

若存在优先级1视觉预警信号，则视觉预警信号在视野中保持静止或始终在视野范围内移动，视觉雷达预警信号判定异常障碍据机器人距离小于0.2～2m，则粗确认为到达信号源位置，并进行优先级2、优先级3信号验证，验证多个传感器所确定信号源位置是否为多个传感器所确定三维空间中心或二维平面中心，允许偏离0.2-2m，若满足，则确认为到达信号源位置；

若不存在优先级1视觉预警信号，进行优先级2、优先级3信号验证，验证多个传感器所确定信号源位置是否为多个传感器所确定三维空间中心或二维平面中心；

若满足，则确认为到达信号源位置；若不满足以上条件，判定为未到达信号源位置。

与现有技术相比，本发明具有如下的有益技术效果：

(1)本发明的一种多感官主动巡检机器人控制装置具有多感官立体探测、光纤传感抗极端环境、光纤传感准确度高的特点。

(2)本发明多感官主动巡检机器人控制方法具有操作科学、可替代人工、可实现主动探测的特点。

附图说明

图1是本发明的多感官主动巡检机器人控制方法实现流程图；

图2是本发明的多感官主动巡检机器人装置模块示意图；

图3是本发明的多感官主动巡检机器人光纤嗅觉模块的指定气体激光内腔反馈光纤传感器示意图；

图4是本发明多感官主动巡检机器人光纤听觉模块结构示意图；

图5是本发明多感官主动巡检机器人光纤听觉模块f-p声振动传感器结构示意图；

图6是本发明多感官主动巡检机器人轮式优选实施方案整体示意图；

图7是本发明多感官主动巡检机器人履带式优选实施方案整体示意图；

图8是听觉信号三维坐标下确认信号源方法示意图。

附图标记：

1、运动及控制模块，2、视觉模块，3、光纤嗅觉模块，4、光纤听觉模块，5、光纤触觉模块，6、光纤味觉模块，12、控制板，21、高清摄像头，22、激光雷达，31、智泽数码sds011型pm2.5传感器，32、二氧化碳激光内腔反馈光纤传感器，321、分布式反馈半导体激光器，322、滤光片，323、探测气室，324、参考气室，325、探测器，41、dfb双光束光源，42、波分复用器，43、3db耦合器，44、f-p声振动传感器阵列包括3个分别安放于机器人非共面的位置的f-p声振动传感器，光电探测器45以及数据采集卡46，控制板12。441、通孔，442、d型毛细管，443、单模光纤，444、外部套管，445、超薄膜片，446、胶合部分。

具体实施方式

下面结合附图和实施例对本发明技术方案进行详细描述。。

在下述的具体描述中，附图描述了本发明的若干实施例。还可使用其他实施例，并可以在不背离本发明的精神和范围的情况下进行机械结构、电气及流程上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。

本发明多感官主动巡检机器人控制方法由控制板12及上位机共同运行，包括以下步骤：一种或多种传感器接收到预警信号，向上位机发送预报警信号并根据收集到的信号个数判断是否可以确认信号源可能方向:若是，则驱动机器人向信号源可能方向移动；在移动过程中，获取新的传感器信号。判断是否到达信号源位置:若是，则作为预警情况向上位机发送全部传感器数据。判断预警信号是否消失：若是，则沿“z”字形移动机器人，在移动过程中，获取新的传感器信号。进行二次确认再次判断预警信号是否消失：若是，则本次预警信号处理过程完毕，结束报警。若根据收集到的信号个数判断不可以确认信号源方向，则先执行判断预警信号是否消失：若未消失，则沿“z”字形移动机器人，在移动过程中，获取新的传感器信号，并根据收集到的信号个数判断是否可以确认信号源可能方向，直至可以确认信号源可能方位或经判断预警信号已消失，流程如附图1所示。

s100一种或多种传感器接收到预警信号指视觉预警信号包括出现异常物体或出现物体的异常移动、嗅觉预警信号包括传感器信号数值超过预警值或出现特定异常气体、听觉预警信号包括频谱或波谱出现异常波形或异常数值、触觉预警信号包括温度、压力、应变、振动信号的异常数值、味觉预警信号指检测到异常物质。

s100一种或多种传感器接收到预警信号包括以下步骤：将机器人放置于巡检场景；在正常巡检场景下3个位置进行3次进行全部传感器的信号采集，标定正常信号；在正常巡检场景下另取3个位置进行3次全部传感器的信号采集，标定正常信号变化阈值，设立警戒值；对特殊预警信号进行采集，对采集到的特殊预警信号建立云端数据库；一种或多种传感器接收到的信号超出所设立的警戒值。在另一些实施例中，数量在3以上。

s200发送预报警信号包括以下步骤：通过无线传输向上位机发送预报警信息，提示出现传感器预警信号；控制机器人进入预警模式，控制18扬声器模块播放语音警告:“警告！报警模式已开启”。

s300判断是否确认信号源可能方向包括以下步骤：激光雷达建立所在区域的二维地图，在此基础上建立三维空间坐标系；依次按优先级进行信号源位置确认，当优先级高的信号已完成方向确认后，优先级低的信号作辅助信号源位置确认；若预警信号包括视觉预警信号，则视觉信号优先级为1级，视觉信号移动轨迹方向结合视觉激光雷达对移动物体位置标定，即可判定的信号源可能方向；若预警信号不包括视觉预警信号，至少3个同类型传感器接收到预警信号时，可确认信号源方向，优先级为2级，即3个同类型传感器信号进行数值比较，在三维空间坐标系下信号数值大的方向为信号源方向；若预警信号不包括视觉信号，至少2个同类型传感器接收到信号时，可粗略确认信号源方向，优先级为3级，即2个同类型传感器信号进行数值比较，在三维空间坐标系下确认某一平面信号数值大的方向，该方向为信号源粗略方向。特别的，对于听觉信号，以3个听觉信号为例锁定声源坐标。空间中任意的三个接收器，它们处于同一个平面上，接收器中心的坐标分别是(x1,y1,0)、(x2,y2,0)、(x3,y3,0)。三个接收器能定位发声声源，假设空间处(x0,y0,z0)存在一个声源，此声源发出的声波信息被接收器所捕捉到，以(x1,y1,0)处为例，此时接收到的声波能流密度及其模可用公式表达，接收器能探测到该处的能量e1可用公式计算，同时也能搜集到该处的相位信息。连立3个传感器的6个方程求解6个未知数，有特定解，可确定(x0,y0,z0)信号源位置。

s900、s1400沿“z”字形移动机器人包括以下步骤：沿“z”字形移动机器人，其中“z”字横边移动距离为1m，斜边与横边成角度60°。若移动过程中完成所述确认信号源可能方向，则停止沿“z”字形移动；若移动过程中未完成所述确认信号源可能方向，则继续沿“z”字形移动，且其中“z”字横边移动距离增加0.5m，斜边与横边成角度保持不变，以此循环；

s600判断是否到达信号源位置包括以下步骤：根据优先级完成确认：若存在优先级1视觉预警信号，则视觉预警信号在视野中保持静止或始终在视野范围内移动，视觉雷达预警信号判定异常障碍据机器人距离小于0.6m，则粗确认为到达信号源位置，并进行优先级2、优先级3信号验证，验证多个传感器所确定信号源位置是否为多个传感器所确定三维空间中心或二维平面中心，允许偏离0.3m，若满足，则确认为到达信号源位置；若不存在优先级1视觉预警信号，进行优先级2、优先级3信号验证，验证多个传感器所确定信号源位置是否为多个传感器所确定三维空间中心或二维平面中心，允许偏离1m，若满足，则确认为到达信号源位置。若不满足以上条件，判定为未到达信号源位置。

s700作为预警情况向上位机发送全部传感器数据包括以下步骤：通过无线传输向上位机发送到达信息及位置信息，并发送所搭载所有传感器数据，供上位机进行数据立体识别，判定预警情况；控制机器人开始全面探测，控制扬声器播放语音警告；上位机接收到预警后，向管理人员发送预警信号源提示，并将信号与云端数据库所储存特殊预警信号比对，若有匹配项，则显示匹配结果，并向管理人员发送预警信号优先级2级提示，若无匹配项，则向管理人员发送预警信号优先级1级提示，由管理人员进行信号确认。

s800、s1300判断预警信号是否消失包括以下情况：按优先级进行判定：优先级1级：上位机管理人员手动确认预警信号消失，则直接判定为预警信号消失，不再进行；优先级2级：所搭载全部传感器所接收到信号均已无预警信号，则判定为信号消失。

本次预警信号处理过程完毕，结束报警包括：向上位机发送结束报警信息，并停止语音提示；控制机器人进行日常随机巡检或按照预定轨迹进行日常巡检。

本发明多感官主动巡检机器人装置实现了5种感官的探测，且主要运用光纤传感技术，可抗高低温环境、高电磁干扰环境，且测量准确性高于传统电子传感器，所以具有多感官立体探测、光纤传感抗极端环境、光纤传感准确度高的特点。本发明多感官主动巡检机器人控制方法实现了预警信号的主动发现、主动追踪、主动调动多感官立体探测，并设置了优先级与重复确认环节，所以具有操作科学、可替代人工、可实现主动探测的特点。

如图2所示，本发明的多感官主动巡检机器人装置包括运动及控制模块1、视觉模块2、光纤嗅觉模块3、光纤听觉模块4、光纤触觉模块5、光纤味觉模块6，其中：运动及控制模块1主要设置于在机器人平台底层，视觉模块2设置于在机器人平台上层，光纤嗅觉模块3与光纤听觉模块4均为传感器阵列，光纤听觉模块4包括3个f-p声振动传感器组成的阵列，光纤嗅觉模块3为三套由激光散射pm2.5传感器与32指定气体激光内腔反馈光纤传感器组成的双通道测试模块，均安放在不共线的位置，可以构建三维坐标系。在另外一些实施例中，其数量可以在3个以上，但需保证至少有三套处于不共线位置。

运动及控制模块1包括控制板、以及分别与控制板相连接的轮式机器人平台、底盘驱动主控板、电机驱动模块、电源模块、减速编码器电机模块、九轴imu模块以及扬声器模块(具体实施方式是将各自独立的芯片焊接到一块电路板上，也可以是其中两个或者三个组合封装成一个芯片)，其中，所述控制板控制板选用内嵌ros系统的树莓派，还可选用树莓派3b+、interi3工程机、rk3399等。所述轮式机器人平台还可使用履带式机器人平台，以增强其越障能力及对于复杂环境的适应能力。所述底盘驱动主控板选用stm32f407zgt6主控板，还可选用arduino控制板。所述电机驱动模块选用tb6612电机驱动模块。所述电源模块选用12v、7000mah锂电池。所述减速编码器电机模块选用2个495线编码器，各器件的具体连接采用本领域公知的连接方式。

如图6和图7所示，视觉模块2包括高清摄像头21与激光雷达22。其中，所述高清摄像头选用2台可360°旋转摄像头，当异常物体出现或移动至视野边缘时，摄像头进行旋转；在视觉结果的处理上使用深度学习sift方法处理高清摄像头得到的图像，可通过程序训练的方式使其实现视觉特定物体的视觉识别与追踪。所述激光雷达选用prldara1激光雷达，在另外一些实施例中，可使用prlidara3、ydlidarg4等激光雷达实现地图障碍扫描。

光纤嗅觉模块3包括智泽数码sds011型pm2.5传感器31与二氧化碳激光内腔反馈光纤传感器32，实现双通道测量。在另外一些实施例中，所述智泽数码sds011型pm2.5传感器31可为基于激光散射pm10传感器31，所述二氧化碳激光内腔反馈光纤传感器32为一氧化碳激光内腔反馈光纤传感器。如图3所示，其中，二氧化碳激光内腔反馈光纤传感器32包括分布式反馈半导体激光器321、滤光片322、探测气室323、参考气室324以及探测器325，将分布式反馈半导体激光器321发出的光分为两路，经过两个不同波长的滤波片322进行滤光，从而得到波长邻近的λ1和λ2两个波长的光。其中，λ1在二氧化碳气体吸收峰(波数为6988cm^-1)上，而λ2对指定气体吸收很弱或者不吸收，这里λ1的光作为检测信号，通过探测气室323后由探测器检测其光强i1；波长λ2的光作为参考信号，通过参考气室324后用探测器325测量其光强i2对于i1和i2，根据朗伯吸收定律反算二氧化碳气体浓度。并通过三套不共线的多感官主动巡检机器人装置建立三维坐标系，通过比较三套系统测得数值判定信号源方位。

如图4和图5所示，光纤听觉模块4选用基于双可协调激光器的光纤f-p声振动传感解调系统进行声音信号采集，其结构包括dfb双光束光源41，波分复用器42，3db耦合器43，f-p声振动传感器阵列44包括3个分别安放于机器人非共面的位置的f-p声振动传感器，光电探测器45以及数据采集卡46，控制板12。f-p声振动传感器阵列44结构包括通孔441、d型毛细管442、单模光纤443、外部套管444、超薄膜片445与胶合部分446。使两个具有不同波长的dfb激光器41输出的激光通过波分复用器42合束到单根光纤中，经3db耦合器43入射到光纤f-p声振动传感器阵列44产生干涉，由于两个反射面的反射率均非常小，可近似成双光束干涉。通过温控驱动调节光源波长，可使两个波长产生的两路干涉信号正交。通过波分复用器32分离出两个波长下的光信号，并经光电探测器45转换为电信号，然后由数据采集卡46对两路干涉信号进行采集并传输到控制板12中进行相位计算。

光纤触觉模块5选择美国optiphase全光纤m-z干涉仪，工作波长从1064nm到1550nm，其探测器安装于轮式机器人侧面，在另外一些实施例中，根据所应用场景不同，也可安装于上表面或底盘。

光纤味觉模块6包括美国enspectr光谱仪器有限公司的raport手持拉曼光谱分析仪及检测室，其中手持拉曼光谱分析仪安装在检测室内，检测室选择石英材料，有可打开的盖板，实际使用过程中可将材料放入检测室，在另外一些实施例中，根据应用场景不同，也可安装于可旋转支架上，可调整拉曼光谱分析仪角度实现不使用检测室的直接测量。

(1)使用本发明多感官主动巡检机器人前须确保电源电量充足，信号传输畅通；

(2)使用本发明多感官主动巡检机器人时，需先将机器人放置于巡检场景；在正常巡检场景下至少3个位置进行至少3次进行全部传感器的信号采集，标定正常信号；在正常巡检场景下另取至少3个位置进行至少3次全部传感器的信号采集，标定正常信号变化阈值，设立警戒值；对特殊预警信号进行采集，对采集到的特殊预警信号建立云端数据库；

(3)使用本发明多感官主动巡检机器人时，使机器人自主进行规定路径或随机路径的巡逻，在巡检过程中若发现任意感官预警情况，即可按照所述多感官主动巡检机器人控制方法进行预警信号的处理与报警，在处理完毕后，再次使机器人自主进行规定路径或随机路径的巡逻。

应当理解为，本发明的保护范围包括但不限于以上描述，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均应落入本发明的保护范围。