一种多传感融合的障碍物检测方法与流程

本发明涉及矿井用传感检测，具体涉及一种多传感融合的障碍物检测方法。

背景技术：

1、多传感融合障碍物检测主要应用在井下无轨胶轮车运输环境，多传感器融合主要应用在井下复杂、黑暗巷道环境下的无轨胶轮车在运输过程中实现侦测识别人、车、行驶路径的物体等障碍物的预警作用。常规技术使用普通摄像仪，较为先进的使用热成像摄像仪作为对目标物进行探测，以减少矿井下无轨胶轮车的触发事故的风险。

2、例如，申请号为cn201911101619.0公开了一种多源传感器数据融合系统和方法，通过对毫米波雷达和摄像头输出的第一障碍物信息和第二障碍物信息进行融合，得到中间融合结果，上述中间融合结果，被激光雷达用于检测障碍物，得到第三障碍物信息，再将第三障碍物信息与中间融合结果进行融合，得到最终融合信息，使得独立的各传感器数据整合起来,在自动驾驶决策时使用最终融合效果好的信息，但是不适应于昏暗多变环境的矿井使用，且对障碍物特征信息识别不精确的缺陷。

3、现有技术存在以下不足：然而，由于矿井下环境随着时间和环境变化的因素，目前的探测器缺乏手段，难以精准判断探测目标对象，存在误报率高、探测距离误差大的探测问题；并且探测器检测数据输入到系统进行分析、决策、预判及联动效果时，但是由于智能分析系统绝大多数部署在数据中心，不仅考验端到端的网络传输及承载的压力，而且网络稍有延迟，都可能会造成安全隐患和经济损失；以及井工矿的无轨胶轮车运输环境处于动态式变化，往往探测器从探测到响应的时间无法满足预警作用。

4、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供一种多传感融合的障碍物检测方法，本发明通过集成毫米波雷达探测器、红外热成像摄像仪和可见光高清摄像仪使用，将多传感检测数据进行融合计算，并且利用边缘算法对目标物体进行实时追踪处理，通过双重联动声光报警器和显示屏提供警示响应，以及对进阶深度学习模型的训练更新优化，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种多传感融合的障碍物检测方法，包括步骤如下：

3、s1、矿用多传感融合配置：将毫米波雷达探测器、红外热成像摄像仪、可见光可见光高清摄像仪分别通过can、dvp和mipi接口连接至边缘计算处理板上，数据通过融合分析后通过以太网输出，组成多传感融合的障碍物检测装置，并集成安装在一个符合gb3836标准的矿用本安型机箱里；

4、s2、数据采集：同时获取毫米波雷达探测器探测的距离、速度、方向的参数，即毫米波信息；红外热成像摄像仪提取红外热像图内识别目标障碍物的热量分布信息，即目标物热量分布信息；可见光高清摄像仪提取目标区域内的图像和视频信息，并确定目标障碍物的实体，即视觉特征信息；

5、s3、数据预处理：对采集到的毫米波信息、目标物热量分布信息和视觉特征信息进行去噪、数据校正、目标物的特征信息提取；

6、s4、数据融合：采用决策级融合算法，将预处理后的数据进行融合处理生成融合数据，并将融合数据传输至边缘计算处理板中；

7、s5、边缘计算：边缘计算处理板采用边缘算法对融合数据进行计算和分析，边缘算法包括目标跟踪算法、运动方向检测算法、运动轨迹预测算法；

8、s6、决策和响应：根据危险系数对目标障碍物的威胁性进行评估和决策判断，并采取联动声光报警器和显示屏提供警示信息的双重警示进行响应；

9、s7、安全预警综合评价：采用漏报率fnr、误报率fpr、准确率ac的安全预警综合评价指标来评价融合信息的精确度，并采用进阶深度学习模型进行分析，以不断改进多传感融合的障碍物检测装置性能。

10、优选地，所述毫米波雷达探测器是通过天线发射一束高频的毫米波信号被周围的目标物体所反射成回波，通过测量发射信号与回波信号之间的时间差，计算出目标与探测器之间的距离，分析回波信号的频移，计算出目标对于探测器的相对速度，以及根据接收到的信号强度和相位差异，在水平和垂直方向上计算目标的相对方向，即经过测量和计算得到的距离、速度、方向参数，生成毫米波信息，并标定为mwi；

11、红外热成像摄像仪是通过红外热成像摄像仪内部的红外感应器接收目标物体发出的红外辐射转换成电信号，经过信号放大、滤波处理和模数转换器将模拟信号转换成数字形式进行温度计算，再根据温度计算得到的数据，将不同温度的区域进行彩色编码构建出目标物体的热量分布图像，生成目标物热量分布信息，并标定为hdi；

12、可见光高清摄像仪是通过光学镜头对目标物体进行光学成像，经过图像传感器进行光电转换生成相应的电信号，再进行放大、滤波、去噪、白平衡、对比度调整和色彩校正处理后，形成离散的数字数据，即离散的像素值，再通过图像处理算法和计算机视觉技术来提取视觉特征信息，并标定为vfi。

13、优选地，所述目标物的特征信息提取的逻辑步骤如下：

14、对于毫米波数据mwi，提取反射率、多普勒频移、强度特征，分别标定为pr、δf和p0，即mwi＝{pr、δf、p0}；

15、其中，反射率pr计算公式pr＝(p_r/p_t)×g_t×g_r/(4π×r2)，式中，p_r表示为毫米波雷达的接收功率，p_t表示为毫米波雷达的发射功率，g_t表示为发射天线增益，g_r表示为接收天线增益，r表示为雷达到目标的距离；

16、当目标物体相对于雷达传感器移动时，根据多普勒效应，返回的信号频率会有所变化，则多普勒频移δf计算公式δf＝-2×v×f_c/c，式中，δf表示为多普勒频移，v表示为目标物体相对于雷达的速度，f_c表示为传输信号的载频，即雷达的工作频率，c表示为光速；

17、由毫米波雷达接收到的信号振幅能够衡量毫米波雷达回波信号的强度，则强度p0计算公式p0＝|p_r|2，式中，p_r表示接收到的信号复振幅。

18、目标物热量分布信息hdi，提取温度分布模式、温差极值、热区域轮廓特征，分别标定为tdp、etd和hzc，即hdi＝{tdp、etd、hzc}；

19、其中，温度分布模式tdp采用k-means聚类算法迭代计算，输入矿车采集到的热图数据，并获取各个像素点的温度值，将原始的温度分布数据聚类成k个温度分布模式，即将每个像素点的温度作为数据进行聚类计算，其中，计算像素点i与聚类中心k的距离d(i,k)，即计算公式为d(i,k)＝||t(i)-c(k)||2，式中，t(i)表示为像素点i的温度值，c(k)表示为第k个聚类中心的温度值，|| ||表示为欧氏距离；

20、对于第k个聚类中心的更新计算公式为式中，c′(k)表示为更新后的k个聚类中心，s(k)表示为第k个聚类的像素点集合，|s(k)|表示为s(k)的大小，∑(t(i))表示为s(k)中的像素点i温度的总和；

21、当检测到目标物体热量分布中最高温度与最低温度之间的差值，则获取温差极值etd，则计算公式为etd＝tmax-tmin，式中，tmax、tmin分别表示为热图数据中的温度数值的最大值和最小值；

22、由红外热成像摄像仪描述目标物体热量分布中热区域与周围环境的边界特征，采用canny边缘检测算法提取热区域轮廓特征hzc，其中，分别计算热图数据中的梯度强度和方向，即式中，g(i,j)表示为热图像素点(i,j)处的梯度强度，gx(i,j)、gy(i,j)分别表示为像素点(i,j)处的水平和垂直梯度；式中，θ(i,j)表示为像素点(i,j)处的梯度方向；

23、应用非极大值抑制计算公式nms(i,j)＝g(i,j),且ifg(i,j)≥gmax(i,j)，式中，nms(i,j)表示为像素点(i,j)处的非极大值抑制结果，gmax(i,j)表示为像素点(i,j)周围8个领域像素的最大梯度强度；

24、双阈值检测需要预先设定高低阈值gh、gl，当g(i,j)≥gh时，则判断为强边缘，当gl≤g(i,j)≤gh时，则判断为弱边缘，当g(i,j)≤gl时，则判断为非边缘。

25、视觉特征信息vfi，提取边缘、角点、轮廓、纹理、颜色分布特征，分别标定为em、cm、ce、ta和db，即vfi＝{em、cm、ce、ta、db}；

26、其中，边缘特征em是采用canny边缘检测算法，以计算每个像素点处的边缘强度值e(i,j)，即边缘强度值计算公式为e(i,j)＝g′(i,j)×m(i,j)，式中，e(i,j)表示为像素点(i,j)处的边缘强度值，g′(i,j)表示为由canny边缘检测算法计算出图像中像素点(i,j)处的梯度强度，m(i,j)表示为canny边缘检测算法的掩模；

27、角点特征cm是采用harris角点检测算法，以计算每个像素点处的角点响应值r(i,j)，即角点响应值计算公式为r(i,j)＝det(a)-ω0×trace(a)2，式中，r(i,j)表示为像素点(i,j)处的角点响应值，a表示为像素点(i,j)处的结构矩阵，det(a)、trace(a)分别表示为结构矩阵a的行列式和迹，ω0表示为一个常数；

28、轮廓特征ce是描述图像中目标物体的外形轮廓，也采用canny边缘检测算法获得边缘图像并进行二值化处理，再对进行二值化边缘图像进行连通区域分析，将相邻的边缘点组成连续的轮廓，以及将得到的连通区域中的边缘点坐标提取出来，表示物体的轮廓特征即可。

29、纹理特征ta是描述图像中目标物体区域内的纹理结构，采用局部二值模式lbp算法对每个像素点周围邻域8个像素与中心像素的灰度值进行比较得出二进制数的lbp值，以计算获得每个像素点处的纹理特征ta；

30、颜色分布特征db是描述图像中目标物体的不同颜色的分布情况，先将高清图像转换为对应的颜色空间，采用rgb将颜色空间划分为256个离散的区域，并统计图像中每个区域的像素数量或者像素占比，得到颜色分布直方图，再采用归一化处理以描述颜色分布特征。

31、优选地，所述决策级融合算法的步骤如下：

32、将毫米波信息mwi＝{pr、δf、p0}、目标物热量分布信息hdi＝{tdp、etd、hzc}和视觉特征信息vfi＝{em、cm、ce、ta、db}提取得到的特征信息，分别转化为具有判别能力的特征向量，即反射率pr转换为gpr、多普勒频移δf转换为gδf、强度p0转换为温度分布模式tdp转换为gtdp、温差极值etd转换为getd、热区域轮廓hzc转换为ghzc、边缘em转换为gem、角点cm转换为gcm、轮廓ce转换为gce、纹理ta转换为gta、颜色分布db转换为gdb；

33、根据每种特征对最终融合结果的贡献程度，计算每种特征的权重，分别与反射率pr、多普勒频移δf、强度p0、温度分布模式tdp、温差极值etd、热区域轮廓hzc、边缘em、角点cm、轮廓ce、纹理ta和颜色分布db对应的权重值，分别标定为wpr、wδf、wtdp、wetd、whzc、wem、wcm、wce、wta、wdb；

34、对每个特征向量进行归一化处理，分别将每个特征向量范围映射到相同的区间，即归一化计算公式式中，n表示为特征向量的个数，g′n表示为每个特征向量归一化计算的结果，即对于反射率归一化计算为式中，g′pr表示为反射率特征向量gpr的归一化计算结果；

35、将归一化后的特征向量按照对应的权重进行加权求和，得到最终的融合结果向量，即计算公式为式中，n表示为特征向量与之对应权重的个数，f(b)表示为最终输出的融合结果向量；

36、根据目标物体检测的需求，设置一个决策阈值f′(b)，并将融合结果转化为最终的决策结果，当f(b)＞f′(b)时，则决策判断为目标物存在，当f(b)≤f′(b)时，则决策判断为目标物不存在。

37、优选地，所述目标跟踪算法对融合数据处理的步骤如下：

38、在目标跟踪算法中使用卡尔曼滤波计算目标物体，通过对融合数据递归地更新目标的状态估计和协方差而跟踪目标，即从毫米波信息、目标物热量分布信息和视觉特征信息进行融合数据处理后，确定目标物体的初始状态和协方差矩阵，分别标定为pv0和q(b)；

39、基于上一个时间步t0的状态估计，通过运动模型预测下一个时间步t1的状态pv1和协方差q′(b)；

40、状态预测公式为式中，pv1(t1)表示为下一个时间步t1的预测状态估计，pv0(t0)表示为上一个时间步t0的状态估计，表示为融合结果向量f(b)的状态转移矩阵，b(mwi、hdi、vfi)表示为控制输入矩阵，(mwi、hdi、vfi)表示为控制输入；

41、协方差预测公式为式中，q′(b)表示为下一个时间步t1的预测协方差矩阵，q(b)表示为上一个时间步t0的预测协方差矩阵，表示为融合结果向量f(b)的状态转移矩阵，t表示为矩阵的转置，q(f(b))表示为状态转移矩阵在状态转移过程的协方差矩阵；

42、通过当前时间步t1的目标测量值，利用测量更新公式计算更新状态估计和协方差；

43、计算残差公式为y(t1)＝z(mwi、hdi、vfi)-h(f(b))×pv1(t1)，式中，y(t1)表示为时间步t1的残差值，z(mwi、hdi、vfi)表示为目标物的测量值，h(f(b))表示为融合结果向量f(b)的观测矩阵；

44、计算卡尔曼增益公式为k(t1)＝q′(b)×h(f(b))t×(h(f(b))×q′(b)×h(f(b))t+r(f(b)))(-1)，式中，k(t1)表示为时间步t1的卡尔曼增益值，r(f(b))表示为融合结果向量f(b)在观测过程的协方差矩阵；

45、更新状态估计计算公式为p′v1(t1)＝pv1(t1)+k(t1)×y(t1)，式中，p′v1(t1)表示为更新状态估计值；

46、更新协方差估计计算公式为q″(b)＝(1-k(t1)×h(f(b)))×q′(b)，式中，q″(b)表示为更新协方差估计值。

47、优选地，所述运动方向检测算法对融合数据处理的步骤如下：

48、运动方向检测算法是在毫米波雷达探测器、红外热成像摄像仪和可见光高清摄像仪的融合环境感知时，对目标物运动方向进行分析并确定运动物体的移动轨迹趋势，运动方向检测采用光流法对所提取目标物体的特征运动，包括目标物图像的像素点(i,j)所在的位置(xi,yj)和时刻(ti,j)的像素强度，标定为(xi,yj,ti,j)；

49、即光流约束方程为xi×u+yj×v+ti,j＝0，式中，(xi,yj)表示为图像的像素点(i,j)在x和y方向的空间梯度，(ti,j)表示为图像的像素点(i,j)的时间梯度，(u,v)分别表示为图像的像素点(i,j)在x和y方向上的速度分量，再根据x和y方向上的速度分量(u,v)计算图像目标物的运动方向角θ，则计算公式为

50、优选地，所述运动轨迹预测算法对融合数据处理的步骤如下：

51、运动轨迹预测算法是利用目标物体移动的历史和当前运动状态数据对运动目标物体未来位置的估计计算，通过建立轨迹预测模型，经过模型训练获得预测轨迹；

52、轨迹预测模型是与目标跟踪算法中使用卡尔曼滤波方法相同，由于初始状态pv0包括目标物体所在的位置和速度，分别将位置和速度标定为(x0、y0)、v0，在时间点t0′的状态向量为pv0′＝[x0(t0′)、y0(t0′)、dx0(t0′)、dy0(t0′)]t，且dx0(t0′)＝v0，式中，pv0′表示为状态向量，x0(t0′)、y0(t0′)表示为时间点t0′时的位置，dx0(t0′)表示为速度，dy0(t0′)t表示为加速度,t表示为矩阵的转置；

53、状态转移方程为式中，pv1′表示为状态向量pv0′的转移向量，μ(t0′)表示为在时间点t0′的控制输入矩阵b(mwi、hdi、vfi)的异常系数，且μ(t0′)∝0，n(t0′)表示为高斯分布；

54、观测方程为h′(f(b))＝h(f(b))×pv0′+n(t0′)，式中，h′(f(b))表示为观测矩阵h(f(b))在时间点t0′观测到的位置。

55、优选地，所述危险系数的获取逻辑步骤如下：

56、通过建立风险评估模型，统计边缘算法中的目标跟踪参量、运动方向检测参量、运动轨迹预测参量，包括更新状态估计值p′v1(t1)、更新协方差估计值q″(b)、运动方向角θ、状态转移向量pv1′和观测位置h′(f(b))，并评估当前状态的风险等级，则根据每种参量在风险评估模型中计算的各自危险指数、标定为hi，即目标跟踪参量的更新状态估计值p′v1(t1)和更新协方差估计值q″(b)的危险指数计算公式为式中，hi1表示为目标跟踪参量的危险指数，p′v1(t1+1)表示为时间步t1+1的状态估计值；

57、即运动方向检测参量的运动方向角θ的危险指数计算公式为式中，hi2表示为运动方向检测参量的危险指数，u、v分别表示为x和y方向上的速度分量；

58、即运动轨迹预测参量的状态转移向量pv1′和观测位置h′(f(b))的危险指数计算公式为hi3＝∫g(h′(f(b)))×h(p′v1)dp′v1，且g(h′(f(b)))＝∫p(h′(f(b))t′0,p′v1)dh′(f(b))，h(p′v1)＝∫p(p′v1|t′0,p′v1)dp′v1，式中，hi3表示为运动轨迹预测参量的危险指数，g(h′(f(b)))表示为观测位置h′(f(b))的概率密度函数，h(p′v1)表示为状态转移向量pv1′的概率密度函数，p(h′(f(b))t′0,p′v1)表示为在t0′时间间隔的观测位置变化概率值，p(p′v1|t′0,p′v1)表示为在t0′时间间隔的状态变化概率值；

59、并利用平均加权求和获取危险系数、标定为rc，则各个危险指数hi1、hi2、hi3分别对应的权重值利用平均加权求和获取危险系数，标定为rc，即

60、根据计算出的危险系数rc采取决策阈值策略，设定预警阈值为(tsmin,tsmax)，当rc＜tsmin时，判断为安全检测无障碍、通行顺畅；当tsmin≤rc≤tsmax时，判断出现障碍物、触发报警、启动应急程序并调整操作参数；当rc＞tsmax时，则障碍物存在并导致风险发生，造成人员安全威胁或经济损失。

61、优选地，所述安全预警综合评价指标的评价步骤如下：

62、通过边缘计算处理板对采集的融合数据信号进行特征提取后，根据目标物体生成的危险系数进行警示响应；

63、建立融合信息分析的进阶深度学习模型，将收集历史数据和实时数据，通过危险系数计算判断安全事件发生和故障事件发生的样本数据集，按比例分割数据集为训练集和测试集，以对进阶深度学习模型进行反复训练；

64、将训练好的进阶深度学习模型用于测试集，计算得到预测结果；

65、再计算漏报率fnr、误报率fpr和准确率ac的性能指标对进阶深度学习模型进行量化评估。

66、优选地，所述进阶深度学习模型的分析步骤如下：

67、进阶深度学习模型采用递归神经网络rnn算法处理毫米波信息、目标物热量分布信息和视觉特征信息的时序数据，则通过对毫米波信息、目标物热量分布信息和视觉特征信息的特征提取，并进行特征的融合计算，获得融合数据；

68、设计递归神经网络rnn结构，根据rnn的公式计算且式中，ht1表示为当前时间步t1的隐藏状态，ht0表示为上一个时间步t0的隐藏状态，表示为当前时间步t1的输入特征，表示为权重矩阵，f表示为激活函数，b0表示为第一偏置项，ot1表示为当前时间步t1的输出，表示为rnn模型参数，c0表示为第二偏置项；

69、使用实时数据集来训练rnn模型，并通过反向传播算法优化rnn模型的权重；

70、在验证集上使用fnr、fpr和准确率ac的指标评估rnn模型的性能，确保rnn模型的泛化能力；

71、根据评估结果，使用超参数调优技术，调整模型结构或优化参数，并且通过在线学习机制，持续从采集新的数据中学习并逐步更新rnn模型参数，用于提高rnn模型的鲁棒性和准确率；

72、建立一个结合用户反馈、性能监控和最新研究成果的迭代更新机制，确保障碍物检测在各种操作条件下都能提供准确和可靠的输出。

73、在上述技术方案中，本发明提供的技术效果和优点：

74、本发明通过使用毫米波雷达探测器、红外热成像摄像仪和可见光高清摄像仪集成设备，实现了适应于复杂环境的巷道里，依然能够能够探测目标物体的相关信息，并且通过对多传感器采集数据进行融合处理功能，有效的提供高检测目标物体的精确度，以及通过融合信息生成危险系数给无轨胶轮车上驾驶员形成警惕作用，提高作业安全性和减少经济损失性；

75、本发明在集成毫米波雷达、热成像镜头及可见光高清摄像仪的多个探测技术融合一体，通过总线连接至边缘计算板，实现边缘探测、边缘计算、边缘决策、边缘响应的实时探测决策机制，从探测、分析、判断、决策全过程都在多传感探测器里，所有联动交互都围绕无轨胶轮车这个载具上部署，不必依赖高带宽、低延迟的高成本网络要求，提高了预警响应效率和效果。