技术特征：
1.一种基于图像处理的列车车底螺栓丢失检测方法，其特征在于，步骤如下：步骤1，车底原始图像的采集：利用多个线阵相机获取列车车底原始图像，同时采用两组双磁钢测速方式获取车速；步骤2，车底原始图像的畸变校正：获取的车底原始图像由于车速与相机扫描速率不相适应产生压缩或者拉伸的畸变，根据获得的车速数据利用圆弧曲线拟合技术进行车速曲线拟合，根据拟合曲线对车底原始图像通过拉伸或压缩进行畸变校正；步骤3，光照不均校正：利用二维gamma函数自适应校正算法对畸变校正后的图像进行光照不均校正，得到光照不均校正后的车底图像；步骤4，多个相机模块图像的拼接：将fast算法和surf算法相结合，对光照不均校正后的车底图像进行特征点提取和描述，然后将改进的k-d树最近邻查找算法即bbf算法与双向匹配的自适应阈值方法相结合，对不同相机采集的光照不均校正后的车底图像进行图像拼接得到车底完整图像；步骤5，螺栓丢失检测：对获取到的车底完整图像集进行数据集制作和模型训练，利用深度学习目标检测算法ssd算法对车底螺栓丢失进行检测。2.根据权利要求1所述的基于图像处理的列车车底螺栓丢失检测方法，其特征在于，步骤1具体包括以下步骤：将测量车速的两组车轮传感器配合安装夹具安装于轨侧，一组车轮传感器的数量为2个，车轮传感器距离轨面50mm，每组两个车轮传感器之间间隔250mm，第一组和第二组车轮传感器之间间隔13200mm，车轮传感器的信号线接入plc，plc接收车轮传感器采集的信号；将进行车底原始图像采集的内部集成补偿光源的多个线阵相机摆放于轨道中间，分为左、中、右三个相机分别进行列车车底图像左、中、右三个部分采集，线阵相机与上位机连接进行图像传输。3.根据权利要求1所述的基于图像处理的列车车底螺栓丢失检测方法，其特征在于，步骤2具体包括以下步骤：步骤21，利用两组双磁钢对列车车速进行测量，获取12组离散的车速数据；步骤22，针对12组离散的车速数据，利用圆弧曲线拟合技术获得列车车速曲线；步骤23，对已经拟合好的车速曲线以0.1秒为采样间隔进行采样，根据拟合曲线对车底原始图像通过拉伸或压缩进行畸变校正，具体如下：假设线阵相机第一次检测到的速度为v0，根据此速度v0得出相适应的线阵相机拍摄频率为f0，采集的车底原始图像宽度为w、高度为h，采用的相机分辨率为4k、宽度w为4096px，高度h表达式如下：其中，l为车底原始图像的物理长度，f
y
为线阵相机纵分辨率；设h
i
为线阵相机拍摄的第i幅图像的高度，其中0≤i≤n-2，h
n-1
为最后一幅图像的高度，并且采集时间不大于0.1秒，则得出如下式子：
经过畸变校正之后，h
j
校正为h
tj
：校正之后，每幅图像的高度由h校正为h
t
：4.根据权利要求1所述的基于图像处理的列车车底螺栓丢失检测方法，其特征在于，步骤3具体包括以下步骤：步骤31，提取畸变校正后的图像的亮度分量，具体如下：f(x,y)表示图像的一个二维函数，f(x,y)的值是图像中点(x,y)的亮度值，根据成像原理，图像由亮度分量和实际物体的反射分量组成，如式所示：f(x,y)＝i(x,y)
·
r(x,y)其中，i(x,y)为光照分量，r(x,y)为反射分量；设p为所需要光照不均校正的图像，i表示引导图像，q表示结果图像，存在以下变换关系：其中，k表示图像中像素点，r表示以k为中心的半径，ω
k
表示以k为圆心r为半径的窗口；a
k
、b
k
为线性变换因子；由上式可知，在任意一个窗口内，都存在如上式的梯度关系，p的边缘和i的边缘对应，为了使p和q的差距最小，窗口ω
k
中所需要使用的代价函数e(a
k
,b
k
)如下式：其中，ε是为了限制a
k
过大的参数，为了求得a
k
和b
k
的最优值，使用线性回归方法，求得：其中，|ω|为窗口中像素的个数，μ
k
为i中的均值，σ
k
为i中的方差，是窗口中p
k
的平均值；对于不同的窗口，可能会包含同一个像素点，因此a
k
和b
k
的值也会发生变换，为了求得q
i
的值，取该像素点为中心的不同窗口中a
k
、b
k
的平均值作为参数求得q
i
：步骤32，对提取出的亮度分量利用二维gamma函数自适应校正算法进行校正，具体如下：提取出光照分量，在基于二维gamma函数的亮度校正函数的基础上进行改进如下式所
示，光照系数ε取0.5，m取128对图像进行校正：其中，o(x,y)为输出图像，i(x,y)为图像的亮度，l(x,y)为图像中某点(x,y)的亮度分量，γ是gamma校正参数，ε为光照系数，m为一张图像的光照亮度的均值；步骤33，将校正后的亮度分量与输入图像融合，合成光照均匀的输出图像。5.根据权利要求1所述的基于图像处理的列车车底螺栓丢失检测方法，其特征在于，步骤4具体包括以下步骤：步骤41，对对光照不均校正后的车底图像中的每一个像素点都进行扫描，然后判别每一个像素点周围的16个像素点的灰度值大小是否大于该像素点，利用fast算法种的角点公式来进行判别：其中，n表示灰度值，c为圆周，i(x)表示c内某点的灰度值，p为圆周中心，i(p)为中心点的灰度值；ε
d
为阈值且设置为9，如果n超过ε
d
的话，那么该像素点就是角点；步骤42，采用surf算法对特征点进行描述：提取一个特征点作为圆心，半径为6σ，其中σ是所选择的特征点的尺度，然后计算出在所得圆的邻域中所有像素点的水平方向、垂直方向的harr小波响应总和，对图像haar小波响应的水平方向、垂直方向叠加得到矢量(m
w
,θ
w
)：其中，d
x
和d
y
分别为水平方向和垂直方向；m
w
取最大时，θ
w
即为特征点选取的主方向；步骤43，计算特征描述子，其中特征描述子为在以选取的特征点为中心的矩形中，矩形边长为20s，其中s为特征点的尺度值；描述特征点的向量v4如下式所示：v4＝(∑d
x
,∑|d
x
|,∑d
y
,∑|d
y
|)步骤44，提取完特征点之后对特征点之间的相似度进行判别，使用bbf算法对参照图和检测图特征点之间的距离进行计算，假设t为最近的特征点和第二最近的特征点的比值的阈值，然后进行分类统计，得到两个集合x1和x2；计算出两个集合的交集，假设y是对交集每个对应匹配点的比值，求出y中的最小值，该值即为特征匹配的阈值；步骤45，采用渐入渐出加权融合法对图像拼接，如下式所示：在式中，x1和x2都为等待拼接的输入车底图像，x为输出图像，γ为加权因子，其中，γ如下式所示：
其中，ω表示待拼接的两幅输入车底图像的重叠部分的横坐标距离，ω
d
为待拼接的两幅输入车底图像的重叠部分的像素点距离重叠部分的横坐标距离。6.根据权利要求1所述的基于图像处理的列车车底螺栓丢失检测方法，其特征在于，步骤5具体包括以下步骤：步骤51，对每张车底完整图像进行手工标注，制作属于车底完整图像自己的pascal voc数据集；步骤52，对制作好的数据集进行模型训练，利用深度学习目标检测算法ssd算法对车底螺栓丢失进行检测，具体如下：在模型训练时设置一个默认预测边框，根据默认预测边框和真实目标边框的交并比辨别样本的正负，当默认预测边框含有目标物体时属于正样本，当默认预测边框不含有目标物体时属于负样本；图像中包含的与目标无关的背景部分多于目标所占的比例，在检测过程中会使样本比例失衡，为了使样本比例处于一个平衡的状态，使正负样本为1:3，ssd算法对负样本进行排序，排序之后选取一部分符合要求的默认预测边框作为负样本，排序的依据是默认预测边框和真实目标边框的置信度差异；对于正样本来说，会发生多个默认预测边框同时出现在一个目标上，对于这种情况，ssd算法采用非极大值抑制算法进行改善；大于置信度阈值的默认预测边框认为含有目标物体，小于置信度阈值的默认预测边框认为不含有目标物体；ssd目标检测过程中，一个特征点上会有k个默认预测边框，假设目标物体一共有c个类别，每个默认预测边框都会预测目标物体属于每一个类比的得分和4个对比默认预测边框的偏移量，假设特征图大小为m
×
n，则ssd网络输出的预测值有(c+4)
×
k
×
m
×
n个；默认预测边框的大小如式所示：其中，m表示有多个特征图，s
k
为默认预测边框在特征图中所占的比例，s
max
、s
min
分别表示s
k
的最大和最小值，默认预测边框的宽度、高度如下式所示：的最大和最小值，默认预测边框的宽度、高度如下式所示：其中，为默认预测边框的宽度，为默认预测边框的高度，a
r
为长宽比。
技术总结
本发明公开了一种基于图像处理的列车车底螺栓丢失检测方法，步骤为：利用多个线阵相机获取列车车底原始图像，采用两组双磁钢测速方式获取车速；进行车速曲线拟合，对车底原始图像进行畸变校正；对畸变校正后的图像进行光照不均校正，得到光照不均校正后的车底图像；将FAST算法和SURF算法相结合，对光照不均校正后的车底图像进行特征点提取和描述，将改进的k-d树最近邻查找算法与双向匹配的自适应阈值方法相结合，对不同相机采集的光照不均校正后的车底图像进行图像拼接得到车底完整图像；对车底完整图像集进行数据集制作和模型训练，利用深度学习目标检测SSD算法对车底螺栓丢失进行检测。本发明实时性强、检测精度高。检测精度高。检测精度高。
技术研发人员：雷威 杜森 张皓泽 邢宗义
受保护的技术使用者：南京理工大学
技术研发日：2022.01.20
技术公布日：2022/5/17