TVDS故障自动识别系统的制作方法

tvds故障自动识别系统
技术领域
1.本发明属于铁路列车检测技术领域，具体涉及一种tvds故障自动识别系统。


背景技术：

2.tvds是我国客车运行重要的安全保障设备，目前全路共建设tvds设备400多套，依旧采用人工逐张看图的方式进行检车作业，工作强度大，效率低，人员培训成本高，同时由于作业量大，人员紧张，易受人员素质和劳动强度等因素影响，存在漏检隐患，因此搭建进行故障的自动识别的需求已经日益凸显。近几年，随着人工智能技术不断发展，深度学习、图像处理和传统机器学习算法在图像识别领域得到了广泛的应用。将智能检测技术应用到铁路客车故障检测中，可提高故障检测精度和检测效率，保障列车安全运行。
3.随着深度学习技术的发展，也可以利用深度学习技术对铁路列车进行检测，深度学习技术可以直接根据部件的信息进行检测，也可以实现对不同车型的检测。这样的优点是方便快捷，但是由于不同的部件的不同特点导致的图像数据的空间分布不一致，通过某个深度学习技术对不同部件的检测时，不能针对所有部件都取得良好的效果，因此针对于tvds故障自动识别系统来说，需要不同神经网络模型来参与识别，从而导致系统十分庞大，对于检测要求较高。


技术实现要素：

4.本发明的目的是为了解决现有的人工检测效率低，准确率低的问题，以及自动故障识别系统庞大对硬件要求高的问题。
5.tvds故障自动识别系统，包括图像预处理模块和故障自动识别模块；
6.图像预处理模块根据车辆图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理；其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块；其中，
7.车型分析子模块：根据不同铁路客车车型对应的部件形态、位置确定铁路客车车型；
8.转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；
9.车钩类型识别子模块：利用车钩类型识别模型识别车钩类型；
10.图像增强子模块：将待检测工位图像进行增强处理，然后送入故障自动识别模块进一步处理；
11.故障自动识别模块根据铁路客车车型、转向架类型、车钩类型信息对增强后的待检测工位图像进行故障识别；包括丢失类子模块、折损类子模块、不正位类子模块；其中，
12.丢失类子模块：利用深度学习目标检测模型检测部件是否存在；
13.折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
14.不正位类子模块：采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。
15.进一步地，tvds故障自动识别系统，还包括待检测工位图像确定模块，待检测工位图像确定模块针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像。
16.进一步地，tvds故障自动识别系统，还包括图像信息采集模块，用于采集车辆的图像。
17.进一步地，根据权利要求3tvds故障自动识别系统，还包括故障信息处理模块，用于将故障自动识别模块中的全部预警信息整合在一起。
18.进一步地，转向架类型识别网络模型为改进的vgg模型，改进的vgg模型包括：第一max pooling-dropout层、第二卷积单元、第二max pooling-dropout层、第三个卷积单元、第三max pooling-dropout层、第一全连接层、第一bn-dropout层、第二全连接层、第二bn-dropout层和一个softmax层；
19.第一卷积单元包括两个卷积层，第二卷积单元包括两个卷积层，第三个卷积单元包括三个卷积层，max pooling-dropout层包括一个池化操作和一个dropout操作；bn-dropout层包括一个bn操作和一个dropout操作。
20.进一步地，丢失类子模块采用的深度学习目标检测模型通过以下方式确定：
21.丢失类故障是指原有部件发生丢失后不可见，设置这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据；
22.通过将不同待识别部件标记成不同类别，将不同部件的数据集合并为一个大数据集，通过深度学习训练得到深度学习目标检测模型的权值，从而得到深度学习目标检测模型。
23.进一步地，折损类子模块使用的目标检测网络和分类网络通过以下方式进行确定：
24.首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集；
25.目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像；利用目标检测训练集训练得到目标检测网络；
26.分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像；利用分类训练集训练得到分类网络。
27.进一步地，不正位类子模块采用的深度学习模型通过以下方式确定：
28.不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上；
29.不正位类子模块采用的深度学习模型的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，对训练集进行扩充，利用扩充后的训练集训练得到不正位类子模块对应的深度学习模型。
30.进一步地，图像增强子模块进行增强处理时采用自适应光照水平调节策略，自适应光照水平调节策略如下：
31.i(x,y)＝0.5
×
i1(x,y)+0.8
×
i2(x,y)+1.2
×
v(x,y)
32.其中，i(x,y)为增强后的像素值，i1(x,y)为对数变换后的像素值，i2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值。
33.进一步地，非线性变换后的像素值的计算过程如下：
[0034][0035][0036][0037]
其中，v表示当前点的灰度值，i2表示变换后的灰度值，表示原图的平均灰度值，a为调整系数；m和k(v)为中间变量。
[0038]
本发明的有益效果：
[0039]
针对不同站点相机、光照条件的不同的情况，本发明的一种光照自适应调节策略，用以减少不同站点间图像的差异，提高检测精度，从而提升了整体的检测准确率。
[0040]
本发明先通过图像预处理模块的处理，然后根据故障形态，将故障识别模块分为三大类，对每类故障的图像数据集进行合并训练，并设计一套对应的识别流程。提高了模型训练的效率，并提升了每类故障的检测准确率和稳定性。更为重要的是，这种方式可以避免不同神经网络模型的大规模块使用，从而极大地缩小了系统，并提高了运行效率。
[0041]
采用改进后的vgg模型进行转向架类型分类，提高了分类效果及运行效率。基于本发明的处理逻辑，可以用非常小的计算开销实现对多种故障的检测，并保证准确率。
附图说明
[0042]
图1为tvds故障自动识别系统处理流程示意图；
[0043]
图2为图像预处理流程图；
[0044]
图3为故障自动识别流程图；
[0045]
图4为改进的vgg示意图。
具体实施方式
[0046]
需要特别说明的是，在不冲突的情况下，本技术公开的各个实施方式之间可以相互组合。
[0047]
具体实施方式一：
[0048]
本实施方式为一种tvds故障自动识别系统，包括图像预处理模块和故障自动识别模块；
[0049]
图像预处理模块根据车辆图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理；其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块；其中，
[0050]
车型分析子模块：根据不同铁路客车车型对应的部件形态、位置确定铁路客车车型；
[0051]
转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；
[0052]
车钩类型识别子模块：利用车钩类型识别模型识别车钩类型；
[0053]
图像增强子模块：将待检测工位图像进行增强处理，然后送入故障自动识别模块进一步处理；
[0054]
故障自动识别模块根据铁路客车车型、转向架类型、车钩类型信息对增强后的待检测工位图像进行故障识别；包括丢失类子模块、折损类子模块、不正位类子模块；其中，
[0055]
丢失类子模块：利用深度学习目标检测模型检测部件是否存在；
[0056]
折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
[0057]
不正位类子模块：采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。
[0058]
具体实施方式二：
[0059]
本实施方式为一种tvds故障自动识别系统，其还包括待检测工位图像确定模块，待检测工位图像确定模块针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像。
[0060]
其他模块和参数与具体实施方式一相同。
[0061]
具体实施方式三：
[0062]
本实施方式为一种tvds故障自动识别系统，其还包括图像信息采集模块，用于采集车辆的图像。
[0063]
其他模块和参数与具体实施方式一或二相同。
[0064]
具体实施方式四：
[0065]
本实施方式为一种tvds故障自动识别系统，其还包括故障信息处理模块，用于将故障自动识别模块中的全部预警信息整合在一起。
[0066]
其他模块和参数与具体实施方式一至三之一相同。
[0067]
具体实施方式五：
[0068]
本实施方式为一种tvds故障自动识别系统，转向架类型识别网络模型为改进的vgg模型，改进的vgg模型包括：第一max pooling-dropout层、第二卷积单元、第二max pooling-dropout层、第三个卷积单元、第三max pooling-dropout层、第一全连接层、第一bn-dropout层、第二全连接层、第二bn-dropout层和一个softmax层；
[0069]
第一卷积单元包括两个卷积层，第二卷积单元包括两个卷积层，第三个卷积单元包括三个卷积层，max pooling-dropout层包括一个池化操作和一个dropout操作；bn-dropout层包括一个bn操作和一个dropout操作。
[0070]
其他模块和参数与具体实施方式一至四之一相同。
[0071]
具体实施方式六：
[0072]
本实施方式为一种tvds故障自动识别系统，丢失类子模块采用的深度学习目标检测模型通过以下方式确定：
[0073]
丢失类故障是指原有部件发生丢失后不可见，设置这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据；
[0074]
通过将不同待识别部件标记成不同类别，将不同部件的数据集合并为一个大数据
集，通过深度学习训练得到深度学习目标检测模型的权值，从而得到深度学习目标检测模型。
[0075]
其他模块和参数与具体实施方式一至五之一相同。
[0076]
具体实施方式七：
[0077]
本实施方式为一种tvds故障自动识别系统，折损类子模块使用的目标检测网络和分类网络通过以下方式进行确定：
[0078]
首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集；
[0079]
目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像；利用目标检测训练集训练得到目标检测网络；
[0080]
分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像；利用分类训练集训练得到分类网络。
[0081]
其他模块和参数与具体实施方式一至六之一相同。
[0082]
具体实施方式八：
[0083]
本实施方式为一种tvds故障自动识别系统，不正位类子模块采用的深度学习模型通过以下方式确定：
[0084]
不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上；
[0085]
不正位类子模块采用的深度学习模型的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，对训练集进行扩充，利用扩充后的训练集训练得到不正位类子模块对应的深度学习模型。
[0086]
其他模块和参数与具体实施方式一至七之一相同。
[0087]
具体实施方式九：
[0088]
本实施方式为一种tvds故障自动识别系统，图像增强子模块进行增强处理时采用自适应光照水平调节策略，自适应光照水平调节策略如下：
[0089]
i(x,y)＝0.5
×
i1(x,y)+0.8
×
i2(x,y)+1.2
×
v(x,y)
[0090]
其中，i(x,y)为增强后的像素值，i1(x,y)为对数变换后的像素值，i2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值。
[0091]
其他模块和参数与具体实施方式一至八之一相同。
[0092]
具体实施方式十：
[0093]
本实施方式为一种tvds故障自动识别系统，非线性变换后的像素值的计算过程如下：
[0094][0095][0096][0097]
其中，v表示当前点的灰度值，i2表示变换后的灰度值，表示原图的平均灰度值，a
为调整系数；m和k(v)为中间变量。
[0098]
其他模块和参数与具体实施方式九相同。
[0099]
实施例
[0100]
如图1所示，tvds故障自动识别系统，包括：
[0101]
图像信息采集模块：用于采集车辆的图像。在铁路客车底部和侧部分别架设高清高分辨率相机，对高速通过的列车进行拍摄，获取车辆的高清图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。
[0102]
图像预处理模块根据车辆的图像进行车型、转向架类型、车钩类型的识别，并对待检测工位图像进行增强处理，如图2所示，其包括车型分析子模块、转向架类型识别子模块、车钩类型识别子模块、图像增强子模块。
[0103]
车型分析子模块：根据不同铁路客车车型对应的部件形态、位置不同确定铁路客车车型。
[0104]
客车车型包括：25g型、25t型、25k型、25b型、18型、25型等等。
[0105]
转向架类型识别子模块：利用转向架类型识别网络模型识别转向架类型；
[0106]
转向架类型识别网络模型为改进的vgg模型，本发明对visual geometry group network(vgg-16)算法进行了改进，对图像中包含转向架类别进行判定。
[0107]
vgg模型：vgg是在卷积神经网络的基础上开发的一个更为完善的深度网络模型，改模型的一个特点是固定卷积核的大小为3*3和2*2大小的池化层构建了一个16层的深度卷积网络模型。相比之前的网络结构，vgg的识别准确率大幅提高，而且具有很好的数据迁移性，在图像处理及目标识别上取得了很大的成功，所以本发明选择在vgg模型的基础上进行改进，用来进行转向架类型分类工作。
[0108]
改进后的vgg模型：本发明对vgg模型进行了优化，在模型的多个卷积单元后添加max pooling和dropout操作，使得数据特征系数，保留主要特征，同时加速模型收敛。在每个全连接层后添加dropout以及bn操作，进一步加速模型收敛，同时提升分类效果。使用数据增强和迁移学习方法增加了模型的泛化能力和模型训练收敛速度。改进后vgg模型结构如图4所示，具体层次信息如下：
[0109]
输入层：将输入图像转化为一个向量作为卷积层的输入。本模型加载转向架图像，将图像自动缩放为224*224大小，以适应模型的卷积层。
[0110]
卷积单元：每个卷积单元包括多个卷积层，即其由一组特征图组成，同一组特征图共享一个3*3大小的卷积核。一个学习的卷积核与前一层的特征图做卷积，将对应元素累加后再加一个偏置，传递给非线性激活函数relu，得到特征图。
[0111]
该模型共有7个卷积层，卷积核大小都为3*3大小，前两个卷积层含有32个特征图，紧跟一个池化操作，池化窗口大小为4*4，步长为2，池化方法为max pooling，池化操作后加入一个dropout操作，参数为0.2。中间的2个卷积层含有128个特征图且紧跟的池化层窗口大小为4*4，步长为2，池化方法为max pooling，，池化操作后加入一个dropout操作，参数为0.2。最后三个卷积层含有512个特征图，紧跟的池化窗口大小为7*7，步长为2，dropout操作参数为0.5。
[0112]
全连接层：该模型最后两层为全连接层，每个全连接层含有特征图2048个，并且每个全连接层后紧跟bn操作和一个dropout，参数为0.5。
[0113]
转向架类型识别网络模型的训练过程：首先，收集各类转向架的侧部图像作为训练集。为了提高分类的准确率，训练集中每种转向架类型的图像分布尽量平均，并要包含各站点的图像以及各类天气状况下的转向架图像。然后，利用包含转向架的图像数据集对修改后的vgg-16网络进行训练，直至交叉熵损失逐渐收敛。
[0114]
转向架是铁路客车中关键部件，转向架类型的正确识别可提高故障自动识别的准确性。客车转向架类型包括：209p型转向架、209t型转向架、cw-200k型转向架、206p型转向架、pw-220k型转向架、cw-2型转向架、sw-160型转向架、sw-220k型转向架、206g型转向架、209hs型转向架等等。
[0115]
车钩类型识别子模块：利用车钩类型识别模型识别车钩类型，车钩类型的识别的方式与转向架类型的识别方式相同。
[0116]
车钩在铁路客车中占据着重要位置，因此车钩的正确识别对部件故障检测起着关键作用。车钩类型包括：15型、15c型、15cx型、ca3型和密接车钩等。
[0117]
图像增强子模块：对待检测工位图像进行增强处理。
[0118]
为提高模型的稳定性，需要对图像数据进行增强处理。扩增形式包括图像的旋转、平移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度地保证样本的多样性和适用性。
[0119]
为减少不同站点间图像以及图像内部光照条件的差异，本发明使用一种自适应光照水平调节策略。常用的灰度变换方法包括：线性变换、对数变换、幂次变换。其中对数变换的效果最好，最接近人类视觉系统和摄像机对光线的感知能力。对数变换使得暗区信息得到很大增强，但同时也会使原图中亮的区域也进一步加强。由于列车底部情况和相机角度等因素，图像中可能既有很暗的区域也有很亮的区域。对数变换虽能提高暗区的亮度，但也会使得亮区加强过度，使得图像失真。为提高图像增强效果，提出了一种结合对数变换、非线性变换和原图信息的自适应光照水平调节策略。其中非线性变换对高光区域进行抑制，同时进一步增强暗区，函数定义为：
[0120][0121][0122][0123]
其中，v表示当前点的灰度值，i2表示变换后的灰度值，表示原图的平均灰度值，a为调整系数。a越小，灰度值小的像素点经过非线性变换后灰度值越大，但同时也容易失去纹理细节信息；a越大，虽然保留了纹理信息，但灰度值小的像素增强不够。因此可以选择一个适中的a值，a＝1时，既增强了暗区像素，有很好的保留了纹理信息。m和k(v)为中间变量。
[0124]
将对数变换图像、非线性变换图像和原图进行综合，得到自适应光照水平调节策略：
[0125]
i(x,y)＝0.5
×
i1(x,y)+0.8
×
i2(x,y)+1.2
×
v(x,y)
[0126][0127]
其中，i(x,y)为增强后的像素值，i1(x,y)为对数变换后的像素值，i2(x,y)为非线性变换后的像素值，v(x,y)为原图像素值，b为对数变换调节参数。
[0128]
待检测工位图像确定模块：针对待检测任务中的待检测部件，根据客车的轴距信息、转向架类型和车型对不同工位图像进行拼接，得到待检测工位图像；然后将待检测工位图像发送给图像增强子模块进行图像增强。
[0129]
本发明并没有基于车辆的图像根据先验信息进行截取，而是基于图像采集设备采集的铁路客车底部和侧部图像信息，根据先验信息有选择的进行拼接，从而得到待检测工位图像；通过在不同工位上做故障识别，可有效减少部件定位所需时间，提升识别准确率。
[0130]
故障自动识别模块：根据铁路客车车型、转向架类型、车钩类型信息进行故障识别；将所有待识别故障，按照故障形态分成三类：丢失类故障、折损类故障和不正位类故障。根据这三类故障可将自动识别模块分成丢失类子模块、折损类子模块和不正位类子模块。
[0131]
针对于相同的部件，在不同车型、转向架类型和车钩下，部件的位置和种类可能不同，所以需要图像预处理模块提供先验知识，以便后续更准确的识别。如图3所示，故障自动识别模块包括：
[0132]
丢失类子模块：利用深度学习目标检测算法检测部件是否存在，若不存在则进行故障报警。
[0133]
丢失类故障是指原有部件发生丢失后不可见，例如：弹簧托板螺栓丢失故障。这类故障的数据集包含两部分：部件正常存在时的图像数据，以及丢失部件后的图像数据。通过将不同待识别部件标记成不同类别，可将不同部件的数据集合并为一个大数据集，通过深度学习模型训练得到一套权值。利用深度学习目标检测算法，检测部件是否存在，若不存在则进行故障报警。通过丢失类子模块即可解决全部丢失类故障的识别。
[0134]
折损类子模块：首先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像；
[0135]
折损类故障主要包含折断故障和破损故障，例如：制动梁折断故障、车体底板破损故障。该子模块通常将目标检测模型与分类模型结合使用。
[0136]
首先，准备两个训练集，一个目标检测训练集，另一个是分类训练集。目标检测训练集中包含所有待检测故障所有样本，即折断故障和破损故障图像。分类训练集中包含两种：一种是真实的折断和破损的图像；另一种是由于干扰导致的误报图像，例如雨水、泥渍等噪声。
[0137]
其次，分别利用两个训练集进行训练，分别得到目标检测网络的权值和分类网络的权值。
[0138]
最后，在折损类子模块中，先使用目标检测网络对折损类故障的位置进行检测；然后针对检测出的故障，利用分类网络对图像是否存在噪声干扰进行分类，如果判断为存在干扰，判断为误报图像，滤除这项报警。
[0139]
通过折损类子模块即可解决全部折损类故障的识别。
[0140]
不正位类子模块：
[0141]
不正位类故障是原有部件发生相对于固有位置的偏移，即不在固有位置上，故称为“不正位”，例如：摇枕吊销窜出故障、钩提杆脱落故障等。不正位类子模块采用深度学习模型进行目标分割，将分割出的目标与原有目标做比较，如果发生位置上的不正位则判定为故障。该子模块的训练集包含待识别部件正常位置图像，以及模拟各种形式的不正位故障图像，作为数据集的扩充，以此来保证模型的稳定性。通过不正位类子模块即可解决全部不正位类故障的识别。
[0142]
故障信息处理模块：将故障自动识别模块中的全部预警信息整合在一起。预警信息包括：故障坐标信息、故障名称信息、车型信息、转向架信息、车钩信息。故障信息处理模块根据检车平台所需内容，在全部预警信息中进行相关信息提取，最终将故障信息上传至检车平台，供检车工人查看。
[0143]
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。