列车自动化检修的智能判伤方法及系统与流程

本发明涉及列车故障自动识别检测技术领域，具体涉及一种列车自动化检修的智能判伤方法及系统。

背景技术：

列车车底是由轮对、轴箱油润装置、侧架、摇枕、弹簧减振装置、制动装置、电机等部件组成。现有技术对列车车底进行故障识别检测的方式为：列车入库后停在检修地沟作业区域，人工下地沟对走行部各个部件进行观看走查，查找各重要走行部部件是否出现松动、丢失、变形、异物等问题，该方式的缺点是工作效率低且检测主观性强。

现有技术在动车、机务、车辆、地铁等机车车辆走行部故障自动识别检测上存在一定局限性，无法完成所有车底部件的检测，存在漏检区域；且报警准确率不高，受环境影响干扰大；工作人员复查报警区域效率低。传统的故障检测算法也存在一定的局限性，不能够适应光照、雨水等干扰，会产生大量的误报，同时不能够自动辨别出车底关键部件的名称，因此有待提升算法的智能化程度。

技术实现要素：

有鉴于此，本申请提供一种列车自动化检修的智能判伤方法及系统，能够解决或者至少部分解决上述存在的问题。

为解决以上技术问题，本发明提供的技术方案是一种列车自动化检修的智能判伤方法，包括：

采集列车的车底全景图像；

采集列车的车底全景图像中未包含区域的局部部件图像；

根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；

根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；

根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。

优选的，所述根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态的方法包括：

将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；

根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；

将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；

根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。

优选的，所述根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息的方法包括：

根据检测需求，定义列车关键部件，并进行数据标注；

设计ai算法模型，利用上述标注数据进行模型的训练，并保持训练好的模型；

将列车关键部件整体图像传送给ai算法模型，ai算法模型输出列车关键部件整体图像中存在的关键部件。

优选的，所述将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数的方法包括：

提取列车关键部件整体图像和预存的标准图像的特征，利用高斯金字塔构建多尺度信息，形成特征向量并将特征向量归一化到128维；

对列车关键部件整体图像和预存的标准图像中找到的特征向量进行匹配，寻找到最佳的n对匹配点，根据n对匹配点计算出两幅图像之间的单应性矩阵，输出配准后的标准图像以及单应性矩阵；

通过ssim衡量配准结果，并输出配准参数；其中，衡量配准结果的公式为：

其中，公式基于样本x和y之间的三个比较衡量：亮度l、对比度c和结构s，取c3＝c2/2，μx为x的均值，μy为y的均值，为x的方差，为y的方差，σxy为x和y的协方差，c1＝(k1l)²，c2＝(k2l)²为两个常数，避免除零，l为像素值的范围，取2^b-1，k1＝0.01，k2＝0.03为默认值。

优选的，所述根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态的方法包括：

通过单应性矩阵计算预存的标准图像中正常关键部件的位置，将其映射到列车关键部件整体图像中，通过与列车关键部件整体图像中识别到的关键部件进行iou判断，通过预设阈值筛选出配对的关键部件；

对于需要判断部件是否丢失的关键部件，筛选出未配对的关键部件；对于需要判断部件是否变形或其它异常，计算两个相同目标对的特征相似度。

优选的，所述根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸的方法包括：

获取局部部件图像，所述局部部件图像包括通过每个相机获取n帧条纹图像；

基于n帧条纹图像，通过格雷码及相移算法求解出相位值；

通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；

通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；

通过最终的三维点云数据，计算列车关键部件的尺寸。

本发明还提供一种列车自动化检修的智能判伤系统，包括：

全景图像采集模块，用于采集列车的车底全景图像；

局部图像采集模块，用于采集列车的车底全景图像中未包含区域的局部部件图像；

关键部件判断模块，用于根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；

关键部件测量模块，用于根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；

报警信息输出模块，用于根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。

优选的，所述关键部件判断模块包括：

整体图像拼接单元，用于将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；

关键部件识别单元，用于根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；

配准参数获取单元，用于将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；

部件状态判断单元，用于根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。

优选的，所述关键部件测量模块包括：

部件图像获取单元，用于获取局部部件图像，所述局部部件图像包括通过每个相机获取n帧条纹图像；

相位值求解单元，用于基于n帧条纹图像，通过格雷码及相移算法求解出相位值；

三维点云计算单元，用于通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；

相机数据融合单元，用于通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；

部件尺寸计算单元，用于通过最终的三维点云数据，计算列车关键部件的尺寸。

本发明还提供一种列车自动化检修的智能判伤系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现上述列车自动化检修的智能判伤方法的步骤。

本申请与现有技术相比，其有益效果详细说明如下：本申请通过采集列车的车底全景图像；采集列车的车底全景图像中未包含区域的局部部件图像；根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸，根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息的方法，整合车底全景图像和局部部件图像检测结果，可进行车底全可视部件异常判定，提高了故障报警的覆盖度与准确度，全景图像报警与局部图像报警相关联，提高报警速度，提高报警复查效率。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种列车自动化检修的智能判伤方法流程示意图；

图2为本发明实施例提供的一种判断列车关键部件的工作状态的方法流程示意图；

图3为本发明实施例提供的一种测量列车关键部件的尺寸的方法流程示意图；

图4为本发明实施例提供的一种列车自动化检修的智能判伤系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，本发明实施例提供一种列车自动化检修的智能判伤方法，包括：

s11：采集列车的车底全景图像；

s12：采集列车的车底全景图像中未包含区域的局部部件图像；

s13：根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；

s14：根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；

s15：根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。

具体的，s11采集列车的车底全景图像通过图像采集模块完成，图像采集模块可以为多个，车底全景图像可以由一系列子图拼接而成，s12采集列车的车底全景图像中未包含区域的局部部件图像可以将图像采集模块安装在机械手臂上，图像采集模块随着机械臂移动完成部件图像采集，图像采集模块可以为拍摄设备。局部部件图像包含n+1张图，其中n张图传递给s14，1张图传递给s13。

具体的，s13接收采集的图像数据，通过智能判伤算法，判断图像中包含的列车的关键部件是否存在异常，异常包括但不限于异常部件的名称、异常部件的位置(图像位置和物理位置，具体到车厢号、轴序、左或右等绝对空间位置信息)、异常类型(部件丢失、变形、断裂等)等。

具体的，s14接收采集的图像数据，并利用三维重构技术从复原出被测关键部件的三维物理坐标，然后利用三维物理信息对列车关键部件尺寸信息进行测量。该步骤主要负责尺寸测量类、螺栓松动类、平整度测量等，弥补二维图像无法实现精细化测量的劣势。

具体的，s15根据关键部件的工作状态和关键部件的尺寸，通过一系列的逻辑判断，最终将所有的报警信息关联到统一的标准上并通过报表展示给客户。

需要说明的是，如图2所示，s13根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态的方法包括：

s131：将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；

s132：根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；

s133：将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；

s134：根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。

需要说明的是，s132根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息的方法包括：

根据检测需求，定义列车关键部件，并进行数据标注；

设计ai算法模型，利用上述标注数据进行模型的训练，并保持训练好的模型；

将列车关键部件整体图像传送给ai算法模型，ai算法模型输出列车关键部件整体图像中存在的关键部件。

具体的，可以将列车的车底全景图像和局部部件图像的二维图像输入ai算法模型，模型包含多种卷积深度学习网络，根据关键部件的特征不同，分别采用了多种网络进行关键部件识别，最终网络会输出本张图中存在哪些关键部件并将关键部件的位置信息和类别信息传递给智能判伤算法。

需要说明的是，s133将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数的方法包括：

提取列车关键部件整体图像和预存的标准图像的特征，利用高斯金字塔构建多尺度信息，形成特征向量并将特征向量归一化到128维；

对列车关键部件整体图像和预存的标准图像中找到的特征向量进行匹配，寻找到最佳的n对匹配点，根据n对匹配点计算出两幅图像之间的单应性矩阵，输出配准后的标准图像以及单应性矩阵；

通过ssim衡量配准结果，并输出配准参数；其中，衡量配准结果的公式为：

其中，公式基于样本x和y之间的三个比较衡量：亮度l(luminance)、对比度c(contrast)和结构s(structure)，取c3＝c2/2，μx为x的均值，μy为y的均值，为x的方差，为y的方差，σxy为x和y的协方差，c1＝(k1l)²，c2＝(k2l)²为两个常数，避免除零，l为像素值的范围，取2^b-1，k1＝0.01，k2＝0.03为默认值。

具体的，将拍摄设备采集到的图像数据传输给智能配准算法，智能配准算法会将设备采集到的当前图和数据库中对应的标准图进行配准。配准流程如下：a)提取拍摄设备采集的当前图和数据库中的标准图中的目标的点特征、结构特征等其它特征组合；b)根据检测到的特征，进行特征匹配，从而得到一对一对的匹配点对；c)利用聚类、随机抽样等方法，剔除匹配点对中存在的误匹配点对；d)最后通过ssim衡量配准结果的好坏，并输出一系列的配准参数。利用s132中的识别结果和s133中的配准参数，通过智能判伤算法判断该图像中关键部件的状态是否正常，从而实现对关键部件安全状态的监测，例如关键部件丢失、部件形变和移位等。通过设计ai模型，以及智能配准算法、智能判伤算法，并结合先验知识(数据库中的标准数据)，可完成关键部件的智能判伤，而且准确率很高，可以适应光照变化、雨水等因素的影响。

需要说明的是，s134根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态的方法包括：

通过单应性矩阵计算预存的标准图像中正常关键部件的位置，将其映射到列车关键部件整体图像中，通过与列车关键部件整体图像中识别到的关键部件进行iou判断，通过预设阈值筛选出配对的关键部件；

对于需要判断部件是否丢失的关键部件，筛选出未配对的关键部件；对于需要判断部件是否变形或其它异常，计算两个相同目标对的特征相似度。

具体的，智能判伤算法输入为1)当前图识别到的关键部件类别和位置信息2)智能配准算法输入的单应性矩阵和配准后的标准图3)标准图中预定好的正常的关键部件。具体流程为：通过单应性矩阵计算预定义图中正常关键部件的位置，将其映射到当前图像中，通过与当前图中识别到的关键部件进行iou(交并比)判断，通过阈值筛选出配对的关键部件。如果需要判断部件丢失，只需要筛选出未配对的即可。如果需要判断部件变形或其它异常，则通过计算两个相同目标对的特征相似度，从而判断出当前图中的关键部件是否存在异常。

需要说明的是，如图3所示，s14根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸的方法包括：

s141：获取局部部件图像，局部部件图像包括通过每个相机获取n帧条纹图像；

s142：基于n帧条纹图像，通过格雷码及相移算法求解出相位值；

s143：通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；

s144：通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；

s145：通过最终的三维点云数据，计算列车关键部件的尺寸。

具体的，s14采用双目(或多目)及格雷码技术，相移技术。三维成像算法流程为：1)每个相机获取n帧条纹图像(格雷码图和条纹图)；2)基于n帧图，通过格雷码及相移算法求解出相位值；3)通过标定参数，求解出相位值对应的实际物理高度，从而得到被测物体的三维点云数据；4)通过点云配准和融合算法，实现双相机(或多相机)数据的融合，弥补单相机存在视场盲区的情况；5)通过最终的三维点云数据，计算列车关键部件的状态信息，例如闸片厚度检测、撒砂管高度检测、扫石器高度检测、螺栓松动检测、三维与二维数据融合、平面平整度检测等。

本申请中列车关键部件的二维图像识别技术采用特征检测法，包括目标点特征提取、结构特征提取，然后通过聚类、随机抽样等算法剔除误匹配点，通过特征匹配实现目标图的配准，并利用ssim衡量配准结果。同时利用深度学习算法识别车底关键部件，从而实现对关键部件安全状态的监测，例如关键部件丢失、部件形变和移位等。本申请通过数据平台整合车底全景图像和局部部件图像检测结果，可进行车底全可视部件异常判定，提高了故障报警的覆盖度与准确度，全景图像报警与局部图像报警相关联，提高报警速度，提高报警复查效率。

如图4所示，本发明还提供一种列车自动化检修的智能判伤系统，包括：

全景图像采集模块21，用于采集列车的车底全景图像；

局部图像采集模块22，用于采集列车的车底全景图像中未包含区域的局部部件图像；

关键部件判断模块23，用于根据列车的车底全景图像和局部部件图像，采用预设的智能判伤算法判断图像中列车关键部件的工作状态；

关键部件测量模块24，用于根据列车的局部部件图像，采用预设的三维重构技术复原图像中列车关键部件的三维物理信息，并利用三维物理信息测量该列车关键部件的尺寸；

报警信息输出模块25，用于根据列车关键部件的工作状态、关键部件的尺寸和预设的报警阈值，输出报警信息。

需要说明的是，关键部件判断模块23包括：

整体图像拼接单元，用于将列车的车底全景图像和局部部件图像拼接形成列车关键部件整体图像；

关键部件识别单元，用于根据列车关键部件整体图像和预设的列车关键部件识别模型，获取列车关键部件的类别和位置信息；

配准参数获取单元，用于将列车关键部件整体图像和预存的标准图像进行特征配准，获得特征配准参数；

部件状态判断单元，用于根据特征配准参数、列车关键部件的类别和位置信息判断列车关键部件的工作状态。

需要说明的是，关键部件测量模块24包括：

部件图像获取单元，用于获取局部部件图像，局部部件图像包括通过每个相机获取n帧条纹图像；

相位值求解单元，用于基于n帧条纹图像，通过格雷码及相移算法求解出相位值；

三维点云计算单元，用于通过标定参数，求解出相位值对应的实际物理高度，从而得到被测列车关键部件的三维点云数据；

相机数据融合单元，用于通过点云配准和融合算法，完成双相机或多相机数据的融合，弥补单相机存在视场盲区的情况；

部件尺寸计算单元，用于通过最终的三维点云数据，计算列车关键部件的尺寸。

本发明还提供一种列车自动化检修的智能判伤系统，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序以实现上述列车自动化检修的智能判伤方法的步骤。

图4所对应实施例中特征的说明可以参见图1-图3所对应实施例的相关说明，这里不再一一赘述。

以上对本发明实施例所提供的一种列车自动化检修的智能判伤方法及系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。