机车司机行为识别方法、装置及系统与流程

本发明是关于轨道交通机车车辆安全监测技术，特别是关于驾车驾驶室中的一种机车司机行为识别方法、装置及系统。

背景技术：

交通安全现在已经成为一个普遍被关注的社会问题，而加强对铁路交通安全的管控已经迫在眉睫，目前机车上安装了机车车载安全防护系统(简称6a系统)的视频监控设备，目前对该视频监控设备的视频数据的地面分析任务通常采用人工浏览察看方式，一方面分析全部机车的视频录像需要配备大量且足够的地面视频数据分析人员和设备，分析效率低，特别对于特定事件查找的情况下，分析工作量巨大，且容易遗漏。另一方面，由于是事后做人工分析，无法对乘务员在机车运行过程中不当行为进行实时提醒。

视频分析与识别技术在机车环境下的应用目前还是空白，究其原因，主要是机车环境下与常规应用有较大区别。例如机车运行中震动幅度较大，成像模糊，影响视频画面的稳定、列车运行过程中光照变化比较大，极大地影响了识别的准确度、机车环境下识别对象差异较大，也会影响视频识别的适应性等。此外，列车在进站和出站过程中，可能会出现强光照的情况，此时，受强光照的影响，视频分析与识别效果将会降低，当光线恢复正常，识别效果也随之改善，如何降低光照变化的影响，提高算法的鲁棒性是业界面临的技术难点之一。

技术实现要素：

本发明提供一种机车司机行为识别方法、装置及系统，可以对司机日常的几类操作进行自动识别，同时通过对图像自动化的检索，解脱繁重的人工工作，提高分析的效率和准确性。

为了实现上述目的，本发明实施例提供了一种机车司机行为识别方法，该机车司机行为识别方法包括：

预先定义包含多类司机行为的待训练图像集合；

利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；

采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。

一实施例中，所述多类司机行为包括：离岗、接打电话、向前挥手、在岗、站立、睡觉。

一实施例中，在利用神经网络算法对所述待训练图像集合进行模型训练之前，该机车司机行为识别方法还包括：

在所述待训练图像集合中的各图像上标注目标框。

一实施例中，所述目标框相关信息包括目标框的起始位置、宽度及高度，所述机车司机行为识别方法还包括：

对所述目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。

一实施例中，利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型，包括：

利用前向卷积网络对所述待训练图像集合进行逐级抽象化，得到鲁棒的训练模型；

利用反馈网络对所述鲁棒的训练模型进行权重调节，得到所述行为训练模型。

一实施例中，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别，包括：

将所述实时监控图像输入所述行为训练模型，利用增加了detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。

为了实现上述目的，本发明实施例还提供了一种机车司机行为识别装置，包括：

预定义单元，用于预先定义包含多类司机行为的待训练图像集合；

模型训练单元，用于利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；

行为识别单元，用于采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。

一实施例中，所述多类司机行为包括：离岗、接打电话、向前挥手、在岗、站立、睡觉。

一实施例中，该机车司机行为识别装置还包括：

标注单元，用于在所述待训练图像集合中的各图像上标注目标框。

一实施例中，所述目标框相关信息包括目标框的起始位置、宽度及高度，所述机车司机行为识别装置还包括：

归一化单元，用于对所述目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。

一实施例中，所述模型训练单元包括：

抽象化模块，用于利用前向卷积网络对所述待训练图像集合进行逐级抽象化，得到鲁棒的训练模型；

模型训练模块，用于利用反馈网络对所述鲁棒的训练模型进行权重调节，得到所述行为训练模型。

一实施例中，所述行为识别单元具体用于：将所述实时监控图像输入所述行为训练模型，利用增加了detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。

为了实现上述目的，本发明实施例还提供了一种机车司机行为识别系统，包括：

摄像机，用于采集机车驾驶室的实时监控图像；

视频智能识别板卡，内置行为识别模块，所述行为识别模块用于利用神经网络算法，根据所述实时监控图像及预先训练出的行为训练模型识别出司机行为所属的类别；

存储设备，用于存储利用神经网络算法对预先定义包含多类司机行为的待训练图像集合进行模型训练得到的行为训练模型，还用于存储已识别的视频图像，所述行为训练模型包括多类司机行为；

报警设备，接收所述行为识别模块基于司机行为所属的类别生成的报警信息执行报警。

本发明通过深度学习算法，可以对司机日常的几类操作进行自动识别；同时，通过对图像自动化的检索，可以解脱繁重的人工工作，提高了分析的效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的机车司机行为识别系统的结构示意图；

图2为本发明实施例的机车司机行为识别方法流程图；

图3为本发明实施例的模型训练阶段流程图；

图4为本发明实施例的行为判别阶段流程图；

图5为本发明实施例的机车司机行为识别装置的结构示意图一；

图6为本发明实施例的机车司机行为识别装置的结构示意图二；

图7为本发明实施例的模型训练单元的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近几年来，视频分析与识别技术已取得突飞进展，各项理论成果层出不穷。目前，该技术的理论成果已广泛应用于交通、安防、金融、建筑、医学、军事等领域，主要应用有人脸识别、视频客流统计、疲劳状态检测、人群聚集度检测、移动物体跟踪等，取得了令人瞩目的研究成果。

视频分析与识别技术在以上领域或方向的成功运用为在机车6a系统的应用提供了有效的指引，一方面，近几年，硬件的计算处理能力得到极大的提升，为该技术的推广应用提供了平台的支持；另一方面，以上领域的工程经验或者成果也可以作为6a视频智能诊断系统应用实施的借鉴。

视频中人体的动作识别不同于图像的检测与识别，动作是一连贯的子动作构成的序列，传统的图像检测大都不能有效的识别复杂场景中的动作，另外，视频图像的处理同时面临光照、遮挡、旋转等因素的影响，导致传统动作识别的精度并不高。近几年，作为国际的前沿和热点之一，深度学习技术在图像和语音识别等领域获得巨大成功，深度学习在图像识别领域变现出非常明显的优越性，其识别率已经远远超过传统识别算法，本发明考虑将机器学习(深度学习)的相关技术应用于机车司机行为识别当中，以便获得更好的人体行为识别效果。

图1为本发明实施例的机车司机行为识别系统的结构示意图，如图1所示，该机车司机行为识别系统包括：摄像机，视频智能识别板卡，存储设备及报警设备。

摄像机可以设置在机车驾驶室中，可以采集机车驾驶室的实时监控图像(视频)。

视频智能识别板卡，内置行为识别模块，所述行为识别模块用于利用神经网络算法，根据所述实时监控图像及行为训练模型识别出司机行为所属的类别。行为训练模型需要通过训练得到，首先，需要预先定义包含多类司机行为的待训练图像集合，然后利用神经网络算法对所述待训练图像集合进行模型训练，得到该行为训练模型。

存储设备，用于存储利用神经网络算法对预先定义包含多类司机行为的待训练图像集合进行模型训练得到的行为训练模型，还用于存储已识别的视频图像，所述行为训练模型包括多类司机行为。

报警设备，接收所述行为识别模块基于司机行为所属的类别生成的报警信息执行报警。

行为识别模块为机车司机行为识别的核心元件，作为系统的应用层，可以内置于ubuntu14.04操作系统。由于本发明需要用到深度神经网络模型，训练需要gpu加速，因此可以使用cuda应用程序。

具体实施时，行为识别模块需要将接收到的摄像机拍摄的视频图像进行去除噪声、灰度变换、几何校正等预处理，尽量降低机车环境对于视频分析的影响。通过对根据摄像机采集实时监控图像进行识别，可以检测出如下行为：离岗、接打电话、向前挥手、在岗(正常作业)、站立、睡觉等。如果司机出现睡觉、离岗、接打电话、站立等情况，需要生成报警信息，并将报警信息发送至报警设备执行报警，对机车司机进行提醒。另外，对于识别后的图像，还可以以标签标注，然后进行编码存储，这样，通过相应的检索工具，能实现对已经被记录的特定事件的查询。

本发明实施例提供了一种机车司机行为识别方法，如图2所示，该机车司机行为识别方法包括：

s201：预先定义包含多类司机行为的待训练图像集合；

s202：利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；

s203：采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。

由图1所示的流程可知，本发明首先预先定义包含多类司机行为的待训练图像集合，然后对待训练图像集合进行模型训练，生成行为训练模型，基于该行为训练模型，可以对采集的实时监控图像进行行为识别，识别出司机行为所属的类别。本实施例通过深度学习算法(如神经网络算法)，可以对司机日常的几类操作进行自动识别；同时，通过对图像自动化的检索，可以解脱繁重的人工工作，提高了分析的效率和准确性。

本实施例主要通过模型训练和行为判别两个阶段，s201及s202为模型训练阶段，s203为行为判别阶段。下面分别说明：

模型训练阶段

该模型训练阶段主要完成数据训练，大量视频数据的分析、处理，完成对6类司机行为动作的检测，存储设备可以采用8t企业监控盘，主要完成六类结果的分类存储。针对铁路司机室视频图像，处理速度能达到110帧/秒。

具体实施时，模型训练阶段中，司机(或乘务员)行为可以包括多种，例如：离岗、接打电话、向前挥手、在岗、站立、睡觉，本发明仅以上述六种行为进行说明，但是本发明不限于上述六种行为。六种行为简单定义如下：

(1)离开座位(离岗)：列车驾驶员在工作时间段内，擅自离开了岗位，这种情况判断为离岗行为；

(2)正常工作(在岗)：列车驾驶员在工作时间段内，按照要求一直坚守在自己的岗位，则判定为正常工作；

(3)接打电话：列车驾驶员在工作时间段内，有接打电话的动作时将会被识别出来；

(4)向前挥手：列车驾驶员在工作时间段内，有检测到右手向前方示意，则判定为挥手；

(5)睡觉：驾驶员在工作时间段内，检测到有趴在驾驶操控台上睡觉的动作时，将其检测出来；

(6)站立：在工作时间段内，当有人在驾驶室站立或者随意走动，算法将会检测到并标注为站立状态。

一实施例中，在利用神经网络算法对所述待训练图像集合进行模型训练之前，还需要在所述待训练图像集合中的各图像上标注目标框。通过标注目标框，可以筛选出便于识别的图像，并保存目标框的相关信息，包括目标框的起始位置、目标框的宽度及目标框的高度等信息。为了适应深度学习算法的需求，还可以对目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。

在利用神经网络算法对所述待训练图像集合进行模型训练时，可以利用前向卷积网络对所述待训练图像集合进行逐级抽象化，先得到鲁棒的训练模型；然后再利用反馈网络对所述鲁棒的训练模型进行权重调节，得到行为训练模型。

为了更好的说明本实施例的机车司机行为识别方法，下面结合图3所示的模型训练流程进行说明。如图3所示，模型训练阶段主要包括图像输入、图像标注、前向卷积网络、数据后处理、反馈网络处理及模型输出几个阶段。

图像输入：待训练的机车司机室内的几类预先定义好的图像集合(如上述的6类预先定义好的图像集合，包含正常作业、打电话、向前挥手、在岗、站立、睡觉共计6类常见的机车司机行为)。但该行为动作的定义是开放的，用户也可以根据需要自定义行为动作的类别。

图像标注：该步骤主要是手动标注目标框，并保存目标矩形框的相关信息(起始位置，宽、高等)的过程，为适应算法需要，在实际使用过程中，这些相关信息被预先做出相应的处理(如归一化处理)并保存。

前向卷积网络：该部分为识别算法的核心，是目前较为适合应用于图像识别的卷积网络，该部分包含若干层卷积层和一些降采样、非线性变换等，对训练图像集合进行逐级的抽象化，最终得到一些对训练以外的图像也具有一定识别能力的模型特征(模型特征以模型权重的形式存储)。输入的图像集合经过一系列处理，代表性信息逐渐减少，意味着经过卷积网络处理后，有价值的信息得以保存，而一些冗余的信息被摒弃，也即是图像特征被抽象化了，大量图像特征信息的相互作用，共同训练出一个鲁棒的模型。

数据后处理：该部分也是训练过程特有的一个环节，当对前向卷积网络处理后的行为训练模型达不到设定目标识别率时，对训练数据进行一些清洗、调整等，以备反馈网络的反向传播使用。

反馈网络：该部分起到对前向卷积网络得出的权重进行调节的作用，利用梯度下降法优化代价函数，从后向前逐级调整每一层卷积网络的权重值，从而使得模型的泛化能力得到较大的提升。

模型输出：输出行为训练模型，作为最终输出结果。

行为判别阶段

该阶段中，可以将所述实时监控图像输入所述行为训练模型，利用增加了detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。

为了更好的说明本实施例的机车司机行为识别方法，下面结合图4所示的行为判别流程进行说明。

行为判别阶段是使用模型训练阶段得到的行为训练模型对图像(视频)进行识别的过程，该阶段不包含图像标注、反馈网络、数据后处理三个步骤，输入图像和模型直接加载到卷积网络，得到识别结果。

如图4所示，行为判别阶段主要包括模型加载、前向卷积网络及结果识别。

行为训练模型加载：行为训练模型指的是训练得出的各网络层的权重值，共几十万～几百万个参数，整个识别过程模型只需要加载一次。

前向卷积网络：与模型训练阶段的前向卷积网络不同的是，在前向卷积网络基础上增加了一个detection层，以便对行为识别结果进行约束，这样能同时准确地标注出物体的位置，并同时预测出物体的类别，两者相辅相成，从而提高了检测识别的可信度。

识别结果：最终输出结果(司机行为所属的类别)可预测出司机动作是属于含正常作业、打电话、向前挥手、在岗、站立、睡觉等类中的哪一类。

本实施例通过深度学习算法，可以对司机日常的几类操作进行自动识别；同时，通过对图像自动化的检索，可以解脱繁重的人工工作，提高了分析的效率和准确性。可对于机车运行过程中乘务员不符合规则的行为进行在线提醒，有效提高了机车运行的安全性。

基于与上述机车司机行为识别法相同的发明构思，本申请提供一种机车司机行为识别装置，如下面实施例所述。由于该机车司机行为识别装置解决问题的原理与机车司机行为识别方法相似，因此该机车司机行为识别装置的实施可以参见机车司机行为识别方法的实施，重复之处不再赘述。

图5为本发明实施例的机车司机行为识别装置的结构示意图，如图5所示，该机车司机行为识别装置包括：

预定义单元501，用于预先定义包含多类司机行为的待训练图像集合；

模型训练单元502，用于利用神经网络算法对所述待训练图像集合进行模型训练，生成行为训练模型；

行为识别单元503，用于采集机车驾驶室的实时监控图像，将所述实时监控图像输入所述行为训练模型，识别出司机行为所属的类别。

一实施例中，所述多类司机行为包括：离岗、接打电话、向前挥手、在岗、站立、睡觉。

一实施例中，如图6所示，该机车司机行为识别装置还包括：标注单元601，用于在所述待训练图像集合中的各图像上标注目标框。

目标框相关信息可以包括目标框的起始位置、宽度及高度，如图6所示，该机车司机行为识别装置还包括：归一化单元602，用于对所述目标框相关信息进行归一化处理，并保存归一化处理后的目标框相关信息。

一实施例中，如图7所示，模型训练单元502包括：

抽象化模块701，用于利用前向卷积网络对所述待训练图像集合进行逐级抽象化，得到鲁棒的训练模型；

模型训练模块702，用于利用反馈网络对所述鲁棒的训练模型进行权重调节，得到所述行为训练模型。

一实施例中，行为识别单元503具体用于：将所述实时监控图像输入所述行为训练模型，利用增加了detection层的前向卷积网络对司机行为进行识别，并对识别结果进行约束，识别出司机行为所属的类别。

本实施例通过深度学习算法，可以对司机日常的几类操作进行自动识别；同时，通过对图像自动化的检索，可以解脱繁重的人工工作，提高了分析的效率和准确性。可对于机车运行过程中乘务员不符合规则的行为进行在线提醒，有效提高了机车运行的安全性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。