本发明涉及视频图像处理技术领域，尤其涉及一种异常场景检测方法及装置。
背景技术：
当前国家铁路建设已成为国家发展战略中举足轻重的一环，便捷的铁路网为国家发展提供了保障，更为人民生活提供了便利。当遇到突发的自然灾害如泥石流、山体滑坡等造成铁轨掩埋以及铁轨道路路基坍塌等问题时，对轨道交通系统的安全性构成了很大威胁，因此，在铁路运营管理中，对铁路及周遭环境进行安全巡检是非常重要的环节，以确保列车的安全行驶。
目前，铁路部门常用的方法为人工巡检，工人沿铁轨进行巡查，排除铁轨周围的异常情况，确保铁路通行安全。这种方法费时费力，而且难以及时地对可能发生的自然灾害隐患进行准确排查。因此相关论文提出了通过无人机实现基于空基的自主监视的检测系统，对铁路沿线的环境进行巡检。无人机可通过携带的摄像头采集地面的图像数据，并运用计算机视觉技术进行智能分析与处理，对铁路沿线的场景情况进行判断，实现自主巡检，确保铁路安全。
然而，受到光照、天气变化等自然条件的影响，传统的计算机视觉技术很难准确地对铁路沿线的自然灾害做出检测与识别，因此，检测系统亟待完善。
技术实现要素：
本发明提供一种异常场景检测方法及装置，解决了现有技术中存在的对铁路或公路沿线异常场景检测准确率低的问题。
本发明的第一方面提供一种异常场景检测方法，包括：
接收第一终端发送的视频数据；
根据预设采样间隔对所述视频数据进行采样，得到多个图像数据；
将各所述图像数据输入到第一卷积神经网络模型中；所述第一卷积神经网络模型用于标定图像是否为异常图像；
根据所述第一卷积神经网络模型的标定结果确定所述图像是否为异常图像，若是，则将所述异常图像的信息发送到第二终端。
进一步的，所述将各所述图像数据输入到第一卷积神经网络模型中之前，还包括：
将第一场景数据库的图像样本导入卷积神经网络，并对所述卷积神经网络进行预训练，得到第二卷积神经网络模型；所述第一场景数据库包括不同类型的场景；
将第二场景数据库的图像样本导入所述第二卷积神经网络模型；所述第二场景数据库包括自然灾害场景；
对所述第二卷积神经网络模型进行二次训练，得到所述第一卷积神经网络模型。
进一步的，所述将第二场景数据库的图像样本导入所述第二卷积神经网络模型之前，还包括：
将第二场景数据库的图像样本分为训练集和测试集；
对所述训练集中的图像样本进行多尺度变换和多角度变换，得到扩充后的训练集；
所述将第二场景数据库的图像样本导入所述第二卷积神经网络模型，包括：将所述扩充后的训练集导入所述第二卷积神经网络模型；
所述对所述第二卷积神经网络模型进行二次训练，得到第一卷积神经网络模型，包括：
在所述扩充后的训练集中对所述第二卷积神经网络模型进行二次训练，得到第三卷积神经网络模型；
将所述测试集输入到所述第三卷积神经网络模型，得到测试结果；
根据所述测试结果计算所述第三卷积神经网络模型的标定准确率；
确定所述标定准确率满足预设准确率，则将所述第三卷积神经网络模型作为所述第一卷积神经网络模型。
进一步的，所述多尺度变换是对图像样本按照预设比例进行缩放，并裁取中心区域；
所述多角度变换是对图像样本按照预设角度进行旋转，并裁取中心区域。
进一步的，所述将各所述图像数据输入到第一卷积神经网络模型中之前，还包括：
根据所述第一卷积神经网络模型的输入类型，对各所述图像数据进行缩放和裁剪处理。
进一步的，所述第一卷积神经网络模型包括十六个卷积层、五个池化层、两个全连接层和一个softmax层。
进一步的，所述将所述异常图像的信息发送到第二终端之前，还包括：
获取所述异常图像的属性信息，所述属性信息包括所述图像数据的拍摄时间和拍摄位置；
所述将所述异常图像的信息发送到第二终端，包括：
将所述异常图像以及所述异常图像的属性信息发送到第二终端。
本发明的第二方面提供一种异常场景检测装置，包括：
接收模块，用于接收第一终端发送的视频数据；
采样模块，用于根据预设采样间隔对所述视频数据进行采样，得到多个图像数据；
导入模块，用于将各所述图像数据输入到第一卷积神经网络模型中；所述第一卷积神经网络模型用于标定图像是否为异常图像；
确定模块，用于根据所述第一卷积神经网络模型的标定结果确定所述图像是否为异常图像；
若确定所述图像为异常图像，发送模块，用于将所述异常图像的信息发送到第二终端。
本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面中任一项所述的方法。
本发明的第四方面提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。
本发明实施例提供的异常场景检测方法及装置，通过接收第一终端发送的视频数据，根据预设采样间隔对视频数据进行采样得到多个图像数据，将各图像数据输入到预设的第一卷积神经网络模型中，根据第一卷积神经网络模型的标定结果确定图像是否为异常图像，若确定有异常图像，则将该异常图像的图像信息发送给第二终端，以便第二终端的用户及时采取应急响应措施，避免二次事故的发生。通过上述方法，解决了现有技术中存在的对铁路或公路沿线异常场景检测准确率低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的异常场景检测方法的流程示意图；
图2为本发明一实施例提供的第一卷积神经网络的建模流程图；
图3为本发明一实施例提供的第一卷积神经网络模型特征标定的流程示意图；
图4为本发明一实施例提供的异常场景检测装置的结构示意图；
图5为本发明提供的电子设备实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提供一种异常场景检测方法及装置，以解决现有技术中存在的对铁路或公路沿线的自然灾害场景检测准确率低的问题。
为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明进行详细说明。
图1为本发明一实施例提供的异常场景检测方法的流程示意图，如图1所示，本实施例的方法应用于铁路系统或公路系统，对此本实施例不作具体限定。
本实施例提供的异常场景检测方法包括以下步骤：
S101、第一终端向异常场景检测装置发送视频数据；
在本步骤中，第一终端是具有摄像或拍照功能的移动终端或者固定终端，可以是无人机设备，也可以是安装在铁路或公路沿线的摄像机。其中，在无人机设备或摄像机上安装有高清摄像头，用于实时采集铁路或公路沿线的视频数据，本领域技术人员可以理解，第一终端拍摄的该视频数据由各帧图像数据组成，各图像数据包括图像画面的拍摄时间和拍摄位置等信息，用于当检测到异常图像时，根据图像数据确定发生时间和事故点坐标。
本实施例的第一终端将拍摄的视频数据实时传送给异常场景检测装置，以使检测装置及时对拍摄数据进行检测和标定，当出现突发事故时，铁路或公路系统能及时、准确获取事故点信息，提升铁路或公路系统的应急能力。
可选的，本实施例的第一终端的数量为至少一个，铁路或公路系统可以同时采用不同类型的第一终端，即采用无人机设备与固定摄像机相结合的方式，以扩大铁路或公路沿线数据采集的覆盖范围。
S102、异常场景检测装置根据预设采样间隔对视频数据进行采样，得到多个图像数据；
检测装置在接收到第一终端发送的视频数据之后，根据预设的采样间隔，例如，每秒两帧，对视频数据进行采样，得到多个图像数据。
具体的，检测装置可以周期性的对一段视频数据作上述采样过程，例如，检测装置以1分钟或30秒为周期，对该时长的视频数据进行采样。
可选的，当第一终端的数量为两个或两个以上时，检测装置同时收到多个第一终端发送的视频数据，可将多个第一终端发送的视频数据通过检测装置并行设置的采样模块分别进行数据采样，最终将同一时段的各第一终端的各图像数据汇总，得到图像数据集，用以执行S103。
S103、异常场景检测装置将各图像数据输入到第一卷积神经网络模型中；
其中，第一卷积神经网络模型用于标定图像是否为异常图像；
本实施例中的第一卷积神经网络模型是通过不同类型场景数据库和异常场景数据库多次训练得到的具有较高标定准确率的网络模型，能够较为准确地判断第一终端采集的各图像数据是否异常。
具体来说，第一卷积神经网络模型将各图像数据的特征与预设的异常图像的图像特征进行比对，若与预设的异常图像的图像特征相匹配，则确定该图像为异常图像，若没有与预设的异常图像的图像特征相匹配的特征，则确定该图像为正常图像。
可选的，在将各图像数据输入到第一卷积神经网络模型中之前，检测装置需要根据第一卷积神经网络模型的输入类型，例如，输入图像为224*224像素的图像，对各图像数据进行缩放和裁剪处理。
S104、异常场景检测装置根据第一卷积神经网络模型的标定结果确定图像为异常图像；
S105、异常场景检测装置向第二终端发送异常图像的信息。
本实施例中，第一卷积神经网路模型的标定结果设定为0和1，具体来说：
当确定图像为异常图像时，则给出该图像的标定结果为0；
当确定图像为正常图像时，则给出该图像的标定结果为1。
检测装置根据第一卷积神经网络模型的标定结果确定图像是否为异常图像，若图像为异常图像，则检测装置将该异常图像的信息发送到第二终端，以供第二终端的工作人员及时采取响应措施，通知故障点附近巡检人员排除故障，同时通知在线客车的驾驶员，以避免交通事故的发生。
具体的，异常图像的信息包括图像的拍摄时间和拍摄位置等信息。
对于无人机设备来说，无人机设备上设置有GPRS定位装置和时钟，在拍摄视频数据时，自动生成各帧图像的拍摄时间和拍摄位置信息。
对于安装在铁路或公路沿线的摄像机来说，每台摄像机内部设置有时钟，在拍摄视频时记录拍摄时间，且在发送视频数据时，携带有该摄像机的标识，检测装置通过摄像机的标识查询预存位置数据表，确定该摄像机的安装位置，进而可以确定各图像，尤其是异常图像的拍摄时间和拍摄位置。
本实施例中的第二终端可以是移动终端，例如智能手机、笔记本电脑等便携式终端，也可以是固定终端，例如铁路或公路系统指挥中心的服务器终端，对此本实施例不作具体限定。
本实施例提供的异常场景检测方法，通过接收第一终端发送的视频数据，根据预设采样间隔对视频数据进行采样得到多个图像数据，将各图像数据输入到预设的第一卷积神经网络模型中，根据第一卷积神经网络模型的标定结果确定图像是否为异常图像，若确定有异常图像，则将该异常图像的图像信息发送给第二终端，以便第二终端的用户及时采取应急响应措施，避免二次事故的发生。本实施提供的上述方法，解决了现有技术中存在的对铁路或公路沿线异常场景检测准确率低的问题。
由上述实施例，可知第一卷积神经网络模型为预设的卷积神经网络模型，用于标定图像是否为异常图像，如何建立并训练出具有较高标定准确率的网络模型，是本发明提供的异常场景检测方法的关键技术点。下面结合具体的实施例对该预设的第一卷积神经网络模型的建立过程作详细说明。
图2为本发明一实施例提供的第一卷积神经网络的建模流程图，如图2所示，该建模过程包括如下几个步骤：
S201、将第一场景数据库的图像样本导入卷积神经网络，并对卷积神经网络进行预训练，得到第二卷积神经网络模型；
其中，第一场景数据库包括不同类型的场景；
本实施例中的第一场景数据库具体可以是Places365数据库，Places数据库是目前较大的场景图像数据库，该数据库含有大量不同类型场景的图片。
通过引入Places365数据库对卷积神经网络进行预训练，得到的第二卷积神经网络模型具有较高的场景分类的能力。
具体的，通过卷积神经网络的正向传播和反向传播机制，不断迭代更新网络模型参数，优化网络模型的性能。在预训练的过程中，为了缓解训练阶段的低效性，防止过拟合问题，可以通过Dropout方法提高分类性能，加快训练的收敛速度。Dropout方法是指在每一轮训练过程中，随机选取若干比例的神经元，使其与其他节点的连接权重不进行更新，这种方法训练出来的模型更具泛化能力。
S202、获取第二场景数据库的图像样本，并将第二场景数据库的图像样本分为训练集和测试集；
其中，第二场景数据库包括自然灾害场景；
具体来说，在S201的基础上，利用第二场景数据库的图像样本对第二卷积神经网络模型进行微调，以优化模型参数。其中，第二场景数据库具体为铁路或公路沿线的视频数据库，该数据库中包括了铁路或公路沿线的正常场景图像和异常场景图像，异常场景图像具体为自然灾害场景图像。
通过对第二卷积神经网络模型的微调，得到的卷积神经网络模型能够更好的适用于本实施例的特定场景，取得更好的异常场景检测效果。
在本步骤中，可以根据预设的分类规则，例如，训练集占70％且仅用于训练，测试集占30％，用于测试模型和计算标定准确率，根据具体的需求设定分类规则，对此本实施例不作具体限定。
需要指出的是，第二场景数据库中的图像样本为事先标定好的图像样本，包括正样本和负样本，其中正样本为正常场景的图像样本，负样本为异常场景的图像样本。
S203、对训练集中的图像样本进行多尺度变换和多角度变换，得到扩充后的训练集；
由于S202中的第二场景数据库保存的图像样本通常来自不同终端，各终端的拍摄参数可能存在差异，因此，有必要对第二场景数据库的图像样本进行预处理，例如，按照预设尺寸对第二场景数据库的图像样本进行图像尺寸的调整。
在上述预处理的基础上，对训练集中的图像样本进行多尺度和多角度变换，以扩充训练集。
具体来说，多尺度变换是对图像样本按照预设比例进行缩放，并裁取中心区域。例如，采用图像样本原尺寸的1/2倍、1/4倍进行缩放后裁取中心区域为多尺度变换的扩充样本。
多角度变换是对图像样本按照预设角度进行旋转，并裁取中心区域。例如，将图像样本旋转-90°、-45°、+45°、+90°后裁取中心区域为多角度变换的扩充样本。
S204、将扩充后的训练集导入所述第二卷积神经网络模型；
S205、在扩充后的训练集中对第二卷积神经网络模型进行二次训练，得到第三卷积神经网络模型；
通过对第二卷积神经网络模型的二次训练，得到第三卷积神经网络模型，该网络模型具有一定的异常标定能力，其标定准确度是否合格，需要通过S206-S208的验证。
S206、将测试集输入到第三卷积神经网络模型，得到测试结果；
需要指出的是，测试集中的图像样本为已知标定结果的图像样本，为了验证上述步骤建立的第三卷积神经网络模型是否能够准确标定出具有异常特征的图像，将测试集中的多个图像样本输入到第三卷积神经网络模型，得到多个图像样本的测试结果，测试结果为多组图像样本的标定结果。
S207、根据测试结果计算第三卷积神经网络模型的标定准确率；
根据上述测试结果，确定标定正确的图像样本的数量和标定错误的图像样本的数量，从而计算得到该测试集下的第三卷积神经网络模型的标定准确率。其中，标定准确率＝标定正确的图像样本的数量/测试集中图像样本的总数量。
S208、判断标定准确率是否满足预设准确率，若满足，则将第三卷积神经网络模型作为第一卷积神经网络模型。
根据S208的计算结果，确定标定准确率是否达标，例如，预设的标定准确率为95％，则只有标定准确率大于等于95％的第三卷积神经网络模型才能作为最终预设的第一卷积神经网络模型，用于对实际铁路或公路系统的异常检测。
可选的，定期增加新的异常图像数据，并在预设的第一卷积神经网络模型上训练，以不断优化网络模型的性能，使其更好的发挥作用。
本实施例提供了第一卷积神经网络模型的建模过程，通过上述方法建立的第一卷积神经网络模型具有较高的标定准确率，且通过不断增加新的异常图像样本，并基于更新后的图像数据库对第一卷积神经网络模型进行训练，可进一步提升第一卷积神经网络模型的标定性能。
在上述各实施例的基础上，需要指出的是，本实施例的第一卷积神经网络模型具体包括：十六个卷积层、五个池化层、两个全连接层和一个softmax层。其中，
对于卷积层，每个卷积层的卷积核的大小均为3*3，每个卷积核按一个像素间隔对输入图像数据(输入向量)进行卷积操作。每个卷积层中使用的激活函数为ReLu函数yi＝max{xi,0}，其中xi为前一输出相连的第i个权值矩阵与当前层输入的内积，即卷积结果，yi为相应卷积层的输出。
对于池化层，通常采用的池化方法有均值池化方法、随机池化方法和最大池化方法，本实施例的池化层采用最大池化方法。
对于全连接层和softmax层，其维数分别为4096和2。其中，softmax层最终输出标定结果(0或1)。
下面对第一卷积神经网络模型进行图像数据的特征标定做详细说明。
图3为本发明一实施例提供的第一卷积神经网络模型特征标定的流程示意图，如图3所示，该流程以一个图像样本为例展开，具体包括以下几个步骤：
S301、将图像样本连续通过两个第一卷积层卷积，再通过第一池化层进行最大池化；
本实施例中的图像样本应满足第一卷积神经网络模型的输入类型。因此，检测装置将图像样本输入第一卷积神经网络模型之前，需要对图像样本进行预处理，预处理具体包括缩放和裁剪。例如，将图像样本缩放到256*256像素大小，并进一步裁剪为224*224像素大小。随后，将经过预处理的图像样本输入到第一卷积神经网络模型中，并执行S301。
本步骤中的两个第一卷积层均为64通道的卷积层。
S302、将第一池化层的输出结果再连续通过两个第二卷积层卷积，再通过第二池化层进行最大池化；
本步骤中的两个第二卷积层均为128通道的卷积层。
S303、将第二池化层的输出结果再连续通过三个第三卷积层卷积，再通过第三池化层进行最大池化；
本步骤中的三个第三卷积层均为256通道的卷积层。
S304、将第三池化层的输出结果再连续通过三个第四卷积层卷积，再通过第四池化层进行最大池化；
本步骤中的三个第四卷积层均为512通道的卷积层。
S305、将第四池化层的输出结果再连续通过三个第五卷积层卷积，再通过第五池化层进行最大池化；
本步骤中的三个第五卷积层均为512通道的卷积层。
S306、将第五池化层的输出结果再连续通过两个全连接层和一个softmax层，得到图像样本的特征标定结果。
本实施例的图像样本的特征标定结果为0或1。其中，
0代表异常图像特征，1代表正常图像特征。
通过上述标定过程，实现对输入到第一卷积神经网络模型的图像样本的异常检测，使用本实施例的第一卷积神经网络模型进行图像特征的标定，具有较高的准确性，便于检测装置根据第一卷积神经网络模型的输出结果及时对异常场景图像作出响应，提高检测装置的检测效率。
图4为本发明一实施例提供的异常场景检测装置的结构示意图，如图4所示，本实施例的异常场景检测装置40，包括：
接收模块41，用于接收第一终端发送的视频数据；
采样模块42，用于根据预设采样间隔对所述视频数据进行采样，得到多个图像数据；
导入模块43，用于将各所述图像数据输入到第一卷积神经网络模型中；所述第一卷积神经网络模型用于标定图像是否为异常图像；
确定模块44，用于根据所述第一卷积神经网络模型的标定结果确定所述图像是否为异常图像；
若确定所述图像为异常图像，发送模块45，用于将所述异常图像的信息发送到第二终端。
本实施例提供的异常场景检测装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任一项方法实施例所述的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明提供的电子设备实施例的结构示意图，如图5所示，本实施例的电子设备，包括：
处理器51；以及
存储器52，用于存储所述处理器51的可执行指令；
其中，所述处理器51配置为经由执行所述可执行指令来执行前述任一项方法实施例所述的技术方案，其实现原理和技术效果类似，此处不再赘述。
上述系统中的各模块的功能可以通过处理器51实现。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、SRAM、DRAM、FLASH、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。