基于模式识别的视频图像危险态势感知方法、系统、装置与流程

本发明属于信息技术及安全技术领域，具体涉及一种基于模式识别的视频图像危险态势感知方法、系统、装置。

背景技术：

近年来，态势感知技术在作战指挥控制、网络安全以及智能交通等诸多领域得到了广泛应用。伴随着科学技术的发展，各种信息采集设备的出现及信息传输方式的改变带来了信息量的爆炸性增长，面对时刻更新的海量数据，人类的理解能力无法完成对大量数据的感知，其理解速度也无法与信息的更新速度相匹配，从而造成一系列关键危险目标及危险态势感知不及时、错误等问题。因此，如何从海量数据中快速准确地获取有效信息，对关键危险目标或态势的精准实时自主感知成为新的研究课题。

在各类危险态势感知系统获取的信息中，视频图像以信息丰富、形象直观、准确度高和时效性强等特点成为主要来源，但视频图像的目标态势感知识别存在较大困难。一是视频图像数据量庞大，包含信息丰富，目标结构性特征明显，现有的机器学习算法在进行视频图像目标识别时对特征提取的要求较高，而人工设计的规则提取的特征往往无法满足要求；二是图像场景的复杂性以及目标的多样性对算法的识别精度和感知模型的泛化能力提出了较高要求。因此，有必要提供一种基于视频图像的危险态势感知方法，能够实现快速、精准地进行危险态势的识别。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有视频图像危险态势感知实时性差和精度低的问题，本发明第一方面，提出了一种基于模式识别的视频图像危险态势感知的方法，该方法包括：

步骤s10，获取待感知图片组；所述待感知图片组为时序连续q个采样图片；

步骤s20，获取待感知图片组中每一个待感知图片中的危险目标；

步骤s30，对每一个待感知图片，按照预设的危险目标等级对应关系，确定其对应的危险目标等级；

步骤s40，对所述待感知图片组中各待感知图片的危险目标等级按时序排列，得到对应的危险目标等级序列；

步骤s50，基于预设的危险事态模式规则表，对步骤s40得到的危险目标等级序列进行匹配，获取所述待感知图片组对应的危险态势等级；

其中，

所述危险目标等级对应关系，为预设的危险目标类别与该类别对应危险等级的映射关系；

所述危险事态模式规则表，为预设的危险目标等级组合与预设的危险态势等级的映射关系；其中所述危险目标等级组合包含q个元素。

在一些优选的实施方式中，所述待感知图片组，其获取方法为：通过采集设备按照设定采样频率获取时序连续q个图片，或者基于输入视频按照设定时间间隔采样获取时序连续q个图片。

在一些优选的实施方式中，步骤s20“获取待感知图片组中每一个待感知图片中的危险目标”，其方法为基于预设的危险目标识别模型，识别待感知图片中危险目标；所述危险目标识别模型基于卷积神经网络构建，其训练样本中的输入样本为危险目标样本图片，输出样本为输入样本对应的危险目标类别。

在一些优选的实施方式中，步骤s30“对每一个待感知图片，按照预设的危险目标等级对应关系，确定其对应的危险目标等级”，其方法为：

若待感知图片中危险目标数量小于等于一个，按照预设的危险目标等级对应关系，确定其对应的危险目标等级；

若待感知图片中危险目标数量为多个，选取其包含的危险目标中等级最高的危险目标，并以该危险目标的等级作为该图片对应的危险目标等级。

在一些优选的实施方式中，所述危险事态模式规则表，其构建方法为：

步骤a10，通过包含q个元素的数组表示危险目标等级组合，其中每个元素代表图片的危险目标等级；

步骤a20，基于图片的危险目标等级分类，对q个元素的数组进行全排列，得到多个数组；

步骤a30，构建步骤a20中得到的每个数组与预设的危险态势等级的映射关系，得到所述危险事态模式规则表。

在一些优选的实施方式中，该方法在步骤s50之后，还包括：

步骤s60，若步骤s50得到的危险态势等级大于设定等级，则进行危险态势预警。

本发明的第二方面，提出了一种基于模式识别的视频图像危险态势感知的系统，该系统包括采样模块、获取目标模块、确定等级模块、序列排列模块、匹配模块；

所述的采样模块，配置为获取待感知图片组；所述待感知图片组为时序连续q个采样图片；

所述的获取目标模块，配置为获取待感知图片组中每一个待感知图片中的危险目标；

所述的确定等级模块，配置为对每一个待感知图片，按照预设的危险目标等级对应关系，确定其对应的危险目标等级；

所述的序列排列模块，配置为对所述待感知图片组中各待感知图片的危险目标等级按时序排列，得到对应的危险目标等级序列；

所述的匹配模块，配置为基于预设的危险事态模式规则表，对步骤s40得到的危险目标等级序列进行匹配，获取所述待感知图片组对应的危险态势等级。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现权利要求1-6任一项所述的基于模式识别的视频图像危险态势感知方法。

本发明的第四方面，提出了一种处理设置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于模式识别的视频图像危险态势感知方法。

本发明的有益效果：

本发明对危险目标的不同态势按照危险等级进行时序模式排列，只需对该时序模式按照预设的危险事态模式规则表进行匹配即可完成危险态势的识别，提高了视频图像危险态势识别的速度，克服现有技术因复杂的计算方法导致实时性差的问题。

本发明采用深度全连接神经网络和卷积神经网络来构建危险目标识别模型，提高了危险目标识别精度。

附图说明

通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。

图1是本发明一种实施例的基于模式识别的视频图像危险态势感知方法的流程示意图；

图2是本发明一种实施例的基于模式识别的视频图像危险态势感知方法的框架示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的基于模式识别的视频图像危险态势感知方法，包括以下步骤：

步骤s10，获取待感知图片组；所述待感知图片组为时序连续q个采样图片；

步骤s20，获取待感知图片组中每一个待感知图片中的危险目标；

步骤s30，对每一个待感知图片，按照预设的危险目标等级对应关系，确定其对应的危险目标等级；

步骤s40，对所述待感知图片组中各待感知图片的危险目标等级按时序排列，得到对应的危险目标等级序列；

步骤s50，基于预设的危险事态模式规则表，对步骤s40得到的危险目标等级序列进行匹配，获取所述待感知图片组对应的危险态势等级；

其中，

所述危险目标等级对应关系，为预设的危险目标类别与该类别对应危险等级的映射关系；

所述危险事态模式规则表，为预设的危险目标等级组合与预设的危险态势等级的映射关系；其中所述危险目标等级组合包含q个元素。

为了更清晰地对本发明基于模式识别的视频图像危险态势感知方法进行说明，下面结合附图1对本发明方法一种实施例中各步骤进行展开详述。

下文优选实施例中，先对危险目标识别模型进行详述，然后再对采用危险目标识别模型获取待感知图片中危险目标的基于模式识别的视频图像危险态势感知方法进行详述，当然，在其他实施例中，基于模式识别的视频图像危险态势感知方法中危险目标也可以采用其他方法获取。

1、危险目标识别模型

1.1训练样本的构建

(1)危险目标图像的获取和预处理

根据预设的危险目标种类，分类采集各种类危险目标多角度的图像数据，并进行图片尺寸、格式统一。

危险目标的种类可以根据需要确定分级，可以为一级，例如刀具、枪支、炸弹等，也可以为两级，例如一级分类为枪，则对应的二级分类为手枪、冲锋枪等。

本实施例中，将获取的危险目标图片统一为256*256的rgb图像。

(2)危险目标图像的归一化

采用减去局部均值方法，对获取的危险目标图像进行亮度、明暗度的归一化，具体如公式(1)所示：

imgout＝img*a+imggaussian*b+r(1)

其中a,b,r为调节参数，img为原始图像，out为经过归一化的图像，imggaussian为经过高斯滤波器滤波过的图像，对数据作归一化处理在训练模型时对提高分类精度具有很大的帮助。

(3)样本扩增

为了满足卷积神经网络训练的数据样本需求，对收集的危险品样本采取随机拉伸、旋转等方法，产生一定数目的子图像，以解决数据样本数量不足的问题，以及平衡不同危险品样本数量的需求。在数据集扩增时，随机生成m个θ角度(0<θ<360°)，图像旋转m个角度，使得该类样本总数变为n×m个，这里的n为该类图像原来的个数。

(4)样本标注

将训练样本集中的图片等分网格，制作voc数据集，标注出每个图片样本中危险品的种类及危险品在图片位置区域s。

s＝[x,y,width,height]

其中x,y为危险品位置区域的左上角坐标，width和height为危险品区域的宽和高。

将标注好的图片生成对应的标记语言文件，例如xml文件。

本实施例中，将训练样本集中的图片等分网格，具体为：将训练样本集中的每一张图片等分为8*8个正方形网格，每个网格的大小为32x32。

1.2危险目标识别模型的构建

本实施例采用多层结构的卷积神经网络来构建危险目标识别模型，其网络架构如式(2)所示：

input→{[conv→relu]×n→maxpooling}×m→[fc→softmax]×l→fc→output(2)

其中，input为输入的图像数据，conv为卷积层，relu为激活函数，maxpooling为尺度变换操作，fc为全连接网络层，softmax为fc的激活函数，output为识别的结果输出。

1.3危险目标识别模型的训练

在训练前，利用权重值、偏置值、批量归一化尺度因子值对卷积神经进行初始化，如式(3)、(4)、(5)所示：

其中，表示卷积神经网络第l层第j通道的第i个权重值，～表示服从概率分布符号，表示卷积神经网络第l层第j通道的偏置值，表示卷积神经网络第l层第j通道的批量归一化尺度因子值。

然后，将训练样本集输入到卷积神经中，并按以下步骤进行训练：

(1)计算卷积神经网络中卷积操作的输出特征值，如公式(6)所示：

其中，表示卷积神经网络第l层第g通道的第n个经过卷积操作得到的输出值，sj表示卷积核第j通道的尺寸，表示卷积神经网络第l-1层的第g通道的第n个输出特征值。

(2)计算卷积神经网络中卷积层的每一个输出值，如公式(7)所示：

其中，at表示卷积神经网络中卷积层的第t个输出值，factivate表示激活函数，m表示通道尺寸，δ表示一个无限趋近于0的极小数。

(3)在卷积层的输出特征值居中的2*2领域内取输出特征最大值，作为卷积网络最大池化层的输出特征值矩阵。

(4)计算卷积神经网络中柔性最大值softmax层的每一个输出特征值，其所有的结果组成卷积神经网络中softmax层的输出特征值矩阵。如公式(8)所示：

其中，yz表示卷积神经网络softmax层的第z个输出特征值，xk表示卷积神经网络softmax层的第k个输入特征值，e表示softmax层的输入特征值总数。

(5)计算卷积神经网络输出层的损失值，损失函数loss由坐标误差lcoord、卷积神经网络输出层存在目标的概率损失值iou误差liou和分类误差lcls三部分组成，如公式(9)所示：

loss＝lcoord+liou+lcls(9)

计算卷积神经网络输出层的坐标误差，如公式(10)所示：

其中，λ表示坐标误差的权重，d表示划分图像的网格数，f表示边界框的数量，表示图片第γ个网格的第β个边界框有目标存在的指示函数，xγ表示图片第γ个网格中目标实际位置的横坐标，表示图片第γ个网格中目标预测位置的横坐标，yγ表示图片第γ个网格中目标实际位置的纵坐标，表示图片第γ个网格中目标预测位置的纵坐标，wr表示图片第γ个网格中目标的实际宽度，表示图片第γ个网格中目标的预测宽度，hγ表示图片第γ个网格中目标的实际高度，表示图片第γ个网格中目标的预测高度。

计算卷积神经网络输出层存在目标的概率损失值，如公式(11)所示：

cγ表示图片第γ个网格中存在目标的实际概率值，表示图片第γ个网格中存在目标的预测概率值，λiou表示不存在目标项的系数，表示图片第γ个网格的第β个边界框中目标不存在的指示函数。

计算卷积神经网络输出层分类误差损失值，如公式(12)所示：

其中，pγ(c)为第γ个网格中目标类别为c的真实概率值，为第γ个网格中目标类别为c的预测概率值，classes为分类。

(6)采用随机梯度下降方法，并行计算卷积神经网络更新后的权重值、偏置值。计算卷积神经网络每一层每一个通道的权重、偏置的梯度值，如公式(13)、(14)所示：

其中，表示卷积神经网络第l层第j通道的第i个权重的梯度值，表示卷积神经网络第l层第j通道偏置的梯度值，表示损失函数loss对卷积神经网络第l层第j通道的第i个权重值的偏导，表示损失函数loss对卷积神经网络第l层第j通道的偏置值的偏导。

计算卷积神经网络更新后的权重值、偏置值，如公式(15)、(16)所示：

其中，表示卷积神经网络第l层第j通道的第i个权值更新后的值，表示卷积神经网络第l层第j通道更新后的偏置值，α表示学习率，其取值范围为(0,1)。

(7)判断当前卷积神经网络输出层的损失值是否小于0.01，若是，则将训练好的卷积神经网络模型进行存储，否则，重新计算损失值。

2、基于模式识别的视频图像危险态势感知方法

本发明实施例的一种基于模式识别的视频图像危险态势感知方法，包括以下步骤：

步骤s10，获取待感知图片组；所述待感知图片组为时序连续q个采样图片。

本实施例中，待感知图片组从视频中获取。从视频源获取视频数据，设定视频图像采样周期，从视频中按时序进行视频帧的提取，获取一组按时序排列的图像序列，例如，每隔1秒截取一张图片，并按照时间信息命名，如20180802093045.jpg，表示在2018年8月2日上午9点30分45秒的截图，形成一系列基于时序的图片集。

步骤s20，获取待感知图片组中每一个待感知图片中的危险目标。

首先，将带时序信息的图片集中的图片，按照危险目标识别模型的输入要求进行统一，本实施例中将图片大小统一为256*256的rgb图像，并进行亮度、明暗度的归一化处理。然后，将时序图片集的图片等分为8*8个正方形网格，每个网格的大小为32x32。整理完成后，基于训练好的危险目标识别模型，识别待感知图片中危险目标类别。

步骤s30，对每一个待感知图片，按照预设的危险目标等级对应关系，确定其对应的危险目标等级。

首先，对不同的模式给定不同的危险等级。模式，即每张图片的识别结果。如，识别结果为无危险目标则等级为“0”，识别结果为刀具则等级为“1”，识别结果为枪支则等级为“2”，识别结果为炸弹则等级为“3”等。

若待感知图片中危险目标数量小于等于一个，按照预设的危险目标等级对应关系，确定其对应的危险目标等级；若待感知图片中危险目标数量为多个，选取其包含的危险目标中等级最高的危险目标，并以该危险目标的等级作为该图片对应的危险目标等级。

步骤s40，对所述待感知图片组中各待感知图片的危险目标等级按时序排列，得到对应的危险目标等级序列。

本实例中，确定的危险目标等级按照图片集的时序进行排列，得到一个危险目标等级序列，并进行存储。

步骤s50，基于预设的危险事态模式规则表，对步骤s40得到的危险目标等级序列进行匹配。

本实例中，将不同的危险等级组成的序列划分为不同态势，如表1所示，表中的模式以三个连续采样周期进行识别判断。根据表中可知“000”态势等级为安全，“011”态势等级危险。识别感知的时危险品的等级按等级高的计算，如“012”出现，按有一个“2”出现的情况处理。

危险事态模式规则表，如表1所示：

表1

然后，根据危险态势模式表对危险目标等级序列进行匹配，针对危险态势进行感知，得到的危险态势等级大于设定等级，则进行危险态势预警。

本发明第二实施例的一种基于模式识别的视频图像危险态势感知系统，如图2所示，包括：采样模块1、获取目标模块2、确定等级模块3、序列排列模块4、匹配模块5；

采样模块1，配置为获取待感知图片组；所述待感知图片组为时序连续q个采样图片；

获取目标模块2，配置为获取待感知图片组中每一个待感知图片中的危险目标；

确定等级模块3，配置为对每一个待感知图片，按照预设的危险目标等级对应关系，确定其对应的危险目标等级；

序列排列模块4，配置为对所述待感知图片组中各待感知图片的危险目标等级按时序排列，得到对应的危险目标等级序列；

匹配模块5，配置为对所述待感知图片组中各待感知图片的危险目标等级按时序排列，得到对应的危险目标等级序列。

所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考签署方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于模式识别的视频图像危险态势感知系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于模式识别的视频图像危险态势感知方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于模式识别的视频图像危险态势感知方法。

所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考签署方法实例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。