视频图像处理方法、装置及具有存储功能的装置与流程

本申请涉及视频图像处理技术领域，特别是涉及一种视频图像处理方法、装置及具有存储功能的装置。

背景技术

异常事件检测技术作为一种重要的自动监控手段，可对公共场所中的密集人群进行监测，实现突发事件的快速检测和及时报警，对维护生命财产安全具有重要意义。

现有技术中，通常使用以下三种方法进行异常事件检测，第一种是监督类方法，这类方法通常从标记的视频数据中学习建立正常和异常行为模型，然后通过分类器进行分类；第二种方法是基于轨迹的方法，这类方法通过提取目标的轨迹来获得正常事件模型的聚类，通过完整地训练正常轨迹，在线地预测当前未完成轨迹的趋势，以尽早发现异常；第三种方法是基于统计学习的方法，该方法建立一个正常事件模型来检测异常，其依赖于从图像或者时空视频块中提取的低层次特征，然后建立相关模型，对其进行训练。

现有的发明人在长期的研究中发现，上述异常事件检测方法具有一定的依赖性：第一种方法只能在严格限制的视频场景条件下检测特定的异常事件；第二种方法严重依赖于轨迹的提取过程，在密集的场景中，很难获得鲁棒性的检测结果；第三种方法计算复杂度高，并且建立的正常事件模块的判断标准严重依赖于训练数据。

技术实现要素：

本申请主要解决的技术问题是提供一种视频图像处理方法、装置及具有存储功能的装置，能够快速地检测视频中是否有异常事件发生。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频图像处理方法，包括：

对视频图像进行操作分别得到基于空间信息和运动信息的图像；

利用所述基于空间信息和运动信息的图像构建图像的四元数帧；

分别通过离散余弦变换操作、标记操作、反离散余弦变换操作、高斯滤波操作将所述图像的四元数帧转换为图像的热力图；

判断所述图像的热力图中是否存在高亮区域，若存在，则将所述高亮区域确定为所述视频中异常事件发生的可疑区域。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种视频图像处理装置，其特征在于，所述装置包括：处理器、存储器以及通信电路，所述存储器、所述通信电路分别耦接所述处理器，所述处理器在工作时控制自身以及所述存储器、所述通信电路以实现上述方法中的步骤。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种具有存储功能的装置，存储有程序数据，所述程序数据能够被执行以实现上述方法中的步骤。

本申请的有益效果是：区别于现有技术的情况，本申请中视频图像处理方法包括：对视频图像进行操作分别得到基于空间信息和运动信息的图像；利用基于空间信息和运动信息的图像构建图像的四元数帧；分别通过离散余弦变换操作、标记操作、反离散余弦变换操作、高斯滤波操作将图像的四元数帧转换为图像的热力图；判断图像的热力图中是否存在高亮区域，若存在，则将高亮区域确定为视频中异常事件发生的可疑区域。通过该视频图像处理方法无需事前进行训练，不需要利用先验知识，计算复杂度低，鲁棒性高，能够快速地对视频中异常事件的发生进行检测和定位。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请视频图像处理方法一实施方式的流程示意图；

图2是本申请视频图像处理方法另一实施方式的流程示意图；

图3是本申请视频图像处理装置一实施方式的结构示意图；

图4是本申请具有存储功能的装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参阅图1，图1是本申请视频图像处理方法一实施方式的流程示意图，该方法包括：

s101：对视频图像进行操作分别得到基于空间信息和运动信息的图像。

视频为要检测是否有异常事件发生的视频，一般是通过监控摄像头拍摄得到的。具体地，步骤s101中对视频图像进行操作分别得到基于空间信息的图像和基于运动信息的图像。

空间信息指的是视频图像中反映实体空间分布特征的信息，例如视频图像中实体的外观信息、形状信息、位置之间的分布关系等。基于空间信息的图像指的是在该基于空间信息的图像中，每一个像素点表示的信息为视频图像中的空间信息。

运动信息指的是视频图像中反映运动目标的信息，例如，运动目标的运行方向、运动速度、运动加速度以及运动路程等。基于运动信息的图像指的是在该基于运动信息的图像中，每一个像素点表示的信息是视频图像中的运动信息。

基于空间信息的图像可以是多个表示不同空间信息的图像，例如包括外观信息的图像、形状信息的图像等，基于运动信息的图像也可以是多个表示不同运动信息的图像，例如包括运行速度的图像、运动方向的图像等。

在该步骤中，通过得到视频图像的空间信息和运动信息，相比较于一些现有技术中只结合空间信息，本申请能够更加贴近地反映视频图像中各个事件的发生，为后续准确地检测和定位异常事件提供基础。

步骤s101中具体是对视频中同一帧图像进行操作分别得到基于空间信息的图像和基于运动信息的图像，从而以便后续判断该帧图像中是否存在异常事件发生的可疑区域，例如，对视频中当前帧进行操作分别得到基于空间信息和运动信息的图像。

可选的，步骤s101中得到的基于空间信息的图像和基于运动信息的图像既可以与视频图像的尺寸相同，也可以是小于视频图像的尺寸，例如，可以是对视频图像的局部进行操作得到基于空间信息和运动信息的图像，在此不做限制。

s102：利用所述基于空间信息和运动信息的图像构建图像的四元数帧。

四元数是由爱尔兰数学家哈密顿在1843年发明的数学概念，其是简单的超复数，包含一个实数和三个虚数位，其表示如下：

q＝a+bi+cj+dk

其中，a,b,c,d属于实数，i,j,k表示三个虚数单位，且满足i²＝j²＝k²＝-1。

具体地，结合基于空间信息的图像和基于运动信息的图像中相同位置点的所对应的信息值形成四元数，从而构建整个视频图像的四元数帧q，该四元数帧q具体是一幅图像，可选的，该图像与基于空间信息的图像、与基于运动信息的图像尺寸相同，在该四元数帧图像中，一个像素点所对应的信息是结合基于空间信息的图像中该点所对应的信息和基于运动信息的图像中该点所对应的信息得到的。当然，在其他实施方式中，四元数帧q的尺寸也可以小于基于空间信息和运动信息的图像的尺寸，其可以是利用基于空间和运动信息的图像的局部信息构建视频图像的四元数帧q。

s103：分别通过离散余弦变换操作、标记操作、反离散余弦变换操作、高斯滤波操作将所述图像的四元数帧转换为图像的热力图。

离散余弦变换操作(discretecosinetransform，dct)的变换核为余弦函数，其除了具有一般的正交变换性质外，它的变换阵的基向量能很好地描述人类语音信号和图像信号的相关特性。因此，在对语音信号、图像信号的变换中，离散余弦变换操作被认为是一种准最佳变换。

首先，经过根据离散余弦变换操作的定义，利用如下公式处理图像的四元数帧q，

其中，x、y表示四元数帧q的尺寸，(x，y)表示像素在四元数帧q中的位置，q(x，y)表示的是在位置为(x，y)的像素所对应的四元数，μq是一个单位纯四元数，α和β的定义如下：

经过上述操作，图像的四元数帧q由时域变换到频率域，分别得到振幅谱和相位谱。

接着对振幅谱进行标记操作，而四元数的标记操作是归一化操作，其定义如下：

其中，

然后结合相位谱和标记后的振幅谱执行反离散余弦变换操作，其具体操作如下：

现在得到了重构的帧图像，然后通过对重构的图像利用如下公式：

进行高斯滤波操作，就得到了热力图，其中，tq＝iqdct(signfun(qdct(q)))，且是tq的共轭形式，⊙表示逐元素相乘，g是高斯平滑滤波，其公式为：σ为标准差。

通过该步骤能够得到视频图像的热力图。

s104：判断所述图像的热力图中是否存在高亮区域，若存在，则将所述高亮区域确定为所述视频中异常事件发生的可疑区域。

高亮区域具体为像素值较大的区域，本实施方式中最终得到的热力图为异常显著热力图，该热力图中的像素值越大，那么原始视频图像中相应位置发生异常事件的可能性越大，因此判断最终的热力图中是否存在高亮区域，若存在高亮区域，则表明可能发生了异常事件，并将高亮区域确认为异常事件发生的可疑区域，实现对异常事件的快速检测与定位，若不存在高亮区域，则表明未发生异常事件。

从上述内容可以看出，本申请中的视频图像处理方法无需事前进行训练，不需要利用先验知识就能够对视频中异常事件的发生进行检测和定位，其计算复杂低，鲁棒性高。

可选的，本实施方式中热力图为灰度图，高亮区域的灰度值大于预定阈值，即将灰度值大于预定阈值的区域确定为高亮区域，其中预定阈值可根据经验或实验得到。

当然，在其他实施方式中热力图也可以为彩色图，此时，高亮区域可根据颜色来确定，例如，若像素越趋近于红色，则原始图像中相应位置发生异常事件的可能性越大，像素越趋近于蓝色，原始图像中相应位置发生异常事件的可能性越小，则此时将像素颜色为红色的区域确定为高亮区域。

可选的，本实施方式的一个应用场景中，基于空间信息和运动信息的图像包括基于空间信息和运动信息的四个通道的图像，具体地，四个通道的图像包括基于空间信息的灰度通道图像和图像中运动目标的轮廓通道图像、基于运动信息的图像中运动目标的运动速度通道图像和图像中运动目标的运动方向通道图像。当然，在其他应用场景中，基于空间信息和运动信息的图像也可以只包括这四个通道的图像中的两个或三个，或者是包括其他基于空间信息的图像或基于运动信息的图像。

也就是说，灰度通道图像、图像中运动目标的轮廓通道图像中表示的是视频图像中的空间信息，而图像中运动目标的运动速度通道图像和图像中运动目标的运动方向通道图像表示的是视频图像中的运动信息。

在该应用场景中，步骤s102具体包括：步骤s1021：利用如下公式构建图像的四元数帧图像：

q＝i¹+i²i+i³j+i⁴k

其中，i¹为图像的灰度通道图像，i²为图像中运动目标的轮廓通道图像，i³为图像中运动目标的运动速度通道图像，i⁴为图像中运动目标的运动方向通道图像。

具体地，可先操作得到上述四个通道的图像，然后将四个通道的图像中同一位置点的信息值利用上述公式分别相加得到本申请中的四元数帧q。

由于每个通道图像揭示视频图像的不同方面的信息，因此不同的通道图像应对最终的结果有不同的贡献，因此步骤s1021中的公式还可以具体为：

q＝w1i¹+w2i²i+w3i³j+w4i⁴k

其中，w1为灰度通道图像所对应的权重值，w2为轮廓通道图像所对应的权重值，w3为运动速度通道图像所对应的权重值，w4为运动方向通道图像所对应的权重值。

通过设置每个通道图像不同的权重值，可以对不同的异常事件检测具有不同的敏感程度。具体地，当灰度通道图像所对应的权重值w1增大时，可以倾向于检测闯入异常，例如人行道上出现一辆白色的汽车；当轮廓通道图像所对应的权重值w2增大时，可以倾向于检测聚集现象的异常，例如大量的人群聚集异常等；当运动速度通道图像所对应的权重值w3增大时，可以倾向于检测超速异常；当运动方向通道图像所对应的权重值w4增大时，可以倾向于检测逆行异常。

可选的，各个通道图像所对应的权重值的范围为：0.1～10，具体的可根据经验或对异常事件的敏感度确定。例如，当需要倾向于检测逆行的异常时，将运动方向通道图像所对应的权重值w4设置为最大。

可选的，由于运动速度作为异常事件的一个重要线索，对异常事件的检测比其他通道图像有更大的贡献，因此，在本实施方式的一个应用场景中，取w1为0.3，w2为1.1，w3为5，w4为0.2，即此时运动速度通道图像所对应的权重值w3最大。

可选的，在该应用场景中，确定视频图像的灰度通道图像的方法包括：

若图像为灰度图像，则直接获取图像的灰度通道图像；若图像为彩色图像，则根据颜色视觉显著性理论得到图像的灰度通道图像。

具体地，若图像为灰度图像，则图像的灰度通道图像为该图像本身，若图像为彩色图像，则利用如下公式计算图像的灰度通道图像：

rg＝r-g

by＝b-y

i¹＝max(rg+by，255)

其中，r为红子像素的通道，g为绿子像素的通道，b为蓝子像素的通道，max为取最大值函数。

可选的，在该应用场景中，确定视频图像中运动目标的轮廓通道图像的方法包括：

将图像与图像的前一帧图像进行差分，并取其结果的绝对值，得到运动目标的轮廓通道图像。

可选的，在该应用场景中，确定视频图像中运动目标的运动速度通道图像的方法包括：

计算图像与图像的前一帧图像的光流信息；

通过光流信息的幅值得到运动目标的运动速度通道图像。

也就是说，此时需要获取视频图像的前一帧图像。可选地，为了排除噪声的干扰，设定一个阈值t来过滤掉噪声，即当光流幅值小于t时，光流幅值被设置为0。可选的，阈值t为0.4。

可选的，在该应用场景中，确定视频图像中运动目标的运动方向通道图像的方法包括：

计算图像与图像的前一帧图像的光流信息；

通过光流信息的方向得到运动目标的运动方向通道图像。

此时可选的，对于光流幅值为0的点，默认为该点的方向为0。

从上述内容可以看出，通过上述简单的计算，即可构建图像的四元数帧q，从而能够为简化整个处理方法打下基础。

参阅图2，图2是本申请视频图像处理方法另一实施方式的流程示意图，与上述实施方式不同的是，在步骤s103与步骤s104之间还包括：

步骤s105：融合多个尺度图像的热力图，得到最终的热力图。

对于具体的应用而言，异常事件可能发生在不同的尺度下，因此在步骤s103中获得的热力图包括多个尺度图像的热力图，通过融合多个尺度的热力图得到最终的热力图。

具体地，尺度被定义为图像帧的分辨率，通过缩放步骤s102中的四元数帧q，并执行步骤s103而得到多个尺度的热力图，并通过下式:

s^m(q)＝hσm*∑m∈mfr(s^m(q))

合成所有尺度的结果得到视频图像的最终热力图，其中，s^m(q)表示的是在尺度m上的热力图，fr表示调整矩阵的分辨率至最终热力图的分辨率，hσm为一个可选的高斯滤波函数。

可选地，在本实施方式的一个应用场景中，缩放四元数帧q的缩放因子的范围为0.1～0.5。

参阅图3，图3是本申请视频图像处理装置一实施方式的结构示意图，该处理装置20包括：处理器22、存储器23以及通信电路21，存储器23、通信电路21分别耦接处理器22，处理器22在工作时控制自身以及存储器23、通信电路21以实现上述视频图像处理方法中的步骤，具体的视频图像处理方法可参见上述实施方式，在此不再赘述。

其中，视频图像处理装置可以是台式电脑、平板电脑、智能手机等，在此不做限制。

参阅图4，图4是本申请具有存储功能的装置一实施方式的结构示意图，该具有存储功能的装置30存储有程序数据31，程序数据31能够被执行以实现上述视频图像处理方法中的步骤，具体视频图像处理方法可参见上述实施方式，在此不再赘述。

其中，具有存储功能的装置30可以是便携式存储介质，如u盘、光盘，也可以是终端、服务器等。

总而言之，区别于现有技术的情况，本申请中的视频图像处理方法无需事前进行训练，不需要利用先验知识就能够对视频中异常事件的发生进行检测和定位，其计算复杂低，鲁棒性高，在视频监控等领域具有较广阔的前景。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。