一种基于子波变换和特征对比的视频大数据信息提取方法与流程

本发明涉及大数据领域，特别是一种基于子波变换和特征对比的视频大数据信息提取方法。

背景技术：

伴随着4g通信技术和移动设备性能的快速发展，大数据时代正在一步步接近。互联网社交、多媒体娱乐以及新兴传媒已经逐渐渗透到人们的日常生活和工作当中，视频和图像数据呈现出爆炸式增长状态。传统人工处理方式已经无法应对如此大量的视频序列数据处理任务。同时，人工智能技术正逐渐使人类从重复劳动中解脱出来。人工智能技术应用十分广泛，相关研究已经成为了近期研究的热点。但是如何让计算机理解周围的环境一直是人工智能研究的重点和难点。目前，主流的原理是通过模仿人类感知周围环境的方式，来建立一个有效的视觉处理系统。

人类视觉系统(humanvisualsystem，hvs)是人类感知生存周围环境最直接和最重要的途径。人眼感官通过人眼视觉系统可以对图像的颜色、亮度、形状、运动等视觉信息进行感知，并通过人脑视觉中枢系统对以上视觉信息进行处理。实验研究结果表明，人类从外界接收的各种信息中75％以上是通过视觉获得的。在视觉信息生成过程中人类能够快速地找到感兴趣的区域或目标(一般为显著分布区域)，从而实现对视觉场景的感知。计算机视觉技术研究的目的就是通过仿真人类视觉系统使机器能够对所处环境的视觉信息进行处理和分析，使计算机像人类一样具备视觉系统的能力，可以对图像信息进行筛选，从而具备模式识别能力。视觉注意是模仿人类视觉系统实现迅速和有效处理视频数据的一个研究热点，能够快速从图像中提取少数显著的视觉对象，即感兴趣区域(regionofinterest，roi)。科学研究发现，人眼视觉系统能够同时处理时域信息和空域信息来感知视频信息中分布的roi。此外，类似于相机设备，人眼视觉系统在中心区域处有高的分辨率,而在周边域处有低的分辨率。子波变换方法通过选择合适的基函数能够在不同的尺度范围之内来分析一个图象或信息,实现了多分辨分析特性，较好的模拟了人类视觉信息提取过程。因此，许多研究将子波变换方法用于模拟视觉信息的提取。冯静等人提出了一种基于新颖子波变换的高光谱遥感图像特征提取。宋信强等人提出一种基于子波变换模拟视觉信息提取的人造视网膜模型。以上方法利用子波变换在频域上分解图像信号,并对各图像分量作适当的变换,来对应人类视觉系统的不同通道,然后利用子波逆变换合成与人类视觉提取的信息相一致的图像。

此外，由于roi也表现为视频序列时域和空域特征的融合，刘毅等人利用视觉显著性与图割实现了有效的图像分割。lij等人提出了基于频域尺度空间分析的视觉显著性模型分析方法。需要注意的是，由于视觉信息是时域信息和空域信息的复杂结合体，如果采用hvs特性对视觉显著度进行分析，就必须考虑显著性区域的全局独特性。

技术实现要素：

有鉴于此，本发明的目的是提出一种基于子波变换和特征对比的视频大数据信息提取方法，能够快速从图像中提取显著性分布并获得感兴趣区域。

本发明采用以下方案实现：一种基于子波变换和特征对比的视频大数据信息提取方法，其特征在于：包括以下步骤：

包括以下步骤：

步骤s1：获取视频图像；

步骤s2：采用高斯差分(dog)函数作为子波基函数，利用子波变换在空间域和频率域上分解步骤s1中获取的视频图像的图像数据，分解后的图像数据适用人类视觉系统的多通道；

步骤s3：采用cielab颜色空间的全局对比特征计算来实现步骤s2中分解后的图像的视觉显著性检测，并提取出感兴趣区域。

进一步地，所述步骤s2具体为：

采用高斯差分函数为子波基函数f(r)，所述高斯差分函数为：

则f(r)＝d(r)

σ1、σ2分别为高斯分布的2个标准离差；r表示径向距离

因此，子波基函数的子波族表示为：

其中，a表示扩展因子，b表示调节观测中心的参数；x、y分别为抽样点的横纵坐标；σ1＝1，σ2＝0.625；在多数实际场景中通常基于a的离散值a0对输入信号进行离散抽样，则从中抽样出受影响因子形成如下公式：

ψm,b(r)表示连续子波基函数；m＝n；

因此，二维小波变换表示为：

wf(m,b)＝∫∫±∞f(x,y)ψm,b(x,y)dxdy

wf(m,b)经过逆变换后得到的f(x,y)表示为：

其中，c为通道的数量，取值为6，即六个离散通道；扩展因子的离散值a0＝1/0.625。

进一步地，所述步骤s3具体为：

为了简化分析，设第i个像素的坐标向量为pi，第i个像素在cielab颜色空间的向量为ci，其公式为:

其中，xi、yi分别表示pi的横纵坐标；li通道表示明度即“l”；ai表示a通道的颜色是从红色到深绿；bi表示b通道的颜色从蓝色到黄色；

为了对图像的颜色全局对比图进行有效提取，把输入图像的rgb颜色模型转换成基于cie颜色系统的颜色模型，并利用slic超像素分割技术把图像迅速划分为n个超像素r＝{r1,r2,...,rn}；

处于同一个超像素中的所有像素点的颜色值一致；超像素rk的颜色全局对比计算方法公式为：

其中，n表示超像素的总数，表示第k个超像素的颜色平均值，为2个不同超像素颜色的欧氏距离，即为2个不同超像素位置的空间距离，α为调节参数；若α较大，则颜色对比度受到空间位置因素的干扰较大，若α较小，则颜色对比度受到空间位置因素的干扰较小。

与现有技术相比，本发明有以下有益效果：

本发明能够快速从图像中提取显著性分布并获得感兴趣区域。

附图说明

图1为本发明实施例的整体架构图。

图2为本发明实施例的特征融合理论结构图。

图3为本发明实施例的视觉过程结构框图。

图4为本发明实施例的a为三个不同值时各个子波系数所包含的信号成分在x-z面上的剖面图。

图5为本发明实施例的f(x,y)在x-z面上的截面图。

图6为本发明实施例的基于子波变换的视觉信息提取模型。

图7为本发明实施例的分割图片展示图。

图8为本发明实施例的分割细节展示图。

图9为本发明实施例的显著图分布结果对比。

图10为本发明实施例的车辆视频仿真结果图。

图11为本发明实施例的跳水视频仿真结果图。

图12为本发明实施例的跳床视频仿真结果图。

图13为本发明实施例的双杠视频仿真结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

在本实施例中，进行视觉注意机制分析具体内容为：

(1)视觉注意机制

在人类视觉系统中，人眼感官会根据图像中不同区域的分布产生不同程度的注意力。注意力的程度与视频视觉显著度直接相关。人眼感官通常能够快速锁定信息量较大的区域并将注意力集中在以上区域，需要对时域信息域信息和空域信息(色彩，强度，方向，运动)进行有效融合。现阶段，多数研究通过treisman和gelade的特征融合理论来实现对时域信息和空域信息的显著分析。

特征融合理论中将视觉注意过程分为2个阶段:1)预注意阶段。预注意阶段可以被视为视觉系统的初级阶段。在该阶段中，视觉系统分别对各种不同的初级视觉特征信息(纹理、色彩、强度、尺寸、方向、形状、运动等)进行采集。这些视觉特征均是相互独立的并行关系。视觉系统会对上述进行不同的编码，然后在对应的不同通道中形成一个特征图。2)特征整合阶段。特征融合理论的原理如图2所示。

(2)视觉显著性检测原理

为了仿真hvs得到显著图就必须使用视觉相关的显著性检测原理，本实施例主要采用了视觉显著性检测方法中的对比度方法。通过使用对比度方法可以判断某一对象是否会得到人眼感官的注意力，具体体现为某一区域和其相邻区域在颜色上、纹理上或者形状上的差异大小。对比度一般可以包括两类：1)局部对比和2)全局对比。

全局对比的主要原理是分析中心区域和整个背景区域的差异大小。该原理假设显著区域和全局区域之间具有较大的特征差异。一般的评估方式是计算某一区域的颜色与整幅图像颜色之间的距离。全局对比无需过多参数就能够较好的实现显著区域检测，但是其鲁棒性较差。局部对比的主要原理是分析中心与其邻近区域的差异程度，计算该区域与其邻近区域的对比来实现显著区域检测。相比全局对比的方法，局部对比方法对人眼视觉系统的模仿程度更好，但是对噪声的抗干扰能力更差，且实现复杂度较高。在本实施例中，采用的是全局对比方法。

通过上述对视觉注意机制的分析，可以看出人类视觉过程由多个步骤组成，如图3所示。研究表明视觉信息提取过程存在着多个离散频率通道，而子波变换方法通过选择合适的基函数能够在不同的尺度范围之内来分析一个图像，实现了多分辨分析特性，较好的模拟了人类视觉信息提取过程。

具体的，如图1所示，本实施例提出一种基于子波变换和特征对比的视频大数据信息提取方法，包括以下步骤：

步骤s1：获取视频图像；

步骤s2：采用高斯差分函数作为子波基函数，利用子波变换在空间域和频率域上分解步骤s1中获取的视频图像的图像数据，分解后的图像数据适用人类视觉系统的多通道；

步骤s3：采用cielab颜色空间的全局对比特征计算来实现步骤s2中分解后的图像的视觉显著性检测，并提取出感兴趣区域。

在本实施例中，所述步骤s2具体为：

采用高斯差分函数为子波基函数f(r)，所述高斯差分函数为：

则f(r)＝d(r)

σ1、σ2分别为高斯分布的2个标准离差；r表示径向距离

因此，子波基函数的子波族表示为：

其中，a表示扩展因子，b表示调节观测中心的参数；x、y分别为抽样点的横纵坐标；σ1＝1，σ2＝0.625；在多数实际场景中通常基于a的离散值a0对输入信号进行离散抽样，则从中抽样出受影响因子形成如下公式：

ψm,b(r)表示连续子波基函数；m＝n；

因此，二维小波变换表示为：

wf(m,b)＝∫∫±∞f(x,y)ψm,b(x,y)dxdy

wf(m,b)经过逆变换后得到的f(x,y)表示为：

其中，c为通道的数量，取值为6，即六个离散通道；扩展因子的离散值a0＝1/0.625。如图4(a)、(b)、(c)分别表示表示a＝a0、和b＝0时各个子波系数所包含的信号成分在x-z面上的剖面。其中，图4(a)、(b)、(c)的横坐标表示频率，纵坐标表示归一化的振幅。从图4中可以看出，当a值不断变大时，对应子波信号成分的频率不断降低，验证了扩展因子a的伸缩能力。图5为a0＝1/0.625，b＝0时输出f(x,y)在x-z面上的截面。其中，图5的横坐标表示频率，纵坐标表示振幅。基于子波变换的视觉信息提取模型中，如果大脑视觉处理器官察觉到感兴趣的对象时，立刻采用反馈环节改变扩展因子a来提高带通滤波器的中心频率，从而扩大带通宽度，减小观察范围。此外，通过修改b参数来调节观测中心位置，以便更好地提取显著区域的细节，如图6所示。

在本实施例中，所述步骤s3具体为：

本实施例采用cielab颜色空间的全局对比特征计算来实现视觉显著性检测。为了简化分析，设第i个像素的坐标向量为pi，第i个像素在cielab颜色空间的向量为ci，其公式为:

其中，xi、yi分别表示pi的横纵坐标；li通道表示明度即“l”；ai表示a通道的颜色是从红色到深绿；bi表示b通道的颜色从蓝色到黄色；

不同与rgb颜色模型，cielab颜色模型能够更好的模拟人类视觉系统。为了对图像的颜色全局对比图进行有效提取，把输入图像的rgb颜色模型转换成基于cie颜色系统的颜色模型，并利用slic超像素分割技术把图像迅速划分为n个超像素r＝{r1,r2,...,rn}；分割图片和细节展示分别如图7和图8所示；

从图8可以看出，处于同一个超像素中的所有像素点的颜色值几乎一致。处于同一个超像素中的所有像素点的颜色值一致；超像素rk的颜色全局对比计算方法公式为：

其中，n表示超像素的总数，表示第k个超像素的颜色平均值，为2个不同超像素颜色的欧氏距离(用于表示两者之间的差异程度)，即为2个不同超像素位置的空间距离，α为调节参数；若α较大，则颜色对比度受到空间位置因素的干扰较大，若α较小，则颜色对比度受到空间位置因素的干扰较小。根据经验总结，本实施例取α＝3。

如图9所示为处理静态图像时显著图分布结果的示例。颜色全局特征对比图9(a)和图9(c)为两个不同的输入图像，图9(b)和图9(d)是本实施例采用颜色全局特征对比计算得到的显著图。从图9可以看出，基于颜色全局特征对比能够有效得到视觉显著图。显著图1中黑色国际象棋主体区域较高亮。显著图2中标牌的箭头较明亮。也就是说采用颜色全局特征对比能够更好的完成视觉显著度分布检测。

较佳的，本实施例在真实视频序列数据的实验仿真中，采用matlab仿真软件实现视频信息处理和感兴趣区域提取，并进行了大量测试。测试视频序列选取了若干长度相同的网络视频序列。测试视频序列的分辨率为328×248。计算过程中α＝3，a0＝1/0.625，σ1＝1，σ2＝0.625。视觉信息提取结果：在4个视频序列实验中，将本实施例所提出的方法与空时域信息方法(sti)和基于视觉注意的特征共享(fsva)方法进行了对比分析，roi(感兴趣区域)提取结果对比分别如图10、图11、图12和图13所示。从以上4个图中可以看出，相比图9中图像的处理结果，在处理视频序列数据时，显著分布检测的结果明显降低。这是因为视频序列是动态的，对其中每一帧进行超像素分割技术的效果会比单独处理一副静态图像时降低不少。图10(a)、图11(a)、图12(a)和图13(a)分别为车辆、跳水、跳床和双杠的原视频帧。图10(b)、图11(b)、图12(b)和图13(b)分别为fsva算法处理原视频帧后检测到的roi。图10(c)、图11(c)、图12(c)和图13(c)分别为sti算法处理原视频帧后检测到的roi。图10(d)、图11(d)、图12(d)和图13(d)分别为本实施例方法处理原视频帧后检测到的roi。可以看出，fsva方法仅仅能检测到对象大概位置，且很容易收到噪声的干扰造成错误的roi判断，因此fsva检测roi的结果最差。其次，sti方法的roi提取结果与本实施例方法相近，但是处理运动信息时在roi检测上表现不好。最后，本实施例提出混合方法的roi检测结果最好，能更准确地检测到roi区域且具有较好的抗干扰能力，同时在处理处理运动信息时表现出较好的准确性。

较佳的，在本实施例中，为了进一步评估视觉信息提取模型的性能，选取了参数命中率(hr)和误警率(far)来对显著度检测的性能进行量化评估[16]。

其中，oi(t)为第i个观察者对第t帧图像进行标注后的黑白图像，则1表示感兴趣区域，0表示背景区域。s(t)为显著度检测算法提取到的显著度分布。通过上述两个可以对显著度检测算法或者roi提取模型进行性能评估。本实施例实验中设置了20位观察者对实验视频序列中其关注的区域进行人工标注。

表1为3种方法的性能对比，从中可以看出本实施例提出方法在性能上优于外两种算法。此外，相比其他2种方法，本实施例方法的计算运行时间分别减少了约35％和18％。

表13种方法的性能比较

较佳的，本实施例通过模仿人类视觉系统提出了将子波变换和对比度原理相结合的视觉信息提取方法，能够快速从图像中提取显著性分布并获得感兴趣区域。首先视觉注意机制和视觉显著性检测原理进行了分析。然后采用高斯差分函数作为子波基函数，利用子波变换在空间和频率域上分解图像数据，从而适用人类视觉系统的多通道。最后，通过颜色全局特征对比获取整个图像中的显著分布，最终提取出感兴趣区域。在测试视频数据序列上对该方法进行仿真实验，取得了较好的检测结果，表明了提出方法的有效性。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。