一种基于图的3D注视点预测的显著性融合方法与流程

本发明属于图像处理和计算机视觉领域，更具体地，涉及一种基于图的3d注视点预测的显著性融合方法。

背景技术

在视觉注意的领域内，已经存在相当多的针对2d视觉注意的模型，这些模型大致可以分为人眼注视点预测模型和显著性物体检测模型两大类。其中前者在像素尺度上计算显著强度图，后者旨在检测并分割一个场景中的显著物体或区域。针对人眼注视点预测的视觉注意模型已经相当多，然而对3d视频的注视点预测模型的研究在最近几年才刚刚开始。概括地说，大多数3d注视点预测模型的框架是从2d注视点预测模型中扩展而来。该框架主要包括两个步骤，第一步是从原始的颜色、深度视频序列中提取一系列的特征图，比如说低层次特征、深度/视差信息、运动特征等；第二步，采用多种多样的方式来融合这些特征图以产生最终的显著图。

例如，coria引入视差作为一种3d信息，假设在成像时靠近摄像机的物体具有更高的关注度。他们采用取平均的方式将另外两幅局部边缘和全局纹理的显著图与视差显著图相融合。wang提出了一个以深度作为附加视觉维度的模型，并以两种不同的方式将深度信息与2d显著图集成在一起。除了深度和视差信息以外，其他属性的特征也被应用到3d注意点预测中，如时间线索，场景分析等。

以上介绍的工作对3d显著性的研究作出了有益的探索。从这些工作以及其他的一些相关工作中我们可以观察到两个发展趋势：

1)3d视觉注意模型需要更多的分辨特征，如深度、视差和各种形式的运动信息；

2)更多特征的采用需要更有效的对这些特征的影响的结合，因而在领域中出现了更精确的融合方法。

其中，对那些相比2d模型更多的视觉特征的研究已经得到了足够的关注，相对而言，领域内对更有效的融合方法的研究仍然是一个开放的问题。

当前，领域内采用最多的对多特征的融合方式是固定权值相加，原因是其所具有的易操作性和高效性等特点。在其他的一些工作中，更多有效的融合方案也得到采用。例如，fang采用自适应加权的融合方法，为那些小而紧凑的显著区域分配较大的权重。这种融合方法可以实现对具有不同重要性的线索分配相应权值，但仍以线性方式融合线索。与线性融合方法不同，lu介绍了一种新颖的针对2d静态图像显著图的贝叶斯融合方法；该贝叶斯融合方法被扩展到3d立体视频。这两种贝叶斯融合方法以一种非线性的方式融合显著线索并且整体上取得了相对更好的效果。

无论如何，当前的这些融合方法，无论是线性的还是非线性的，都是基于传统的2d的特征融合理论，而并没有充分考虑3d视觉感知的内在属性。现有技术存在多模态特征融合过程中的不同模态特征预测显著性的不一致甚至互相矛盾的技术问题。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于图的3d注视点预测的显著性融合方法，由此解决现有技术存在多模态特征融合过程中的不同模态特征预测显著性的不一致甚至互相矛盾的技术问题。

为实现上述目的，本发明提供了一种基于图的3d注视点预测的显著性融合方法，包括显著图生成和基于图的融合，

所述显著图生成，包括从原始视频序列中获取每帧原始图片的显著图；

所述基于图的融合，包括：

(1)以原始图片中每个超像素点与其相邻超像素点之间的显著度平滑约束最小，同时原始图片与其相邻原始图片之间的显著性差异最小为目标，结合显著图，构建原始图片的能量函数；

(2)在原始图片中求解能量函数，得到原始图片的目标显著图。

进一步地，显著图包括：2d静态显著图、运动显著图、深度显著图和高层语义显著图。

进一步地，显著图生成的具体实现方式包括：

采用bms算法从每帧原始图片的左视点图像生成2d静态显著图，对每帧原始图像进行人脸高层语义，得到高层语义显著图，对每帧原始图像进行snic分割，得到超像素图，根据超像素图中每个超像素的全局对比度和背景先验知识得到深度显著图，根据超像素图中每个超像素的运动对比度得到运动显著图。

进一步地，步骤(1)包括：

以原始图片中每个超像素点与其相邻超像素点之间的显著度平滑约束最小，原始图片与其相邻原始图片之间的显著性差异最小，同时原始图片中每个超像素点的显著性标签值与原始图片中每个超像素点在显著图中的显著度之间的差异最小为目标，构建原始图片中每个超像素点的能量函数。

进一步地，平滑约束为原始图片中每个超像素点与其相邻超像素点之间的显著度差异乘以平衡系数，所述平滑系数为原始图片中每个超像素点与其相邻超像素点之间颜色维度差异和深度维度差异组成。

进一步地，步骤(2)包括：

在原始图片中利用置信传播算法求解能量函数，得到目标显著图，对目标显著图进行高斯模糊以及中心偏移，得到优化边缘的目标显著图。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明以原始图片中每个超像素点与其相邻超像素点之间的显著度平滑约束最小，同时原始图片与其相邻原始图片之间的显著性差异最小为目标，结合显著图，构建原始图片中每个超像素点的能量函数。由此可见，本发明构建的能量函数时，充分考虑了相邻帧对当前帧的影响，以及当前帧中相邻超像素点对当前超像素点的影响，并将这些影响在建立能量函数时作为对当前超像素点的多模态的约束。进而解决现有技术存在多模态特征融合过程中的不同模态特征预测显著性的不一致甚至互相矛盾的技术问题。使得本发明显著性融合方法在多模态特征融合过程中的不同模态特征预测显著性较好。

(2)本发明对每帧原始图像进行snic分割，得到超像素图，目的是加快运算速度。为了进一步提升性能，减小在超像素边缘产生的显著值突变，对最后的显著图采用高斯模糊以及中心偏移来优化边缘。

附图说明

图1是本发明实施例提供的一种基于图的3d注视点预测的显著性融合方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

一种基于图的3d注视点预测的显著性融合方法，包括显著图生成和基于图的融合，

所述显著图生成，包括从原始视频序列中获取每帧原始图片的显著图；显著图包括：2d静态显著图、运动显著图、深度显著图和高层语义显著图。具体的采用bms(boolingmapbasedsaliency)算法从每帧原始图片的左视点图像生成2d静态显著图，对每帧原始图像进行人脸高层语义，得到高层语义显著图，对每帧原始图像进行snic分割，得到超像素图，根据超像素图中每个超像素的全局对比度和背景先验知识得到深度显著图，根据超像素图中每个超像素的运动对比度得到运动显著图。

所述基于图的融合，包括：

(1)以原始图片中每个超像素点与其相邻超像素点之间的显著度平滑约束最小，同时原始图片与其相邻原始图片之间的显著性差异最小为目标，结合显著图，构建原始图片的能量函数；

(2)在原始图片中利用置信传播算法求解能量函数，得到目标显著图，对目标显著图进行高斯模糊以及中心偏移，得到优化边缘的目标显著图。

本发明实施例优选地，步骤(1)包括：

以原始图片中每个超像素点与其相邻超像素点之间的显著度平滑约束最小，原始图片与其相邻原始图片之间的显著性差异最小，同时原始图片中每个超像素点的显著性标签值与原始图片中每个超像素点在显著图中的显著度之间的差异最小为目标，构建原始图片中每个超像素点的能量函数：

第一项为数据项：αm表示第m个显著图的权值，表示第t帧原始图片中第m个显著图中第i个超像素点的显著度，其中2d静态显著图、运动显著图、深度显著图的权值定义为高层语义显著图的权值设为常数1。

第二项为平滑项(即为平滑约束)：n为原始图片中超像素点的邻域空间，β为平滑系数，其中，λ1表示原始图片中每个超像素点与其相邻超像素点之间颜色维度差异值的权重，λ2表示原始图片中每个超像素点与其相邻超像素点之间深度维度差异值的权重，λ1＝λ2＝0.1。ci和cj分别表示第i个和第j个超像素点在lab颜色空间的值，di和dj分别表示第i个和第j个超像素点的深度值，δ1为颜色系数，δ2为深度系数。δ1的范围为3～5，δ2的范围为8～10。和分别表示第t帧原始图片中第i个和第j个超像素点的显著性标签值。

第三项为时域项：如果一个超像素点在之前帧中具有高显著性，那么在当前帧中该超像素点也倾向于具有较高的显著性。为第t-1帧原始图片中第i个超像素点的显著性标签值，0＜γ＜1，显著性标签值为0或者1。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。