立体图像的视觉显著性检测方法、装置、设备及存储介质与流程

文档序号:14121544阅读:193来源:国知局
立体图像的视觉显著性检测方法、装置、设备及存储介质与流程

本发明属于计算机技术领域,尤其涉及一种立体图像的视觉显著性检测方法、装置、设备及存储介质。



背景技术:

近来,由于深度学习模型例如卷积神经网络已经被广泛应用于视觉显著性检测模型,并且已经显著提升了视觉显著性模型的性能。因此,大量的基于深度学习的2d视觉显著性模型也被提出。vig等人是首先尝试构建基于卷积神经网络的视觉显著性检测模型的先驱,该模型命名为深度网络组合(edn)。之后,kummerer等人提出了一个显著性模型,该模型采用一个现有的神经网络模型提取深度学习特征,然后再使用这些特征计算图像的视觉显著性。srinivas等人设计一个显著性模型,由于完全卷积网络的空间不变性,该模型采用一个新奇的基于位置的卷积网络去模型化位置依赖的模式。huang等人提出一个基于深度神经网络的显著性方法用来缩小模型预测结果和人眼注视行为之间的差距,该模型通过采用不同尺度图像信息和基于显著性评估指标的目标函数来微调深度神经网络模型。marcella等人进一步为自然图像提出了一个新奇的显著性注意力模型。然而,这些方法都是基于2d多媒体应用提出的。

不同于传统的2d显著性模型,只有少部分显著性模型采用深度图预测一个3d自然场景中人眼所关注的位置,并且通过使用一个线性加和方法将所得到的颜色和深度特征图进行融合之后,生成一个最终的3d显著性图。还有一些3d图像显著性计算模型通过扩展一些传统的2d视觉显著性模型被提出来。比如,neil等人通过将现有的注意力模型从2d扩展到双目域提出了一个立体注意力框架。zhang等人在立体视觉注意力模型中使用多个感知刺激。为了生成最终的3d图像的显著性,一些模型中用深度信息去权重化2d显著性图。lang等人在2d和3d图像上进行眼球追踪的实验结果用于进行深度显著性分析,其中通过扩展以前的2d显著性检测模型来计算3d显著性图。最近,fang等人提出将颜色、亮度、纹理和深度等信息结合在一起去生成3d图像的显著性图。

尽管考虑深度特征已经提升了立体图像的显著性检测模型的性能,然而,现有的这些显著性检测模型在立体图像的内容表征方面仍然存在一些具有挑战性的问题。传统的手动提取图像特征的方法很难提取高层次的图像语义信息,并且传统的立体图像显著性融合方法也无法检测到立体图像的颜色和深度信息之间的空间相关性。另外,线性融合的方法仅仅只是通过一个简单的加和方法来融合提取的多个特征图,并没有考虑到空间的差异性。综上所述,现有的立体图像显著性检测模型缺乏多样化的图像内容表征以及没有考虑颜色和深度等特征之间的空间差异。



技术实现要素:

本发明的目的在于提供一种立体图像的视觉显著性检测方法、装置、设备及存储介质,旨在解决由于现有立体图像视觉显著性检测方法缺乏多样化的图像内容表征、且忽略了颜色特征和深度特征之间的空间差异,导致显著性检测不准确的问题。

一方面,本发明提供了一种立体图像的视觉显著性检测方法,所述方法包括下述步骤:

当接收到立体图像的视觉显著性检测请求时,获取所述立体图像的颜色信息和深度信息;

通过预设的颜色显著性预测网络对所述颜色信息进行显著性预测,以得到所述立体图像的第一显著性预测,通过预设的深度显著性预测网络对所述深度信息进行显著性预测,以得到所述立体图像的第二显著性预测,并通过预设的联合显著性预测网络对所述颜色信息和所述深度信息进行显著性预测,以得到所述立体图像的第三显著性预测;

将所述第一显著性预测、所述第二显著性预测以及所述第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据;

通过预设的通道间融合网络对所述多通道级联数据进行多通道信息空间差异性融合,以得到所述立体图像的显著性图。

另一方面,本发明提供了一种立体图像的视觉显著性检测装置,所述装置包括:

信息获取单元,用于当接收到立体图像的视觉显著性检测请求时,获取所述立体图像的颜色信息和深度信息;

显著性预测单元,用于通过预设的颜色显著性预测网络对所述颜色信息进行显著性预测,以得到所述立体图像的第一显著性预测,通过预设的深度显著性预测网络对所述深度信息进行显著性预测,以得到所述立体图像的第二显著性预测,并通过预设的联合显著性预测网络对所述颜色信息和所述深度信息进行显著性预测,以得到所述立体图像的第三显著性预测;

通道级联单元,用于将所述第一显著性预测、所述第二显著性预测以及所述第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据;以及

显著性图获取单元,用于通过预设的通道间融合网络对所述多通道级联数据进行多通道信息空间差异性融合,以得到所述立体图像的显著性图。

另一方面,本发明还提供了一种图像检测设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述立体图像的视觉显著性检测方法的步骤。

另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述立体图像的视觉显著性检测方法的步骤。

本发明首先接收立体图像的视觉显著性检测请求,并获取立体图像的颜色信息和深度信息,然后通过预设的颜色显著性预测网络对颜色信息进行显著性预测,以得到立体图像的第一显著性预测,通过预设的深度显著性预测网络对深度信息进行显著性预测,以得到立体图像的第二显著性预测,并通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测,以得到立体图像的第三显著性预测,之后将第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据,最后通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图,从而提高了显著性检测的准确性。

附图说明

图1是本发明实施例一提供的立体图像的视觉显著性检测方法的实现流程图;

图2是本发明实施例二提供的立体图像的视觉显著性检测装置的结构示意图;

图3是本发明实施例三提供的立体图像的视觉显著性检测装置的结构示意图;以及

图4是本发明实施例四提供的图像检测设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述:

实施例一:

图1示出了本发明实施例一提供的立体图像的视觉显著性检测方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:

在步骤s101中,当接收到立体图像的视觉显著性检测请求时,获取立体图像的颜色信息和深度信息。

本发明实施例适用于立体图像的视觉显著性检测系统,以预测3d自然场景中用户所关注的位置,生成对应的显著性图。在本发明实施例中,当接收到立体图像的视觉显著性检测请求时,获取立体图像的颜色信息和深度信息,以用于后续的视觉显著性计算。立体图像可以包含在视觉显著性检测请求中,也可以独立进行传输。

在步骤s102中,通过预设的颜色显著性预测网络对颜色信息进行显著性预测,以得到立体图像的第一显著性预测,通过预设的深度显著性预测网络对深度信息进行显著性预测,以得到立体图像的第二显著性预测,并通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测,以得到立体图像的第三显著性预测。

在本发明实施例中,颜色显著性预测网络包括预设数量个堆叠的卷积层、一个分类层、一个线性插值层和一个输出层,深度显著性预测网络也包括预设数量个堆叠的卷积模块、一个分类层、一个线性插值层和一个输出层,联合显著性预测网络包括两个全卷积网络流、一个‘concat’层、一个分类层、一个线性插值层和一个输出层。

优选地,在通过预设的颜色显著性预测网络对颜色信息进行显著性预测时,首先通过颜色显著性预测网络中预设数量个卷积层对颜色信息进行特征提取,以得到对应的颜色特征图,然后通过颜色显著性预测网络中的分类层对颜色特征图进行分类,生成稠密颜色显著性预测图,从而提高了图像内容表征信息的多样化,其中,该分类层包含一个3x3卷积核和一个输出通道,最后根据立体图像的空间分辨率,通过颜色显著性预测网络中的线性插值层对稠密颜色显著性预测图进行上采样,并对上采样得到的图像执行交叉熵操作,得到立体图像的第一显著性预测(颜色显著性预测)并通过输出层进行输出,从而提高了用于表征立体图像颜色的图像特征的多样化。

优选地,在通过预设的深度显著性预测网络对深度信息进行显著性预测时,首先通过深度显著性预测网络中预设数量个卷积层对深度信息进行特征提取,以得到对应的深度特征图,然后通过深度显著性预测网络中的分类层对深度特征图进行分类,生成稠密深度显著性预测图,从而提高了图像内容表征信息的多样化,其中,该分类层包含一个3x3卷积核和一个输出通道,最后根据立体图像的空间分辨率,通过深度显著性预测网络中的线性插值层对稠密深度显著性预测图进行上采样,并对上采样得到的图像执行交叉熵操作,得到立体图像的第二显著性预测(深度显著性预测)并通过输出层进行输出,从而提高了用于表征立体图像深度的图像特征的多样化。

具体地,在通过预设数量个卷积层对颜色信息和深度信息进行特征提取时,在各个卷积层中可以根据预设的公式进行特征提取,表示一个随机的卷积滤波器参数,n∈{64,128,256,512}表示第l层的滤波器总数,最终得到颜色特征图fc或者深度特征图fd,然后在线性插值层中根据公式sc/d=sigmoid(↑(ωi*fc/d+bi))执行交叉熵操作,其中ωi和bi分别表示相对于像素i的权重向量和偏置,↑表示上采样操作,sigmoid表示一个交叉熵操作,sc/d为上采样得到的图像执行交叉熵操作的结果。

优选地,在通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测时,首先通过联合显著性预测网络中的两个全卷积网络流对颜色信息和深度信息进行特征提取,得到对应的颜色特征图和深度特征图,然后对得到的颜色特征图和深度特征图进行特征级联,得到颜色和深度联合特征图,之后通过联合显著性预测网络中的分类层对颜色和深度联合特征图进行分类,生成稠密颜色和深度联合显著性预测图,从而提高了图像内容表征信息的多样化,最后根据立体图像的空间分辨率,通过联合显著性预测网络中的线性插值层对稠密颜色和深度联合显著性预测图进行上采样,并对上采样得到的图像执行交叉熵操作,得到立体图像的第三显著性预测(颜色和深度显著性预测)并通过输出层进行输出,从而提高了用于表征立体图像深度的图像特征的多样化,同时实现了颜色特征和深度特征之间空间差异的计算。其中,该全卷积网络流由预设数量个堆叠的卷积层组成,该分类层包含一个3x3卷积核和一个输出通道。

具体地,在对得到的颜色特征图和深度特征图进行特征级联时,首先在‘concat’层中根据公式fc&d=concat(fc,fd)进行特征级联,得到颜色和深度联合特征图fc&d,然后在线性插值层中根据公式sc&d=sigmoid(↑(ωi*fc&d+bi))执行交叉熵操作,sc&d为上采样得到的图像执行交叉熵操作的结果。

在步骤s103中,将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据。

在本发明实施例中,预设的通道间融合网络的框架包括一个‘concat’层、一个输入层、两个卷积层、一个回归卷积分类层和一个输出层,该通道间融合网络用于进行中心依赖模式和视觉特征的空间差异性融合,从而提高显著性图的完整性和显示效果。

在本发明实施例中,由于不同的图像内容和收集环境,中心偏置是多样且不唯一的,因此,为了学习中心围绕特征,将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验icb根据公式sic=concat(sc,sd,sc&d,icb)进行级联,生成n通道级联数据sic。

在步骤s104中,通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图。

在本发明实施例中,优选地,在通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合时,首先将多通道级联数据输入到通道间融合网络中卷积核大小为3x3的两个卷积层中,分别获取稠密显著性预测图的视觉特征和中心偏置模式,然后通过通道间融合网络的回归卷积层对视觉特征和中心偏置模式执行卷积回归操作,以根据公式计算得到立体图像的显著性图,从而通过计算颜色特征和深度特征之间的空间差异信息,提高了显著性检测的准确性。其中,回归卷积分类层包含一个3x3卷积核和一个输出通道,icb表示多个中心偏置先验,r表示relu非线性操作,‘sigmoid’是一个代价函数,s3d表示立体图像的显著性图。

实施例二:

图2示出了本发明实施例二提供的立体图像的视觉显著性检测装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:

信息获取单元21,用于当接收到立体图像的视觉显著性检测请求时,获取立体图像的颜色信息和深度信息。

在本发明实施例中,当接收到立体图像的视觉显著性检测请求时,通过信息获取单元21获取立体图像的颜色信息和深度信息,以用于后续的视觉显著性计算。立体图像可以包含在视觉显著性检测请求中,也可以独立进行传输。

显著性预测单元22,用于通过预设的颜色显著性预测网络对颜色信息进行显著性预测,以得到立体图像的第一显著性预测,通过预设的深度显著性预测网络对深度信息进行显著性预测,以得到立体图像的第二显著性预测,并通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测,以得到立体图像的第三显著性预测。

在本发明实施例中,颜色显著性预测网络包括预设数量个堆叠的卷积层、一个分类层、一个线性插值层和一个输出层,深度显著性预测网络也包括预设数量个堆叠的卷积模块、一个分类层、一个线性插值层和一个输出层,联合显著性预测网络包括两个全卷积网络流、一个‘concat’层、一个分类层、一个线性插值层和一个输出层。

通道级联单元23,用于将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据。

在本发明实施例中,预设的通道间融合网络的框架包括一个‘concat’层、一个输入层、两个卷积层、一个回归卷积分类层和一个输出层,该通道间融合网络用于进行中心依赖模式和视觉特征的空间差异性融合,从而提高显著性图的完整性和显示效果。

在本发明实施例中,由于不同的图像内容和收集环境,中心偏置是多样且不唯一的,因此,为了学习中心围绕特征,通过通道级联单元23将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验icb根据公式sic=concat(sc,sd,sc&d,icb)进行级联,生成n通道级联数据sic。

显著性图获取单元24,用于通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图。

在本发明实施例中,当接收到立体图像的视觉显著性检测请求时,首先通过信息获取单元21获取立体图像的颜色信息和深度信息,然后通过显著性预测单元22分别对颜色信息、深度信息以及颜色信息和深度信息进行显著性预测,得到第一显著性预测、第二显著性预测以及第三显著性预测,之后通过通道级联单元23将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据,最后显著性图获取单元24通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图,从而提高了显著性检测的准确性。

在本发明实施例中,立体图像的视觉显著性检测装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。

实施例三:

图3示出了本发明实施例三提供的立体图像的视觉显著性检测装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:

信息获取单元31,用于当接收到立体图像的视觉显著性检测请求时,获取立体图像的颜色信息和深度信息。

在本发明实施例中,当接收到立体图像的视觉显著性检测请求时,通过信息获取单元31获取立体图像的颜色信息和深度信息,以用于后续的视觉显著性计算。立体图像可以包含在视觉显著性检测请求中,也可以独立进行传输。

显著性预测单元32,用于通过预设的颜色显著性预测网络对颜色信息进行显著性预测,以得到立体图像的第一显著性预测,通过预设的深度显著性预测网络对深度信息进行显著性预测,以得到立体图像的第二显著性预测,并通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测,以得到立体图像的第三显著性预测。

在本发明实施例中,颜色显著性预测网络包括预设数量个堆叠的卷积层、一个分类层、一个线性插值层和一个输出层,深度显著性预测网络也包括预设数量个堆叠的卷积模块、一个分类层、一个线性插值层和一个输出层,联合显著性预测网络包括两个全卷积网络流、一个‘concat’层、一个分类层、一个线性插值层和一个输出层。

优选地,在通过预设的颜色显著性预测网络对颜色信息进行显著性预测时,首先通过颜色显著性预测网络中预设数量个卷积层对颜色信息进行特征提取,以得到对应的颜色特征图,然后通过颜色显著性预测网络中的分类层对颜色特征图进行分类,生成稠密颜色显著性预测图,从而提高了图像内容表征信息的多样化,其中,该分类层包含一个3x3卷积核和一个输出通道,最后根据立体图像的空间分辨率,通过颜色显著性预测网络中的线性插值层对稠密颜色显著性预测图进行上采样,并对上采样得到的图像执行交叉熵操作,得到立体图像的第一显著性预测并通过输出层进行输出,从而提高了用于表征立体图像颜色的图像特征的多样化。

优选地,在通过预设的深度显著性预测网络对深度信息进行显著性预测时,首先通过深度显著性预测网络中预设数量个卷积层对深度信息进行特征提取,以得到对应的深度特征图,然后通过深度显著性预测网络中的分类层对深度特征图进行分类,生成稠密深度显著性预测图,从而提高了图像内容表征信息的多样化,其中,该分类层包含一个3x3卷积核和一个输出通道,最后根据立体图像的空间分辨率,通过深度显著性预测网络中的线性插值层对稠密深度显著性预测图进行上采样,并对上采样得到的图像执行交叉熵操作,得到立体图像的第二显著性预测并通过输出层进行输出,从而提高了用于表征立体图像深度的图像特征的多样化。

具体地,在通过预设数量个卷积层对颜色信息和深度信息进行特征提取时,在各个卷积层中可以根据预设的公式进行特征提取,表示一个随机的卷积滤波器参数,n∈{64,128,256,512}表示第l层的滤波器总数,最终得到颜色特征图fc或者深度特征图fd,然后在线性插值层中根据公式sc/d=sigmoid(↑(ωi*fc/d+bi))执行交叉熵操作,其中ωi和bi分别表示相对于像素i的权重向量和偏置,↑表示上采样操作,sigmoid表示一个交叉熵操作,sc/d为上采样得到的图像执行交叉熵操作的结果。

优选地,在通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测时,首先通过联合显著性预测网络中的两个全卷积网络流对颜色信息和深度信息进行特征提取,得到对应的颜色特征图和深度特征图,然后对得到的颜色特征图和深度特征图进行特征级联,得到颜色和深度联合特征图,之后通过联合显著性预测网络中的分类层对颜色和深度联合特征图进行分类,生成稠密颜色和深度联合显著性预测图,从而提高了图像内容表征信息的多样化,最后根据立体图像的空间分辨率,通过联合显著性预测网络中的线性插值层对稠密颜色和深度联合显著性预测图进行上采样,并对上采样得到的图像执行交叉熵操作,得到立体图像的第三显著性预测并通过输出层进行输出,从而提高了用于表征立体图像深度的图像特征的多样化,同时实现了颜色特征和深度特征之间空间差异的计算。其中,该全卷积网络流由预设数量个堆叠的卷积层组成,该分类层包含一个3x3卷积核和一个输出通道。

具体地,在对得到的颜色特征图和深度特征图进行特征级联时,首先在‘concat’层中根据公式fc&d=concat(fc,fd)进行特征级联,得到颜色和深度联合特征图fc&d,然后在线性插值层中根据公式sc&d=sigmoid(↑(ωi*fc&d+bi))执行交叉熵操作,sc&d为上采样得到的图像执行交叉熵操作的结果。

通道级联单元33,用于将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据。

在本发明实施例中,预设的通道间融合网络的框架包括一个‘concat’层、一个输入层、两个卷积层、一个回归卷积分类层和一个输出层,该通道间融合网络用于进行中心依赖模式和视觉特征的空间差异性融合,从而提高显著性图的完整性和显示效果。

在本发明实施例中,由于不同的图像内容和收集环境,中心偏置是多样且不唯一的,因此,为了学习中心围绕特征,通过通道级联单元33将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验icb根据公式sic=concat(sc,sd,sc&d,icb)进行级联,生成n通道级联数据sic。

显著性图获取单元34,用于通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图。

在本发明实施例中,优选地,在通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合时,首先将多通道级联数据输入到通道间融合网络中卷积核大小为3x3的两个卷积层中,分别获取稠密显著性预测图的视觉特征和中心偏置模式,然后通过通道间融合网络的回归卷积层对视觉特征和中心偏置模式执行卷积回归操作,以根据公式计算得到立体图像的显著性图,从而通过计算颜色特征和深度特征之间的空间差异信息,提高了显著性检测的准确性。其中,回归卷积分类层包含一个3x3卷积核和一个输出通道根据公式计算中心围绕的特征图,icb表示多个中心偏置先验,r表示relu非线性操作,‘sigmoid’是一个代价函数,s3d表示立体图像的显著性图。

因此,优选地,该显著性预测单元32包括:

特征图获取单元321,用于通过颜色显著性预测网络中预设数量个卷积层对颜色信息进行特征提取,以得到对应的颜色特征图;

特征分类单元322,用于通过颜色显著性预测网络中的分类层对颜色特征图进行分类,生成稠密颜色显著性预测图,该分类层包含一个3x3卷积核和一个输出通道;

上采样单元323,用于根据立体图像的空间分辨率,通过颜色显著性预测网络中的线性插值层对稠密颜色显著性预测图进行上采样;以及

交叉熵预测单元324,用于对上采样得到的图像执行交叉熵操作,得到立体图像的第一显著性预测;

优选地,该显著性图获取单元34包括:

卷积滤波单元341,用于将多通道级联数据输入到通道间融合网络中卷积核大小为3x3的第一卷积滤波器和第二卷积滤波器中,分别获取稠密显著性预测图的视觉特征和中心偏置模式;以及

获取子单元342,用于通过通道间融合网络的回归卷积层对视觉特征和中心偏置模式执行卷积回归操作,得到立体图像的显著性图,回归卷积层包含一个3x3卷积核和一个输出通道。

在本发明实施例中,立体图像的视觉显著性检测装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。

实施例四:

图4示出了本发明实施例四提供的图像检测设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。

本发明实施例的图像检测设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述各个立体图像的视觉显著性检测方法实施例中的步骤,例如图1所示的步骤s101至s104。或者,处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能,例如,图2所示单元21至24、图3所示单元31至34的功能。

在本发明实施例中,该处理器40执行计算机程序42时实现上述各个立体图像的视觉显著性检测方法实施例中的步骤时,首先接收立体图像的视觉显著性检测请求,并获取立体图像的颜色信息和深度信息,然后通过预设的颜色显著性预测网络对颜色信息进行显著性预测,以得到立体图像的第一显著性预测,通过预设的深度显著性预测网络对深度信息进行显著性预测,以得到立体图像的第二显著性预测,并通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测,以得到立体图像的第三显著性预测,之后将第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据,最后通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图,从而提高了显著性检测的准确性。

该图像检测设备4中处理器40在执行计算机程序42时实现的步骤具体可参考实施例一中方法的描述,在此不再赘述。

实施例五:

在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个立体图像的视觉显著性检测方法实施例中的步骤,例如,图1所示的步骤s101至s104。或者,该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能,例如,图2所示单元21至24、图3所示单元31至34的功能。

在本发明实施例中,首先接收立体图像的视觉显著性检测请求,并获取立体图像的颜色信息和深度信息,然后通过预设的颜色显著性预测网络对颜色信息进行显著性预测,以得到立体图像的第一显著性预测,通过预设的深度显著性预测网络对深度信息进行显著性预测,以得到立体图像的第二显著性预测,并通过预设的联合显著性预测网络对颜色信息和深度信息进行显著性预测,以得到立体图像的第三显著性预测,之后将第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联,得到多通道级联数据,最后通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合,以得到立体图像的显著性图,从而提高了显著性检测的准确性。该计算机程序被处理器执行时实现的立体图像的视觉显著性检测方法进一步可参考前述方法实施例中步骤的描述,在此不再赘述。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,rom/ram、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1