一种立体图像视觉掩蔽阈值的计算方法和系统

本发明涉及图像视觉失真评测与应用，尤其涉及一种立体图像视觉掩蔽阈值的计算方法和系统。

背景技术：

1、近年来，立体图像/视频的生成和处理技术取得了很大进展，人们开始更注重实现“高感知质量”而不仅仅是“高清晰度”，以提供更沉浸式的体验。然而，立体图像处理往往会引入明显的失真，对观看体验产生不利影响。因此，在同时提高图像和视频的可用性、可控性和安全性的同时，确保高质量的知觉水平，面临着挑战。

2、视觉掩蔽是指掩蔽信号的存在降低给定目标信号的可察觉性的现象，它是视觉系统的固有属性，在立体感知中起着重要作用。视觉掩蔽模型被用于测量不可察觉的最大失真，即恰可察觉失真(jnd,just noticeable distortion)或掩蔽阈值。信息隐藏技术，如数字水印和加密通信，用于在图像和视频中隐藏信息而不被察觉。然而，过度的嵌入可能会导致失真和质量下降，而仅着眼于保证高的感知质量就会造成影响嵌入强度和容量的降低。因此，视觉掩蔽效应和模型的研究在信息隐藏中非常重要，通过视觉掩蔽模型确定jnd阈值有助于在保持感知到的图像/视频质量的同时优化失真的强度。同样地，图像和视频压缩编码相关的研究通过失真感知模型计算图像以及视频中的感知冗余，通过预处理或编码嵌入的方式滤除图像中hvs无法察觉的细节信息以达到数据压缩的目的。

3、立体视觉掩蔽模型在准确模拟人类双眼视觉感知并获得与之相符的掩蔽阈值方面起着关键作用。在形成双眼感知的过程中，视觉掩蔽发生在两个不同的回路中。其中一个回路涉及每个单目视图中的掩蔽效应，包括亮度适应、对比度掩蔽、纹理掩蔽等。这些效应在视觉掩蔽模型中得到了广泛研究。另一个回路涉及眼间视觉掩蔽，与双眼合成的机制有关。生理学研究表明，眼间相互作用的机制在双眼融合和竞争中有所不同。当双眼视图相似时，大脑将它们合并，生成一种一致且稳定的感知，两个视图都对立体体验做出贡献，同时部分被对侧眼掩蔽。当双眼视图之间存在显著差异时，会发生双目竞争。为了消除双重视觉，大脑会有选择地抑制一个视图中的某些或全部视觉输入。被抑制的刺激会被占主导的视图有效地掩蔽，导致两个不同视图之间的交替感知。

4、然而，现有模型的覆盖范围有限，不能充分捕捉掩蔽效应的复杂性和多变性，导致确定的阈值与心理物理感知之间存在差异。具体来说，现存模型主要有两方面缺陷：

5、(1)现有模型主要考虑的是2d视觉中背景图案对目标的掩蔽效应，并在双眼融合的情况下扩展了这些效应，涉及到的立体视觉掩蔽效应十分有限，无法描述立体感知形成过程中双目交互引起的眼间掩蔽效应，也无法描述双目目标特征变化对掩蔽效应和阈值的调制。当前立体视觉相关的模型常将视觉掩蔽视为确定双目竞争存在的手段，而不是将其作为独立的研究主题。此外，人眼对方向的敏感性影响着刺激的可见性和检测，但关于方向敏感性如何影响立体视觉中的掩蔽阈值的研究有限。

6、(2)现有bjnd模型及其衍生模型在双眼融合情况下测量了非对称噪声的掩蔽阈值。这些模型通过采用等权重求和的方法描述了将双眼噪声组合成单眼感知的过程，完全忽略了由于双眼不对称引起的权重变化，并且未考虑眼间相互作用在调节立体感知中的作用，导致模型与人类双眼感知的原则和神经调节机制不一致。

7、以上两方面主要缺陷导致现有模型在立体图像信息隐藏和压缩编码等相关应用中，无法在保证主观质量的同时得到最优化的失真强度，无法准确的得到立体图像的视觉掩蔽阈值。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种立体图像视觉掩蔽阈值的计算方法和系统，用以解决现有模型得到立体图像的视觉掩蔽阈值的准确性低的问题。

2、一方面，本发明实施例提供了一种立体图像视觉掩蔽阈值的计算方法，包括以下步骤：

3、获取待计算立体图像的双目视图，基于亮度适应性、对比度掩蔽和方向调制对每个视图分别计算单目掩蔽阈值；

4、根据每个视图的噪声方向判断双目交互模式；

5、根据双目交互模式，基于单目掩蔽阈值和神经增益调制计算得到立体图像的双目掩蔽阈值。

6、基于上述方法的进一步改进，基于亮度适应性、对比度掩蔽和方向调制对每个视图分别计算单目视觉掩蔽阈值，包括：

7、将所述视图转换为灰度图；

8、对所述亮度适应性阈值进行方向调制；

9、基于对比度掩蔽阈值和方向调制后的亮度适应性阈值计算得到单目掩蔽阈值。

10、基于上述方法的进一步改进，采用以下公式计算单目掩蔽阈值：

11、

12、

13、px(i,j)＝α1×bgx(i,j)2+α2×bgx(i,j)+α3

14、其中，lml(i,j)表示左目视图的(i,j)位置的适应性阈值，bgx(i,j)表示单目视图的灰度图中(i,j)位置的灰度值，l表示左视图，r表示右视图，α1,α2,α3表示模型参数，δl(i,j)表示左视图在(i,j)位置的方向调制项，δr(i,j)表示右视图在(i,j)位置的方向调制项，表示左视图在(i,j)位置的单目掩蔽阈值，表示右视图在(i,j)位置的单目掩蔽阈值，cml(i,j)表示左视图的(i,j)位置的对比度掩蔽阈值，cmr(i,j)表示右视图的(i,j)位置的对比度掩蔽阈值，px(i,j)表示单目视在(i,j)位置的调制参数，α1、α2、α3表示拟合参数，θx表示左右视图的噪声方向。

15、基于上述方法的进一步改进，采用以下公式基于所述灰度图计算亮度适应性阈值：

16、lmx(i,j)＝p1·bgx(i,j)5+p2·bgx(i,j)4+p3·bgx(i,j)3+p4·bgx(i,j)2+p5·bgx(i,j)+p6,x∈{l,r}

17、其中，lmx(i,j)表示单目视图的(i,j)位置的适应性阈值，bgx(i,j)表示单目视图的灰度图中(i,j)位置的灰度值，l表示左视图，r表示右视图，p1,p2,p3,p4,p5和p6表示拟合参数。

18、基于上述方法的进一步改进，采用以下公式基于所述灰度图计算对比度掩蔽阈值：

19、cmx(i,j)＝kx(i,j)×ehx(i,j),x∈{l,r}

20、kx(i,j)＝β1×(β2×bgx(i,j)2+β3×bgx(i,j))+β4

21、其中，cmx(i,j)表示单目视图的(i,j)位置的对比度掩蔽阈值，bgx(i,j)表示单目视图的灰度图中(i,j)位置的灰度值，l表示左视图，r表示右视图，ehx(i,j)表示单目视图的(i,j)位置边缘滤波结果，kx(i,j)表示单目视图的(i,j)位置的对比度掩蔽阈值提升因子，β1、β2、β3和β4是拟合参数。

22、基于上述方法的进一步改进，当左视图和右视图的噪声方向相同时，双目交互模式为双目融合模式；当左视图和右视图的噪声方向不同时，双目交互模式为双目竞争模式。

23、基于上述方法的进一步改进，

24、当双目交互模式为双目竞争模式时，立体图像的双目掩蔽阈值为：

25、

26、其中，al表示左视图的立体视觉掩蔽阈值矩阵，ar表示右视图的立体视觉掩蔽阈值矩阵，表示左视图的单目掩蔽阈值，表示右视图的单目掩蔽阈值。

27、基于上述方法的进一步改进，当双目交互模式为双目融合模式时，采用以下公式计算立体图像的双目掩蔽阈值：

28、

29、其中，al表示左视图的立体视觉掩蔽阈值矩阵，ar表示右视图的立体视觉掩蔽阈值矩阵，表示左视图的单目掩蔽阈值，gc表示增益调制的阈值，γ表示调节因子，b表示双目感知到的噪声强度，α表示参数。

30、与现有技术相比，本实施例提供的立体图像视觉掩蔽阈值的计算方法首先基于亮度适应性、对比度掩蔽和方向调制计算单目视觉掩蔽，考虑了人眼在观看立体图像时产生的感知失真和人眼的感知敏锐度；同时通过方向调制考虑方向特征对亮度适应性和对比度掩蔽阈值的调制关系，以模拟掩蔽阈值随目标方向变化的情况，从而更准确的计算掩蔽阈值；通过考虑双目交互模式，根据不同的双目交互模式采用不同的双目掩蔽阈值计算方法，克服了现有立体视觉掩蔽模型缺乏考虑眼间交互所引起的掩蔽效应的缺陷，从而更准确的计算双目掩蔽阈值。基于上述方案，实现了在保证立体图像的主观质量不受到损害的同时，提高立体图像可容纳的失真强度。因此，在实际应用中能够提升技术指标，例如信息隐藏技术中的信息嵌入强度、图像压缩技术中的压缩率等，并能够更好地平衡图像处理技术中的各项技术指标与图像质量(观赏体验)之间的关系。

31、另一方面，本发明实施例提供了一种立体图像视觉掩蔽阈值的计算系统，包括以下模块：

32、单目掩蔽阈值计算模块，用于获取待计算立体图像的双目视图，基于亮度适应性、对比度掩蔽和方向调制对每个视图分别计算单目掩蔽阈值；

33、交互模式判断模块，用于根据每个视图的噪声方向判断双目交互模式；

34、双目掩蔽阈值计算模块，用于根据双目交互模式基于单目掩蔽阈值和神经增益调制计算得到立体图像的双目掩蔽阈值。

35、基于上述系统的进一步改进，基于亮度适应性、对比度掩蔽和方向调制对每个视图分别计算单目视觉掩蔽阈值，包括：

36、将所述视图转换为灰度图；

37、对所述亮度适应性阈值进行方向调制；

38、基于对比度掩蔽阈值和方向调制后的亮度适应性阈值计算得到单目掩蔽阈值。

39、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。