双视点视频的处理方法、系统和存储介质与流程

本发明涉及3d视频处理技术领域，尤其是一种双视点视频的处理方法、系统和存储介质。

背景技术：

随着显示技术和通信技术的发展，人们对移动终端的显示效果提出了越来越高的要求。裸眼3d技术由于能够摆脱3d眼镜的束缚，直接通过眼睛即可感受到逼真的3d显示效果。因此近几年市面上裸眼3d的移动终端销量也逐年增加，裸眼3d终端除了在消费领域的普及，还在一些专业领域，比如医疗教育等行业开始展开应用。

就目前的裸眼3d显示技术而言，裸眼3d实现方式主要分为三种：光屏障式，柱镜光栅式以及指向光源式。由于柱镜光栅式生产成本较低，裸眼3d显示效果好同时结构紧凑易生产，已经渐渐成为主流的裸眼3d显示技术。为保证立体视频显示的质量，当前裸眼3d视频多采用全高清及以上分辨率，由于移动设备显示屏幕较小，因此其所采用的视频多为双视点左右半宽格式。

由于其自身存储空间和通信带宽有限，巨大的裸眼3d视频数据量给裸眼3d终端相关产业发展提出了巨大的挑战。传统方案在对视频进行压缩的同时，使得视频质量明显下降。

技术实现要素：

为解决上述技术问题，本发明的目的在于：提供一种双视点视频的处理方法、系统和存储介质，以在视频效果不显著降低的情况下，压缩双视点视频。

本发明实施例的第一方面提供了：

一种双视点视频的处理方法，包括以下步骤：

获取双视点图像；

划分所述双视点图像的显著区域和非显著区域；

根据所述双视点图像得到深度图；

对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。

进一步，所述划分所述双视点图像的显著区域和非显著区域，其具体包括：

计算所述双视点图像的拉普拉斯金字塔中的多个图像；

对所述拉普拉斯金字塔中的多个图像进行融合，得到融合图像；

对所述融合图像进行阈值划分，得到双视点图像的显著区域和非显著区域。

进一步，所述计算所述双视点图像的拉普拉斯金字塔中的多个图像，其具体包括：

计算所述双视点图像的高斯金字塔中的多个图像；

根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像。

进一步，所述计算所述双视点图像的高斯金字塔中的多个图像，其具体包括：

对所述双视点图像进行若干次二倍下采样，得到高斯金字塔中的多个图像；

所述根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像，其具体包括：

对高斯金字塔中的多个图像分别进行二倍上采样，得到多个上采样的图像，然后将高斯金字塔中的图像与同尺寸的上采样图像作差，得到拉普拉斯金字塔中的多个图像。

进一步，所述根据所述双视点图像得到深度图，其具体为：

对双视点图像进行立体匹配，计算出相应匹配点的视差，从而得到深度图。

进一步，在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中，对不同图层的融合操作采用不同的融合算子。

进一步，所述显著区域用掩模图表示。

本发明实施例的第二方面提供了：

一种双视点视频的处理系统，包括：

获取单元，用于获取双视点图像；

划分单元，用于划分所述双视点图像的显著区域和非显著区域；

深度图处理单元，用于根据所述双视点图像得到深度图；

编码单元，用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。

本发明实施例的第三方面提供了：

一种双视点视频的处理系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序，以执行所述的双视点视频的处理方法。

本发明实施例的第四方面提供了：

一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的双视点视频的处理方法。

本发明的有益效果是：本发明通过划分显著区域和非显著区域，并在编码时，对显著区域采用较高码率的编码方式进行编码，对非显著区域采用较低码率的编码方式进行编码；因此，本发明可以在确保显著区域的视频效果不显著降低的情况下，压缩双视点视频。

附图说明

图1为本发明一种具体实施例的双视点视频的处理方法的流程图；

图2为本发明一种具体实施例中通过对双视点图像进行处理得到拉普拉斯金字塔的示意图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

在裸眼3d技术中，无论采用何种形式的设备，其实质都是利用用户双眼的视觉差来产生3d立体效果。通常3d视频采用左右半宽或者上下半宽的视频格式。以左右半宽为例，同一帧图像中的左半侧和右半侧分别是用于给用户的左眼和右眼接收的图像。

参照图1，本实施例公开了一种双视点视频的处理方法，包括步骤s101～s104：

s101、获取双视点图像；

在本步骤中所指的双视点图像是指如左右半宽格式等视频中的一帧图像。其可以从3d视频中获取。

s102、划分所述双视点图像的显著区域和非显著区域；

具体地，本步骤通过以下方式划分双视点图像的显著区域和非显著区域。

首先，对双视点图像进行高斯滤波，然后将滤波后得到的图像进行二倍下采样，对二倍下采样的图像继续执行高斯滤波和二倍下采样，如此反复三次，得到高斯金字塔的多个图像。

其中，如图2所示，双视点图像g0进行高斯滤波后进行二倍下采样，得到图像g1。然后将图像g1进行高斯滤波和二倍下采样，得到图像g2。对图像g2进行高斯滤波和二倍下采样后得到图像g3。高斯金字塔的图像序列可以记作：g0、g1、g2、g3。

随后，通过插值的方式，将除了图像g0以外的图像g1、图像g2和图像g3进行二倍上采样。由图像g1进行二倍上采样得到图像g0^*，由图像g2进行二倍上采样得到图像g1*，由图像g3进行二倍上采样得到图像g2*。

其中，图像g0*的尺寸与图像g0相同；图像g1*的尺寸与图像g1相同；图像g2*的尺寸与图像g2相同。

然后将高斯金字塔中的图像与对应尺寸的上采样图像作差，得到拉普拉斯金字塔的多个图像。

具体地，拉普拉斯金字塔的各层图像由图像l0、图像l1、图像l2和图像l3表示。

其中，l3＝g3、l2＝g2-g2*、l1＝g1-g1*、l0＝g0-g0*。

随后，对图像l0、图像l1、图像l2和图像l3进行融合处理。其中，融合的过程在不同的拉普拉斯层上进行，为了突显出不同层的不同频率细节对最终融合图像的影响，在不同层所采用的融合算子不同。具体地，先从最顶层开始，将最顶层上采样到与上一层，并与上一层拉普拉斯图像进行融合，然后将上一层的融合图像继续进行上采样和融合操作，直到恢复到最底层。

融合过程的图像序列为：r0、r1、r2。

其中，

r2＝l2+f2(l3)

r1＝l1+f1(l2+f2(l3))

r0＝l0+f0(l1+f1(l2+f2(l3)))

f0，f1，f2是含有不同上采样算子的融合函数。

接着，通过统计融合图像中的直方图分布，通过如最大信息熵法等迭代方法确定二值化阈值。对感兴趣的区域，即显著区域进行二值化操作，获得图像中显著区域的掩模图。除了显著区域外的图像部分，均被划分为非显著区域，即不感兴趣区域。

s103、根据所述双视点图像得到深度图；

在本实施例中，可以对原始双视点图像进行立体匹配，计算出每组相应的匹配点的视差，并由此计算出深度图。

s104、对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。

所述较高和较低是相对而言的，即显著区域所采用的编码方式的码率比非显著区域所采用的编码方式的码率比要高。例如，对于显著区域所采用的编码方式的码率为x，非显著区域所采用的编码方式的码率为0.5x。

本实施例通过划分显著区域和非显著区域，并在编码时，对显著区域采用较高码率的编码方式进行编码，对非显著区域采用较低码率的编码方式进行编码；因此，本发明可以在确保显著区域的视频效果不显著降低的情况下，压缩双视点视频。

作为优选的实施例，所述划分所述双视点图像的显著区域和非显著区域，其具体包括：

计算所述双视点图像的拉普拉斯金字塔中的多个图像；

对所述拉普拉斯金字塔中的多个图像进行融合，得到融合图像；

对所述融合图像进行阈值划分，得到双视点图像的显著区域和非显著区域。

作为优选的实施例，所述计算所述双视点图像的拉普拉斯金字塔中的多个图像，其具体包括：

计算所述双视点图像的高斯金字塔中的多个图像；

根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像。

作为优选的实施例，所述计算所述双视点图像的高斯金字塔中的多个图像，其具体包括：

对所述双视点图像进行若干次二倍下采样，得到高斯金字塔中的多个图像；

所述根据所述高斯金字塔中的多个图像，得到拉普拉斯金字塔中的多个图像，其具体包括：

对高斯金字塔中的多个图像分别进行二倍上采样，得到多个上采样的图像，然后将高斯金字塔中的图像与同尺寸的上采样图像作差，得到拉普拉斯金字塔中的多个图像。

作为优选的实施例，所述根据所述双视点图像得到深度图，其具体为：

对双视点图像进行立体匹配，计算出相应匹配点的视差，从而得到深度图。

作为优选的实施例，在所述对所述拉普拉斯金字塔中的多个图像进行融合的过程中，对不同图层的融合操作采用不同的融合算子。

具体地，在融合过程中，先从拉普拉斯金字塔的最顶层开始，将最顶层上采样到与上一层，并与上一层拉普拉斯图像进行融合，然后将上一层的融合图像继续进行上采样和融合操作，直到恢复到最底层。

在本实施例中，在融合的过程对不同的层采用不同的融合算子，可以突显出不同层的不同频率细节对最终融合图像的影响，使得显著区域和非显著区域的划分更加精细。

作为优选的实施例，所述显著区域用掩模图表示。

本实施例采用掩模图来表示显著区域，以便于通过相与的方式快速将显著区域筛选出来。同理，非显著区域也可以用掩模图表示，其中表示显著区域的掩模图和表示非显著区域的掩模图为互补关系。

本实施例公开了一种双视点视频的处理系统，包括：

获取单元，用于获取双视点图像；

划分单元，用于划分所述双视点图像的显著区域和非显著区域；

深度图处理单元，用于根据所述双视点图像得到深度图；

编码单元，用于对所述深度图以及双视点图像中位于显著区域的部分采用较高码率的编码方式进行编码，对深度图以及双视点图像中位于非显著区域的部分采用较低码率的编码方式进行编码。

本实施例公开了一种双视点视频的处理系统，其包括：

存储器，用于存储程序；

处理器，用于加载所述程序，以执行所述的双视点视频的处理方法。

本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的双视点视频的处理方法。

上述系统和存储介质实施例均用于实现上述的方法实施例，因此，上述系统和存储介质实施例也可以达到上述方法实施例相同的技术效果。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。