第一视点1做为主视点，计算主视点深度图中每两个相邻像素之间的深 度值之差AZ，然后进行感兴趣边界检测，d(x，y)代表（x，y)处的深度值，Bl(x，y)代表深 度图左边界，Br(X，y)代表右边界，
[0067] (I)如果BI(X，y) = 1，则认为（X，y)和（x-1，y)之间有一个左边界，（X，y)属于 前景，（X-1，y)属于背景；
[0068] 似如果化(X，y) = 1，认为（X+1，y)和（X，y)之间有一个右边界，（X，y)属于前 景，（X+1，y)属于背景；
[0069] 做如果Bl(X，y)或者化(X，y)等于0,则相邻像素之间没有边界。
[0070] 第=步：根据虚拟视点2合成规则对第一视点1和第二视点3执行区域分割，并判 定是否为重要区域。
[0071] 我们对不同区域采用不同的处理方法W节省码率，考虑背景平面Q且与成像平面 P平行的情况，由于本方法对区域要求可W不用很精确，因此只考虑背景Q作为平面的情 况。本发明只考虑ID模型，即第一视点1和第二视点3的照相机平行放置，成像平面P仅有 水平视差没有垂直视差。根据深度图所描述的实际场景信息对成像平面P进行区域划分， 第一视点1和第二视点3代表原始视点，虚拟视点2代表需要使用第一视点1和第二视点3 来合成的虚拟视点，区域丽和AL分别表示前景和背景。第一视点1和第二视点3之间的 基线长度为以fy是摄像机的焦距长度。
[0072] 本实施例选取第一视点1为主视点。根据3D映射过程按照虚拟视点2所需的区 域"从左到右"顺序进行，可分为四个步骤：
[007引1)计算区域AB在第一视点1中的长度Cab。
[0074] 由于区域AB超出了虚拟视点2的视觉范围，为非重要区域，所W将其在第一视点 1中的对应区域进行低BCS观测率采样。区域宽度可由公式（4)求得。
[00巧]2)计算左边界区域DE在第一视点1中的长度Cde。
[0076] 由于区域DE被前景MN所遮挡，导致虚拟视点2对此区域不可见，因此为非重要区 域，对此区域采用低BCS观测率采样，此区域宽度可由公式（5)求得。
[0077] 第一视点1中除W上两个区域外的所有区域均为重要区域，在编码时对其采用高 BCS观测率采样。
[007引扣计算区域FG在第二视点3中的长度CpG。
[0079] 因为虚拟视点2需要的FG区域在第一视点1中被遮挡，因此我们需要从第二视 点3中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域HI可由公式 化）求得。
[0080] 4)计算第二视点3中区域IJ的长度C。。
[0081] 最后，对于虚拟视点2需要的区域IJ，由于在第一视点1中不可得，因此我们需要 从第二视点3的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率。区域长 度Cu可化围过公式（7)计算。
[008引第二视点3中除区域FG、区域IJ外的所有区域均为非重要区域，在编码时采用低 BCS观测率采样。如果第二视点3被选为主视点，区域划分方法和求取方法相同，只是改变 了重要性规则。
[008引第四步：对不同的区域进行观测率分配。
[0084] 在上一步中对原始视点进行了区域划分，在运一步则根据区域重要性进行不同的 CS观测率分配：对重要区域分配了较高的CS观测率，对非重要区域去则分配较低观测率。 由于选择第一视点1为主视点，所W第一视点1中大部分区域都是重要区域，而第二视点3 中只有W上求取得区域为重要区域，其余均为非重要区域。
[0085] 对重要区域应用观测率为R1，对非重要区域观测率则为R2,本实施例我们采用了 八组观测率，如表1所示，分别为
[0086]表1
[0087]
[008引分配不同观测率后，对比方法的观测率可W由W上观测率根据实际原始视频特性 求得，即等效观测率。对应W上八组求得的等效观测率如表2所示：
[0089]表 2
[0090]
[0091] 完成W上步骤后，我们对原始视点的采样值进行了BCS-S化恢复，然后进行虚拟 视点的合成；对比组采用等效观测率进行BCS采样，而后进行BCS-SPL恢复，同样进行了虚 拟视点的合成。最后比较了虚拟视点的合成质量。
[0092] 对应虚拟视点峰值信噪比对比图参照附图3、附图4,其中附图3为kendo序列，附 图4为bookarrival序列，根据图中曲线可W看出本方案相较于未分区域的BCS-S化提升 接近1地。质量视觉质量对比图参照附图5,其中（A)列为kendo序列，（B)列为bookarrival 序列，上图为原始图像，中图为未分区域的原始视点合成的虚拟视点图像，下图为分区域的 原始视点合成的虚拟视点图像。
【主权项】
1. 一种分区域的3D视频映射方法，其特征在于具体操作方法为： 第一步：计算阈值：3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两个视 点分别记为第一视点（1)和第二视点（3)，假设用第一视点（1)和第二视点（3)来合成中间 的虚拟视点（2)，我们通过计算一个阈值来确定第一视点（1)和第二视点（3)中区域的边 界，阈值由公式（1)可求：其中，zn_和z是自然场景与摄像机之间的距离范围，也可称为深度范围，L是第一 视点（1)和第二视点（3)之间的距离，即基线长度，&是摄像机焦距； 第二步：从第一视点（1)和第二视点（3)中任选取一个视点为主视点，根据主视点深度 图分别对第一视点（1)和第二视点（3)进行分区域， 首先从第一视点（1)和第二视点（3)中任选取一个视点为主视点，计算主视点深度图 中每两个相邻像素之间的深度值之差AZ，然后利用公式（2)、（3)进行感兴趣边界检测， d(x，y)代表（x，y)处的深度值，Bl(x，y)代表深度图左边界，(1) 如果Bl(x，y) = 1，则认为（x，y)和（x_l，y)之间有一个左边界，（x，y)属于前景， (x-1，y)属于背景； (2) 如果Br(x，y) = 1，认为（x+1，y)和（x，y)之间有一个右边界，（x，y)属于前景， (x+1，y)属于背景； (3) 如果BI(x，y)或者Br(x，y)等于0,则相邻像素之间没有边界； 第三步：根据虚拟视点（2)合成规则对第一视点（1)和第二视点（3)执行区域分割，并 判定是否为重要区域， 我们对不同区域采用不同的处理方法以节省码率，考虑背景平面（Q)与成像平面P平 行的情况，由于本方法对区域要求可以不用很精确，因此只考虑背景（Q)作为平面的情况； 本发明只考虑ID模型，即第一视点（1)和第二视点（3)的照相机平行放置，成像平面（P)仅 有水平视差没有垂直视差；根据深度图所描述的实际场景信息对成像平面（P)进行区域划 分，第一视点（1)和第二视点（3)代表原始视点，虚拟视点（2)代表需要使用第一视点（1) 和第二视点（3)来合成的视点，区域MN和AJ分别表示前景和背景，第一视点（1)和第二视 点（3)之间的基线长度为L，&是摄像机的焦距长度； 假设第一视点（1)被选为主视点，根据3D映射过程按照虚拟视点（2)所需的区域"从 左到右"顺序进行，可分为四个步骤： 1)计算区域AB在第一视点⑴中的长度Cab 由于区域AB超出了虚拟视点（2)的视觉范围，为非重要区域，所以将其在第一视点（1) 中的对应区域进行低BCS观测率采样，设Cab代表区域AB在第一视点（1)中的长度，dA代表 A点对应的视差值，zn_和z分别代表场景最近值和最远值，2) 计算左边界区域DE在第一视点⑴中的长度Cde 由于区域DE被前景丽所遮挡，导致虚拟视点（2)对此区域不可见，因此为非重要区 域，对此区域采用低BCS观测率采样，其中，dM、dE的表示意义同上述dA，第一视点（1)中除以上两个区域外的所有区域均为 重要区域，在编码时对其采用高BCS观测率采样； 3) 计算区域FG在第二视点（3)中的长度Cre 因为虚拟视点2需要的FG区域在第一视点（1)中被遮挡，因此我们需要从第二视点 (3)中寻找对应的区域，因此此区域为重要区域，需要采用高BCS观测率，区域FG可由公式 (6)求得：其中，dN、dp?的求取方法同上述dA; 4) 计算第二视点（3)中区域IJ的长度Cu 最后，对于虚拟视点（2)需要的区域IJ，由于在第一视点（1)中不可得，因此我们需要 从第二视点（3)的相应区域来得到，因此此区域为重要区域，需要采用高BCS观测率，区域 长度Cu可以通过公式（7)计算，其中，Cl1的求取方法同上述dA，第二视点（3)中除区域FG、区域IJ外的所有区域均为 非重要区域，在编码时采用低BCS观测率采样； 如果第二视点（3)被选为主视点，区域划分方法和求取方法相同，只是改变了重要性 规则； 第四步：对不同的区域进行观测率分配 在上一步中对第一视点（1)和第二视点（3)进行了区域划分，在这一步则根据区域重 要性进行不同的CS观测率分配：对重要区域分配了较高的CS观测率，对非重要区域去则分 配较低观测率； 根据压缩感知（CS)理论，对于一个稀疏信号X，通过使用一个采样矩阵?可得一个观 测值向量，这个矩阵通常是标准正交的，即I，观测值y可由公式（8)得到： y= (8) 在CS重建的过程中，假设存在一个稀疏变换参数阵使得X' =WX，最理想的恢复是找 到和y具有最小零范数的X'，其中W1代表逆变换； 当CS应用到二维图像领域的时候，CS面临很多问题，例如较大的观测矩阵和复杂耗时 的重建过程等；由于以上问题，分块压缩感知（BCS)被提出，一幅图像被分为几个不重叠的 块，每个块都由一个相同的观测矩阵〇8进行观测，等同于原始图像被一个对角阵?进行 观测，由于的大小远小于①，储存观测矩阵所用的空间大大减小，重建过程的速度也大大 提尚； 由于选择第一视点（1)为主视点，所以第一视点（1)中大部分区域都是重要区域，而第 二视点（3)中只有以上求取得区域为重要区域，其余均为非重要区域； 对重要区域应用观测率为R1，对非重要区域观测率则为R2,如公式（11)所示，分配不同观测率后，对比方法中视点的观测率可以由以上观测率求得，即等效观测 率；其中col和row分别代表当前帧的宽度和高度，region_size代表当前帧中每个区域 的大小，subrate代表对应的观测率。
【专利摘要】一种基于分区域的3D视频编码技术，属于3D视频编码技术领域，其特征是：第一通过虚拟视点合成技术确定原始视点的区域划分，以此将原始视点划分为不同区域；第二根据区域的重要性进行编码，随机选择一个视点作为主视点，对划分的区域分为重要区域和非重要区域；然后对非重要区域采用较低的BCS观测率，而重要区域则采用较高的BCS观测率。优点是对原始视点进行分区域，然后对区域中的像素进行不同压缩处理，避免无效信息的重复编码，在相同观测率下，虚拟视点质量得到提高。
【IPC分类】H04N13/00
【公开号】CN105141940
【申请号】CN201510509321
【发明人】王安红, 邢志伟, 金鉴, 武迎春
【申请人】太原科技大学
【公开日】2015年12月9日
【申请日】2015年8月18日