空间相关的全景数据压缩方法

专利名称：空间相关的全景数据压缩方法
技术领域：
本发明涉及全景图像技术领域，更具体地讲，涉及一种利用空间相关性对连续采集的 全景数据进行压縮的方法。
背景技术：
全景图像是由某一点拍摄的多幅实景图像拼接而成的。其具体的生成过程是将相互 重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然后对投影图像进 行无缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分为柱面全景图 像、球面全景图像和立方体全景图像。
全景图像覆盖了 360度的场景范围，所以其数据量巨大，这对图像的存储和传输造成
了很大的困难。因此，需要对全景视频进行压缩编码，以降低存储空间和减少传输时占用 的网络带宽。在视频图像压縮中，运动估计用来根据己经编码的参考帧产生当前预测帧的 运动补偿预测，去除视频序列中存在的时间冗余。运动估计的方法是将预测帧分成若千大 小相同的块，根据不同的搜索算法和匹配原则在参考帧一定大小的窗口内搜索最相似的匹
配块。本发明前，中国发明专利"快速视频运动估计方法"，专利号为01100544. 4,公开号 为CN1333634，该专利公开了一种运动估计的方法，采用菱形搜索并自适应的终止搜索过 程。该方法主要是针对普通视频采用固定顺序进行块匹配搜索，并没有充分利用视频图像 间的空间冗余信息，从而不能有效地对全景图像进行压縮。中国发明专利"用于全景图像 的运动估计和补偿的方法和设备"，申请号为200580027187. 3，公开号为CN101002479A， 该专利公开了一种利用全景图的左右边界之间的空间关系进行运动估计和补偿的方法。该 方法只适用于柱面全景图，而且没有充分利用整幅全景图像的场景空间相关性，因而图像 压縮效率不高。
对于通过相机运动在同一场景空间里连续采集的全景图像，这些全景图像所覆盖的大 部分场景空间都是相同的。由于图像都来自同一场景空间，只是根据相机位置变化而采集 了多次，所以图像与图像之间的数据相近，其差异主要是来自于空间采集位置的不同，其 数据具有空间相关性。因此，本发明的空间相关的全景数据压縮方法利用连续采集的全景 图像之间场景空间的相关性，压縮存在于全景图像里的空间冗余信息。

发明内容
4本发明的目的是克服现有方法没有充分利用场景空间相关性不能有效地提高全景图 像压縮比的不足，提供一种利用空间相关性的全景数据压縮方法，该方法在全景数据压縮 的过程中，可以有效地压缩存在于连续采集的全景图像间的空间冗余信息，提高全景图像 数据的压缩比。
为了实现上述目的，本发明所采取的技术方案是将连续采集的全景数据分为参考图 像和预测图像，参考图像保存了整个图像的场景空间的场景点，预测图像只存储场景空间 的新增加的场景点，预测图像可以根据相机的外参数从参考图像生成，从而减少全景图像 的数据量，具体包含的步骤如下-
(1) 获取预测图像相对于参考图像的相机外参数，所述相机外参数包括相机的旋转矩 阵y 和平移量7;
(2) 完成步骤(1)以后，获取参考图像和预测图像的深度信息，即图像中每一个像 素点的深度值；
(3) 根据步骤(2)的参考图像和预测图像的深度信息，获取参考图像和预测图像的 场景点；
(4) 根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的参考图像 和预测图像的场景点进行融合，得到预测图像新增加的场景点；
(5) 完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增 加的场景点进行编码，从而完成空间相关的全景数据压缩。
本发明的原理是在同一场景空间里连续采集了多幅全景图像，这些全景图像所覆盖 的大部分场景空间都是相同的，利用全景图像间的空间相关性对图像进行压縮，通过相机 外参数计算出参考图像和预测图像的所有场景点，然后对场景点进行融合，判断预测图像 新增加的场景点，对于预测图像仅保存新增加的场景点的相关信息，从而对全景图像的数 据量进行压縮。
本发明与现有技术相比的优点在于本发明充分利用了场景空间的相关性对全景数据
进行压縮，根据相机的外参数，计算出预测图像相对于参考图像新增加的场景点，参考图 像保存了整个图像的场景点，预测图像仅存储新增加的场景点，从而减少全景数据的数据 量，提高了全景数据的压缩比。


图1为本发明中参考图像和预测图像的空间相关性的示意图； 图2为本发明空间相关的全景数据压縮方法的流程图；图3为本发明中全景图像场景点生成的示意图； 图4为本发明中利用空间相关性对场景点进行融合的示意图。 具体实施方法
下面结合附图和实施例对本发明作进一步详细的描述-
本发明将连续采集的全景图像分为参考图像和预测图像。参考图像和预测图像具体可 以按照固定比率(如1:5、 1:10、 1:15等)，也可以根据相机的平移量，按照相机相对于当 前参考图像的位置进行划分。参考图像保存整幅图像本身的颜色信息以及相应的深度信息， 通过参考图像可以获取整幅图像所对应的场景点。预测图像保存了相对于参考图像的场景 点增量信息，其增量信息包括新增加的场景点的位置信息和颜色信息。预测图像可以根据 相机的位置和方向利用空间相关性通过参考图像和场景点增量信息生成。对于连续采集的 多幅全景图像来说，本发明利用场景的空间相关性对全景图像进行压縮。
在介绍本发明的具体实施步骤之前，对参考图像和预测图像的空间相关性进行说明。 如图1所示，把参考图像11和预测图像12到映射单位球面上，对于出现在参考图像ll和 预测图像12中的同一个场景点X，该场景点在参考图像11和预测图像12上投影分别为P 点和Q点，则P点和Q点的坐标变换如公式(1)所示。
li (7"-r)1
在公式(1)中，W和7是预测图像相对于参考图像的相机外参数13的旋转矩阵和平移 量，7是在参考图像11中场景点X的深度值14，即场景点X与参考图像11相机中心0的 距离。相机外参数的旋转矩阵W和平移量7如公式(2)所示。
coy a cos1" " coy 7 + cos " s/w 〃 s/w ;k a 57力y — cos " 〃 ms* ;r i = 一 w力or coy >9 my " cos 7 - s/" p s/w々s/w ;k cos " s/w z + 57'" " s//2々cos ;r
M《G
(2)
在公式(2)中，(a,A"表示相机绕X方向、Y方向和Z方向的旋转量，(t "")
表示相机沿X方向、Y方向和Z方向的平移量。
场景点X在预测图像12中的投影点Q，可以根据预测图像相对于参考图像的相机外参 数13和场景点X的深度值14，利用参考图像11和预测图像12的场景空间相关性，从参考
图像ll生成。
本发明利用空间相关性的全景数据压縮方法的流程如图'2所示，其步骤如下
6(1) 使用Structure From Motion (运动结构重建)算法获取预测图像相对于参考图 像的相机外参数，包括相机的旋转矩阵R和平移量T，也可以采用其它方法获取相机外参数。
上述的运动结构重建算法主要包括以下步骤首先，提取参考图像和预测图像的特征 点，例如KLT (Kanade-Lucas-Tomasi)特征点，并根据特征点的描述子信息寻找相邻两幅 图像中匹配的特征点；其次，根据特征点的匹配关系计算相邻两幅图像的相机外参数；然 后，根据相邻两幅图像之间的相机外参数，计算所有图像相对参考图像的相机外参数；最 后，对所有的相机外参数进行捆绑调整。
(2) 完成步骤(1)以后，使用Plane Swe印ing (平扫)算法获取参考图像和预测图 像的深度信息，即图像中每一个像素点的深度值，也可以采用其它方法获取图像的深度信 息。
上述的平扫算法主要包括以下步骤首先，在空间中预定义一系列的平面，每一个平 面对应一个深度值；然后，让图像中心与像素点所构成的射线与预定义的各平面相交，并 计算各交点在其它图像上的投影点；最后，统计投影点与原像素点的颜色误差和，选取颜 色误差和最小的交点所对应的平面的深度值作为原像素点的深度值。
(3) 根据步骤(2)获取的深度信息，获取参考图像和预测图像各自的三维场景点。 如图3所示，P点是全景图像31上的一个像素点，2是像素点P相对于全景图像中心
的深度32，(伊,0是像素点P的经纬度33，其中p的取值范围是(-;r，;r;)， 9的取值范围是
(-;r/2,;r/2)。像素点P所对应的场景点X的三维坐标如公式(3)所示。
-_y-/cfw^z'wp (3)
根据像素点的经纬度和深度信息，利用公式(3)可以生成全景图像中所有像素点所对 应的场景点。
(4) 根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的场景点进 行融合，得到预测图像新增加的场景点。
如图4所示，对于伺时在参考图像41和预测图像42中投影的场景点X， X,是场景点X 相对于参考图像中心的坐标44， &是场景点X相对于预测图像中心的坐标45，则X,和X2 的坐标变换如公式(4)所示。
J^-取广W (4) 其中，左和f是预测图像相对于参考图像的相机外参数43的旋转矩阵和平移量根据公式(4)，对预测图像的每一个场景点进行判断'，如果存在一个参考图像的场景 点与所述预测图像的场景点满足上述公式(4)，则该预测图像的场景点不是新增加的场景 点；如果不存在一个参考图像的场景与预测图像的场景点满足上述公式(4)，则该预测图 像的场景点是新增加的场景点。
对于已经在参考图像中存在的场景点，如图4中同时在参考图像41和预测图像42中 投影的场景点X，这类点的深度和颜色信息只需要在参考图像中保存，而它们在预测图像中 的投影点Q可以根据相机的旋转和平移利用空间相关性通过公式(1)生成。对于预测图像 新增加的场景点，如图4中仅在预测图像42中投影的场景点Y，需要在预测图像42中保存 新增加的场景点的位置和颜色。
(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增 加的场景点进行编码。对于参考图像本身的颜色信息采用JPEG标准压縮编码方式，其深度 信息被组织成深度图像也采用JPEG标准压缩编码方式。对于预测图像新增加的场景点的位 置信息和颜色信息采用HUFFMAN压縮编码。参考图像和预测图像的压縮编码也可以采用其 它编码方法。
本发明中未详细阐述的部分属于本领域技术人员的公知技术。
最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明利用空间相关性对全景数据进行压縮前提下，还 可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。
8
权利要求
1、一种空间相关的全景数据压缩方法，其特征在于步骤如下(1)获取预测图像相对于参考图像的相机外参数，所述相机外参数包括相机的旋转矩阵R和平移量T；(2)完成步骤(1)以后，获取参考图像和预测图像的深度信息，即图像中每一个像素点的深度值；(3)根据步骤(2)的参考图像和预测图像的深度信息，获取参考图像和预测图像的场景点；(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的参考图像和预测图像的场景点进行融合，得到预测图像新增加的场景点；(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加的场景点进行编码，从而完成空间相关的全景数据压缩。
2、 根据权利要求1所述的空间相关的全景数据压縮方法，其特征在于所述步骤(3) 中获取参考图像和预测图像场景点的方法为根据参考图像和预测图像每个像素点的深度 值7，利用下列公式(a)计算参考图像和预测图像每个像素点所对应的场景点的三维坐标(A /，力，从而得到参考图像和预测图像的场景点< _y 二/ms(9w'"p ( a )其中，^为像素点的纬度，^为像素点的经度，7为像素点的深度值。
3、 根据权利要求1所述的空间相关的全景数据压縮方法，其特征在于所述步骤(4) 中根据相机外参数，利用空间相关性对参考图像和预测图像的场景点进行融合，得到预测图像相对于参考图像新增加的场景点的方法为对预测图像的每一个场景点进行判断，如果存在参考图像的场景点与所述预测图像的场景点满足下述公式(b)，则该预测图像的场景点不是新增加的场景点；如果不存在参考图像的场景点与该所述预测图像的场景点满足 下述公式b，则该预测图像的场景点是新增加的场景点，A《义广7V ( b )其中，l是参考图像的场景点相对于参考图像中心的坐标，X2是预观^图像的场景点相对于预测图像中心的坐标，w和r是预测图像相对于参考图像的相机外参数的旋转矩阵和平移且 里。
4、根据权利要求1-3之一所述的空间相关的全景数据压縮方法，其特征在于所述的 参考图像保存整幅图像本身的颜色信息以及相应的深度信息，预测图像保存新增加的场景 点的位置信息和颜色信息。
全文摘要
一种空间相关的全景数据压缩方法，其步骤如下(1)获取预测图像相对于参考图像的相机外参数，相机外参数包括相机的旋转矩阵R和平移量T；(2)完成步骤(1)以后，获取参考图像和预测图像的深度信息，即图像中每一个像素点的深度值；(3)根据步骤(2)的参考图像和预测图像的深度信息，获取参考图像和预测图像的场景点；(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的参考图像和预测图像的场景点进行融合，得到预测图像新增加的场景点；(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加的场景点进行编码。本发明利用连续采集的全景图像之间场景空间的相关性，压缩存在于全景图像里的空间冗余信息。
文档编号H04N7/26GK101521823SQ20091008102
公开日2009年9月2日 申请日期2009年3月27日 优先权日2009年3月27日
发明者威 吴, 忠 周, 李艳丽, 犇 牛, 赵沁平, 珂 陈 申请人:北京航空航天大学