一种空间相关的全景数据恢复方法

专利名称：一种空间相关的全景数据恢复方法
技术领域：
本发明涉及全景图像技术领域，更具体的讲，涉及一种利用空间相关性对全景压縮数据 进行恢复的方法。
背景技术：
全景图像是由某一点拍摄的多幅实景图像拼接而成的。其具体的生成过程是将相互重 叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然后对投影图像进行无 缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分为柱面全景图像、球 面全景图像和立方体全景图像。
全景图像覆盖了 360度的场景范围，所以其数据量巨大，这对图像的存储和传输造成了
很大的困难。因此，需要对全景视频进行压縮编码，以降低存储空间和减少传输时占用的网 络带宽。运动补偿是对运动图像进行压縮时所使用的一种帧间编码技术，由于运动的连续性， 图像序列中的预测帧图像可以看作是前面参考帧图像经过一定的平移得到的，因此，预测帧 图像可以利用运动向量和图像差值从参考帧图像恢复。本发明前，中国发明专利"运动图像
的运动补偿方法"，专利号为97125901.1，公开号为CN1195256公开了一种利用二维三角形 线框模型的运动补偿方法，通过三角形各顶点的运动向量变换三角形块，计算当前块中的像 素对应于参考块中的像素，从而恢复出当前图像。该方法主要是利用时间相关性来恢复当前 图像，并没有利用参考图像和预测图像的场景空间关系，不能够在高压縮比条件下对全景数 据进行恢复。中国发明专利"用于全景图像的运动估计和补偿的方法和设备"，申请号为 200580027187.3，公开号为CN101002479A公开了一种利用全景图的左右边界之间的空间关 系进行运动估计和补偿的方法。该方法只适用于柱面全景图的运动估计和图像恢复，而且仅 利用了全景图左右边界之间的空间关系，并没有充分利用全景图像间场景空间的相关性对数 据进行压縮和恢复，恢复连续的全景图像序列所需的数据量较大。
对于通过相机运动在同一场景空间里连续采集的全景图像，这些全景图像所覆盖的大部 分场景空间都是相同的。由于图像都来自同一场景空间，所以可以利用全景图像间的空间相 关性对图像进行压縮，将采集到的图像分为参考图像和预测图像，参考图像保存整个图像场 景空间的场景点，通过场景点的融合，预测图像可以仅保存新增加场景点的相关信息，从而 对全景图像的数据量进行压縮，本发明利用全景数据的空间相关性，通过恢复出压縮数据中的场景点信息生成全景图像。因此，本发明的空间相关的全景压縮数据恢复方法利用场景点 的空间相关性，根据视点的相机外参数，从场景点恢复出全景图像，能够在高压縮比条件下 对连续的全景图像进行恢复。

发明内容
本发明的技术解决问题克服现有方法没有充分利用空间相关性的不足，"提供"种空间 相关的全景压縮数据恢复的方法，该方法在全景数据恢复的过程中，有效的根据获取到的相 机外参数，利用全景数据的空间相关性，将压縮数据恢复为预测图像相应的全景图像，保证 在高压縮比条件下恢复出连续的全景图像序列。
为了实现上述目的，本发明所采取的技术方案是根据获取到的相机外参数，通过参考 图像和相应的深度信息以及增量信息恢复出整个场景空间的场景点信息，最终生成出预测图 像相应的全景图像，具体包含的步骤如下
(1) 获取预测图像相对于参考图像的相机外参数，包括相机的旋转矩阵R和平移量T;
(2) 完成步骤(1)后，由参考图像和相应的深度信息恢复参考图像的场景点；
(3) 完成步骤(2)后，根据预测图像保存的场景点增量信息，获取预测图相对于参考 图像新增加的场景点；
(4) 根据步骤(1)获取的相机外参数，利用步骤(2)和步骤(3)得到的场景点信息
生成预测图像相应的全景图像。
本发明的原理是全景压缩数据中保存了整个场景空间的场景点信息，其中，利用参考
图像和其深度图可以对参考图像所观看到的场景点进行恢复，而利用场景点的增量信息可以 恢复出相对参考图像的新增的场景点。这样就可以通过获取预测图像相对于参考图像的相机 外参数，并利用恢复出的整个场景空间的场景点，生成预测图像相应的全景图像。
本发明与现有技术相比的优点在于本发明能够充分利用全景数据的空间相关性，利用 相机外参数以及参考图像和预测图像保存的压縮数据，通过恢复出的场景点信息生成预测图 像相应的全景图像，能够在高压縮比条件下恢复出全景图像。


图1为空间相关的全景数据压縮方法的流程图2为全景图像场景点生成的示意图3为利用空间相关性对场景点进行融合的示意图4为本发明空间相关的全景数据恢复方法的流程图5A为投影点在参考图像和预测图像中均无遮挡情况下恢复全景图像的示意图，图5B为投影点在参考图像中存在遮挡关系情况下恢复全景图像的示意图，图5C为投影点在预测
图像中存在遮挡关系情况下恢复全景图像的示意图。
具体实施例方式
本发明恢复方法是对利用空间相关的全景数据压縮方法压縮后的数据进行恢复，所以首 先结合附图和实施例对与本发明相关的空间相关的全景数据压縮方法进行描述，该方法流程 如图1所示，其步骤如下
(1)使用Structure From Motion (运动结构重建)算法获取预测图像相对于参考图像 的相机外参数，如公式(l)所示，相机外参数包括相机的旋转矩阵R和平移量T，也可以采 用其它方法获取相机外参数。
上述的运动结构重建算法主要包括以下步骤首先，提取参考图像和预测图像的特征点， 例如KLT (Kanade-Lucas-Tomasi)特征点，并根据特征点的描述子信息寻找相邻两幅图像中 匹配的特征点；其次，根据特征点的匹配关系计算相邻两幅图像的相机外参数；然后，根据 相邻两幅图像之间的相机外参数，计算所有图像相对参考图像的相机外参数；最后，对所有 的相机外参数进行捆绑调整。
-57." a my々 coy a cos y—s/w p s/"々cay ay+s/w a s/" 〃咖7 s/w / —咖/ 57'w y cos A my 7
a)
其中，(a，A"表示相机绕X方向、Y方向和Z方向的旋转量，(t t,, 4)表示相机沿
X方向、Y方向和Z方向的平移量。
(2) 完成步骤(1)以后，使用Plane Swe印ing (平扫)算法获取参考图像和预测图像 的深度信息，即图像中每一个像素点的深度值，也可以采用其它方法获取图像的深度信息。
上述的平扫算法主要包括以下步骤首先，在空间中预定义一系列的平面，每一个平面 对应一个深度值；然后，让图像中心与像素点所构成的射线与预定义的各平面相交，并计算
各交点在其它图像上的投影点；最后，统计投影点与原像素点的颜色误差和，选取颜色误差 和最小的交点所对应的平面的深度值作为原像素点的深度值。
(3) 根据步骤(2)获取的深度信息，得到参考图像和预测图像各自的三维场景点。 如图2所示，P点是全景图像21上的一个像素点，7是像素点P相对于全景图像中心的
深度22， (A0是像素点P的经纬度23，其中p的取值范围是(-;z",;z")， ^的取值范围是 卜丌/么;r/力。像素点P所对应的场景点X的三维坐标如公式(2)所示<formula>formula see original document page 7</formula>根据像素点的经纬度和深度信息，利用公式(2)可以生成全景图像中所有像素点所对
应的场景点。
(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的场景点进 行融合，计算预测图像新增加的场景点。
如图3所示，对于同时在参考图像31和预测图像32中投影的场景点X， X,是场景点X 相对于参考图像中心的坐标34， X2是场景点X相对于预测图像中心的坐标35，则^和X2的 坐标变换如公式(3)所示。<formula>formula see original document page 7</formula>
其中，W和r是预测图像相对于参考图像的相机外参数33的旋转矩阵和平移量。
根据公式(3),对预测图像的每一个场景点进行判断，如果存在一个参考图像的场景点 与所述预测图像的场景点满足上述公式(3)，则该预测图像的场景点不是新增加的场景点； 如果不存在一个参考图像的场景与所述预测图像场景点满足上述公式(3)，则该预测图像的 场景点是新增加的场景点。
对于己经在参考图像中存在的场景点，如图3中同时在参考图像31和预测图像32中投 影的场景点X，这类点的深度和颜色信息只需要在参考图像中保存，而它们在预测图像中的 投影点Q可以根据相机的旋转和平移利用空间相关性通过公式(2)生成。对于预测图像新 增加的场景点，如图3中仅在预测图像32中投影的场景点Y，需要在预测图像32中保存新 增加的场景点的位置和颜色。
(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加 的场景点进行编码。对于参考图像本身的颜色信息采用JPEG标准压縮编码方式，其深度信 息被组织成深度图像也采用JPEG标准压縮编码方式。对于预测图像新增加的场景点的位置 信息和颜色信息采用HUFFMAN压縮编码。参考图像和预测图像的压li编码也可以采用其它编 码方法。
以下结合附图和实施例对本发明方法进行进一步的描述
图4为本发明方法的流程图，本发明利用空间相关性对全景压縮数据进行恢复，生成预 测图像相应的全景图像，其步骤如下
(1)由压缩文件中获取预测图像相对于参考图像的相机外参数，包括相机的旋转矩阵R和平移量T。相机外参数的旋转矩阵R和平移量T如公式(1)所示。
(2) 完成步骤(1)后，由参考图像及相应的深度信息恢复参考图像的场景点，根据其 深度信息恢复为场景点在参考图像坐标系中的坐标。如图2所示，P点是全景图像上的一个 像素点，7是像素点P相对于参考图像中心的深度值22, (p刀)是像素点P的经讳度，其中p
的取值范围是(-;r,;z:)， ^的取值范围是(-;r/2，;r/2)。像素点P所对应的场景点X的三维坐
标如公式(2)所示。根据像素点的经纬度和深度信息，利用公式(2)可以生成参考图像所 见的全部场景点。
(3) 完成步骤(2)后，根据预测图像保存的场景点增量信息，计算相对于参考图像新 增加的场景点。其中场景点的增量信息包括预测图像相对于参考图像新增场景点的位置信息 和颜色信息。
(4) 根据步骤(1)获取相机外参数，利用步骤(2)和(3)计算出的场景点信息生成 预测图像相应的全景图像。具体步骤又可分为
(4.1) 首先判断遮挡关系并确定需要投影的场景点。如图5所示，根据不同的遮挡关 系，具体分为三种情况。如图5A所示，54场景点X和55场景点Y均为计算出的空间场景点， 两点在51参考图像和52预测图像中均没有遮挡，则可以直接将该场景点投影至预测图像的 单位球上；如图5B所示，这样55场景点Y在参考图像中遮挡住了 54场景点X的信息，但 在预测图像中两点均可见，所以也可以将两点投影至预测图像的单位球上；如图5C中，54 场景点X在预测图像中遮挡了 55场景点Y的信息，所以需要选择与预测图像中心距离最近 的一点进行投影。
(4.2) 接着将这些场景点坐标转换至预测图像坐标系下。在生成预测图像相应全景图 像的过程中，根据有遮挡关系判断出需要投影的场景点，利用公式(l)计算场景点相对于参 考图像中心的坐标。X,是需要投影的场景点X相对于参考图像中心的坐标，X2是场景点X相 对于预测图像中心的坐标，则X,和X2的坐标变换如公式(3)所示。
(4.3) 最后对这些场景点进行投影，生成全景图像。首先获取场景点X在预测图像坐 标系下的坐标，接着将该坐标投影到预测图像所在的单位球上，投影公式如(5)所示。0r, x z) 为场景点X在预测图像坐标系下的坐标，^,勺是投影后像素点的经纬度，其中p的取值范
围是(-丌,;r)， P的取值范围是(-"/么"/2)。<formula>formula see original document page 9</formula>
最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本领域的普 通技术人员来说，在不脱离本发明利用空间相关性对全景数据进行恢复前提下，还可以做出 若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。
权利要求
1、一种空间相关的全景压缩数据恢复方法，其特征在于步骤如下(1)获取预测图像相对于参考图像的相机外参数，包括相机的旋转矩阵R和平移量T；(2)完成步骤(1)后，由参考图像和相应的深度信息恢复参考图像的场景点；(3)完成步骤(2)后，根据预测图像保存的场景点增量信息，获取预测图像相对于参考图像新增加的场景点；(4)根据步骤(1)获取的相机外参数，利用步骤(2)和步骤(3)得到的场景点信息生成预测图像相应的全景图像。
2、 根据权利要求1所述的空间相关的全景压縮数据恢复方法，其特征在于所述步骤(2) 中，根据参考图像和相应的深度信息，利用以下公式恢复参考图像的场景点的三维坐 标(x， y， z)-其中，P为像素点的纬度，伊为像素点的经度，7为像素点的深度值。
3、 根据权利要求1所述的空间相关的全景压縮数据恢复方法，其特征在于所述步骤(3) 中，所述的预测图像保存的增量信息包括预测图像相对于参考图像新增场景点的位置 信息和颜色信息，直接读取所述位置信息和颜色信息，即可获取出预测图像相对于参考图像 新增加的场景点。
4、 根据权利要求1所述的空间相关的全景压縮数据恢复方法，其特征在于所述步骤(4) 中，利用相机外参数和场景点信息生成预测图像相应的全景图像的方法为首先判断 遮挡关系并确定需要投影的场景点，接着将选择的场景点坐标转换至预测图像坐标系下，最 后对选择的场景点进行投影，生成全景图像。
5、 根据权利要求4所述的根据权利要求1所述的空间相关的全景压縮数据恢复方法， 其特征在于所述判断遮挡关系并确定需要投影的场景点的方法为如果没有遮挡，则确定 该点需要投影；如果有遮挡，则只确定距离预测图像中心最近的场景点需要投影。
6、 根据权利要求4所述的根据权利要求1所述的空间相关的全景压缩数据恢复方法， 其特征在于所述的将选择的场景点坐标转换至预测图像坐标系下的方法为利用以下公式 将需要投影的场景点由参考图像坐标系下坐标l转换为预测图像坐标系下坐标X2 :<formula>formula see original document page 3</formula>其中，/ 和r分别为预测图像相对于参考图像的相机外参数的旋转矩阵和平移量。
7、根据权利要求4所述的根据权利要求i所述的空间相关的全景压缩数据恢复方法，其特征在于利用以下公式将选择的场景点进行投影，生成全景图像-<formula>formula see original document page 3</formula>其中，(JT,/,力为场景点X在预测图像坐标系中的坐标，(p,"是投影后像素点的经纬
全文摘要
一种空间相关的全景压缩数据恢复方法，其步骤如下(1)获取预测图像相对于参考图像的相机外参数，包括相机的旋转矩阵R和平移量T；(2)完成步骤(1)后，由参考图像和相应的深度信息恢复参考图像的场景点；(3)完成步骤(2)后，根据预测图像保存的场景点增量信息，获取相对于参考图像新增加的场景点；(4)根据步骤(1)获取的相机外参数，利用步骤(2)和(3)计算出的场景点信息生成预测图像相应的全景图像。本发明利用全景数据之间的空间相关性，恢复预测图像相应的全景图像。
文档编号H04N7/36GK101547363SQ20091008146
公开日2009年9月30日 申请日期2009年4月3日 优先权日2009年4月3日
发明者威 吴, 忠 周, 李艳丽, 犇 牛, 赵沁平, 珂 陈 申请人:北京航空航天大学