基于全景影像景深图的探面方法
【专利摘要】本发明公开了一种基于全景影像景深图的探面方法，属于可量测街景影像领域，本发明使用景深图的地面探面，在上下坡路段探测结果更加准确；同时由于使用点云自动生产景深图，自动化程度高，不需要人工干预，数据生产成本低。对于建筑物立面探面结果，本发明根据最大视角原则选取目标全景，更加符合真实情况。
【专利说明】
【技术领域】
[0001] 本发明属于可量测街景影像领域，特别是涉及一种基于全景影像景深图的探面方 法。 基于全景影像景深图的探面方法
【背景技术】
[0002] 全景影像又称为街景或街景影像，目前，腾讯街景、百度街景提供的街景服务已被 广泛认可。
[0003] 根据全景图片中心坐标查找相应范围内的激光点云，按照球面投影的要求投影到 全景影像中，并计算出全景中心点到各点云的距离，给全景影像中像素点的值赋上距离值 即景深信息，获得全景景深图。
[0004] 在鼠标移动过程中，需要实时显示地面和建筑物探面的结果，然后进行全景跳转 操作。目前，街景中常用的跳转实现方法是：假设地面是水平的，鼠标在地面移动，从全景 中心与鼠标位置确定的射线与地面的交点作为目标点，使用该目标点查询最近的全景点， 然后跳转到目标全景上。但这种方法只能解决地面探面的问题，并且在上下坡路段不准确。 在专利《一种在实景地图中基于法向量的被探测面过滤方法》中提到通过从点云半手工生 成建筑立面，然后计算鼠标射线与立面的交点来搜索目标全景的方法。这种方法可以解决 建立立面探面，但是需要进行半手工来获得立面数据，增加了数据生产的成本。
[0005] 目前全景探面存在以下问题和不足：
[0006] 1)通过水平地面交线方法探测地面地，在上下坡情况下，准确度不高，且不能解决 立面的探测。
[0007] 2)通过半手工建立建筑立面的方法生产成本高，不适合自动化的大规模数据生 产。
【发明内容】
[0008] 有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够准确的 对全景影像景深图进行地面探面和立面探面的方法。
[0009] 为实现上述目的，本发明提供了一种基于全景影像景深图的探面方法，包括以下 步骤：
[0010] 步骤一、获取当前鼠标点在全景影像中的UV坐标（u，V)，并计算当前鼠标点在全 景影像景深图中的像素点（I，J)，I = v ( λ W_l)，J = (l_u) ( λ H_l)，W、Η为全景影像的宽 度和高度，λ为景深图宽度与全景图宽度的比值；然后从全景影像的景深图中获取像素点 (I，J)的景深L ;
[0011] 步骤二、计算（I，J)像素对应的全景坐标系下的三维坐标点p(x，y，z)在全景坐标 系中的方位角（α，β)，a = 270-360u，β = 180ν-90，α为p点在全景坐标系Χ0Ζ平面 投影与X轴之间的夹角，β为原点〇、点Ρ连线与Χ0Ζ平面的夹角；
[0012] 步骤三、根据方位角（α，β)和景深L，计算全景影像UV坐标系下当前鼠标点对 应的三维点 p (X，y，z)，x = Lcos ( β ) cos ( α )，y = Lsin ( β )，z = Lcos ( β ) sin ( α );将 P(x，y，z)转换到世界坐标系下，p(x'，y'，z'）为像素点（I，J)在世界坐标系中对应的三 维坐标；在像素点（I，J)周边10个像素内按逆时针方向选择η个具有景深信息的像素点 {(Ιρ Λ)......(In，Jn) }，η为整数且η彡2,将该η个像素点转换到世界坐标系下，得到点集 合{Pi, Pi......pj ;Pi为全景点集合{Pi, Pi......pj中一点，i为整数且1彡i彡n-1 ;
[0013] 步骤四、计算n-1个方向向量，其中第i个方向向量\^是/巩向量与向量使用 右手法则确定的方向向量；计算\ = normUPi-p) X (pi+1-p))得到Vi, norm表示向量的单 位化；
【权利要求】
1. 一种基于全景影像景深图的探面方法，其特征在于包括以下步骤： 步骤一、获取当前鼠标点在全景影像中的UV坐标（u，V)，并计算当前鼠标点在全景影 像景深图中的像素点（I，J)，I = vUW-l)，J= (1-U) UH-1)，W、H为全景影像的宽度和高 度，λ为景深图宽度与全景图宽度的比值；然后从全景影像的景深图中获取像素点（I，J) 的景深L ; 步骤二、计算（I，J)像素对应的全景坐标系下的三维坐标点P (X，y，z)在全景坐标系中 的方位角（α，β)，a = 270-360u，β = 180V-90, α为p点在全景坐标系XOZ平面投影 与X轴之间的夹角，β为原点〇、点Ρ连线与ΧΟΖ平面的夹角； 步骤三、根据方位角（α，β)和景深L，计算全景影像UV坐标系下当前鼠标点对应 的三维点 ρ (X，y，ζ)，X = Lcos ( β ) cos ( a )，y = Lsin ( β )，z = Lcos ( β ) sin ( α );将 P(x，y，z)转换到世界坐标系下，p(x'，y'，z'）为像素点（I，J)在世界坐标系中对应的三 维坐标；在像素点（I，J)周边10个像素内按逆时针方向选择η个具有景深信息的像素点 {(Ιρ Λ)......(In，Jn) }，η为整数且η彡2,将该η个像素点转换到世界坐标系下，得到点集 合{Pi, Pi......pj ;Pi为全景点集合{Pi, Pi......pj中一点，i为整数且1彡i彡n-1 ; 步骤四、计算η-l个方向向量,其中第i个方向向量\^是/^向量与/i/?m向量使用右手 法则确定的方向向量；计算\ = normUPi-p) X (pi+1-p))得到Vi, norm表示向量的单位化；
步骤五、计算η-l个方向向量合成的向量_ 并计算_与垂直向量％ V ， , V =(〇, 〇, 1)的夹角 Θ
v0 = (0, 0, 1)； 步骤六、根据所述夹角Θ对全景影像的景深图进行探面。
2. 如权利要求1所述的基于全景影像景深图的探面方法，其特征是：所述步骤六后还 包括确定目标全景影像视角的步骤： A1、设定立面探测结果的目标点pa在世界坐标系下的坐标为pa(xa，y a，za)，其立面方向 向量为f. f A2、设定位于目标点pa左右两侧的两个点p1和p2，？1和p 2与目标点pa距离均为1米；
A3、寻找以目标点pa为圆心，半径为R米的范围内的全景点Pm，R〈50，m为非负整数；判 断m是否为0,当m = 0时，则搜索结果为空，结束搜索；当m尹0时，执行步骤A4 ; A4、对所述步骤A3得到的全景点集合汜......PJ中的任意点Pb，以Pb为顶点，计 算ρ1、^和P2形成的夹角0b，
，13为整数且 1. b < m。
3. 如权利要求1或2所述的基于全景影像景深图的探面方法，其特征是：所述步骤一 前还包括生成全景影像的景深图的步骤： B1、从点云文件读入点云到集合U,记为U= {Pi......PN} ;N为点云集合U中点的数量， N为正整数；设定点云集合U中第c个点为P。(X。，y。，z。），X。，y。和z。是点P。的三维世界坐 标；c为正整数且c的初始值为1 ; 设定准备生成的全景影像的位置与姿态为POS = (X，Y，Z，yaw，pitch，roll)，其中X、Y 和Z分别为全景影像中心的三维坐标位置；yaw, pitch和roll分别为全景影像的偏航值、 俯仰值、侧滚值； 记全景影像的像素宽度为W，全景影像的像素高度为H，H = W/2,将全景影像景深图的 像素宽度初始化为AW、将全景影像景深图的像素高度初始化为λΗ，0< λ ;将全景影 像景深图中各像素的深度值初始化为10000 ; Β2、设定ρ为Ρ。对应全景影像坐标系中的点坐标，计算
得到全 景影像坐标系中的点坐标，X、y和ζ为点ρ的三个坐标分量；R为旋转矩阵； B3、将全景影像坐标系中的点坐标ρ转换成全景影像的uv坐标： 计算方位角
， 计算方位角，
当x<0且y>0时，计算a = 180- α ; 当 χ<0 且 y<0 时，计算 α = -180- α ; 计算α = 270- α，当α彡360时，计算α = α -360 ; 计算 u = (90+ β)/180 和 ν = α/360 ; Β4、计算全景影像景深图中的像素点（I，J)，I = ν ( λ W_l)，J = (l_u) ( λ H_l); B5、当全景影像景深图的景深
小于全景影像景深图中（I，J)像素代表 的深度值时，把所述景深L赋给全景影像景深图中的（I，J)像素； B6、执行c = c+1，判断是否c < N，当c < N时，返回执行步骤B2 ;否则保存全景影像 的景深图。
4. 如权利要求3所述的基于全景影像景深图的探面方法，其特征是：所述步骤B1中还 包括计算旋转矩阵的步骤；旋转矩阵R = inv(Ryaw · Rpiteh · RMll):
f
，所述inv为矩阵逆。
5. 如权利要求1所述的基于全景影像景深图的探面方法，其特征是：所述步骤三中，通 过计算
将全景影像坐标系中的三维点P (X，y, z)转换到 世界坐标系下； 通过计算
将所述η个像素点转换到世界坐标 系下，得到全景点集合{Pu Pi......pj ; (xn, yn, zn)为像素点（In, Jn)在全景影像坐标系中 的三维点坐标，Ρη(χη'，yn'，zn'）为像素点（I n，Jn)在世界坐标系中对应的三维坐标。
【文档编号】G06T7/00GK104156969SQ201410414417
【公开日】2014年11月19日 申请日期:2014年8月21日 优先权日:2014年8月21日
【发明者】向泽君, 吕楠, 明镜, 徐占华, 罗再谦, 龙川, 张婕, 殷飞, 陈汉, 杨元, 饶鸣, 梁建国, 滕德贵, 刘颖, 郑良, 黄志 , 胡小林 申请人:重庆数字城市科技有限公司, 重庆市勘测院