基于真彩色点云的街景影像生成方法
【专利摘要】本发明公开了一种基于真彩色点云的街景影像生成方法，属于可量测街景影像领域，使用真彩色点云按照球面投影的要求，把点云投影到街景影像中，并把点云中各点的颜色赋值给街景影像中的特定像素，同时记录该像素的景深信息。本发明把海量的点云数据，通过投影生成街景影像，使得数据量大大减少，更加适合互联网应用。本发明同步生成的景深图像配合街景影像，可以对街景影像中可见的点进行三维坐标计算，使其满足可量测的要求。本发明生成的街景影像的位置与姿态可以任意设定，不受数据采集线路的约束。本发明可以通过对点云设置过滤条件，只生成特定专题的街景影像，甚至可以把多个专题的全景影像进行叠加显示。
【专利说明】基于真彩色点云的街景影像生成方法
【技术领域】
[0001]本发明属于可量测街景影像领域，特别是涉及一种基于真彩色点云的街景影像生成方法。
【背景技术】
[0002]点云就是大量具有三维空间坐标的点的集合，可以通过地面移动测量系统、地面定点三维激光扫描仪等设备获取；把点云与同步采集的图像进行融合，给每一个点赋予其实际材质的颜色，就获得了真彩色点云。
[0003]街景影像也称为全景影像或街景，本身是一张或多张图片，可以通过其投影模型把这些图像还原为360°全景。常用的投影模型有球面投影、立方体投影、柱面投影等。目前，Google街景、腾讯街景、百度街景提供的街景服务已被广泛认可。
[0004]可量测影像指可以从影像中获取像素的三维坐标，可以通过与影像匹配的景深影像与POS信息联合来计算像素的三维坐标。景深影像是一种特殊的图像或图片，其每一个像素存储的不是颜色值，而是一个表示距离或深度的数值。街景虽然给人带来真实感，但其采集相机通常架设在采集车辆的顶部，距离地面的高度比较低，无法提供俯视地面的观看模式，并且采集数据时，全景底部被车辆本身遮挡，全景相机也无法采集其底部局部区域，造成全景底部通常是黑色或无用的车身影像。
[0005]目前，街景影像应用中存在以下问题与不足:
[0006]1、街景数据底部被设备遮挡，底部无影像数据，无法进行鸟瞰；
[0007]2、点云数据量太大，无法直接在互联网应用中使用。
[0008]3、街景影像本身没有景深图像，无法进行测量。
[0009]4、普通街景属于一次曝光成型，无法对其中的影像进行特定专题过滤。比如只显示地面一定高度内的街景影像，只显示道路一侧的街景影像等。
【发明内容】
[0010]有鉴于现有技术的上述缺陷，为了有效的应用真彩色点云，并弥补普通街景影像的不足，本发明提供了一种基于真彩色点云的街景影像生成方法，其特征在于包括以下步骤:
[0011]步骤一、从点云文件读入点云到集合，记为U = (Pi =(Xi, Yi, Zi, ri； gi, bi) 11彡i彡N} ;N为点云集合中点的数量，N为正整数，i为正整数且i的初始值为I ;点云集合中第i个点记为Pi，Xi, Ii和Zi是点Pi的三维世界坐标gi； bi是点Pi的红、绿、蓝三元色；
[0012]设定准备生成的街景影像的位置与姿态为POS = (X，Y, Z, yaw, pitch, roll),其中X、Y和Z为街景影像的坐标位置；yaw, pitch和roll分别为街景影像的偏航值、俯仰值、侧滚值；
[0013]设置距离阀值Dist，其为点云点到街景影像坐标的最大距离；
[0014]将街景影像的像素宽度初始化为W，将街景影像的像素高度初始化为H，H = W/2，将景深影像的像素宽度初始化为λ W、将景深影像的像素高度初始化为λΗ，0< λ ;将景深影像中各像素的深度值初始化为大于Dist的任意值；
M Fl
[0015]步骤二、设定ρ为Pi在街景影像坐标系中的点坐标，当乃-F >/)扮时执行
U」Lz」
XXi X
步骤六；否则计算P= V =R?( V, - Y )得到街景影像坐标系中的点坐标，x、y和Z为点
ZZi Z
P的三个坐标分量；
[0016]步骤三、将街景影像坐标系中的点坐标ρ转换成街景影像的uv坐标:
[0017]计算方位角a = — '07^y2+-y2+z2)"180，方位角α为原点O、点ρ的连线与
K
XOZ平面的夹角；
[0018]计算方位角β = S'n '{ζ/^χ7 +Z: ，方位角β为原点O、点ρ的连线在XOZ平
η
面的投影与X轴的夹角；
[0019]当x<0 且 ζ>0 时，计算 β = 180- β ;当义<0 且 ζ<0 时，计算 β = -180- β ；
[0020]计算β = 270- β，当 β > 360 时，计算 β = β -360 ；
[0021]计算u = (90+ β )/180 和 V = β /360 ；
[0022]步骤四、计算街景影像中的像素坐标(I，J)，I = V(W-1)，J = (1-u) (H-1)；
[0023]计算景深影像中的像素坐标(I1, J1)，I1 = V (入W_l)，J1 = (Ι-u) ( λ H-l)；
[0024]步骤五、当景深1 = |-2+/+?小于景深图像中(I^J1)像素代表的深度值时，
将Pi的I^gpbi颜色值赋给街景影像的(I，J)像素，同时把所述景深L赋给景深影像中的(I1, J1)像素;
[0025]步骤六、执行i = i+Ι，判断是否i<N,当i<N时，返回执行步骤二 ；否则保存街景影像以及景深影像。
[0026]采用以上技术方案，把海量的点云数据通过投影生成街景影像，使得数据量大大减少，更加适合互联网应用。同步生成的景深图像配合街景影像，可以对街景影像中可见的点进行三维坐标计算，使其满足可量测的要求。本发明生成的街景影像的位置与姿态可以任意设定，不受数据采集线路的约束。
[0027]较佳的，还包括对街景影像中所有非空像素进行三维坐标解算的步骤:
[0028]Al、对于街景影像中的像素(I，J)，如果其颜色不为空，计算其uv坐标；U= 1-J/(H-l), V= I/(W-1);根据uv坐标计算该像素对应的景深影像中的坐标(H), I1 =V(Xff-1)7J1= (Ι-u) ( λ H-l);并得到坐标(IpJ1)的景深 L ;
[0029]A2、根据像素(I，J)的uv坐标计算像素(I，J)在街景影像坐标系中对应的方位角α 和 β: a = 270-360U, β = 180v_90 ；
[0030]A3、根据所述方位角α、β和景深L，计算像素(I，J)在街景影像坐标系中对应的三维坐标 P - y，X = Lcos ( a ) cos ( β ), y = Lsin ( α )，z = Lcos ( α ) sin ( β )；
z
xyX X
[0031]A4、把p的坐标转换到世界坐标系下:计算尸=/ =inv(R) y + Y得到像素
Ziz Z
(IiJ)在世界坐标系中对应的三维坐标。釆用以上技术方案能够对街景影像中所有非空像素进行三维坐标解算。
[0032]较佳的，所述步骤一中还包括计算旋转矩阵的步骤；旋转矩阵R
cos(wm') O -sin(wm’)
=i η V ( R yaw.Rpitch* Rron): Ryaw= 010，
sin(wu) 0 cos(wu.)
cos(ro//) sin(ro//) 0100
R ? = -sin(/-o//) cos(ro//) 0，R— = 0 cos(pitch) sin(/;/Yc/?)，所述 inv 为矩阵
00 10 -^in(pitch) cos(v"u’)
逆。旋转矩阵就是把坐标系下的点进行旋转，转换到其它坐标系下的矩阵，是本领域内技术人员公知的基础知识，在此不再赘述。
[0033]进一步的，步骤一后还包括对点云进行过滤的步骤。采用该技术方案，可以通过对点云设置过滤条件，只生成特定专题的街景影像。
[0034]本发明的有益效果是:
[0035]1、把海量的点云数据，通过投影生成街景影像，使得数据量大大减少，更加适合互联网应用。
[0036]2、同步生成的景深图像配合街景影像，可以对街景影像中可见的点进行三维坐标计算，使其满足可量测的要求。
[0037]3、生成的街景影像的位置与姿态可以任意设定，不受数据采集线路的约束。
[0038]4、可以通过对点云设置过滤条件，只生成特定专题的街景影像，甚至可以把多个专题的全景影像进行叠加显示。
【专利附图】
【附图说明】
[0039]图1是本发明一【具体实施方式】的流程示意图。
【具体实施方式】
[0040]下面结合附图和实施例对本发明作进一步说明:
[0041]如图1所示，一种基于真彩色点云的街景影像生成方法，包括以下步骤:
[0042]步骤一、进行初始化处理。
[0043]从点云文件读入点云到集合,记为U= (Pi = (Xi, Yi, Zi, ri； g” b” a) | I彡i彡N}；所述N为点云集合中点的数量，N为正整数，i为正整数且i的初始值为I ;点云集合中第i个点记为Pi, Xi, Yi和Zi是点Pi的三维世界坐标,本实施例中三维世界坐标系为右手坐标系，当然，三维世界坐标系还可以为其他坐标系；ri; gi,匕是点Pi的红、绿、蓝三元色，即点云的颜色信息&是点Pi的其它属性，如:反射强度，点云分类，地面高度等，本实施例中,?为点Pi的地面高度，其具体在点云过滤中作为过滤特征使用。
[0044]设定准备生成的街景影像的位置与姿态为POS = (X，Y, Z, yaw, pitch, roll),其中X、Y和Z分别为街景影像的三维坐标位置，这三个值是移动测量采集线路中获得的特定坐标，将高程坐标Y提高，能够达到街景影像的俯视效果；yaw，pitch和ι.ο11分别为街景影像的偏航值、俯仰值、侧滚值。设置距离阀值Dist，其为点云点到街景影像坐标的最大距离。
[0045]本实施例中，Dist值的范围取50米?500米，pitch和roll的取值为0，即生成的街景影像坐标系相对于世界坐标系，只发生航向偏转，没有俯仰偏转和侧滚偏转。
[0046]计算旋转矩阵；旋转矩阵R = inv (Ryaw.Rpitch.Rroll):
cos( Vi7ir) O -sin( vc/u')cos(厂o//) sin(roll) 0
Ryaw =010,Rrotl = -sm(roH) co$( roll) 0，
sin(iwu.) 0 cos(ymv)00 1
?00
P = 0 cos(pitch) %\n{pitch)，所述 inv 为矩阵逆。
0 -s\n( pitch) cos(.v’mv)
[0047]将街景影像的像素宽度初始化为W，将街景影像的像素高度初始化为H，H = W/2，将景深影像的像素宽度初始化为λ W、将景深影像的像素高度初始化为λΗ，0< λ ;将景深影像中各像素的深度值初始化为大于Dist的任意值。
[0048]步骤二、对点云点Pi进行过滤，满足一定的条件才进行步骤三，否则跳转到步骤七，使用过滤条件可以生成特定专题的街景影像。本实施例，在步骤一中，U= {P,=(Xi, Ji, Zi, T1, gi； aj I I彡i彡N}的Si作为过滤属性，小于3米才能进行步骤三,否则跳转执行步骤七。因为点云的属性比较多，过滤条件比较灵活，在这里就不一一叙述。采用以上技术方案，可以通过对点云设置过滤条件，只生成特定专题的街景影像，甚至可以把多个专题的全景影像进行叠加显示一一把全景图像中黑色像素设置为透明后即可进行叠加。
Xj X
[0049]步骤三、设定ρ为Pi在街景影像坐标系中的点坐标，当乃-F 紉I时执行
Zi Z
XXi X
步骤七；否则计算0= V =R*(y,' - Y )得到街景影像坐标系中的点坐标，即把点云从
ZZi Z
世界坐标系转换到街景影像坐标系中，X、y和z为点ρ的三个坐标分量；
[0050]步骤四、将街景影像坐标系中的点坐标ρ转换成街景影像的uv坐标:
[0051]先计算方位角《 = Sin ,( V 1七+ -y2 + Ζ?.18Q，方位角α为原点O、点ρ的连线与
π XOZ平面的夹角；
[0052]计算方位角β = sin l(z/yjx2+z/)^m ;方位角β为原点0、点ρ的连线在Χ0Ζ平
π
面的投影与X轴的夹角；
[0053]当x<0 且 ζ>0 时，计算 β = 180- β ;当义<0 且 ζ<0 时，计算 β = -180- β ；
[0054]然后计算β = 270-β，当β彡360时，计算β = β -360 ；
[0055]最后计算u= (90+β )/180 和 V = β/360。
[0056]步骤五、计算街景影像中的像素坐标(I，J)，I = V(W-1)，J = (1-u) (H-1)；
[0057]计算景深影像中的像素坐标(I1,J1)，I1 = ν( λ W_l)，J1 = (1-u) ( λ H-l)；
[0058]步骤六、由于近处的点会遮挡远处的点，当景深[=+2+/+ζ2小于景深图像中
(I1, J1)像素代表的深度值时，将Pi的g1、bi颜色值赋给街景影像的(I，J)像素，同时把所述景深L赋给景深影像中的(I1J1)像素。
[0059]步骤七、执行i = i+Ι，判断是否i<N,当i<N时，返回执行步骤二 ；否则保存街景影像以及景深影像。
[0060]对街景影像中所有非空像素进行三维坐标解算按以下步骤进行:
[0061]Al、对于街景影像中的像素(I，J)，如果其颜色不为空，计算其uv坐标；U= 1-J/(H-l), V= I/(W-1);根据uv坐标计算该像素对应的景深影像中的坐标(H), I1 =V(Xff-1)7J1= (Ι-u) ( λ H-l);并得到坐标(IpJ1)的景深 L。
[0062]A2、根据像素(I，J)的uv坐标计算像素(I，J)在街景影像坐标系中对应的方位角α 和 β: a = 270-360U, β = 180v_90。
[0063]A3、根据所述方位角α、β和景深L，计算像素(I，J)在街景影像坐标系中对应的
X
三维坐标P= y，X = Lcos ( a ) cos ( β ), y = Lsin ( α )，z = Lcos ( α ) sin ( β )。
z
X7X X
[0064]A4、把P的坐标转换到世界坐标系下:计算尸二 / 二 inv(R) y + Y得到
rz Z
像素(i，J)在世界坐标系中对应的三维坐标。
[0065]以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本【技术领域】中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
【权利要求】
1.一种基于真彩色点云的街景影像生成方法，其特征在于包括以下步骤: 步骤一、从点云文件读入点云到集合U,记为U = (Pi =(Xi, Ii, Zi, ri； gi, bi) 11彡i彡N} ;N为点云集合U中点的数量，N为正整数，i为正整数且i的初始值为I ;点云集合中第i个点记为Pi, Xi, Ii和Zi是点Pi的三维世界坐标；ri; gp bi是点Pi的红、绿、蓝二兀色； 设定准备生成的街景影像的位置与姿态为POS = (X，Y, Z, yaw, pitch, roll)，其中X、Y和Z分别为街景影像的三维坐标位置；yaw, pitch和roll分别为街景影像的偏航值、俯仰值、侧滚值；设置距离阀值Dist，其为点云点到街景影像坐标的最大距离； 将街景影像的像素宽度初始化为W,将街景影像的像素闻度初始化为H, H = W/2,将景深影像的像素宽度初始化为λ W、将景深影像的像素高度初始化为λΗ，0< λ ^ I ;将景深影像中各像素的深度值初始化为大于Dist的任意值； 步骤二、设定P为Pi在街景影像坐标系中的点坐标，当K - y &时执行步骤
Zi Z
%Xi X六；否则计算/>= V =R?( y, — Y )得到街景影像坐标系中的点坐标，x、y和Z为点P的
ZZi Z三个坐标分量； 步骤三、将街景影像坐标系中的点坐标P转换成街景影像的UV坐标: 计算方位角a = Sin 1 (>'Z^ ^ ),18° ,方位角α为原点O、点ρ的连线与XOZ平
K面的夹角； 计算方位角β = Sin—1(2丨+ z2，方位角β为原点O、点P的连线在XOZ平面的
π投影与X轴的夹角； 当χ<0且ζ>0时，计算β = 180- β ； 当 χ<0 且 ζ<0 时，计算 β = -180- β ； 计算 β = 270- β，当 β > 360 时，计算 β = β -360 ；
计算 u = (90+β )/180 和 V = β /360 ； 步骤四、计算街景影像中的像素坐标(I，J)，I = V(W-1)，J = (1-U) (H-1)； 计算景深影像中的像素坐标(Ii，J1)，I1 = ν( λ W-l)，J1 = (1-u) ( λ H-l)； 步骤五、当景深i = Vr τ/+ Z2小于景深图像中(I1J1)像素代表的深度值时，将PdA1^、&、4颜色值赋给街景影像的(I，J)像素，同时把所述景深L赋给景深影像中的(I1J1)像素； 步骤六、执行i = i+Ι，判断是否i < N，当i < N时，返回执行步骤二 ；否则保存街景影像以及景深影像。
2.如权利要求1所述的基于真彩色点云的街景影像生成方法，其特征是:还包括对街景影像中所有非空像素进行三维坐标解算的步骤: Al、对于街景影像中的像素(I，J)，如果其颜色不为空，计算其Uv坐标；u = 1-J/(H-1) ,v = I/(W-1);根据Uv坐标计算该像素对应的景深影像中的坐标(I1, J1), I1 =V(Xff-1)7J1= (Ι-u) ( λ H-l);并得到坐标(IpJ1)的景深 L ; A2、根据像素(I，J)的uv坐标计算像素(I，J)在街景影像坐标系中对应的方位角α和 β: a = 270-360u, β = 180v_90 ； A3、根据所述方位角α、β和景深L，计算像素(I，J)在街景影像坐标系中对应的三维
X坐标 P — y ? X = Lcos ( a ) cos ( β ), y = Lsin ( α )，z = Lcos ( α ) sin ( β )；
z
X% X A4、把p的坐标转换到世界坐标系下:计算i5= / =inv(R) y + Y得到像素(I，J)
rT2 Z在世界坐标系中对应的三维坐标。
3.如权利要求1或2所述的基于真彩色点云的街景影像生成方法，其特征是:所述步骤一中还包括计算旋转矩阵的步骤；旋转矩阵R = inv (Ryaw.Rpitch.Rroll): cos( vi/vv') O -sin( yaw)cos(to//) sin(/r;//) 0R=O I 0，R1= -sin(/r;//) cos(/*o//) 0，sin( ww) 0 cos(j^w)00 1 ?00 R1=O qo%{pitch) %\n{pitch)，所述 inv 为矩阵逆。
0 -?η{ pitch) cos( vmr)
4.如权利要求3所述的基于真彩色点云的街景影像生成方法，其特征是:步骤一后还包括对点云进行过滤的步骤。
【文档编号】G06F17/30GK104133874SQ201410355692
【公开日】2014年11月5日 申请日期:2014年7月25日 优先权日:2014年7月25日
【发明者】向泽君, 吕楠, 徐占华, 罗再谦, 明镜, 龙川, 殷飞, 杨元, 滕德贵, 梁建国, 饶鸣, 刘颖, 陈汉, 郑良, 黄志 , 胡小林 申请人:重庆数字城市科技有限公司, 重庆市勘测院