专利名称：将虚拟三维建筑与现实环境实拍视频无缝合成的方法
技术领域：
本发明涉及将虚拟景物与实拍视频无缝合成的方法，尤其涉及一种将虚拟 三维建筑与现实环境实拍视频无缝合成的方法。
背景技术：
将虚拟景物与实拍视频的无缝合成是虚拟现实(Virtual Reality)技术的一种 运用，将现场视频与计算机产生的三维图形完美无缺地集成在一起，构成一段 在现实中无法拍摄到的视频。随着房地产业竞争的加剧，传统的展示手段如平 面图、表现图、沙盘、样板房等已经远远无法满足消费者的需要，需要提供将 要建造的建筑及其环境的真实视觉感受；在城市规划中，需要对城市建筑、街 区景观等规划项目有一种真实的再现，从而大大加快方案设计的速度和质量， 提高方案设计和修正的效率。用一段视频介绍房地产商宣传的房产，城市规划 中的建筑、街区景观是一种有力的手段，但是在当前现实中，无法拍摄到将要 建造的建筑的真实样子，就需要有一种方法把未来的建筑完美地结合到现有环 境的实拍视频中。
发明内容
本发明的目的在于针对现有技术需求，即把未来的建筑完美地结合到现有 环境的实拍视频中，提出一种将虚拟三维建筑与现实环境实拍视频无缝合成的 方法。
将虚拟三维建筑与现实环境实拍视频无缝合成的方法包括以下步骤
1) 用摄像机对用于建造建筑物的场地拍摄一段视频；拍摄的开始时间点 Tstart，拍摄地点Psite，视频的帧率Rvide。，并且使用GPS定位仪测得拍摄地点
P^在地球上的经度LON^、纬度LAT^;在用于建造建筑物的场地上建立一
个三维直角坐标系CM;在用于建造建筑物的场地的边界上，以等间距取样本
点，并测得这些样本点的经纬度，并转换成三维直角坐标系CM下的坐标；
2) 在三维图形系统中，设定其世界坐标系为三维直角坐标系CM，输入用
于建造建筑物的场地边界的样本点坐标，并将样本点按序连接起来形成场地多
边形；构建虚拟三维建筑模型，虚拟三维建筑模型的底面边界不超出场地多边 形的边界；
3) 对视频的每一帧图像做如下处理在视频的第i帧图像Ipie(i)上，把所有 显示遮挡住场地的景物的像素提取出来，生成一帧遮挡物图像Ifr。nt(i),在该帧图像上显示遮挡住场地的景物的像素的不透明度为100%，其余像素的不透明度
为0%;在第i帧图像Ipie(i)上，设置所有显示遮挡住场地的景物的像素的不透 明度为0%，其余像素的不透明度为100%，复制生成背景图像Isite(i);遮挡物
图像I她t(i)、背景图像Isite(i)的分辨率与第i帧图像Ipie(i)的分辨率相同；
4) 对视频的每一帧图像做如下处理利用基于视频的摄像机跟踪技术， 计算出摄像机在拍摄第i帧图像Ipie(i)时刻的外部参数T,(i)xR^(i)和焦距fi，其 中Rcam(i)为旋转变换矩阵，Tc一i)为位移变换矩阵；在三维图形系统中，使用变 换公式(XearaW, Ye咖(,),Z—,),l)T = T體(i)xl^咖(i)x (XM， YM,ZM,1)T将三维直角坐标系 CM中的虚拟三维建筑的模型变换成摄像机三维直角坐标系Cc—i)中的虚拟三
维建筑的模型，其中摄像机三维直角坐标系Q^(i)为摄像机在拍摄第i帧图像
Ipic(i)时刻的摄像机三维直角坐标系，(xm,ym,zm)为点在三维直角坐标系Cm中 的坐标，(X，(,)，Y—i)，Z—))为点在摄像机三维直角坐标系C,(i)中的坐标；在 三维图形系统中，设置一个虚拟的照相机，绘制出显示变换后的虚拟三维建筑 模型的建筑物图像Ibuild(i)，建筑物图像IbuM(i)中显示建筑的像素的不透明度为
100%,其余像素的不透明度为0%;
5) 根据视频的每一帧图像做如下处理把与视频的第i帧图像Ipie(i)相关的 遮挡物图像Ifr。nt(i)、建筑物图像Ibuild(i)、背景图像Isite(i)叠加在一起，生成图像 Iframe(i) 5
6) 以视频的帧率Rvide。把所有的图像Ifeme(i)压縮成新的视频，其中i表示 帧的序列号。
所述步骤4)中的在三维图形系统中，设置一个虚拟的照相机，绘制出显示 变换后的虚拟三维建筑模型的建筑物图像的步骤为
1) 以虚拟照相机所在点为视点，设置视点变换矩阵为单位矩阵；
2) 设置虚拟照相机的视景体的左下角为(-|Fw，-*Fh,-f;)，右上角为 《Fw,|Fh，-fi)，远裁剪面离视点的距离为Z^，其中，Fw、 Fh分别为摄像机成 像底片的宽度、高度，Fw和Fh的值通过查阅摄像机的技术参数获知，fi为摄像
机拍摄第i帧图像Ipie(i)时镜头的焦距，Z^大于所有摄像机三维直角坐标系 Ccam(i)下虚拟三维建筑模型上所有点与视点的距离；
3) 设置绘制结果输出图像的分辨率与摄像机拍得视频的分辨率相同；
4) 设置一个虚拟的模拟太阳光照的平行光源，其亮度由用户输入，确定其方向的方法为利用公式^" + T^求得拍摄视频的第i帧图像Ipie(i)的时刻
R、'
l video
Ti，其中Rvide。为视频的帧率；在三维直角坐标系Cm下，计算出经度为LONsite、 纬度为LAT^的地点在Ti时刻受到的太阳光的方向；根据坐标系间向量的变 换方法，把太阳光在三维直角坐标系CM下的方向变换为在摄像机三维直角坐
标系Q^(i)下的方向，并把变换后的方向作为照射虚拟三维建筑的平行光源的
方向；
5)根据上述设置，绘制虚拟三维建筑模型，得到显示虚拟三维建筑模型 的建筑物图像。
所述步骤5)中的把与视频的第i帧图像Ip刚相关的遮挡物图像Ifr。nt(i)、建 筑物图像Ibui卿、背景图像Isite(i)叠加在一起，生成图像Iframe(i);的步骤为
1) 生成一张图像If咖e(i),它的分辨率与图像Ipic(i)的分辨率相同，把背景图 像Isite(i)上所有像素的颜色值复制给图像 lframe(i) 中对应的像素；
2) 把建筑物图像Ibui啤)上所有不透明度为100%的像素的颜色值复制给图
像Iframe(O中对应的像素；
3) 把遮挡物图像Ifr。nt(i)上所有不透明度为100%的像素的颜色值复制给图
像Ifeme(i)中对应的像素。
本发明能将虚拟三维建筑图像完美地结合到建筑所在环境的实拍视频中， 有力地展现将要建造的建筑及其环境的景象，能很好地帮助房地产商向客户提 供将要建造的建筑及其环境的真实视觉感受，也能很好地再现城市规划中城市 建筑、街区景观等规划项目，从而大大加快方案设计的速度和质量，提高方案 设计和修正的效率。
具体实施例方式
下面根据实施方式对本发明做进一步说明。
将虚拟三维建筑与现实环境实拍视频无缝合成的方法包括以下步骤 1)用摄像机对用于建造建筑物的场地拍摄一段视频；拍摄的开始时间点 Tstart，拍摄地点Psite，视频的帧率Rvide。，并且使用GPS定位仪测得拍摄地点
P^在地球上的经度LON^、纬度LAT^;在用于建造建筑物的场地上取一个
点M，并以M为原点建立一个三维直角坐标系CM,在三维直角坐标系CM中， 由x轴与z轴确立的平面与水平地面重合，且z轴指向北极，y轴垂直地面向 上；在用于建造建筑物的场地的边界上，以等间距取样本点，并测得这些样本 点的经绎度，并转换成三维直角坐标系CM下的坐标，其转换方法如下a) 用GPS定位仪测得点M在地球上的经度、纬度，记为LONM、 LATm， 测得样本点P在地球上的经度、纬度，记为LONp、 LATP;
b) 根据公式D碰RxArccos(C)x7t/180计算出点M与点P之间的距离DMP， 其中R为地球半径，Ti为圆周率，计算C的公式为
C = sin(LATM)xsin(LATp) + cos(LATM)xcos(LATp)xcos(LONM — LONp);
c) 在z轴上取一个点Q，使得直线MQ与直线PQ垂直，根据步骤b)得
到线段MQ的长度DMQ，计算向量PM与x轴的夹角e=arCSin(^);
d) 计算点P在坐标系CM下的坐标为(D碰cos9 ， Dw sine );
2) 在三维图形系统中，设定其世界坐标系为三维直角坐标系CM，输入用 于建造建筑物的场地边界的样本点坐标，并将样本点按序连接起来形成场地多 边形；构建虚拟三维建筑模型，虚拟三维建筑模型的底面边界不超出场地多边 形的边界；
3) 对视频的每一帧图像做如下处理在视频的第i帧图像Ipie(i)上，把所有 显示遮挡住场地的景物的像素提取出来，生成一帧遮挡物图像Ifr。nt(i),在该帧图
像上显示遮挡住场地的景物的像素的不透明度为100%,其余像素的不透明度
为0%;在第i帧图像Ipie(i)上，设置所有显示遮挡住场地的景物的像素的不透
明度为0%，其余像素的不透明度为100%，复制生成背景图像I^(i);遮挡物图像Ift。ru(i)、背景图像Isite(i)的分辨率与第i帧图像Ipie(i)的分辨率相同；
4) 对视频的每一帧图像做如下处理根据章国锋的博士论文《视频场景 的重建与增强处理》的第2章《基于视频的摄像机跟踪技术》，利用基于视频
的摄像机跟踪技术，计算出摄像机在拍摄第i帧图像Ipie(i)时刻的外部参数 T,(i)xRc一)和焦距fi，其中Rcam(i)为旋转变换矩阵，Te一)为位移变换矩阵；在
三维图形系统3ds Max中，使用变换公式(X—i),Y—),Z—)，1)T = T，(i)xRc一)x(XM,YM，ZM，l)T将三维直角坐标系CM中的虚拟三维建筑的模型变 换成摄像机三维直角坐标系Ce一i)中的虚拟三维建筑的模型，其中摄像机三维
直角坐标系C一i)为摄像机在拍摄第i帧图像Ipie(i)时刻的摄像机三维直角坐标 系，在摄像机三维直角坐标系Ce咖(i)中，以摄像机所在点为原点，Z轴与摄像
机镜头的轴线重合，且正方向为由镜头指向景物，y轴的正方向为向上，且垂 直于摄像机成像画面的横向边缘；(xm,ym,zm)为点在三维直角坐标系Cm中的 坐标，(Xeam(1)，Y—))为点在摄像机三维直角坐标系C,(i)中的坐标；在三 维图形系统3dsMax中，设置一个虚拟的照相机，绘制出显示变换后的虚拟三维建筑模型的建筑物图像Ibuild(i)，建筑物图像IbuiW(i)中显示建筑的像素的不透明
度为100%，其余像素的不透明度为0%;
5) 根据视频的每一帧图像做如下处理把与视频的第i帧图像Ipie(i)相关的 遮挡物图像 lfront(i)、 建筑物图像 lbuild(i)、 背景图像Ue(i)叠加在一起，生成图像 Iframe(i) 5
6) 按照视频和音频压縮国际标准MPEG-2，以视频的帧率Rvide。把所有的图
像Iframe(i)压縮成新的视频，其中i表示帧的序列号。
所述步骤4)中的在三维图形系统3dsMax中，设置一个虚拟的照相机，绘 制出显示变换后的虚拟三维建筑模型的建筑物图像的步骤为
1) 以虚拟照相机所在点为视点，设置视点变换矩阵为单位矩阵；
2) 设置虚拟照相机的视景体的左下角为(-*FW，-|Fh，-f,)，右上角为
《Fw,*Fh，-fi)，远裁剪面离视点的距离为Z^，其中，Fw、 Fh分别为摄像机成 像底片的宽度、高度，Fw和Fh的值通过查阅摄像机的技术参数获知，fl为摄像 机拍摄第i帧图像Ipie(i)时镜头的焦距，Z^大于所有摄像机三维直角坐标系 Ccam(i)下虚拟三维建筑模型上所有点与视点的距离；
3) 设置绘制结果输出图像的分辨率与摄像机拍得视频的分辨率相同；
4) 设置一个虚拟的模拟太阳光照的平行光源，其亮度由用户输入，确定
其方向的方法为利用公式<formula>formula see original document page 8</formula>咖求得拍摄视频的第i帧图像Ipi顺的时刻
R video
Ti，其中Rvide。为视频的帧率；在三维直角坐标系Cm下，计算出经度为LONsite、 纬度为LAT^的地点在Ti时刻受到的太阳光的方向；根据坐标系间向量的变 换方法，把太阳光在三维直角坐标系CM下的方向变换为在摄像机三维直角坐 标系Q^(i)下的方向，并把变换后的方向作为照射虚拟三维建筑的平行光源的 方向；方向在坐标系间的变换方法为记太阳光在三维直角坐标系Cm下的方
向为VM (UMy,V他)，在摄像机三维直角坐标系Ceam(i)下的方向为Vcam(i) (V—)x,V—i)y，Ve咖(,)z)，那么根据公式(Vcam(i)x, Vcam(i)y ， Vcam(i)z ， 1) = ((T—i) x R—j)) ) (VMx ， VMy ， V他,1) 做变换；
5)根据上述设置，绘制虚拟三维建筑模型，得到显示虚拟三维建筑模型 的建筑物图像。
所述步骤5)中的把与视频的第i帧图像Ipi⑨相关的遮挡物图像Ifr。刚)、建
筑物图像Ibui,、背景图像Isite(i)叠加在一起，生成图像If,e(i);的步骤为-
1) 生成一张图像Ifr咖e(i)，它的分辨率与图像Ipie(i)的分辨率相同，把背景图 像Isite(i)上所有像素的颜色值复制给图像 中对应的像素；
2) 把建筑物图像Ibui叫i)上所有不透明度为100%的像素的颜色值复制给图 像 lfmme(i) 中对应的像素；
3) 把遮挡物图像Ifr。nt(i)上所有不透明度为100%的像素的颜色值复制给图
像 lframe(i)
中对应的像素。
权利要求
1、一种将虚拟三维建筑与现实环境实拍视频无缝合成的方法，其特征在于包括以下步骤1)用摄像机对用于建造建筑物的场地拍摄一段视频；拍摄的开始时间点Tstart，拍摄地点Psite，视频的帧率Rvideo，并且使用GPS定位仪测得拍摄地点Psite在地球上的经度LONsite、纬度LATsite；在用于建造建筑物的场地上建立一个三维直角坐标系CM；在用于建造建筑物的场地的边界上，以等间距取样本点，并测得这些样本点的经纬度，并转换成三维直角坐标系CM下的坐标；2)在三维图形系统中，设定其世界坐标系为三维直角坐标系CM，输入用于建造建筑物的场地边界的样本点坐标，并将样本点按序连接起来形成场地多边形；构建虚拟三维建筑模型，虚拟三维建筑模型的底面边界不超出场地多边形的边界；3)对视频的每一帧图像做如下处理在视频的第i帧图像Ipic(i)上，把所有显示遮挡住场地的景物的像素提取出来，生成一帧遮挡物图像Ifront(i)，在该帧图像上显示遮挡住场地的景物的像素的不透明度为100％，其余像素的不透明度为0％；在第i帧图像Ipic(i)上，设置所有显示遮挡住场地的景物的像素的不透明度为0％，其余像素的不透明度为100％，复制生成背景图像Isite(i)；遮挡物图像Ifront(i)、背景图像Isite(i)的分辨率与第i帧图像Ipic(i)的分辨率相同；4)对视频的每一帧图像做如下处理利用基于视频的摄像机跟踪技术，计算出摄像机在拍摄第i帧图像Ipic(i)时刻的外部参数Tcam(i)×Rcam(i)和焦距fi，其中Rcam(i)为旋转变换矩阵，Tcam(i)为位移变换矩阵；在三维图形系统中，使用变换公式(Xcam(i)，Ycam(i)，Zcam(i)，1)T＝Tcam(i)×Rcam(i)×(XM，YM，ZM，1)T将三维直角坐标系CM中的虚拟三维建筑的模型变换成摄像机三维直角坐标系Ccam(i)中的虚拟三维建筑的模型，其中摄像机三维直角坐标系Ccam(i)为摄像机在拍摄第i帧图像Ipic(i)时刻的摄像机三维直角坐标系，(XM，YM，ZM)为点在三维直角坐标系CM中的坐标，(Xcam(i)，Ycam(i)，Zcam(i))为点在摄像机三维直角坐标系Ccam(i)中的坐标；在三维图形系统中，设置一个虚拟的照相机，绘制出显示变换后的虚拟三维建筑模型的建筑物图像Ibuild(i)，建筑物图像Ibuild(i)中显示建筑的像素的不透明度为100％，其余像素的不透明度为0％；5)根据视频的每一帧图像做如下处理把与视频的第i帧图像Ipic(i)相关的遮挡物图像Ifront(i)、建筑物图像Ibuild(i)、背景图像Isite(i)叠加在一起，生成图像Iframe(i)；6)以视频的帧率Rvideo把所有的图像Iframe(i)压缩成新的视频，其中i表示帧的序列号。
2、 根据权利要求1所述的一种将虚拟三维建筑与现实环境实拍视频无缝 合成的方法，其特征在于所述步骤4)中的在三维图形系统中，设置一个虚拟的 照相机，绘制出显示变换后的虚拟三维建筑模型的建筑物图像的步骤为1) 以虚拟照相机所在点为视点，设置视点变换矩阵为单位矩阵；2) 设置虚拟照相机的视景体的左下角为(-*Fw,-*Fh，-f,)，右上角为(|Fw,*Fh，-fi)，远裁剪面离视点的距离为Z^，其中，Fw、 Fh分别为摄像机成 像底片的宽度、高度，Fw和Fh的值通过査阅摄像机的技术参数获知，fi为摄像机拍摄第i帧图像Ipie(i)时镜头的焦距，Z^大于所有摄像机三维直角坐标系 C。am(i)下虚拟三维建筑模型上所有点与视点的距离；3) 设置绘制结果输出图像的分辨率与摄像机拍得视频的分辨率相同；4) 设置一个虚拟的模拟太阳光照的平行光源，其亮度由用户输入，确定其方向的方法为禾U用公式—一 + L求得拍摄视频的第i帧图像Ipic(i)的时刻R videoTj，其中Rvide。为视频的帧率；在三维直角坐标系Cm下，计算出经度为LONsite、 纬度为LAT^的地点在Ti时刻受到的太阳光的方向；根据坐标系间向量的变 换方法，把太阳光在三维直角坐标系CM下的方向变换为在摄像机三维直角坐 标系Ce一i)下的方向，并把变换后的方向作为照射虚拟三维建筑的平行光源的方向；5) 根据上述设置，绘制虚拟三维建筑模型，得到显示虚拟三维建筑模型 的建筑物图像。
3、 根据权利要求1所述的一种将虚拟三维建筑与现实环境实拍视频无缝 合成的方法，其特征在于所述步骤5)中的把与视频的第i帧图像Ipic(i)相关的遮挡物图像 Ifront(i)、建筑物图"(象Ibuild(i)、背景图"[象Isite(i)叠力口在~"起,生成图像Iframe(i); 的步骤为1) 生成一张图像Ifr,(i)，它的分辨率与图像Ipic(i)的分辨率相同，把背景图 像Ue(i)上所有像素的颜色值复制给图像Iframe(i)中对应的像素；2) 把建筑物图像Ibu呵i)上所有不透明度为100%的像素的颜色值复制给图像Iframe(i)中对应的像素；3) 把遮挡物图像Ifr。nt(i)上所有不透明度为100%的像素的颜色值复制给图像 lframe(i) 中对应的像素。
全文摘要
本发明公开了一种将虚拟三维建筑与现实环境实拍视频无缝合成的方法。步骤为1)用摄像机对用于建造建筑物的场地拍摄一段视频；2)在三维图形系统中，构建虚拟三维建筑模型；3)根据视频的每一帧图像，把所有遮挡场地的景物提取出来，生成一帧遮挡物图像，复制剩余的图像生成背景图像；4)根据视频的每一帧图像，在三维图形系统中设置一个虚拟的照相机，绘制出显示虚拟三维建筑模型的建筑物图像；5)把遮挡物图像、建筑物图像、背景图像叠加成一系列新图像；6)把一系列新图像以拍得视频的帧率压缩成新的视频。本发明能将虚拟三维建筑完美地结合到建筑所在环境的实拍视频中，有力地展现将要建造的建筑及其环境的景象。
文档编号G06T17/00GK101605211SQ20091010111
公开日2009年12月16日 申请日期2009年7月23日 优先权日2009年7月23日
发明者何凤明, 炜 华, 秦学英, 鲍虎军 申请人:杭州镭星科技有限公司