实景三维增强现实可视化系统及方法与流程

本发明涉及三维全景增强现实技术，特别涉及一种最优影像查找技术及实景三维增强现实可视化技术。

背景技术

倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术。它改变了以往航空摄影测量只能使用单一相机从垂直角度拍摄地物的局限，通过在同一飞行平台上搭载多台传感器，同时从垂直、侧视和前后视等不同角度采集影像。倾斜影像不仅能真实反映地物情况，还通过采用如gps定位、北斗定位等先进的定位技术，嵌入精确的地理信息、丰富的影像信息，给用户呈现出一个五彩缤纷的三维世界，获得身临其境的体验。

因为倾斜模型数据本身是由三角面片加纹理结合而成，所以在数据浏览时建筑会出现影像分辨率不高和小部件(路灯、电塔、垃圾桶等)丢失等效果。

技术实现要素：

本发明鉴于现有技术的上述现状，其目的在于提供一种能够以高分辨率和精准的细节表现三维实景的实景三维增强现实可视化技术，具体提供实景三维增强现实可视化系统的最优影像查找方法及装置、实景三维增强现实可视化方法及系统。

本发明的一实施例的实景三维增强现实可视化系统的最优影像查找方法，包括：基准四边形确定步骤，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；影像视椎体构建步骤，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；影像权值计算步骤，计算所述影像视椎体与所述基准四边形相交的当前影像的主光轴方向和当前视口主光轴方向之间角度的余弦值，将所述余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及最优影像确定步骤，将所述影像权值最高的影像作为当前视口的最优影像。

与此对应的实景三维增强现实可视化系统的最优影像查找装置，包括：基准四边形确定模块，利用地形或地形所在平面在当前视口四个角的交点构建一个四边形作为基准四边形；影像视椎体构建模块，根据当前影像的视图矩阵和投影矩阵构建影像视椎体；影像权值计算模块，计算所述影像视椎体与所述基准四边形相交的当前影像的主光轴方向和当前视口主光轴方向之间角度的余弦值，将所述余弦值与当前视口中心点在影像所在投影屏面上的投影坐标到影像中心点的投影距离取反得到的负数相加作为当前影像的权值；以及最优影像确定模块，将所述影像权值最高的影像作为当前视口的最优影像。

本发明的另一实施例的实景三维增强现实可视化方法，包括：最优影像查找步骤，根据所述的最优影像查找方法查找当前视口中最优的影像；自由视图显示步骤，若当前视口中未找到最优影像，则直接显示自由视图供浏览；视角旋转切换影像重投影步骤，若找到当前视口中最优影像，则利用所述最优影像进行重投影。

进一步，所述的实景三维增强现实可视化方法，所述视角旋转切换影像重投影步骤包括：过度效果实施步骤，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过度效果；切换投影矩阵设置步骤，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影步骤，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。

与此对应的实景三维增强现实可视化系统，包括：最优影像查找模块，根据所述的最优影像查找装置查找当前视口中最优的影像；自由视图显示模块，若当前视口中未找到最优影像，则直接显示自由视图供浏览；视角旋转切换影像重投影模块，若找到当前视口中最优影像，则利用所述最优影像进行重投影。

进一步，所述的实景三维增强现实可视化系统，所述视角旋转切换影像重投影模块包括：过度效果实施模块，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过度效果；切换投影矩阵设置模块，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影模块，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。

另一实施例的实景三维增强现实可视化方法，包括：视角平移步骤，当视口平移时，根据视口在屏幕上的平移距离得到投影平面的平移矩阵，将所述平移矩阵与当前视口的投影矩阵相乘作为目标投影矩阵进行视角平移；影像切换需求判断步骤，计算当前视口区域与当前影像区域的相交区域，进一步计算所述相交区域与所述当前视口区域的比值，若所述比值为80％以上，则判断为不需要切换影像，若所述比值小于80％，则判断为需要切换影像；最优影像查找步骤，若在所述影像切换需求判断步骤判断为需要切换影像，则根据所述的最优影像查找方法查找当前视口中最优的影像；自由视图显示步骤，若当前视口中未找到最优影像，则直接显示自由视图供浏览；以及视角旋转切换影像重投影步骤，若找到当前视口中最优影像，则利用所述最优影像进行重投影。

进一步，所述的实景三维增强现实可视化方法，所述视角旋转切换影像重投影步骤包括：过度效果实施步骤，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过度效果；切换投影矩阵设置步骤，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影步骤，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。

与此对应的实景三维增强现实可视化系统，包括：视角平移模块，当视口平移时，根据视口在屏幕上的平移距离得到投影平面的平移矩阵，将所述平移矩阵与当前视口的投影矩阵相乘作为目标投影矩阵进行视角平移；影像切换需求判断模块，计算当前视口区域与当前影像区域的相交区域，进一步计算所述相交区域与所述当前视口区域的比值，若所述比值为80％以上，则判断为不需要切换影像，若所述比值小于80％，则判断为需要切换影像；最优影像查找模块，若在所述影像切换需求判断模块判断为需要切换影像，则由所述的最优影像查找装置查找当前视口中最优的影像；自由视图显示模块，若当前视口中未找到最优影像，则直接显示自由视图供浏览；以及视角旋转切换影像重投影模块，若找到当前视口中最优影像，则利用所述最优影像进行重投影。

进一步，所述的实景三维增强现实可视化系统，所述视角旋转切换影像重投影模块包括：过度效果实施模块，以当前视口的中心点作为原点，将当前视口相机旋转到所述最优影像的主光轴的方向做过度效果；切换投影矩阵设置模块，将所述最优影像的视图矩阵设置为当前视口的视图矩阵，设当前视口相机位到所述当前视口中心点的距离与所述最优影像相机位到所述当前视口中心点的距离的比值为缩放量，将当前视口中心点在影像投影平面的平移量、所述缩放量以及当前影像投影矩阵相乘作为切换投影矩阵；以及投影模块，按照所述切换投影矩阵，将所述最优影像渲染到三维场景中。

本发明的各方案，具有如下的技术效果：

(1)因为采用了包括每张影像的视图矩阵及投影矩阵等空三数据，使所有的影像都能达到高精度，可进行坐标量测。

(2)因为实现了最优影像查找功能和旋转切换投影功能，使影像能够实现像实景三维一样的自由浏览和切换。

(3)因为采用了平滑过渡效果，使影像浏览时体验更好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对具体实施方式部分中所需要使用的附图做简单介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是第一实施例的实景三维增强现实可视化系统的最优影像查找装置的框图。

图2是所述最优影像查找装置的最优影像查找方法的流程图。

图3是第二实施例的实景三维增强现实可视化系统的框图。

图4是第二实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。

图5是第二实施例的实景三维增强现实可视化方法的流程图。

图6是第二实施例的视角旋转切换影像重投影步骤的详细过程的框图。

图7是第三实施例的实景三维增强现实可视化系统的框图。

图8是第三实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。

图9是第三实施例的实景三维增强现实可视化方法的流程图。

图10是第三实施例的视角旋转切换影像重投影步骤的详细过程的框图。

具体实施方式

下面，参考附图更详细地说明本发明的实施方式。本发明的实施例可以变形为各种方式，本发明的范围不应解释为限定于下面说明的实施例。

<第一实施例>

首先，结合图1和2，具体说明本发明的第一实施例的实景三维增强现实可视化系统中最优影像查找装置及最优影像查找方法。

图1是第一实施例的实景三维增强现实可视化系统的最优影像查找装置的框图。图2是所述最优影像查找装置的最优影像查找方法的流程图。

如图1所示，第一实施例的实景三维增强现实可视化系统中最优影像查找装置100是基于原始空三数据(包含每张影像的视图矩阵m(v)以及投影矩阵m(p)))进行匹配查找最优影像。其具体包括：基准四边形确定模块110、影像视椎体构建模块120、影像权值计算模块130以及最优影像确定模块140。

其中，基准四边形确定模块110利用地形或地形所在平面在当前视口四个角的交点v1、v2、v3、v4构建一个四边形，作为基准四边形polygon。

影像视椎体构建模块120根据当前影像的视图矩阵m(v)和投影矩阵m(p)构建影像视椎体prism。

影像权值计算模块130计算所述影像视椎体prism与所述基准四边形polygon相交的当前影像主光轴方向v(img)和当前视口主光轴方向v(view)之间角度θ的余弦值余弦值cosθ，将所述余弦值余弦值cosθ与当前视口中心点v(center)在影像所在投影屏面上的投影坐标v(p)到影像中心点o(img)的投影距离dis取反，并将得到的负数相加作为当前影像的权值w。

v(p)＝v(center)*m(v)*m(p)

dis＝(v(p)-o(img)).length*(-1)

cosθ＝v(img)*v(view)

w＝dis+cosθ

最优影像确定模块140将所述影像权值w最高的影像作为当前视口的最优影像。

如图2所示，实景三维增强现实可视化系统中最优影像查找方法是基于原始空三数据(包含每张影像的视图矩阵m(v)以及投影矩阵m(p)))进行匹配查找最优影像。其具体包括基准四边形确定步骤s110、影像视椎体构建步骤s120、影像权值计算步骤s130以及最优影像确定步骤s140。

在基准四边形确定步骤s110，利用地形或地形所在平面在当前视口四个角的交点v1、v2、v3、v4构建一个四边形，作为基准四边形polygon。

之后，对所有待检查影像，在影像视椎体构建步骤s120，根据当前影像的视图矩阵m(v)和投影矩阵m(p)构建影像视椎体prism。

在影像权值计算步骤s130，计算所述影像视椎体prism与所述基准四边形polygon相交的当前影像主光轴方向v(img)和当前视口主光轴方向v(view)之间角度θ的余弦值余弦值cosθ，将所述余弦值余弦值cosθ与当前视口中心点v(center)在影像所在投影屏面上的投影坐标v(p)到影像中心点o(img)的投影距离dis取反，并将得到的负数相加作为当前影像的权值w。

v(p)＝v(center)*m(v)*m(p)

dis＝(v(p)-o(img)).length*(-1)

cosθ＝v(img)*v(view)

w＝dis+cosθ

最后，在最优影像确定步骤s140，将所述影像权值w最高的影像作为当前视口的最优影像。

本实施例的实景三维增强现实可视化系统中最优影像查找装置及最优影像查找方法，由于采用空三数据查找最优影像，所以使所有的影像都能达到高精度，可进行坐标量测。

<第二实施例>

下面，结合图3-图6，具体说明本发明的第二实施例的实景三维增强现实可视化系统及方法。

图3是第二实施例的实景三维增强现实可视化系统的框图。图4是第二实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。图5是第二实施例的实景三维增强现实可视化方法的流程图。图6是第二实施例的视角旋转切换影像重投影步骤的详细过程的框图。

如图3所示，第二实施例的实景三维增强现实可视化系统200包括最优影像查找模块210、自由视图显示模块220以及视角旋转切换影像重投影模块230。

最优影像查找模块210根据实施例1中所述的最优影像查找装置100查找当前视口中最优的影像。若当前视口中未找到最优影像，则由自由视图显示模块220直接显示自由视图供浏览。若找到当前视口中最优影像，则由视角旋转切换影像重投影模块230利用所述最优影像进行重投影。

如图4所示，视角旋转切换影像重投影模块230包括过度效果实施模块231、切换投影矩阵设置模块232以及投影模块233。

具体来说，在当前视口中找到最优影像后，过度效果实施模块231以当前视口中心点v(center)作为原点，将当前视口相机旋转到所述最优影像image的主光轴的方向做过度效果。

切换投影矩阵设置模块232，将所述最优影像的视图矩阵m(imgv)设置为当前视口的视图矩阵m(v)，设当前视口相机位到所述当前视口中心点v(center)的距离与所述最优影像image相机位到所述当前视口中心点v(center)的距离的比值为缩放量m(s)，将当前视口中心点v(center)在影像投影平面的平移量m(t)、所述缩放量m(s)以及当前影像投影矩阵m(imgp)相乘作为切换投影矩阵m(cp)。

m(t)＝v(center)*m(imgv)*m(imgp)

m(s)＝dis1/dis2

m(cp)＝m(imgp)*m(t)*m(s)

投影模块233按照所述切换投影矩阵m(cp)，将所述最优影像image渲染到三维场景中。

如图5所示，第二实施例的实景三维增强现实可视化方法包括最优影像查找步骤s210、自由视图显示步骤s220以及视角旋转切换影像重投影步骤s230。

在显示三维增强现实实景时，首先在最优影像查找步骤s210，根据实施例1中所述的最优影像查找方法查找当前视口中最优的影像。若当前视口中未找到最优影像，则在自由视图显示步骤s220直接显示自由视图供浏览。若找到当前视口中最优影像，则在视角旋转切换影像重投影步骤s230利用所述最优影像进行重投影。

如图6所示，视角旋转切换影像重投影步骤s230包括过度效果实施步骤s231、切换投影矩阵设置步骤s232以及投影步骤s233。

具体来说，在当前视口中找到最优影像后，在过度效果实施步骤s231，将当前视口相机旋转到所述最优影像image的主光轴的方向做过度效果。

实施过度效果时的各参数及时间关系如下。

首先，计算当前视口主光轴方向v(view)与影像主光轴方向v(img)的夹角θ，根据θ的大小计算旋转时间t，并计算旋转的角速度a。

θ＝acos(v(view)*v(img))

t＝θ/(π/2)

之后，计算前后两帧之间的时间差t(δ)，并根据t(δ)计算相机旋转矩阵m(r)以及旋转之后的方向v(cv)。

m(r)＝m(a*t(δ))

v(cv)＝v(view)*m(r)

计算当前视口相机位到v(center)的距离dis，根据相机旋转之后的方向v(cv)，并以v(center)为原点计算相机旋转之后的位置v(pos)。

v(pos)＝v(center)-v(cv)*dis

计算相机旋转后的向上方向v(up)，并以v(pos)、v(cv)、v(up)构建相机旋转之后的矩阵m(v)作为当前相机的视图矩阵。

计算剩余时间t(d)＝t-t(δ)，如果t(d)大于0则继续a)，否则过渡效果结束。

之后，在切换投影矩阵设置步骤s232，将所述最优影像的视图矩阵m(imgv)设置为当前视口的视图矩阵m(v)，设当前视口相机位到所述当前视口中心点v(center)的距离与所述最优影像image相机位到所述当前视口中心点v(center)的距离的比值为缩放量m(s)，将当前视口中心点v(center)在影像投影平面的平移量m(t)、所述缩放量m(s)以及当前影像投影矩阵m(imgp)相乘作为切换投影矩阵m(cp)。

m(t)＝v(center)*m(imgv)*m(imgp)

m(s)＝dis1/dis2

m(cp)＝m(imgp)*m(t)*m(s)

最后，在投影步骤s233按照所述切换投影矩阵m(cp)，将所述最优影像image渲染到三维场景中。

本实施例的实景三维增强现实可视化系统及方法，由于采用空三数据查找最优影像，所以使所有的影像都能达到高精度，可进行坐标量测。并且，本实施例的实景三维增强现实可视化系统及方法，由于使用最优影像进行切换，使影像能够实现像实景三维一样的自由浏览和切换。另外，由于采用了平滑过渡效果，使影像浏览时体验更好。

<第三实施例>

下面，结合图7-图10，具体说明本发明的第三实施例的实景三维增强现实可视化系统及方法。

图7是第三实施例的实景三维增强现实可视化系统的框图。图8是第三实施例的实景三维增强现实可视化系统中视角旋转切换影像重投影模块的框图。图9是第三实施例的实景三维增强现实可视化方法的流程图。图10是第三实施例的视角旋转切换影像重投影步骤的详细过程的框图。

如图7所示，第三实施例的实景三维增强现实可视化系统300包括视角平移模块310、影像切换需求判断模块320、最优影像查找模块330、自由视图显示模块340以及视角旋转切换影像重投影模块350。

当视口平移时，视角平移模块310根据视口在屏幕上的平移距离dis得到投影平面的平移矩阵m(t)，将所述平移矩阵m(t)与当前视口的投影矩阵m(p)相乘作为目标投影矩阵m(cp)进行视角平移。

m(cp)＝m(p)*m(t)

影像切换需求判断模块320计算当前视口区域polygon(v)与当前影像区域polygon(img)的相交区域polygon(i)，进一步计算所述相交区域polygon(i)与所述当前视口区域polygon(v)的比值ratio，若所述比值ratio为80％以上，则判断为不需要切换影像，若所述比值ratio小于80％，则判断为需要切换影像。

若在所述影像切换需求判断模块判断为需要切换影像，则最优影像查找模块330由实施例1中所述的最优影像查找装置100查找当前视口中最优的影像。

若当前视口中未找到最优影像，则自由视图显示模块340直接显示自由视图供浏览。

若找到当前视口中最优影像，则视角旋转切换影像重投影模块350利用所述最优影像进行重投影。

如图8所示，视角旋转切换影像重投影模块350包括过度效果实施模块351、切换投影矩阵设置模块352以及投影模块353。

具体来说，在当前视口中找到最优影像后，过度效果实施模块351以当前视口中心点v(center)作为原点，将当前视口相机旋转到所述最优影像image的主光轴的方向做过度效果。

切换投影矩阵设置模块352将所述最优影像的视图矩阵m(imgv)设置为当前视口的视图矩阵m(v)，设当前视口相机位到所述当前视口中心点v(center)的距离与所述最优影像image相机位到所述当前视口中心点v(center)的距离的比值为缩放量m(s)，将当前视口中心点v(center)在影像投影平面的平移量m(t)、所述缩放量m(s)以及当前影像投影矩阵m(imgp)相乘作为切换投影矩阵m(cp)。

m(t)＝v(center)*m(imgv)*m(imgp)

m(s)＝dis1/dis2

m(cp)＝m(imgp)*m(t)*m(s)

投影模块353按照所述切换投影矩阵m(cp)，将所述最优影像image渲染到三维场景中。

如图9所示，第二实施例的实景三维增强现实可视化方法包括视角平移步骤s310、影像切换需求判断步骤s320、最优影像查找步骤s330、自由视图显示步骤s340以及视角旋转切换影像重投影步骤s350。

当视口平移时，在视角平移步骤s310，根据视口在屏幕上的平移距离dis得到投影平面的平移矩阵m(t)，将所述平移矩阵m(t)与当前视口的投影矩阵m(p)相乘作为目标投影矩阵m(cp)进行视角平移。

m(cp)＝m(p)*m(t)

在影像切换需求判断步骤s320，计算当前视口区域polygon(v)与当前影像区域polygon(img)的相交区域polygon(i)，进一步计算所述相交区域polygon(i)与所述当前视口区域polygon(v)的比值ratio，若所述比值ratio为80％以上，则判断为不需要切换影像，若所述比值ratio小于80％，则判断为需要切换影像。

若在所述影像切换需求判断步骤判断为需要切换影像，则在最优影像查找步骤s330，根据实施例1中所述的最优影像查找方法查找当前视口中最优的影像。

若当前视口中未找到最优影像，则在自由视图显示步骤s340直接显示自由视图供浏览。

若找到当前视口中最优影像，则在视角旋转切换影像重投影步骤s350，利用所述最优影像进行重投影。

如图10所示，所述视角旋转切换影像重投影步骤s350包括过度效果实施步骤s351、切换投影矩阵设置步骤s352以及投影步骤s353。

具体来说，在当前视口中找到最优影像后，在过度效果实施步骤s351，以当前视口中心点v(center)作为原点，将当前视口相机旋转到所述最优影像image的主光轴的方向做过度效果。

在切换投影矩阵设置步骤s352将所述最优影像的视图矩阵m(imgv)设置为当前视口的视图矩阵m(v)，设当前视口相机位到所述当前视口中心点v(center)的距离与所述最优影像image相机位到所述当前视口中心点v(center)的距离的比值为缩放量m(s)，将当前视口中心点v(center)在影像投影平面的平移量m(t)、所述缩放量m(s)以及当前影像投影矩阵m(imgp)相乘作为切换投影矩阵m(cp)。

m(t)＝v(center)*m(imgv)*m(imgp)

m(s)＝dis1/dis2

m(cp)＝m(imgp)*m(t)*m(s)

在投影步骤s353按照所述切换投影矩阵m(cp)，将所述最优影像image渲染到三维场景中。

本实施例的实景三维增强现实可视化系统及方法，由于采用空三数据查找最优影像，所以使所有的影像都能达到高精度，可进行坐标量测。并且，本实施例的实景三维增强现实可视化系统及方法，由于使用最优影像进行切换，使影像能够实现像实景三维一样的自由浏览和切换。另外，由于采用了平滑过渡效果，使影像浏览时体验更好。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

产业实用性

本发明的各实施例给出的实施方案以及技术思想可应用于数字摄影测量的各个领域。