专利名称：用球面全景摄像机实时生成增强现实环境光照模型的方法
技术领域：
本发明属于增强现实领域，具体地说是一种应用于计算机真实感图形实时生成的方法。
技术背景增强现实系统是将虚拟世界叠加或融合于真实世界之上的人机交互系统。由于系统作 用的客体对象包含真实世界对象，要求系统可实时的生成真实感几何模型。光照模型对真 实感图形的生成至关重要。建立光照模型，主要是根据光学物理的有关定律，采用计算机模拟自然界中光照明的 物理过程。根据是否考虑光源外其它物体的反光特性，将光照模型分为局部光照模型和全 局光照模型。其中，局部光照模型忽略周围环境对物体的作用，只考虑光源对物体表面的 照射效果。全局光照模型则考虑周围环境对景物表面的影响。 一般说来，局部光照模型是 一种理想情况，所得结果与真实世界有较大差别，不适合在增强现实领域内使用，通常使 用全局光照模型生成真实感图形。光源是光照模型的核心。根据其几何形状光源可归结为点光源、线光源、面光源和体 光源。其中，点光源计算最为简单，且是其它几类光源计算的基础。在光源确定的基础上，建立光照模型。目前建立光照模型的方法大致有三类 一种是 数学模拟方法； 一种是根据三维标志物明暗逆推光照模型的方法；以及一种基于图像的光 照模型生成方法。数学模拟生成光照模型的方法是最原始的光照模型生成方法，且被广被采用。目前常 见的方法包括Lambet光照模型生成方法、Phong光照模型生成方法、Witted光照模型生成 方法、光线跟踪方法以及辐射度方法等。但此方法并不适合于增强现实环境下光源模型复 杂且实时生成的要求。增强现实系统要求对真实环境中实际存在光源一一登记注册，使用 该方法复杂，工作量大，且有局限性。表现在每换一个环境，需要重新注册，但往往由于 影响系统光照因素很多，实际上无法完全注册。周雅等在文章《增强现实系统光照模型建立研究》中提出一种根据注册图像中标志物 的明暗状况，利用计算机图形学的光照明模型计算方法进行逆推建立光照模型的方法。较 有效的解决了增强现实系统光照因素复杂的问题，但该方法依赖于注册图像的标志物，且 当视点变化时会引起光照误差，不能对任何位置和材质的物体满足照明要求。王骏等在文章《基于图像的光照模型的研究与实现》中提出一种基于图像的光照模型. 生成方法，即将视觉所感知的任何物体看作光源，利用照相机记录周围场景、并依次转化 为辐射图、全景图和光测图，从而实现对场景的照明。但该方法只适合静态场景光照模型 的建立恢复，真实世界的对象不能动态移动，不满足增强现实系统对人机交互的实时性要 求。总的来说，现有的场景光照模型生成方法存在着计算复杂工作量大、不适合复杂光照 环境下实时计算、无法支持增强现实系统实时人机交互的问题。 发明内容本发明解决的技术问题是克服现有生成光照模型方法存在着计算复杂，不能实时生 成增强现实场景光照模型的缺点，提供一种使用全景摄像机实时生成增强现实环境光照模 型的方法，支持增强现实系统实时人机交互。本发明提出一种使用全景摄像机实时生成增强现实环境光照模型的方法，包括以下步骤(1) 将一球面全景摄像机置于增强现实环境中，位置置于虚拟世界的观察视点，实时 采集全景图像；(2) 在步骤(1)采集全景图像后，针对真实世界对象，对其三维重建模型进行带有 光属性的纹理贴图；(3) 在步骤(1)采集全景图像后，针对虚拟世界对象，计算采集到的全景图光强值， 进行光照模型模式匹配，通过计算生成虚拟世界光照模型；(4) 综合考虑重建模型与虚拟对象模型相互局部影响情况下，计算增强现实场景的光 照模型。本发明的有益效果是(1) 本发明克服现有技术使用照相机静态采集场景图像信息计算光照模型的缺点，能 够实现实时生成增强现实环境光照模型，为增强现实环境实时动态交互提供光照支持。(2) 本发明方法将光照模型的计算区分为虚拟对象及真实世界对象不同计算方式，相 对于现有的光照模型数学计算方法较为简单。现有技术往往假设增强现实虚拟世界光照模 型参数，然后根据视觉要求迭代调整，而本发明从真实场景的全景图像进行逆向计算分析， 在此基础上生成虚拟光照模型，提高了增强现实虛拟世界渲染的逼真程度。(3) 在本发明中，进行光源模式匹配时，除点光源模式、自然光源模式等，可人为的 定义光照模式，以适应不同复杂的场景环境，具有较好的扩展性。
图1为本发明的全景摄像机与增强现实场景环境关系图； 图2为本发明的全景图实时生成增强现实关照模型方法流程图； 图3为本发明的全景图坐标世界坐标系坐标转换示意图。
具体实施方式
步骤1如图1所示，增强现实环境场景是立方体空间，人或其它对象在立方体空间内 与增强现实的虚拟对象完成交互。将一个全景摄像机置于虚拟世界观察视点的位置，进行 全景视频采集。步骤2如图2所示，给出通过分析全景图生成光照模型的流程图。本发明提出的方法包括六个步骤，分别是全景图像采集、三维重建模型的纹理贴图、计算全景图光强值、 光源模式匹配、计算光源位置及输入虚拟对象模型参数、计算光照模型。步骤2.1全景图像采集。使用置于虚拟场景视点的球面全景摄像机采集全景视频。步骤2.2如步骤2.1所述内容基础上，对增强现实场景中真实世界的三维重建模型进行 含光照信息的纹理贴图。增强现实虚拟世界对象模型分为两类， 一类是虚拟对象模型，另 一类是真实世界的三维重建模型。对于三维重建模型采用从全景视频流截取纹理图像并贴 图的方式确定其光照特征。首先对增强现实场景中的真实对象进行背景分割，取前景图像， 并将全景图中的像素信息映射至虚拟世界重建模型表面。常见的虚拟世界坐标系是三维立体坐标系，但全景摄像机采集的全景图像是基于球形 坐标系的，需要将全景图像的坐标转换为虚拟世界坐标系中。如图3所示，根据图1的全景摄像机与场景空间关系，给出全景图像坐标转换公式。 设全景图像的坐标为(M，v)，立体空间边长长度为c/，转换到世界坐标系下的坐标( /)的 公式如下z = —cosp步骤2.3如步骤2.1所述内容基础上，计算采集到全景图光强值。设全景图上坐标为 (w，v)，对应像素点的RGB值分别为A^,A^,A^，使用RGB、禁换HIS公式，计算对应点的光强值，公式为-步骤2.4如步骤2.3所述内容基础上，进行光源模式匹配。所谓光源模式，即光源的个 数与位置分布规律。首先按照一定光强阀值(比如iV:220)对全景光强图进行过滤，并去除 噪声点，得到全景图光源模式。如果只有一个点光源，即判断环境是单点光源模式；如果 有若干个点光源，且彼此相互分布较为分散，则判断环境是多点光源模式；如果有大量的 点光源，且分布均匀，则判断环境是自然光源模式；此外，对于特殊的光照环境，可人工制定其光源模式。步骤2.5如步骤2.4所述内容基础上，计算匹配后光源在虚拟世界中的位置，并输入虚 拟对象模型参数。对于增强现实虚拟世界中的虚拟对象模型，采用Phong光照模型计算方 法。即首先根据步骤2计算光源在虚拟世界的坐标位置，并输入虚拟对象模型的参数，包 括对象对环境光的漫反射系数，对象表面的漫反射系数及对象的镜面反射系数。代入Phong 光照模型计算公式-<formula>formula see original document page 8</formula>其中，M是场景中点光源总个数；/是光照表面点(;c,力处的光强；/。是入射环境光光 强，即全景图全部像素点的平均光强值；乙,乂(司是第Z'个点光源发出的入射光光强和光源 强度衰减因子；t。是模型表面对环境光的漫反射系数；^是模型表面的漫反射系数；、是 模型表面的镜面反射系数；w是镜面高光指数；丄,是第/个点光源发射方向单位向量；W是 点Oc,力处表面单位法向量i/,是将入射光反射到观察者方向的理想镜面的单位法向量，巧=^^， r是观察者视线单位向量。 2步骤2.6如步骤2.2和步骤2.5所述内容基础上，计算虚拟世界光照模型。考虑三维重 建模型和虚拟对象模型的相互作用，采用光线跟踪方法，计算重建模型和虚拟对象模型的 相互遮挡时的光线反射情况，计算公式如下其中，及是反射光线单位向量；丄是入射光线方向向量；W是表面单位法向量，且i ,丄，W 共面，通过光线跟踪方法实现场景消隐和阴影生成，最终完成整个增强现实虚拟世界的光 照模型的计算，计算公式为其中，/(X，力表示点(;c,"计算所得的光强值；、是模型表面对环境光的漫反射系数；、是模型表面的漫反射系数；^是模型表面的镜面反射系数；n是镜面高光指数；y;(《是第/个点光源发出光的光源强度衰减因子；A^,i^,A^表示象素点的RGB值；i^是第/个点 光源发射方向单位向量；W是点(U)处表面单位法向量；F是观察者视线单位向量；T是 所有像素点总和；M是光照点数总和，通过前述的光照模型模式匹配的方法获得。最后应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域 的普通技术人员来说，在不脱离本发明利用球面全景摄像机实时生成增强现实环境光照模 型的原理前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明 的保护范围。A/" +y权利要求
1、一种用球面全景摄像机实时生成增强现实环境光照模型的方法，其特征在于包括(1)将一球面全景摄像机置于增强现实环境中，位置置于虚拟世界的观察视点，实时采集全景图像；(2)在步骤(1)采集全景图像后，针对真实世界对象，对其三维重建模型进行带有光属性的纹理贴图；(3)在步骤(1)采集全景图像后，针对虚拟世界对象，计算采集到的全景图光强值，进行光照模型模式匹配，通过计算生成虚拟世界光照模型；(4)综合考虑重建模型与虚拟对象模型相互局部影响情况下，计算增强现实场景的光照模型。
2、 根据权利要求1所述的用球面全景摄像机实时生成增强现实环境光照模型的方法， 其特征在于所述步骤(2)对三维重建模型进行带有光属性的纹理贴图的方法如下-(1) 首先进行目标图像提取，即对增强现实场景中的真实对象进行背景分割，提取前 景图像；(2) 将全景图中的像素信息映射至虚拟世界重建模型表面，即将目标图像提取和全景球面'坐标到i:界坐标系的坐标映射。
3、 根据权利要求2所述的用球面全景摄像机实时生成增强现实环境光照模型的方法， 其特征在于所述步骤(2)将全景图像的坐标转换为虚拟世界坐标系的公式为设全景图 像的坐标为(W,V)，立体空间边长长度为d ，转换到世界坐标系下的坐标Oc',/，？)的公式如下<formula>formula see original document page 2</formula>
4、根据权利要求l所述的用球面全景摄像机实时生成增强现实环境光照模型的方法， 其特征在于所述步骤(3)中全景图光强值计算如下设全景图的坐标为(w，v)，对应像素点的红R、绿G、兰B值分别为WpA^,A^，使用RGB转换HIS公式，计算对应点的光强值，公式为
5、 根据权利要求1所述的用球面全景摄像机实时生成增强现实环境光照模型的方法， 其特征在于所述步骤(3)中进行光照模型模式匹配的方法为(1) 首先按照一定光强阀值对全景光强图进行过滤，并去除噪声点，得到全景图光源模式；(2) 将光源模式分为单点光源模式、多点光源模式、自然光源模式和自定义光源模式， 即如果只有一个点光源，即判断环境是单点光源模式；如果有若干个点光源，且彼此相互 分布较为分散，则判断环境是多点光源模式；如果有大量的点光源，且分布均匀，则判断 环境是自然光源模式；对于特殊的光照环境，可人工制定其光源模式。
6、 根据权利要求1所述的用球面全景摄像机实时生成增强现实环境光照模型的方法， 其特征在于所述步骤(3)中计算生成虛拟世界光照模型的公式为有<formula>formula see original document page 3</formula>其中M是场景中点光源总个数；/是光照表面点(X,力处的光强；/。是入射环境光光 强，即全景图全部像素点的平均光强值；/ ,.,/(力是第/个点光源发出的入射光光强和光源 强度衰减因子;、是模型表面对环境光的漫反射系数；、是模型表面的漫反射系数；&是 模型表面的镜面反射系数；"是镜面高光指数；Z,是第/个点光源发射方向单位向量；iV是 点(JC，力处表面单位法向量；A是将入射光反射到观察者方向的理想镜面的单位法向量，g=A^， r是观察者视线单位向量。 2
7、 根据权利要求1所述的用球面全景摄像机实时生成增强现实环境光照模型的方法， 其特征在于所述步骤(4)中考虑三维重建模型和虚拟对象模型的相互作用计算增强现实 场景的光照模型的方法为(1) 采用光线跟踪方法，计算重建模型和虚拟对象模型的相互遮挡时的光线反射情况， 计算公式如下其中，及是反射光线单位向量、丄是入射光线方向向量、W是表面单位法向量，且i ,AW 共面；(2) 通过光线跟踪方法实现场景消隐和阴影生成，最终完成整个增强现实虚拟世界的 光照模型的计算，讦算公式为<formula>formula see original document page 4</formula><formula>formula see original document page 4</formula>其中，/&,力表示点(^)计算所得的光强值；it。是模型表面对环境光的漫反射系数； 、是模型表面的漫反射系数；)t,是模型表面的镜面反射系数；"是镜面高光指数；,(力是 第Z个点光源发出光的光源强度衰减因子；A^,i^，A^表示象素点的RGB值；￡,是第/个点光源发射方向单位向量；JV是点(;C,力处表面单位法向量；K是观察者视线单位向量；r是所有像素点总和；M是光照点数总和，通过光照模型模式匹配的方法获得。
全文摘要
一种用球面全景摄像机实时生成增强现实环境光照模型的方法包括(1)将一球面全景摄像机置于增强现实环境中，位置置于虚拟世界的观察视点，实时采集全景图像；(2)在步骤(1)采集全景图像后，针对真实世界对象，对其三维重建模型进行带有光属性的纹理贴图；(3)在步骤(1)采集全景图像后，针对虚拟世界对象，计算采集到的全景图光强值，进行光照模型模式匹配，通过计算生成虚拟世界光照模型；(4)综合考虑重建模型与虚拟对象模型相互局部影响情况下，计算增强现实场景的光照模型。本发明可以在复杂光照环境下实时生成光照模型，具有支持增强现实场景实时交互的优点。
文档编号G06T15/50GK101246600SQ200810101290
公开日2008年8月20日 申请日期2008年3月3日 优先权日2008年3月3日
发明者威 吴, 忠 周, 张淑军, 李艳丽, 旭 赵, 赵沁平 申请人:北京航空航天大学