一种基于鱼眼镜头的虚实光照融合方法
【技术领域】
[0001] 本发明涉及计算机图像处理与增强现实技术领域，尤其涉及一种基于鱼眼镜头的 虚实光照融合方法。
【背景技术】
[0002] 增强现实技术将虚拟的三维物体、视频、文字、图片等计算机生成的信息实时叠加 显示到真实场景中，通过虚实融合实现自然的人机交互，在医疗卫生、军事仿真、工业维修、 教育娱乐等行业具有广泛的应用前景。高度真实感的增强现实效果主要体现在几何一致、 光照一致和时间一致等三个方面。其中几何一致指计算机生成的虚拟物体应与真实物体保 持准确、稳定的位置关系；光照一致指虚拟物体应与真实环境之间有正确的光照匹配关系； 时间一致指虚拟物体与真实物体实现实时交互。随着系统硬件设备与软件跟踪算法的快速 发展，目前几何一致与时间一致的研宄已经比较成熟，但光照一致的研宄仍然面临着诸多 难题。
[0003] 典型的基于光学跟踪的增强现实处理流程输入为真实场景和系统创建的虚拟三 维物体，每一帧的处理流程都包含跟踪真实物体、估计真实场景的光照、生成虚拟物体、渲 染光照效果等部分，最终输出虚实融合的合成场景。合成场景的真实性主要由真实场景光 照的估计、光照渲染以及虚拟物体生成的质量来决定的。在实际研宄过程中，复杂的动态光 照环境估计、阴影的真实性渲染、物体的表面材质属性估计、不同光照效果的渲染（模糊、 焦散、高光等）等都是增强现实光照一致性研宄面临的技术挑战和亟待解决的关键问题， 其中光照估计是光照一致性的重要先决条件，只有成功估计出真实环境的光照才能够产生 高度真实感的渲染效果。最近几年的光照一致性研宄按照研宄手段将已有研宄分为借助辅 助标志物的方法、借助辅助拍摄设备的方法和无需辅助标志或拍摄设备的图像分析方法三 类。其中辅助标志物指放在场景中的一些特殊物体，用来捕获真实场景中的光照信息或通 过分析其阴影推测光源方向等。辅助拍摄设备主要指深度相机、鱼眼镜头相机以及光场相 机等特殊拍摄设备，借助这些辅助设备能够获得深度、全视角场景、光场等信息，进而可以 更加方便地计算场景中的光照情况。图像分析方法运用机器学习、图像处理等相关技术分 析真实场景的光照情况，不需要借助多余的硬件设备，是近年来光照估计领域的重要发展 方向。
[0004] 借助辅助标志物的方法比如1998年美国南加州大学的Debevec参见（Debevec P.Rendering synthetic objects into real scenes:Bridg-ing traditional and image-based graphics with global illumination and high dynamic range photography [C]//ACM SIGGRAPH 1998classes. FL: ACM, 1998:32.)首先提出采用不同 曝光时间拍摄多幅镜面小球图像、通过组合这些图片制作高动态范围（High-Dynamic Range，HDR)环境光测图的方法，该方法在估算出局部场景的双向反射分布函数 (Bidirectional Reflectance Distribu-tion Function, BRDF)后，将光测图映射到场景 虚拟物体上，最终使用差分渲染提高渲染的效果，如图5(a)所示，该方法可以实现逼真的 合成图像，但是缺点是需要大量的预处理操作，无法实现实时交互。
[0005] 借助辅助拍摄设备的方法比如2007年，丹麦奥尔堡大学的Madsen等（参见 Madsen C, Laursen R. A scalable GPU-based approach to shad-ing and shadowing for photo-realistic real-time augmented reali-ty[C]//International Conference on Computer Graphics Theory and Applications. Barcelona, 2007:252-261.)提出使用HDR 相机拍摄HDR图像的方法，通过结合阴影图渲染并利用GPU加速渲染过程，实现了虚实场 景的实时交互，但是该方法由于在给定位置离线拍摄用于渲染所有虚拟物体的HDR环境贴 图，所以只适合于光照不变的环境。
[0006] 无需辅助标志或拍摄设备的图像分析方法比如布，算法收敛后可得到光照条件的 估计。2014年Metaio 公司的 Knorr 等（参见Knorr S B, Kurz D. Real-time illumination estimation from faces for coherent rendering[C]//2014IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Germany: IEEE, 2014:113-122.) 出的方法中同样先根据人脸数据库离线训练得到一个基于球谐波函数的辐射度传递函数 (RTF，radiance transfer function)，然后将用户的人脸图像作为在线阶段的输入图像来 估计光照情况。尽管该类方法通过在线计算可以实现比较有效的光照估计，但其缺点是需 要大量的离线计算。
【发明内容】
[0007] 有鉴于此，本发明提供了一种基于鱼眼镜头的虚实光照融合方法，通过使用鱼眼 镜头就可以完成对真实场景的光源分布估计并完成虚实融合，快速逼真的实现虚实融合环 境。
[0008] 一种基于鱼眼镜头的虚实光照融合方法，包括如下步骤：
[0009] 步骤1、在真实场景中，在未来放置虚拟物体的位置处放置鱼眼镜头相机；其中， 所述鱼眼镜头相机的半球形拍摄空间内包括真实场景中的所有光源；以鱼眼镜头中心为原 点0,过原点0且沿鱼眼镜头朝向方向为Z轴；过原点与Z轴垂直的平面XOY为鱼眼镜头相 机的像平面所在平面；
[0010] 步骤2、首先调整鱼眼镜头的光圈，使得采集图像中可以区分光源和背景图像；然 后控制鱼眼镜头相机拍照；在获得的图像中提取：各个所述光源的光源区域，光源区域内 各像素点的灰度值以及光源区域的重心在平面XOY上的坐标；
[0011] 步骤3、将各光源区域重心向所述鱼眼镜头相机的半球形拍摄空间的球面上进行 投影，确定对应光源发出光线与所述球面的交点，所述交点与所述原点0的连线方向即为 该光源的方向；
[0012] 步骤4、根据步骤3获得的各光源方向以及步骤2中光源区域内各像素点的灰 度值，确定各光源发光面垂直方向上的发光强度Ltl:
【主权项】
1. 一种基于鱼眼镜头的虚实光照融合方法，其特征在于，包括如下步骤： 步骤1、在真实场景中，在未来放置虚拟物体的位置处放置鱼眼镜头相机；其中，所述 鱼眼镜头相机的半球形拍摄空间内包括真实场景中的所有光源；以鱼眼镜头中心为原点 0,过原点O且沿鱼眼镜头朝向方向为Z轴；过原点与Z轴垂直的平面XOY为鱼眼镜头相机 的像平面所在平面； 步骤2、首先调整鱼眼镜头的光圈，使得采集图像中可以区分光源和背景图像；然后控 制鱼眼镜头相机拍照；在获得的图像中提取：各个所述光源的光源区域，光源区域内各像 素点的灰度值以及光源区域的重心在平面XOY上的坐标； 步骤3、将各光源区域重心向所述鱼眼镜头相机的半球形拍摄空间的球面上进行投影， 确定对应光源发出光线与所述球面的交点，所述交点与所述原点〇的连线方向即为该光源 的方向； 步骤4、根据步骤3获得的各光源方向以及步骤2中光源区域内各像素点的灰度 值，确定各光源发光面垂直方向上的发光强度Ltl:
:，其中，\表示本光 源区域内第i个像素点的亮度值，i = 1，2,...，N，N为本光源区域内像素点数量Ji = 0. 2991r+0. 587g+0. 114b，r、g和b分别为本光源区域内第i个各像素点在RGB空间的R、 G和B通道的值；f所述鱼眼镜头相机响应函数；P为步骤3中光源的方向与所述Z轴的夹 角；K为附加光源亮度衰减系数； 步骤5、根据步骤4得到的各光源发光面垂直方向上的发光强度Ltl以及步骤3得到的 各光源方向，结合所述虚拟物体表面反射系数，采用光照模型进行增强现实渲染，则实现了 光照虚实融合。
2. 如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，所述步 骤1中，将真实场景所在的真实世界坐标系与虚拟物体所在的虚拟世界坐标系进行统一， 使真实世界坐标系与虚拟世界坐标系重合。
3. 如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，在步骤2 中，在鱼眼镜头相机拍摄前，先使用计算机视觉工具包对鱼眼镜头相机进行标定。
4. 如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，所述步 骤2中，采用边缘提取法确定光源区域。
5. 如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，所述步 骤5中，采用GPU加速渲染实现增强现实的实时显示。
【专利摘要】本发明公开了一种基于鱼眼镜头的虚实光照融合方法，它主要包括以下几个步骤：首先将鱼眼镜头相机放置于场景空间中虚拟物体的位置上，用鱼眼镜头相机拍摄场景中的实时动态光照环境；然后由鱼眼镜头图像利用图像处理计算真实场景中的光源方向，再将鱼眼镜头图像转化为YUV空间，根据光源强度计算公式计算光源强度；最后利用计算出来的光源信息，采用GPU加速渲染虚拟物体，实现具有真实场景光照的实时增强现实应用，实现了快速高效的场景光照获取。
【IPC分类】G06T3-00, G06T15-50
【公开号】CN104766270
【申请号】CN201510124545
【发明人】刘越, 刘万奎, 闫达远, 常军, 翁冬冬
【申请人】北京理工大学
【公开日】2015年7月8日
【申请日】2015年3月20日