专利名称：用于生成环境地图的方法
技术领域：
本发明涉及合成图像拼合的领域，且更具体地涉及用于虚拟环境或三维(3D)场景的环境地图的实时生成。
背景技术：
根据本领域技术，用于逼真渲染的方法使得大量使用基于图像的光照，其中捕捉真实的光照环境并重新使用其来光照虚拟对象。但是，这样的光照环境的捕捉经常需要静止场景和特定捕捉硬件，诸如高端数码相机、小型球体反射镜(mirrorball)、或HDR视频捕 获设备。随着互动游戏和仿真应用的出现，对尤其是实时的增强沉浸在虚拟环境的效果和与虚拟环境的互动性的效果的方法有了不断增长的需求。
发明内容
本发明的目的是克服现有技术的这些缺点。尤其是，本发明的特殊目的是增强沉浸在虚拟环境中的效果。本发明涉及用于生成表示真实环境的环境地图的方法，包括以下步骤-从数字光学获取设备实时地获取表示真实环境的部分光照信息的图像，-通过推断图像的至少部分像素来估计环境地图。有利地，该方法包括环境地图的扩散滤波的步骤。根据特殊特性,该方法包括环境地图的光泽滤波(glossy filtering)的步骤。以有利地方式，所述推断包括将属于图像的边缘的像素的值延伸到整个环境地图。根据另一特性，所述推断包括将与图像的像素的均值相对应的值应用到环境地图的至少部分。有利地，用取决于环境地图的至少部分的加权系数加权该值的应用。根据另一特性，获取设备具有大于阈值的焦距。以有利地方式，用角地图表示环境地图。
当阅读以附图为参考的下列描述时，本发明将被更好理解且其他特定特征和优点将出现，其中-图I说明根据本发明的特定实施例的从真实环境中接收光照信息的虚拟环境，-图2图解地说明根据本发明的特定实施例的表示图I的真实环境的部分光照信息的图像的捕获。-图3图解地说明根据本发明的特定实施例用于推断图2的所捕获的光照信息的方法，
-图4图解地说明根据本发明的特定实施例通过推断图2的所捕获的光照信息生成的环境地图，-图5说明根据本发明的特定实施例实现用于生成图4的环境地图的方法的设备，-图6说明根据本发明的特定实施例用于生成图I的真实环境的环境地图的方法。
具体实施例方式通过参考用于生成表示真实环境的环境地图的方法的特定实施例来描述发明，该环境地图包括被用于光照虚拟环境的信息。这个方法提供简单并且不昂贵的解决方案，用于从由简单的网络摄像机或其他获取设备提供的图像中提取光照信息。首先重新映射所捕获的图像到环境地图，且在周围环境的未知部分中推断从所捕获的图像中发出的所捕获光照信息。根据有利的变体，为了高质量的渲染，随后使用图形硬件滤波所推断的光照信息表示(representation)。当近似时,本发明提供可用于虚拟现实和多媒体应用的似乎真实的 环境地图，并甚至在低端图形硬件上实时地运行。图I说明属于真实环境I的用户12正在与屏幕13上所显示的虚拟环境(也称为3D场景)100互动。虚拟环境100包括虚拟对象(也称为3D对象)101，例如用户与之交互的化身(avatar)。该化身是例如用户12经由视频聊天应用与其讲话的人的图形表示，或由用户12控制的虚拟应用(例如游戏)的角色的图形表示。为了使用户12增加沉浸在虚拟环境中的效果，通过例如网络摄像机的数字光学获取设备11捕获表示真实环境I的光照的信息。因为获取设备11的有限孔径不允许整个环境的捕获，超出获取设备11的范围推断所捕获的入射光照，产生空间内任何方向的入射光照的完全估计。用于光照虚拟环境100的来自真实环境I的光照信息的使用增加了真实环境I和虚拟环境100合并为一个环境的效果。这因此增加了用户12沉浸于其于之互动的虚拟环境100的效果。对于实时虚拟现实应用，光学获取设备11的位置选择则是直接高于或低于显示屏幕13以确保光照的空间连贯性。根据变体，例如在光照设计的背景下，放置获取设备11在任何所期望的位置以获得目标光照。图2图解地说明通过数字光学获取设备22对表示真实环境I的部分光照信息的图像24的捕获。通过映射所捕获的图像24 (或其引起的光照信息/数据)到虚拟球体Q上(光学获取设备被定位在球体的中心)，获得真实环境I的环境地图2。由真实环境的捕获产生的光照信息受限于获取设备22的孔径23。环境地图2因此由两部分组成，第一部分20是可用光照信息且第二部分21是必须重建的缺失光照信息。获取设备22的孔径23取决于获取设备的焦距。以有利地方式，获取设备22是网络摄像机，其具有不昂贵的优势和在多个目前的显示屏幕、计算机设备(诸如膝上型计算机)或甚至智能电话上可用的优势。网络摄像机的焦距例如大于等于例如25毫米或50毫米的阈值。根据一变体，光学获取设备是高分辨率设备，或具有小于或大于上述阈值的焦距的HDR (“高动态范围”)设备。图3图解地说明用于根据本发明的特定的和非限制性的实施例推断所捕获的光照息的方法。为了从所捕获的光照信息中重建整个环境光照，所获取的数据被映射到如图2所示的虚拟球体，产生环境地图的角地图。角地图是环境地图的角表示。方向d 31对应于目标角地图上的像素(X，y) = (dxr, dyr),其中
权利要求
1.一种用于生成表示真实环境(I)的光照信息的环境地图(4)的方法，其特征在于所述方法包括以下步骤 -从数字光学获取设备(11，22 )实时地获取(61)表示所述真实环境(I)的部分光照信息的图像(24)，所述图像(24)包括多个像素， -通过推断所述图像(24)的所述像素的至少部分来估计(62)所述环境地图(4)。
2.根据权利要求I的方法，其特征在于它包括所述环境地图(4)的扩散滤波的步骤。
3.根据权利要求I或2中的一个的方法，其特征在于它包括所述环境地图(4)的光泽滤波的步骤。
4.根据权利要求I到3中的一个的方法，其特征在于所述推断包括将属于所述图像(24)的边缘的像素(42)的值延伸到所述整个环境地图(4)。
5.根据权利要求4的方法，其特征在于所述推断包括与所述图像(24)的像素的均值相对应的值到所述环境地图(4)的至少部分的应用。
6.根据权利要求5的方法，其特征在于所述值的应用利用取决于所述环境地图(4)的所述至少部分的加权系数a被加权。
7.根据权利要求I到6中的一个的方法，其特征在于所述获取设备(11，22)具有大于阈值的焦距。
8.根据权利要求I到7中的一个的方法，其特征在于由角地图表示所述环境地图(4)。
全文摘要
发明涉及一种用于生成表示真实环境的光照信息的环境地图的方法。为了增强沉浸在虚拟环境的效果，该方法包括以下步骤从数字光学获取设备(22)实时地获取表示所述真实环境的部分光照信息的图像(24)，所述图像包括多个像素；通过推断所述图像的所述像素的至少部分来估计所述环境地图。
文档编号G06T15/50GK102667865SQ201080058471
公开日2012年9月12日 申请日期2010年12月20日 优先权日2009年12月21日
发明者J-E.马维, P.高特朗 申请人:汤姆森特许公司