专利名称：增强现实系统的制作方法
增强现实系统
背景技术：
增强现实(AR)关注于将真实世界和计算机产生的数据相结合，特别是将计算机图形对象实时混合到真实镜头中，用于向最终用户显示。AR的范围已经扩张到包括非视觉增强以及更广泛的应用领域，比如广告、导航、军事服务以及娱乐等等。为了使其成功部署，提供将这种计算机产生的数据(图像)无缝集成到真实世界的场景中已受到越来越多的关注。
发明内容
本发明提供了涉及增强现实(AR)设备的技术。在一个实施例中，一种用于增强真实世界图像的设备包括光源信息产生单元，针对由真实世界图像捕捉设备所捕捉的真实世界图像，基于捕捉真实世界图像的位置、时间以及日期，产生光源信息。光源信息包括与真实世界图像的真实世界光源的位置有关的信息。该设备还包括阴影图像对准单元，接收 从光源信息产生单元产生的光源信息。阴影图像对准单元基于从光源信息产生单元产生的光源信息，产生覆盖到真实世界图像上的虚拟对象的阴影图像。前述发明内容仅是说明性的，且不意在以任何方式加以限制。除了上述说明性方面、实施例以及特征之外，通过参考附图和以下详细描述，其他方面、实施例和特征将变得显而易见。
图I示出了增强现实(AR)系统的说明性实施例的示意框图。图2A至2C示出了用于产生增强现实图像的说明性实施例，该增强现实图像叠加了虚拟对象的阴影图像。图3示出了图I的图像捕捉单元的说明性实施例的示意框图。图4示出了图I的AR产生器的说明性实施例的示意框图。图5示出了图4的AR图像产生单元的说明性实施例的示意框图。图6示出了用于基于无标记选择/对准技术来选择和对准虚拟对象并产生该虚拟对象的虚拟阴影图像的说明性实施例。图7A至7C示出了 AR系统的另一说明性实施例的示意图。图8示出了用于产生AR图像的方法的说明性实施例的示例流程图。
具体实施例方式在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，除非上下文另行指明，否则类似符号通常表示类似部件。
具体实施方式
部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确公开的多种不同配置来设置、替换、组合、分割和设计。
增强显示(AR)技术将真实世界图像与虚拟对象的图像混合，以向观众提供虚拟对象存在于真实世界中的幻象。本公开所述的技术采用了新颖的AR设备来产生包括虚拟对象的虚拟阴影图像在内的混合图像，该虚拟阴影图像遵循真实图像中的真实对象的真实世界阴影图像或与其一致，使得虚拟阴影图像对于观众看起来就好像其是由投射真实世界阴影图像的相同真实世界光源(例如太阳)所投射出来的。图I示出了增强现实(AR)系统的说明性实施例的示意框图。参见图1，AR系统100可以包括图像捕捉单元110，被配置为捕捉真实世界图像；AR产生器120，被配置为通过将捕捉到的真实世界图像与一个或多个虚拟对象的图像以及他们相应的虚拟阴影图像叠加，来产生AR图像；以及显示单元130，被配置为显示由AR产生器120产生的增强现实图像。如本文所使用的，术语“虚拟对象”指代对象的几何形状表示，以及术语“虚拟阴影 图像”指代使用本领域众所周知的阴影呈现技术所呈现的虚拟对象的阴影图像。这种阴影呈现技术的示例包括(但不限于)阴影映射算法、阴影体积算法、以及柔和阴影算法。与虚拟对象和虚拟阴影图像有关的技术细节在本领域中是众所周知的，且本文不做进一步解释。图像捕捉单元110可以包括用于捕捉真实世界场景的真实世界图像的一个或多个数字相机(未示出)。在一个实施例中，图像捕捉单元Iio可以位于远离AR产生器120的位置，且可以与AR产生器120无线连接。在另一实施例中，图像捕捉单元110可以被布置在装有AR产生器120的相同外壳内。AR产生器120可以被配置为产生虚拟对象的虚拟阴影图像，该虚拟对象的图像要叠加到由图像捕捉单元Iio所捕捉的真实世界图像上。可以在AR产生器120中预先存储虚拟对象，或可以由AR产生器120从外部设备(例如服务器)接收虚拟对象。在一个实施例中，AR产生器120可以被配置为产生虚拟阴影图像，该虚拟阴影图像的大小、形状、方向和/或强度遵循真实世界图像中真实对象的真实世界阴影图像或与其一致。按这种方式产生的虚拟阴影图像对于AR图像的观众可以看起来好像其由投射真实世界阴影图像的相同真实世界光源所投射出来的。图2A至2C示出了用于产生与虚拟图像及其虚拟阴影图像叠加的AR图像的说明性实施例。图2A示出了真实世界场景的立体图的说明性实施例，图2B示出了不具有虚拟对象的虚拟阴影图像的图2A的真实世界场景的AR图像的说明性实施例，以及图2C示出了包括虚拟对象的虚拟阴影图像在内的图2A的真实世界场景的AR图像的说明性实施例。参见图2A至2C，图2A中真实世界场景2包括太阳20、高尔夫球洞21、其中的杆22、以及杆22的真实世界阴影23。图像捕捉单元110产生这种真实世界场景2的真实世界图像，并将其提供给AR图像产生器120。图2B和2C中的高尔夫球24及图2C中的高尔夫球24的阴影图像25是由AR图像产生器120所添加的虚拟图像。图2C中的高尔夫球24的虚拟阴影图像25与由真实世界太阳20所投射的杆22的真实世界阴影23具有相同的方向。如通过比较图2B和2C所意识到的，添加的虚拟阴影图像25为添加到AR图像上的高尔夫球24的虚拟图像带来了真实性，给出了好像其真实存在于这真实世界中的幻象。参见图1，AR产生器120可以被配置为估计真实世界光源(例如，太阳)相对于图像捕捉单元110的位置，且被配置为基于所估计的位置来产生虚拟阴影图像。在一个实施例中，AR产生器120可以被配置为基于图像捕捉单元110捕捉真实世界图像时的位置、时间和日期，来估计真实世界光源的位置。AR产生器120可以从相机单元110和/或外部设备(例如，服务器)至少部分地获得与位置、时间和/或日期有关的这种信息。下面将参照图3至5来详细解释与以下各项相关的技术细节(a)估计太阳的位置；以及(b)据此产生虚拟阴影图像和AR图像。显示单元130可以被配置为显示由AR产生器120所提供的增强现实图像。在一个实施例中，显示单元130可以用以下各项来实现阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、有机LED(OLED)、和/或等离子显示面板(I3DP)。
图3示出了图I的图像捕捉单元的说明性实施例的示意框图。参见图3，图像捕捉单元Iio可以包括相机单元310，被配置为产生真实世界图像；以及姿态检测单元320，被配置为测量相机单元310的方位和倾斜，并产生姿态信息(其包括与测量到的方位和倾斜有关的信息)。在另一实施例中，图像捕捉单元110可以可选地包括位置信息提供单元330和/或时间/日期信息提供单元340。相机单元310可以包括将光学真实世界图像转换为数字数据的一个或多个数字相机(未示出)。这种数字相机的示例包括(但不限于)电荷耦合器件(CDD)数字相机以及互补金属氧化物半导体(CMOS)数字相机。姿态检测单元320可以被配置为测量相应数字相机的方位和倾斜。在一个实施例中，姿态检测单元320可以包括陆地磁场传感器(例如，罗盘)(未示出)，被配置为检测相机单元310的各个数字相机的方位(例如，方向北、南、东和西)；以及陀螺仪传感器(未示出)，测量相机单元310的各个数字相机的倾斜。位置信息提供单元330可以被配置为提供与相机单元310捕捉真实世界图像时所处的位置有关的信息(即，位置信息)。在一个实施例中，位置信息提供单元330可以包括GPS单元(未示出)，被配置为从多个GPS卫星无线接收GPS信息，以及通过使用GPS技术，基于接收到的GPS信息确定图像捕捉单元110的位置。在另一实施例中，位置信息提供单元330可以包括移动跟踪单元(未示出)，被配置为从外部设备(例如，服务器或无线网络实体)接收移动跟踪信息，以及通过使用移动跟踪技术，基于接收到的移动跟踪信息，确定图像捕捉单元110的位置。如本文所使用的，将移动跟踪信息定义为可以由位置信息提供单元330用来基于一个或多个移动跟踪技术来确定图像捕捉单元110的位置的信息。这种移动跟踪技术的示例包括(但不限于)小区标识、增强小区标识、三角测量(例如，上行链路到达时间差(U-TDOA))、到达时间(TOA)、以及到达角度(AOA)技术。此外，这种移动跟踪信息的示例包括(但不限于)指示相机单元110所处小区的小区信息、以及唯一识别图像捕捉单元110的标识(ID)信息。在使用小区标识作为移动跟踪技术的一个示例中，位置信息提供单元330可以接收作为移动跟踪信息的小区信息(例如，小区ID)，该小区信息指示图像捕捉单元110所处的小区，然后，基于接收到的小区信息来估计图像捕捉单元110的位置(例如，将由接收到的小区信息所识别的小区的覆盖区域的中心点确定并选择为图像捕捉单元110的位置)。小区标识技术的技术细节在本领域中是众所周知的，且本文不进一步讨论。在另一示例中，位置信息提供单元330可以从基站或与其进行无线通信的其他等同设备接收图像捕捉单元110的标识(ID)信息，向外部设备(例如服务器)发送接收到的ID信息(以使得服务器能够从用于确定位置的无线网络实体获得与图像捕捉单元110有关的信息)，以及作为响应从服务器接收与图像捕捉单元110的位置有关的信息。时间/日期信息提供单元340可以被配置为提供与相机单元310所捕捉的真实世界图像时的时间和日期有关的信息。在一个实施例中，时间/日期信息提供单元340可以装有时钟。在另一实施例中，时间/日期信息提供单元340可以从外部设备(例如，服务器或基站或无线通信网络)接收当前时间和日期信息。可以用被配置为与外部设备(例如，服务器或基站或无线通信网络)传输信息的无线通信单元(未示出)来实现位置信息提供单元330和时间/日期信息提供单元340。例如，无线通信可以被配置为从外部设备接收GPS信息、移动跟踪信息和/或时间/日期信息，以向AR产生器120提供这些信息。图4示出了图I的AR产生器的说明性实施例的示意框图。参见图4，AR产生器120可以包括与图像捕捉单元110通信的光源信息产生单元410，且其被配置为针对由图像捕捉单元110所捕捉的真实世界图像来产生光源信息(其包括与真实世界光源相对于图像 捕捉单元110的位置有关的信息)。AR产生器120还可以包括AR图像产生单元420，被配置为基于光源信息，产生虚拟对象的虚拟阴影图像的阴影图像，该图像要叠加到真实世界图像上或与其混合。在一个实施例中，AR图像产生单元420可以通过将真实世界图像与虚拟对象图像以及所产生的虚拟阴影图像混合，来产生AR图像。在一个实施例中，光源信息产生单元410可以基于由图像捉单元110捕捉真实世界图像时的位置、时间和日期，来估计真实世界光源的位置(例如，太阳在天空中的位置)。光源信息产生单元410可以至少部分基于由图像捕捉单元110和/或外部设备(例如服务器)提供的位置、时间和日期信息，来确定真实世界图像的位置和/或时间和日期。关于时间和日期确定，在一个实施例中，除真实世界图像之外，光源信息产生单元410还可以从图像捕捉单元110接收与捕捉该真实世界图像时的时间和日期有关的信息。在另一实施例中，光源信息产生单元410可以从安装在AR产生器120中的时钟(未示出)或外部设备(例如服务器)周期性地接收当前时间和日期，并将从图像捕捉单元110接收到真实世界图像时的时间和日期设置为图像捕捉单元110捕捉真实世界图像时的时间和日期。光源信息产生单元410可以基于所确定的图像捕捉单元110捕捉真实世界图像时的位置、时间和日期来估计真实世界光源的位置(例如，太阳在天空中的位置)。可以使用本领域中众所周知的用于计算在规定时间和日期以及在规定位置处的太阳的位置的技术。例如，可以使用美国能源部的国家可再生能源实验室(NREL)所提供的太阳位置算法(SPA)0 可以在 Reda, I. , Andreas, A. , Solar Position Algorithm for Solar RadiationApplications, 55pp. , NREL Report No. TP-560-34302, Revised January 2008 中找到与SPA相关的进一步技术细节，将该文献以全文引用的方式并入本文中。在另一示例中，可以使用由美国商务部的国家海洋和大气管理局提供的太阳位置计算器。AR图像产生单元420可以从图像捕捉单元110接收真实世界图像，并基于接收到的真实世界图像，获得要叠加到接收到的真实世界图像上的虚拟对象。在一个实施例中，AR图像产生单元420可以从虚拟对象池中选择虚拟对象，该虚拟对象池是预先存储在安装到AR产生器120中的存储单元(未示出)中的。在另一实施例中，AR图像产生单元420可以向外部设备(例如服务器)发送接收到的真实世界图像(使得服务器可以从其中存储的虚拟对象池中选择虚拟对象)，并从其接收所选的虚拟对象。下面将参照图5和6来详细解释与虚拟对象选择有关的技术细节。AR图像产生单元420可以从图像捕捉单元110和光源信息产生单元410分别接收姿态信息(例如，图像捕捉单元110的方位和倾斜)和光源信息，并至少部分基于姿态信息和光源信息来产生所选虚拟对象的虚拟阴影图像。AR图像产生单元420可以通过将接收到的真实世界图像与所选虚拟对象的图像以及所产生的虚拟阴影图像叠加，来产生AR图像。下面将参照图5和6来详细解释与虚拟阴影图像和AR图像产生有关的技术细节。图5示出了图4的AR图像产生单元的说明性实施例的示意框图。参见图5，AR图像产生单元420可以包括虚拟对象(VO)对准单元510，被配置为从虚拟对象池(例如，存储在AR产生器120的存储单元中，或存储在与AR产生器120通信的外部设备的存储单元中)中选择虚拟对象，并将所选虚拟对象与图像捕捉单元110捕捉的真实世界图像对准(对准)；阴影图像对准单元520，被配置为基于光源信息产生单元410提供的光源信息，产生所选虚拟对象的阴影图像；以及VO明暗处理(shading)单元530，被配置为对VO的对准图像执行明暗处理操作。 VO对准单元510可以被配置为针对给定真实世界图像，选择恰当的虚拟对象，以及通过采用本领域众所周知的基于标记的选择/对准技术、无标记选择/对准技术、和/或混合选择/对准技术，将所选虚拟对象与给定真实世界图像对准。在采用无标记选择/对准技术之一来选择虚拟对象并将其与给定真实世界图像对准的一个实施例中，VO对准单元510可以被配置为将捕捉到的真实世界图像的至少一部分与一个或多个模板图像(例如，在AR产生器120或外部设备的存储单元中存储的模板图像)进行比较，且如果存在匹配，则选择与匹配的模板图像相对应的虚拟对象，并将其与捕捉到的真实世界图像的匹配部分对准。模板图像可以是用于在真实世界图像中发现要与一个或多个虚拟对象叠加的位置的预定图像(例如，秦朝的兵马俑士兵、标记图像等等)，和/或可以是用于选择要在所发现位置进行叠加的一个或多个恰当虚拟对象的预定图像。在一个实施例中，VO对准单元510可以被配置为发现真实世界图像中与模板图像相同或相似部分(即，发现匹配)，并将与匹配的模板图像相对应的虚拟对象叠加在真实世界图像的识别出的部分处或叠加在其附近。在发现真实世界图像中与模板图像相同或相似的部分中，可以采用各种传统的相似度或差异度量，比如基于距离的相似度度量、基于特征的相似度度量等等。根据具体实现，可以在与虚拟对象相同的存储单元中存储模板图像，或在不同的存储单元中存储。在后续描述中，详细描述了与VO对准单元510选择并对准虚拟对象和产生虚拟对象的虚拟阴影图像有关的技术细节。图6示出了用于基于无标记选择/对准技术来选择并对准虚拟对象以及产生虚拟对象的虚拟阴影图像的说明性实施例。图6示出了场景6，其包括真实世界太阳60、真实世界雕像61、以及由真实世界太阳60投射的真实世界雕像61的真实世界阴影62。图6还示出了图像捕捉单元110，其被设置为捕捉包括真实世界雕像61及其真实世界阴影62在内的真实世界图像。图6所示的参照系xw、yw以及zw和参照系xc、yc和zc分别代表真实世界参照系(例如，用于代表真实世界太阳60在天空中的位置的参照系)和图像捕捉单元110的参照系(即，相机参照系)。例如，AR产生器120中的存储单元可以存储雕像的各种模板图像(例如，包括秦朝的兵马俑士兵的模板图像)以及包括与雕像的描述有关的对应虚拟对象(例如，具有描述“秦朝/兵马俑士兵”的虚拟对象63)。VO对准单元510在接收到由图像捕捉单元110捕捉的真实世界图像时，可以确定在各种存储的模板图像中是否存在与真实世界图像中示出了真实世界雕像61的部分实质相同或相似的模板图像，并选择与匹配的模板图像相对应的虚拟对象(例如,虚拟对象63)。例如，VO对准单元510可以存储列出了多个虚拟对象和对应的模板图像的表，且一旦发现匹配，选择与匹配的模板图像相对应的虚拟对象。在选择要叠加到真实世界图像上的虚拟对象之后，VO对准单元510可以将所选虚拟对象与真实世界图像对准。如本领域众所周知的，对准涉及确定相机参照系(例如，Xe、yc和zc)相对于真实世界参照系(例如，xw、yw和zw)的位置，以及涉及确定虚拟对象相对于相机参照系的位置。在一个实施例中，VO对准单元510可以基于姿态检测单元320提供的姿态信息(即，与图像捕捉单元110相对于真实世界参照系的方位和倾斜有关的信息)，来确定相机参照系。之后，VO对准单元510可以确定所选虚拟对象(例如，虚拟对象63)相对于相机参照系的位置。例如，VO对准单元510可以将虚拟对象63置于接近真实世界雕 像61的位置。用于执行上述对准操作的技术在本领域中是众所周知的，且为了清楚，将不对其进行详细讨论。应当理解，上面解释的虚拟对象选择和对准技术仅用于说明性的目的，且只要适合具体实施例，就可以采用本领域中已知的任意的选择和对准技术。阴影图像对准单元520可以被配置为从光源信息产生单元410接收光源信息，以及基于光源信息产生所选虚拟对象的阴影图像。在一个实施例中，阴影图像对准单元520可以被配置为基于光源信息(例如，包括与真实世界太阳60在天空中的位置或相对于真实世界参照系的位置有关的信息)，确定真实世界光源(例如，真实世界太阳60)相对于相机参照系的位置，以及基于所确定的真实世界光源的位置，产生对准的虚拟对象的虚拟阴影图像(例如，虚拟阴影图像64)。在一个实施例中，阴影图像对准单元520可以将仿真真实世界光源的虚拟光源设置在预定位置，并相对于设置的虚拟光源来呈现虚拟阴影图像。在呈现阴影图像中，阴影图像对准单元520可以包括分别执行本领域众所周知的一个或多个阴影呈现技术的单元。在一个示例中，阴影图像对准单元520可以包括以下至少一项阴影映射单元，被配置为执行阴影映射算法，以呈现阴影图像；阴影体积单元，被配置为执行阴影体积算法，以呈现阴影图像；以及柔和阴影单元，被配置为执行柔和阴影算法，以呈现阴影图像。上述单元执行的阴影呈现操作在本领域中是众所周知的，且本文不进一步讨论。根据上述配置，阴影图像对准单元520可以基于光源信息来产生所选虚拟对象的虚拟阴影图像，使得所产生的阴影图像的大小、形状、方向和强度与由真实世界光源投射的真实世界图像中的阴影在方向、形状和/或大小上一致。这是因为使用虚拟光源来产生虚拟阴影图像，该虚拟光源被建立在与真实世界太阳在天空中的位置或相对于真实世界参照系的位置相对应的位置上。VO明暗处理单元530可以被配置为基于光源信息和姿态信息，对虚拟对象的对准图像执行明暗处理操作，使得虚拟对象的表面的明暗处理(例如，颜色和亮度上的变化)与由于真实世界光源所产生的真实世界图像的明暗处理一致。在执行明暗处理操作中可以采用各种众所周知的明暗处理算法之一。这种明暗处理算法的示例包括(但不限于)Lambert、Gouraud> Phong、Blinn、Oren-Nayar> Cook-Torrance、以及 Ward 各向异性算法。例如，VO明暗处理单元530可以被配置为基于Phong反射模型来执行光照或亮度计算，以产生虚拟对象的顶点处的色彩强度。应当意识到，根据本公开的AR产生器可以执行除了前述操作之外的操作。在一个实施例中，AR产生器可以被配置为考虑与真实世界图像相关的天气信息和/或地理信息。AR产生器(例如，AR产生器的阴影图像对准单元)可以从图像捕捉单元(例如，110)和/或外部设备(例如服务器)接收天气信息和/或地理信息，并基于天气和/或地理信息来产生阴影图像和/或呈现所选虚拟对象的图像。例如，阴影图像对准单元可以针对在晴朗天气下捕捉的真实世界图像，产生更暗且更清晰界定的阴影图像，且针对在多云天气下捕捉到的真实世界图像，产生更亮且模糊的阴影图像。此外，例如，阴影图像对准单元可以针对在郊外区域中捕捉的真实世界图像产生更暗且更清晰界定的阴影图像，且针对在市中心区域中捕捉到的真实世界图像，产生更亮且模糊的阴影图像。多云天气中的云彩和市中心区域的高层建筑物可以使得来自太阳的光线散射，从而避免投射出清晰界定的黑暗阴影。阴影图像对准单元还可以在虚拟对象的对准图像执行明暗处理操作中，考虑天气信息和/或地理信息。此外，可以存在通过用户或某种其他手段来改变图像捕捉单元的姿态(且从而改 变视点)的实例。在一个实施例中，AR产生器可跟踪图像捕捉单元(例如110)的姿态上的这种改变，并重新对准已对准的虚拟对象(例如，更新在相机参照系(例如，xc、yc和zc)以及真实世界参照系(例如，XW, yw和zw)之间的关系)。AR产生器的阴影图像对准单元(例如，520)可以基于重新对准来产生新的虚拟阴影图像。在一个实施例中，AR产生器的VO对准单元(例如510)可以通过采用本领域中众所周知的基于标记的跟踪技术、无标记跟踪技术、和/或混合跟踪技术来执行跟踪。在另一实施例中，VO对准单元可以通过从安装在图像捕捉单元中的姿态检测单元(例如320)周期性地接收姿态信息更新，来执行跟踪。如上所述，AR产生器可以包括存储单元(未示出)，被配置为存储一个或多个虚拟对象的数据。在一个实施例中，存储单元可以针对每个虚拟对象，存储与虚拟对象的形状和/或纹理有关的数据。在一个实施例中，存储单元可以存储能够处理(例如，对准、明暗处理或呈现)各种类型的图像的各种类型的数据和程序。存储单元可以包括任何类型的计算机可读介质，比如半导体介质、磁介质、光介质、磁带、硬盘等等。此外，如果需要和/或当需要时(例如，当变满时)，存储单元可以是允许替换的可拆卸式存储器。可以用各种方式来实现结合图I至6所示的AR系统100。在一个实施例中，可以将图像捕捉单元110实现为无线通信终端，且可以将AR产生器120实现为与该无线通信终端通信的远程设备(例如，远离图像捕捉单元110的服务器)。在另一实施例中，可以将图I所显示的全部或一些单元实现为具有无线通信功能的单一计算设备(例如，可以将图像捕捉单元110、AR产生器120和可选的显示单元130布置在单一外壳中)。这种计算设备的示例包括(但不限于)移动电话、移动工作站和可穿戴式个人计算机(PC)、平板PC、超移动PC(UMPC)、个人数字助理(PDA)、具有无线通信功能的平视显示器或头戴式显示器、以及智能电话。图7A至7C示出了 AR系统的另一说明性实施例的示意图。图7A是AR移动电话的框图。图7B和7C是该AR移动电话的前视图和后视图。参见图7A至7C，AR移动电话700可以包括无线通信单元710，被配置为与一个或多个无线接入网实体(未示出)进行无线通信，以及从其接收与AR移动电话700的时间、日期和/或位置有关的信息；相机单元720，被配置为捕捉真实世界场景的图像(即，真实世界图像)；姿态检测单元730，被配置为检测相机单元720的方位和倾斜；存储单元740，被配置为存储一个或多个虚拟对象的数据；AR产生器750，被配置为通过将捕捉到的真实世界图像与虚拟对象的图像和虚拟对象阴影图像叠加来产生AR图像；以及显示单元760，被配置为显示所产生的AR图像。相机单元720、姿态检测单元730、存储单元740、AR产生器750和显示单元760的结构配置和功能分别类似于在图I至6中描述的图像捕捉单元110的相机单元310、图像捕捉单元110的姿态检测单元320、存储单元、AR产生器120和显示单元130。为了简单起见，不进一步解释与单元720至760有关的细节。无线通信单元710可以执行由图像捕捉单元110的位置信息提供单元330和时间 /日期信息提供单元340所执行的至少一些操作。在一个实施例中，无线通信单元710可以包括天线或一个或多个无线通信模块(未示出)，其分别适于根据本领域中众所周知的任何合适的无线通信协议来进行通信。这种无线通信协议的示例包括(但不限于)无线广域网(WffAN)协议(例如，W-CDMA、CDMA2000)、无线局域网(WLAN)协议(例如，IEEE 802. Ila/b/g/n)、无线个域网(WPAN)协议、以及全球定位系统(GPS)协议。在一个实施例中，无线通信单元710可以从一个或多个无线通信网络实体(例如，基站、服务器、或卫星)接收与AR移动电话700的位置有关的信息(即，位置信息)。在一个实施例中，该位置信息可以指示AR移动电话700所处的精确坐标(B卩，纬度和经度)或坐标范围。在另一实施例中，位置信息可以包括可以由AR移动电话700或其他设备(例如，基站或其他无线网络实体)用来确定AR移动电话700所处的精确坐标或坐标范围的信息。作为非限制性示例，这种位置信息可以包括来自GPS网络的多个GPS卫星的GPS信号、来自W-CDMA网络的基站的用于识别AR移动电话700所处的具体小区的小区信息、和/或来自外部服务器的指定AR移动电话700的精确坐标的信息。在一个实施例中，无线通信单元710可以从一个或多个无线通信网络实体(例如，基站、服务器、或卫星)接收与当前时间和日期有关的信息。在另一实施例中，取代无线通信单元710接收时间和日期信息，AR移动电话700可以内部包括单独的时钟单元(未示出)，且跟踪当前时间和日期。此外，在其他实施例中，无线通信单元710可以从一个或多个外部服务器(例如，天气信息服务器和/或地理信息系统(GIS)服务器)接收天气信息和/或地理信息。天气信息可以指示在AR移动电话700的位置处的天气。地理信息可以指示AR移动电话700是位于城区还是位于郊区。图8示出了用于产生AR图像的说明性实施例的示例流程图。参见图8，AR系统的无线通信单元从一个或多个无线网络实体接收位置信息(步骤805)。在一个实施例中，无线通信单元可以从一个或多个GPS卫星接收作为位置信息的GPS信号。在另一实施例中，无线通信单元可以从与图像捕捉单元通信的基站接收作为位置信息的小区信息。在另一实施例中，无线通信单元可以向外部设备发送图像捕捉单元的标识信息，并作为响应，从外部设备接收作为位置信息的图像捕捉单元的位置。此外，无线通信单元可以从其接收时间和日期信息(块810)。在块815中，AR系统中包括的设备(例如，图像捕捉单元)捕捉真实世界(RW)图像。在块820中，AR系统的光源信息产生单元基于捕捉真实世界图像时的位置、时间和日期，针对所捕捉的真实世界图像，产生光源信息(包括与真实世界图像的真实世界光源的位置有关的信息)。在一个实施例中，光源信息产生单元可以基于GPS信号来确定捕捉真实世界图像时的位置。在另一实施例中，光源信息产生单元可以基于小区信息来确定捕捉真实世界图像时的位置。在又一实施例中，光源信息产生单元可以将作为响应从外部设备接收到的图像捕捉单元的位置作为捕捉真实世界图像时的位置。无线通信单元可以从外部设备接收天气信息和/或地理信息(块825)。此外，AR系统的姿态检测单元检测并产生指示图像捕捉单元的方位和倾斜的姿态信息(块830)。在块835中，AR系统的VO对准单元选择虚拟对象(VO)，并将其与真实世界图像对准，以及在块840中，AR系统的阴影图像对准单元基于光源信息、姿态信息、天气信息和/或地理信息中至少一项，产生所选VO的阴影图像。在块845中，AR系统的AR图像产生单元通过将捕捉到的真实世界图像与虚拟对象的图像及其阴影图像叠加，来产生AR图像。应当意识到，结合图I至8所述的AR系统100及其单元的结构和功能配置指示了可以实现AR系统100的一些方式。在一些其他实施例中，可以在远程位置的一个或多个其他设备中实现AR系统100的一些单元或功能。例如，在联网环境下，根据所需实现方式，可 以通过2个或更多设备，将AR系统100的部分或全部组件实现为分布式系统。AR系统100可以使用到一个或多个远程设备(远程计算机)的逻辑连接，在联网环境下工作。远程计算机可以是个人计算机、服务器、手持或膝上型设备、路由器、网络PC、对等设备、或其他常见网络节点，且通常可以包括本公开中关于AR系统100描述的一些或全部组件。在一个分布式网络实施例中，可以在与AR系统100通信的单独AR设备(例如，AR服务器)上实现AR系统100的光源信息产生单元410的全部或一些功能。在上述实施例的一个示例中，AR系统100可以是具有数字相机的移动电话，且可以向AR服务器发送其标识信息(例如，其电话号码等)，使得AR服务器可以基于标识信息找到AR系统100的位置。作为非限制性示例，AR服务器可以包括移动电话跟踪单元，其利用一个或多个已知的移动电话跟踪算法(例如，三角测量算法)发现AR系统100的位置。备选地，AR服务器可以向提供了移动电话跟踪功能的另一无线网络实体转发该标识信息。然后AR服务器可以从该无线网络实体接收移动电话的位置。取决于具体实现方式，AR服务器可以基于移动电话的位置来估计真实世界光源(例如，太阳)相对于移动电话的位置，并产生光源信息。在上述实现方式中，AR服务器可以从移动电话接收用于估计真实世界光源的位置的时间和日期信息，或备选地，AR服务器可以包括跟踪当前时间和日期的时钟单元。在上述实施例的另一示例中，AR系统100可以是具有数字相机和GPS功能的移动电话，且可以向AR服务器发送唯一识别其本身的信息(例如，其电话号码等)及其位置，使得AR服务器可以基于接收到的位置信息来估计真实世界光源相对于移动电话的位置。在另一分布式网络实施例中，可以在与AR系统100通信的单独AR设备(例如，AR服务器)中实现AR系统100的全部或一些图像处理功能(例如，VO对准单元510、阴影图像对准单元520和/或VO明暗处理单元530的功能)。在上述实施例的一个示例中，AR系统100可以是具有数字相机的移动电话，且可以向AR服务器发送由数字相机捕捉的真实图像，使得AR服务器可以从多个预先存储的虚拟对象中选择虚拟对象，产生所选虚拟对象的阴影图像，和/或产生包括所选虚拟对象及其阴影图像在内的增强现实图像。在另一分布式网络实施例中，可以在单独的AR设备中实现AR系统100的VO对准单元510、光源信息产生单元410、阴影图像对准单元520和/或VO明暗处理530的全部或一些功能。本领域技术人员将容易地把本公开中公开的主题应用于实现针对特定应用的特定实现方式。可以在各种应用中使用根据本公开准备的AR系统，比如广告、导航、军事服务以及娱乐等等。本领域技术人员将意识到，针对本文公开的这些和其他过程和方法，可以按不同顺序来实现在过程和方法中执行的功能。此外，所概述的步骤和操作仅作为示例提供，且一些步骤和操作是可选的，可以结合为较少的步骤和操作，或扩展为附加步骤和操作，而不脱离所公开实施例的本质。应当理解，可以用包括硬件、软件、固件、特殊用途处理器或其组合在内的各种形式来实现根据本公开的说明性实施例的装置和方法。例如，可以将本公开的一个或多个示例实施例实现为具有程序或其他合适的计算机可执行指令的应用程序，其在至少一个计算机可读介质上实际体现，比如程序存储设备(例如，硬盘、磁软盘、RAM、ROM、⑶-ROM等)，且可由包括计算机和计算机系统在内的具有合适配置的任何设备或机器来执行 。一般而言，可以具有程序模块形式的计算机可执行指令包括例程、程序、对象、组件、数据结构等，其执行特定任务或实现特定抽象数据类型。在各种实施例中，可以根据需要将程序模块的功能加以结合或分布。还应当理解，由于可以用软件来实现附图所示的一些构成系统组件和过程操作，在系统单元/模块之间的连接(或方法操作的逻辑流)可以根据编程本公开的各种实施例所用的方式而不同。本公开不限于在本申请中描述的具体实施例，这些具体实施例意在说明不同方案。本领域技术人员清楚，不脱离本公开的精神和范围，可以做出许多修改和变型。本领域技术人员根据之前的描述，除了在此所列举的方法和装置之外，还可以想到本公开范围内功能上等价的其他方法和装置。这种修改和变型应落在所附权利要求的范围内。本公开应当仅由所附权利要求的术语及其等价描述的整个范围来限定。应当理解，本公开不限于具体方法、试剂、化合物组成或生物系统，这些都是可以改变的。还应理解，这里所使用的术语仅用于描述具体示例的目的，而不应被认为是限制性的。至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。另外，在以马库什组描述本公开的特征或方案的情况下，本领域技术人员应认识至IJ，本公开由此也是以该马库什组中的任意单独成员或成员子组来描述的。 本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，这里公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，在此所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有I 3个单元的组是指具有1、2或3个单元的组。类似地,具有I 5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。尽管已经在此公开了多个方案和实施例，但是本领域技术人员应当明白其他方案和实施例。这里所公开的多个方案和实施例是出于说明性的目的，而不是限制性的，本公开的真实范围和精神由所附权利要求表征。
权利要求
1.ー种增强现实系统，包括 图像捕捉単元，被配置为捕捉真实世界图像；以及 增强现实AR产生器，包括 与所述图像捕捉単元通信的光源信息产生单元，被配置为基于捕捉所述真实世界图像时的位置、时间和日期中的至少ー项，产生由所述图像捕捉単元捕捉的所述真实世界图像的光源信息，所述光源信息包括与真实世界光源相对于所述图像捕捉単元的位置有关的信息；以及 AR图像产生単元，被配置为基于所产生的光源信息来产生虚拟对象的阴影图像，以及将所述虚拟对象和所述阴影图像叠加到所述真实世界图像上。
2.根据权利要求I所述的系统，其中，所述图像捕捉单元还包括姿态检测単元，被配置为测量所述图像捕捉単元的方位和傾斜。
3.根据权利要求2所述的系统，其中，所述AR图像产生単元包括 虚拟对象对准单元，被配置为基于所测量的所述图像捕捉単元的方位和倾斜来确定所述图像捕捉単元的參照系，以及确定所述虚拟对象相对于所述參照系的位置。
4.根据权利要求3所述的系统，其中，所述虚拟对象对准单元还被配置为执行基于标记的选择/对准技术、无标记选择/对准技术、或混合选择/对准技木，以确定所述虚拟对象相对于所述參照系的位置。
5.根据权利要求3所述的系统，其中，所述AR图像产生单元还包括 阴影图像对准单元，被配置为基于所述光源信息确定所述真实世界光源相对于所述參照系的位置，以及基于所确定的所述真实世界光源的位置产生所述虚拟对象的阴影图像。
6.根据权利要求5所述的系统，其中，所述阴影图像对准单元还被配置为在所述真实世界光源的位置处设置仿真所述真实世界光源的虚拟光源，以及相对于所设置的虚拟光源呈现所述阴影图像。
7.根据权利要求6所述的系统，其中，所述阴影图像对准単元至少包括 阴影映射単元，被配置为执行阴影映射算法，以呈现所述阴影图像， 阴影体积单元，被配置为执行阴影体积算法，以呈现所述阴影图像，或 柔和阴影单元，被配置为执行柔和阴影算法，以呈现所述阴影图像。
8.根据权利要求6所述的系统，其中， 所述姿态检测单元被配置为提供与所述图像捕捉単元的方位和倾斜有关的更新；以及 所述阴影图像对准単元被配置为基于所述更新，产生新的阴影图像。
9.根据权利要求6所述的系统，其中，所述阴影图像对准单元还被配置为从与所述AR系统通信的服务器接收针对所述真实世界图像的天气信息和地理信息中的至少ー项，以及至少基于针对所述真实世界图像的所述天气信息或所述地理信息来设置所述虚拟光源。
10.根据权利要求9所述的系统，其中，所述阴影图像对准单元还被配置为基于针对所述真实世界图像的所述天气信息和所述地理信息中的至少ー项，确定所述虚拟光源的强度。
11.根据权利要求I所述的系统，其中，所述图像捕捉单元还包括无线通信単元，被配置为与基站通信以及从基站接收小区信息，以及，所述光源信息产生单元还被配置为基于所接收的小区信息，确定所述图像捕捉単元的位置。
12.根据权利要求I所述的系统，其中，所述光源信息产生单元还被配置为向与所述AR系统通信的服务器发送所述图像捕捉単元的标识ID信息，以及作为响应从所述服务器接收所述图像捕捉単元的位置。
13.一种用于提供增强现实的方法，所述方法包括 捕捉真实世界图像； 确定捕捉所述真实世界图像时的位置、时间和日期中的至少ー项； 基于捕捉所述真实世界图像时的位置、时间和日期中的至少ー项，产生所捕捉的真实世界图像的光源信息，所述光源信息包括与所述真实世界图像的真实世界光源的位置有关的信息；以及 基于光源信息，产生叠加到所述真实世界图像上的虚拟对象的阴影图像。
14.根据权利要求13所述的方法，其中，确定捕捉所述真实单词图像时的位置包括 通过从与捕捉所述真实单词图像的设备进行无线通信的ー个或多个GPS卫星接收GPS信号，确定所述设备的位置以及 基于所述GPS信号，确定捕捉所述真实世界图像时的位置。
15.根据权利要求13所述的方法，其中，确定捕捉所述真实单词图像时的位置包括 通过从与捕捉所述真实单词图像的设备进行无线通信的基站接收小区信息，确定所述设备的位置以及 基于所接收的小区信息，确定捕捉所述真实世界图像时的位置。
16.根据权利要求13所述的方法，其中，确定捕捉所述真实单词图像时的位置包括 通过向与捕捉所述真实世界图像的设备进行无线通信的服务器发送识别所述设备的标识ID信息，确定所述设备的位置 从所述服务器接收所述设备的位置；以及 基于所述设备的位置，确定捕捉所述真实世界图像时的位置。
17.根据权利要求13所述的方法，其中，产生光源信息包括測量捕捉所述真实世界图像的设备的方位和傾斜。
18.根据权利要求17所述的方法，其中，产生阴影图像包括 基于所测量的捕捉所述真实世界图像的所述设备的方位和倾斜，确定捕捉所述真实世界图像的所述设备的參照系； 确定所述虚拟对象相对于所述參照系的位置； 基于所述光源信息，确定所述真实世界光源相对于所述參照系的位置；以及 基于所确定的所述真实世界光源的位置，产生所述虚拟对象的阴影图像。
19.根据权利要求18所述的方法，其中，基于所确定的所述真实世界光源的位置产生所述虚拟对象的阴影图像包括 在所述真实世界光源的位置处，设置仿真所述真实世界光源的虚拟光源；以及 相对于所设置的虚拟光源，呈现所述阴影图像。
20.根据权利要求13所述的方法，其中，产生光源信息包括 从与捕捉所述真实世界图像的设备进行无线通信的服务器接收针对所述真实世界图像的天气信息和地理信息中至少ー项；以及至少基于所述天气信息或所述地理信息，产生所 述阴影图像。
全文摘要
本发明提供了涉及增强现实(AR)设备的装置和技术。用于增强真实世界图像的设备包括光源信息产生单元，针对由真实世界图像捕捉设备所捕捉的真实世界图像，基于捕捉真实世界图像的位置、时间以及日期，产生光源信息。光源信息包括与真实世界图像的真实世界光源的位置有关的信息。该设备还包括阴影图像对准单元，接收从光源信息产生单元产生的光源信息。阴影图像对准单元基于从光源信息产生单元产生的光源信息，产生覆盖到真实世界图像上的虚拟对象的阴影图像。
文档编号G06T15/60GK102696057SQ201080059556
公开日2012年9月26日 申请日期2010年12月21日 优先权日2010年3月25日
发明者尹钟敏, 洪钟哲, 郑浩钟, 金宰亨 申请人:比兹摩德莱恩有限公司