专利名称：用于高分辨率纹理提取的投影图样的制作方法
用于高分辨率纹理提取的投影图样
背景技术：
除非本文中另行指出，否则在本部分中描述的材料不是本申请中权利要求的现有技术，并且不由于包括在本部分中而被承认为现有技术。从视觉检查到自主导航的各种应用识别图像中的对象，并计算其在三维场景中的姿势。很多这种应用采用了预先存储的对象模型，以用于精确检测。当要在没有先前信息的情况下检测对象时，任务变得更加复杂。具有纹理表面的对象致使对象识别任务甚至更加复杂。增强现实(AR，Augmented Reality)指代物理(真实)世界环境的视图，其要素被虚拟的、通常由计算机产生的影像所增强，由此创建混合的真实。增强通常可以是实时的，并且在具有环境要素的上下文(例如，体育事件、训练练习、游戏等)中。AR技术通过添加 对象识别和图像产生使得与人的周围真实世界有关的信息变得可交互，并且可数字形式地使用。可以存储与环境和对象有关的人工信息，并且可以检索该信息作为与真实世界视图层分离的信息层。可以将纹理提取用于AR，以允许对真实世界对象的更逼真的融合或识别。对于纹理提取，有时使用投影图样来确定对象的三维形状。这些图样通常被称为“结构光”，并且可以有助于提取对象的特征(例如，脸、铸件(casting)等)的三维形状。在纹理处理之前，常规的系统通常关闭或者以其他方式去除任何投影图像，有时移除(或者消除)完整的三维栅格。然后，就像在没有投影图样的情况下一样，通过对目标的图像中的像素进行空间/频率分析来计算纹理。本公开意识到，AR系统中的纹理提取有众多的限制。例如，在检测设备(例如，摄像机)的分辨率能力以下的纹理不可以使用常规技术来提取。
发明内容
本公开描述了能够进行高分辨率纹理提取的增强现实(AR)场景捕捉系统。根据一些示例，该系统可以包括投影仪，用于将一个或多个细线图样投影到要捕捉的三维目标上；摄像机，用于捕捉具有投影图样的对象的图像；以及处理器。处理器可以确定目标的纹理部分，记录目标的纹理部分上的局部莫尔图样间隔，并调整投影图样的一个或多个属性，以使得投影图样与目标的纹理部分大致匹配。本公开还提供了用于增强现实(AR)场景捕捉系统中的高分辨率纹理提取的方法。根据一些示例，该方法可以包括确定要捕捉的三维目标的纹理部分，提取目标的纹理部分的三维形状，以及将两个细线图样投影到目标的纹理部分上。根据其他示例，该方法还可以包括记录目标的纹理部分上的局部莫尔图样图像，在所记录的图像中选择间隔是清晰的两个或更多莫尔图样，以及确定图样角度和空间频率。本公开还描述了一种计算机可读存储介质，其上存储有用于增强现实“AR”场景捕捉系统中的高分辨率纹理提取的指令。根据一些示例，方法可以包括确定要捕捉的三维目标的纹理部分，提取目标的纹理部分的三维形状，将两个细线图样投影到目标的纹理部分上，记录目标的纹理部分上的局部莫尔图样图像，以及在所记录的图像中选择间隔是清晰的两个或更多莫尔图样。根据其他示例，该方法还可以包括确定图样角度和空间频率，使所投影的两个细线图样彼此相对旋转，以及迭代产生在更精细的细节上与目标的纹理部分的纹理相匹配的新投影图像，并在每次迭代确定新图样角度和空间频率，直到获得预定义的图样知识。以上发明内容仅仅是说明性的，而绝不是限制性的。除了上述示例性的各方案、各实施例和各特征之外，参照附图和以下详细说明，将清楚其他方案、其他实施例和其他特征。
根据以下说明和所附权利要求，结合附图，本公开的前述和其他特征将更加清楚。在认识到这些附图仅仅示出了根据本公开的一些示例且因此不应被认为是限制本公开范围的前提下，通过使用附图以额外的特征和细节来详细描述本公开，附图中图I示意了示例增强现实(AR)系统，其中，可以将投影图样用于高分辨率纹理提 取；图2示意了用于高分辨率纹理提取的示例图样投影和捕捉系统；图3示意了用于高分辨率纹理提取的另一示例图样投影和捕捉系统；图4示意了如何采用某个角度的类似的线的两个集合并旋转线集合来辨别低于摄像机分辨率的图样；图5示意了对于高分辨率纹理提取的几何方案，该几何方案采用由平行并等距的线组成的两个重叠的图样；图6示意了通用计算设备，该通用计算设备可以用于采用投影图样来提取高分辨率纹理信息；图7示意了处理器，可以使用该处理器提取采用投影图样的高分辨率纹理信息；图8是示意用于纹理提取的示例方法的流程图，可以由诸如图6中的计算机600或图7中的专用处理器710之类的计算设备来执行该示例方法；以及图9不意了不例计算机程序广品的框图；以上都是根据本文中描述的至少一些实施例来布置的。
具体实施例方式在以下详细描述中，参考形成了详细描述的一部分的附图。在附图中，除非上下文另行指出，否则类似的符号一般识别类似的组件。在详细描述、附图和权利要求中描述的说明性实施例不意味着是限制性的。在不脱离本文呈现的主题的精神或范围的情况下，可以采用其它实施例，且可以进行其他改变。将容易理解，可以用广泛不同的各种配置来排列、替换、组合、分离和设计如本文一般性描述的且在附图中示出的本公开的各个方面，所有这些配置都是本文可显式预期的。其中，本公开一般涉及与通过操控(manipulate)投影图样来增强(enhance)用于增强现实的纹理提取有关的方法、装置、系统、设备和计算机程序产品。简而言之，可以通过操控投影图样来增强AR系统中基于摄像机的纹理提取。根据一些示例，可以投影细线图样，测量莫尔干涉(Moii^interference)图样，以及调整投影图样的不同属性，直到莫尔干涉图样测量指示正在投影与三维目标的纹理图样相类似的纹理图样。由此，即使在子像素分辨率时也可以更接近地匹配目标纹理。图I描述了根据本文中描述的至少一些实施例布置的示例增强现实(AR)系统，其中，可以采用投影图样进行高分辨率纹理提取。AR探索实况视频流中计算机产生的影像的应用，以扩展真实世界呈现。根据本公开布置的示例AR系统可以处于包含多个传感器和致动器在内的受控环境中，可以包括适于处理真实的计算机产生的影像的一个或多个计算设备，并且可以包括视觉化系统，例如安装在头部的显示器、虚拟视网膜显示器、监视器或类似的常规显示器以及同等的设备。示例AR系统100包括用于捕捉真实场景(对象)102的实况图像的图像传感器140-1，以及用于跟踪对象的位置和/或运动的跟踪传感器104-2。图像传感器104-1可以是数字摄像机、网络摄像机(webcam)或者一些其他的图像捕捉设备。跟踪传感器104_2可以包括在无源传感网络中布置的多个接收设备，以通过网络的频率、带宽和空间分集来增强跟踪性能。接收设备(例如，一个或多个RF接收机)可适于采用来自相邻信号源的通信 信号(例如，如RF信号的电磁波)，相邻信号源例如是通信塔(例如，蜂窝电话通信塔)或通信基站。跟踪传感器104-2可以位于不同的位置，并且可以通信地耦合到集中式计算系统或分布式计算系统，以形成协作网络(collaborative network)。可以将所捕捉的图像提供给图像处理子系统106，图像处理子系统106可适于执行将图像数字化为数字图像、接收数字图像和/或处理数字图像中的一项或多项。处理数字图像可以包括以下一项或多项确定图像中的特征点的位置，计算仿射(affine)投影，跟踪边缘，滤波，和/或类似的操作。可以将图像处理子系统106配置为向现实引擎110提供投影信息，例如，上述操作的一个或多个结果。可以将跟踪传感器104-2配置为向现实引擎110提供与真实场景102中的感兴趣的对象相关联的位置和/或运动信息。现实引擎110可适于执行图形处理，以基于所捕捉的图像来呈现场景，所捕捉的图像合并了来自跟踪传感器104-2的位置和/或运动信息。图像产生器108可适于接收来自图像传感器104-1的参考图像以及与虚拟对象相关联的图像数据，并适于利用与虚拟对象相关联的图像数据来覆盖所捕捉的真实场景图像，以提供增强场景114。显示器112可以是在AR系统100中采用的视觉化机制的一个示例。也可以使用多种其他的显示器类型来向用户呈现AR影像，例如，投影仪、可佩带的显示
吳坐可以由一个或多个计算设备上的单独应用、一个或多个集成应用、一种或多个集中服务或者一个或多个分布式服务来执行对AR系统100的至少一些组件(例如，图像处理子系统106、现实引擎110、图像产生器108和/或显示器112)的处理。每个计算设备可以是通用计算设备或专用计算设备，其可以是独立的计算机、联网的计算机系统、通用处理单元(例如，微处理器、微控制器、数字信号处理器或DSP等)或者专用处理单元。如果在不同的计算设备上执行，AR系统100的各个组件可适于在一个或多个网络上通信。图2示意了根据本文中描述的至少一些实施例布置的，用于高分辨率纹理提取的示例图样投影和捕捉系统。三维特征提取系统通常包括图示200中示出的摄像机226、投影仪224和图像处理能力(图样识别程序228)。
根据至少一些实施例的系统可以采用这些组件来将图样投影到对象220的细纹理表面222上，以通过操控投影图样来增强纹理的可视性。投影仪224可以将细线图样投影到纹理表面222上。摄像机226可以捕捉具有投影图样的纹理表面222的图像。图样识别程序228可以测量莫尔干涉图样，并调整投影图样的不同属性，直到莫尔干涉图样测量指示正在投影与三维目标(对象220)的纹理图样相类似的纹理图样。根据至少一些实施例，可以采用移动设备或者类似的机制来移动投影仪224，以调整投影图样的特征，例如，定向的角度、投影线的宽度、对表面着色(coloration)或三维特征的补偿、以及类似的特征。可以使用莫尔干涉图样图像中所产生的改变来提取子像素纹理图样的间隔(Pitch)和定向，以增强所获得的纹理信息。通过修改图样，还可以顺序提取空间变化的纹理。除了子分辨率图样，还可以采用根据实施例的系统来分析可变光照条件或复杂几何结构下的纹理。在一些示例实现中，投影仪224和摄像机226可被集成或安装在图示200中示出的相同平台上(例如，手持设备、车载设备)。
图3示意了根据本文中描述的至少一些实施例布置的用于高分辨率纹理提取的另一示例图样投影和捕捉系统。用于图示300中描述的AR环境的高分辨率纹理提取的系统的主要组件可以与图2的图示200中的类似编号的组件相类似地配置，并且可以类似地执行任务。与图2不同，在图示300的系统中，投影仪324和摄像机326是独立的。从而，摄像机可以从固定的视角来捕捉纹理表面222的图像，而移动投影仪324来调整投影图样的属性，例如，线的定向。根据一些示例实现，图样识别程序328可以自动控制投影仪324的移动。根据实施例的系统所进行的纹理提取可以以从三维特征计算中提取对三维纹理的粗略估计而开始。根据其他示例，可以假设表面是相对平坦的。备选地，可以对投影进行三维校正，以使得可以以摄像机的视角来执行计算，就好像表面是近似平坦的。投影与纹理的间距不同的线导致高频视觉分量(可以是子像素分辨率)以及低频视觉分量(可以位于两个图样的空间频率之差的一半的空间频率处)。例如，如果灯芯绒面料(corduroy fabric)的表面具有大约2mm的间距(大约δαιΓ1的空间频率)以及所投影的图样具有间隔大约为3_的线(大约3. 3cm-1的空间频率)，对齐状态下的虚拟图样可以以大约0. 85cm-1或大约I. 17cm的间距显现，该尺寸更容易用摄像机看。然后，该虚拟图样可以按照提供更多相等而非未知以使得可以提取真实的纹理间距和角度的方式，随着旋转而改变。图4示意了如何通过以下方式辨别低于摄像机分辨率的图样采用处于某个角度的类似的线的两个集合或者线的一个集合加上某一材料的纹理，并旋转根据本文中描述的至少一些实施例所布置的线集合。典型的莫尔图样由平行线(以近似的相似宽度)的阵列构成。该图样与子像素级别的纹理单元相互作用，创建出莫尔干涉图样。通过使图样倾斜(位移以及旋转)，可以确定子分辨率纹理的对齐、间距和/或形状。图示400包括一个示例,在该示例中，参照对象纹理上的图样,将由平行线组成的已投影的第一图样430旋转为第二图样432，以增强纹理提取。两个图样都具有线之间的距离P。第二图样432旋转了角度a。从远处可以看到黑色的栅栏状的线(435、434)。栅栏状的线434与节点的线(亦即，穿过两个图样430和432的交叉点的线)相对应。假设由交叉图样形成的“网”的每个单元格440是四边等于d = p/sin α的平行四边形。每个单元格包括具有斜边d和与角度a相对的侧边P的直角三角形。应该注意到，这种图样产生是在改变间隔的效果之外的，并且可以将两种方案一起使用来产生展现出下面讨论的更小图样的图样。某个角度的类似的线的集合创建出其特征大于任一个图样的虚拟图样。如果一个图样是表面纹理而另一个图样是投影图样，则投影使得可以辨别可低于摄像机的分辨率的图样。虚拟图样在投影的旋转期间改变，以使得可以提取真实的表面图样。如果真实的表面图样不是由直线形成的，则图样可以在不同的时间在不同的区域中改变，并且这可以用来提取每个区域中的图样的定向和间隔。栅栏状的线434对应于菱形的短对角线。当该对角线是相邻侧边的二等分线时，栅栏状的线具有等于a/2的角度，并且垂直于每个图样的线。此外，两根栅栏状的线之间的间距是D，D等于长对角线的一半。长对角线2D是直角三角形的斜边，并且直角三角形的侧边是d · (1+cos a )和p。使用勾股定理[1] (2D)2 = d2 · (l+COSa)2+p2，可以将其转换为[2] (2D)2 = 2p2 · (1+cos a ) /sin2 a ·其中，a非常小(a < p/6),可以进行两个近似sin a ~ a以及cos a ~1。从而[3]D = p/a，其中，a以弧度计。当a变得越小(图样旋转越小)时，栅栏状的线434变为隔得越远。当图样430和432平行时(S卩，a =0)，栅栏状的线之间的间距变成无限大(S卩，不存在栅栏状的线)。即使实际的纹理和莫尔图样可以是不可分辨的灰色，分辨率低于纹理的摄像机也可以识别线(暗的和亮的)。可以使用两种不同的技术来确定a :通过对栅栏状的线434的定向，以及通过其间距U =p/D)。如果测量了角度，最终的误差可以与测量误差成比例。如果测量了间距，最终的误差可以与间距的倒数成比例。从而，对于较小的角度，测量间距可产生更精确的结果。此外，通过改变投影线的频率和/或角度，可以获得虚拟图样的多个集合。当两个图样是上述的高频虚拟图样和低频虚拟图样时，需要该两个图样来确实地提取底层纹理尺寸。图5示意了根据本文中描述的至少一些实施例所布置的针对高分辨率纹理提取的几何方案，该几何方案采用由平行并等距的线组成的两个重叠的图样。根据一些实施例，可以在纹理提取中采用几何方案。图示500示意了由平行并等距的线形成的两个图样542和544。第一图样544的线以P隔开，以及第二图样542的线以p+δ P隔开，其中，δ取O到I之间的值。如果图样的线在图的左边部分重叠，当向右运动时，线之间的移位增加。在多根线之后，图样相对(即，第二图样542的线在第一图样544的线之间)。从远处看，当线重叠时，栅栏状区域变得可见(线之间的白色区域)，以及当线“相对”时，暗区域变得可见。当移位等于Ρ/2时，第一暗区域的中间出现。与第一图样的第η根线相比，第二图样542的第η根线移位η · δρ。从而，第一暗区域的中间对应于[4]η · δ P = p/2,由此可以将η表达为[5] n = p/ (2 δ ρ)。然后，可以将栅栏状区域和暗区域的中间之间的距离d表达为
[6] d = η · ρ = ρ2/ (2 δ ρ)。从而，可以将两个暗区域的中间之间的距离(其也是两个栅栏状区域之间的距离)表达为[7] 2d = ρ2/ ( δ ρ)。从公式[7]，可以推出线之间的间隔越大，则栅栏状区域和暗区域之间的距离越大，以及偏差S ρ越大，暗区域和栅栏状区域越接近。暗区域和栅栏状区域之间的间距大意味着图样的线距非常接近。当P = Ρ/2时，获得没有对比度的均匀灰色的图。根据其他实施例,还可以使用干涉测量(interferometric)方案。对于干涉测量方案，可以考虑对比度为I (根据正弦定律改变)的两个透明图样Ml1(X) = I0 · sin (2 π k^) [9] I2 (X) = I0 · sin (2 π k2x)，其中图样的线之间的距离分别是P1 = IA1和P2 = IA20当图样重叠时，可以将所产生的强度(或干涉)表达为[10] I (X) =Ι(|· [sin (2 π Ic1X)+sin (2 π Ic1X)]。使用欧拉公式，可以将干涉表达为[11] I (X) = I0 · 2cos (2 π X (k「k2)/2) · sin (2 π χ (1^+1 )/2。所产生的强度包括高“空间频率”(波数)的正弦波和低空间频率的正弦波，该高“空间频率”是两个图样的空间频率的平均，该低空间频率是两个图样的空间频率之差的一半。第二分量是第一正弦波的“包络”。该分量的波长是空间频率的倒数[12] I/λ = (krk2) /2 · (l/prl/p2)/20如果将P1和P2写成δ ρ形式，即P1 = ρ和ρ2 = ρ+ δ ρ,则可以将波长表达为[13] λ = 2 · P1P2/(P2-P1) ^ ρ2/2 δ ρ。该包络的零值之间的距离间隔1/2，以及幅度的最大值也间隔1/2。从而，在偏差为Ρ/2的情况(这是与针对第一图样和第二图样考虑的参考相联系的不确定性)下，可以获得与几何方案相同的结果。当S ρ << ρ时，该偏差变得可忽略不计。从而，对于这三个不同的方案，角度数据不是必需的(例如，已知目标具有垂直的线)。可以采用投影图像来作为图样之一。图6描述了一种通用计算设备，该通用计算设备可以用于根据本文中描述的至少一些实施例所布置的采用投影图样来提取高分辨率纹理信息。计算机600包括处理器610、存储器620和一个或多个驱动器630。驱动器630及其相关联的计算机存储介质(例如，可拆卸的存储介质634(例如，CD-ROM, DVD-ROM)和不可拆卸的存储介质632 (例如，硬驱动器盘))可以提供对计算机可读指令、数据结构、程序模块和计算机600的其他数据的存储，该相关联的计算机存储介质。驱动器630可以包括操作系统640、应用程序650、程序模块660和数据库680。计算机600还可以包括用户输入设备690，用户可以通过用户输入设备690输入命令和数据。输入设备690可以包括电子数字化转换器、麦克风696、键盘694和指向设备(例如鼠标设备692、轨迹球设备或触摸板设备)。其他输入设备可以包括操纵杆设备、游戏面板设备、碟形卫星信号接受器、扫描器设备
坐寸ο应用程序650可以包括投影应用652和图样识别应用654。投影应用652可以产生、修改和/或控制图样集合在纹理表面上的投影，以从AR应用中的三维对象提取纹理。图样识别应用654可以处理捕捉到的图像，计算莫尔干涉图样，并向投影应用652提供反馈，以迭代式地调整图样并增强所获得的信息。上述输入设备和其他输入设备可以通过耦合到系统总线605的用户输入接口耦合到处理器610，但也可以通过其他接口和总线结构(例如，并行端口、游戏端口或通用串行总线(USB))进行耦合。诸如计算机600的计算机还可以包括可通过输出外围接口 670等耦合的其他外围输出设备，例如，扬声器676、打印机674、显示器672和通信模块678。通信模块678可以用于与投影仪和/或移动平台进行通信，该移动平台控制投影仪以调节投影图样的不同属性。存储器620、可拆卸的存储设备634和不可拆卸的存储设备632是计算机存储介质的示例。计算机存储介质包括(但不限于)RAM、R0M、EEPR0M、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储、盒式磁带、磁带、磁盘存储或其他磁存储设备，或可以用于存储所需信息且可以由计算机600访问的任何其他介质。任何的这种计算 机存储介质可以是计算机600的一部分。计算机600可以使用至一个或多个计算机(例如，连接到网络接口 606的远程计算机)的逻辑连接来在联网环境下操作。远程计算机可以是个人计算机、服务器、路由器、网络PC、对等设备或其他普通网络节点，并且可以包括以上相对于计算机600描述的很多或所有要素。联网环境是办公室中的普通场所、企域网(WAN)、局域网(LAN)、内联网和世界范围的网络(例如，互联网)。例如，在本申请的主题中，计算机600可以包括控制器机器，将数据从该控制器机器转移到多层电路板制造系统，例如，自动钻孔系统、蚀刻系统等，并且远程计算机可以包括系统的控制器。然而，应该注意到，无需通过网络608或任何其他手段将源机器和目标机器耦合在一起，而相反，可以经由任何能够由源平台写入并由目标平台(或多个平台)读出的介质来转移数据。当在LAN或WLAN联网环境中使用时，可以通过网络接口 606或适配器将计算机600耦合到LAN。网络可以包括采用服务器、客户端、交换机、路由器、调制解调器、互联网服务提供商(ISP)以及任何适当的通信介质(例如，有线或无线通信)的任何拓扑结构。根据一些实施例的系统可以具有静态或动态网络拓扑结构。网络可以包括安全网络，例如企业网络(例如，LAN、WAN或WLAN)、非安全网络(例如，无线开放网络(如，IEEE 802. 11无线网络))或者世界范围的网络(如，互联网)。网络还可以包括适于在一起操作的多个不同网络。网络适于在上述节点之间提供通信。作为示例，且不作为限制，网络可以包括无线介质，例如声、RF、红外和其他无线介质。网络通信链路可以是通信介质的一个示例。通信介质典型地可以由调制数据信号(如载波或其他传输机制)中的计算机可读指令、数据结构、程序模块或其他数据来体现，并可以包括任意信息传送介质。“调制数据信号”可以是通过设置或改变一个或多个特性而在该信号中实现信息编码的信号。例如，但并非限制性地，通信介质可以包括有线介质(如有线网络或直接布线连接)、以及无线介质(例如声、射频(RF)、微波、红外(IR)和其他无线介质)。这里所使用的术语计算机可读介质可以包括存储介质和通信介质。计算设备600可以实现为小体积便携式(或移动)电子设备的一部分，如便携式计算设备、移动计算设备、专用设备或包括任意上述功能的混合设备。计算设备600也可以实现为个人计算机，包括膝上型计算机和非膝上型计算机配置。此外，计算机600可以实现为联网系统或实现为通用或专用服务器的一部分。图7示意了处理器，该处理器可以用于根据本文中描述的至少一些实施例布置地采用投影图样提取高分辨率纹理信息。图示700中的处理器710可以是以通信方式耦合到负责以下操作的一个或多个模块的计算设备的一部分将图样投影到要识别的对象的纹理表面上，从投影表面提取纹理，调整投影参数等。处理器710可以包括控制用于高分辨率纹理提取的投影图样的不同方面的多个模块。模块可以包括投影控制模块730，用于以可调参数将细线图样投影到纹理表面；图像捕捉模块740，用于捕捉具有投影图样的纹理表面的图像；以及图样识别模块750，用于处理所捕捉的图像，测量莫尔干涉图样，以及为了更精细的检测而调整投影图样。
可以将存储器720配置为存储针对处理器710的控制模块的指令，处理器710的控制模块可以实现为硬件、软件或者硬件和软件的组合。处理器710可以通过直接电耦合或通过联网通信(例如，网络790)来与其他计算设备和/或数据存储设备(例如，存储设施780)通信。示例实施例还可以包括方法。这些方法可以采用任何数目的方式来实现，包括本文中描述的结构。一个这样的方式是通过本公开中所描述类型的设备的机器操作来进行。另一可选方式针对于结合如下方式执行的方法的一个或多个单独操作一个或多个人类操作员执行操作中的一些，而由机器执行其他操作。这些人类操作员彼此间无需共处一地，而是可以各自仅具有执行一部分程序的机器。在其他示例中，可以例如通过预先选择的机器自动化的准则来使人类交互自动化。图8是示意了根据至少一些实施例的用于纹理提取的示例方法的流程图，该方法可以由诸如图6中的计算机600或图7中的处理器710之类的计算设备来执行。可以将框822至836中描述的操作作为计算机可执行指令存储在计算机可读介质中，例如计算机600的驱动器640或者处理器710的存储器720。通过投影图样进行的高分辨率纹理提取的过程可以开始于操作822 “确定细纹理目标”。在操作822处，可以一起确定要针对AR系统进行建模的三维对象和该对象的细纹理表面。可以使用摄像机(例如，图2的摄像机226)来检测对象。对象的纹理表面可以具有多个定向和间隔。此外，可以将系统放置在使得系统的投影仪(例如，投影仪224)可以将预定义的可调节的图样投影到细纹理表面的位置处。在可选操作824 “提取3D形状并产生校正矩阵”处，可以提取对象的三维形状，这可能是使用与常规纹理提取不兼容的三维结构化光技术来进行的。可以使用三维形状来产生校正矩阵，以用于下面补偿三维形状的操作。在操作824之后的操作826 “投影细线并旋转”处，投影仪224可以投影细线图样(例如，图样430)，并对其进行旋转。该细线可以是直线、弯线或者是曲线，这取决于对象的表面形状(例如，针对于弯曲对象的曲线)。在后续的操作828 “记录局部莫尔图样间隔”处，可以记录莫尔间隔。如之前讨论的，典型的莫尔图样500由平行线(像素宽度近似)的阵列构成。该图样与子像素级别的纹理单元相互作用，创建出莫尔干涉图样。通过使图样倾斜(位移以及旋转)，可以确定子分辨率纹理的对齐、间隔和形状。在操作828之后的操作830 “针对纹理的每个子区域选择具有清晰间隔的两个或更多莫尔图样”处，系统可以针对每个子区域选择至少两个包含清晰莫尔图样的图像。可以顺序地或者以不同的颜色(只要它们是可分隔的)来执行选择。在下一操作832 “确定图样角度和频率”处，如上所述，系统可以针对每个子区域计算空间频率和图样定向。可选地，在操作834 “基于已知的角度和频率产生新的细线投影”处，可以使用所产生的与图样间隔和角度有关的信息来构建新的细线集合，其中细线与对象220的纹理222更接近地匹配。按照由操作836 “重复，直到获得所期望的程度”所示出的迭代方式，投影仪224可以将新图样投影到纹理表面上，以用于摄像机226和图样识别程序228的新的测量集合。投影图样并进行重新测量的迭代循环可以演进为更接近地匹配复杂的弯曲或改变中的图样，以使得甚至可以提取子分辨率尺寸的复杂纹理图样，例如，雕刻(engraving)或凹雕(intaglio)。根据其他实施例，可以执行附加修改。这类修改可以包括(但不限于)调整投影线的宽度；调整线的线形，以考虑到特征中可以通过虚拟线图样中的移位检测到的弯曲；使图样弯曲以考虑到其所预期的失真(假设表面的已知三维轮廓具有感兴趣的纹理)；和/或使图样弯曲以匹配纹理中检测到的弯曲。然后，可以将所捕捉的莫尔干涉图样转换为子分辨率估算纹理映射图(map)，可以使用各种纹理分类技术来对子分辨率估算纹理映射图进行进一步分析。 上述过程中包括的操作用于示意目的。AR系统中使用图样投影和捕捉的高分辨率纹理提取可以通过具有更少或附加操作的类似过程来实现。在一些示例中，操作可以通过不同的顺序来执行。在一些其他示例中，可以排除各种操作。在另一些示例中，可以将各种操作分成附加操作，或者组合在一起形成更少的操作。图9描述了根据本文中描述的至少一些实施例布置的示例计算机程序产品的框图。在一些示例中，如图9中所示,计算机程序产品900可以包括信号承载介质902,信号承载介质902也可以包括机器可读指令904，当由例如处理器执行时，机器可读指令904可以提供以上关于图6和图7所描述的功能。从而，例如参考处理器710，模块730、740和750可以响应于介质902向处理器710传递的指令904，执行图9中示出的一个或多个任务，以执行与本文中描述的通过投影图样来控制高分辨率纹理提取相关联的动作。这些指令中的一些可以包括投影细线并进行旋转，根据清晰的或暗的间隔来确定图样角度和频率，以及迭代地改进投影线。在一些实现中，图9中描述的信号承载介质902可以包括计算机可读介质906，例如但不限于，硬盘驱动器、高密度盘(CD)、数字视频盘(DVD)、数字磁带、存储器等。在一些实现中，信号承载介质902可以包括可记录介质908，例如但不限于存储器、读/写(R/W)⑶、R/W DVD等。在一些实现中，信号承载介质902可以包括通信介质910，例如但不限于数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等)。从而，例如可以由RF信号承载介质向处理器910的一个或多个模块传递程序产品900，其中，由无线通信介质910 (例如，符合IEEE 802. 11标准的无线通信介质)来传递信号承载介质902。本公开呈现了能够进行高分辨率纹理提取的增强现实(AR)场景捕捉系统。根据一些实施例，该系统可以包括投影仪224，被配置为将至少一个细线图样430投影到要捕捉的三维目标上；摄像机226，被配置为捕捉具有投影图样的目标的图像；和处理器910。该处理器可以确定目标222的纹理部分，记录目标828的纹理部分上的局部莫尔图样间隔，并调整投影图样的一个或多个属性，以使得该至少一个投影图样430实质上与目标222的纹理部分相匹配。根据其他实施例，至少一个投影图样430的属性可以包括定向的角度、宽度、对表面着色的补偿和/或三维特征。处理器910可以根据莫尔图样的改变来提取目标的纹理部分222的纹理图样的间隔和定向。此外，可以将摄像机226和投影仪224集成到移动设备中，该移动设备的动作由处理器910控制。根据其他实施例，为了对目标的纹理部分222上空间变化的纹理进行后续提取，处理器可以改变该至少一个投影的细线图样430，并调整投影图样430的属性，以在变化的光照条件下捕捉目标的纹理部分222。投影图样430可以包括平行线，其中，处理器调整线的线形，以考虑到目标的纹理部分222的特征中的弯曲。处理器还可以基于目标的纹理部分222的表面的三维轮廓来使投影图样430弯曲，以考虑到预期的失真。此外，处理器还使投影图样弯曲，以匹配目标的纹理部分222的纹理中的检测到的弯曲。本公开还呈现了用于增强现实(AR)场景捕捉系统100中的高分辨率纹理提取的 方法。该方法可以包括确定要捕捉的三维目标的纹理部分822，提取目标的纹理部分的三维形状824，将细线图样投影到目标的纹理部分826，记录目标的纹理部分上的局部莫尔图样图像828，在所记录的图像中选择间隔是清晰的两个或更多莫尔图样830，以及确定图样角度和空间频率832。根据其他实施例，该方法还可以包括采用图样角度和空间频率来产生在更精细的细节上与目标的纹理部分的纹理相匹配的新投影图像834，以及迭代产生在更精细的细节上与目标的纹理部分的纹理相匹配的新投影图像，并在每次迭代确定新图样角度和空间频率，直到获得预定义的图样知识836。根据其他示例，该方法还可以包括基于目标的纹理部分的所提取的三维形状，产生校正矩阵824，以及在纹理部分上旋转投影细线图样。投影细线图样430可以具有与目标的纹理部分222的纹理的间隔不相同的间隔，提供高频视觉分量和低频视觉分量。高频视觉分量可以提供子像素分辨率，以及低频视觉分量可以提供大约为投影图样430、432与目标的纹理部分222的纹理的空间频率之差的一半的空间频率。本公开还呈现了一种计算机可读存储介质906，其上存储有指令904，用于增强现实(AR)场景捕捉系统100中的高分辨率纹理提取。根据一些示例，指令可以包括确定要捕捉的三维目标的纹理部分822，提取目标的纹理部分的三维形状824，将两个细线图样投影到目标的纹理部分826，记录目标的纹理部分上的局部莫尔图样图像828，在所记录的图像中选择间隔是清晰的两个或更多莫尔图样830，以及确定图样角度和空间频率832。根据其他示例，可以对投影图样进行顺序投影，以及指令还可以包括使所投影的两个细线图样彼此相对地旋转826，以及迭代产生在更精细的细节上与目标的纹理部分的纹理相匹配的新投影图像，并在每次迭代确定新图样角度和空间频率，直到获得预定义的图样知识834、836。根据其他示例，指令可以包括修改以下一项或多项定向的角度，宽度，对表面着色的补偿，和/或投影图样的三维特征430、432。根据示例实施例的系统还可以执行以下一项或多项调整投影图样中的线的宽度430、432 ;调整投影图样430、432的线的线型，以考虑目标的纹理部分222的特征中的弯曲；基于目标的纹理部分222的表面的三维轮廓，使投影图样430、432弯曲，以考虑所预期的失真；和/或使投影图样430、432弯曲，以匹配目标的纹理部分222的纹理中的检测到的弯曲。根据其他示例，指令可以包括将莫尔图样转换为子分辨率估算纹理映射图，以及使用纹理分类方案来分析纹理映射图。在系统方案的硬件和软件实现方式之间存在一些小差别；硬件或软件的使用一般(但并非总是，因为在特定情况下硬件和软件之间的选择可能变得很重要)是一种体现成本与效率之间权衡的设计选择。可以各种手段(例如，硬件、软件和/或固件)来实施这里所描述的工艺和/或系统和/或其他技术，并且优选的工艺将随着所述工艺和/或系统和/或其他技术所应用的环境而改变。例如，如果实现方确定速度和准确性是最重要的，则实现方可以选择主要为硬件和/或固件的手段；如果灵活性是最重要的，则实现方可以选择主要是软件的实施方式；或者，同样也是可选地，实现方可以选择硬件、软件和/或固件的特定组合。以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况 下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。本公开不限于在本申请中描述的具体实施例，这些具体实施例意在说明不同方案。本领域技术人员清楚，不脱离本公开的精神和范围，可以做出许多修改和变型。本领域技术人员根据之前的描述，除了在此所列举的方法和装置之外，还可以想到本公开范围内功能上等价的其他方法和装置。这种修改和变型应落在所附权利要求的范围内。本公开应当由所附权利要求的术语及其等价描述的整个范围来限定。应当理解，本公开不限于具体方法、材料和配置，这些当然都是可以改变的。还应理解，这里所使用的术语仅用于描述具体实施例的目的，而不应被认为是限制性的。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路
坐^
寸/ ο本领域技术人员应认识到，上文详细描述了设备和/或工艺，此后使用工程实践来将所描述的设备和/或工艺集成到数据处理系统中是本领域的常用手段。也即，这里所述的设备和/或工艺的至少一部分可以通过合理数量的试验而被集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一项或多项系统单元外壳；视频显示设备；存储器，如易失性和非易失性存储器；处理器，如微处理器和数字信号处理器；计算实体，如操作系统、驱动程序、图形用户接口、以及应用程序；一个或多个交互设备，如触摸板或屏幕；和/或控制系统，包括反馈环和控制模板(例如，调节系统的图样和图像捕捉参数)。典型的数据处理系统可以利用任意合适的商用部件(如数据计算/通信和/或网络计算/通信系统中常用的部件)予以实现。本公开所述的主题有时说明不同部件包含在不同的其他部件内或者不同部件与不同的其他部件相连。应当理解，这样描述的架构只是示例，事实上可以实现许多能够实现相同功能的其他架构。在概念上，有效地“关联”用以实现相同功能的部件的任意设置，从而实现所需功能。因此，这里组合实现具体功能的任意两个部件可以被视为彼此“关联”从而实现所需功能，而无论架构或中间部件如何。同样，任意两个如此关联的部件也可以看作是彼此“可操作地连接”或“可操作地耦合”以实现所需功能，且能够如此关联的任意两个部件也可以被视为彼此“能可操作地耦合”以实现所需功能。能可操作地耦合的具体示例包括但不限于物理上可连接的和/或物理上交互的部件，和/或无线交互和/或可无线交互的部件，和/或逻辑交互和/或可逻辑交互的部件。至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形·式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。另外，在以马库什组描述本公开的特征或方案的情况下，本领域技术人员应认识至IJ，本公开由此也是以该马库什组中的任意单独成员或成员子组来描述的。本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，这里公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，在此所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有I 3个单元的组是指具有1、2或3个单元的组。类似地,具有I 5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。尽管已经在此公开了多个方案和实施例，但是本领域技术人员应当明白其他方案 和实施例。这里所公开的多个方案和实施例是出于说明性的目的，而不是限制性的，本公开的真实范围和精神由所附权利要求表征。
权利要求
1.一种能够进行高分辨率纹理提取的增强现实AR场景捕捉系统，所述系统包括 投影仪，被配置为将至少一个细线图样投影到要捕捉的三维对象上； 摄像机，被配置为捕捉具有至少一个投影图样的对象的图像；以及 处理器，被配置为 确定对象的纹理部分； 记录对象的纹理部分上的局部莫尔图样间隔；以及 调整所述至少一个投影图样的一个或多个属性，以使得所述至少一个投影图样与对象的纹理部分大致匹配。
2.根据权利要求I所述的系统，其中，所述至少一个投影图样的所述一个或多个属性包括定向的角度、宽度、对表面着色的补偿以及三维特征。
3.根据权利要求I所述的系统，其中，所述处理器还被配置为根据莫尔图样中的改变来提取对象的纹理部分的纹理图样的间隔和定向。
4.根据权利要求I所述的系统，其中，所述摄像机和所述投影仪被集成到移动设备中，所述移动设备的动作由所述处理器控制。
5.根据权利要求I所述的系统，其中，所述处理器还被配置为改变所述至少一个投影图样，以便后续提取对象的纹理部分上空间变化的纹理。
6.根据权利要求I所述的系统，其中，所述处理器还被配置为调整所述至少一个投影图样的属性，以在变化的光照条件下捕捉对象的纹理部分。
7.根据权利要求I所述的系统，其中，所述至少一个投影图样包括平行线，以及所述处理器还被配置为调整线的线型，以考虑对象的纹理部分的特征中的弯曲。
8.根据权利要求I所述的系统，其中，所述处理器还被配置为基于对象的纹理部分的表面的三维轮廓来使所述至少一个投影图样弯曲，以考虑预期的失真。
9.根据权利要求I所述的系统，其中，所述处理器还被配置为使所述至少一个投影图样弯曲，以匹配对象的纹理部分的纹理中的检测到的弯曲。
10.一种用于增强现实AR场景捕捉系统中的高分辨率纹理提取的方法，所述方法包括 确定要捕捉的三维对象的纹理部分； 提取对象的纹理部分的三维形状； 将细线图样投影到对象的纹理部分上； 记录对象的纹理部分上的局部莫尔图样图像； 在所记录的图像中选择间隔是清晰的两个或更多莫尔图样；以及 确定图样的图样角度和空间频率。
11.根据权利要求10所述的方法，还包括 采用所述图样的图样角度和空间频率，产生在更精细的细节上与对象的纹理部分的纹理相匹配的新投影图像。
12.根据权利要求11所述的方法，还包括 迭代产生在更精细的细节上与对象的纹理部分的纹理相匹配的新投影图像，并在每次迭代确定新图样角度和空间频率，直到获得预定义的图样知识。
13.根据权利要求12所述的方法，其中，投影细线图样所具有的间隔不同于对象的纹理部分的纹理的间隔，以提供高频视觉分量和低频视觉分量。
14.根据权利要求13所述方法，其中，所述高频视觉分量提供子像素分辨率，以及所述低频视觉分量提供大约为投影图样的空间频率与对象的纹理部分的纹理的空间频率之差的一半的空间频率。
15.根据权利要求10所述的方法，还包括 基于对象的纹理部分的所提取的三维形状，产生校正矩阵。
16.根据权利要求10所述的方法，还包括 在纹理部分上旋转投影细线图样。
17.一种计算机可读存储介质，其上存储有用于增强现实AR场景捕捉系统中的高分辨率纹理提取的指令，所述指令包括 确定要捕捉的三维对象的纹理部分； 提取对象的纹理部分的三维形状； 将两个细线图样投影到对象的纹理部分上； 记录对象的纹理部分上的局部莫尔图样图像； 在所记录的图像中选择间隔是清晰的两个或更多莫尔图样； 确定图样角度和空间频率； 使所投影的两个细线图样彼此相对旋转；以及 迭代产生在更精细的细节上与对象的纹理部分的纹理相匹配的新投影图像，并在每次迭代确定新图样角度和空间频率，直到获得预定义的图样知识。
18.根据权利要求17所述的计算机可读存储介质，其中，将两个投影图样顺序投影。
19.根据权利要求17所述的计算机可读存储介质，其中，所述指令还包括 修改以下一项或多项定向的角度、宽度、对表面着色的补偿和/或投影图样的三维特征。
20.根据权利要求17所述的计算机可读存储介质，其中，所述指令还包括执行以下一项或多项 调整投影图样中的线的宽度； 调整投影图样的线的线型，以考虑对象的纹理部分的特征中的弯曲； 基于对象的纹理部分的表面的三维轮廓，使投影图样弯曲，以考虑预期的失真；和/或 使投影图样弯曲，以匹配对象的纹理部分的纹理中的检测到的弯曲。
21.根据权利要求17所述的计算机可读存储介质，其中，所述指令还包括 将莫尔图样转换为子分辨率估算纹理映射图；以及 采用纹理分类方案来分析所述纹理映射图。
全文摘要
通过操控投影图样来对增强现实(AR)系统中基于摄像机的纹理提取进行增强。将一个或多个细线图样投影到纹理表面上，测量莫尔干涉图样，以及调整投影图样的不同属性，直到莫尔干涉图样测量指示正在投影与三维目标的纹理图样相类似的纹理图样。由此，即使在子像素分辨率、可变光照条件和/或复杂几何结构下也可以更接近地匹配目标纹理。
文档编号G01B11/30GK102893124SQ201080066827
公开日2013年1月23日 申请日期2010年9月30日 优先权日2010年9月30日
发明者克鲁格里克·埃泽齐埃尔 申请人:英派尔科技开发有限公司