在二维空间中给出三维特性的制作方法

专利名称：在二维空间中给出三维特性的制作方法
在二维空间中给出三维特性
些旦
NT足
当今的计算机用户能够访问大量的数据处理和存储资源。这些资源使用户 能够完成使用以前各代计算机所不能完成的计算任务，特别是在计算机图形领 域中。现代计算机图形工具利用这些资源来创建和显示在视觉上复杂且高度详 细的计算机生成的图像。挑战随后变成找到用户友好的方式来输入定义计算机 生成的图像所需的大量数据。
大多数现在的计算机图形工具允许用户修改或创建具有深度的外观或者 显示成三维的图形。这些工具一般通过创建三维对象的数学表示来在计算机图 像中创建三维外观。输入创建数学表示所需的数据是一个非常耗时且枯燥的过 程。例如，大多数计算机图形工具要求用户在多个不同的图像视图中指定三维 信息且因而给用户造成很大的负担。
概述
提供本概述以便介绍在下面的详细描述中进一步描述的用于图形处理的 技术和过程。本概述并不旨在标识所要求保护的主题的必要特征，也不旨在用 于帮助确定所要求保护的主题的范围。
本发明涉及用于向二维空间中的图像给出(impart)三维特性的过程和技 术。在一个实现中，用户在图像画布界面中提供标记并且在形状选项板中提供 对应的标记。形状选项板呈现三维信息的视觉表示。基于用户标记，从形状选 项板中提取三维信息并且将其与图像画布中的用户标记相关。处理该相关的三 维信息和来自图像画布的用户标记以呈现具有三维特性的图像。
附图简述
参考附图阐述详细描述。在这些附图中，参考标号的最高位数字标识该参 考标号首次出现时所在的附图。在不同的附图中使用相同的参考标号指示相似 或相同的项。

图1示出用于基于图像画布的用户标记和形状选项板的用户标记来呈现 具有三维特性的图像的用户界面的一个示例。
图2示出用于产生具有三维特性的图像的、图像画布与形状选项板之间的 相关的一个示例。
图3示出形状选项板的一个示例。
图4示出用于产生具有三维特性的图像的、图像画布与形状选项板之间的 相关的一个示例。
图5是基于图像画布的用户标记和形状选项板的用户标记来呈现具有三
维特性的图像的说明性过程的流程图。
图6是详细描述基于图像画布的用户标记和形状选项板的用户标记来呈
现具有三维特性的图像的说明性过程的某些方面的流程图。
图7示出用于基于图像画布的用户标记和形状选项板的用户标记来呈现 具有三维特性的图像的装置的一个示例。
详细描述
本文所描述的是用于向二维空间中的图形图像给出三维视觉特性的过程 和技术。这些过程和技术认识到人类具有从二维(2D)图像推知三维(3D) 结构的能力。该能力适用于各种图像格式，诸如照片、绘画、素描、和艺术线 条。通常只需要少数2D笔画来表达对象的3D形状。观察者经常可在2D空间 中的笔画或标记与对应的3D外表或表面之间进行类推。在计算机图形界面中 的挑战是使用户能够使用该能力来推出用于指定可由计算机图形工具解释的 3D信息的3D结构。
为了使用户能够快速地在2D空间(例如计算机图形界面)中指定3D信 息，引入形状选项板。在一个示例中，形状选项板是3D对象的、存储可通过 形状选项板的用户标记提取的凸3D几何信息的2D图像。用户在用户界面上 的空间中提供2D图元(例如，线、笔画、或其它形状)，并且随后在形状选 项板上绘制对应的图元。基于用户标记从形状选项板提取3D信息并且对该信 息进行处理。处理3D信息可包括将3D信息复制或变形到2D用户界面。可使 用形状选项板来标记多个图元并且将它们呈现和组合以产生总体图像。通过转移少量稀疏的图元，可基于从形状选项板转移到用户界面的3D信息来提取3D
模型表面。形状选项板可以在单个视图中标记(即形状选项板不需要被旋转或
者以其它方式处理)以提取所需的3D信息。然向，这不是旨在限制，并且某
些实现可利用多个形状选项板视图。因而，形状选项板用作直观的界面，通过
它用户可指定用户希望向2D图元或者其它视觉图像给出的3D视觉方面。
实现形状选项板的一种方法是将形状选项板配置成3D法线图。法线图可 以作为例如朗伯(Lambertian)明暗图像来呈现，诸如球面。在一个这样的示 例中，3D信息从形状选项板到图元的转移包括法线信息从形状选项板到图元 的转移。因而，形状选项板可包括多个像素，其中这多个像素每一个与法线值 相关联。通过最小数量的形状选项板标记，用户可生成稀疏法线图。随后处理 该稀疏法线图以产生密集法线图，密集法线图可被进一步处理以产生3D表面 或高度图像。
形状选项板可使用3D形状模型的正投影来生成并且可存储该投影中每一 点处的合成光与3D法线的内积(即，形状选项板使用例如朗伯明暗处理)。 形状选项板可以包括任何合适的3D模型，诸如球面、锥面、环面等等。下面 讨论处理来自形状选项板的3D法线信息以产生密集法线场的合适方法。
说明性用户界面
图1在100处示出可实现所描述的过程和技术的图形工具界面102。图形 工具界面102仅是出于示例目的而提供的，并且所描述的过程和技术可使用不 同类型或布置的用户界面来实现。图形工具界面102可使用任何合适的设备来 生成和/或显示，包括台式计算机、膝上型计算机、个人数字助理(PDA)、蜂 窝电话等等。在该上下文中，图形工具界面102存在于2D空间中(即该工具 显示在诸如计算机监视器等2D界面上)。
图形工具界面102包括图像画布104。图像画布104使图形工具界面102 的用户能够提供用户希望向其给出3D视觉特性的形状和/或标记。在图形工具 界面102中还包括形状选项板106。形状选项板106被配置成接收用户标记， 并且基于用户标记向在图像画布104中指示的形状和/或标记给出3D信息。呈 现画布108显示基于来自图像画布104的形状和/或标记和在形状选项板106 中提供的用户标记来呈现的图像。在操作中，用户在图像画布104中提供图像和/或标记。标记一般指提供 笔画、线条、曲线、或其它图形输入，诸如通过使用作为图形应用程序一部分 的手绘工具来提供的其它图形输入。在一个示例中，用户可将图像文件(例如
以JPEG、位图或者任何其它合适的图形格式)导入到图像画布并且使用该图
像作为模板，可在图像画布中在该模板上提供标记。随着用户在图像画布中提
供标记，用户在形状选项板中提供对应的标记。例如，用户可在图像画布104 中作出一个笔画并且在形状选项板106中作出一个对应的笔画。图形工具将自 动地将这两个笔画相关并且向图像画布104中的对应笔画给出由形状选项板笔 画指示的3D信息。然而，如下所述，可使用其它方法将形状选项板标记与图 像画布标记相关。该标记相关在下面更详细地讨论。基于图像画布标记与形状 选项板标记之间的相关，在呈现画布108中呈现图像。在呈现画布108中呈现 的图像包括从形状选项板106提取的3D视觉特性(例如朗伯明暗处理)。
图2在200处示出基于图像画布中的标记与形状选项板中的标记之间的相 关来呈现具有3D特性的图像的一个示例。参考图形工具界面102来讨论图2。
在202处，不出了在图像画布中被标记的图像。在该示例中，将图像文件 导入到图像画布中并且用户在该图像上提供标记。然而，这不是必须的，并且 用户可在不导入图像的情况下向图像画布提供标记。在其它示例中，用户可导 入图形图像并且通过将来自该图形图像的线条和其它形状与形状选项板标记 相关来提供形状选项板标记以向该图形图像给出3D特性。图像画布的用户标 记在204至220处示出。图像画布的用户标记可分类成两种不同类型的用户标 记。第一种类型的用户标记是轮廓标记。轮廓标记表示图像画布中的区域，在 这些区域中3D信息是标记图元的切线并且被认为处于画布的平面内。例如， 如果2D直线被绘制作为轮廓标记，则与该直线相关联的3D方向将是垂直于 该线的方向。这意味着3D信息可以直接从2D图像画布标记计算得到，因此 形状选项板上的对应标记是不必要的。在该示例中，标记204和206是轮廓标 记并且因此在形状选项板中不需要对应的3D标记。然而这不是旨在限制，并 且其它示例可在图像画布和形状选项板两者之中利用轮廓标记。
第二种类型的用户标记是非轮廓标记。非轮廓标记在图像选项板中具有对 应的标记并且使用户能够向所呈现的图像给出3D视觉特性。在该示例中，标记208至220是非轮廓标记并且在形状选项板中具有对应的标记。
形状选项板在222和224处示出。尽管它们被示为两个分开的形状选项板， 但可以将这些图像显示在一起(如图l所示)。形状选项板222表示凸球面的 朗伯明暗图像。因而，形状选项板222可以被可视化为从2D界面的平面向外 延伸的3D信息。形状选项板224表示凹球面的朗伯明暗图像。因而，形状选 项板224可以被可视化为从2D界面的平面向内延伸的3D信息(即远离用户 的视野)。
如上所述，为向图像提供3D视觉特性，用户可标记图像画布并且向形状 选项板作出对应的标记。在该示例中，用户标记图像202并且向形状选项板222 和224作出对应的标记。例如，用户向图像202提供标记208并且向形状选项 板222提供对应的标记226。随后用户向图像202提供标记210并且向形状选 项板224提供对应的标记228，且对于其余的图像和形状选项板标记以此类推。 因而，在该示例中，除了先前讨论的对应关系之外，图像标记212对应于形状 选项板标记230，图像标记214对应于形状选项板标记232，图像标记216对 应于形状选项板标记234，图像标记2〗8对应于形状选项板标记236，以及图 像标记220对应于形状选项板238。在该示例中，图像标记204和206是轮廓 标记并且不需要形状选项板标记。
一旦用户已经向图像画布提供了标记(例如图像202的标记)并且向形状 选项板(例如形状选项板222和224)提供了对应的标记，则可使用从这(些) 形状选项板提取的3D信息来生成所呈现的图像240。在该示例中，所呈现图 像240是基于图像202的标记和形状选项板222和224的对应标记来呈现的。
说明性形状选项板
图3在300处示出在图1介绍的说明性形状选项板106。形状选项板106 使用户能够选择一个或多个图像来用作参考图像，以将3D信息给予图像画布 中的标记。形状选项板106可以是可用于提取3D几何信息的任何合适的图像。 如图3所示，形状选项板的示例包括球面、柱面、锥面、面孔等等。可以对形 状选项板进行朗伯明暗处理以表示3D信息。形状选项板还可包括下拉菜单或 者其它用户界面以允许用户选择所需的形状选项板。该示例不是旨在限制并且 可利用任何合适类型和布置的形状选项板。
8说明性过程
在本节中参考图l-3描述说明性过程。仅为方便起见，在上面所示的图形 工具界面102的上下文中描述这些过程，并且这些过程可广泛地应用于其它界 面和系统。
这些说明性过程可在计算机可执行指令的一般上下文中描述并且可被示 为逻辑流程图中的框的集合，这些框表示可用硬件、软件或它们的组合来实现 的操作序列。 一般而言，计算机可执行指令可包括执行特定功能或者实现特定 抽象数据类型的例程、程序、对象、组件、数据结构、过程、模块、功能等等。 这些过程还可在其中功能由通过通信网络链接的远程处理设备来执行的分布 式计算环境中实施。在分布式计算环境中，计算机可执行指令可位于包括存储 器存储设备的本地和远程计算机存储介质中。
图4在400处示出用于向2D空间中的图像给出3D特性的过程。在402 处，将图像404导入到图像画布。在406处，使用图像404作为模板来标记图 像画布。在408处，用对应于图像404在406处的标记的标记来标记形状选项 板410。所示的形状选项板包括球面和面孔。面孔形状选项板包括包含面部特 征的典型3D方面，诸如眼眶、鼻、嘴等。"面孔选项板"可用于标记更详细 的面部图像，诸如图像404以给出面部图像3D特性。
在该示例中，图像404的标记412是轮廓标记，并且在形状选项板410 中不需要对应的3D标记。其它标记是非轮廓标记并且因而在形状选项板410 中具有对应的标记。图像404标记和形状选项板410标记的对应关系如下图 像标记414对应于形状选项板标记416;图像标记418对应于形状选项板标记 420;图像标记422对应于形状选项板标记424;图像标记426对应于形状选项 板标记428;以及图像标记430对应于形状选项板标记432。在434处，基于 标记对应关系，从这些形状选项板中提取3D信息并且将该信息给予图像标记， 以呈现具有3D特性的图像。在436处，所呈现的图像用于重新照亮(relight) 图像404并且创建显示3D特性的图像438。因而，所讨论的技术可用于向2D 图像给出3D特性。
图5在500处示出用于基于用户标记向图像给出3D视觉特性的示例性过 程。在502处，用户在图像画布中提供标记。在一个示例中，可加载图像文件并且在图像画布中显示来自该图像文件的图像。在一些示例中，动作502可包
括跟踪、导入和/或以其它方式在图像画布中接收用户标记。在504处，用户标
记形状选项板以对应于图像画布标记。因而，可以说，图像画布和形状选项板
的用户标记指示图像画布和形状选项板中的数据点。在506处，将形状选项板 标记与对应的图像画布标记相关。可以用"一对一 (tit-for-tat)"的方式提供 图像画布标记和形状选项板标记，使得在用户在图像画布中提供特定笔画、线 条或图像之后该用户随后在形状选项板中提供对应的标记。其它实现可利用诸 如基于颜色的相关等将图像画布标记与形状选项板标记相关的不同方式。例 如，图像画布中特定颜色的所有标记可与形状选项板中的相同或相似颜色的标 记相关。在其它示例中，图像画布和形状选项板中的标记可不用"一对一"的 方式来提供，并且图像画布可以在形状选项板接收用户标记之前被部分或全部 标记。在该情形中，图像画布中的笔画随后可与形状选项板中的笔画相关。
在508处，基于形状选项板的用户标记从形状选项板提取3D信息。3D 信息可包括几何信息，诸如在形状选项板的用户标记中指示的每一点的法线值 (例如按照x、 y和z坐标)和像素值(例如亮度)。在510处，处理3D信息 以产生可生成具有3D特性的图像的数据。在一些示例中，从形状选项板提取 的法线值被使用诸如薄板仿样(thin-plate spline)等几何技术变形成图像画布 标记。在512处，使用该数据来呈现具有3D特性的图像。
图6示出上面参考图5讨论的动作510的一个说明性实现的更详细的方 面。在510处所示的过程是用于使用由形状选项板的用户标记所指示的稀疏法 线集合来生成具有3D特性的图像的一个过程。在600处，接收由形状选项板 的用户标记指示的法线集合和像素集合。在602处，处理法线集合和像素集合 以产生随后可用于呈现具有3D特性的图像的密集法线图。出于示例的目的， 下面提出一种处理像素集合和稀疏法线集合的方法。
法线表示欧几里德空间中的3D方向并且可以表示为n呵x,y,z]T。单位法线 是其x、 y和z分量是长度为1的法线，艮卩1 = ^ ^"7。法线的替换表示可
以表示为"= 1 [-pilf，其中/^-三和p--Z与单位法线[x,y,z]T相
关联。现在考虑有一个图像，其中每个像素由/表示并且希望使法线与该像素相关联。可以将图像中的每一法线表示为",；
r[-A-wr。形状选项
板可被认为是在每一像素处都具有法线的图像。上述标记过程向用户提供了一 种将法线从形状选项板转移到图像画布的方法。在一些情形中，该经由标记的 转移是非常稀疏的，并且目标是基于该稀疏标记来计算密集法线图像。下面的
说明性方法示出一种估计所呈现的具有3D特性的图像中的所有像素的法线 的p,分量的方法。可使用同一方法来估计仏。
考虑作为法线值集合的图像，G = 1...N} 。 G是p的集合并且iV是画 布的像素的总数量。G可以使用由形状选项板的用户标记生成的稀疏法线值集 合来估计。由形状选项板的用户标记生成的法线值集合用观测集合 0 = {^|^￡5}表示，其中A是已知的并且S是对应的像素位置的集合。G可以
通过解出下面相关联的能量函数来获得
<formula>formula see original document page 11</formula>
其中(P(OIG))是概率并且(P(G))是先验概率。该概率可定义为
<formula>formula see original document page 11</formula>
它测量输出的法线图对于输入O的忠实性(faithfulness);先验概率P(G)被定 义为
<formula>formula see original document page 11</formula>
其中o,、 a 2、 o3是相应的不确定性度量，并且7'evV(0是第一阶相邻像素的 像素位置，即围绕像素/的像素。概率能量测量输出的密集法线图对于输入O 的忠实性。在先验能量(3)中的第一个幂实施法线方向的平滑性，而第二个 幂最小化对应于输出的密集法线图的表面曲率。值o" o2、 。3可由用户设置， 它们指示相关联的幂的权重或重要性。能量函数(1)是具有上面的概率和先 验定义的凸面，并且相关联的最优化因而收敛于全局最优解。可使用标准的数 值最优化包来解方程(1)。从使用方程(1)估计出的这个密集法线图G，可 使用标准的形状到法线估计技术来生成3D表面或髙度图。 说明性装置图7在700处示出可实现所讨论的过程和技术的装置702的一个示例。尽 管被示为台式计算机，但装置702可包括任何合适的设备，包括个人计算机、 膝上型计算机、个人数字助理(PDA)、蜂窝电话等等。
装置702包括系统存储器704、处理器706和输入/输出组件708。例如， 处理器706可包括微处理器、微计算机、微控制器、多核处理器等等。处理器 706被配置成检索和执行存储在系统存储器704中的计算机程序指令。系统存 储器704包括诸如随机存取存储器(RAM)等易失性存储器形式的和/或诸如 只读存储器(ROM)或闪存RAM等非易失性存储器形式的计算机可读介质。 输入/输出组件708 (例如鼠标和键盘)向装置702提供数据输入和输出能力。
包含在系统存储器704中的是可实现所讨论的过程和技术的编程模块。图 像画布模块710生成图像画布并且接收图像画布的用户标记。图像画布模块 710也可导入和导出图像来作为图像标记过程的一部分。形状选项板模块712 生成和/或检索形状选项板并接收形状选项板的用户标记。呈现模块714处理图 像画布和形状选项板的用户标记以呈现具有3D特性的图像。在一些示例中， 呈现具有3D特性的图像包括显示该图像。用户界面模块716生成和/或显示使 用户能够与该装置交互并且实现所讨论的过程和技术的用户界面。
尽管已经描述了各种说明性设备和操作实现，但这些实现的组件、模块和 特征可取决于环境条件来重新安排、修改和/或完全省略。
而且，应当理解，这些方法中的一些动作不必按所述顺序执行，可取决于 环境条件来重新安排、修改和/或完全省略。
此外，上面参考任何方法描述的任何动作都可由处理器或其它计算设备基 于存储在一个或多个计算机可读介质上的指令来实现。计算机可读介质可以是 可由资源建模应用程序在本地或远程访问的任何可用介质。作为示例而非限 制，计算机可读介质可包括以用于存储诸如计算机可读指令、数据结构、程序 模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和 不可移动介质。计算机可读介质包括但不限于RAM、 ROM、 EEPROM、闪存 或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储、磁带 盒、磁带、磁盘存储或其它磁存储设备、或者可用于存储所需信息并且可由资 源建模应用程序访问的任何其它介质。上述各项的任何组合也应当包括在计机可读介质的范围内。 结论
尽管已经以专用于结构特征和/或方法动作的语言描述了本发明，但应 当理解本发明不必限于所描述的这些具体特征或动作。相反，这些具体特 征和动作是作为实现本发明的说明形式而被公开的。
权利要求
1.一种方法，包括在二维空间中接收图形图像(104，502)；呈现包括三维形状的二维表示的形状选项板(106，504)；以及基于所述形状选项板的用户标记向所述图形图像给出三维特性(108，512)。
2. 如权利要求1所述的方法，其特征在于，接收所述图形图像包括将图像 文件加载到所述二维空间中。
3. 如权利要求1所述的方法，其特征在于，所述形状选项板包括形状模型 的正投影。
4. 如权利要求1所述的方法，其特征在于，所述形状选项板包括朗伯明暗 图像。
5. 如权利要求1所述的方法，其特征在于，所述形状选项板包括球面。
6. 如权利要求1所述的方法，其特征在于，所述形状选项板包括多个像素， 所述多个像素毎一个与法线值相关联。
7. 如权利耍求1所述的方法，其特征在于，所述形状选项板的所述用户标 记包括用户对所述形状选项板上的多个点的选择，所述多个点用亍从所述形状 选项板提取像素集合和法线值集合，所述向所述图形图像给出三维特性是基于 处理所述像素集合和所述法线值集合的以呈现具有三维特性的图形图像。
8. 如权利要求1所述的方法，其特征在于，还包括呈现具有所述二维特性 的所述图形图像。
9. 一个或多个包含计算机可执行指令的计算机可读介质，所述计算机可执 行指令在被执行时执行下列动作.-生成形状选项板，所述形状选项板包括三维几何信息的二维视觉表示(106);接收所述形状选项板的用户标记以提取几何信息集合(106， 504);以及 至少部分地基于所述几何信息集合来呈现视觉图像(512)。
10. 如权利要求9所述的一个或多个计算机可读介质，其特征在于，所述 形状选项板包括含有朗伯明暗处理的正投影。
11. 如权利要求9所述的一个或多个计算机可读介质，其特征在于，所述 形状选项板包括凹球面和凸球面中的一个或多个。
12. 如权利要求9所述的一个或多个计算机可读介质，其特征在于，所述 几何信息集合包括多个像素和多个法线值，所述多个像素每一个与所述多个法 线值之一相关联。
13. 如权利要求12所述的一个或多个计算机可读介质，其特征在于，呈现所述视觉图像包括从所述多个像素和所述多个法线值导出密集法线图。
14. 如权利要求9所述的一个或多个计算机可读介质，其特征在于，呈现 所述视觉图像包括接收图形图像的用户标记；以及将所述图形图像的所述用户标记与所述形状选项板的所述用户标记相关。
15. 如权利要求9所述的一个或多个计算机可读介质，其特征在于，至少部分地基于多个亮度值来呈现所述视觉图像。
16. —种装置包括用于生成用户画布和用于在该用户画布上接收用户标记的画布模块(710);以及用于生成形状选项板并且被配置成接收该形状选项板的用户标记的形状选项板模块(712),所述形状选项板包括三维几何信息的二维视觉表示(106)， 所述形状选项板的所述用户标记从所述形状选项板提取可至少部分地用于呈 现图形图像的几何信息集合(512)。
17. 如权利耍求16所述的装置，其特征在于，所述形状选项板包括含有朗 伯明暗处理的正投影。
18. 如权利要求16所述的装置，其特征在于，所述几何信息包括多个法线值。
19. 如权利要求16所述的装置，其特征在于，还包括用于处理所述几何信 息集合以产生数据集并且至少部分地基于该数据集来呈现具有三维视觉特性 的图像的呈现模块。
20. 如权利要求16所述的装置，其特征在于，还包括用于显示所述用户画 布和所述形状选项板的用户界面模块。
全文摘要
描述了用于向二维空间中的图像给出三维视觉特性的过程和技术。在一个实现中，在二维空间(例如计算设备上的用户界面)中接收图形图像。向用户呈现形状选项板，该形状选项板包括三维视觉信息的视觉表示。基于该形状选项板的用户标记，从该形状选项板提取三维视觉信息并且将其与该图形图像相关。处理该三维视觉信息以呈现具有三维视觉特性的图形图像。
文档编号G06T17/40GK101689308SQ200880022587
公开日2010年3月31日 申请日期2008年6月25日 优先权日2007年6月29日
发明者C-K·唐, H-Y·孙, M·S·布朗, T-P·吴 申请人:微软公司