使用手势创建三维图形的制作方法
【专利摘要】使用手势创建三维虚拟对象。在一个示例中，接收形状的选择。在显示器上呈现选择的形状。观察从显示器移走至少一部分呈现的形状的手势，并且在对应于观察的手势的远离显示器的方向上基于观察的手势修改呈现的形状。在基于观察的手势修改呈现的形状后，将修改的形状呈现为三维虚拟对象。
【专利说明】使用手势创建三维图形
【技术领域】
[0001]本申请涉及在计算或游戏环境中创建图形对象的领域，并且具体地说，涉及使用用户手势添加第三维度到对象。
【背景技术】
[0002]三维(3D)图形渲染的出现改变了计算机和视频游戏的性质，并且现在已在更多的应用中，甚至在用户接口中使用。允许用户观看3D图像的3D显示允许通过在渲染图像内潜藏的另外深度来显示现有3D图形渲染。手持式指点装置中立体照相机和便宜的惯性传感器的出现已使得3D动作能够用作应用到3D渲染对象的输入。
[0003]具有动作和惯性传感器的外设装置已被用作输入系统。外设可以是动作敏感手套或控制器的形式。备选地，照相机已用于检测3D徒手或悬浮手势，以创建和操纵在屏幕上出现的3D模型。
[0004]在3D对象的创建和操纵中也使用触摸屏和跟踪板。鼠标和触摸板也用于在二维和三维中创建设计。
【专利附图】
【附图说明】
[0005]在附图中，本发明的实施例以示例方式而不是限制方式示出，图中相似的标号表示类似的元素。
[0006]图1A是根据本发明的一实施例，在触摸屏装置上绘出2D形状的图。
[0007]图1B是根据本发明的一实施例，在触摸屏装置上绘出的2D形状的图。
[0008]图1C是根据本发明的一实施例，抓握在触摸屏装置上绘出的2D形状的一部分的图。
[0009]图1D是根据本发明的一实施例，将在触摸屏装置上绘出的2D形状拉入第三维度中的图。
[0010]图2A是根据本发明的一实施例，在触摸屏装置上另一 2D形状和将一部分2D形状拉入第三维度的图。
[0011]图2B是根据本发明的一实施例的图2A的扩展3D的图，具有如在3D显示器上可能看到的3D形状的向下滚动的球。
[0012]图3是根据本发明的一实施例，同时使用两手的手指操纵在触摸屏装置上在3D中的形状的图。
[0013]图4A是根据本发明的一实施例，在触摸屏装置上圆圈形式的另一 2D对象的图。
[0014]图4B是根据本发明的一实施例，在触摸屏装置上的2D圆圈和用户从装置的屏幕拉球体的中心部分的图。
[0015]图4C是根据本发明的一实施例，由用户转换成3D球体并且在触摸屏装置上渲染的2D圆圈的图。
[0016]图5A是根据本发明的一实施例，在便携式计算机的屏幕上虚拟捆绑物的图。
[0017]图5B是根据本发明的一实施例，在第三维度中操纵在屏幕上的虚拟捆绑物的图。
[0018]图6是根据本发明的一实施例，使用用户手势将2D形状更改为3D形状的过程流程图。
[0019]图7A是根据本发明的一实施例，在三维中增大形状的过程流程图。
[0020]图7B是根据本发明的一实施例，使用悬浮手势操纵渲染的3D对象的过程流程图。
[0021]图8是根据本发明的一实施例，适合用于实现本公开内容的过程的计算机系统的框图。
[0022]图9是根据本发明的一实施例，适合用于实现本公开内容的过程的图8的计算机系统的备选视图的框图。
【具体实施方式】
[0023]3D对象能够通过触摸屏和悬浮手势输入的组合创建和操纵。在游戏中，可一起使用触摸和手势。例如，触摸屏或其它输入可用于创建设计和游戏部分，然后悬浮手势可通过或不通过触摸屏手势开始可用于将那些对象拉入该对象的3D表示中。第三维度的深度可变得取决于手势通过的距离。
[0024]触摸和悬浮手势输入的此协调方法允许在将对象拉入第三维度中之前进行多种有创造性和有趣的计算交互。
[0025]在一个示列中，用户在屏幕上绘出设计。用户然后能够使用触摸手势来收缩设计的某一部分。从触摸手势开始，用户然后拉设计的收缩部分以将设计拉伸到第三维度中。3D显示可通过2D图形进行模拟，或者它可以是实际的3D显示。在另一示例中，用户追踪在计算机前面空中的路径以创建在游戏中要使用的3D路径。在用户追踪3D路径后，虚拟对象(例如，橙色球)然后能够沿路径向下滚动。在另一示例中，用户展示出某种形状，并且然后通过手势输入来控制它。
[0026]3D悬浮手势的性质可适用于适合不同应用并且提供不同用户体验。在一个示例中，在屏幕上更用力推能够在操纵或拉伸绘出的对象或虚拟的对象中形成更深的深度。在另一示例中，使用第一手指做为基础或锚点，第二手指能够从第一手指移开以确立在z轴中对象的长度。在另一示例中，用户通过使用两手或两个手指拉伸来标记3D操纵的范围。用户也可能在3D操纵前使用话音命令促使形状在屏幕上出现。
[0027]创建的3D对象可应用到不同种类的使用。在一个示例中，可为游戏创建3D布局，如Chutes and Ladders的屏上版本。在另一示例中，能够创建用于虚拟对象滑动或滚动的路径。在另一示例中，能够创建线路骑士(line rider)或其它路径追随游戏的的3D版本。也可以为艺术和工程创建和可视化创建3D对象。
[0028]图1A是在支持装置12上触摸屏10的图。用户使用手指14在屏幕上绘出形状
16。在图1B中，能够看到完成的2D形状。此形状能够表示用于游戏或艺术应用的轨道或导轨，或用于工程或科学应用的任何类型的金属或分子线圈。
[0029]在图1C中，用户在2D形状的一个部分20通过手指14和拇指18抓握形状16。在图1D中，用户做出悬浮手势以在第三维度中将抓握的部分从触摸屏10中提出。这创建了形状的第三维度。取决于应用，形状现在显得是圆形滑道或线圈弹簧。扩展到第三维度的量可在显示器上以透视示出，或者通过3D显示器，添加的维度可被渲染为3D显示器上的第三维度。
[0030]在所示示例中，触摸屏装置示为智能电话，但本发明并不限于此。通过智能电话实现，触摸屏可用于通过手指或触笔产生绘图。悬浮手势可由一般用于视频会话的前照相机观察。立体前照相机可在装置上提供以便更准确地观察悬浮手势。立体前照相机也可用于3D视频会话或视频记录。通过类似地配备的触摸板、媒体播放器、平板计算机、笔记本计算机或台式机或一体机的显示器，可使用相同方案。也可使用专用游戏装置。绘图可在如示出的显示绘图的屏幕上，或者绘图和悬浮手势可在单独触摸板上做出，显示器在不同表面上，如在具有单独触摸板和显示器的典型笔记本计算机配置中一样。显示器10和装置12可用作单独的装置或者用作具有另外显示器、照相机并且也具有另外处理资源的更大系统的输入装置。
[0031]绘图16的特征可还由其它用户控制定义。这些控制可允许用户识别项目的性质，建立用于项目的应用上下文，并且定义维度。例如，用户可能指示线圈弹簧由具有特定规格和基本半径的特定钢合金制成。此信息可用于设置游戏游玩的参数或者用于工程或科学目的。用户可直接选择此类参数，或者参数可由应用暗示。应用例如可提示用户通过已经由应用定义的参数创建特定项目，或者用户可选择具有预定义参数的特定项目。在确定项目后，然后能够基于选择的项目定义绘出的形状。
[0032]图2A示出用户使用手指14在便携式装置12的屏幕或触摸表面10上绘出不同形状22的另一示例。用户然后在形状22的部分30上建立抓握，并且在屏幕上方提起该部分。在所示示例中，通过触摸并保持动作而不是通过抓握动作建立抓握。形状的被触摸部分然后变得“不动”，并且跟随用户的手指14来建立直至被释放。
[0033]图2B示出产生的3D形状。在此示例中，3D形状是路径、轨道或导轨，其中，添加的第三维度对应于高度。用户然后可将球、骑士(rider)、雪撬、汽车或其它对象放置到3D形状上，以促使被放置项目沿路径向下行进。如图所示，用户放置了沿路径向下滚动的一系列球 24、26、28。
[0034]图3示出用户使用双手32、34抓握在装置12的显示器10上的形状36的另一示例。通过使用双手，用户能够在不同方向推拉以定义在屏幕的平面中并且也在第三维度中的形状的维度。在所示示例中，用户应用一只手34的手指来固定形状36的第一部分的位置。用户使用另一只手32抓握形状的另一部分。当用户提起抓握的手32时，抓握的部分被提起，而固定位置保持在屏幕的平面中。双手手势允许通过对形状的更精确控制来创建更多种的不同形状。
[0035]在上述所有示例中，通过选择形状的一部分并且将它提出屏幕，用户将第三维度添加到二维形状。这可使用抓握手势进行，或者通过指示诸如触摸并保持的抓握命令进行。拉或提手势是在装置上或其附近的一个或更多个照相机观察的悬浮手势。虽然原形状指示为由用户绘出，但这不是本发明所必需的。用户可从应用库或外部位置选择预定义的形状。也可使用照相机获得形状。
[0036]作为提或拉动作的备选地，用户可备选地或另外将部分形状向下推到屏幕中。推的持续时间或压力可用于确定离屏幕的平面的距离。持续时间或压力可由触摸屏表面或由照相机检测到。推可与提组合以在两个方向上移动形状的部分，并且在两个方向上定义第三维度。这可称为z轴，其中，触摸屏占用X和y轴。使用垂直显示器而不是水平显示器时，第三维度可以在X或y轴中，而显示器占用Z轴及X或y轴。在用户操纵对象时，反馈可在屏幕上显示，示出3D位移的方向、3D位移的程度及其它方面以允许用户知道正在接收输入以及从用户输入产生的更改的程度。
[0037]虽然上述示例使用曲线，但相同技术可应用到线条和具有内部面积的封闭形状。图4A示出在装置12的触摸表面10上的圆圈44。在图4B中，用户46抓握圆心并且从表面将它上提。图4C中的结果是3D球体48。通过更多或更少地提起，可将3D体积创建为椭圆体积。任何闭合的2D区域可通过此方案用于在第三维度中将体积添加到区域的特定部分，或者如在图4C中，均匀添加到整个区域。三角形可转换成角锥体。方形可转换成立方体等。此添加的维度可在2D或3D显示器上显示。
[0038]2D对象可以采用多种不同方式的任何方式使用。在图2B中，沿斜坡或斜道向下滚动球。在图5A中，已在笔记本计算机52的显示器50上创建弹弓54。任何类型的显示器或计算装置可如上所提及的使用，如台式触摸屏计算机或保持直立的平板计算机。弹弓具有用于发射抛射体的皮带56。显示器可视为占用X和y轴。然而，关于所有其它示例，轴的名称和坐标系统的类型可适用于适合任何特定应用。
[0039]在图5B中，用户抓握皮带并且在负y轴的方向上将它拉离屏幕。这拉伸了皮带，皮带是一种类型的虚拟捆绑物。在用户释放皮带时，可从弹弓向显示器中正y轴中所示的对象发射虚拟抛射体。抛射体可由用户选择或放置在皮带中，或者它可由应用供应而无需用户输入。用户的悬浮手势可由内置或耦合到显示器的一个或更多个照相机60观察。
[0040]前面图的相同抓握和提起悬浮手势在图5B中用于将对象移离屏幕。在此情况下，对象是弹弓皮带。类似的原理可应用到抛射器，各种杠杆等。用户的动作可不但用于将皮带直接从显示器移离，而且对准弹弓。用户可将皮带的抓握部分上下、左右及前后移动，以便调整用于虚拟捆绑物的释放部分。就弹弓而言，这允许精确地对准弹弓，并且应用到抛射体的力受到控制。同样地，在图1C和2A的示例中，用户可在不同方向上移动形状的抓握部分以便也调整其X和y维度及其z轴维度。
[0041]图6是从用户与其交互以便创建和使用三维对象的系统角度示出上述操作的一个示例的过程流程图。过程流程可在另一程序的操作期间发生，或者作为单独过程的开始或延续发生。取决于特定实现，过程可以按多种不同方式开始。在602，过程通过接收用户输入以在显示器上绘出形状开始。用户输入可以是触摸屏、触摸板或悬浮手势，或者它可以通过鼠标或专用绘图装置应用的输入。
[0042]作为接收绘图输入的备选地，形状可从库中选择或者从不同形状的源导入。形状可以是曲线、线条、封闭区域、图片或多种其它形状的任何形状。形状可以是二维形状或三维形状。
[0043]在604，在显示器上显示形状，并且在606，由用户选择形状。形状一般在诸如平坦表面的平坦表面上呈现，并且用户可通过悬浮手势、触摸手势或使用指点装置选择形状。然而，3D形状可替代地在平坦屏幕表面上呈现。
[0044]在608，观察从显示器移走至少一部分呈现的形状的手势。手势可以是悬浮手势，或者它可以是触摸手势。在一个示例中，手势是形状的一部分的抓握，以及然后是从显示器到显示器前面空中的拉离。用户也可做出旋动动作或其它动作手势以促使对象旋转或歪曲。手势可以是在所有三个维度中的移动，以便它不但定义与显示器的距离，而且定义与抓握动作的起点的水平和垂直距离。对于原来为二维的形状，手势指示形状要如何变成三维。对于三维形状，手势可修改其三维特点。
[0045]在另一示例中，手势是到显示器中的推，并且压力量或时间量确定从显示器的平面将形状的选择部分的移动多远。关于拉，推也可具有水平和垂直移动。如上所示，用户可使用双手或两个手指保持原形状的一部分并且移动另一部分。这更精确地定义要移动哪些部分，以及不要移动哪些部分。
[0046]形状的拉或推可伴有声音效果以提供收到的命令的确认。在一个示例中，声音效果可以是拉伸声音，其更改音高以指示远离显示器或远离起始点的程度。其它声音效果可用于指示诸如刮擦或摩擦效果的移动。
[0047]关于每个手势，可以有诸如抓握动作的原起始手势、诸如手或仪器的移动的移动手势及诸如释放的结束手势。如果通过外设装置执行手势，则装置上的按钮可用于指示开始和结束。如果通过手做出手势，可使用手指移动或话音命令，或者可使用另一只手，通过手势、按钮按压或以其它方式指示开始和结束。
[0048]在610，基于观察的手势，修改原来呈现的形状。修改将在对应于观察的手势的远离屏幕的方向上。在一些情况下，将通过将第三维度添加到原二维形状以生成三维形状来修改呈现的形状。
[0049]在612，将修改的形状显示为三维虚拟对象。修改的形状可在614在3D显示器上显示，或者通过2D显示器上的透视示出。形状呈现为虚拟对象，因为它是显示的对象而不是实际对象。如上所述，3D形状然后可应用到多种不同使用。3D形状可在计算机辅助设计系统中使用。它可在多种工程或科学应用的任何应用中使用。它也可用于以后的交互。
[0050]在一些情况下，如在616，3D形状可选择地用于发射虚拟对象。虚拟对象可与修改的形状交互，并且此交互可在显示器上呈现。滚动球和弹弓发射的抛射体是此类交互的示例。用户手势也可接收为与修改的形状的用户交互，如上面所示的弹弓。这些交互可在显示器上呈现以供用户使用、检查或娱乐。
[0051]图7A是上述使用情况的更一般化示例的过程流程图。在702，诸如平板或平板计算机、智能电话、媒体播放器或游戏控制台或控制器的触摸屏装置接收在其触摸屏接口上对象的踪迹。绘图能够通过用户的手指在屏幕上绘出，屏幕检测手指的位置及其跨显示器的移动。备选地，可使用触笔或其它专用装置。此类装置中的触摸屏通常也是显示器。在704，装置在其触摸屏显示器上渲染追踪的对象。
[0052]在706，装置接收在其触摸屏上追踪和显示的对象的一部分的收缩手势。在708，装置跟踪远离其触摸屏的收缩手势的移动。可通过与一些触摸屏或与观察用户的收缩手势的照相机相关联的接近传感器跟踪移动。可使用相对于触摸屏确定收缩手势的位置的其它技术。
[0053]在710，装置渲染远离其触摸屏的追踪对象的收缩部分的3D扩展。这可使用透视、标高投影或3D显示器进行。此渲染产生线圈弹簧、凸起轨道、弹弓、沙滩球或在上述示例中示出的任何其它对象。
[0054]图7B是可用于上述虚拟捆绑物示例的特定操作的过程流程图。在722，触摸屏装置接收在其触摸屏接口上虚拟捆绑物的踪迹。此装置可以与上述装置是相同类型。虚拟捆绑物可以是如上所提及的弹弓、抛射器、射箭弓弦、空气炮或任何其它类型的虚拟捆绑物。在724，装置在其触摸屏显示器上渲染虚拟捆绑物。
[0055]在726，用户能够使用渲染的虚拟捆绑物。为此，用户抓握虚拟捆绑物。这可以是通过抓握渲染或皮带、手柄、杠杆或装置的任何其它方面。装置接收在其触摸屏上捆绑物的抓握手势。通常，这通过在触摸屏上能够检测到的手势完成。如同在706的收缩手势的抓握手势识别要抓握的渲染的部分。在728，用户从触摸屏移走抓握或收缩的手。装置跟踪远离其触摸屏的手势的移动。手势现在是悬浮手势，而没有与触摸屏的直接接触。
[0056]在730，装置基于被跟踪移动，确定虚拟捆绑物的拉力和瞄准。在732，装置接收用于捆绑物的释放手势。取决于上下文，这能够通过用户做出释放手势或通过用户做出多种其它手势的任何手势来发出。
[0057]在734，装置基于收到的释放手势和确定的拉力与瞄准来渲染虚拟捆绑物的弹性响应。这一般将是诸如石头或箭头的某种抛射体的发射。释放捆绑物的特定结果将取决于捆绑物意图表示的内容。
[0058]图8是能够支持上述操作的计算环境的框图。模块和系统能够在包括图9所示的多种不同硬件体系结构和形状因子中实现。在图中，在系统框外呈现外部接口过程，并且在框内呈现内部计算过程，然而，操作和过程可重新布置成适合其它实现。
[0059]命令执行模块801包括中央处理单元以缓存和执行命令并且在示出的其它模块与系统之间分布任务。它可包括指令栈、存储中间和最终结果的高速缓冲存储器及存储应用和操作系统的大容量存储器。命令执行模块也可用作系统的中央协调和任务分配单元。
[0060]屏幕渲染模块821在本地装置的一个或更多个屏幕上绘出对象以供用户查看。它能够适用于接收来自下述虚拟对象行为模块804的数据，并且在适当的屏幕上渲染绘出的对象、虚拟对象和任何其它对象。因此，来自绘图识别和渲染模块808的数据将确定在屏幕上2D对象的位置和外观，并且在使用手势将2D对象转成3D并且进行操纵后，虚拟对象行为模块将确定对应虚拟对象的位置和动态。例如，屏幕渲染模块821将在屏幕上相应地示出虚拟对象和相关联对象和环境。
[0061]用户输入和手势识别系统822可适用于识别用户输入和命令,包括用户的手势和手臂姿势。此类模块可用于识别手、手指、手指姿势、手移动和手相对于显示器的位置。例如，对象和手势识别模块能够确定用户做出手势以在第三维度中扩展对象，并且将虚拟对象落到或投到在各种位置的图像中或图像上。用户输入和手势识别系统可耦合到照相机或照相机阵列、麦克风或麦克风阵列、触摸屏或触摸表面或指点装置或这些项的某个组合以检测来自用户的手势和命令。
[0062]本地传感器823可包括在本地装置上可提供或可用的上面提及的任何传感器。这些传感器可包括一般在智能电话上可用的那些传感器，如前置和后置照相机、麦克风、定位系统、W1-Fi和FM天线、加速计及罗盘。这些传感器不但提供位置感知而且允许本地装置在与其它装置或环境交互时确定其定向和移动。
[0063]数据通信模块825包含允许系统中的所有装置进行通信的有线或无线数据接口。可存在与每个装置的多个接口。在一个示例中，主计算系统以无线方式与触摸板、指点装置、显示器和网络资源进行通信。它可通过蓝牙进行通信以发送用户命令和接收通过连接的装置播放的音频。可使用任何适合的有线或无线装置通信协议。
[0064]虚拟对象行为模块804适用于接收来自其它模块的输入，并且将此类输入应用到已生成并且在显示器中示出的任何虚拟对象。因此，例如用户输入和手势识别系统822将解释用户手势，并且通过将用户的手的捕捉移动映射到识别的移动，虚拟对象行为模块804将使虚拟对象的位置和移动关联到用户输入以生成将引导虚拟对象的移动以对应于用户输入的数据。
[0065]虚拟对象行为模块804也可适用于跟踪虚拟对象(生成的3D对象和AR人物)应在计算机屏幕周围的三维空间中。此模块也可在虚拟对象从一个显示器移到另一显示器时跟踪虚拟对象。此模块的贡献是跟踪任何虚拟对象的虚拟位置。
[0066]组合模块806通过在客户端装置上的本地传感器823，改变渲染的、选择的或存档的2D图像以添加由用户或软件环境提供的细节和参数，以及添加用户提供的3D信息。此模块可驻留在客户端装置上或者在“云”服务器上。
[0067]绘图识别和渲染模块808接收来自用户输入和手势识别系统822和本地传感器823的信息，并且向量化用户创建的光栅图像，或者从库提供图像。它也渲染用户提供的更改，更改允许用户使用触摸、悬浮手势或指点装置输入在三个维度的任何维度中拉伸、歪曲和移动屏上对象。它然后提供这些渲染到屏幕渲染模块821以创建在屏幕上出现的视觉元素。
[0068]对象和人员识别模块807使用收到的照相机数据来识别特定的实际对象和人员。用户可使用对象标识来引入二维图形对象或控制器装置。可比较对象和图像库以识别对象。通过使用面部识别技术或者借助于通过个人、本地或蜂窝网络接收来自与识别的人员相关联的装置的数据，能够识别人员。识别对象和人员后，然后能够应用身份到其它数据，并且将身份提供到绘图识别和渲染模块808以便生成对象和人员的适合表示以供显示。模块也可用于对用户帐户进行鉴权。
[0069]用户输入映射模块803协调用户输入的定时，协调用户和库图形的向量化，以及然后跟踪用户触摸和手势输入以便操纵在三维中创建的对象。它也跟踪从虚拟对象行为模块804的输入以映射用户提供的输入，以便与用户创建的3D对象交互。
[0070]游戏模块802提供另外的交互和效果。游戏模块802可生成虚拟人物和虚拟对象以添加到放大的图像。它也可提供任何数量的游戏效果到虚拟对象，或者作为与实际对象或化身的虚拟交互。例如图2B、5A和5B的游戏游玩可全部由游戏模块提供。游戏模块802也可用于生成声音效果。可为虚拟对象的创建及虚拟对象的使用将声音效果生成为反馈。
[0071]3D图像交互和效果模块805跟踪与放大图像中实际和虚拟对象的用户交互，并且确定z轴中对象的影响(朝向和远离屏幕的平面)。它提供另外的处理资源以提供这些效果以及在三维中对象相互的相对影响。例如，能够在3D中跟踪投掷或发射对象的用户手势以确定对象如何行进。模块也可提供数据和物理学以便在三维中渲染对象。3D图像交互和效果模块805也可用于生成声音效果。可为虚拟对象的创建及虚拟对象的使用将声音效果生成为反馈。在抓握或接触形状时，以及在操纵形状时，可生成特殊声音。对于将部分对象移动远离显示器的悬浮手势，模块可提供声音以确认手势的开始和手势的结束，及伴随手势的声音以指示移动的范围，从屏幕的位移和手势的其它方面。
[0072]图9是计算系统的框图，如个人计算机、游戏控制台、智能电话或便携式游戏装置。计算机系统900包括用于传递信息的总线或其它通信部件901和诸如与总线901耦合的微处理器902的用于处理信息的处理部件。可通过图形处理器903和物理处理器905增强计算机系统，图形处理器903专门用于通过平行管道渲染图形，物理处理器905用于计算物理交互。这些处理器可并入中央处理器902中或者提供为一个或更多个单独的处理器。
[0073]计算机系统900还包括诸如随机存取存储器(RAM)或其它动态数据存储装置的耦合到总线901以便存储信息和要由处理器902执行的指令的主存储器904。主存储器也可用于在处理器执行指令期间存储临时变量或其它中间信息。计算机系统也可包括诸如只读存储器(ROM)或其它静态数据存储装置的耦合到总线以便存储用于处理器的静态信息和指令的非易失性存储器906。
[0074]诸如磁盘、光盘或固态阵列及其对应驱动器的大容量存储器907也可耦合到控制器系统的总线以便存储信息和指令。计算机系统也能够经总线耦合到显示装置或监视器921，如液晶显示器(IXD)或有机发光二极管(OLED)阵列以便向用户显示信息。例如，除上面讨论的各种视图和用户交互外，还可在显示装置上向用户显示安装状态、操作状态和其它信息的图形和文本指示。显示器也可包括诸如扬声器和振荡器的音频和触觉组件以将另外的信息作为声音、振荡和其它效果提供到用户。
[0075]通常，诸如具有字母数字、功能和其它键的用户输入装置922可耦合到总线以便将信息和命令选择传递到处理器。另外的用户输入装置可包括诸如鼠标、跟踪球、跟踪板，或光标方向键光标控制输入装置能够耦合到总线以便将方向信息和命令选择传递到处理器以及控制在显示器921上的光标移动。
[0076]照相机和麦克风阵列923耦合到总线以便如上所提及的观察手势，记录音频和视频，以及接收视觉和音频命令。
[0077]通信接口 925也耦合到总线901。通信接口可包括调制器、网络接口卡或其它熟知的接口装置，如用于耦合到以太网、令牌环或其它类型的物理有线或无线附连的那些装置以便例如提供通信链路以支持局域网或宽域网(LAN或WAN)。这样，计算机系统也可经例如包括内联网或因特网的常规网络基础设施耦合到多个外设装置、客户端、控制表面、控制台或服务器。
[0078]要领会的是，对于某些实现，比上述示例更少或更多配备的系统可优选用于某些实现。因此，示范系统800和900的配置将根据许多因素因实现的不同而不同，如价格约束、性能要求、技术改进或其它情况。电子装置或个人计算机的示例可包括但不限于移动装置、个人数字助理、移动计算装置、智能电话、蜂窝电话、手持机、单向寻呼器、双向寻呼器、消息传递装置、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持式计算机、平板计算机、服务器、服务器阵列或服务器场、web服务器、网络服务器、因特网服务器、工作站、微型计算机、大型计算机、超级计算机、网络器具、web器具、分布式计算系统、多处理器系统、基于处理器的系统、消费者电子器件、可编程消费者电子器件、电视、数字电视、机顶盒、无线接入点、订户站、移动订户中心、无线电网络控制器、路由器、集线器、网关、桥接器、交换器、机器或其组合。
[0079]实施例可实现为以下任意之一或其组合:使用母板互连的一个或多个微芯片或集成电路、硬件逻辑、由存储器装置存储并且由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。术语“逻辑”可例如包括软件或硬件和/或软件和硬件的组合。
[0080]实施例例如可提供为计算机程序产品，计算机程序产品可包括上面存储有一个或多个机器可执行指令的一个或多个机器可读媒体，指令在由诸如计算机、计算机的网络或其它电子装置的一个或多个机器执行时，可促使一个或多个机器执行根据本发明的实施例的操作。机器可读媒体可包括但不限于软盘、光盘、CD-ROM(压缩光盘只读存储器)、磁光盘、ROM (只读存储器)、RAM (随机存取存储器)、EPR0M (可擦除编程只读存储器)、EEPR0M (电擦除可编程只读存储器)、磁卡或光学卡、闪存和/或适用于存储机器可执行指令的其它类型的媒体/机器可读媒体。
[0081]另外，实施例可作为计算机程序产品下载，其中，程序可经通信链路(例如，调制解调器和/或网络连接)，通过载波或其它传播媒体中包含和/或调制的一个或更多个数据信号，从远程计算机(例如，服务器)下载到请求的计算机(例如，客户端)。相应地，在本文中使用时，机器可读媒体可包括但不要求包括此类载波。
[0082]对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的引用表示这样描述的本发明的实施例可包括特定特征、结构或特性，但并非每个实施例一定包括特定特征、结构或特性。此外，一些实施例可具有其它实施例所述的一些或所有特征，或不具有其任何特征。
[0083]在下面的描述和权利要求书中，可使用术语“耦合”及其衍生词。“耦合”用于指两个或更多个元素相互合作或交互，但它们可以有或没有中间物理或电组件。
[0084]在权利要求中使用时，除非另有规定，否则，使用序数形容词“第一”、“第二”、“第三”等描述普通元素只表示在提及类似元素的不同实例，并且无意暗示这样描述的元素必须在时间上、空间上、排序中或以任何其它方式处于给定顺序。
[0085]以下示例涉及其它实施例。示例中的细节可在一个或更多个实施例中任意处使用。在一个实施例中，方法包括:接收形状的选择；在显示器上呈现选择的形状；观察从显示器移走至少一部分呈现的形状的手势；在对应于观察的手势的远离显示器的方向上，基于观察的手势，修改呈现的形状；以及在基于观察的手势修改呈现的形状后，将修改的形状呈现为三维虚拟对象。
[0086]实施例包括上述的方法，其中，呈现的形状是二维形状，以及其中，修改呈现的形状包括添加第三维度到二维形状以生成三维形状。
[0087]实施例包括任一上述方法，其中，呈现的形状是曲线，或者其中，呈现的形状是具有面积的封闭形状，并且三维虚拟对象具有体积。
[0088]实施例包括任何上述方法，其中，呈现的形状是二维图片。
[0089]实施例包括任何上述方法，其中，呈现修改的形状包括在三维显示器上以三维显示修改的形状。
[0090]实施例包括任何上述方法，还包括通过检测在触摸屏上的手势，接收呈现的形状的一部分的选择，以及其中，观察手势包括观察手势以移动呈现的形状的选择的部分。
[0091]实施例包括上述方法，其中，观察手势包括观察将呈现的形状的选择的部分从显示器推到呈现形状的显示器的平面中的手势，或者其中，呈现的形状是二维形状，以及其中，修改呈现的形状包括基于推手势，添加第三维度到二维形状，或者其中，基于推手势确定第三维度的范围。
[0092]实施例包括任何上述方法，其中，接收形状的选择包括通过照相机观察悬浮手势，接收话音命令，以及接收触摸屏命令中的至少一个，或者其中，观察手势包括观察指向一部分呈现的形状的抓握手势和呈现的形状的抓握部分从二维显示器到第三维度的拉入。
[0093]实施例包括任何上述方法，还包括接收用户输入以在显示器上绘出呈现的形状，以及其中，在显示器上呈现形状包括呈现绘出的形状。
[0094]实施例包括任何上述方法，还包括基于观察的手势呈现声音效果以指示离开显示器的移动量。
[0095]实施例包括任何上述方法，还包括发射虚拟对象以便与修改的形状交互和在显示器上呈现交互。
[0096]实施例包括任何上述方法，还包括观察与修改的形状交互的其它手势和在显示器上呈现交互。
[0097]在另一实施例中，机器可读媒体具有指令，指令在由计算机操作时促使计算机执行操作，包括:接收形状的选择；在显示器上呈现选择的形状；观察从显示器移走至少一部分呈现的形状的手势；在对应于观察的手势的远离显示器的方向上，基于观察的手势，修改呈现的形状；以及在基于观察的手势修改呈现的形状后，将修改的形状呈现为三维虚拟对象。
[0098]实施例包括上述媒体,操作还包括接收在观察手势前的手势开始命令和促使观察手势结束的手势结束命令。
[0099]实施例包括任一上述媒体，其中，观察手势包括将抓握手势观察为开始命令和将释放手势观察为结束命令。
[0100]在另一实施例中，设备包括:接收形状的选择的手势输入和识别系统；在显示器上呈现选择的形状的屏幕渲染模块，手势输入和识别系统还观察从显示器移走至少一部分呈现的形状的手势；以及绘图识别和渲染模块，基于在对应于观察的手势的远离显示器的方向上的观察的手势，修改呈现的形状，屏幕渲染模块在基于观察的手势修改呈现的形状后，将修改的形状呈现为三维虚拟对象。
[0101]实施例包括上述设备，其中，手势输入和识别模块确定远离显示器的移动范围，以及其中，绘图识别和渲染模块基于移动范围提供第三维度量。
[0102]实施例包括任一上述设备，其中，手势输入和识别系统包括观察悬浮手势的照相机和接收触摸屏命令的触摸屏接口。在另一实施例中，设备包括用于执行一个或更多个上面提及的操作的部件。
[0103]图形和前面的描述提供了实施例的示例。本领域技术人员将领会，一个或更多个所述元素可很好地组合成单个功能元素。备选地，某些要素可分割成多个功能要素。来自一个实施例的要素可添加到另一实施例。例如，本文中所述进程的顺序可更改并且不限于本文中所述的方式。另外，任何流程图的动作无需以所示顺序实现；不一定需要执行所有动作。此外，与其它动作不相关的那些动作可与其它动作并行执行。实施例的范围决不限于这些特定示例。许多变化是可能，无论是否在说明书中明确提供，例如结构、维度和材料使用中的差别。实施例的范围至少如随附权利要求所给出的一样广泛。
【权利要求】
1.一种方法，包括: 接收形状的选择； 在显示器上呈现选择的形状； 观察从所述显示器移走至少一部分所述呈现的形状的手势； 在对应于所述观察的手势的远离所述显示器的方向上，基于所述观察的手势修改所述呈现的形状；以及 在基于所述观察的手势修改所述呈现的形状后，将所述修改的形状呈现为三维虚拟对象。
2.如权利要求1所述的方法，其中所述呈现的形状是二维形状，以及其中修改所述呈现的形状包括添加第三维度到所述二维形状以生成三维形状。
3.如权利要求1所述的方法，其中所述呈现的形状是曲线。
4.如权利要求1所述的方法，其中所述呈现的形状是具有面积的封闭形状，并且所述三维虚拟对象具有体积。
5.如权利要求1所述的方法，其中所述呈现的形状是二维图片。
6.如权利要求1所述的方法，其中呈现所述修改的形状包括在三维显示器上以三维显示所述修改的形状。
7.如权利要求1所述的方法，还包括通过检测在触摸屏上的手势来接收所述呈现的形状的一部分的选择，以及其中观察所述手势包括观察以移动所述呈现的形状的所述选择的部分的所述手势。
8.如权利要求7所述的方法，其中观察手势包括观察将所述呈现的形状的所述选择的部分从所述显示器推到在其上呈现所述形状的所述显示器的平面中的手势。
9.如权利要求8所述的方法，其中所述呈现的形状是二维形状，以及其中修改所述呈现的形状包括基于所述推手势将第三维度添加到所述二维形状。
10.如权利要求9所述的方法，其中基于所述推手势确定所述第三维度的范围。
11.如权利要求1所述的方法，其中接收形状的选择包括通过照相机观察悬浮手势，接收话音命令，以及接收触摸屏命令中的至少一个。
12.如权利要求1所述的方法，其中观察手势包括观察指向一部分所述呈现的形状的抓握手势和所述呈现的形状的所述抓握部分从二维显示器到第三维度的拉入。
13.如权利要求1所述的方法，还包括接收用户输入以在所述显示器上绘出所述呈现的形状，以及其中在所述显示器上呈现所述形状包括呈现所述绘出的形状。
14.如权利要求1所述的方法，还包括基于所述观察的手势呈现声音效果以指示离开所述显示器的移动量。
15.如权利要求1所述的方法，还包括发射虚拟对象以便与所述修改的形状交互和在所述显示器上呈现所述交互。
16.如权利要求1所述的方法，还包括观察与所述修改的形状交互的另外的手势和在所述显示器上呈现所述交互。
17.一种具有指令的机器可读媒体，所述指令在由计算机操作时，促使所述计算机执行操作，包括: 接收形状的选择； 在显示器上呈现所述选择的形状； 观察从所述显示器移走至少一部分所述呈现的形状的手势； 在对应于所述观察的手势的远离所述显示器的方向上，基于所述观察的手势修改所述呈现的形状；以及 在基于所述观察的手势修改所述呈现的形状后，将所述修改的形状呈现为三维虚拟对象。
18.如权利要求17所述的媒体，所述操作还包括接收在观察所述手势前的手势开始命令和促使观察所述手势结束的手势结束命令。
19.如权利要求18所述的媒体，其中观察手势包括将抓握手势观察为开始命令和将释放手势观察为结束命令。
20.—种设备,包括: 接收形状的选择的手势输入和识别系统； 在显示器上呈现所述选择的形状的屏幕渲染模块，所述手势输入和识别系统还观察从所述显示器移走至少一部分所述呈现的形状的手势；以及 绘图识别和渲染模块，其基于在对应于所述观察的手势的远离所述显示器的所述方向上的所述观察的手势，修改所述呈现的形状，所述屏幕渲染模块在基于所述观察的手势修改所述呈现的形状后，将所述修改的形状呈现为三维虚拟对象。
21.如权利要求20所述的设备，其中手势输入和识别模块确定远离所述显示器的移动范围，以及其中所述绘图识别和渲染模块基于所述移动范围提供所述第三维度的量。
22.如权利要求20所述的设备，其中所述手势输入和识别系统包括观察悬浮手势的照相机和接收触摸屏命令的触摸屏接口。
23.一种包括用于执行权利要求1的每个操作的部件的设备。
【文档编号】G06T19/20GK104205034SQ201280072015
【公开日】2014年12月10日 申请日期:2012年3月29日 优先权日:2012年3月29日
【发明者】G.J.安德森 申请人:英特尔公司