具有图形用户界面的方法和便携式设备的制作方法
【专利摘要】提供了一种具有图形用户界面的方法和便携式设备。所述便携式设备包括显示屏、处理器和可由便携式设备的用户操作的输入装置。处理器被配置为：控制显示屏显示包括三维（3D）空间中的至少一个对象的图形用户界面。输入装置被配置为检测用户输入并将输入信号提供给处理器。处理器还被配置为：接收输入信号，确定在显示屏中的输入位置，确定旋转轴的方向，并使所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。还公开了一种适合于由便携式设备显示的图形用户界面以及操作便携式设备的方法。
【专利说明】具有图形用户界面的方法和便携式设备
【技术领域】
[0001]本公开总体涉及一种具有以三维方式提供反馈的图形用户界面(GUI)的移动电话或其他类似设备(在这里总体被称为便携式设备)及其使用方法。
【背景技术】
[0002]诸如移动电话或其他便携式装置的便携式设备可具有允许用户与便携式设备交互的⑶I。传统GUI 一般包括对象二维(2D)布置，所述对象包括文本框、选择框、按钮等。便携式设备通常包括用于用户输入(例如在GUI内选择对象)的触摸屏。由于可直接地与期望对象交互，因此触摸屏通过移除对于单独用户输入装置的需要来最大化显示屏的可用尺寸并允许更直观的用户输入。然而，在用户的手指或其他指示装置从屏幕移开之前，用户可能难以确认通过触摸显示屏选择的对象是否被正确地选择。即使响应于用户的触摸，选择的对象改变颜色或形状或显示不同的图像，这样的改变也可能被用户的手指或手模糊。由于用户可能只在由通过其选择而触发的改变提供反馈的事件之后才可接收确认，因此用户可能几乎看不到按钮何时被按下或按钮是否被按下。
【发明内容】
[0003]根据以上缺点，本公开的一方面提供一种具有触摸屏的改进的⑶I，通过在⑶I内显示的对象的移动来提供用户输入的可视确认，对象的移动不会被用户输入本身模糊。
[0004]在特定实施例中，⑶I被布置为显示位于三维(3D)空间中的延伸进显示屏的轴的不同位置上的第一对象和第二对象。响应于用户输入，第一对象和第二对象在3D空间中绕旋转轴旋转，使得第一对象和第二对象在显示屏的平面上相对于彼此移动。结合旋转的第一对象和第二对象在显示屏的平面中的相对移动意图给予GUI倾斜的表现，并提供视差效果，其中，相对移动取决于从显示屏的平面到每个对象的距离以及从每个对象到旋转轴的距离。
[0005]有益地，本发明可保持传统2D⑶I的清晰，同时开发由传统便携式设备的图形处理单元(GPU)提供的未充分利用的3D渲染功能，以提供增强的可视用户反馈。对象可被布置在3D空间中以模拟对象的移动，就好像它们被物理地触摸一样。
[0006]根据本公开的另一方面，提供一种便携式设备，包括:显示屏；处理器；可由便携式设备的用户操作的输入装置；其中，处理器被配置为:控制显示屏显示包括3D空间中的至少一个对象的⑶I ;其中，输入装置被配置为检测用户输入并将输入信号提供给处理器；其中，处理器还被配置为:接收输入信号，确定在显示屏中的输入位置，确定旋转轴的方向，并使所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。
[0007]所述至少一个对象绕旋转轴的旋转可取决于处理器是否确定输入信号指示对象的用户选择。
[0008]旋转轴可以与显示屏的平面平行或者与显示屏的平面成锐角。[0009]所述至少一个对象的旋转可使得作为显示屏的平面中的输入位置的旋转轴的相同侧上的至少一个对象的部分沿延伸进显示屏的轴从显示屏移开。
[0010]处理器还可被配置为，确定显示屏的平面中的枢轴点的位置，使得所述至少一个对象的部分在显示屏的平面中从枢轴点沿所有方向延伸。
[0011]处理器还可被配置为:根据确定的输入位置确定显示屏的平面中的枢轴点的位置，使得枢轴点远离输入位置。
[0012]图形用户界面还可包括被布置为不绕旋转轴旋转的至少一个对象。
[0013]处理器还可被配置为:确定输入信号是否指示用户选择了至少一个另外的对象，如果是，则使得所述至少一个另外的对象变换、旋转或改变大小。
[0014]输入装置可包括:触摸屏，被配置为向处理器提供指示被用户触摸的触摸屏的一部分的输入信号。
[0015]处理器还可被配置为:确定用户输入信号的时长，并在用户输入信号结束时使得所述至少一个对象的旋转倒退。
[0016]所述便携式设备还可包括:传感器，被配置为:测量通过用户输入施加到便携式设备的力量，并将力量测量提供给处理器，其中，处理器还被配置为根据力量测量确定所述至少一个对象的旋转的速度。
[0017]处理器还可被配置为:使得所述至少一个对象绕单独的旋转轴旋转，使得所述至少一个对象改变形状、大小、透明度、图像或颜色，或使得所述至少一个对象在3D空间中进行除了绕确定的旋转轴旋转以外的变换。
[0018]图形用户界面可包括布置在3D空间中的延伸进显示屏的轴的不同位置上的第一对象和第二对象，以便第一对象和第二对象绕旋转轴的旋转使得第一对象和第二对象在显示屏的平面上相对于彼此移动。
[0019]枢轴点可位于第一对象和第二对象之间的延伸进显示屏的轴上，在比第一对象或第二对象更远的轴的位置上，在显示屏和最接近于显示屏的对象之间，或者在显示屏上的第一对象和第二对象的相反侧。
[0020]处理器还可被配置为响应于接收到的输入信号而产生3D空间中的第一对象和第二对象之间的相对移动。
[0021]处理器可被配置为使得第一对象和第二对象的相对移动在第一对象和第二对象的旋转之前或之后。
[0022]处理器还可被配置为针对至少一个对象确定单独的旋转轴。
[0023]根据本发明的另一方面，提供一种包括3D空间中的至少一个对象的图形用户界面，所述图形用户界面被布置为:响应于由用户输入信号确定的输入位置，所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。
[0024]根据本发明的另一方面，提供一种操作便携式设备的方法，其中，便携式设备包括显示屏、处理器和可由便携式设备的用户操作的输入装置，所述方法包括:操作处理装置以控制显示屏显示包括3D空间中的至少一个对象的图形用户界面；操作输入装置以检测用户输入并将输入信号提供给处理器；操作处理器以接收输入信号，确定显示屏中的输入位置，确定旋转轴的方向，并使所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。
[0025]根据本公开的另一方面，提供了一种存储被配置为使便携式装置实现上述方法的计算机程序代码的计算机可读介质。
【专利附图】
【附图说明】
[0026]从下面结合附图的详细描述，本发明的特定实施例的以上和其他方面、特征和优点将更加清楚，其中:
[0027]图1是示出根据本发明的一组示例性实施例的便携式设备的组件的框图；
[0028]图2示出根据本发明的一组示例性实施例的便携式设备的透视图；
[0029]图3示出根据本发明的一组示例性实施例的在休眠状态下的GUI的屏幕截图；
[0030]图4是根据本发明的一组不例性实施例的响应于用户输入而应用于图3的⑶I的变换(transition)的屏幕截图；
[0031]图5示出根据本发明的一组示例性实施例的形成图3的⑶I的对象的布局；
[0032]图6示出根据本发明的一组示例性实施例的形成图4的⑶I的对象的布局；
[0033]图7是示出根据本发明的一组示例性实施例的形成在图4中示出的变换的旋转和移位的移动的临时布置的曲线图；
[0034]图8是示出根据本发明的一组示例性实施例的将变换应用于图4中示出的GUI的方法的流程图；
[0035]图9是根据本发明的一组示例性实施例的应用于图3的GUI的替代变换的屏幕截图；
[0036]图10包括根据本发明的一组示例性实施例的示出应用于图3的工具栏的变换的三个部分屏幕截图；
[0037]图11是根据本发明的一组示例性实施例的应用于图3的GUI的替代变换的屏幕截图；
[0038]图12是根据本发明示例性实施例的在休眠状态下的替代GUI的屏幕截图；
[0039]图13是根据本发明示例性实施例的响应于用户输入而应用于图12的GUI的变换的屏幕截图。
【具体实施方式】
[0040]参照附图详细描述本发明的示例性实施例。贯穿附图，使用相同的标号表示相同或相似的部件。为了清楚和简明的目的，可省略对这里包含的公知功能和结构的详细描述以避免模糊本发明的主题。
[0041]说明书和附图被认为是示例性的意义而不是限制性的意义以帮助理解本发明。本领域的技术人员应清楚的是，在不脱离本发明的广义精神和范围的情况下，可对本发明做出各种修改和改变。图1是示出便携式设备100 (诸如移动电话)的组件的框图。便携式设备100包括显示屏幕102、被构造为将⑶I显示在屏幕102上的处理器104、存储器106以及被构造为接收用户输入的输入装置108。显示在屏幕102上的⑶I包括在3D空间中渲染的至少一个对象。这些对象可在二维或三维中。在一个实施例中，⑶I包括在3D空间中渲染的至少第一 2D对象和第二 2D对象，从而所述对象与显示屏幕102的平面(X: Y平面)平行并沿延伸到显示屏幕的轴(Z轴)隔开。图2中示出显示屏幕X: Y平面以及穿过显示屏幕102延伸到3D空间的Z轴，图2示出具有位于外壳110的第一表面上的显示屏幕102的便携式设备100。从GUI “相机”的角度(从而从观看显示屏幕的用户的角度)，第一对象和第二对象可表现为2D⑶I。之后详细描述“相机”概念。包括第一对象和第二对象的⑶I的元素被存储在便携式设备100内的存储装置106内。
[0042]可在便携式设备100上实现本发明的特定实施例，其中，便携式设备100包含将显示屏幕102和输入装置108组合在单个组件内的触摸屏，以允许用户直观地与⑶I交互，但是本发明不限于这样。具体地讲，本发明意图覆盖传统的显示屏幕102，其中，传统的显示屏幕102不具有触摸输入并被设置为与可选择的输入装置108、通过麦克风的声音输入装置、通过相机或视频相机捕捉的手势输入装置或者其它类型的接近传感器连接，其中，输入装置108包括但不限于一个或多个按钮、滑块、控制杆或相似的物理装置。本领域的技术人员将认识到便携式设备100还可包含从这些装置可知的组件，包括用于与网络或其它装置进行通信的通信电路以及其它输入和输出装置(诸如扬声器或麦克风)。本发明还可应用于传统的2D显示屏幕和3D显示屏幕两者。本专利说明书内的用户输入装置、手势和相似细节的讨论不应被认为以任何方式限制可应用所要求保护的图形用户界面和技术的便携式装置。当参照例如用户在走廊内选择对象时，这意图覆盖触摸屏实施例，在触摸屏实施例中，用户直接触摸显示器以选择对象。这还意图覆盖用户输入某种其它形式的输入以选择图像的实施例，例如，通过按压按钮以选择位于显示屏幕102的当前焦点处(诸如中心)的对象。
[0043]本发明的实施例基于每个对象距相机的距离，利用GUI相机的视角对在3D空间中渲染的一组对象的明显相对运动的影响。通过将3D空间内的至少第一对象和第二对象沿从显示屏幕延伸到3D空间的Z轴布置在不同的位置，对象绕旋转轴的旋转运动引起对象在X:Y平面的相对运动。可响应于用户输入尤其是响应于选择显示的对象中的一个或与显示的对象中的一个进行交互的用户输入，来提供该旋转运动和相对X和Y运动。该相对X和Y运动可被称为视差运动，由此，远离旋转轴的对象看上去在X: Y平面上移动得更远并且更快。该运动还可被认为在3D空间中相对于位置固定的对象来平移CTI相机位置。每个对象看上去缩放尺度、位置、方位和倾斜度改变，从而组合起来观察到对象的旋转运动。本发明的实施例有意地利用3D空间中的对象的Z位置和GUI相机位置以便提高用户输入的视觉确认。
[0044]有益地，本发明的实施例向用户提供用户的输入已被正确地解释的增强的反馈。这提供更直观的与GUI的用户交互并避免在使用触摸屏时关于现有技术的以上识别的特定问题，由此，选择对象的行为会混淆将被选择的对象。在本发明的实施例的以下描述中，用户输入装置108将被描述为触摸屏，尽管如上所述，但是本发明不限于这样。本发明的实施例还提供用于GUI的视觉上有趣且与众不同的用户输入装置。此外，在接收到用户输入之前，Gn对象可被渲染，从而对象中的至少两个看上去落在与显示屏幕102平行的单个2D平面内或落在显示屏幕102的平面内，从而在一旦接收到用户输入，就使用典型便携式设备的3D图形渲染能力的同时保持传统的2D GUI的清晰度。
[0045]图3是示出根据本发明的示例性实施例的用于形成GUI300的在3D空间中渲染的多个对象的屏幕截图。屏幕截图描绘了在Χ:Υ平面上在便携式设备100的显示屏幕102上呈现的3D空间的示图。图3示出在通过触摸屏检测到用户输入之前的GUI。Gn为对话框。⑶I包括一组联系的对象,一组联系的对象包括以下对象中的至少一个:主菜单栏302、工具栏304、对主菜单栏302和工具栏304进行标注的文本对象306和图标308、弹出背景310、对弹出背景310进行标注的文本对象312 (“创建一个新相册”)、文本条目框314、对文本条目框314进行标注的文本对象316 (“新相册”)、第一按钮318、对第一按钮318进行标注的文本对象320 (“取消”)、第二按钮322、对第二按钮322进行标注的文本对象324 (“选择图片”)、第一方向箭头326和第二方向箭头328以及3D对象330 (例如，相册的图形3D表示)。可在弹出背景310的外部(例如，弹出背景310与工具栏304之间)观看其它对象。将理解，可存在能够包括在GUI内的大范围的可选或其它对象。
[0046]为了阐明⑶I “相机”的含义，图5示出在Y:Z平面上的3D空间的侧面图。S卩，图5的示图是从图3的屏幕截图的右侧的位置的角度的3D空间。将理解，图5的说明仅用于示例性的目的，并不意图提出3D空间具有任何物理、真实世界存在，也不意图提出用于构建图3的屏幕截图的任何特定处理。相机500面向对象302至330，并具有由线502和504限制的视场，这导致图3的屏幕截图。可以看出，对象302至330中的每一个沿Z轴被布置在各种位置。这相当于对象302至330处于距相机500不同的相对距离处。图5还将较深的GUI对象识别为在层506中位于沿Z轴的恒定距离处，但是将理解，实际上，较深的对象可沿Z轴占用各种位置。以上描述的各种文本标签被示出为稍微接近于相机500的位置，但是将理解，实际上文本标签可占用与它们相关联的对象相同的Z位置。
[0047]不管图5中沿Z轴的对象的位置如何，对象相对于屏幕的顶部边缘350和底部边缘352的位置由对象沿Y轴距视场线501、504的距离确定。将理解，可选择地，图5可被修改为在X: Y平面上呈现3D空间的示图，在这种情况下，不同的视场线关于屏幕的左边缘354和右边缘356将是明显的。
[0048]在图3和图5中示出的本发明的实施例中，菜单栏302和工具栏304被认为相对于相机500的位置是固定的，从而它们不响应于用户输入而移动。相似地，在层506中不出的较深的对象被认为相对于相机500的位置是固定的，从而它们不响应于用户输入而移动。根据本发明的这些实施例，如以下现在将联系图4和图6所述，图5中通过虚线403成为一组而示出的图3和图5中示出的所有剩余对象被认为形成一组共同形成对话框403的对象并被布置为响应于用户输入一起移动。
[0049]除了 3D对象330 (在该示例中，相册的图形表示)之外，形成对话框403的所有对象包括被布置为与显示屏幕的平面(X: Y平面)平行并位于沿Z轴的各种位置处的2D对象。如图3所示，效果为对话框403向用户表现为传统的2D GUI,就呈现的清晰度而言，这样保持了传统的GUI的优点。即使相册330为渲染的3D对象，它也向用户表现为没有任何旋转运动的2D图像。在没有对象的任何运动的情况下，用户将不会认识到对象沿Z轴被布置在不同的位置处。沿Z轴的对象的相对大小和对象的位置被选择，从而，组合起来，它们形成2D对话框在与显示屏幕的平面平行的单个平面上展开的表现。此外，对话框403向用户表现为沿Z轴位于与菜单栏302和工具栏304相同的位置处。效果好像不存在⑶I的深度元素。
[0050]图4和图6示出为提供在用户选择了显示的对象或与显示的对象进行交互时处理器正确识别的视觉确认而发生的事件的顺序。当用户选择了对话框403内的第一对象或与对话框403内的第一对象进行交互时，对话框403内的对象可绕旋转轴旋转。输入装置108被构造为检测用户输入事件，其中，在触摸屏的情况下，所述用户输入事件可包括用户触摸显示屏幕内的第一位置。输入装置108将输入信号提供给处理器104，其中，处理器104被构造为确定由用户选择的显示屏幕内的输入位置。输入位置可包括由用户触摸或选择的对象，或者在特定实施例中，可包括选择的对象内的特定位置。在其它实施例中，输入可以是例如在触摸屏幕上执行的触摸并拖动操作或触摸并扫动操作，在这种情况下，输入位置可被确定为沿GUI内的特定对象内的扫动路径或位于可选择的预定输入位置处。在特定实施例中，处理器可在确定是否旋转GUI内的对象之前确定输入位置是否与选择的对象相应。枢轴点被定义在3D空间内，处理器104可被构造为确定穿过枢轴点并且通常对从输入位置延伸到枢轴点的线进行横切的旋转轴。
[0051]在图3至图6中示出的本发明的示例性实施例中，对象可被布置为绕单个旋转轴旋转。用户输入可包括用户在显示“选择图片”按钮322的显示屏幕102的一部分上提供触摸输入。触摸输入可包括轻击或者触摸并保持。触摸输入在图4中通过圆圈400表示。如图4所示，响应于触摸输入，对话框403的对象被布置为绕延伸通过枢轴点404 (通过图4至图6中的十字识别)的旋转轴402旋转。包括对话框403的对象沿Z轴(由深度分离)展开,从而由于每个对象绕枢轴点404移动，因此每个对象看上去相对于彼此不同地移动，以展现出GUI的3D性质。该相对运动是GUI相机的视角的结果。对3D空间内的GUI对象的空间位置以及枢轴点404的位置的控制影响对象的视差运动。
[0052]图4示出随着选择的对象(在该示例中，“选择图片”按钮322)沿Z轴从显示屏幕移开以及对话框403的其它部分(尤其，弹出背景310的左上角)沿Z轴移向显示屏幕，对话框403的运动。图6的侧面视图展现，虽然按钮318和322原始位于相同的Z位置处，但是响应于用户输入，按钮沿Z轴占用不同的位置。
[0053]图6显示枢轴点404沿Z轴被布置在按钮318和322的原始位置与弹出背景310之间。图4展现枢轴点404位于X:Y平面上的对话框403的原始位置的中心点处。在保持形成对话框403的对象的相对位置的同时，选择的按钮322的Z位置增大(如箭头600所示，从显示屏幕移开)，导致了旋转运动。将理解，这相当于对话框403内的所有对象绕穿过枢轴点404并在X:Y平面上延伸的旋转轴402的旋转运动，从而(在发生运动之前)旋转轴402穿过弹出背景310的右上角和左下角的原始X和Y位置。
[0054]可选择地，如果“取消”按钮318被选择，则旋转轴可穿过枢轴点404并在X: Y平面上延伸，从而(在发生运动之前)旋转轴穿过弹出背景310的右下角和左上角的原始X和Y位置。更通常地，在图3至图6的实施例中，旋转轴沿选择的方向穿过X:Y平面上的枢轴点404，从而通过用户输入选择的对象从显示屏幕移开，并且对话框403的至少一部分移向显示屏幕。有益地，这给出选择的对象被直接触摸并从其原始位置被推离用户的表现，同时GUI的剩余部分的至少一部分绕固定的点旋转。如图4可以看出，效果为对话框向被选择或按压的部分倾斜，在形成对话框的对象之中引起明显的视差运动，这在远离选择的按钮322的位置处是明显的。即使在按钮本身被用户的指向装置或手指所模糊时，这也提供按钮322被选择的清楚的视觉指示。
[0055]将理解，在其它实施例中，旋转轴可明显地变化。旋转轴相对于选择的对象的位置以及成为一组绕旋转轴旋转的剩余对象，连同旋转轴的方向将明显影响对象之间的视差运动。如果旋转轴位于x:Y平面，则从⑶I相机(即，如在显示屏幕上显示的)观察的明显的X和Y运动被最大化。视差运动随着旋转轴与Z轴之间的角度从90°减小而减小,从而如果旋转轴与Z轴平行，则不存在成为一组的对象之间的视差运动，其中，只有可视运动是X: Y平面内的整组对象的旋转。对于位于X: Y平面中或与X: Y平面成锐角延伸的旋转轴，如果旋转轴沿Z轴在对象之间延伸，则沿Z轴隔开的第一对象与第二对象之间的视差运动被最小化。然而，将理解，对于旋转轴的任何Z位置的绕与X: Y平面平行或成锐角的旋转轴旋转的任何一对对象，视差运动的角度将可视。这包括这样的情况:旋转轴在离显示屏幕最远的对象后面，与显示屏幕和离显示屏幕最近的对象之间的对象中的至少一个交叉，或者位于对象相对于显示屏幕的相反一侧上的Z位置处。对于在3D空间中较远的对象，视差运动也增大。可在图4和图6中观察到最大视差运动效果,在图4和图6中,旋转轴402沿Z轴在对象330和310之间穿过，落在X: Y平面内并在X: Y平面上的对话框403的相距最远的点(弹出背景310的左上角和右下角)之间穿过。
[0056]以上联系图3至图6描述的对象的运动被认为由处理器104引起，使得从静态⑶I相机500观看，对象在3D空间内旋转。将理解，可选择地，该运动可被认为由在⑶I相机500绕旋转轴旋转时在3D空间中保持静止的对象中的至少一些对象引起。在显示屏幕上呈现给用户的作为结果的GUI是这样的。
[0057]图3至图6中的实施例认为对话框403内的每个对象绕单个旋转轴402旋转。然而，在可选择的实施例中，为了增强或最小化视差运动，对象中的至少两个被布置为绕不同的旋转轴旋转。例如，这可包括在x:Y平面上彼此平行的两个轴，但是将理解，可使用不需要平行的任何一对旋转轴。
[0058]对象对于触摸输入(施加到GH的变换)的反应的方向和方式取决于屏幕上的触摸或扫动的位置。例如，旋转轴可根据选择的对象而变化，因此其它对象的反应将相应地变化。以下描述的图9和图10涉及触摸并拖动或者触摸并扫动输入可引起GUI内的对象的旋转的实施例。此外，除了通过触摸屏(或相似输入装置)接收输入信号之外，处理器还可从便携式装置内的加速计接收输入信号。加速计可提供指示通过触摸输入施加到触摸屏的力量的信号(即，响应于触摸输入，整个装置移动的角度)。加速计信号可根据由用户施加的力量来影响旋转的角度或速度。更通常地，Gn对于感测的输入的反应可响应于输入信号而改变布置为在3D空间内旋转的一组对象中的一些对象或所有对象的旋转的角度和旋转的速度。
[0059]上述的实施例涉及感测在一组对象中选择对象或与一组对象中的对象交互的用户输入以及涉及整组对象的旋转运动。将理解，在其它实施例中，可响应于单个对象或其它用户输入将旋转运动施加到整个GUI或单个对象。
[0060]除了上述的旋转运动之外，响应于用户输入，对象还可基于检测的用户输入被布置为动画化并调整位置、改变方位、变换、旋转、缩放尺度以及改变透明度或颜色。此外，在上述实施例中，对象被认为是通常被布置为与显示屏幕平行的2D对象或者在相册330的情况下的单个渲染的3D对象。在可选择的实施例中，对象可包括在GUI结构中包括的复杂、动画化的3D对象。
[0061]在本发明的特定实施例中，除了上述的旋转运动之外，响应于诸如选择“选择图片”按钮322的输入400的触摸输入，一组对象也可被这样布置，从而除了由于旋转的明显的相对运动之外，还存在至少两个对象之间的相对运动。即，第一对象和第二对象可能在一起旋转的同时移动得更接近或更分开。具体地讲，在图3至图6中，触摸输入400还使得按钮322沿在两个对象之间垂直延伸的轴移向弹出背景310。将理解，起初该轴可与Z轴平行；然而，随着对话框403开始旋转，按钮322与弹出背景310之间的轴也旋转，形成相对于Z轴增加的角度。在本发明的特定实施例中，一对对象之间的运动可在对话框403的旋转运动之前。另外，按钮322可成比例缩小(除了随着按钮Z位置增大从相机500的视点尺寸的明显改变之外)，以增强按钮322相对于弹出背景310被压下的效果。
[0062]参照图7，按钮322相对于弹出背景310的变换程度和对话框403的旋转运动可随由沿着曲线图的X轴显示的帧表示的时间轴变化。变换运动或旋转运动的程度针对从帧O (接收到触摸输入的点)增加的帧数量而示出。帧率可以是每秒/60帧。图7示出当在点708 (帧O)接收到触摸输入时，变换运动700和旋转运动702随从休眠状态704延伸的任意轴变化以最大化施加到对用户输入做出反应的对象的变换/旋转706 (最大Q)。可以看出，虽然从休眠状态704到最大Q706比从最大Q706返回到休眠状态704稍快，但是变换运动和旋转运动两者近似遵循正态曲线。在图7的实施例中，变换运动在旋转运动之前5帧(如果帧率为每秒60帧则相当于0.0833s)。变化与旋转运动之间的偏移可变化。
[0063]图7表示针对短时长的触摸输入的对象反应。响应于触摸并保持输入，对象可保持在最大Q直到移开触摸为止，在最大Q点，变换回到休眠状态可在旋转运动之前，或者两者可同时返回到休眠状态。
[0064]图8示出当接收到用户输入时，为提供对于图3至图6中示出的本发明的实施例已正确接收到选择显示的对象或与显示的对象进行交互的用户输入的视觉确认而发生的事件的顺序的流程图。具体地讲，流程图示出由图1中示出的便携式设备的各部件执行的操作。在步骤800，输入装置108检测用户输入并将输入信号提供给处理器104。输入信号提供表征接收到的触摸信号的足够信息(例如，在显示屏幕102上的触摸的位置和程度、触摸的持续时间、移动和移动的速度)以在步骤802允许处理器104确定触摸输入的类型(例如，触摸并保持、触摸并释放、触摸并拖动)。在步骤804，处理器确定已触摸、选择了哪个对象或已与哪个对象交互。在步骤806，处理器104确定与选择的对象和形成整个⑶I或⑶I的一部分的对象的相关组的交互所需要的形式。在步骤808，处理器104确定对象的组需要的旋转轴并确定旋转需要的程度和速度。在步骤810，处理器104确定选择的对象相对于至少一个其它对象所需要的变换。在步骤812，处理器104初始化包括在步骤808和步骤810确定的旋转和变换的需要的动画效果。在步骤814，处理器确定触摸事件是否已完成。如果确定触摸事件未完成，则在步骤816如以上联系图8讨论的，处理器104在最大Q保持动画效果并且处理返回到步骤814。如果在步骤814确定触摸事件结束，则在步骤818，处理器确定触摸事件是否是首先选择对象随后滑离到屏幕的较远部分的触摸输入。在该事件中，确定触摸输入是触摸并滑动，则在步骤820，处理器104通过倒退显示的对象的旋转和变换来重新设置动画效果。否则，例如，如以下联系图13和图14所述，在步骤822，GH变换到下一状态。
[0065]图9示出根据本发明的另一实施例的与图3中示出的GUI进行用户交互的可选择的形式。图3示出处于休眠状态的对话框GUI。如图9所示，如果用户通常沿着箭头900的路径执行从右侧到左侧的触摸并扫动动作，则处理器104确定这是选择由3D对象330表示的不同类型的相册的输入。响应于对话框403沿Y轴绕枢轴点404旋转以提供扫动输入的视觉确认。此外，3D相册表示330动画化以展现新的相册类型902。动画效果可包括平行于X轴变换的相册表示330和902。可选择地，相册表示的路径还可绕旋转轴旋转，从而，相册表示总是沿与弹出背景310平行的路径变换。相册表示可包括可在弹出背景310前面穿过的多个不同的表不，穿过视场的表不的数量取决于扫动输入的速度。每个相册表不330和902包括3D对象，由于⑶I的旋转，因此，在⑶I的旋转返回到休眠状态之前，每个3D对象也旋转以展现不同的方面。在另一选项中，除了整个对话框的旋转之外，相册表示在弹出背景310前面穿过时还可绕它们自己的轴旋转。可存在布置为根据扫动输入的速度和方向移动通过对话框403的多个相册表示。相册表示可被布置在圆环中，或者可选择地，当到达组的结尾时，沿着相同方向的扫动可使得最后的相册表示在保持在相对于弹出背景310的相同位置处的同时绕它自己的轴旋转。
[0066]图10示出响应于处理器检测到工具栏图标被选择而可被应用于工具栏上的图标的三种替换交互。在第一交互(图10A)中，响应于检测到图标1000被选择，以图标1000沿屏幕的底部转动的方式产生图标的动画效果。具体地说，图标包括初始位于X: Y平面的2D对象。响应于检测到用户选择，图标沿图标的底边绕与X轴平行的旋转轴而转离显示屏。在第二交互(图10B)中，选择的图标1000沿Z方位移至远离显示屏，且相邻的图标1002和1004被拉伸且被旋转以保持与图标1000的连接。在第三交互(图10C)中，选择的图标平行于Y轴向上移动。
[0067]图11示出响应于检测到“选择图片”按钮322的选择而部分变换到下一⑶I状态(图8的步骤822)的图3的对话框403的屏幕截图。例如，响应于检测到按钮322的选择，对话框403旋转回休眠状态，并且如图12中所示，还产生动画效果来改变屏幕的意图以允许用户选择图片。如图12所示，弹出背景310延伸以充满可用空间来形成新的面板1200，并且变得透明以进一步沿着Z轴展现对象。按钮318和322变换到新的位置1202和1204。按钮1204还弹动(B卩，其绕中心X轴旋转)以展现不同的文本标签(“选择全部”)。“新相册”文本条目框314绕中心X轴旋转直至消失。新的文本标签(“为你的新相册选择图片”)出现在面板1200的顶部。3D相册表示330的大小缩小并移动到屏幕的底部以形成更小的表示1210。图12的屏幕截图还示出多个图像对象1212(其中只有一个被贴上标签)。图像对象包括以偏移的Y方位按行布置且沿Z轴收束的2D对象。
[0068]图13示出当选择图像对象的第一对象1300时图像对象1300如何弹动(即，绕中心X轴旋转180° )。可通过添加额外的图形元素(诸如检查框)来增强选择的确认。此外，如图所示，所有图像对象1200被布置为旋转离开选择的对象1300，以给出图像对象的组被用户输入推开的印象。
[0069]现在将给出如何根据本发明的上述实施例构建GUI的技术描述。每个GUI元素包括3D场景图中的3D对象。可选择地，可将⑶I元素称为3D场景图中的演员(actor)。将理解，以上被描述为2D对象的对象是具有零厚度的3D演员的特殊情况。每个演员具有包括位置、大小、扭曲、旋转、颜色和缩放尺度的属性。演员属性确定演员如何被图形处理器如何渲染。
[0070]为了能够执行诸如演员组的旋转的操作，并且为了使产生休眠状态的GUI显示所需的处理简单化，以分层树的形式构建⑶I演员，其中，每个演员都严格地具有一个父演员。父演员可具有多个子演员。通过以这种方式来构建演员，子⑶I演员可从他们的父演员继承诸如位置、尺寸、旋转、颜色和缩放尺度的属性，这样有利地减少了渲染整个⑶I所需要的处理。这还避免了分别为每个演员指定每个属性的需要。按照默认，每个子演员的属性被设置为其父演员的属性。此外，当改变父演员的属性时，任何关联的子演员自动继承该改变，例如，父演员的倾斜或旋转自动将该变换应用于子演员。
[0071]还可例如响应于用户输入而动态地改变演员属性。如上所述的旋转组成⑶I的一组演员是动态改变演员属性的示例。此外，可通过将旋转效果应用于父演员来实现一组演员的旋转，其中，应用于父演员的旋转效果之后被其子演员继承。因此动态属性改变可影响单个演员或层次演员的层次或部分。属性的动态改变可由应用于属性的一个或多个约束控制。例如，演员的宽度属性可被约束为与演员的长度属性成比例。约束还可影响演员的其它方面，例如演员的运动和可视性。约束可被施加到单个演员或通过父子关系组建的两个或更多个演员。
[0072]为了进一步避免必须单独指定多个属性，并且为了避免在变换被应用于一组演员时必须重新计算多个属性，演员属性受到其自身的其它属性的约束。例如，“宽度”可以是“长度”的函数。由于新的属性值可从其它已经估计的属性复制，因此这实现有效的属性更新。类似的，属性可被约束为与其父类的属性相关，例如，X和y位置可以有50%顺沿父类的宽度和高度的，从而子演员被布置在其父类的中间，并且这将扩展到父类改变大小或动画化的事件的情况。此外，演员的属性或应用于演员属性的函数可受到任何其它演员的属性约束。例如，旋转可以比相邻演员的旋转大5度。由于可从已经计算的值推导出演员属性，因此这可实现有效的UI元素动画效果更新。
[0073]现在将更详细地描述⑶I内的对象或元素的层次结构。如上所述，层次地布置演员，且使得演员从它们的父类继承诸如布置、大小、颜色和透明度的属性。为了指定绘画顺序(渲染⑶I的顺序)，可将演员分组为层。可将形成一层的一组演员整体视为一个演员。这允许层从其父层继承属性，从而属性被应用于层中的所有演员。将层维护在内部的可由应用程序编写人员指定的单个列表中。
[0074]通过限定演员之间的空间关系的约束的方式来创建布局。该关系可以是共享相同的父类的演员之间的关系或者是父元素和子元素之间的关系。还可在单个演员的各个属性之间设置一些约束关系，或者可以完全针对演员设置约束关系。可在设计GUI时指定约束。一组演员和一组约束的组合包括GUI的布局。便携式装置的下层图形处理引擎(诸如上述的处理器104或专用图形处理器)允许一组约束平滑地产生动画效果。这实现了布局之间的干净变换。
[0075]将理解，可以以硬件、软件或硬件和软件的组合的形式来实现本发明的实施例。具体地说，本发明的实施例可应用于任何可实现触摸的装置以增强交互反馈。所述装置包括移动电话、平板装置、AV设备和诸如办公室复印机打印机的装置。可以以易失性或非易失性存储器(诸如，像ROM的存储装置，不论是否可擦或可写)的形式存储任何这样的软件，或者以诸如RAM、记忆芯片、装置或集成电路的存储器的形式存储任何这样的软件，或者将任何这样的软件存储在光或磁可读介质(诸如CD、DVD、磁盘或磁带等)上。将理解，存储装置和存储介质是适合于存储程序的机器可读存储器的实施例，所述程序包括当被执行时实现本发明的实施例的指令。因此，实施例提供一种包括用于实现在本公开的任何一项权利要求中请求保护的方法或设备的代码的程序，并提供一种存储这样的程序的机器可读存储器。此夕卜，可通过诸如通过有线或无线连接承载的通信信号的任何介质来电传输这样的程序，并且实施例适当地包括相同内容。
[0076]贯穿本公开的说明书和权利要求书，词语“包括”和“包含”及其衍生物表示“包括但不限于”，并且他们不意图(且不会)排除其它分支、添加、组件、合成或步骤。贯穿本公开的说明书和权利要求书，除非上下文另外要求，否则单数形式包括复数形式。具体地说，虽然使用不明确的表达，但是应理解除非上下文另外要求，否则本公开包括复数形式和单数形式。
[0077]此外，应理解结合本发明的特定方面、实施例或示例描述的特征或组可应用于在此描述的任何其他方面、实施例或示例(除非不兼容)。在本说明书(包括任何权利要求、摘要和附图)中公开的所有特征以及/或公开的任何方法或处理的所有步骤可被组合在任何组合中，除这样的特征和/或步骤中的至少一些互相排斥的组合以外。本发明不受限于上述任何实施例的细节。本发明扩展到在本说明书(包括任何权利要求、摘要和附图)中公开的任何新颖特征或任何新颖特征的组合，或扩展到公开的任何方法或处理的任何新颖步骤或任何新颖步骤的组合。
[0078]读者的意图针对与本申请相关的与本说明书同时或先于本说明书提交的所有的文件和文档，所述文件和文档通过本说明书公之于众，并且所有这样的文件和文档的内容通过引用合并于此。
[0079]如上所述，虽然已经通过特定事物(诸如详细元素、限制实施例和附图)描述了本发明，但是提供这样特定事物来帮助对本发明的整体理解，并且本发明不被限制为上述实施例。本发明所属领域的技术人员应清楚，可对上述描述进行各种改变和修改。
[0080]因此，本发明的精神和范围不应被上述实施例限制或确定，应注意，无论是描述的权利要求还是其等同物都落入本发明的精神和范围。
【权利要求】
1.一种便携式设备，包括: 显示屏； 处理器； 输入装置； 其中，处理器被配置为:控制显示屏显示包括3D空间中的至少一个对象的图形用户界面； 其中，输入装置被配置为检测输入并将输入信号提供给处理器； 其中，处理器还被配置为:接收输入信号，确定在显示屏内的输入位置，确定旋转轴的方向，并使所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。
2.如权利要求1所述的便携式设备，其中，所述至少一个对象绕旋转轴的旋转取决于处理器是否确定输入信号指示对象的选择。
3.如权利要求2所述的便携式设备，其中，旋转轴与显示屏的平面平行或者与显示屏的平面成锐角。
4.如权利要求3所述的便携式设备，其中，所述至少一个对象的旋转使得作为显示屏的平面中的输入位置的旋转轴的相同侧上的至少一个对象的部分沿延伸进显示屏的轴从显不屏移开。
5.如权利要求4所述的便携式设备，其中，处理器还被配置为，确定显示屏的平面中的枢轴点的位置，使得所述至少一个对象的部分在显示屏的平面中从枢轴点沿所有方向延伸。
6.如权利要求5所述的便携式设备，其中，处理器还被配置为:根据确定的输入位置确定显示屏的平面中的枢轴点的位置，使得枢轴点远离输入位置。
7.如权利要求6所述的便携式设备，其中，图形用户界面还包括被布置为不绕旋转轴旋转的至少一个对象。
8.如权利要求7所述的便携式设备，其中，处理器还被配置为:确定输入信号是否指示选择了至少一个另外的对象，如果是，则使得所述至少一个另外的对象变换、旋转或改变大小。
9.如权利要求8所述的便携式设备，其中，输入装置包括:触摸屏，被配置为向处理器提供指示被触摸的触摸屏的一部分的输入信号。
10.如权利要求9所述的便携式设备，其中，处理器还被配置为:确定输入信号的时长，并在输入信号结束时使得所述至少一个对象的旋转倒退。
11.如权利要求10所述的便携式设备，还包括:传感器，被配置为测量通过输入施加到便携式设备的力量，并将力量测量提供给处理器，其中，处理器还被配置为根据力量测量确定所述至少一个对象的旋转的速度。
12.如权利要求11所述的便携式设备，其中，处理器还被配置为:使得所述至少一个对象绕单独的旋转轴旋转，使得所述至少一个对象改变形状、大小、透明度、图像或颜色，或使得所述至少一个对象在3D空间中进行除了绕确定的旋转轴旋转以外的变换。
13.如权利要求12所述的便携式设备，其中，图形用户界面包括布置在3D空间中的沿着延伸进显示屏的轴的不同位置上的第一对象和第二对象，以便第一对象和第二对象绕旋转轴的旋转使得第一对象和第二对象在显示屏的平面上相对于彼此移动。
14.如权利要求13所述的便携式设备，其中，枢轴点位于第一对象和第二对象之间的延伸进显示屏的轴上，在比第一对象或第二对象更远的轴的位置上，在显示屏和最接近于显示屏的对象之间，或者在显示屏上的第一对象和第二对象的相反侧。
15.如权利要求14所述的便携式设备，其中，处理器还被配置为响应于接收到的输入信号而产生3D空间中的第一对象和第二对象之间的相对移动。
16.如权利要求15所述的便携式设备，其中，处理器被配置为使得第一对象和第二对象的相对移动在第一对象和第二对象的旋转之前或之后。
17.如权利要求16所述的便携式设备，其中，处理器还被配置为针对至少一个对象确定单独的旋转轴。
18.—种包括3D空间中的至少一个对象的图形用户界面，所述图形用户界面被配置为:响应于由输入信号确定的输入位置，所述至少一个对象在3D空间中绕旋转轴旋转，其中，所述旋转轴延伸通过3D空间中的枢轴点且与从输入位置延伸到枢轴点的线交叉。
19.一种操作便携式设备的方法，其中，便携式设备包括显示屏、处理器和输入装置，所述方法包括: 操作处理装置以控制显示屏显示包括3D空间中的至少一个对象的图形用户界面； 操作输入装置以检测输入并将输入信号提供给处理器； 操作处理器以接收输入信号，确定显示屏中的输入位置，确定旋转轴的方向，并使所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。
20.一种存储被配置为执行操作便携式设备的方法的计算机程序代码的计算机可读介质，其中，便携式设备包括显示屏、处理器和输入装置，所述方法包括: 通过显示屏显示包括3D空间中的至少一个对象的图形用户界面； 通过输入装置检测输入并将输入信号提供给处理器； 通过处理器接收输入信号，确定显示屏中的输入位置，确定旋转轴的方向，并使所述至少一个对象在3D空间中绕旋转轴旋转，其中，旋转轴通过3D空间中的枢轴点延伸并且对从输入位置延伸到枢轴点的线进行横切。
【文档编号】G06F3/0488GK103577040SQ201310341606
【公开日】2014年2月12日 申请日期:2013年8月7日 优先权日:2012年8月7日
【发明者】大卫·斯蒂尔, 基莫·浩一卡, 保罗·埃姆斯伯里 申请人:三星电子株式会社