专利名称：界面切换的方法和装置的制作方法
技术领域：
本发明涉及通信网络技术领域，尤其涉及一种体感交互场景下界面切换的方法和
>J-U ρ α装直。
背景技术：
基于视觉的体感交互是指计算机通过摄像头捕获用户的图像，并利用模式识别、人工智能等技术理解用户动作的含义，提供更加自然、直观的体感交互方式。目前广泛应用在增强现实、体感游戏控制等场景下。体感交互的过程中，体感交互应用系统通过摄像头捕获含有用户信息的视频帧，然后通过图像分析技术得到视频帧中用户的信息(例如关节点信息)，从而判断用户的的姿态(pose)以及由连续视频巾贞中的姿态变化构成的动作(gesture);用户的姿态与动作共同构成姿势，体感交互应用系统根据用户的姿势对应的指令进行相应的反馈操作。由此构成了完整的基于视觉的体感交互过程。现有技术中，对于界面切换姿态的判断，采取的方式是:首先识别用户输入的姿态，在满足规定的界面切换姿态时，要求用户保持该姿态一段时间后，才触发界面切换指令。例如:用户在使用微软的体感游戏设备Kinect进行体感游戏过程中，可通过“左手手臂伸直，与身体呈斜下45° ”的姿态退出游戏，要求用户保持该姿态一段时间才会触发“退出游戏”操作。否则取消操作，保留原来的游戏界面。如果等待时间设置的较短时，容易将用户的一些无意识的操作误判为界面切换指令。如果等待时间设置较长时，用户需要较长时间保持某个姿态不变，用户体验差。因此，现有技术存在执行界面切换指令时误判率高或等待时间较长的问题
发明内容
本发明实施例提供了一种界面切换的方法和装置，用于提高体感交互场景下界面切换姿势指令的识别精确率，提升用户体验。第一方面，本发明实施例提供的界面切换的方法包含:检测到用户信息后，从所述用户信息中识别出用户第一姿势；如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；当在所述指定时间内检测到用户信息时，识别出用户第二姿势；如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。在第一方面的第一种可能的实现方式中，识别用户第二姿势之后还包含:如果所述用户第二姿势为取消切换姿势，取消所述第一姿势关联的界面切换操作；或如果所述用户第二姿势不是确认切换姿势或取消切换姿势，继续检测用户信息，并返回所述当在所述指定时间内检测到用户信息时，识别用户第二姿势的步骤。
结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，提示用户输入第二姿势之后还包含:当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，识别用户第一姿势或第二姿势包含:获得设定的姿势所涉及的关节点；从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；根据所述关节点的数据计算所述设定的姿势的匹配参数值；根据所述匹配参数值识别所述用户第一姿势或第二姿势。结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，获得设定的姿势所涉及的关节点包含:确定当前界面类型以及当前界面下所设定的姿势，获得所述当前界面下所设定的姿势涉及的关节点；根据所述关节点的数据计算所述设定的姿势的匹配参数值包含:根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，获得设定的姿势所涉及的关节点包含:确定体感交互游戏应用系统的默认姿势，获得所述默认姿势涉及的关节点；所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包含:根据所述关节点的数据计算所述默认姿势的匹配参数值。结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，设定的姿势为动作姿势时，所述从已检测到的所述用户信息中读取所述关节点的数据包括:从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括:根据所述关节点数据和所述时间戳信息计算所述关节点的位移。结合第一方面的第三种可能的实现方式，在第七种可能的实现方式中，设定的姿势为姿势姿态姿势时，所述从已检测到的所述用户信息中读取所述关节点的数据包括:从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括:根据所述关节点数据计算关节点之间的骨骼夹角。结合第一方面的第四种可能的实现方式或第一方面的第五种可能的实现方式，在第八种可能的实现方式中，根据所述匹配参数值识别所述用户第一姿势或第二姿势包括:将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。第二方面，本发明实施例提供的界面切换的装置包含:检测单元，用于检测用户信息；第一识别单元，用于所述检测单元检测到用户信息后，从所述用户信息中识别出用户第一姿势；显示单元，用于当所述用户第一姿势为界面切换姿势时，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；第二识别单元，用于当所述检测单元在所述指定时间内检测到用户信息时，识别出用户第二姿势；界面切换处理单元，用于当所述用户第二姿势为确认切换姿势时，执行所述第一姿势关联的界面切换操作。在第二方面的第一种可能的实现方式中，界面切换处理单元还用于当所述用户第二姿势为取消切换姿势时，取消所述第一姿势关联的界面切换操作。结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，界面切换处理单元还用于当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，第一识别单元或所述第二识别单元包含:获得模块，用于获得设定的姿势所涉及的关节点；读取模块，用于从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息；计算模块，用于根据所述关节点的数据计算所述设定的姿势的匹配参数值；识别模块，用于根据所述匹配参数值识别所述用户第一姿势或第二姿势。结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，获得模块，进一步的用于获得当前界面下所设定的姿势涉及的关节点；计算模块，进一步的用于根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，获得模块，进一步的用于获得体感交互应用系统的默认姿势涉及的关节点；计算模块，进一步的用于根据所述关节点的数据计算所述默认姿势的匹配参数值。结合第二方面的第三种可能的实现方式，在第六种可能的实现方式中，读取模块，进一步的用于当所述设定的姿势为动作姿势时，从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息；计算模块，进一步的用于根据所述关节点数据和所述时间戳信息计算所述关节点的位移。结合第二方面的第三种可能的实现方式，在第七种可能的实现方式中，读取模块，进一步的用于当所述设定的姿势为姿态姿势时，从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据；计算模块，进一步的用于根据所述关节点数据计算关节点之间的骨骼夹角。结合第二方面的第四种可能的实现方式或第二方面的第五种可能的实现方式，在第八种可能的实现方式中，识别模块，进一步的用于将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。由以上技术方案可以看出，由于本发明实施例采用第二姿势对第一姿势指令进行确认的机制，从而有效的解决了体感交互场景下界面切换姿势识别时间长或者误判率高的问题，提高了姿势操控的精确率，从而极大提升了用户体验。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明一个实施例提供的界面切换方法的流程图；图2为本发明一个实施例提供的识别用户第一姿势或第二姿势的方法流程图；图3A-3D说明根据本发明一个实施例，在界面切换的不同时间点，设备的图形用户界面显示；图4为本发明一个实施例提供的界面切换装置的组成框图；图5为本发明另一个实施例提供的界面切换装置的组成框图；图6为本发明再一个实施例提供的基于计算机系统的界面切换装置的结构图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明一个实施例提供一种界面切换的方法，该方法可用于体感交互场景下的界面切换，具体的界面操作包含如下之一:退出应用、返回上一级界面、返回主界面和招出菜单等引起界面变化的操作。请参照图1,该方法包括:步骤101:检测到用户信息后，从所述用户信息中识别用户第一姿势。其中，检测用户信息的方法可以是获取用户的骨骼帧信息，并判断获取到的用户的骨骼帧信息是否包含有效的关节点数据。如果包含有效的关节点数据，说明检测到了用户信息，否则，说明没有检测到用户信息，继续检测。其中，识别用户第一姿势的方法可以是:获得预设姿势所涉及的关节点；从检测到的用户信息中读取与预设姿势涉及的关节点对应的有效的关节点数据；根据所述有效的关节点数据计算与预设姿势进行匹配的匹配参数值；然后根据该匹配参数值，识别出用户第一姿势。其中，用户第一姿势可以是动作姿势，也可以是姿态姿势。具体的，在一种是实现方式中，以体感交互应用系统为执行主体，从体感交互设备(本实施例中可以是体感游戏产品Kinect)获取用户的骨骼帧信息。具体的，体感游戏产品Kinect设备提供的SDK (Software Development Kit,开发工具包)中包含有骨骼巾贞信息提取函数NuiSkeletonGetNextFrame,应用程序通过调用该函数能从kinect设备提取当前时刻的用户骨骼帧信息，无论当前时刻Kinect设备前有没有用户，该设备都会生成一帧用户骨骼帧信息。其中，用户骨骼帧信息采用NUI_SKELETON_FRAME数据结构表示，该数据结构中包含关节点信息(采用NUI_SKELETON_DATA数据结构表示)和时间戳信息(采用IiTimestamp参数表示)，关节点信息中包含是否具有有效关节点数据的判断标识eTrackingState。如果eTrackingState参数值为true，说明检测到了用户信息，否则参数值为false，说明没有检测到用户信息，继续检测。步骤102:如果所述用户第一姿势为界面切换姿势，则在指定时间内显示提示信息，该提示信息用以提示用户输入第二姿势。可选的，步骤102还可以包括以下步骤:当所述用户第一姿势不是界面切换姿势时，继续检测用户信息或者，当所述用户第一姿势不是界面切换姿势且设置有与该第一姿势关联的操作时，也可以执行该第一姿势关联的操作。其中，提示信息可以包含第二姿势选择项以及第二姿势的操作指示。具体的，提示信息的显示方式可以是文字、图片等表现形式，还可以采用闪烁、淡入淡出等显示效果。例如，第二姿势选择项可以是“确认切换姿势”、“取消切换姿势”两个选项，并可以采用文本框或文字的方式显示，对应的，第二姿势的操作指示是“确认切换姿势”、“取消切换姿势”的操作方法指示，可以采用文字、符号、图片或动画指示用户如何操作。其中，第二姿势可以为动作姿势，也可以为姿态姿势。步骤103:当在所述指定时间内检测到用户信息时，识别用户第二姿势。其中，检测用户信息的方法和步骤101中检测用户信息的方法相同，识别用户第二姿势的方法和步骤101中识别用户第一姿势的方法相同。其中，步骤103还可以包含如果在所述指定时间内未检测到用户信息时，忽略与第一姿势关联的界面切换操作。步骤104:如果所述用户第二姿势为确认切换姿势，则执行所述第一姿势关联的界面切换操作。进一步地，如果所述第二姿势是否为取消切换姿势，如果是则忽略第一姿势关联的界面切换操作。可替代地，如果所述第二姿势是否既非确认切换姿势、又非取消切换姿势，则返回步骤103，在指定时间内继续检测用户信息。本发明一个实施例提供在界面切换的方法中，当检测到用户信息后，识别用户第一姿势的方法，识别第二姿势的方法与此类似，不再赘述。请参照图2，该方法包含:步骤201:获得设定的姿势所涉及的关节点；其中，该步骤具体包括:确定当前界面类型以及当前界面下设定的姿势，获得该当前界面下设定姿势涉及的关节点。可替代地，该步骤也可以具体包括:确定体感交互应用系统所有的默认姿势，获得所述系统所有的默认姿势涉及的关节点。具体的，在一个实施例中，通过界面切换状态机的状态，判断当前界面为切换前应用界面，且当前界面下设定的姿势只有界面切换姿势；界面切换姿势是一个形状为“左臂45度”姿态姿势，涉及的关节点有7个:SHOULDER_CENTER(中心肩膀关节点)、SH0ULDER_RIGHT (右肩膀关节点)与ELB0W_RIGHT (右肘关节点)、WRIST_RIGHT (右腕关节点)、SH0ULDER_LEFT (左肩膀关节点)、ELB0ff_LEFT (左肘关节点)、WRIST_LEFT (左腕关节点)。可替代的，通过界面切换状态机的状态，判断当前界面为切换提示界面，且当前界面下设定的姿势有确认切换姿势和取消切换姿势；其中，确认切换姿势是一个左手向右挥动的动作姿势，涉及的关节点有HAND_LEFT(左手关节点)，取消切换姿势是一个左手向左挥动的动作姿势，涉及的关节点有HAND_LEFT (左手关节点)。步骤202:从已检测到的用户信息中读取该关节点的数据；其中，该用户信息包括用户骨骼帧信息，用户骨骼帧信息包括关节点信息和时间戳信息。当设定的姿势为姿态姿势时，步骤202，可以具体包括:具体为从该用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据。当设定的姿势中为动作姿势时，步骤202，可以具体包括:从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息。当设定的姿势涉及的多个关节点中存在相同的关节点时，对每帧骨骼信息只需要读取一次该关节点数据。在具体实现中，例如，对于当前界面下设定的姿势为界面切换姿势，因为该姿势是姿态姿势，只需要读取当前骨骼帧信息中该姿势涉及的7个关节点的坐标数据，如表I所示。
权利要求
1.一种界面切换的方法，其特征在于，所述方法包含: 检测到用户信息后，从所述用户信息中识别出用户第一姿势； 如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势； 当在所述指定时间内检测到用户信息时，识别出用户第二姿势； 如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。
2.根据权利要求1所述的方法，其特征在于，所述识别用户第二姿势之后还包含: 如果所述用户第二姿势为取消切换姿势，取消所述第一姿势关联的界面切换操作；或 如果所述用户第二姿势不是确认切换姿势或取消切换姿势，继续检测用户信息，并返回所述当在所述指定时间内检测到用户信息时，识别用户第二姿势的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述提示用户输入第二姿势之后还包含: 当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述识别用户第一姿势或第二姿势包含: 获得设定的姿势所涉及的关节点； 从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息； 根据所述关节点的数据计算所述设定的姿势的匹配参数值； 根据所述匹配参数值识别所述用户第一姿势或第二姿势。
5.根据权利要求4所述的方法，其特征在于，所述获得设定的姿势所涉及的关节点包含: 确定当前界面类型以及当前界面下所设定的姿势，获得所述当前界面下所设定的姿势涉及的关节点； 所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包含: 根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。
6.根据权利要求4所述的方法，其特征在于，所述获得设定的姿势所涉及的关节点包含: 确定体感交互应用系统的默认姿势，获得所述默认姿势涉及的关节点； 所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包含: 根据所述关节点的数据计算所述默认姿势的匹配参数值。
7.根据权要求5或6所述的方法，其特征在于，所述根据所述匹配参数值识别所述用户第一姿势或第二姿势包括: 将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较； 确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。
8.根据权利要求4述的方法，其特征在于，所述设定的姿势为动作姿势时，所述从已检测到的所述用户信息中读取所述关节点的数据包括: 从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息； 所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括: 根据所述关节点数据和所述时间戳信息计算所述关节点的位移。
9.根据权利要求4所述的方法，其特征在于，所述设定的姿势为姿态姿势时， 所述从已检测到的所述用户信息中读取所述关节点的数据包括: 从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据； 所述根据所述关节点的数据计算所述设定的姿势的匹配参数值包括: 根据所述关节点数据计算关节点之间的骨骼夹角。
10.一种界面切换的装置，其特征在于，所述装置包含: 检测单元，用于检测用户信息； 第一识别单元，用于所述检测单元检测到用户信息后，从所述用户信息中识别出用户第一姿势； 显示单元，用于当所述用户第一姿势为界面切换姿势时，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势； 第二识别单元，用于当所述检测单元在所述指定时间内检测到用户信息时，识别出用户第二姿势； 界面切换处理单元，用于当所述用户第二姿势为确认切换姿势时，执行所述第一姿势关联的界面切换操作。
11.根据权利要求10所述的装置，其特征在于: 所述界面切换处理单元，还用于当所述用户第二姿势为取消切换姿势时，取消所述第一姿势关联的界面切换操作。
12.根据权利要求10或11所述的装置，其特征在于: 所述界面切换处理单元，还用于当在所述指定时间内未检测到所述用户信息时，取消所述第一姿势关联的界面切换操作。
13.根据权利要求10至12任意一项所述的装置，其特征在于，所述第一识别单元或所述第二识别单元包含: 获得模块，用于获得设定的姿势所涉及的关节点； 读取模块，用于从已检测到的所述用户信息中读取所述关节点的数据，其中，所述用户信息包括用户骨骼帧信息，所述骨骼帧信息包括关节点信息和时间戳信息； 计算模块，用于根据所述关节点的数据计算所述设定的姿势的匹配参数值； 识别模块，用于根据所述匹配参数值识别所述用户第一姿势或第二姿势。
14.根据权利要求13所述的装置，其特征在于: 所述获得模块，进一步的用于获得当前界面下所设定的姿势涉及的关节点； 所述计算模块，进一步的用于根据所述关节点的数据计算所述当前界面下所设定的姿势的匹配参数值。
15.根据权利要求13所述的装置，其特征在于: 所述获得模块，进一步的用于获得体感交互应用系统的默认姿势涉及的关节点；所述计算模块，进一步的用于根据所述关节点的数据计算所述默认姿势的匹配参数值。
16.根据权利要求14或15所述的装置，其特征在于: 所述识别模块，进一步的用于将所述匹配参数值与所述当前界面下设定的姿势的匹配条件相比较，或者将所述匹配参数值与所述体感交互应用系统的默认姿势的匹配条件相比较；确定与所述匹配条件相匹配的匹配参数值所对应的姿势，以确定的姿势为用户第一姿势或第二姿势。
17.根据权利要求13所述的装置，其特征在于: 所述读取模块，进一步的用于当所述设定的姿势为动作姿势时，从多个连续的用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据及用户骨骼帧的时间戳信息； 所述计算模块，进一步的用于根据所述关节点数据和所述时间戳信息计算所述关节点的位移。
18.根据权利要求13所述的装置，其特征在于: 所述读取模块，进一步的用于当所述设定的姿势为姿态姿势时，从所述用户骨骼帧信息中读取所述设定姿势涉及的关节点相应的关节点数据； 所述计算模块，进一步的用于根据所述关节点数据计算关节点之间的骨骼夹角。
全文摘要
本发明实施例提供了一种界面切换的方法和装置，所述方法包括检测到用户信息后，从所述用户信息中识别出用户第一姿势；如果所述用户第一姿势为界面切换姿势，在指定时间内显示提示信息，所述提示信息用以提示用户输入第二姿势；当在所述指定时间内检测到用户信息时，识别出用户第二姿势；如果所述用户第二姿势为确认切换姿势，执行所述第一姿势关联的界面切换操作。使用本发明，能够解决体感交互场景下界面切换姿势指令识别存在误判率高或等待时间长的缺点，提高姿势操控的准确率，提升用户体验。
文档编号G06F3/01GK103180803SQ201280001467
公开日2013年6月26日 申请日期2012年10月30日 优先权日2012年10月30日
发明者宣曼, 黄晨, 薛传颂 申请人:华为技术有限公司