基于手势交互中人体骨骼提取的自适应界面生成方法
【专利摘要】本发明公开了一种基于手势交互中人体骨骼提取的自适应界面生成方法。使用者进入由红外发射器和红外接收器组成的深度传感器视野时，传感器内置程序捕捉人体深度数据并依此提取人体多个关节点位置信息；选择肩关节点为圆心，臂长为活动半径划定圆形区域作为手势活动区域；并以肩关节点正上方圆形边界线上点为0°角，选择0°-150°扇形区域生成交互舒适区；最终将显示界面上的交互控件集中显示在扇形区域内，生成自适应的控件排布。本发明使使用者在手势交互环境中从被动适应显示界面转变为由显示界面主动适应用户操作，即使界面上需要用户操作的控件都自适应分布在手势操作的舒适区内，方便触及，且提高操作的正确率，增强用户体验。
【专利说明】基于手势交互中人体骨骼提取的自适应界面生成方法
【技术领域】
[0001]本发明涉及一种自适应用户界面的生成方法，尤其涉及一种基于手势交互中人体骨骼提取的自适应界面生成方法。
【背景技术】
[0002]体感手势交互已经在越来越多的领域得到应用，从沉浸式体感游戏到体感交互技术在视频会议上的应用，手势作为一种更直观、更自然地表达用户操作意图的方式被看作是人机交互的重要手段。但是不同于鼠标指针在显示界面上的交互，手势交互是将人手的移动轨迹映射到显示界面上从而对界面控件进行操作的一种方式，因此这种方式受限于手臂的移动范围，因此在手势交互中，显示界面上的边缘角落都是操作的死角，而且很多区域对于用户手势来说，都需要将手臂伸到不舒适的位置和角度，用户体验差。
【发明内容】
[0003]为了克服上述现有技术的不足，本发明提供了一种基于手势交互中人体骨骼提取的自适应界面生成方法。
[0004]本发明所采用的技术方案是:
一种基于手势交互中人体骨骼提取的自适应界面生成方法，步骤如下:
步骤SOl:使用者进入深度传感器视野，所述的深度传感器包括红外发射器和红外接收器的组合，在手势交互环境中，深度传感器置于显示屏幕正下方或正上方，面对使用者，通过红外测距得到人体深度数据；
步骤S02:传感器内置程序通过步骤SOl中得到的人体深度数据提取人体20个关节点位置信息，包括人体肩关节点位置信息；
步骤S03:使用者通过挥动手臂来驱动屏幕上的映射点移动，深度传感器通过步骤S02中获得的关节点信息截取移动的手臂上的关节点信息，进而判断参与交互的手臂相对人体的方位，最终判断使用者是用左手交互还是右手交互；
步骤S04:依据步骤S03中的判断，选择相应的肩关节点，并以该肩关节点为圆心，臂长为活动半径划定圆形区域作为手势活动区域；以肩关节点正上方圆形边界线上点为0°角，右手交互时顺时针方向或左手交互时逆时针方向选择0° - 150°扇形区域为交互舒适区；
步骤S05:依据步骤S04中划分的交互舒适区，将显示屏幕上的交互控件集中显示在扇形区域内，所述的操作控件集中显示的扇形区域为自适应界面；
步骤S06:根据设定的时间间隔，重新依据步骤SOl - S05生成交互舒适区和所述的自适应界面。
[0005]所述的步骤S06，进一步设定肩关节点的位移参数，当所述的肩关节点位移超过设定的位移参数，执行步骤SOl - S05。
[0006]所述的交互控件是用户界面中需要使用者定位、选择、点击操作的元素，包括按钮、复选框、输入框。
[0007]所述的交互控件在扇形交互舒适区内呈逻辑顺序排列。
[0008]与现有技术相比，本发明的有益效果是使使用者在手势交互环境中从被动适应显示界面转变为由显示界面主动适应用户操作，即使界面上需要用户操作的控件都自适应分布在手势操作的舒适区内，方便触及，且提高操作的正确率，增强用户体验。
【专利附图】
【附图说明】
[0009]图1为本发明一种基于手势交互中人体骨骼提取的自适应界面生成方法的流程图；
图2为本发明实现效果的结构示意图；
图3为本发明操作效果示意图。
【具体实施方式】
[0010]下面结合附图对本发明进一步说明。
[0011]参照图1，本申请提供的基于手势交互中人体骨骼提取的自适应界面生成方法的实现流程图，包括:
步骤SOl:使用者进入深度传感器视野。此处的深度传感器是指红外发射器和红外接收器的组合，如Microsoft Kinect。在手势交互环境中，深度传感器一般置于显示屏幕正下方或正上方，面对使用者，通过红外测距得到人体深度数据；
步骤S02:传感器内置程序通过步骤SOl中得到的人体深度数据提取人体多个关节点位置信息(一般为2 O个)，包括人体肩关节点位置信息；
步骤S03:使用者在交互中通过挥动手臂来驱动屏幕上的映射点移动。深度传感器通过步骤S02中获得的关节点信息截取移动的手臂上的关节点信息，进而判断参与交互的手臂相对人体的方位，最终判断使用者是用左手交互还是右手交互；
步骤S04:依据步骤S03中的判断，选择相应的肩关节点，并以此为圆心，臂长为活动半径划定圆形区域作为手势活动区域。以肩关节点(圆心)正上方圆形边界线上点为0°角，顺时针方向(右手交互)或逆时针方向(左手交互)选择0° - 150°扇形区域为交互舒适区；步骤S05:依据步骤S04中划分的扇形交互舒适区，将显示界面上的操作控件集中显示在扇形区域内；
步骤S06:依据步骤S05中的实现方式，深度感应器程序跟踪关节点位置，在任意显示界面中生成自适应的空间排布。
[0012]参照图2、图3可以看出本发明的实现结构和操作效果:一种基于手势交互中人体骨骼提取的自适应界面生成方法，包括显示界面1，提取的关节点2，肩关节点4，扇形交互舒适区3，自适应排列的交互控件5。所述的交互控件5位于扇形交互舒适区3内部。
[0013]所述的扇形交互舒适区3是以提取的肩关节点4为圆心，并以手臂关节连线长度(臂长)为半径，展开角度为150°的扇形区域。
[0014]所述的扇形交互舒适区3根据使用者不同手的交互而位于不同位置。当使用者使用左手交互时，扇形交互舒适区3位于使用者左侧，以肩关节点(圆心)正上方圆形边界线上点为0°角，相对使用者逆时针旋转150°形成的扇形区域；当使用者使用右手交互时，扇形交互舒适区3位于使用者右侧，以肩关节点(圆心)正上方圆形边界线上点为0°角，相对使用者顺时针旋转150°形成的扇形区域。
[0015]所述的肩关节点4随着使用者在交互过程中不断地变换位置而移动位置信息；所述的扇形交互舒适区3随之不断改变。
[0016]所述的交互控件5是用户界面中需要用户定位、选择、点击等操作的元素，包括按钮、复选框、输入框以及其他一切可能出现在用户界面上的交互对象。
[0017]所述的交互控件5自适应显示在扇形交互舒适区3内部，并呈一定逻辑顺序排列。
【权利要求】
1.一种基于手势交互中人体骨骼提取的自适应界面生成方法，其特征在于， 步骤如下: 步骤SOl:使用者进入深度传感器视野，所述的深度传感器包括红外发射器和红外接收器的组合，在手势交互环境中，深度传感器置于显示屏幕正下方或正上方，面对使用者，深度传感器通过红外测距得到人体深度数据； 步骤S02:传感器内置程序通过步骤SOl中得到的人体深度数据提取人体多个关节点位置信息，包括人体肩关节点位置信息； 步骤S03:使用者通过挥动手臂来驱动屏幕上的映射点移动，深度传感器通过步骤S02中获得的关节点信息截取移动的手臂上的关节点信息，进而判断参与交互的手臂相对人体的方位，最终判断使用者是用左手交互还是右手交互； 步骤S04:依据步骤S03中的判断，选择相应的肩关节点，并以该肩关节点为圆心，臂长为活动半径划定圆形区域作为手势活动区域；以肩关节点正上方圆形边界线上点为0°角，右手交互时顺时针方向或左手交互时逆时针方向选择0° - 150°扇形区域为交互舒适区； 步骤S05:依据步骤S04中划分的交互舒适区，将显示屏幕上的交互控件集中显示在扇形区域内，所述的操作控件集中显示的扇形区域为自适应界面； 步骤S06:根据设定的时间间隔，重新依据步骤SOl - S05生成交互舒适区和所述的自适应界面。
2.根据权利要求1所述的自适应界面生成方法，其特征在于，所述的步骤S06，进一步设定肩关节点的位移参数，当所述的肩关节点位移超过设定的位移参数，执行步骤SOl -S05。
3.根据权利要求1所述的自适应界面生成方法，其特征在于，所述的交互控件是用户界面中需要使用者定位、选择、点击操作的元素，包括按钮、复选框、输入框。
4.根据权利要求3所述的自适应界面生成方法，其特征在于，所述的交互控件在扇形交互舒适区内呈逻辑顺序排列。
【文档编号】G06F3/0487GK103941857SQ201410062425
【公开日】2014年7月23日 申请日期:2014年2月22日 优先权日:2014年2月22日
【发明者】彭韧, 楼小龙, 厉向东, 郝力滨, 廖宇晗, 江山永, 金小能, 程章, 高翔, 叶思巧 申请人:浙江大学