可层级展开的多饼型体感菜单及其语法制导识别方法
【技术领域】
[0001] 本发明涉及智能电视领域，支持用身体动作操作电视菜单；也可用于智能家电系 统，用身体动作控制空调等电器；或其他用体感设备进行多层次命令选择的场合。
【背景技术】
[0002] 菜单，作为WMP(窗口、图标、菜单、指针）界面模式的要素之一，是最常见的一种 界面元素。菜单的价值在于将一组符合继承关系的概念伴随用户动作按树形结构逐层展 开，这与人类认识、记忆事物的心理过程契合，因此既容易使用，也容易记忆。
[0003] 菜单的使用过程分为三个步骤：启动、定位和选中。
[0004] 1、"启动"即根据某种信号向用户展现菜单，在使用体感菜单的场合是必须的。
[0005] 2、"定位"即用户找到所需的选项，在普通系统中通过鼠标的"移动+停滞"实现， 菜单项的树形结构同时逐层展开。
[0006] 3、"选中"即用户选择所需项，普通通过鼠标点击实现。
[0007] 随着人机交互技术的发展，脱离传统的鼠标，使用体感设备的体感菜单逐渐出现， 它们在交互设计上有三种思路：指点型、动作识别型和身体部位识别型。指点型的想法是保 留用户使用鼠标的感受、并将其延续到体感设备上。通常假定从用户身体某部分发出一射 向屏幕的虚拟光线，产生一个光标，用户移动此光标进行菜单的选择。动作识别型的想法不 再拘泥于鼠标的使用感受，它通过Kinect、加速度感应器、螺旋仪等体感设备识别用户动作 并解释成菜单选择。身体部位识别型的想法比较特殊，它将菜单项虚拟地放置于人体各部 位，通过手或操纵杆的触碰这些部位达成菜单项选择。
[0008] 饼型界面最早由Callahan提出，它将选项如切饼一般排布在一个圆上，诺基亚的 手机和苹果的iPod都较早地使用了这种界面。Kurtenbah将其应用在手持式PDA上，用户 通过手写笔的划动达成选择，Zhao等对Pie菜单的连击与单击在准确率、空间要求等方面 进行了比较，认为在PDA上单击方式更优。Lenman以静态图像识别的手段实现了单击的Pie 菜单，并总结它的优势是平均移动距离最短。
[0009] 诺基亚拥有"多状态统一式饼型菜单"（公开号101622593)专利，应用于其手机 键盘。中国科学院软件研究所拥有"一种基于笔倾角信息的饼形菜单选择方法"（公开号 101286111)专利，应用于手机、PDA等手写笔设备。这两种专利有共同的特点，即应用的场 合（手机或PDA)面积狭小，只能容纳一个饼（圆）型，其所谓"菜单"其实只是命令按钮之 组合，并没有前述传统菜单的层级展开的效果。本专利所应用的场合即电视机等设备则有 充分大的显示空间，可以同时显示多个饼型，通过本专利的方法可呈现出层级展开的动态 效果。
[0010] 电视的功能日渐智能化，由于其特殊的历史地位，未来将成为家庭的主要的智能 终端，因而需要一种准确好用的体感菜单。饼型界面有控制杆（或手）平均运动距离短的 优点，可降低定位和选中动作的识别难度，将其用作电视或其他设备的体感菜单是可行的， 但须解决如下问题：1)需要稳定的启动。2)需要多层菜单逐层展开的效果，如前所述，目前 的饼型界面应用都不支持此效果，单层菜单其实退化为了按钮，不体现菜单界面帮助记忆 和分类的价值。3)需要一种将用户的身体动作转换成对饼型菜单选择的识别方法。从电视 应用要求出发，这种方法应可以支持方便地更换新的菜单。
【发明内容】
[0011] 针对上述技术问题，本发明提供了一种在电视显示屏或智能家电或其它体感装置 上的可层级展开的饼型体感菜单及其语法制导识别方法，启动稳定且能逐层展开，方便用 户控制和更换新的菜单。
[0012] 为了实现上述技术目的，本发明采用了如下技术方案：
[0013] -种可层级展开的多饼型体感菜单，用于电视显示屏或智能家电或其它体感控制 装置上，所述菜单由多个饼型子菜单构成，其中，每个饼型子菜单包含上、下、左、右排布的4 个选项，每个选项经激活后包括：显示新的饼型子菜单或者执行某项预定的功能；
[0014] 依次激活的多个子菜单同时出现于显示区域内，呈现类似普通线性菜单具有的层 次展开效果。
[0015] 进一步的，所述多个饼型子菜单由一组半径为r的圆的集合P= {p。，Pdp2, . . .pt} 构成，其中
[0016] Pi=(xi,Yi),
[0017] (Xl，yi)是？1在显示区域内的圆心坐标。
[0018] 进一步的，若显示区域内已经显示了s个圆，当菜单选项激活后在显示区域内出 现新的饼型子菜单时，对于已存在的Ple{P。，Pl，p2,... Ps}，其位置为
[0019]
[0020] 新出现的ps+1的位置为
[0021] 其中，
丨表示激活向量，
为激活新的饼 型子菜单的激活向量。
[0022] 本发明提供的多饼型体感菜单的语法制导识别方法，根据人体动作进行所述多 饼型体感菜单的选择和激活，包括如下步骤：
[0023] 步骤一，使用体感设备采集人体骨骼数据；
[0024] 步骤二，处理所述人体骨骼数据，提取出特征向量，所述特征向量包括手和人体 敏感点的实时位置信息；
[0025] 步骤三，定义若干原子事件，每个原子事件代表手和敏感点的位置关系、运动速 度、运动行程、运动方向和内部计时器状态的特定变化；赋予每个原子事件一个英文字母， 建立字母表，并制定相应的从特征向量提取字母的规则；
[0026] 步骤四，根据所述字母表和提取规则，使用字母提取器对特征向量集合作字母提 取，产生字母流；
[0027] 步骤五，定义若干菜单操作的基本动作，赋予每个动作一个终结符；制定正则表达 式将基本动作描述为前述字母的特定组合；将所述字母流输入词法分析器，所述词法分析 器根据正则表达式过滤字母流，产生终结符流；
[0028] 步骤六，将所述终结符流输入语法分析器，所述语法分析器根据所述终结符流和 相应规则识别人体动作，并判断是否为可执行菜单命令；
[0029] 步骤七，若不是可执行菜单命令，则重复步骤四到六，直至识别出一个可执行菜单 命令，所述可执行菜单命令包括多饼型菜单的启动和菜单项选择及激活。
[0030] 进一步的，所述步骤二中，人体敏感点包括额、肩部和腰肋部。上述敏感点符合如 下要求：一、不易混淆，人体在自然状态时不倾向于长时间将手（或控制杆）置于该点；二、 基于图像（包括红外图像）的体感设备可识别，该点一般不在身体中部，多在身体轮廓的边 缘；三、手可以触及。
[0031] 进一步的，所述步骤二中，处理所述人体骨骼数据，提取出特征向量具体包括如下 步骤：1)去除数据毛刺；2)人体坐标变换，将设备坐标转化为人体坐标；3)提取特征向量。
[0032] 进一步的，将设备坐标转化为人体坐标后，为了消除身高的个体差异对识别准确 率的影响，定义长度调整系数S，点（X，y，z)经调整后的坐标为（χ/δ，y/δ，ζ/δ)，δ为 人体喉部到腹部的垂直距离与两肩的水平距离之和。
[0033] 进一步的，所述步骤六中，可执行菜单命令包括多饼型菜单的启动、悬停、激活及 上、下、左、右选择。
[0034] 本发明的多饼型体感菜单，通过多个饼型动态生成和定位的方式实现了菜单的动 态展开，菜单呈现给用户的是清晰、动态的逐级展开效果。
[0035] 本发明的多饼型体感菜单的语法制导识别方法，通过人体敏感点触碰的方式实现 稳定的启动，并通过语法制导识别的方法实现对上述体感菜单的选择，并可以快速构建新 菜单。
[0036] 相比现有技术，本发明的有益效果如下：
[0037] 1)通过敏感点触碰达成体感菜单的启动，稳定而不易混淆。
[0038] 2)通过一系列生成和定位规则实现了饼型菜单的层次展开。
[0039] 3)采用语法制导的识别方法，通过字母提取器将连续不断的人体动作转换成一系 列预定义的字母，再通过特定的词法分析器和语法分析器对字母流进行筛选和分析，识别 出对展开式饼型体感菜单的操作。由于词法分析和语法分析的描述都有规范标准，因此可 方便地进行修改以适应菜单的变化或应用的扩展。
【附图说明】
[0040]图1为本发明的多饼型体感菜单的语法制导识别方法的输入、输出流程示意图；
[0041]图2为本发明的多饼型体感菜单的语法制导识别方法在数字电视控制上实施的 示例图；
[0042] 图3为本发明的多饼型体感菜单的语法制导识别方法在Kinect设备上的实施框 架图。
【具体实施方式】
[0043] 为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是 应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的 限制。
[0044] 本发明提供了一种可层级展开的多饼型体感菜单，可以用在电视显示屏或智能家 电或其它体感控制装置上。菜单由多个饼型子菜单构成，其中，每个饼型子菜单包含上、下、 左、右排布的4个选项，每个选项经激活后显示新的饼型子菜单或者执行某项预定的功能。
[0045] 新的菜单激活后，依次激活的多个子菜单同时出现于显示区域内，按照特定方法 定位，呈现类似普通线性菜单具有的层次展开效果。
[0046] 具体的，为实现上述效