基于笔多参数信息的书写绘画与菜单选取无缝链接方法
【专利摘要】本发明提供一种基于笔多参数信息的书写绘画与菜单选取无缝链接方法，该发明能够满足用户在自由书写绘画时不需要移动笔尖就可以选择工具栏中功能菜单的需求。该方法不仅可以实现基于笔尖不动的菜单选取，而且能够解决大屏幕中远距离菜单选取操作不便的劣势。
【专利说明】基于笔多参数信息的书写绘画与菜单选取无缝链接方法
【技术领域】
[0001]本发明属于人机交互领域，具体涉及在笔尖当前位置利用笔的多参数信息来控制菜单选取的一种方法，即一种笔式交互界面中将书写绘画模式与菜单控制模式无缝连接的菜单选取方法。
【背景技术】
[0002]传统的笔式操作界面仅依赖于笔尖的运动轨迹(二维的时间序列位置信息x(t),y (t))来实现输入。因此在执行菜单选取操作时，若没有其他辅助工具，则用户需要停止正在进行的书写绘画任务，然后移动笔尖去点击菜单项以实现菜单选取操作。比如用户在绘制一幅画的过程中，会频繁的改变画笔的颜色、线条粗细以及选取不同的绘图工具等，由此导致笔式设备在书写区与命令区(菜单选取区域)之间进行来回切换，容易造成肢体疲劳和时间浪费。
[0003]此外，在大屏幕操作中，菜单距离远，不便操控，费时费力，且容易产生歧义，即执行菜单选取所造成的移动轨迹不能被设备确定是否为书写绘画的一部分。目前，已经有人研究基于笔尖不动的菜单选择方式，如Toolglass (Bier, E.A., Stone, M.C., Pier, K.,Buxton, W., Derose, T.D., Toolglass and magic lenses: The see-through interface.1n Proc.SIGGRAPH 1933，73-80.)和Tilt Menu (Tian，F.，Xuj L., Wang, H.，Zhang,X., Liu, Y., Setlur, V.and Dai, G.(2008).Tilt menu: using the 3D orientationinformation of pen devices to extend the selection capability of pen-based userinterfaces.Proc.CHI, 1371-1380.),但是这种菜单设计可供选择的菜单数量有限,仅局限于常用的几个菜单选项，并不能很好的满足用户的需求。
【发明内容】
[0004]发明目的:本发明提供一种基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其目的是解决传统情况下利用笔式输入设备进行菜单选取操作时所存在的操作繁琐问题。
[0005]技术方案:本发明是通过以下技术方案来实现的:
一种基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:该方法的具体步骤如下:
(1)利用系统内部的压力与角度传感器实时监测笔的倾斜角、旋转角和压力等参数信息，用户在手写板中自由书写绘画时，若需选择某一菜单项，则在笔尖当前位置把笔杆倾斜至与操作平面成30°以内的状态，即将笔的倾斜角置于0°?30°范围内，可触发模式转换操作，将笔由输入模式转换为菜单选取命令模式；
(2)模式转换命令触发后，利用信号处理与控制模块依据当前书写绘画界面中选项卡的数目将30°?150°可用倾斜角范围进行等分，并将等分后的倾斜角范围进行处理，使得不同的倾斜角范围映射到不同的选项卡；用户需要倾斜笔杆来进行目标浏览，当目标选项卡高亮显示时，用户通过增加笔尖压力对选项卡进行确认；
(3)步骤(2)确认之后，利用信号处理与控制模块监测笔当前的旋转角信息并将0°?360°可用旋转角范围依据一级子菜单的数量进行等分，并依次映射到不同角度范围所对应的子菜单。若用户要选择选项卡所包含的一级子菜单，则将笔顺时针或逆时针绕笔轴旋转；用户根据高亮提示定位子菜单后，增加笔压对选项进行确认。
[0006]当用户在“(3)”步骤的基础上选择二级子菜单时，选取方式与一级子菜单的操作方式相同。
[0007]利用信号处理与控制模块每隔20ms采集一次电子手写笔当前的倾斜角、旋转角和压力等参数信息并给出信号处理结果:当笔倾斜角< 30°时，触发模式转换命令，当30° <笔倾斜角<150°时，进行选项卡的选取操作；使用笔压确认选项卡之后，若需选择子菜单项，则信号处理与控制模块会根据当前监测的笔旋转角信息进行子菜单项浏览；当确认目标菜单选取之后，笔将由命令模式转换回输入模式，用户可继续进行书写绘画操作。
[0008]步骤(2)所描述的使用笔的倾斜角选择选项卡的方式为:利用信号处理与控制模块将笔的可用倾斜角范围30°?150°依据当前书写绘画界面中选项卡的数目进行分割，并将不同的倾斜角区间依次对应于不同的选项卡；然后实时监测笔当前的倾斜角值，并判断出当前笔的倾斜角值所在的倾斜角区间；最后将该倾斜角区间对应的选项卡高亮显示，为用户提供视觉反馈供用户确认选择。
[0009]步骤(3)所描述的利用笔的旋转角选择子菜单选项的方式为:信号处理与控制模块将笔的可用旋转角度0°?360°依据当前选项卡下子菜单的数目进行分割，分割后的每个旋转角区间依次对应于选项卡所包含的每个子菜单项；然后实时监测笔当前的旋转角值，并判断出当前笔的旋转角值所在的旋转角区间；最后将该旋转角区间对应的子菜单项高亮显示，为用户提供视觉反馈供用户确认选择。笔身旋转可以顺时针旋转也可逆时针旋转，可分别实现两个相反方向上菜单项的依次高亮显示。
[0010]确认菜单项时所使用的笔尖压力要大于用户正常自由书写绘画时所处于的压力范围，即使用远大于4N的力来确认所选菜单。
[0011]判断笔身旋转方向的方式为:利用信息处理与控制模块每隔20ms采集一次笔的旋转角信息并进行采样记录，将相邻两次记录的角度大小进行对比，如果后者大于前者，判断为用户当前对笔进行顺时针旋转操作，同理，如果前者大于后者，判断为用户当前对笔进行逆时针旋转操作。
[0012]优点及效果:本发明提供一种基于笔多参数信息的书写绘画与菜单选取无缝链接方法，该发明能够满足用户在自由书写绘画时不需要移动笔尖就可以选择工具栏中功能菜单的需求。该方法不仅可以实现基于笔尖不动的菜单选取，而且能够解决大屏幕中远距离菜单选取操作不便的劣势。
[0013]本发明充分合理地利用了笔式交互设备中基于笔的多参数信息来控制命令菜单的选取操作，节省了用户来回多次选择菜单项所耗费的时间和距离，提高了效率。本发明在大屏幕操作环境下选择远距离菜单更显优势。
[0014]【专利附图】
【附图说明】:
图1为本发明方法所使用的笔的4个参数信息(分别为压力、倾斜角、方位角、旋转角)示意图。[0015]图2为本发明利用0°~30°范围的倾斜角(方位角可任意)触发模式转换操作的示意图。
[0016]图3为本发明利用笔的倾斜角进行选项卡选取操作的示意图，利用笔尖压力对选择项进行确认。
[0017]图4为本发明利用笔的旋转角执行一级菜单的选择示意图，并使用笔压确认。
[0018]图5为本发明顺时针旋转执行二级菜单的选择示意图，并使用笔压确认。
[0019]图6为本发明逆时针旋转执行二级菜单选择示意图，并使用笔压确认。
[0020]【具体实施方式】:
为了便于更好的理解，下面结合附图对本发明的使用方法做详细说明如下:
本发明提供一种基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:所使用的笔多参数信息为如图1所示的倾斜角、旋转角、方位角信息。其中，笔倾斜角是指如图1所示的笔式输入设备平面和笔身之间的夹角a，通过方位角辅助可将设备识别的笔倾斜角范围由30°~90°扩展为30°~150°。笔方位角是指如图1所示笔身在笔式输入设备平面上的投影与笔式输入设备的北方之间的夹角P，使用区间为0°~360°，这个角度区间同时适用于左右惯用手用户。笔旋转角是指沿着笔管径向轴旋转的角度，使用区间为0°~360°，图1中的f?为示意旋转角的标识。
[0021]本发明的具体使用步骤如下:
根据我们先前的研究(Xin, Y.，Bi, X., Ren, X., Natural Use Profiles for thePen:An Empirical Exploration of Pressure, Tilt, and Azimuth.CHI2012,ACMPress (2012)，801-804.)，得出了用户在使用笔进行自然书写绘画时压力、倾斜角、方位角和旋转角的常用范围，因此，基于当前菜单选取繁琐问题，我们充分合理利用笔的多参数信息，设计了如下书写绘画与菜单选取无缝链接方法:
(I)用户使用笔进行自由书写绘画或者在笔式交互界面中自由操作时，若需选择某一菜单项，则用户无需抬起和移动笔尖，在笔尖当前位置就可以利用笔的多参数信息实现菜单选取操作。如图2所示，用户在在书写中想要进行菜单项选取操作，则在笔尖当前区域将笔倾斜至0°~30°范围，，经信号处理与控制模块分析处理后触发模式转换操作，将笔由输入模式转换到菜单选取命令模式。
[0022](2)参照图3，共有五个选项卡，用户触发模式转换之后，利用信号处理与控制模块根据当前选项卡的数量将30°~150°的倾斜角区间等分成五份倾斜角区间，并依次对应于五个选项卡；然后以20ms的频率实时对倾斜角采样，判断笔当前的倾斜角值属于哪个选项卡所对应的倾斜角区间；当用户将笔倾斜至78°~102°范围内时，此时对应于第三个选项卡高亮显示，用户根据视觉反馈增大笔尖压力即可确认选择第三个选项卡。
[0023] (3)确认选项卡选择之后，若需继续选择下级第二个子菜单，则如图4所示，用户顺时针旋转笔，并将笔旋转角旋转至第二个子菜单所对应的角度区间。信号处理与控制模块的处理方式同步骤(2)，待目标菜单高亮显示后增大笔尖压力确认选择即可。
[0024](4)若用户选择的是二级子菜单中的某个菜单项，则如图5所示，用户需再次将笔身沿着笔管径向轴旋转。不同的旋转角度区间对应不同的子菜单高亮显示。当目标子菜单高亮显示时，增大笔尖压力确认选择。同理，三级子菜单选择同二级子菜单的选择方式一样。[0025]使用笔旋转角进行菜单选取时，为了方便操控，顺时针旋转和逆时针旋转分别对应两个对立方向上菜单项的依次高亮显示。如图5所示，顺时针旋转笔时菜单从上往下依次高亮显示；如图6所示,逆时针旋转笔时菜单从下往上依次高亮显示。
[0026]本发明所提出的基于笔多参数信息将书写绘画与菜单选取无缝链接的方法，能够使用户在自由书写绘画过程中无需反复移动笔尖去选取目标菜单项，尤其解决了大屏幕操作环境下远距离菜单不易操控的问题。该方法不仅节省时间，方便用户操作，而且不易造成肢体疲劳。
【权利要求】
1.一种基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:该方法的步骤如下: (1)利用系统内部的压力与角度传感器实时监测笔的倾斜角、旋转角和压力等参数信息，当用户在手写板中自由书写绘画时，若需选择某一菜单项，则在笔尖当前位置把笔杆倾斜至与操作平面成30°以内的状态，即将笔的倾斜角置于0°~30°范围内，触发模式转换操作，将笔由输入模式转换为菜单选取命令模式； (2)模式转换命令触发后，利用信号处理与控制模块依据当前书写绘画界面中选项卡的数目将30°~150°可用倾斜角范围进行等分，并将等分后的倾斜角范围进行处理，使得不同的倾斜角范围映射到不同的选项卡；用户需要倾斜笔杆来进行目标浏览，当目标选项卡高亮显示时，用户通过增加笔尖压力对选项卡进行确认； (3)步骤(2)确认之后，利用信号处理与控制模块监测笔当前的旋转角信息并将0°~360°可用旋转角范围依据一级子菜单的数量进行等分，并依次映射到不同角度范围所对应的子菜单；若用户要选择选项卡所包含的一级子菜单，则将笔顺时针或逆时针绕笔轴旋转；用户根据高亮提示定位子菜单后，增加笔压对选项进行确认。
2.根据权利要求1所述的基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:当用户在“(3)”步骤的基础上选择二级子菜单时，选取方式与一级子菜单的操作方式相同。
3.根据权利要求1所述的基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:利用信号处理与控制模块每隔20ms采集一次电子手写笔当前的倾斜角、旋转角和压力等参数信息并给出信号处理结果:当笔倾斜角< 30°时，触发模式转换命令，当30° <笔倾斜角<150°时 ，进行选项卡的选取操作；使用笔压确认选项卡之后，若需选择子菜单项，则信号处理与控制模块会根据当前监测的笔旋转角信息进行子菜单项浏览；当确认目标菜单选取之后，笔将由命令模式转换回输入模式，用户可继续进行书写绘画操作。
4.根据权利要求1所述的基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:步骤(2)所描述的使用笔的倾斜角选择选项卡的方式为:利用信号处理与控制模块将笔的可用倾斜角范围30°~150°依据当前书写绘画界面中选项卡的数目进行分割，并将不同的倾斜角区间依次对应于不同的选项卡；然后实时监测笔当前的倾斜角值，并判断出当前笔的倾斜角值所在的倾斜角区间；最后将该倾斜角区间对应的选项卡高亮显示，为用户提供视觉反馈供用户确认选择。
5.根据权利要求1所述的基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:步骤(3)所描述的利用笔的旋转角选择子菜单选项的方式为:信号处理与控制模块将笔的可用旋转角度0°~360°依据当前选项卡下子菜单的数目进行分割，分割后的每个旋转角区间依次对应于选项卡所包含的每个子菜单项；然后实时监测笔当前的旋转角值，并判断出当前笔的旋转角值所在的旋转角区间；最后将该旋转角区间对应的子菜单项高亮显示，为用户提供视觉反馈供用户确认选择；笔身旋转可以顺时针旋转也可逆时针旋转，可分别实现两个相反方向上菜单项的依次高亮显示。
6.根据权利要求1所述的基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:确认菜单项时所使用的笔尖压力要大于用户正常自由书写绘画时所处于的压力范围，即使用远大于4N的力来确认所选菜单。
7.根据权利要求5所述的基于笔多参数信息的书写绘画与菜单选取无缝链接方法，其特征在于:判断笔身旋转方向的方式为:利用信息处理与控制模块每隔20ms采集一次笔的旋转角信息并进行采样记录，将相邻两次记录的角度大小进行对比，如果后者大于前者，判断为用户当前对 笔进行顺时针旋转操作，同理，如果前者大于后者，判断为用户当前对笔进行逆时针旋转操作。
【文档编号】G06F9/44GK103576900SQ201310576560
【公开日】2014年2月12日 申请日期:2013年11月14日 优先权日:2013年11月14日
【发明者】辛义忠, 马燕飞, 李岩, 袁伟强 申请人:沈阳工业大学