专利名称：一种基于智能手机的三维交互方法及系统的制作方法
技术领域：
本发明属于人机交互领域，具体地涉及基于智能手机的三维交互方法及系统。
背景技术：
近年来，随着计算机软硬件及信息网络的发展，人们信息获取的来源已经不局限于传统的办公桌上。可呈现更多内容的大尺寸、高分辨率电子屏幕越来越多地出现在非公共场所(家庭式大尺寸液晶电视、家用投影仪)以及公共场所(会议室、演讲厅、机场、火车站、购物中心、博物馆)等。电子大屏幕虽然可以呈现大量丰富的内容，但是由于缺乏合适的交互技术与交互设备，多数不具有互动性，用户很难获得感兴趣的内容或者去影响改变大屏幕的内容。传统的WMP界面交互设备如鼠标、键盘机动性较差，且通常情况下只支持单人交互；若采用触摸屏式的交互，也需要考虑公共物品保护以及价格昂贵等因素。在这种情形下，人们迫切需要一种便捷的、廉价的交互技术用于这些新型的交互场合。相比于传统的设备如鼠标，智能手机具有明显优势首先，手机做为一种日常生活通讯设备，易于携带、移动，其使用空间不受限制；其次，机载的摄像头、触摸屏、惯性传感器等提供了强大的多通道输入能力；再次，CPU越来越高的主频以及越来越大的机载内存，都为手机作为计算平台和交互输入设备提供了可能；最后，通过Wifi或者蓝牙连接，手机可以远距离与大屏幕进行无线通信。智能手机，尤其是像iPhone、Android等配有高像素摄像头、大尺寸多点触摸屏幕、丰富的传感器的手机，给大屏幕交互领域带来了新的希望。当前手机作为交互设备与大屏幕进行交互的方式主要有以下几种方式一、通过手机物理按键对远程大屏幕进行操作；方式二、将大屏幕的图像发送并显示在手机触摸屏上操作，然后将操作发送回至大屏幕；方式三、通过用摄像头来进行大屏幕的控制。第一种交互方式将物理按键与大屏幕上的操作进行功能映射；由于手机物理按键的数目限制，此种交互方式仅能实现少数较为简单的操作，若要实现复杂或者更多的操作时，则需采用组合键，这必然会增加用户的记忆负担。第二种交互方式将大屏幕上的内容通过无线网络发送并显示到手机触摸屏上，对触摸屏的操作直接映射为对大屏幕的操作；此种交互方式较为直观，但是由于通讯过程中涉及图像的实时传送、交互过程易出现延迟，并且对于一些三维应用场景，对触摸屏的二维触摸操作不能正确的反应用户的交互意图。第三种交互方式通过基于视觉的运动跟踪，将手机当做一种指向设备使用，但由于大多数基于摄像头的姿态解算算法复杂度较高，交互过程延迟较大，并且开启摄像头耗电量大，会造成交互设备续航能力下降，进而影响用户体验；并且多数基于摄像头的算法只能达到水平垂直两个方向自由度的交互，同时由于用户长时间操作会感觉疲劳(需伸直手臂将摄像头对准设备屏幕或者背景环境)。
综上所述，无论是哪一种交互方式，在信息的及时传递、方便快捷的操作、三维场景再现和能耗方面都均在不同程度的缺陷。
发明内容
针对现有技术中存在的技术问题，本发明的目的在于提供一种基于智能手机的交互方法及系统，使得用户在与大屏幕交互的过程中，不受物理空间的限制，不仅可以用三维交互设备(例如智能手机、任天堂的Wii、索尼的PS3手柄等)代替鼠标、键盘等二维交互设备在二维交互界面或者场景的交互，还能用于在三维交互界面或者场景的交互。为实现上述目的，我们提出一种基于智能手机的三维交互方法，包括以下步骤I)建立大屏幕服务器与智能手机客户 端之间的通讯连接；2)客户端基于传感器(加速度计、陀螺仪、磁力计及触屏感应装置等)执行交互操作(旋转手机或者触摸屏输入)通过空间姿态解算获得客户端的姿态角[的及空间指向，其中V为航向角，0为俯仰角4为倾斜角；3)客户端对触摸屏区域进行功能划分，通过将空间姿态与触摸屏事件融合，封装成交互消息数据包，通过无线方式发送给服务器端；4)服务器端接收交互消息数据包后，提取出交互消息中的空间姿态信息与触摸屏事件；5)服务器端对空间姿态信息以及触摸屏事件进行交互映射；若是二维交互场景，则映射为鼠标、键盘等2D操作；若是三维交互场景，则映射为虚拟三维空间内物体的选择与控制等3D操作；6)完成当前任务后，切换回默认状态；7)重复步骤S2至S5，直至全部交互任务完成。针对上述方法，我们提出一种基于智能手机的三维交互系统，包括客户端、网络层和服务器端，客户端和服务器端通过网络层连接，其中客户端包括客户端交互界面层和客户端应用逻辑层，对应的服务器端包括服务器端应用逻辑层和服务器端交互界面层；客户端交互界面层获取空间姿态和触屏状态，并将这些数据发送至客户端应用逻辑层进行计算、编码，然后通过网络层将编码后的数据发送至服务器端，服务器端的应用逻辑层对接收到的数据进行解码，还原其交互映射状态，并通过服务器端交互界面层显示。所述网络层可以是无线连接模式，包括wifi和/或蓝牙，也可以是有线连接模式，本发明在以无线连接时效果最为突出。所述客户端交互界面层包括传感器，其中传感器包括加速度计、陀螺仪、磁力计和触屏感应装置等。所述客户端应用逻辑层包括空间姿态解算模块、触屏数据处理模块、交互信息编码模块和网络管理模块；空间姿态解算模块和触屏数据处理模块对客户端交互界面层的原始数据进行计算处理，将处理后的数据传输至交互消息编码模块进行编码打包，然后通过网络管理模块发送至网络层。所述空间姿态计算模块对智能手机的运动状态进行计算，包括快速运动状态、接近静止状态，及误差校准。所述触屏数据处理模块对智能手机的触摸屏上感应到的触摸状态、触点数量及触摸位置进行数据处理。所述服务器端应用逻辑层包括网络管理模块、交互信息解码模块和交互映射模块；其中交互信息解码模块通过网络管理模块对从网络层获取的交互信息进行解码，然后将解码后的信息传输至服务器交互映射模块。
所述服务器端交互映射模块包括二维交互映射模块和三维交互映射模块，通过获取的解码信息，依据交互事件列表进行查询，然后进行空间姿态和触屏事件的二维和/或三维交互映射。所述二维交互映射包括鼠标左键单双击、鼠标右键单双击、鼠标拖拽等动作。所述三维交互映射包括选择、操纵、导航等动作。所述服务器端交互界面层包括二维交互界面和三维交互界面。本方法为具有大屏幕显示设备的计算机系统提供了一种简单有效的基于智能手机的三维交互技术。在交互的过程中引入了传感器与触摸屏输入融合的思想，只需要一台支持触屏和具备网络连接端口(尤其是具备Wifi或者蓝牙等无线连接端口)的智能手机，通过手机的旋转与触摸屏的输入结合，便能够实现用户与大屏幕显示设备的交互。本发明使得基于智能手机的大屏幕交互支持的操作自由度大大提升，并且交互过程实时、准确，交互体验得以改善。与现有技术相比，本发明具有如下的有益技术效果I.本交互方法基于智能手机可通过无线通讯的方式实现了与大屏幕交互，是对传统键盘鼠标交互的一大扩展。2.本发明创新性提出基于传感器计算手机的空间姿态和基于触屏手指动作的交互，结合触摸屏输入，不仅可以达到交互过程的实时、准确，而且传感器相比于摄像头而言，耗电量较小，交互设备续航能力增强。3.本发明可以通过对触摸屏区域进行针对性的划分以及改变交互事件列表，实现不同的交互映射方式以适应应用场景，可扩展性强。4.本发明支持基于手机运动跟踪的自然人机交互。用户的交互过程不需要学习其它新的知识，只需像使用手机一样，通过旋转手机，以及结合触摸屏的输入，即可与大屏幕进行交互。5.本交互方法充分利用了智能手机的便携性，易于实现、成本上的相对低廉，而且操作简单，在常用的计算机环境下，将极大改善参与者的用户体验，在提高了大屏幕交互体验的同时，也支持基于手持设备上的输入和输出，促进了与个人信息管理设备(手持设备)间的信息交流，方便了用户任务的完成。
图I为本发明系统的结构框图；图2为空间姿态解算流程图；图3为空间姿态二维映射示意图；图4为空间姿态三维映射示意图；图5为二维交互触摸屏区域划分图；图6为三维交互触摸屏区域划分图；图7为手机模拟鼠标指向； 图8为手机摸拟鼠标左键单/双击；图9为手机摸拟鼠标拖拽；图10为手机摸拟鼠标右键单击；
图11为三维交互指向与选择操作；图12为三维交互物体沿X轴移动；图13为三维交互物体沿y轴移动；图14为三维交互物体绕z轴转动；图15为三维交互物体沿z轴移动；图16为三维交互物体放大与缩小。
具体实施方式
为了使本技术领域的技术人员更好的理解，下面结合附图和实施方式对本交互方法作进一步的详细说明，所描述的实施例仅旨在便于对本发明的理解，本发明并不局限于此。为了实现本发明的方法及系统，实施时采用的计算机CPU主频为2. 66GHz,内存为4G，硬盘为500G的计算机或其他类型的计算机，采用的智能手机其ARM CPU主频为IG Hz,内存为512M，操作系统为Android2. 3。在服务器端的PC和客户端的手机上分别采用C++和.Java编制相关程序。本发明系统的结构框图请参见图I。首先构造客户端交互界面层，如图I所示，利用加速度计、陀螺仪、磁力计等后台仪器获取客户端的传感器数据(如加速度计值、陀螺仪值、磁力计值)，通过交互界面的触屏感应装置获取用户操作的触摸屏数据(状态、位置)，并将传感器数据与触屏数据做为输入的原始数据发送给客户端应用逻辑层。对于应用场景的不同，触摸屏的功能区域也会不同，例如本发明中针对二维用户场景，提出了如图5的功能区域划分，而针对三维用户场景，我们则提出了如图6的功能区域划分。然后构造客户端应用逻辑层。如图I所示，该层具有客户端空间姿态解算模块、客户端触屏数据处理模块、客户端交互消息编码模块和客户端网络管理模块等。客户端应用逻辑层获取传感器数据后，由客户端空间姿态解算模块计算手机的空间姿态，客户端应用逻辑层会根据不同的运动状态采用不用的解算法。本发明中，当状态判断为快速运动时，采用基于陀螺仪积分的龙格库塔法计算空间姿态；而当状态判断为接近静止时，通过加速度计值重力分解法计算空间姿态；然后通过校准模块消除运动状态下积分产生的累积误差，最后将计算获得的空间姿态数值输入交互消息编码模块，具体过程如图2所示。上述通过姿态解算获得空间指向的具体过程包括I)获取三轴加速度计值[ax，ay，az]，通过计算其模值对手机运动状态进行判断(步骤I)。若模值近似等于重力加速度计g，则判断手机处于静止状态，否则手机处于快速运动状态。2)若手机处于快速运动状态，获取t时刻的陀螺仪值[ x，coy, coj。陀螺仪值 即手机绕空间坐标系三个坐标轴[x，y，z]的角速度值。根据四阶龙格库塔法对下一时刻t+T的空间姿态进行解算(步骤2)，计算t+T时刻的四元数Q(t+T)(步骤3)，计算过程如下依据四元数微分方程
权利要求
1.一种基于智能手机的三维交互方法，包括以下步骤 1)建立服务器与智能手机客户端之间的连接； 2)客户端基于传感器执行交互操作通过空间姿态解算获得客户端的姿态角M及空间指向，其中V为航向角，0为俯仰角A为倾斜角； 3)客户端对触摸屏区域进行功能划分，通过将空间姿态与触摸屏事件融合，封装成交互消息数据包，并发送给服务器端； 4)服务器端接收交互消息数据包后，提取出交互消息中的空间姿态信息与触摸屏事件； 5)服务器端对空间姿态信息以及触摸屏事件进行交互映射，若是二维交互场景，则映射为2D操作；若是三维交互场景，则映射为3D操作。
2.如权利要求I所述的交互方法，其特征在于，所述传感器包括加速度计、陀螺仪、磁力计和触屏传感器。
3.如权利要求I所述的交互方法，其特征在于，所述获得空间指向的方法为 1)获取三轴加速度计值[\，ay，az]，通过计算其模值判断手机的运动状态； 2)若手机处于快速运动状态，获取t时刻的陀螺仪值[ x， y,Co J ;并对下一时刻t+T的空间姿态进行解算，计算t+T时刻的四元数Q(t+T)； 3)若手机处于接近静止状态，则计算0和炉，同时Hiagbegim为t时刻磁力计值，Hiagend为t+T 时刻磁力计值，根据其变化值算出V ; 4)用接近静止状态下的空间四元数Q'对运动状态下陀螺仪积分所得空间四元数Q进行校准，消除其累积误差；
4.如权利要求I所述的交互方法，其特征在于，所述交互操作包括旋转手机、触摸屏输入。
5.一种基于智能手机的三维交互系统，包括客户端、网络层和服务器端，客户端和服务器端通过网络层连接，其中 客户端包括客户端交互界面层和客户端应用逻辑层，对应的服务器端包括服务器端应用逻辑层和服务器端交互界面层；客户端交互界面层获取空间姿态和触屏状态，并将这些数据发送至客户端应用逻辑层进行计算、编码，然后通过网络层将编码后的数据发送至服务器端，服务器端的应用逻辑层对接收到的数据进行解码，还原其交互映射状态，并通过服务器端交互界面层显示。
6.如权利要求5所述的交互系统，其特征在于，所述客户端交互界面层设有传感器，所述传感器包括加速度计、陀螺仪、磁力计和触屏感应装置。
7.如权利要求5所述的交互系统，其特征在于，所述客户端应用逻辑层包括空间姿态解算模块、触屏数据处理模块、交互信息编码模块和网络管理模块；空间姿态解算模块和触屏数据处理模块对客户端交互界面层的原始数据进行计算处理，将处理后的数据传输至交互消息编码模块进行编码打包，然后通过网络管理模块发送至网络层； 所述空间姿态计算模块对智能手机的运动状态进行计算，包括快速运动状态计算、接近静止状态计算，及误差校准；所述触屏数据处理模块对智能手机的触摸屏上感应到的触摸状态、触点数量及触摸位置进行数据处理。
8.如权利要求5所述的交互系统，其特征在于，所述服务器端应用逻辑层包括网络管理模块、交互信息解码模块和交互映射模块；其中交互信息解码模块通过网络管理模块对从网络层获取的交互信息进行解码，然后将解码后的信息传输至服务器交互映射模块。
9.如权利要求5所述的交互系统，其特征在于，所述服务器端交互映射模块包括二维交互映射模块和三维交互映射模块，通过获取的解码信息，依据交互事件列表进行查询，然后进行空间姿态和触屏事件的二维和/或三维交互映射。
10.如权利要求9所述的交互系统，其特征在于，所述二维交互映射包括鼠标左键单双击、鼠标右键单双击、鼠标拖拽动作；所述三维交互映射包括选择、操纵、导航动作。
全文摘要
一种基于智能手机的三维交互方法及系统，其系统包括客户端、网络层和服务器端，客户端和服务器端通过网络层连接，其中客户端和服务器端均包括交互界面层和应用逻辑层。客户端交互界面层获取空间姿态和触屏状态后，将其发送至客户端应用逻辑层进行计算其运动状态，并进行编码，然后通过网络层将编码后的数据发送至服务器端，服务器端应用逻辑层对接收到的数据进行解码，还原其二维或三维交互映射状态，并通过服务器端交互界面层显示。本发明支持基于手机运动跟踪的自然人机交互，创新性提出基于传感器计算手机的空间姿态和基于触屏手指动作的交互，结合触摸屏输入，不仅可以达到交互过程的实时、准确，而且耗电量较小，交互设备续航能力增强。
文档编号H04M1/725GK102664988SQ20121008087
公开日2012年9月12日 申请日期2012年3月23日 优先权日2012年3月23日
发明者张凤军, 戴国忠, 戴志军, 王宏安, 程龙 申请人:中国科学院软件研究所