专利名称：信息处理系统的制作方法
技术领域：
信息处理系统
技术领域：
本实用新型涉及一种信息处理系统及其处理方法，特别涉及一种对智能移动设备上应用程序的触屏操作、重力传感器操作等操作通过遥控器按键、语音指令、人体动作、重力平衡板等操作来替代的系统和方法，使得智能移动设备应用程序能够轻松移植到智能电视终端上。
背景技术：
近年来,基于Android系统的智能移动设备包括Android智能手机与Android平板电脑(Pad)数量激增，同步激增的是为这些设备开发的各种应用程序。这些应用程序绝大部分通过智能手机或平板电脑上配置的触摸屏、重力传感器和陀螺仪传感器来操控，如很多赛车应用程序中的转向采用左右倾斜设备使内置重力传感器动作来实现，刹车、漂移等操作通过触摸屏幕上的一些特定区域来实现。最近，出现了一些基于Android系统开发的智能电视盒，这些电视盒均可运行基于Andro i d系统的应用程序,如很多在Andro i d智能手机或平板电脑上可运行的赛车应用程序，也可以在Android智能电视机顶盒上运行。由于这些Android应用程序绝大部分都是为配备了触摸屏、重力传感器的Android智能移动设备而开发，当这些应用程序运行在Android智能电视机顶盒上时，由于没有了触摸屏和重力传感器等操控模块，导致这些应用程序无法操控。另外，当这些应用程序运行在智能移动设备上时，显示屏的朝向有可能各不相同，使用的重力传感轴与陀螺仪轴也各不相同。但当这些应用程序运营在android智能电视机顶盒上时，由于电视机屏幕永远保持垂直的朝向，这导致不同的应用程序需要选择遥控设备中不同的重力传感轴与陀螺仪轴来进行控制。同时，各个应用程序对使用的各个重力传感轴与各个陀螺仪轴的灵敏度要求也可能各不相同，为了使这些应用程序在使用同一种操控外设进行操控时有统一 的操控体验，有必要在运行各个应用程序时，将各个重力传感轴与各个陀螺仪轴的灵敏度调节到最适合各个应用程序的程度。另外，在智能电视机顶盒上还可以通过语音输入、人体动作识别等技术来实现更自然的人机交互。如何通过遥控器、语音输入、人体动作识别和重力平衡板等手段，在智能电视机顶盒上完美体验这些数量巨大的、原本为Android智能移动设备开发的应用程序，成为一个十分迫切的问题。
实用新型内容本实用新型的目的在于:提供一种信息处理终端和处理方法，使得应用程序开发厂商可以用现成为智能移动设备开发的应用程序直接开拓智能电视终端市场，无须为智能电视终端开发专门的程序版本，在完全不增加开发成本的情况下，拓宽了市场空间。本实用新型所采用的技术方案如下:一种信息处理终端，包括执行部件，用于安装和执行一个或多个应用程序；操控部件，用于控制和操作所述执行部件中的应用程序；其特征在于:所述操控部件包括下述控制模块中的一种或多种:按键模块，重力传感器模块，陀螺仪传感器模块，语音输入模块，动作识别模块，人体重力平衡模块；所述执行部件还包括预处理模块和运行转换模块；所述预处理模块用于根据不同应用程序的不同操控需要，对所述操控部件各个控制模块产生的控制信号进行信号转换预处理，并生成各个应用程序各自的预处理记录；所述运行转换模块用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。根据所述操控部件配置的控制模块种类，所述预处理模块包括下述控制模块转换预处理中的一种或多种:按键模块转换预处理包含下面三种预处理的一种或多种:将需要用按键来代替的各个应用程序中的屏幕触控操作，与操控部件的按键模块中用来替代的按键进行对应；生成的预处理记录包含一系列按键与屏幕触控操作的对应关系;将需要用按键来代替的各个应用程序中的传感器操作，与操控部件的按键模块中用来替代的按键进行对应；生成的预处理记录包含一系列按键与传感器操作的对应关系；将各个应用程序中各种按键操作所需输入的按键值，与操控部件的按键模块中各个按键的编号进行对应；生成的预处理记录包含按键模块上一系列按键的编号与发送给各个应用程序的实际按键值的转换关系；重力传感器模块转换预处理将各个应用程序中使用的一个或多个重力传感轴与操控部件的重力传感器模块
的一个或多个轴进行--对应,生成的预处理记录包含一个或多个重力传感轴的对应关
系O陀螺仪传感器模块转换预处理将各个应用程序中使用的一个或多个陀螺仪传感轴与操控部件的陀螺仪传感器模块的一个或多个轴进行一一对应，生成的预处理记录包含一个或多个陀螺仪传感轴的对应关系。语音输入模块转换预处理包含下面三种预处理的一种或多种:将需要用语音指令来代替的各个应用程序中的屏幕触控操作，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与屏幕触控操作的对应关系；将需要用语音指令来代替的各个应用程序中的传感器操作，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与传感器操作的对应关系；将各个应用程序中各种按键操作所需输入的按键值，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与发送给各个应用程序的实际按键值的对应关系；动作识别模块转换预处理包含下面三种预处理的一种或多种:将需要用人体动作来代替的各个应用程序中的屏幕触控操作，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与屏.触控 呆作的对应关系；将需要用人体动作来代替的各个应用程序中的传感器操作，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与传感器操作的对应关系；将各个应用程序中各种按键操作所需输入的按键值，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与发送给各个应用程序的实际按键值的对应关系；人体重力平衡模块转换预处理将需要用平衡轴来代替的各个应用程序中使用的重力传感器轴，与操控部件的人体重力平衡模块的平衡轴进行一一对应；生成的预处理记录包含人体重力平衡模块的平衡轴与各个应用程序中使用的重力传感器轴的一一对应关系；优选的，所述步骤a)、步骤d)和步骤e)各个应用程序中的屏幕触控操作，为屏幕触摸或屏幕点击的一个或多个屏幕点、一个或多个屏幕矢量或一根或多根屏幕曲线，这些屏幕触控操作包括在单通道触摸设备上的顺序操作和在多通道触摸设备不同通道上的同时操作；所述步骤b)重力传感器模块转换预处理进一步包括下面的I个或2个处理:`[0036](I)记录各个应用程序使用的一个或多个重力传感器轴与操控部件重力传感器模块对应轴的正反方向，生成的预处理记录包含各个对应轴的正反方向对应关系；(2)设定各个应用程序使用的一个或多个重力传感器轴的灵敏度系数；生成的预处理记录包含各个重力传感器轴的灵敏度系数；所述步骤c)陀螺仪传感器模块转换预处理进一步包括下面的I个或2个处理:(I)记录各个应用程序使用的一个或多个陀螺仪传感器轴与操控部件陀螺仪传感器模块对应轴的正反方向，生成的预处理记录包含各个对应轴的正反方向对应关系；(2)设定各个应用程序使用的一个或多个陀螺仪传感器轴的灵敏度系数；生成的预处理记录包含各个陀螺仪传感器轴的灵敏度系数；所述步骤f)人体重力平衡模块转换预处理进一步包括下面的I个或2个处理:(I)记录人体重力平衡模块的平衡轴与对应的各个应用程序使用的重力传感器轴的正反方向，生成的预处理记录包含各个对应轴的正反方向对应关系。(2)设定各个应用程序使用的一个或多个重力传感器轴的灵敏度系数；生成的预处理记录包含各个重力传感器轴的灵敏度系数；所述信息处理终端还包含显示部件，用于显示各个应用程序的用户界面；所述显示部件与所述执行部件集成为一个设备或分开设置。所述操控部件为空中鼠标遥控器，包括3轴重力传感器和3轴陀螺仪传感器，所述空中鼠标遥控器通过无线方式与连接到所述执行部件USB接口的Dongle进行通信，从而操控执行部件。本实用新型的有益效果在于:(I)应用程序开发厂商可以用现成为智能移动设备开发的应用程序直接开拓智能电视终端市场，无须为智能电视终端开发专门的版本，在完全不增加开发成本的情况下，拓宽了市场空间；(2)智能电视终端厂家可以很轻松地找到海量的应用程序，避免了合适的应用程序稀少、无法开拓智能电视终端市场的窘境；(3)智能电视终端用户一方面可以享用现成的、为智能移动终端开发的海量应用程序，同时，由于应用程序开发厂商无须增加任何开发成本，也降低了智能电视终端应用的使用成本。
图1为本实用新型实施例的执行部件机顶盒的结构示意图；图2为本实用新型实施例的操控部件空中鼠标遥控器的面板示意图，面板最左边为麦克风输入孔，中间为按键区域，最右边为指示灯；图3为本实用新型中，当图2的遥控器内置3轴重力传感器，遥控器按键面朝上放置(左右保持原方向)时，其中3轴重力传感器各个轴的定义；图4为本实用新型中，当图2的遥控器内置3轴陀螺仪传感器，遥控器按键面朝上放置(左右保持原方向)时，其中3轴陀螺仪传感器各个轴的定义；图5为本实用新型实施例中Android应用程序--赛车重力游戏A的用户界面示意图；图6为本实用新型实·施例中Android应用程序--赛车重力游戏B的用户界面示意图；图7为本实用新型实施例中Android应用程序--赛车重力游戏C的用户界面场景I不意图；图8为本实用新型实施例中Android应用程序--赛车重力游戏C的用户界面场景2不意图；图9为本实用新型的动作识别模块的一个实施例，3D图像动作识别器。该实施例采用3D摄像头捕捉人体活动图像，然后进行人体动作识别。图10为本实用新型的动作识别模块的另一个实施例，体感手势识别器。该实施例采用内置重力传感器和陀螺仪传感器的手势棒来捕捉人的手势动作，然后进行手势动作识别。图11为本实用新型实施例中3D图像动作识别器所识别的6个人体动作图12为本实用新型实施例中Android应用程序--赛车游戏D的用户界面示意图；图13为本实用新型实施例中人体重力平衡模块的实施例--重力平衡板具体实施方式
以下结合附图和实施例进一步说明本实用新型。实施例1如图1、图2、图3、图4、图9、图11和图13所示，一种信息处理终端，包括执行部件，用于安装和执行应用程序，操控部件，用于控制和操作所述执行部件中的应用程序；本实施例采用智能电视机顶盒作为执行部件，该机顶盒采用瑞芯微RK2918 ARM Cortex - A8处理器，主频1.2GHz, RAM 1GB, Flash存储器4GB，操作系统采用Android系统2.3.2，具有HDMI输出，USB2.0接口 3个。机顶盒内部软件虚拟了 3个逻辑重力传感轴YR1，YR2，YR3及3个逻辑陀螺仪传感轴YT1，YT2，YT3，机顶盒内部软件同时虚拟了一个多通道触摸屏设备。机顶盒通过HDMI输出连接高清液晶电视机。所述操控部件包括空中鼠标遥控器(如图2)，3D图像动作识别器(如图9)和重力平衡板(如图13)。所述空中鼠标遥控器内置3轴重力传感器与3轴陀螺仪传感器，及麦克风(即语音输入模块)。当图2中的遥控器按键面朝上放置(左右保持原方向)时，各个传感器轴的定义如图3、图4所示。所述重力平衡板分上下2层，上面是承重板，下面是底盘，2层之间的4个角上放置了 4个电子秤。当人体站在承重板上时，通过这4个电子秤的读数，可构造出与重力方向垂直的水平面上的2个平衡轴，BXl轴与BX2轴，这2个轴反应了人体重心在水平面上的偏移量。所述空中鼠标遥控器和重力平衡板通过无线方式与连接到机顶盒USB接口的Dongle进行通信，从而来操控机顶盒。所述3D图像动作识别器通过USB接口连接到机顶盒，可以识别如图11所示的6个人体动作。所述智能电视机顶盒上安装了赛车重力游戏A，赛车重力游戏C 二个带触摸操作与重力感应的应用程序。所述执行部件还包括预处理模块和运行转换模块；所述预处理模块用于根据不同应用程序的不同操控需要，对所述操控部件各个控制模块产生的控制信号进行信号转换预处理，并生成各个应用程序各自的预处理记录；所述运行转换模块用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。在本实施例中，对赛车重力游戏A的预处理模块包括如下步骤:先做按键模块转换预处理；在一个Android平板电脑上运行赛车重力游戏A，该应用程序的的用户界面如图5所示。我们发现，当赛车重力游戏A在机顶盒上运行时，有6个屏幕触控操作需要用按键来代替触控:点击屏幕点Cl (87,460)，这个操作代表加速；点击屏幕点C2 (460, 460)，这个操作代表左转；点击屏幕点C3 (610, 460)，这个操作代表右转；点击屏幕点C4 (680，35)，这个操作代表暂停；点击屏幕点C5 (1000, 460)，这个操作代表减速；同时在触摸屏的通道I上画矢量Vll (1050，150)V12(950，230)和通道2上画矢量V21 (260，430)V22(340, 350)，这个操作代表场景缩小；上述这6个屏幕触控操作分别用空中鼠标遥控器上的Kl，K5，K6，K8，K7，K3作为
替代按键。赛车重力游戏A的按键模块转换预处理记录如下:kl (87,460)[0081]k5 (460，460)k6 (610，460)k8 (680,35)k7 (1000，460)K3 (通道 I (1050，150) (950，230)，通道 2 (260，430) (340，350))同时，我们发现，同样的6个屏幕触控操作也可以用6条语音指令来实现，因此，对赛车重力游戏A的语音输入模块转换预处理记录如下:语音指令“加速”(87，460)，即点击屏幕点(87，460)语音指令“左转”(460，460)，即点击屏幕点(460，460)语音指令“右转”(610，460)，即点击屏幕点(610，460)语音指令“暂停”(680，35)，即点击屏幕点(680，35)语音指令“减速”(1000，460)，即点击屏幕点(1000，460)语音指令“缩小”(通道1(1050, 150) (950,230)，通道 2(260，430) (340,350))，即同时在触摸屏的通道I上画矢量(1050，150) (950，230)和通道2上画矢量(260, 430)(340，350)再做重力传感器模块转换的预处理。在机顶盒上运行赛车重力游戏A，并用空中鼠标遥控器来进行操控。此时，我们没有对来自遥控器的重力传感轴数据做任何转换，因此，来自遥控器的3个重力轴RXl、RX2、RX3的数据直接作为YR1、YR2、YR3的数据。我们发现，该应用程序使用了 2个重力轴YR1、YR2来控制，倾斜重力轴YRl (即对应的RXl轴)可使赛车往左或往右转动方向，倾斜重力轴YR2 (即对应的RX2轴)可使赛车前进或后退。为使该游戏用空中鼠标遥控器操控时具有较好的用户体验，需要使用RX2来控制赛车的左右转向，使用RX3来控制赛车前进或后退，即横向平握遥控器，左倾遥控器使赛车往左转向，右倾遥控器使赛车往右转，前倾遥控器使赛车前进，后倾遥控器使赛车后退。因此，在该程序运行时，我们需要将来自遥控器重力轴RX2的数据转换到机顶盒内部逻辑重力轴YR1，将来自遥控器重力轴RX3的数据转换到机顶盒内部逻辑重力轴YR2。即YR1=RX2，YR2=RX3。在机顶盒后台运行转换软件对遥控器重力轴数据实时做上述转换(即YR1=RX2，YR2=RX3)后，我们再次在机顶盒上运行赛车重力游戏A。我们发现，横向平握遥控器，左倾遥控器使赛车往右转向，右倾遥控器使赛车往左转，即RX2轴的控制方向搞反了，因此，必须将RX2的数据反过来；我们还发现，RX2轴卿YRl轴)的灵敏度太大，即稍稍倾斜RX2，就导致赛车大幅度转向，使得用户难以操控。所以，我们必须对RX2轴的数据进行灵敏度弱化处理。经过修改后台运行转换软件的参数进行反复测试，我们发现灵敏度系数为0.4比较合适，确定 YR1=RX2* ( -1) *0.4.[0100]进一步测试发现，RX3轴的数据无须做进一步调整，YR2=RX3保持不变。这样，赛车重力游戏A的重力传感器模块转换的预处理记录为:YR1=RX2* ( -1) *0.4YR2=RX3* (1)*1[0104]再来做陀螺仪传感器模块转换预处理。在机顶盒上运行赛车重力游戏A。经过测试，发现赛车重力游戏A未采用陀螺仪传感轴数据，因此，对应的陀螺仪传感器模块转换预处理记录为空。再做做动作识别模块转换预处理。前面提到的赛车重力游戏A的6个屏幕触控操作也可以用6个人体动作来替代，如图11。“双手上举”表示加速，“左手平伸”表示左转，“右手平伸”表示右转，“双手向前平伸”表示暂停，“双手向下前伸”表示减速，“双手向前平伸并往中间靠拢”表示缩小。因此，对赛车重力游戏A的动作识别模块转换预处理记录如下:动作“双手上举”(87，460)，即点击屏幕点(87，460)动作“左手平伸”(460，460)，即点击屏幕点(460，460)动作“右手平伸”(610，460)，即点击屏幕点(610，460)动作“双手向前平伸”(680，35)，即点击屏幕点(680，35)动作“双手向下前伸”(1000，460)，即点击屏幕点(1000，460)动作“双手向前平伸并往中间靠拢”(通道1(1050，150) (950,230)，通道2(260,430) (340，350))，即同时在触摸屏的通道I上画矢量(1050, 150) (950，230)和通道
2上画矢量(260，430) (340，350)最后，做人体重力平衡模块转换预处理。在机顶盒上运行赛车重力游戏A，并让操作者站在重力平衡板上进行操控。此时，我们没有对来自重力平衡板的平衡轴数据做任何转换，因此，来自重力平衡板的平衡轴BX1、BX2的数据直接作为YR1、YR2的数据。我们发现，该应用程序使用了 2个重力轴YR1、YR2来控制，倾斜重力轴YRl (即对应的BXl轴)可使赛车往左或往右转动方向，倾斜重力轴YR2 (即对应的BX2轴)可使赛车前进或后退。为使该游戏用重力平衡板操控时具有较好的用户体验，需要使用BX2来控制赛车的左右转向，使用BXl来控制赛车前进或后退，即操作者重心偏左使赛车往左转向，偏右使赛车往右转，重心前倾使赛车前进，重心后倾使赛车后退。因此，在该程序运行时，我们需要将来自重力平衡板平衡轴BX2的数据转换到机顶盒内部逻辑重力轴YR1，将来自重力平衡板平衡轴BXl的数据转换到机顶盒内部逻辑重力轴YR2。即YR1=BX2，YR2=BX1。在机顶盒后台运行转换软件对重力平衡板平衡轴数据实时做上述转换(SPYR1=BX2，YR2=BX1)后，我们再次在机顶盒上运行赛车重力游戏A。我们发现，操作者站在重力平衡板上，重心偏左使赛车往右转向，重心偏右使赛车往左转，即BX2轴的控制方向搞反了，因此，必须将BX2的数据反过来；我们还发现，BX2轴(即YRl轴)的灵敏度太大，即稍稍左右偏移重心，就导致赛车大幅度转向，使得用户难以操控。所以，我们必须对BX2轴的数据进行灵敏度弱化处理。经过修改后台运行转换软件的参数进行反复测试，我们发现灵敏度系数为0.3比较合适，确定YR1=BX2* ( -1) *0.3进一步测试发现，BXl轴的方向也反了，但灵敏度无需调整，即YR2=BX1* ( -1)。这样，赛车重力游戏A的人体重力平衡模块转换的预处理记录为:[0123]YR1=BX2* ( -1) *0.3YR2=BX1* ( -1) *1在本实施例中，对赛车重力游戏C的预处理模块类似对赛车重力游戏A的预处理模块，不同的是，游戏C有2个运行场景，需要有2组按键模块转换的预处理记录:对应场景I的第I组预处理记录:kl(87，460)k5 (460，460)k6 (610，460)k8 (680,35)k7 (1000，460)对应场景2的第2组预处理记录:kl (300，510)k2 (446，510)k3 (680，510)k4 (680,30)k5 (900，510)k6 (81, 460)本实施例的运行转换模块是一个Android底层服务程序，被安装到Android系统后，每次机顶盒开机后，该服务程序自动启动，在系统后台运打。运行转换模块实时监控被启动的应用程序。当一个应用程序被启动时，运行转换模块立即根据该应用程序的进程名称，检索到该应用程序对应的预处理记录，并按照操控部件各个控制模块转换的预处理记录，对收到的操控部件的控制信号，进行实时转换。接收到一个按键压下或松开的事件时，运行转换模块从按键模块转换预处理记录查到该按键是用来代替屏幕触控操作的按键时，即根据预处理记录，将这个事件转换为对应的屏幕触控操作，该屏幕触控操作通过Android系统的标准接口，被发给应用程序；接收到一个重力传感轴的数据时，运行转换模块从重力传感器模块转换的预处理记录查到该重力传感轴的数据被应用程序使用时，即根据预处理记录转换为对应的内部逻辑重力传感轴的数据，该数据通过Android系统的标准接口，被发给应用程序；接收到一个陀螺仪传感轴的数据时，运行转换模块从陀螺仪传感器模块转换的预处理记录查到该陀螺仪传感轴的数据被应用程序使用时，即根据预处理记录转换为对应的内部逻辑陀螺仪传感轴的数据，该数据通过Android系统的标准接口，被发给应用程序；接收到一个语音输入模块输入的语音指令时，运行转换模块从语音输入模块转换预处理记录查到该语音指令是用来代替屏幕触控操作的语音指令时，即根据预处理记录，将该语音指令转换为对应的屏幕触控操作，该屏幕触控操作通过Android系统的标准接口，被发给应用程序；接收到一个动作识别模块识别到的人体动作时，运行转换模块从动作识别模块转换预处理记录查到该动作是用来代替屏幕触控操作的人体动作时，即根据预处理记录，将该动作转换为对应的屏幕触控操作，该屏幕触控操作通过Android系统的标准接口，被发给应用程序；[0146]接收到一个重力平衡板平衡轴的数据时，运行转换模块从人体重力平衡模块转换的预处理记录查到该平衡轴的数据被应用程序使用时，即根据预处理记录转换为对应的内部逻辑重力传感轴的数据，该数据通过Android系统的标准接口，被发给应用程序；当赛车重力游戏A被启动后，运行转换模块首先检索到对应的预处理记录，并准备按预处理记录对收到的遥控器控制信号进行转换。收到遥控器RXl轴的数据，不做转换；收到遥控器RX2轴的数据，转换为YR1，YR1=RX2* ( -1) *0.4 ;收到遥控器RX3轴的数据，转换为YR2，YR2=RX3* (I) *1 ;收到陀螺仪TX1、TX2、TX3轴的数据，不做转换；在赛车重力游戏々过程中，1 1、1 2、1 3、了乂1、了乂2、了乂3的数据会按每秒100条的
速度接收到，运行转换模块将一直按上述方式进行转换。各种按键由用户手动触发，举例如下:收到按键K5按下的事件，转换为屏幕(460，460)处触摸的事件；过了一会儿，又收到按键K5松开的事件，转换为屏幕(460，460)处触摸结束的事件;从遥控器麦克风输 入的语音指令、从3D图像动作识别器识别到的人体动作和从重力平衡板收到的平衡轴BX1、BX2的数据，也按类似方式处理。当赛车重力游戏A退出时，上述运营转换过程即结束。当赛车重力游戏C被启动，运行转换模块也首先检索到对应的预处理记录，并准备按预处理记录对收到的遥控器控制信号进行转换。对于重力传感轴与陀螺仪传感轴的数据转换处理，类似对赛车重力游戏A的转换处理。不同的是，对按键模块转换的处理。运行转换模块检索到赛车重力游戏C有以下2组按键模块转换的预处理记录。一开始，运行转换模块使用第I组预处理记录作为按键模块的转换依据。此时，游戏运行在场景I。当游戏运行到场景2时，操作者意识到游戏切换到了新的场景，按键的功能有了变化。于是，操作者按了遥控器上的‘X’键。运行转换模块收到‘X’键后，即开始按按键模块的第2组预处理记录来进行按键转换。实施例2如图1、图2所示，一种信息处理终端，包括执行部件，用于安装和执行应用程序，操控部件，用于控制和操作所述执行部件中的应用程序。本实施例采用智能电视机顶盒作为执行部件，该机顶盒采用瑞芯微RK2918 ARM Cortex - A8处理器，主频1.2GHz，RAM IGB,Flash存储器4GB，操作系统采用Android系统2.3.2，具有HDMI输出，USB2.0接口 3个。机顶盒内部软件虚拟了 3个逻辑重力传感轴YR1，YR2，YR3，及3个逻辑陀螺仪传感轴YT1，YT2，YT3，机顶盒内部软件同时虚拟了一个多通道触摸屏设备。机顶盒通过HDMI输出连接高清液晶电视机。所述操控部件为空中鼠标遥控器(如图2 )，配置了麦克风(即语音输入模块)，但不配置重力传感器与陀螺仪传感器。[0166]所述空中鼠标遥控器通过无线方式与连接到机顶盒USB接口的Dongle进行通信，从而来操控机顶盒。所述智能电视机顶盒上安装了应用程序1--赛车重力游戏B，带触摸操作与重力感应的应用程序，和应用程序2——赛车游戏D，带触摸操作的应用程序。所述执行部件还包括预处理模块和运行转换模块；所述预处理模块用于根据不同应用程序的不同操控需要，对所述操控部件各个控制模块产生的控制信号进行信号转换预处理，并生成各个应用程序各自的预处理记录；所述运行转换模块用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。在本实施例中，对赛车重力游戏B的预处理模块包括如下步骤:先做按键模块转换预处理。
在一个Android平板电脑上运行_赛车重力游戏B，该应用程序的的用户界面如图6所示。我们发现，当赛车重力游戏B在机顶盒上运行时，仅有I个屏幕区域需要用按键来代替触控，坐标为Cl (1000，460)，触摸这个区域用来在游戏过程中踩刹车。Cl区域我们用K8作为替代触摸的按键。我们也准备用语音指令“刹车”来代替这个屏幕触控操作。另外，由于遥控器不带重力传感器，赛车重力游戏B中控制左转和右转的重力传感器操作需要用按键和语音指令来代替。我们准备用遥控器的K2键来代替左转(重力传感器向左倾斜)，用K4键来代替右转(重力传感器向右倾斜)，用语音指令“左转”来代替左转(重力传感器向左倾斜)，用语音指令“右转”来代替右转(重力传感器向右倾斜)。赛车重力游戏B的按键模块转换预处理记录如下:按键代替屏幕触控的转换:K8, (1000，460)；按键代替重力传感器的转换:K2，重力传感器向左倾斜；K4，重力传感器向右倾斜；赛车重力游戏B的语音转换按键模块转换预处理记录如下:语音指令代替屏幕触控的转换:语音指令“刹车”(1000，460)；语音指令代替重力传感器操控的转换:语音指令“左转”，重力传感器向左倾斜；语音指令“右转”，重力传感器向右倾斜；对赛车游戏D的预处理模块包含如下步骤:在一个Android平板电脑上运行-赛车游戏D,该应用程序的用户界面如图12所
/Jn ο赛车游戏D接收Android键值4用来左转，Android键值6用来右转。我们准备通过遥控器的K2和K4键来代替。 赛车游戏D的按键模块转换预处理记录如下:[0192]遥控器按键编号与Android键值的转换:K2，键值 4;K4，键值 6;赛车游戏D的预处理记录中没有其他转换记录了。本实施例中，由于操控部件不含重力传感器模块、陀螺仪传感器模块、动作识别模块和人体重力平衡模块，预处理记录中不包含这4个模块的预处理记录。本实施例的运行转换模块与实施例1类似。不同之处1，由于赛车重力游戏B的预处理记录中包含了按键到重力传感器操作的转换和语音指令到重力传感器操作的转换，在赛车重力游戏B的运行过程中，运行转换模块会进行相应的转换。比如，当运行转换模块收到K2键被压下的信号时，会将其转换为对应的内部逻辑重力传感轴左倾的数据，该数据通过Android系统的标准接口，被发给赛车重力游戏B应用程序；当运行转换模块收到语音指令“右转”时，会将其转换为对应的内部逻辑重力传感轴右倾的数据，该数据通过Android系统的标准接口，被发给赛车重力游戏B应用程序；等
坐寸ο不同之处2，由于赛车游戏D的预处理记录中包含了遥控器按键编号与Android键值的转换。因此，在赛车重力游戏B的运行过程中，当运行转换模块收到一个遥控器按键编号K2和K4时，将据此转换成相应的Android键值。实施例3一种用于信息处理系统的信息处理方法，所述信息处理系统，包括执行部件，用于安装和执行一个或多个应用程序；操控部件，用于控制和操作所述执行部件中的应用程序。所述操控部件包括下述控制模块中的一种或多种:按键模块，重力传感器模块，陀螺仪传感器模块，语音输入模块，动作识别模块，人体重力平衡模块；包括如下步骤:所述预处理步骤，用于根据不同应用程序的不同操控需要，对所述操控部件各个控制模块产生的控制信号进行信号转换预处理，并生成各个应用程序各自的预处理记录；根据操控部件配置的控制模块种类，所述预处理步骤包括下述控制模块转换预处理中的一种或多种:a)按键模块转换预处理包含下面三种预处理的一种或多种:将需要用按键来代替的各个应用程序中的屏幕触控操作，与操控部件的按键模块中用来替代的按键进行对应；生成的预处理记录包含一系列按键与屏幕触控操作的对应关系;将需要用按键来代替的各个应用程序中的传感器操作，与操控部件的按键模块中用来替代的按键进行对应；生成的预处理记录包含一系列按键与传感器操作的对应关系;将各个应用程序中各种按键操作所需输入的按键值，与操控部件的按键模块中各个按键的编号进行对应；生成的预处理记录包含按键模块上一系列按键的编号与发送给各个应用程序的实际按键值的转换关系；b)重力传感器模块转换预处理[0211]将各个应用程序中使用的一个或多个重力传感轴与操控部件的重力传感器模块的一个或多个轴进行--对应，生成的预处理记录包含一个或多个重力轴的对应关系；c)陀螺仪传感器模块转换预处理将各个应用程序中使用的一个或多个陀螺仪传感轴与操控部件的陀螺仪传感器模块的一个或多个轴进行一一对应，生成的预处理记录包含一个或多个陀螺仪传感轴的对应关系。d)语音输入模块转换预处理包含下面三种预处理的一种或多种:将需要用语音指令来代替的各个应用程序中的屏幕触控操作，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与屏幕触控操作的对应关系；将需要用语音指令来代替的各个应用程序中的传感器操作，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与传感器操作的对应关系；将各个应用程序中各种按键操作所需输入的按键值，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与发送给各个应用程序的实际按键值的对应关系；e)动作识别模块转换预处理包含下面三种预处理的一种或多种:将需要用人体动作来代替的各个应用程序中的屏幕触控操作，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与屏.触控 呆作的对应关系；将需要用人体动作来代替的各个应用程序中的传感器操作，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与传感器操作的对应关系；将各个应用程序中各种按键操作所需输入的按键值，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与发送给各个应用程序的实际按键值的对应关系；人体重力平衡模块转换预处理将需要用平衡轴来代替的各个应用程序中使用的重力传感器轴，与操控部件的人体重力平衡模块的平衡轴进行一一对应；生成的预处理记录包含人体重力平衡模块的平衡轴与各个应用程序中使用的重力传感器轴的一一对应关系；本实施例中，信息处理系统的执行部件为一个智能电视机顶盒(如图1)。该机顶盒采用瑞芯微RK2918 ARM Cortex - A8处理器，主频1.2GHz, RAM 1GB, Flash存储器4GB，操作系统采用Android系统2.3.2，具有HDMI输出，USB2.0接口 3个。机顶盒内部软件虚拟了 3个逻辑重力传感轴YR1，YR2，YR3及3个逻辑陀螺仪传感轴YT1，YT2，YT3，机顶盒内部软件同时虚拟了一个多通道触摸屏设备。机顶盒通过HDMI输出连接高清液晶电视机；所述操控部件包括空中鼠标遥控器(如图2)、3D图像动作识别器(如图9)和重力平衡板(如图13)。所述空中鼠标遥控器内置3轴重力传感器与3轴陀螺仪传感器，及麦克风(即语音输入模块)。当图2中的遥控器按键面朝上放置(左右保持原方向)时，各个重力传感器轴的定义如图3所示，各个陀螺仪传感器轴的定义如图4所示。所述空中鼠标遥控器通过无线方式与连接到机顶盒USB接口的Dongle进行通信，从而来操控机顶盒。所述3D图像动作识别器通过USB接口连接到机顶盒。运行转换步骤，用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。实施例4一种用于信息处理系统的信息处理方法，其余与实施例3相同，进一步包括，当一个应用程序在不同的运行场景，需要对操控外设上同一个控制模块产生的控制信号进行不同的转换时，该应用程序的预处理记录中与该控制模块对应的转换预处理将生成多组预处
理记录。实施例5—种用于信息处理系统的信息处理方法，其余与实施例4相同,进一步包括,在一个应用程序的运行过程中，通过人为操作从该应用程序的预处理记录中与操控外设的某个控制模块对应的多组预处理记录选择运行转换模块所使用的一组预处理记录。所述人为操作包括按键、语音指令、菜单选择或其他人体动作。实施例6一种用于信息处理系统的信息处理方法，其余与实施例3相同，进一步包括，各个Android应用程序各自的预处理记录与各个Android应用程序的安装文件被存放在应用程序商店的服务器上，在某个Android应用程序安装时android应用程序的安装文件与预处理记录被从服务器一起下载到执行部件的Flash存储器上，其中预处理记录被存放到Flash存储器上该Android应用程序专用的目录里，当该应用程序被启动时，运行转换模块将对应的预处理记录从该专用的目录里加载到系统RAM内存。所述智能电视机顶盒上安装了赛车重力游戏A，赛车重力游戏B，赛车重力游戏C三个带触摸操作与重力感应的应用程序，三个游戏的用户界面分别如图5、6、7、8。这三个游戏的预处理记录分别为预处理记录A、B、C，与三个赛车重力游戏A、B、C存放在应用程序商店的服务器上。当用户通过应用程序商店将赛车重力游戏A的应用程序被安装到机顶盒Flash存储器上时，对应的预处理记录A也被下载到机顶盒，并存放到游戏A的Flash存储器中的专用目录里。当用户启动游戏A的应用程序时，在系统中驻留运行的运行转换模块立即将预处理记录A从Flash存储器上游戏A的专用目录加载到系统RAM内存中，准备对接收到的、来自操控部件空中鼠标遥控器和3D图像动作识别器的控制信号，根据预处理记录A，进行实时转换后，再发送给游戏A的应用程序。实施例7—种用于信息处理系统的信息处理方法，所述信息处理系统，包括执行部件，用于安装和执行一个或多个应用程序；操控部件，用于控制和操作所述执行部件中的应用程序；所述操控部件包括下述控制模块中的一种或多种:按键模块，重力传感器模块，陀螺仪传感器模块，语音输入模块，动作识别模块，人体重力平衡模块；包括如下步骤:预处理步骤，用于对操控外设各个控制模块产生的控制信号与输入到各个应用程序的控制信号所需要进行的转换方式进行预处理，生成各个应用程序各自的预处理记录;运行转换步骤，用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。本实施例中，执行部件在云端服务器上，各个Android应用程序的用户界面采用流媒体的方式从云端发送到客户端显示部件，操控部件从客户端通过网络方式连接到云端服务器上的执行部件，运营转换步骤也云端服务器上执行。
权利要求1.一种信息处理终端，包括执行部件，用于安装和执行一个或多个应用程序；操控部件，用于控制和操作所述执行部件中的应用程序；其特征在于: 所述操控部件包括下述控制模块中的一种或多种:按键模块，重力传感器模块，陀螺仪传感器模块，语音输入模块，动作识别模块，人体重力平衡模块； 所述执行部件还包括预处理模块和运行转换模块； 所述预处理模块用于根据不同应用程序的不同操控需要，对所述操控部件各个控制模块产生的控制信号进行信号转换预处理，并生成各个应用程序各自的预处理记录； 所述运行转换模块用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。
2.根据权利要求1所述的信息处理终端，其特征在于，根据所述操控部件配置的控制模块种类，所述预处理模块包括下述控制模块转换预处理中的一种或多种: a)按键模块转换预处理 包含下面三种预处理的一种或多种: (1)将需要用按键来代替的各个应用程序中的屏幕触控操作，与操控部件的按键模块中用来替代的按键进行对应；生成的预处理记录包含一系列按键与屏幕触控操作的对应关系; (2)将需要用按键来代替的各个应用程序中的传感器操作，与操控部件的按键模块中用来替代的按键进行对应；生成的预处理记录包含一系列按键与传感器操作的对应关系； (3)将各个应用程序中各种按键操作所需输入的按键值，与操控部件的按键模块中各个按键的编号进行对应；生成的预处理记录包含按键模块上一系列按键的编号与发送给各个应用程序的实际按键值的转换关系； b)重力传感器模块转换预处理 将各个应用程序中使用的一个或多个重力传感轴与操控部件的重力传感器模块的一个或多个轴进行一一对应，生成的预处理记录包含一个或多个重力传感轴的对应关系。
c)陀螺仪传感器模块转换预处理 将各个应用程序中使用的一个或多个陀螺仪传感轴与操控部件的陀螺仪传感器模块的一个或多个轴进行一一对应，生成的预处理记录包含一个或多个陀螺仪传感轴的对应关系O d)语音输入模块转换预处理 包含下面三种预处理的一种或多种: (1)将需要用语音指令来代替的各个应用程序中的屏幕触控操作，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与屏幕触控操作的对应关系； (2)将需要用语音指令来代替的各个应用程序中的传感器操作，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与传感器操作的对应关系； (3)将各个应用程序中各种按键操作所需输入的按键值，与通过操控部件的语音输入模块输入的语音指令进行对应；生成的预处理记录包含一系列语音指令与发送给各个应用程序的实际按键值的对应关系； e)动作识别模块转换预处理 包含下面三种预处理的一种或多种: (1)将需要用人体动作来代替的各个应用程序中的屏幕触控操作，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与屏幕触控操作的对应关系； (2)将需要用人体动作来代替的各个应用程序中的传感器操作，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与传感器操作的对应关系； (3)将各个应用程序中各种按键操作所需输入的按键值，与通过操控部件的动作识别模块识别到的人体动作进行对应；生成的预处理记录包含一系列人体动作与发送给各个应用程序的实际 按键值的对应关系； f)人体重力平衡模块转换预处理 将需要用平衡轴来代替的各个应用程序中使用的重力传感器轴，与操控部件的人体重力平衡模块的平衡轴进行一一对应；生成的预处理记录包含人体重力平衡模块的平衡轴与各个应用程序中使用的重力传感器轴的一一对应关系；
3.根据权利要求2所述的信息处理终端，其特征在于，所述步骤a)、步骤d)和步骤e)各个应用程序中的屏幕触控操作，为屏幕触摸或屏幕点击的一个或多个屏幕点、一个或多个屏幕矢量或一根或多根屏幕曲线，这些屏幕触控操作包括在单通道触摸设备上的顺序操作和在多通道触摸设备不同通道上的同时操作；
4.根据权利要求2所述的信息处理终端，其特征在于，所述步骤b)重力传感器模块转换预处理进一步包括下面的I个或2个处理: (1)记录各个应用程序使用的一个或多个重力传感器轴与操控部件重力传感器模块对应轴的正反方向，生成的预处理记录包含各个对应轴的正反方向对应关系； (2)设定各个应用程序使用的一个或多个重力传感器轴的灵敏度系数；生成的预处理记录包含各个重力传感器轴的灵敏度系数；
5.根据权利要求2所述的信息处理终端，其特征在于，所述步骤c)陀螺仪传感器模块转换预处理进一步包括下面的I个或2个处理: (1)记录各个应用程序使用的一个或多个陀螺仪传感器轴与操控部件陀螺仪传感器模块对应轴的正反方向，生成的预处理记录包含各个对应轴的正反方向对应关系； (2)设定各个应用程序使用的一个或多个陀螺仪传感器轴的灵敏度系数；生成的预处理记录包含各个陀螺仪传感器轴的灵敏度系数；
6.根据权利要求2所述的信息处理终端，其特征在于，所述步骤f)人体重力平衡模块转换预处理进一步包括下面的I个或2个处理: (1)记录人体重力平衡模块的平衡轴与对应的各个应用程序使用的重力传感器轴的正反方向，生成的预处理记录包含各个对应轴的正反方向对应关系。
(2)设定各个应用程序使用的一个或多个重力传感器轴的灵敏度系数；生成的预处理记录包含各个重力传感器轴的灵敏度系数；
7.根据权利要求1或2所述的信息处理终端，其特征在于，所述信息处理终端包含显示部件，用于显示各个应用程序的用户界面；所述显示部件与所述执行部件集成为一个设备或分开设置。
8.根据权利要求1或2所述的信息处理终端，其特征在于，所述操控部件为空中鼠标遥控器，包括3轴重力传感器和3轴陀螺仪传感器，所述空中鼠标遥控器通过无线方式与连接到所述执行部件USB接口的Dongle进行通信，从而操控执行部件。
专利摘要一种信息处理终端，包括执行部件，用于安装和执行一个或多个应用程序；操控部件，用于控制和操作所述执行部件中的应用程序；所述操控部件包括下述控制模块中的一种或多种按键模块，重力传感器模块，陀螺仪传感器模块,语音输入模块,动作识别模块,人体重力平衡模块；所述执行部件还包括预处理模块和运行转换模块；所述预处理模块用于根据不同应用程序的不同操控需要，对所述操控部件各个控制模块产生的控制信号进行信号转换预处理，并生成各个应用程序各自的预处理记录；所述运行转换模块用于在各个应用程序的运行过程中，将所述操控部件的各个控制模块产生的控制信号，依照各个应用程序各自的预处理记录进行信号转换，再发送给各个应用程序。所述预处理模块包括下述控制模块转换预处理中的一种或多种按键模块转换预处理、重力传感器模块转换预处理、陀螺仪传感器模块转换预处理、语音输入模块转换预处理、动作识别模块转换预处理、人体重力平衡模块转换预处理。
文档编号G06F3/01GK203070207SQ20122054001
公开日2013年7月17日 申请日期2012年10月19日 优先权日2012年10月19日
发明者张伟明 申请人:上海小葱网络科技有限公司