基于智能移动终端设备的多人在线交互方法与系统的制作方法

专利名称：基于智能移动终端设备的多人在线交互方法与系统的制作方法
技术领域：
本发明涉及一种面向游戏娱乐与虚拟现实应用的在多台智能移动终端设备上实现的多人同时在线新型交互方法与系统，属于人机交互技术、虚拟现实技术、在线电子游戏、智能移动终端应用、数字媒体与娱乐领域。
背景技术：
当前，无论是全球，还是中国，游戏行业都显示出勃勃生机的活力。智能手机、平板电脑等智能移动终端设备的普及给游戏产业所带来的极大的发展契机。根据ForresterResearch公司的预测，全球智能移动终端设备的出货量预测如图I所示。与此同时，随着硬件技术的发展，智能移动终端设备的性能也在迅速提升，智能移动终端设备已经变成了一种大众化的通信和娱乐设备，这就极大地拓展了游戏交互手段，提供了更多的游戏方式。他们不再需要购买专门的游戏设备，而可以直接通过智能移动终端设备来玩游戏，此处的智能移动终端泛指显示屏幕小于7寸，易于便携，具有移动处理器和操作系统，具有无线网络·动能、具有一定的移动计算能力的智能手机(如iponhHTC，三星等品牌)，或者如三星、华硕等品牌的小型平板电脑，或者其他具有以上特性的移动电子设备。然而智能移动终端设备的屏幕大小和图形处理能力毕竟有限，无法与计算机相媲美，因此也无法给玩家带来完美的游戏视觉和性能体验。此外，目前的多人游戏主要有三种交互模式。所谓交互模式是指能够被玩家潜在感受到的互动行为。它们能够表示玩家之间或者玩家和电脑之间发生的交互行为，并能够被用于表达玩家对某人以及其他人的行为。交互模式通过在游戏世界中提供互相可感觉到的形象和声音让行为被感知。总而言之，存在感和心理浸入程度因为这种模式带来的交流、协调以及合作等而增强。第一种交互模式的应用情景是多人在线网络游戏模式，此种游戏模式为多人通过因特网产生交互，在各自独立的显示设备上进行观看，因而人与人之间的交互带有极大的虚拟性，无法带来实际交互的游戏乐趣；第二种交互模式的应用情景是通过游戏手柄连接游戏主机进行多人同时游戏，例如索尼公司的Playstation系列、微软的xbox系列等，此时虽然玩家之间的实际交互性更强，但该模式极大地受限于游戏手柄的数量，且游戏手柄上并不存在可浏览的显示交互界面，绝大多数情况下只支持4人以下的玩家数量，无法实现真正意义上的多人共同游戏的体验；第三种交互模式的应用情景是掌机对战，例如PSP对战，此游戏模式支持同时游戏的人数虽然较多，但玩家都只能看到各自掌机小屏幕的游戏画面，无法得到足够好的游戏视听享受。

发明内容
针对目前移动智能终端设备的图形显示能力和运算能力缺陷，以及传统网络游戏人们难以进行面对面的实际交流，还有传统游戏手柄设备对玩家人数的限制，本发明的目的在于提出了一种以智能移动终端为游戏或者虚拟现实系统交互控制器的多人同时在线交互方法与系统。
本发明的技术方案为—种基于智能移动终端设备的多人在线交互方法，其步骤为I)启动游戏服务器节点，建立一无线网络，选择离线群模式或者在线群模式；如果选择在线群模式，则游戏服务器节点通过网络与总服务器建立连接；2)用户通过智能移动终端上所安装的游戏客户端加入游戏服务器节点，智能移动终端通过该无线网络与该游 戏服务器节点建立起无线双向通信连接；3)当参与同一游戏服务器节点的用户全部加入后，选择开始游戏；4)智能移动终端在游戏进行过程中仅作为交互手段并显示交互提示信息；用户操作智能移动终端或者根据提示信息输入控制信息，智能移动终端对控制信息进行识别转译成预先定义好的对应控制命令后传达给游戏服务器节点；5)游戏服务器节点接收到控制命令后根据预先定义好的对各种命令的处理方式进行相应的游戏逻辑处理，对游戏角色进行控制；其中，参与同一游戏服务器节点的所有用户共享一个游戏画面和声音输出；对于在线模式，总服务器负责各个游戏服务器节点之间的同步协同控制，并维护各个游戏服务器节点之间的状态和属性的数据一致性。进一步的，游戏服务器节点保存每一个接入网络的智能移动终端的信息，并在显示设备上显示各个智能移动终端是否已准备好。进一步的，通过游戏服务器节点控制选择开始游戏，其方法为游戏服务器节点首先通过无线网络向所有成功加入游戏的智能移动终端发出开始游戏的消息通知，智能移动终端收到该消息后进入游戏状态并显示相应交互界面，同时向游戏服务器节点发送收到消息的反馈消息，当游戏服务器节点收到所有智能移动终端的反馈消息后进入游戏场景正式开始游戏进程。进一步的，通过某个智能移动终端控制选择开始游戏，其方法为首先由某个智能移动终端向游戏服务器节点发送开始游戏的消息，然后游戏服务器节点通过无线网络向其余所有成功加入游戏的智能移动终端发出开始游戏的消息通知，智能移动终端收到该消息后进入游戏状态并显示相应交互界面，同时向游戏服务器节点发送收到消息的反馈消息，当游戏服务器节点收到其余所有智能移动终端的反馈消息后进入游戏场景正式开始游戏进程。进一步的，所述智能移动终端将智能移动终端的图形界面或交互功能单元作为交互手段对游戏角色进行控制。进一步的，所述图形界面包括菜单、按钮、方向轮、滚动条、虚拟键盘；所述交互功能单元包括重力感应单元、加速感应单元、多点触摸单元。一种基于智能移动终端设备的多人在线交互系统，其特征在于包括安装有游戏客户端的智能移动终端，游戏服务器节点和总服务器；游戏服务器节点通过无线网络与每一智能移动终端通讯连接，游戏服务器节点通过网络与总服务器连接；其中，所述智能移动终端包括客户端图形交互界面模块，用于为用户提供交互手段；客户端用户交互接口模块，接收用户输入的控制信息，以及对控制信息进行识别转译为预定义的控制命令；客户端命令接收模块，用于接收游戏服务器节点发来的信息，解析并传达给客户端逻辑模块；客户端逻辑模块，是客户端的游戏主循环控制模块，用于根据控制命令和游戏服务器节点的命令进行运算做出相应的响应，控制在智能移动终端上的运行的游戏系统内部的逻辑跳转和状态转移； 客户端命令发送模块，用于将需要发送给游戏服务器节点的用户交互命令信息通过无线网络发送至游戏服务器节点；所述游戏服务器节点包括游戏服务器节点客户端命令发送模块，用于向智能移动终端发送命令；游戏服务器节点客户端命令接收模块，用于接收智能移动终端发来的信息，将其解析转化成游戏服务器节点游戏逻辑模块可接收的命令；游戏服务器节点游戏逻辑模块，负责根据接收的命令控制相应角色，控制整个游戏的逻辑控制和状态转移；游戏服务器节点游戏绘制与显示输出模块，用于将当前的游戏场景显示在游戏服务器节点的外接显示设备上；游戏服务器节点用户交互接口模块，用于接收设定用户的交互控制信息，并将其传递给游戏服务器节点的游戏逻辑模块；游戏服务器节点总服务器命令发送模块，如果游戏服务器节点运行在在线群模式下，将游戏服务器节点需要发送的命令发送给总服务器；游戏服务器节点总服务器命令接收模块，如果游戏服务器节点运行在在线群模式下，则从总服务器获取信息，进行游戏状态的同步；所述总服务器，用于根据当前游戏状态向各游戏服务器节点发送同步信息和调度信息，以及接收从各游戏服务器节点发送来的消息。进一步的，所述逻辑模块通过一个状态机实现；所述逻辑模块需要维护一个保存所有参与游戏的用户信息列表，当有新的用户加入游戏时，将其加入到该列表中；当有用户掉线或退出时，将其从列表中删除；游戏服务器节点在收发游戏客户端消息时根据游戏服务器节点为每一用户分配一唯一标识id。进一步的，所述用户信息包括用户名，用户id，所选择的角色，角色的属性，用户的无线网络连接状态。进一步的，所述交互手段包括智能移动终端的图形界面、交互功能单元；所述图形界面包括菜单、按钮、方向轮、滚动条、虚拟键盘；所述智能移动终端包括重力传感器、触摸屏、麦克风、摄像头，所述交互功能单元包括重力感应单元、加速感应单元、多点触摸单
J Li ο本发明提供一种面向数字游戏娱乐和分布式虚拟现实应用系统的交互方法和系统。以下系统的描述是以在线游戏应用为例说明，本发明重点介绍游戏交互方面的内容，而对于如游戏逻辑、游戏架构等其他虽然属于游戏系统方面重要的内容，但是如果与游戏交互方法和系统无关的方面，本发明将不做详细描述。本游戏系统以普通家用或者商用计算机作为游戏服务器节点，利用该游戏服务器节点接收用户或者玩家的游戏控制和交互命令，运行游戏的主程序和循环，负责游戏主体逻辑的控制和游戏功能实现(通过包括游戏场景管理引擎，物理引擎，Al引擎，网络引擎，动画引擎，脚本引擎，视频和声音媒体引擎等等，一系列的游戏的重要组成部分实现)以及最重要的游戏画面的绘制(或者称为渲染，通过游戏渲染引擎)，以该计算机的显示设备和声音输出设备(包括显示器或者显示器阵列，投影仪和投影幕墙，沉浸式虚拟现实显示环境(CAVE)等)进行游戏画面显示和音频信号的输出。而智能移动终端设备的作用是用户或者玩家通过该智能移动终端设备向游戏服务器节点发送的游戏控制和交互命令，该设备本身仅仅为用户或者游戏玩家提供简单交互图形界面和游戏的交互和操纵功能、用户交互指令的解析与发送、根据游戏服务器节点发送的信息显示当前游戏状态等功能，这些对移动设备的计算性能和显示性能要求很低。这样，最终的游戏模式就是如下的一种工作形式多个玩家手持智能移动设备作为游戏的控制和交互终端组成一个群的游戏模式，共同加入到由游戏服务器节点所执行的游戏场景、游戏故事和游戏进程中。所有的游戏玩家共享由游戏服务器提供的显示输出和音响设备，因此在当前的群中的游戏玩家看到的当前的游戏画面是完全一致的。这样就会大大增强游戏玩家的群体性娱乐互动和沉浸体验感，增强游戏玩家彼此之间的互动乐趣。
·
解释如下术语游戏场景游戏中的环境、建筑、机械、道具等，是游戏玩家在游戏中所处的虚拟的空间，包括三维的或者二维的，是游戏故事发生和游戏进程推进的背景。一个游戏中可以只有一个游戏场景，也可以存在随情节而变化的多个游戏场景。游戏故事也即游戏情节，由一组以上能显示人与人、人与环境之间关系的具体事件和矛盾冲突构成，按照因果逻辑组织起来的一系列事件。游戏任务框架加上游戏创意案，构成一个具有一定顺序和思想内容逻辑的游戏故事。游戏故事是对游戏类型进行划分的重要因素，例如以角色扮演为主要内容的游戏大多具有复杂漫长的游戏故事，而以格斗为主要内容的游戏通常游戏故事非常简单。游戏进程彼此扮演的游戏角色互相影响，游戏角色的状态会彼此发生关系和影响。随着时间的推移，游戏进程不断推进，逐渐完成游戏故事，达到胜负判定条件或游戏故
事的结尾。此外游戏服务器节点的运行既可以采用在线群模式，也可以采用离线群模式。所谓在线群模式就是游戏服务器节点在运行游戏时，首先连接游戏控制中心的游戏总服务器(总服务器由专门服务器管理员控制和维护)，如果能够与总服务器建立连接，则该游戏服务器节点受总服务器控制，游戏总服务器允许其他游戏服务器节点加入，当多个游戏服务器节点连接并加入到总服务器中，由总服务器进行通讯以及同步协同控制等功能。这样，每个游戏服务器节点(这些游戏服务器节点可以任意分布在世界各个不同的角落)都对应有一群在线游戏玩家在玩游戏，而多个游戏服务器节点及其游戏玩家又构成了一个庞大的游戏群组，处于这个游戏群组中的玩家既可以扮演游戏中的不同角色，也可以彼此通过某种联系构成一些团队进行游戏，甚至可以组团进行对战，等等。以上游戏模式中，游戏服务器节点与总服务器之间的关系与传统的在线游戏模式中在线游戏客户端与游戏中心服务器的关系类似，总服务器的功能也与传统在线游戏模式中的游戏中心服务器的功能类似。所谓离线群模式就是游戏服务器节点不去连接总服务器(由群游戏玩家自己控制)，或者总服务器无法连接上时，游戏玩家所采用的游戏模式。此时游戏运行的过程与前述过程相同，即多个玩家手持智能移动设备作为游戏的控制和交互终端组成一个群的游戏模式，共同加入到由单个游戏服务器节点所执行的游戏场景、游戏故事和游戏进程中。所有的游戏玩家共享由游戏服务器节点提供的显示设备，因此在当前的群中的游戏玩家看到的当前的游戏画面是完全一致的。游戏服务器节点的在线群模式和离线群模式游戏场景图分别如图2和图3所示。本发明的技术方案是一种基于智能移动终端设备实现的群游戏模式和系统，其运行步骤为I)启动游戏服务器节点，选择游戏运行模式(可以是用户通过移动终端选择，也可以是服务器节点选择):离线群模式或者在线群模式。如果选择在线群模式则游戏服务器节点通过网络向总服务器发送连接请求(登陆验证模式或者非登陆验证模式皆可)，一旦与总服务器建立连接成功，则游戏进入在线群模式，否则自动转入离线群模式。离线群模式中， 用户或者玩家只能在一个群的内部(大家彼此可以看见用户或者玩家的真身)进行交互控制，交流和互动。而在线群模式中，用户既可以跟群内部的成员进行虚+实的交流，也可以跟远程不在同一个群内的不可见到真身的用户或者玩家进行虚拟的交互。游戏服务器节点启动时，需存在或新建一个无线网络，以便让该节点服务器与移动智能终端设备进行通讯。在通讯过程中可以通过任意一种无线方式进行数据传输，既可以使用蓝牙也可以使用wifi或者其他的无线通信标准，在我们的系统中使用wifi可以具有更大的带宽和传输速率(通常情况下台式机可利用无线路由器、笔记本电脑可以利用自带的无线网卡建立Wifi无线网络)。2)游戏玩家或者用户使用智能移动终端设备上的游戏客户端(用户须预先安装)，搜索到上一步中游戏服务器节点所在的无线网络后选择加入，从而可以与游戏服务器节点建立起无线连接。连接成功后，游戏服务器节点可以向移动终端发送信息，移动终端也可以向服务器发送信息，从而建立双向通信连接。发送信息时采用的技术都是现有的成熟技术，例如在使用wifi的情况下，数据传输可遵循TCP/IP协议或UDP协议，命令和请求可采用RPC (Remote Procedure Call,远程过程调用)协议,此部分不是本发明的重点，故不再赘述。当一个游戏玩家准备好可以开始游戏时，可以通过点击移动设备客户端上的按钮等方式向游戏服务器节点发送已准备好的消息。游戏服务器节点保存每一个接入网络的移动设备的信息，并在显示设备上显示各个用户是否已准备好。3)当希望参与同一游戏服务器节点的用户都已连上该游戏服务器节点且状态显示为已准备好时，通过服务器节点的人工控制操作或者某个用户在智能移动设备客户端的人工操作，选择开始游戏。如果是前者通过服务器节点选择开始游戏，服务器节点首先通过无线网络向所有成功加入游戏的移动设备客户端发出开始游戏的消息通知，客户端收到该消息后即进入游戏状态显示相应画面，同时也向游戏服务器节点发送收到消息的反馈消息，当服务器节点收到所有移动设备的反馈消息后进入游戏画面正式开始游戏；如果是后者通过某个用户在移动设备上的操作选择开始游戏，则首先由该客户端向服务器节点发送开始游戏的消息，此后类似前一种情况的过程，服务器节点向其余所有移动设备发送开始游戏的通知，收到所有的反馈通知后正式进入游戏场景(类似于TCP连接用于传送数据时使用的“三次握手”)。由于服务器群发开始游戏的通知和接收所有反馈消息的时间实际上很短，因此用户不会在移动设备的画面上看到明显的停顿或不同步现象。玩家在游戏场景和当前的游戏进程之中，扮演游戏中的某一个虚拟游戏角色，开始进行游戏的角色控制。4)已成功进入游戏的玩家，其智能移动终端上将显示相应的交互提示。用户根据提示，通过图形界面及智能终端提供的其它特殊功能单元进行游戏角色的控制。智能移动终端上的用户图形界面包括菜单、按钮、方向轮、滚动条、虚拟键盘等。智能移动终端的其他特殊交互功能单元包括重力感应单元、加速感应单元、多点触摸单元等。移动终端的传感器有重力传感器、触摸屏、麦克风、摄像头等，它们分别能捕捉到的物理信号有重力加速度向量、手指触摸位置及触摸手指个数、外部实时音频流(包括语音)、外部实时视频流等，新型人机交互模型中这些传感器能够真实地将外部现实操作的物理量转化成数字信息传输给当前的客户端交互系统，并且转换成为用户的操作指令。游戏服务器节点端也可以保留一定的交互图形界面，用于对该节点上所有游戏用户的游戏整体进程的控制，例如暂停游戏、退出游戏等。同时用户或者玩家可以通过交互图形界面自由选择所喜欢的交互形式(如利用触摸屏、重力传感器、麦克风或者摄像头等)，或者这些模式的组合。所有连接到一个共 同的游戏服务器节点的玩家(称为群玩家)共享一个游戏画面，而该游戏画面显示在一个公共的计算机输出显示设备上，群玩家中每一个玩家所扮演的虚拟游戏角色的每一时刻的游戏状态都显示在这个公共的计算机输出显示设备上，因此该显示设备往往比较大(例如大尺寸显示器，投影屏幕，大屏幕电视，显示幕墙等)。游戏玩家通过移动终端的交互操作对游戏角色进行控制，移动终端对用户交互操作进行识别(现有移动终端设备都会提供现成的API用于识别用户的交互操作)，将可识别的用户交互操作转译成系统中预先定义好的一些对应控制命令，通过无线数据传输或远程过程调用的方式将命令传达给游戏服务器节点。游戏服务器节点接收到玩家的控制命令后根据程序中预先定义好的对各种命令的处理方式进行相应的游戏逻辑处理(常见的实现方式是使用状态机，即首先通过条件判断判定接收到的是什么命令，然后进入对应的游戏状态，执行该游戏状态下的一系列操作，直到收到下一条命令时，进行状态跳转进入另一种游戏状态)，游戏画面输出显示在前述显示设备上。必要的时候将相应玩家的状态信息发送回移动终端，移动终端获得从服务器端发送的消息，在移动终端上进行相应显示。5)当游戏处于在线群模式运行的时候，游戏服务器节点和总服务器进行通讯。由总服务器负责各个游戏服务器节点之间的同步协同控制等功能，并维护各个服务器节点之间的状态和属性的数据一致性，总服务器只是一个逻辑概念，其本质可以是服务器集群，负责实现包括负载均衡，服务器备份和镜像、数据库备份和迁移等功能，这些可以采用目前成熟的架构和系统实现。6)当一个游戏服务器节点上的所有用户玩家均与该服务器节点断开时，或者连接到当前游戏服务器节点的主控玩家选择结束游戏时，当前游戏服务器节点的游戏任务结束并退出。如果当前游戏模式为在线群模式，则总服务器和其他游戏服务器节点继续正常运行，其他群游戏玩家继续正常玩游戏不受影响。与现有技术相比，本发明有明显的优势本发明的交互模式创新如图6所示，本发明让用户可以有多种层次、多种交互界面和通道的间交互模式和体验。多层次交互方式
第一层次群内用户可以通过彼此的语言、表情、手势、肢体动作等直接进行世界实体(人)之间的面对面的交互(真实交互)，以共享显示设备上相同的显示画面和音响设备上相同的音频输出为基础(如果没有这个前提条件，则该层次很难成立);第二层次群内用户通过游戏虚拟世界中的动作、语言等行为或者其他形式彼此之间虚拟交互，以管理群内的游戏服务器节点为基础；第三层次群内用户和群外用户之间通过虚拟世界中的动作、语言等行为或者其他形式彼此进行虚拟交互，以中心游戏服务器为基础。多通道游戏交互方式第一通道触摸屏、重力传感器、麦克风或者摄像头等移动设备上的交互通道任选
一个。 第二通道移动设备客户端上的图形交互界面(跟游戏手柄等的操作方式相近)。第三通道以上各种交互通道的任意多种通道组合形式。第四通道通过群内共享的游戏画面显示和游戏音频输出。发明的本质就是创新提出了人机+人人混合交互模式和实现形式，并且在软件模块设计上实现了把游戏中主要的人机交互操作界面和交互功能从游戏主体逻辑和主体功能中分离出来，大大提高了游戏的运行速度。在智能移动设备的交互界面上进行游戏中的频繁游戏交互，而在游戏服务器节点上实现其他游戏的主体逻辑和计算功能。I)与现有网络游戏相比。现有的网络游戏模式和系统架构大多是每个玩家都单独面对一个游戏画面显示设备，并单独与该游戏交互界面进行交互操作，游戏玩家仅在游戏虚拟世界中产生虚拟联系，在游戏进行中不与其他玩家产生实际的面对面的真实感知、体验以及情感、感受的联系和交流，无法直接地看到其他玩家的表情动作和听到其他玩家的声音，从而限制了游戏中玩家获得的游戏互动乐趣。而本发明的游戏模式，可以让多个玩家在同一时刻同一地点面对同一游戏画面的显示场景，从而玩家彼此之间在现实的真实世界中产生直接联系，大大增强了游戏的可玩性和群体性交互体验乐趣。如图6所示，现有的网络游戏模式不具备第一层次的交互层次所带来的沉浸式体验。2)与现有的多人游戏相比。现有的多人同时游戏，多受限于游戏手柄的数量限制(往往只能1-4人)，因此游戏人数也受到极大的限制。而本发明由于采用智能移动终端与电脑服务器进行无线通讯，可以很容易地实现真正意义上的多人游戏。此外玩家不再需要购买特定游戏手柄，只需要在廉价普及的智能移动终端上安装游戏客户端；而且玩家无需将游戏控制设备与电脑主机间进行硬件连接，避免了游戏手柄与主机连线造成的距离限制以及多条连线互相缠绕可能带来的游戏玩家使用不便。同时智能移动设备上往往具有触摸屏、重力传感器、麦克风或者摄像头等多种可用交互设备，这些设备都可以作为交互通道来进行游戏的交互操作，因此大大拓展了游戏交互通道的范围，也拓展了智能移动设备的外延功能。因此大大降低了参与游戏的门榲，提高了同时在线的游戏人数。如图6所示，目前该技术具备第一层次的交互体验，但是不具备第三层次的交互方式以及我们所列举的多种交互通道和界面，且不具有人数的可扩展性。3)与现有的掌机对战游戏相比。现有的掌机对战游戏模式不具备第一层次的交互层次所带来的沉浸式体验。本发明可以将游戏的主要控制和画面显示集中在了游戏服务器节点，因此大大降低了对移动设备运算性能和显示性能的要求，因此可以运行更加复杂和庞大的游戏系统。同时游戏服务器节点的外接大尺寸显示设备和外接声音设备，可以为参与游戏的玩家提供更加高端的视听体验。


图I全球智能手机和平板电脑应用出货量(美元)；图2在线群交互模式游戏场景示意图；图3离线群交互模式游戏场景示意图；图4基于智能移动终端的多人游戏通信架构；图5基于智能移动终端的多人游戏系统模块结构图；图6多层次、多通道的交互模式。·
具体实施例方式本发明整个游戏系统的结构如图4所示。本发明基于移动智能终端实现的多人游戏交互模式，系统模块如图5所示。整个游戏系统主要由三部分构成，分别是运行于智能移动终端设备上的客户端、运行于计算机上的游戏服务器节点和游戏总服务器上的服务器端。 智能移动终端设备上的客户端模块结构I)客户端用户交互接口模块。用于接收用户输入的控制信息。客户端可通过按钮、对话框等图形界面为用户提供交互手段，也可以通过移动智能终端设备特有的重力感应、多点触摸等特性，将用户对智能移动设备终端的操作转化为对游戏中角色的操作，让用户控制游戏流程和角色行为。智能移动终端获取用户对图形界面或其他交互方式的操作信息，将触摸、点击、滑动、重力感应等交互操作转化成相应的游戏交互命令。移动终端的传感器有重力传感器、触摸屏、麦克风、摄像头等，它们分别能捕捉到的物理信号有重力加速度向量、手指触摸位置及触摸手指个数、外部实时音频流(包括语音)、外部实时视频流等，新型人机交互模型中这些传感器能够真实地将外部现实操作的物理量转化成数字信息传输给当前的客户端交互系统。交互接口模块对用户的交互操作进行识别后，按照预定义的规则将用户的交互操作转译为系统中定义的控制命令。例如，将移动设备向左侧倾斜的操作，转译为游戏角色“向左移动”的控制命令；或者将用户点击移动设备上一个按钮的操作转译为角色进行“攻击”的控制命令。2)客户端逻辑模块。是客户端的游戏主循环控制模块，根据由客户端用户交互接口模块传入的用户控制命令和由客户端命令接收模块接收到的服务器命令进行一定的运算做出相应的响应，控制在智能移动终端上的运行的游戏系统内部的逻辑跳转和状态转移。通常情况下，客户端的逻辑模块也可以由一个状态机实现，通过判断当前所处的状态及接收到的命令进行状态转移。同时根据当前玩家角色的状态(移动、战斗、死亡等)向客户端的图形显示模块和命令发送模块下达指令。例如，客户端逻辑模块处于“正常”状态时，若从用户交互接口模块接到经过转译后的“攻击”的命令，则客户端逻辑模块的状态跳转到“攻击”状态；此时若从服务器端接收到“子弹用完”的命令，则客户端的逻辑模块跳转到“子弹用完”的状态，同时通知图形界面做出相应显示(比如将攻击按钮设为灰色不可用状态)；若此时又接收到服务器端发来的“角色死亡”命令，则客户端逻辑模块的状态跳转到“死亡”，同时通知图形交互界面模块显示玩家死亡的相应画面。以上只是以一个角色射击类的游戏所举的一个例子，但由于游戏的类型千差万别，因此客户端的逻辑模块的设计也各种各样，可简单可复杂。客户端逻辑模块的具体的设计与游戏设计的本身有密切联系。3)客户端图形交互界面模块。在智能移动终端设备上显示相应的图形交互界面。这里的图形交互界面要与游戏场景的图形绘制(渲染)和显示模块区分。该模块只负责显示按钮等简单图形交互界面，并非进行游戏场景绘制和显示。玩家真正游戏的过程中，在确定了手指在智能移动终端设备屏幕上的位置后，只需要做简单的按下按钮等操作，因此玩家绝大多数时间观看的是游戏服务器节点的外接显示设备，而非移动终端屏幕上的图形界面。4)客户端命令发送模块。将需要发送给游戏服务器节点的用户交互命令信息通过无线网络(遵守wifi协议或者其他近距离无线网络协议)发送至服务器节点。一般情况下，在游戏进行过程中，玩家的操作频繁，该模块需要不断地将用户的操作转化为指令发送给游戏服务器节点，该模块的命令发送频率十分频繁。
5)客户端命令接收模块。接收服务器端发来信息，解析并传达给客户端逻辑模块。由于只有在角色发生关键性事件时(例如角色死亡)时才需要进行从服务器节点到客户端方向的信息传输，因此该模块的命令接收频率一般不是很频繁。 游戏服务器节点的模块结构I)游戏服务器节点客户端命令发送模块。向智能移动设备上的客户端发送命令，即将游戏服务器节点当前管理的游戏状态信息，游戏进程等需要发送的命令通过无线网络发给智能移动客户端，更新客户端的游戏状态(由上文已经提到，这部分命令发送的频率较低。)2)游戏服务器节点客户端命令接收模块。接收智能移动设备上的客户端通过无线网络发来的信息，从接收到的信息中解析出用户命令，转化成服务器节点游戏逻辑模块可接收的命令，传达给服务器节点的游戏逻辑模块(由上文已经提到，该模块接收命令的频率非常频繁。)3)游戏服务器节点总服务器命令发送模块。如果该游戏服务器节点是运行在在线群模式下，将游戏服务器节点需要发送的命令发送给游戏总服务器。4)游戏服务器节点总服务器命令接收模块。如果该游戏服务器节点是运行在在线群模式下，要从游戏总服务器获取信息，进行游戏状态的同步。以上四个模块合称游戏服务器节点的通信模块。5)游戏服务器节点游戏逻辑模块。负责整个游戏的逻辑控制和状态转移，是整个游戏框架中最核心的部分。根据通过无线网络接收到的用户命令对相应角色产生控制，并计算角色与角色、角色与环境间的相互作用和影响，更新游戏状态，进行胜负判定检测，根据游戏进程转换游戏场景，推动游戏故事的发展。该服务器节点的逻辑模块通常需要维护一个列表保存所有参与游戏的玩家信息(玩家用户名，用户id，所选择的角色，角色的一些属性，玩家的无线网络连接状态等)，当有新的移动设备加入游戏时，将其加入到该列表中；当有用户掉线或退出时，将其从列表中删除。服务器在收发客户端消息时根据服务器程序分配的用户id作为唯一标识，用于确定某个用户客户端发出的消息作用于哪个游戏角色，由某个游戏角色产生的消息应当向哪个用户发送，哪个角色与哪个角色之间产生了作用等等。服务器端的逻辑跳转通常也可以使用状态机来实现，在特定的状态和条件下发生状态转移。状态机的逻辑控制和触发条件与游戏本身的设计有很大关系，具有较高的灵活性，程序设计人员在实际开发时可根据实际情况进行设计。以游戏胜负判定的触发条件为例，多人对战类游戏可以以“只剩一个存活的玩家”作为判定条件，多人速度竞赛类游戏可以以“有一个玩家最先达到终点”作为判定条件，多人协作类游戏可能以“完成某个特定任务”作为判定条件。6)游戏服务器节点游戏绘制(渲染)与显示输出模块。游戏显示的最主要部分，将当前的游戏场景显示在服务器端的外接显示设备上。由于可以利用服务器端的计算机CPU、GPU等硬件设备的优势，因此可以显示高质量的图片、播放较高质量的视频，以及进行大规模三维场景的渲染。上文已经提到，在游戏过程中，游戏进程的绝大部分是显示在游戏服务器节点的外接显示设备和外接音响设备上，因此玩家绝大部分时间的视觉注意力都集中在该外接显示设备和音响设备上，从显示设备上获得游戏的画面，从音响设备上获得游 戏的声音。7)游戏服务器节点用户交互接口模块。由于绝大部分操作指令都可由设定用户(即具有特定控制权限的客户端)发出，因此服务器端可以简单地提供基础图形交互界面，例如整个游戏的开始、暂停、退出等按钮。用户交互接口即是将这些消息(例如通常的鼠标、键盘消息)传递给游戏服务器节点的游戏逻辑模块。 游戏总服务器的模块结构(该部分不是本发明的核心内容，是本发明创新内容的辅助说明)I)游戏总服务器命令发送模块。根据当前游戏状态向各游戏服务器节点发送同步信息和调度信息。信息可以是通过无线网络传输，也可以通过有线网络传输。2)游戏总服务器命令接收模块。接收从各游戏服务器节点发送来的消息，解析后传达给游戏总服务器逻辑模块。3)游戏总服务器逻辑模块。接收由游戏总服务器命令接收模块传入的各游戏服务器节点的状态信息，进行运算后确定同步和调度方案，将命令通过服务器命令发送模块发送给各游戏服务器节点。
权利要求
1.一种基于智能移动终端设备的多人在线交互方法，其步骤为 1)启动游戏服务器节点，建立一无线网络，选择离线群模式或者在线群模式；如果选择在线群模式，则游戏服务器节点通过网络与总服务器建立连接； 2)用户通过智能移动终端上所安装的游戏客户端加入游戏服务器节点，智能移动终端通过该无线网络与该游戏服务器节点建立起无线双向通信连接； 3)当参与同一游戏服务器节点的用户全部加入后，选择开始游戏； 4)智能移动终端在游戏进行过程中仅作为交互手段并显示交互提示信息；用户操作智能移动终端或者根据提示信息输入控制信息，智能移动终端对控制信息进行识别转译成预先定义好的对应控制命令后传达给游戏服务器节点； 5)游戏服务器节点接收到控制命令后根据预先定义好的对各种命令的处理方式进行相应的游戏逻辑处理，对游戏角色进行控制； 其中，参与同一游戏服务器节点的所有用户共享一个游戏画面和声音输出；对于在线模式，总服务器负责各个游戏服务器节点之间的同步协同控制，并维护各个游戏服务器节点之间的状态和属性的数据一致性。
2.如权利要求I所述的方法，其特征在于游戏服务器节点保存每一个接入网络的智能移动终端的信息，并在显示设备上显示各个智能移动终端是否已准备好。
3.如权利要求I所述的方法，其特征在于通过游戏服务器节点控制选择开始游戏，其方法为游戏服务器节点首先通过无线网络向所有成功加入游戏的智能移动终端发出开始游戏的消息通知，智能移动终端收到该消息后进入游戏状态并显示相应交互界面，同时向游戏服务器节点发送收到消息的反馈消息，当游戏服务器节点收到所有智能移动终端的反馈消息后进入游戏场景正式开始游戏进程。
4.如权利要求I所述的方法，其特征在于通过某个智能移动终端控制选择开始游戏，其方法为首先由某个智能移动终端向游戏服务器节点发送开始游戏的消息，然后游戏服务器节点通过无线网络向其余所有成功加入游戏的智能移动终端发出开始游戏的消息通知，智能移动终端收到该消息后进入游戏状态并显示相应交互界面，同时向游戏服务器节点发送收到消息的反馈消息，当游戏服务器节点收到其余所有智能移动终端的反馈消息后进入游戏场景正式开始游戏进程。
5.如权利要求I所述的方法，其特征在于所述智能移动终端将智能移动终端的图形界面或交互功能单元作为交互手段对游戏角色进行控制。
6.如权利要求5所述的方法，其特征在于所述图形界面包括菜单、按钮、方向轮、滚动条、虚拟键盘；所述交互功能单元包括重力感应单元、加速感应单元、多点触摸单元。
7.一种基于智能移动终端设备的多人在线交互系统，其特征在于包括安装有游戏客户端的智能移动终端，游戏服务器节点和总服务器；游戏服务器节点通过无线网络与每一智能移动终端通讯连接，游戏服务器节点通过网络与总服务器连接；其中， 所述智能移动终端包括 客户端图形交互界面模块，用于为用户提供交互手段； 客户端用户交互接口模块，接收用户输入的控制信息，以及对控制信息进行识别转译为预定义的控制命令； 客户端命令接收模块，用于接收游戏服务器节点发来的信息，解析并传达给客户端逻辑模块； 客户端逻辑模块，是客户端的游戏主循环控制模块，用于根据控制命令和游戏服务器节点的命令进行运算做出相应的响应，控制在智能移动终端上的运行的游戏系统内部的逻辑跳转和状态转移； 客户端命令发送模块，用于将需要发送给游戏服务器节点的用户交互命令信息通过无线网络发送至游戏服务器节点； 所述游戏服务器节点包括 游戏服务器节点客户端命令发送模块，用于向智能移动终端发送命令； 游戏服务器节点客户端命令接收模块，用于接收智能移动终端发来的信息，将其解析转化成游戏服务器节点游戏逻辑模块可接收的命令； 游戏服务器节点游戏逻辑模块，负责根据接收的命令控制相应角色，控制整个游戏的逻辑控制和状态转移； 游戏服务器节点游戏绘制与显示输出模块，用于将当前的游戏场景显示在游戏服务器节点的外接显示设备上； 游戏服务器节点用户交互接口模块，用于接收设定用户的交互控制信息，并将其传递给游戏服务器节点的游戏逻辑模块； 游戏服务器节点总服务器命令发送模块，如果游戏服务器节点运行在在线群模式下，将游戏服务器节点需要发送的命令发送给总服务器； 游戏服务器节点总服务器命令接收模块，如果游戏服务器节点运行在在线群模式下，则从总服务器获取信息，进行游戏状态的同步； 所述总服务器，用于根据当前游戏状态向各游戏服务器节点发送同步信息和调度信息，以及接收从各游戏服务器节点发送来的消息。
8.如权利要求7所述的系统，其特征在于所述逻辑模块通过一个状态机实现；所述逻辑模块需要维护一个保存所有参与游戏的用户信息列表，当有新的用户加入游戏时，将其加入到该列表中；当有用户掉线或退出时，将其从列表中删除；游戏服务器节点在收发游戏客户端消息时根据游戏服务器节点为每一用户分配一唯一标识id。
9.如权利要求8所述的系统，其特征在于所述用户信息包括用户名，用户id，所选择的角色，角色的属性，用户的无线网络连接状态。
10.如权利要求7所述的系统，其特征在于所述交互手段包括智能移动终端的图形界面、交互功能单元；所述图形界面包括菜单、按钮、方向轮、滚动条、虚拟键盘；所述智能移动终端包括重力传感器、触摸屏、麦克风、摄像头，所述交互功能单元包括重力感应单元、力口速感应单元、多点触摸单元。
全文摘要
本发明公开了一种基于智能移动终端设备的多人在线交互方法与系统，本方法为1)启动游戏服务器，用户通过智能移动终端上的客户端加入服务器并建立无线双向通信连接；2)当参与同一服务器的用户全部加入后开始游戏；3)智能移动终端在游戏进行过程中仅作为交互手段并显示交互提示信息；用户操作智能移动终端或者根据提示信息输入控制信息，智能终端对控制信息进行识别转译成预先定义好的对应控制命令后传达给服务器；4)服务器接收到控制命令后进行相应的游戏逻辑处理，对游戏角色进行控制；其中，参与同一服务器的所有用户共享一个游戏画面和声音输出；在线模式，总服务器负责各个游戏服务器之间的同步。本发明提高了游戏速度，增强了游戏的交互体验乐趣。
文档编号A63F13/12GK102968549SQ201210394998
公开日2013年3月13日 申请日期2012年10月17日 优先权日2012年10月17日
发明者盖孟, 李胜, 汪国平 申请人:北京大学