专利名称：基于摄像头的眼球控制游戏地图和角色移动的方法和装置的制作方法
技术领域：
本发明涉及图像识别、移动设备和游戏引擎技术领域，特别涉及一种基于摄像头 的眼球控制游戏地图和角色移动的方法和装置。
背景技术：
目前，实现游戏视图和角色移动主要有三种方式 1)利用移动设备的导航按键
这种方式是移动设备的游戏中移动角色和游戏视图的主要方式，其特点在于，通过移 动设备中存在的具有八个方式的导航按钮或者是导航杆的操作进行控制。2)利用移动设备的键盘
这种方式类似于1)中的导航键，区别在于，利用移动设备上的特定按键，实现8个方向 控制的功能来控制。3)重力感应
这种方式是利用移动设备中存在的能感知重力方向的重力传感器获得重力的方向，进 而转换为游戏视图和游戏角色的控制信号进行控制。以上的控制方式都需要用户直接对移动设备发生物理上直接接触式操作，这往往 无法让用户得到更好的互动体验。
发明内容
为了获得更好用户体验，提供一种全新的游戏控制方式，本发明的目的在于提供 一种基于摄像头的眼球控制游戏地图和角色移动的方法，该方法可以摆脱以上的限制，利 用眼球的跟踪和识别来控制游戏视图和角色的移动，能让用户的互动体验更好，思维到操 作的过渡更加平滑。本发明解决技术问题所采用的技术方案是
一种基于摄像头的眼球控制游戏地图和角色移动的方法，包括如下步骤启动游戏，游 戏引擎完成摄像头和游戏引擎本身的初始化，并启动眼球控制模块；眼球控制模块从摄像 头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移 方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号后，将控制信号发送给 游戏引擎。所述眼球控制模块与游戏引擎的控制信号的传递采用消息传递的方式完成。所述眼球的识别和控制信号的产生的具体步骤如下
a)眼球图像的获得
首先，利用移动设备具有的前视摄像头，获得用户的面部图像，再通过图形学中的识别 算法，定位眼球的图像位置，提取出眼球的图像；
b)控制信号的产生
通过识别当前眼球瞳孔中心与静止平视向前时瞳孔中心的位置关系，得到方向控制信号。当两只眼球都完成了控制信号的识别后，比较两只眼球的输出是否一致，如果一 致，输出控制信号给游戏引擎，如果不一致，则输出静止不动的控制信号给游戏引擎，防止 错误移动地图。所述眼球控制模块工作在周期为T的时钟事件模式，每当一个时钟事件发生，眼 球控制模块便从用户摄像头获得一张用户的面部图像。所述眼球瞳孔中心相对于静止平视向前时瞳孔中心的位置关系被划分为8个区 域，分别是左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区 域，并且这八个区域对应于控制游戏地图和角色移动所需的8个方向控制信号分别是前， 后，左，右，左上，右上，左下，右下。本发明还提供一种基于摄像头的眼球控制游戏地图和角色移动的装置，该装置包 括前视摄像头的移动设备、眼球控制模块与游戏引擎；摄像头用于采集用户面部图像；眼 球控制模块用于从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼 球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信 号，通过消息传递的方式将控制信号发送给游戏引擎；游戏引擎用于完成摄像头和游戏引 擎本身的初始化，以及接收到移动控制信号，控制游戏角色移动。所述移动设备包括中央处理器，随机存储器，支持消息传递的操作系统和供摄像 头访问的全功能的应用程序接口。所述眼球瞳孔中心相对于静止平视向前时瞳孔中心的位置关系被划分为8个区 域，分别是左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区 域，并且这八个区域对应于控制游戏地图和角色移动所需的8个方向控制信号分别是前， 后，左，右，左上，右上，左下，右下。本发明与背景技术相比，具有如下有益效果
本发明对游戏视图和角色的控制不要通过传统的直接物理接触的导航按钮，倾斜具有 重力方向感应的移动设备来实现，而是通过移动设备的前视摄像头，捕获用户的面部图像， 识别眼球的位置状态来产生方向控制信号来实现，做到了良好的互动操作特性。
图1是本发明实施例的眼球位置状态和控制方向的对应关系示意图； 图2是本发明实施例的系统组件结构图3是本发明实施例的系统工作流程图4是本发明实施例的眼球控制法的互动关系图5是本发明实施例的角色扮演游戏的眼球控制示意图。
具体实施例方式下面，结合附图和实施例对本发明的具体实施方式
进行详细说明。本实施例的基于摄像头的眼球控制游戏地图和角色移动的方法包括如下几个方
1)对游戏视图和角色移动的控制方式本发明的基于摄像头的眼球控制游戏地图和角色移动的方法，是通过图像识别的方 法，检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将其转换为控制 游戏视图和角色移动的控制信号，通过消息传递的方式发送给游戏引擎。2)眼球的识别和控制信号的产生 a)眼球图像的获得
利用设备具有的前视摄像头，获得用户的面部图像。通过图形学中的识别算法，定位眼 球的图像位置，提取出眼球的图像。为了保证识别的精度，两只研究的图像是需要同时进行 提取的。b)控制信号的产生
由于两只眼球的处理过程是一样的，这里讨论其中一只眼球图像的处理过程。首先，通过识别当前眼球瞳孔中心与静止平视向前时瞳孔中心的位置关系，本方 法定义了 8个控制方向和眼球瞳孔中心位置范围的对应关系，其如图1所示，8个控制方向 分别是左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区域。通过前面定义的眼球瞳孔位置与控制方向的关系，通过图像识别的方法确定当前 眼球瞳孔与中心点的关系，参照对应关系，得到当前眼球状态对应的控制信号。当两只眼球都完成了控制信号的识别后，比较两只眼球的输出是否一致，如果一 致，那么输出控制信号给游戏引擎。如果不一致，那么输出静止不动的控制信号给游戏引 擎，防止错误移动地图。3)系统结构
本实施例提出的眼球控制游戏的方法，其系统结构中的部件包括，高清晰度的前视摄 像头，眼球控制模块，游戏引擎。其中，眼球控制模块需要工作在采样模式，即每隔一个固定 的时间间隔T其工作一次，进行眼球的识别，输出控制动作给游戏引擎。采样间隔T取决于 设备的性能和游戏引擎对控制精度的需求。且时间间隔T不能小于眼球控制模块最小的工 作周期。其模块的工作关系图如图2所示。4)工作流程
首先，用户启动游戏，游戏引擎需要完成摄像头和游戏引擎本身的初始化，启动眼球控 制模块。眼球控制模块与游戏引擎的控制信号的传递采用消息传递的方式完成，这需要游 戏引擎和移动设备的操作系统支持消息传递机制。如果用户终止游戏，游戏引擎需要关闭 眼球识别模块和摄像头。为了使游戏引擎的相应速度更快，眼球控制模块工作在移动设备 操作系统提供的周期为T的系统时钟驱动事件的方式，其工作流程如图3所示。用户与设 备的互动关系如图4所示。下面是本发明的一个具体操作实例。现有一个具备了高清晰度前视摄像头的移动设备，该移动设备具有高性能的移动 中央处理器，大容量的随机存储器，具有支持消息传递的操作系统，提供了摄像头访问的全 功能的应用程序接口。同时，现有一个平面的角色扮演类的游戏，其中的角色具有8个方向 的移动控制能力，其包括前移动，后移动，左移动，右移动，左前移动，右前移动，左后移动， 右后移动和静止。启动该游戏后，游戏完成了摄像头的开启，相关的初始化工作，并启动眼 球控制模块。同时，眼球控制模块工作在周期为T的时钟事件模式，每当一个时钟事件发 生，眼球控制模块从用户摄像头获得一张用户的面部图像，通过图像识别算法提取出双眼的图像，启动眼球位置状态识别，生成一个位置控制信号发送给游戏引擎。游戏引擎收到移 动控制信号，控制游戏角色移动。比如，当前用户的眼球瞳孔中心向右上方向偏移，眼球控 制模块获得这个信息，产生一个右上移动信号给游戏引擎，游戏引擎控制角色向右上方向 移动，这个过程反复执行，直到用户终止游戏程序。其示例如图5所示。
权利要求
一种基于摄像头的眼球控制游戏地图和角色移动的方法，其特征在于包括如下步骤启动游戏，游戏引擎完成摄像头和游戏引擎本身的初始化，并启动眼球控制模块；眼球控制模块从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号后，将控制信号发送给游戏引擎。
2.如权利要求1所述的方法，其特征在于眼球控制模块与游戏引擎的控制信号的传 递采用消息传递的方式完成。
3.如权利要求1所述的方法，其特征在于所述眼球的识别和控制信号的产生的具体 步骤如下a)眼球图像的获得首先，利用移动设备具有的前视摄像头，获得用户的面部图像，再通过图形学中的识别 算法，定位眼球的图像位置，提取出眼球的图像；b)控制信号的产生通过识别当前眼球瞳孔中心与静止平视向前时瞳孔中心的位置关系，得到方向控制信号。当两只眼球都完成了控制信号的识别后，比较两只眼球的输出是否一致，如果一致，输 出控制信号给游戏引擎，如果不一致，则输出静止不动的控制信号给游戏引擎，防止错误移 动地图。
4.如权利要求1所述的方法，其特征在于所述眼球控制模块工作在周期为T的时钟 事件模式，每当一个时钟事件发生，眼球控制模块便从用户摄像头获得一张用户的面部图像。
5.如权利要求3所述的方法，其特征在于，眼球瞳孔中心相对于静止平视向前时瞳孔 中心的位置关系被划分为8个区域，分别是左区域、右区域、向上区域、向下区域、左上区 域、右上区域、左下区域、右下区域，并且这八个区域对应于控制游戏地图和角色移动所需 的8个方向控制信号分别是前，后，左，右，左上，右上，左下，右下。
6.一种基于摄像头的眼球控制游戏地图和角色移动的装置，其特征在于包括前视摄 像头的移动设备、眼球控制模块与游戏引擎；摄像头用于采集用户面部图像；眼球控制模 块用于从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于 平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号，通过消 息传递的方式将控制信号发送给游戏引擎；游戏引擎用于完成摄像头和游戏引擎本身的初 始化，以及接收到移动控制信号，控制游戏角色移动。
7.如权利要求6所述的基于摄像头的眼球控制游戏地图和角色移动的装置，其特征在 于所述移动设备包括中央处理器，随机存储器，支持消息传递的操作系统和供摄像头访问 的全功能的应用程序接口。
8.如权利要求6所述的基于摄像头的眼球控制游戏地图和角色移动的装置，其特征在 于，眼球瞳孔中心相对于静止平视向前时瞳孔中心的位置关系被划分为8个区域，分别是 左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区域，并且这八 个区域对应于控制游戏地图和角色移动所需的8个方向控制信号分别是前，后，左，右，左 上，右上，左下，右下。
全文摘要
发明公开了一种基于摄像头的眼球控制游戏地图和角色移动的方法，该方法包括如下步骤启动游戏，游戏引擎完成摄像头和游戏引擎本身的初始化，并启动眼球控制模块；眼球控制模块从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号后，将控制信号发送给游戏引擎。本发明还提供了一种基于摄像头的眼球控制游戏地图和角色移动的装置。与现有的技术相比，本发明不需要通过导航键以及键盘按键的输入方式控制移动游戏中地图的移动，能使游戏更具吸引力和是用户具有更好的人机交互体验。
文档编号G06F3/01GK101950200SQ20101028916
公开日2011年1月19日 申请日期2010年9月21日 优先权日2010年9月21日
发明者唐兴盛, 李雍, 楼学庆, 陈天洲 申请人:浙江大学