专利名称：基于玩家拳头的游戏场景和角色控制方法
技术领域：
本发明涉及图像分析与识别技术领域，特别是基于玩家拳头的游戏 场景和角色控制方法。
背景技术：
近年来，随着计算机技术的革新，以计算机游戏为代表的数字娱乐 产业飞速发展。作为一类特殊的应用软件，计算机游戏通过向游戏用户 提供一系列的菜单选项和操作指令，实现用户与游戏之间的交互操作。 用于游戏的传统人机交互方式有鼠标键盘、游戏杆及专用游戏设备等， 以手动和有线连接为主。伴随计算机游戏种类与内容的不断扩展丰富， 其操作复杂性剧增，仍然仅采用传统交互方式，越来越难于控制。
鼠标和键盘是最常用的设备，它们将用户手的敲击、移动转化成电 信号并最终成为一种供系统响应的事件。专用游戏设备是鼠标和键盘在 功能上的扩展，但其原理大致相同。前者相比于后者的优越性体现在操 作性上，如可玩性和方便性。
传统的交互方式基本上是以事件来驱动的，这是一种低层次的交互， 因为它并不能理解游戏的内容，所以用户要实现一种有语义的控制往往 需要一系列的低层次操作。
发明内容
为了解决传统交互方式，越来越难于控制的问题，本发明的目的是 要用玩家的拳头的姿态来取代传统的键盘鼠标，为此，本发明提供一种 基于玩家拳头的游戏场景和角色控制方法。
为了实现上述目的，本发明提出的技术方案是一种基于玩家拳头 的游戏场景和角色控制方法，设定玩家拳头游戏场景和玩家拳头角色控 制命令与目标参数之间的对应关系；对特定游戏场景和角色控制命令与
目标参数之间的对应关系进行明确定义，以便实现后续的命令映射。其 方法步骤如下
通过统计的方法待检测拳头目标样本进行学习，得到待检测玩家 拳头目标的模式；
通过图像输入设备进行指明该图像是否为特定游戏场景的图像采
集；实时捕获图像并进行光线校正，去噪等预处理； 对前述采集的图像进行预处理；
在前述处理后的图像上，利用学习到的目标模式进行拳头检测与跟 踪，同时提取拳头的空间参数信息，将提取到的参数映射成游戏控制命
根据本发明的实施例，所述的统计学习方法的步骤包括
(1) 获取拳头样本；
(2) 统计学习拳头样本模式。
根据本发明的实施例，所述的图像预处理步骤包括采用像素的均
值和方差来进行光线矫正。
根据本发明的实施例，所述检测与跟踪的步骤包括
(1) 通过学习到的拳头模式，在经过预处理的图像上搜索拳头目标;
(2) 通过对检测到的目标进行特征分析，提取具有旋转縮放不变性 的特征，并通过上一时刻的结果进行跟踪校验及预测。
根据本发明的实施例，所述的参数提取步骤包括通过对跟踪的结
果进行分析，得到拳头的所在位置、大小、运动方向和速度，以及双拳 之间的相对位置关系。
根据本发明的实施例，所述游戏控制命令映射步骤包括将提取的 参数映射到预先定义好的命令集，得到游戏的控制信息。
本发明的有益效果采用玩家拳头的游戏场景控制，就是用玩家的 拳头的姿态来取代传统的键盘鼠标，仅通过摄像头拍摄玩家姿态及其运 动状态，在计算机中进行分析和识别，并将结果转化为游戏的控制指令， 实现对游戏中场景和人物的直接控制，以代替或辅助传统的游戏交互方 式。由于游戏对实时性要求高，因此视频检测方法必需实时、鲁棒。为
便于用户使用，这种控制方法还必需易于实现和操作。本发明能使游戏 用户期望能以更自然、更智能的新方式进行交互操作，如采用自身姿体 动作等，由此可使游戏更具交互性和沉浸感。随着计算机视觉技术的发 展，应用视觉进行自然的人机交互已经成为可能，由于摄像头已经成为 计算机常用的配置，这种技术的应用也就具有广阔的前景。
图1为本发明的基于玩家拳头的游戏场景和角色控制方法流程图。
图2为采用本发明方法的游戏控制示意图。
图3为本发明实施例Haar特征结构。
图4为本发明实施例拳头上一个显著的Haar特征。
具体实施例方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实 施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
根据本发明的图1所示，为本发明的基于玩家拳头的游戏场景和角 色控制方法流程图，图2基于玩家拳头的游戏场景和角色控制方法的游 戏控制示意图，图1中所示具体实施步骤如下-
(1) 获取帧图像通过高速图像捕获模块从图象输入设备获取实时
图像；
(2) 基于统计的目标检测考虑到算法的简便性与鲁棒性的要求，
设计了基于统计学习的检测方法，另外通过对亮度的分析补偿，从而尽
可能的消除光照变化的影响；
(3) 目标跟踪通过对检测到的目标进行特征分析，提取出具有旋 转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测；
(4) 参数提取与转换通过对拳头的跟踪，提取拳头的空间参数信 息，并利用预先定义好的命令集进行映射转换，得到游戏的控制信息；
本发明实现方法需要的硬件为计算机及图像釆集设备。 所述的角色即游戏中主要对象，如玩家控制的人物，车辆等；游戏
场景即随着游戏角色的行为而做出相应变化的对象，如背景，非玩家控
制人物等；拳头角色即玩家用拳头来控制其行为的角色；拳头角色的控 制命令即控制角色行为的指令，这个行为的性质、方向、程度等特征由
目标参数来描述。
首先要设置一个控制命令集合，并且每个命令对应于一个或几个目 标参数。因为控制命令的不同，这个目标参数可能是离散的状态量，也 可是连续的数值。
设置好上述映射关系后，由图像采集设备采集包括玩家拳头的图像 到计算机，然后进行图像预处理，再用检测与跟踪拳头，描述提取目标 参数，最好将这些目标参数映射到控制命令上用于控制拳头角色及游戏 场景。
所述的统计学习方法的步骤包括(1)获取拳头样本；(2)统计学
习拳头模式。其描述方法的是用统计学习方法学习拳头模式。
拳头样本库的制作。拳头样本库包含正样本库和负样本库。用图像 采集设备釆集多个人分别在不同的光线，不同的背景下的多个姿态的拳 头图片若干，然后手工剪裁出只包含一个拳头(不区分左右手拳头)的 区域，放縮到同一个尺寸下，再用进行预处理。这样就获得了可直接用 于统计学习的拳头正样本库。负样本库的单个样本不包含拳头或包括拳 头但不只一个。正样本库是事先制作好的，是固定的，而负样本是的统 计学习过程中生成的，是变化的。
用于学习拳头模式的统计学习方法是Adaboost算法。 Adaboost意为Adaptive Boost,是AT&T实验室提出的一种自提升 Boosting算法。它通过调用弱学习器不断学习训练样本中的难学习的样 本，从而达到较高的泛化精度。
基于Adaboost的拳头检测算法是一种统计学习算法，它通过对Haar 特征的统计来判别是不是拳头。如图3为本发明实施例Haar特征结构所 示Haar特征是Haar小波变化而来。它们通过相邻区域的灰度差，也 就是亮度关系，描述目标。拳头可以通过若干这样的Haar特征来描述。 其物理意义是十分明确的，如图4为本发明实施例拳头上一个显著的 Haar特征所示中间区域的应该比两侧区域暗，只要能找到足够多这样的特征，就能将拳头和非拳头分开。
AdaBoost算法的主要过程是首先给样本集合，然后对该样本集合 进行循环操作，每次循环首先得到一个弱分类(即weak learning),然后 计算该假设的错误率，根据该错误率改变每个例子的权重进入下一个循 环，若干个弱分类组成强分器。其具体过程如下 Adaboost算法流程
给定样本(^力)，…，(Xn,凡)，对附个负样本，X=0;对/个正样本>;,=1， w = m + / 。
分别对负样本正样本初始化权w,,. = 一,+ 。
i .归一化权。
2. 对于每一特征j，训练出一个弱分类器、.，计算出与之对应的错 误率。
=ZX'i~w-力i
3. 选择错误率f,最小的、。
4. 更新权，
其中，A=7^，若分类正确，e,=l，否则e,O。 卜G
最终T个弱分类器组成一个强分类器。
<formula>formula see original document page 7</formula>。
所述的图像预处理步骤包括釆用像素的均值和方差来进行光线矫 正。具体描述拳头图像的预处理方法
对一幅拳头图像，求取整幅图像灰度值的均值和方差。然后对于图
像中每一个像素，将其灰度值减去均值然后除以方差得到的值作为新的 灰度值，这样处理后的图像就是进行光线矫正好的图像。 所述检测与跟踪的步骤包括
(1) 通过学习到的拳头模式，在经过预处理的图像上搜索拳头目标；
(2) 通过对检测到的目标进行特征分析，提取具有旋转縮放不变性 的特征，并通过上一时刻的结果进行跟踪校验及预测。具体方法是
步骤(1)由拳头模式检测拳头，过程如下
在拳头可能出现的区域(由上一次检测的结果预测到)内，在不同
尺度下取候选拳头图片的一系列有用Haar特征(由Adaboost算法得取) 送入学习到的分类器，分类器输出其是否为拳头的判断结果。
步骤(2)用步骤(1)得到的结果，预测拳头运动范围并修正先前对 其运动趋势的估计。拳头运动的方向和速度可由两次拳头的相对位置和 相隔时间得到。假定拳头运动的趋势和速度不变的情况，就可以大致估 计下次拳头出现的位置。
所述的参数提取步骤包括通过对跟踪的结果进行分析，得到拳头 的所在位置、大小、运动方向和速度，以及双拳的相对位置关系。是描 述提取目标参数，这些目标参数可能来源与拳头的位置，大小是拳头检 测的结果，运动方向和速度是拳头跟踪的结果，其它参数均可以从这四 个参数中得到。
所述游戏控制命令映射步骤包括将提取的参数映射到预先定义好 的命令集，得到游戏的控制信息。具体实现方法是提取到的目标参数 在经过适当的处理后就可以映射到命令集上。这里提到的适当处理是指 从游戏稳定性的角度考虑，应该对目标参数值进行平滑处理，主要是为 了抗噪声。可用的方法有平均法，卡尔曼滤波法等。
上面的描述是用于实现本发明及其实施例，因此，本发明的范围不 应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范 围的任何修改或局部替换，均属于本发明权利要求来限定的范围。
权利要求
1.基于玩家拳头的游戏场景和角色控制方法，包括如下步骤将游戏场景中玩家拳头角色的控制命令与目标参数之间的对应关系进行映射；通过统计的方法对拳头目标样本进行学习，得到待检测玩家拳头目标的模式；通过图像输入设备采集待检测图像；对前述采集的图像进行预处理；在前述处理后的图像上，利用学习到的目标模式进行拳头检测与跟踪，从而获得拳头的空间参数信息，将提取到的参数映射到游戏控制命令上。
2. 根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法， 其特征在于所述的统计学习方法的步骤包括-(1)获取拳头样本；(2)统计学习拳头样本模式。
3. 根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法， 其特征在于所述的图像预处理步骤包括采用像素的均值和方差来进 行光线矫正。
4. 根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法， 其特征在于所述检测与跟踪的步骤包括(1) 通过学习到的拳头模式，在经过预处理的图像上搜索拳头目标;(2) 通过对检测到的目标进行特征分析，提取具有旋转縮放不变性 的特征，并通过上一时刻的结果进行跟踪校验及预测。
5. 根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法， 其特征在于所述的参数提取步骤包括通过对跟踪的结果进行分析， 得到拳头的所在位置、大小、运动方向和速度，以及双拳之间的相对位 置关系。
6. 根据权利要求1所述的基于玩家拳头的游戏场景和角色控制方法， 其特征在于所述游戏控制命令映射步骤包括将提取的参数映射到预 先定义好的命令集，得到游戏的控制信息。
全文摘要
本发明公开一种基于玩家拳头的游戏场景和角色控制方法，包括对从图像输入设备获得的图像进行简单有效的预处理；通过统计学习方法进行拳头的检测、跟踪，通过对跟踪的结果进行分析，得到拳头的空间参数信息，并将这些信息映射成对应的游戏控制指令，实现游戏场景和角色的实时控制功能。用玩家的拳头的姿态来取代传统的键盘鼠标，仅通过摄像头拍摄玩家姿态及其运动状态，计算机分析和识别，并将结果转化为游戏的控制指令，代替或辅助传统的游戏交互方式。本发明视频检测方法实时、鲁棒、易于实现和操作。本发明能使游戏用户期望能以更自然、更智能的新方式进行交互操作，如采用自身姿体动作等，由此可使游戏更具交互性和沉浸感。
文档编号G06F19/00GK101110102SQ20061010325
公开日2008年1月23日 申请日期2006年7月20日 优先权日2006年7月20日
发明者曾祥永, 王书昌, 王阳生, 陈宇峰, 鹏 鲁 申请人:中国科学院自动化研究所