专利名称：基于立体视觉的游戏控制系统及方法
技术领域：
本发明涉及计算机视觉与识别技术领域，特别是一种基于立体视觉的游戏控制系统及方法。
背景技术：
近年来，随着计算机技术的革新，以计算机游戏为代表的数字娱乐产业飞速发展。作为一类特殊的应用软件，计算机游戏通过向游戏用户提供一系列的菜单选项和操作指令，实现用户与游戏之间的交互操作。用于游戏的传统人机交互方式有鼠标键盘、游戏杆及专用游戏设备等，以手动和有线连接为主。伴随计算机游戏种类与内容的不断扩展丰富，其操作复杂性剧增，仍然仅采用传统交互方式，越来越难于控制。游戏用户期望能以更自然、更智能的新方式进行交互操作，如采用自身姿体动作等，由此可使游戏更具交互性和沉浸感。随着计算机视觉技术的发展，应用视觉进行自然的人机交互已经成为可能，由于摄像装置已经成为计算机常用的配置，这种技术的应用也就具有广阔的前景。目前已有一些基于运动或特征的游戏控制系统，但是仅仅提供简单的二维位置信息，更多维度的信息将更具有吸引力。
发明内容
针对背景技术的游戏控制方法仅仅提供简单的二维位置信息，本发明的目的在于运用立体视觉技术对目标姿态进行分析识别，对通过多个摄像装置设备捕获到的图像进行处理，并实时地、鲁棒地检测出特定姿态的空间位置和方向，转换为控制指令，提供一种基于立体视觉的游戏控制系统及方法。
为实现上述目的，本发明的第一个方面，一种基于立体视觉的游戏控制系统，步骤包括
标定装置，将多摄像装置标定的内外参数输出；同步图像获取装置，对标定内外参数的多个摄像装置实时、同步控制，输出实时同步图像；二维特征分析装置，提取、分析多个摄像装置实时同步图像中人体姿态运动的时间和空间特征信息，并输出二维特征信息；三维特征获取装置，用于识别多个摄像装置的实时同步图像间特征的对应关系，并输出实时、同步图像的三维特征参数控制命令；视频控制参数提取与转化装置，将三维特征获取装置识别的多维信息结果转化并输出游戏控制信息；控制接口，用于实现游戏的角色和场景控制。
所述标定装置包括内参数标定单元和外参数标定单元内参数标定单元，用于标定多个摄像装置内参数并存储记录；外参数标定单元，用于摄像装置位置改变后重新标定并存储多个摄像装置的外参数。
所述同步图像获取装置包括高速图像捕获单元，对标定的多个摄像装置进行实时、同步控制；同步图像存储单元，用于存储并实时、同步输出多个摄像装置的帧图像。
所述二维特征分析装置包括二维特征分析单元，用于对同步图像获取装置存储的帧图像进行二维特征分析并输出二维特征分析结果；提取特征单元，用于对二维特征分析单元输出帧图像的二维特征分析结果提取具有旋转缩放不变性的特征，获得帧图像的姿态特征点位置、方向及帧图像组成的基本形状参数；跟踪校验及预测单元，用于通过对上一时刻的二维特征分析结果进行跟踪校验及预测，实时、同步输出二维特征信息。
所述三维特征获取装置包括二维特征匹配单元，用于匹配并输出不同摄像装置帧图像的二维特征位置对应关系信息；三维特征获取单元，用于从二维特征匹配单元输出的二维特征位置对应关系信息，计算得到帧图像的三维空间位置和三维姿态参数，输出三维控制信息命令。
所述视频控制参数提取与转化装置包括
命令映射设定单元，根据程序的设置要求，将三维特征的控制信息映射到游戏中需要的控制命令；三维特征转化单元，通过预先定义好的命令映射关系，将三维控制信息转换成游戏控制信息并输出。
所述控制接口驱动装置，驱动本系统接口和游戏的控制接口，将游戏控制信息传送到游戏中，实现游戏控制。
为实现上述目的，本发明的第二个方面，提供一种基于立体视觉的游戏控制方法，该控制方法步骤包括对多摄像装置的内外参数的标定；对从摄像装置获得的图像进行预处理，通过对多个摄像装置实时同步的获取图像；利用图像姿态特征的时空信息，通过其相关性进行区域选择和二维图像特征提取；对多图像间的特征进行相关性分析，获得图像三维位置和姿态信息；提取图像三维信息的视频控制参数，将图像三维信息映射转化为相应的游戏控制命令；建立控制接口，实现游戏的角色和场景控制。
所述摄像装置标定步骤包括对多个摄像装置的内外参数进行标定，对内参数一次性标定并记录，外参数则需要每次改变摄像装置位置后重新标定。
所述同步获取图像的具体步骤如下通过高速图像捕获模块与多个摄像装置实时、同步获取帧图像，并对帧图像进行光线校正、去噪等预处理。
所述二维特征提取的具体实现步骤如下基于捕获的图像，利用人体姿态运动的时间和空间特征进行特征分析，结合时空相关性信息，分别对局部区域进行特征分析，提取出具有旋转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测。
所述获取三维特征具体实现步骤如下通过不同摄像装置图像的特征的相关性，结合摄像装置位置信息，根据立体视觉的原理，先对单个摄像装置图像的目标位置、特征进行分析计算；再通过多个摄像装置特征之间的关系，计算识别图像目标的三维空间位置和姿态参数，形成游戏人物或场景的三维控制信息。
所述游戏控制命令的具体实现步骤如下根据三维特征控制信息命令对识别的多维信息结果提取视频控制参，通过预先定义好的命令集进行映射转换，得到游戏的控制信息。
所述控制接口驱动的具体实现步骤如下通过驱动系统和游戏的控制接口，将游戏控制信息传送到游戏，实现模拟游戏人物和场景漫游的实时控制功能。
本发明的有益效果，基于立体视觉的游戏控制是通过多个摄像装置，捕获玩家的姿态及运动状态，以取代或辅助传统的键盘鼠标。通过摄像装置捕获玩家姿态及其运动状态图像，在计算机中进行分析和识别，结合标定的摄像装置位置信息，确定目标的空间位置与姿态，并将结果转化为游戏的控制指令，实现对游戏中场景和人物的直接控制，以代替或辅助传统的游戏交互方式。由于游戏对实时性要求高，因此视频检测方法必需同步、实时、鲁棒。为便于用户使用，这种控制方法还必需易于实现和操作。多个摄像装置的内外参数进行标定，内参数可以一次性标定并记录，外参数则需要每次改变摄像装置位置后重新标定，这样即简化标定操作，提高标定精度，也提供了一定的灵活性。
通过以下结合附图的详细描述，本发明的上述和其它方面、特征和优点将变得更加显而易见。
图1是本发明基于立体视觉的游戏控制系统框2是本发明基于立体视觉的游戏控制系统中标定装置示意3是本发明基于立体视觉的游戏控制系统中同步图像获取装置示意4是本发明基于立体视觉的游戏控制系统中二维特征分析装置示意5是本发明基于立体视觉的游戏控制系统中三维特征获取装置示意6是本发明基于立体视觉的游戏控制系统中视频控制参数提取与转化装置示意7是本发明基于立体视觉的游戏控制方法流程8是采用本发明基于立体视觉的游戏控制方法的游戏控制示意9是本发明中视频识别结果映射到相应的游戏控制中的流程图具体实施方式
下面结合附图对本发明作具体说明。应该指出，所描述的实施例仅仅是为说明的目的，而不是对本发明的限制。
根据本发明图1，一种基于立体视觉的游戏控制系统框图所示包括标定装置1、同步图像获取装置2、二维图特征分析装置3、三维特征获取装置4、视频控制参数提取与转化装置5、控制接口6，其中标定装置1，由计算机算法实现，通过摄像头采集的棋盘格图像，用于标定多摄像装置的内外参数；同步图像获取装置2，由计算机算法实现，通过摄像头及其底层驱动程序，用于将多个摄像装置实时、同步控制，实时、同步获取图像；二维特征分析装置3，由计算机算法实现，用于提取、分析多个摄像装置实时、同步图像中的人体姿态运动的时间和空间特征信息；三维特征获取装置4，由计算机算法实现，用于匹配多个摄像装置图像间的特征对应关系，计算得到图像三维特征参数，并输出实时、同步图像的三维特征参数控制命令；视频控制参数提取与转化装置5，由计算机算法实现，用于将识别好的多维信息结果转化得到游戏控制信息；控制接口6，通过游戏接口，由计算机算法实现，用于实现游戏的角色和场景控制。
根据本发明图2，基于立体视觉的游戏控制系统中标定装置示意图所示所述标定装置1包括内参数标定存储单元1.1和外参数标定存储单元1.2，用于对多个摄像装置的内、外参数进行标定内参数标定单元1.1，通过确定标准物体的采集图像，通过摄像头模型，标定并存储记录多个摄像装置的内参数；外参数标定单元1.2，通过确定标准物体的采集图像，投影模型，在每次改变摄像装置位置后，重新计算并存储多个摄像装置的外参数。标定装置1的输入端为摄像装置给入的图像信息，输出端为具有标定的内、外参数。
根据本发明图3，基于立体视觉的游戏控制系统中同步图像获取装置示意图所示所述同步图像获取装置2包括高速图像捕获单元2.1，通过摄像头驱动程序及其机制，实时同步控制多个摄像装置；同步图像存储单元2.2，通过缓存技术，存储多个摄像装置同步、实时的帧图像。高速图像捕获单元2.1的输入为摄像装置采集的图像信息，同步图像存储单元2.2输出多个摄像装置同步、实时的帧图像。
根据本发明图4，基于立体视觉的游戏控制系统中二维特征分析装置示意图所示所述二维特征分析装置3包括二维特征分析单元3.1，通过对运动，颜色，纹理等信息的综合运用，对同步图像获取装置存储的帧图像的二维特征分析，获得感兴趣的区域和原始特征；提取特征单元3.2，通过具有高效和不变性优点的算法，对二维特征分析结果提取具有旋转缩放不变性的特征，获得姿态特征点位置，方向及它们组成的基本形状参数；跟踪校验及预测单元3.3，采用基于滤波方法的跟踪技术，通过对此前时刻的二维特征分析结果进行跟踪校验及预测。同步图像存储单元2.2输出的帧图像给入二维特征分析单元3.1的输入端经提取特征单元3.2和跟踪校验及预测单元3.3实时、同步输出二维特征分析结果。
根据本发明图5，基于立体视觉的游戏控制系统中三维特征获取装置示意图所示所述三维特征获取装置4包括二维特征匹配单元4.1，通过全局特征点对应关系寻优的办法，匹配并输出不同摄像装置帧图像的二维特征位置对应关系信息；三维特征获取单元4.2，通过立体视觉三角关系的算法，通过二维特征匹配单元的特征点匹配信息，计算图像的三维空间位置和三维姿态参数，输出三维控制信息命令。跟踪校验及预测单元3.3输出二维特征分析结果给入二维特征匹配单元4.1经三维特征获取单元4.2输出三维控制信息命令。
根据本发明图6，基于立体视觉的游戏控制系统中视频控制参数提取与转化装置所示所述视频控制参数提取与转化装置5包括命令映射设定单元5.1，根据程序的设置要求，将三维特征的控制信息映射到游戏中需要的控制命令；三维特征转化单元5.2，通过命令映射设定单元定义好的命令映射关系，将三维控制信息转换成游戏控制信息并输出。三维特征获取单元4.2输出三维控制信息给入命令映射设定单元5.1经三维特征转化单元5.2输出游戏控制信息。
所述控制接口驱动装置6，三维特征转化单元5.2输出游戏控制信息给入控制接口驱动装置6，通过系统和游戏的控制接口，将游戏控制信息传送到游戏，实现游戏控制。
根据本发明的图7，一种基于立体视觉的游戏控制方法流程图所示，图中为本发明的具体实施例步骤如下步骤S1步骤开始，通过标准棋盘格，一次性对多个摄像装置进行标定，求得内参数；并在每次独立运行前，设想装置位置改变后，实现对多摄像装置的外参数的标定；步骤S2循环进行同步图像获取，对从摄像装置获得的图像进行预处理，通过高速图像捕获模块从多个摄像装置实时、同步获取图像，考虑到控制的精度，要求采集速度达到实时；步骤S3二维特征分析，利用人体姿态运动的时间和空间特征通过其相关性进行区域选择和特征提取、分析，求得姿态特征点位置，方向及它们组成的基本形状参数；步骤S4对多摄像装置间图像及运动特征相关性分析，计算匹配概率，通过全局优化方法，确定最终匹配关系，以获得三维位置和姿态信息；步骤S5视频控制参数提取与转化，将图像的三维信息，映射为相应的游戏控制命令，得到游戏的控制信息；步骤S6控制接口输出，通过系统和游戏的控制接口，将游戏控制信息传送到游戏，实现模拟游戏人物和场景漫游的实时控制功能，结束控制。
采用基于立体视觉的游戏控制方法具有简便、自然的特点，其实施例可参见图8是采用本发明基于立体视觉的游戏控制方法的游戏控制示意图。
根据本发明的图9，是立体视觉的识别结果映射到相应的游戏控制中的流程图，将多维信息识别结果，映射到相应的游戏控制中，其具体步骤如下步骤开始同时进入如步骤S31和步骤S32其中程序运行初始化一次性实现步骤S31，以后每次循环进入步骤S32，其中步骤S31初始化进入命令集预处理，首先按照程序设定要求，对场景控制命令进行分类，根据视频快速、具有连续模拟输出但比较简单直观的特点，对所需的命令集进行选择，用位置信息的控制场景的方向，用深度信息控制场景的运动，如加速，减速，用方向信息控制场景的转动等命令操作，形成比较完整的控制方式；步骤S32承接上一步骤S31进入视觉控制转换，基于姿态的控制，首先需要设定各姿态及其相对位置与对应游戏场景控制的对应关系，然后通过多个摄像装置，实时采集人体的姿态及其运动状态，在线进行分析和识别，获得三维位置和状态，根据当前的状态，采用一定的预测跟踪算法，输出相应的控制量；步骤S33控制接口输出，通过游戏控制接口，将视觉控制命令，实时整合到游戏的人物和场景控制中，或者直接调整模型达到控制的目的，步骤结束。
上面描述是用于实现本发明及其实施例，本领域普通技术人员可以根据实际情况确定多种实现方法，因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。
权利要求
1.一种基于立体视觉的游戏控制系统，其特征在于，步骤包括标定装置，将多摄像装置标定的内外参数输出；同步图像获取装置，对标定内外参数的多个摄像装置实时、同步控制，输出实时同步图像；二维特征分析装置，提取、分析多个摄像装置实时、同步图像中人体姿态运动的时间和空间特征信息，并输出二维特征信息；三维特征获取装置，用于识别多个摄像装置的实时同步图像间特征的对应关系，并输出实时、同步图像的三维特征参数控制命令；视频控制参数提取与转化装置，将三维特征获取装置识别的多维信息结果转化并输出游戏控制信息；控制接口，用于实现游戏的角色和场景控制。
2.根据权利要求1的基于立体视觉的游戏控制系统，其特征在于，所述标定装置包括内参数标定单元和外参数标定单元内参数标定单元，用于标定多个摄像装置内参数并存储记录；外参数标定单元，用于摄像装置位置改变后重新标定并存储多个摄像装置的外参数。
3.根据权利要求1的基于立体视觉的游戏控制系统，其特征在于，所述同步图像获取装置包括高速图像捕获单元，对标定的多个摄像装置进行实时、同步控制；同步图像存储单元，用于存储并实时、同步输出多个摄像装置的帧图像。
4.根据权利要求1的基于立体视觉的游戏控制系统，其特征在于，所述二维特征分析装置包括二维特征分析单元，用于对同步图像获取装置存储的帧图像进行二维特征分析并输出二维特征分析结果；提取特征单元，用于对二维特征分析单元输出帧图像的二维特征分析结果提取具有旋转缩放不变性的特征，获得帧图像的姿态特征点位置、方向及帧图像组成的基本形状参数；跟踪校验及预测单元，用于通过对此前时刻的二维特征分析结果进行跟踪校验及预测，实时、同步输出二维特征信息。
5.根据权利要求1的基于立体视觉的游戏控制系统，其特征在于，所述三维特征获取装置包括二维特征匹配单元，用于匹配并输出不同摄像装置帧图像的二维特征位置对应关系信息；三维特征获取单元，用于从二维特征匹配单元输出的二维特征位置对应关系信息，计算得到帧图像的三维空间位置和三维姿态参数，输出三维控制信息命令。
6.根据权利要求1的基于立体视觉的游戏控制系统，其特征在于，所述视频控制参数提取与转化装置包括命令映射设定单元，根据程序的设置要求，将三维特征的控制信息映射到游戏中需要的控制命令；三维特征转化单元，通过预先定义好的命令映射关系，将三维控制信息转换成游戏控制信息并输出。
7.根据权利要求1的基于立体视觉的游戏控制系统，其特征在于，所述控制接口驱动装置，驱动本系统接口和游戏的控制接口，将游戏控制信息传送到游戏中，实现游戏控制。
8.一种基于立体视觉的游戏控制方法，其特征在于，该方法的控制步骤如下对多摄像装置的内外参数的标定；对从摄像装置获得的图像进行预处理，通过对多个摄像装置实时同步的获取图像；利用图像姿态特征的时空信息，通过其相关性进行区域选择和二维图像特征提取；对多图像间的特征进行相关性分析，获得图像三维位置和姿态信息；提取图像三维信息的视频控制参数，将图像三维信息映射转化为相应的游戏控制命令；建立控制接口，实现游戏的角色和场景控制。
9.根据权利要求8的基于立体视觉的游戏控制系统，其特征在于，所述摄像装置标定步骤包括对多个摄像装置的内外参数进行标定，对内参数一次性标定并记录，外参数则需要每次改变摄像装置位置后重新标定。
10.根据权利要求8的基于立体视觉的游戏控制方法，其特征在于，所述同步获取图像的具体步骤如下通过高速图像捕获模块与多个摄像装置实时、同步获取帧图像，并对帧图像进行光线校正、去噪等预处理。
11.根据权利要求8的基于立体视觉的游戏控制方法，其特征在于，所述二维特征提取的具体实现步骤如下基于捕获的图像，利用人体姿态运动的时间和空间特征进行特征分析，结合时空相关性信息，分别对局部区域进行特征分析，提取出具有旋转缩放不变性的特征，并通过上一时刻的结果进行跟踪校验及预测。
12.根据权利要求8的基于立体视觉的游戏控制方法，其特征在于，所述获取三维特征具体实现步骤如下通过不同摄像装置图像的特征的相关性，结合摄像装置位置信息，根据立体视觉的原理，先对单个摄像装置图像的目标位置、特征进行分析计算；再通过多个摄像装置特征之间的关系，计算识别图像目标的三维空间位置和姿态参数，形成游戏人物或场景的三维控制信息。
13.根据权利要求8的基于立体视觉的游戏控制方法，其特征在于，所述游戏控制命令的具体实现步骤如下根据三维特征控制信息命令对识别的多维信息结果提取视频控制参数，通过预先定义好的命令集进行映射转换，得到游戏的控制信息。
14.根据权利要求8的基于立体视觉的游戏控制方法，其特征在于，所述控制接口驱动的具体实现步骤如下通过驱动系统和游戏的控制接口，将游戏控制信息传送到游戏，实现模拟游戏人物和场景漫游的实时控制功能。
15.根据权利要求13的基于立体视觉的游戏控制方法，其特征在于，将多维信息识别结果，映射到相应的游戏控制中的具体步骤如下S31步骤命令集预处理步骤，首先对场景控制命令进行分类，根据视频对所需的命令集进行选择，用位置信息的控制场景的方向，用深度信息控制场景的运动，用方向信息控制场景的转动命令操作；S32步骤视觉控制转换步骤，基于姿态的控制，通过多个摄像装置，同步、实时采集人体的姿态及其运动状态，在线进行分析和识别，获得三维位置和状态，再根据当前的状态，采用一定的预测跟踪算法，输出相应的控制量；S33步骤接口控制输出，通过游戏控制接口，将控制参数实时整合到游戏的人物和场景控制中，或者直接调整模型达到控制的目的。
全文摘要
本发明公开一种基于立体视觉的游戏控制系统及方法，系统包括标定装置、同步图像获取装置、二维、三维特征获取装置、视频提取与转化装置、控制接口。方法包括对摄像装置内外参数标定；获得图像并预处理；用姿态特征时空信息及其相关性进行区域选择和特征提取；获得三维位置和姿态信息并映射为游戏控制命令，由系统和游戏控制接口，实现模拟游戏人物和场景漫游的实时控制功能。本发明以取代或辅助传统的键盘鼠标。通过摄像装置捕获玩家姿态及其运动状态图像，在计算机中分析和识别，结合标定的摄像装置位置信息，确定目标的空间位置与姿态，并将结果转化为游戏的控制指令，实现对游戏中场景和人物的直接控制，以代替或辅助传统的游戏交互方式。
文档编号G06F19/00GK101086681SQ200610083199
公开日2007年12月12日 申请日期2006年6月9日 优先权日2006年6月9日
发明者王阳生, 陈宇峰, 鲁鹏 申请人:中国科学院自动化研究所