专利名称：虚拟猿戏的人机交互方法
技术领域：
本发明涉及一种广泛应用与科技馆和博物馆数字展示方式中的虚拟猿戏的人机交互方法，属于计算机虚拟现实技术领域。
背景技术：
目前，在科技馆、博物馆中，很多展品都使用计算机技术进行展示，为了增强用户的参与性，还提供一些人机交互手段。在这种大众参与的场合，如果采用复杂的人机交互设备，如头盔、数据手套等实现人机交互，不仅设备昂贵，而且用户穿戴不方便，交互方式不自然。为了实现更加和谐、自然的人机交互，一些系统采用计算机视觉的研究成果，通过分析人体运动的视频信息，实现人机交互。如美国卡内基梅隆大学构造的虚拟跳舞系统，如Liu Ren1，Gregory Shakhnarovich2，Jessica K.Hodgins1.LearningSilhouette Features for Control of Human Motion.Technical Report ofCarnegie Mellon University，July 2004介绍的，其使用3架摄像机拍摄一个真实人体运动情况，然后提取人体运动轮廓，并与模板库中的模板进行比较，获取人体运动信息，最后用这些信息实时驱动3D虚拟环境中的虚拟人实现虚拟跳舞。2002年在北京世纪坛举办的达利画展中，有一件数字展品采用计算机显示达利的绘画作品，并用摄像机捕获参与者手部运动信息，所显示的作品随参与者手部运动不断变化，从而实现人机交互。
利用计算机视觉技术实现人机交互的关键是识别参与者的动作信息。准确地分析人体运动姿态需要建立复杂的人体模型，如S.Yonemoto，N.Tsuruta，and R.Taniguchi.Tracking of 3D multi-part objects usingmultipie viewpoint time-varying sequences.In Proc.Int.Conf.PatternRecognition，pages 490-494，1998介绍的和T.Nunomaki，S.Yonemoto，D.Arita，R.Taniguchi，and N.Tsuruta.Multi-part non-rigid object trackingbased on time model-space gradients.In Proc.Int.Workshop ArticulatedMotion and Deformable Objects，pages 720-82，2002介绍的、L.Herda，P.Fua，R.Plankers，R.Boulic，and D.Thalmann.Skeleton-Based MotionCapture for Robust Reconstruction of Human Motion.In Proc.ComputerAnimation，pages 77-83，2000介绍的均需要大量的计算，因而系统难以实现实时识别。为了实时分析人体运动，一般采用简化的人体模型，目前主要是采用人体轮廓区域分析的方法，如M.K.Leung and Y-H.Yang.First sighta human body outline Iabeling system.IEEE Trans.Pattern Analysis andMachine Intelligence，(17)4359-377，1995介绍的和K.Takahashi，T.Sakaguchi，and J.Ohya.Remarks on a real-time 3D human body postureestimation method using trinocular images.In Proc.Int.Conf.PatternRecognition，Vol.4，pages 693-697，2000介绍的，这些文献的不足均从有限的图像信息中估计出人体运动姿态。
我国学者按照《三国志·魏书·方伎传》中说华佗通过观察动物的运动，根据不同动物活动的特点，分别把五种禽兽(包括猿、鹰、虎、熊、鹿)的代表性形态动作，按照锻炼身体的要求，加以编排，发明了“五禽戏”(包括猿戏、鹰戏、虎戏、熊戏、鹿戏)。“五禽戏”的问世，标志着我国古代导引术发展到一个崭新的水平。但目前的虚拟现实方法是用户需要穿戴交互设备，才能再现了“五禽戏”中的“猿戏”，使用起来很不方便。
发明内容
本发明的技术解决问题克服现有技术的不足，提供一种自然的人机交互方式，用户不必穿戴任何交互设备，也不必使用键盘、鼠标等传统交互设备，即可参与“猿戏”，达到寓教寓乐的目的的虚拟猿戏的人机交互方法。
本发明的技术解决方案虚拟猿戏的人机交互方法，其特点在于它包括以下步骤(1)由真实的运动员表演全套的猿戏动作，采用运动捕获设备获取人体的运动数据；(2)运用商用3D建模软件构造3D虚拟场景和虚拟人物，并利用3D图形引擎将捕获的猿戏运动数据赋予虚拟人身上，实现猿戏的虚拟再现；(3)在虚拟猿戏的播放过程中，按照动作的难易程度设定三个关卡，当虚拟猿戏播放到每个关卡时，播放过程暂停，要求参与者对虚拟猿戏的当前动作进行模仿，参与者动作信息由安装在其前面的摄像机实时捕获；(4)虚拟猿戏系统对参与者的动作进行识别，如果参与者模仿正确，则系统采用变形方法，将参与者所做动作的影像渐变到相应的真实猿动作上，然后是一段真实猿在大自然中欢腾跳跃的视频，这关卡通过后，系统继续播放猿戏，直至到下一关卡，继续按照步骤(4)运行；如果参与者通过三个关卡，则模仿成功，系统返回初始状态；(5)如果参与者在规定时间内无法正确模仿猿戏动作，则模仿失败，系统返回初始状态。
上述步骤(4)中所述的动作识别方法是(1)针对要识别的三个动作，建立标准动作模板库；(2)提取参与者的影像，参与者在蓝色背景前进行猿戏动作模仿，系统拍摄观众的图像，该图像减去没有观众时的蓝色背景图像，从而实现参与者影像的实时提取；(3)识别参与者动作。
上述步骤(3)采用模版匹配的方法进行识别，先对采集的参与者动作图像进行归一化处理，将图像大小和人物在图像中位置进行统一，然后将归一化的图像与模板库中相应的模板进行比较，如果满足所制定的匹配条件，则表明参与者动作正确，否则失败。
上述步骤(2)中的3D图形引擎的步骤和方法如下(1)先载入用3DS MAX建造的3D场景和虚拟人模型数据，然后进行绘制；(2)对于虚拟人的运动绘制，根据运动捕获设备获取真实运动员表演猿戏的运动数据，按照虚拟人的骨骼和皮肤位置绘制每一帧，实现连续的虚拟人猿戏表演绘制。
上述步骤(4)中的变形方法如下通过上述步骤(3)中所述的匹配方法，建立参与者所做动作的影像和相应的真实猿动作影像之间的对应关系，采用基于域的图像变形技术，实现由参与者影像到真实猿图像之间的连续变形。
本发明的人机交互方式与现有交互方式相比，其有益效果是用户不需要使用任何交互设备，只需通过肢体动作便可实现虚拟猿戏的人机交互，十分自然即可参与到“虚拟猿戏”过程中，达到寓教寓乐的目的。这种交互方法可以广泛应用与科技馆、博物馆的数字展示方式中。
图1示出本发明虚拟猿戏的人机交互方法主要流程图；图2示出本发明的系统配置图；图3示出本发明的动作识别方法图；图4示出本发明的3D图形引擎结构图；图5示出本发明的图像变形算法图。
表1示出本发明的判断用户动作正确与否的尺度标准。
具体实施例方式
如图1所示，本发明的虚拟猿戏的人机交互方法采用如下步骤(1)猿戏的虚拟再现，采用运动捕获设备获取真实运动员表演猿戏的动作数据。
(2)采用商业建模软件，如3DS MAX、Maya构造3D虚拟场景和虚拟人，然后将所获取的猿戏运动数据赋予到虚拟人上，利用开发的3D图形引擎虚拟再现猿戏的全过程。
3D图形引擎结构如图4所示，3D模型利用3DS MAX构造。3DS MAX是最常用的建模软件之一，它采用一种开放的架构，其大部分内容都是由插件构成的，开发人员可以根据自己的需求编写相应的插件。图4中场景导出插件负责从3DS MAX中获取3D模型数据，并保存在相应文件中。渲染管理模块首先载入这个文件，将3D虚拟场景和虚拟人的模型数据放到所定义的数据结构中，然后进行绘制；对于虚拟人的运动绘制，根据运动捕获设备获取真实运动员表演猿戏的运动数据中所定义的虚拟人骨骼和皮肤的位置进行绘制，这是一个动态过程，从而实现连续的虚拟人猿戏表演绘制。这样就可以输出一段连续的虚拟人运动。
(3)在虚拟猿戏的播放过程中，按照动作的难易程度设定三个关卡，当虚拟猿戏播放到每个关卡时，播放过程暂停，要求参与者对虚拟猿戏的当前动作进行模仿，参与者动作信息由安装在其前面的摄像机实时捕获。
(4)虚拟猿戏系统对参与者的动作进行识别，如果参与者模仿正确，则系统采用变形方法，将参与者所做动作的影像渐变到相应的真实猿动作上，然后是一段真实猿在大自然中欢腾跳跃的视频，这关卡通过后，系统继续播放猿戏，直至到下一关卡，继续按照步骤(4)运行；如果参与者通过三个关卡，则模仿成功，系统返回初始状态。该步骤主要包括下面五个技术要点(i)建立标准的动作模板库。如图3所示，要识别的动作共有三个，分别对应3个动作模板文件act1.txt，act2.txt，act3.txt。将人体分成8个部分，图3中红色部分是所要识别动作的各个部分。这8个区域的图像信息都记录在相应的模板库文件中。
(ii)虚拟猿戏系统构建。整个系统搭建如图2所示，参与者站在蓝色背景前面，距其约4米的距离放置一块大屏幕显示器，显示器上面是一个摄像机。显示器和摄像机都由计算机进行控制。系统先播放全套猿戏动作的3D动画，让观众比较全面地了解猿戏。接着分段播放，并按照猿戏动作的难易程度设定三个关卡。当虚拟猿戏播放到每个关卡时，播放过程暂停，此时参与者要对其进行模仿，参与者动作由安装在其前面的摄像机进行捕获。计算机和摄像机通过视频采集卡相连。本发明采用的视频采集卡型号是DahengCG300 Video Capture，摄像机型号是SAERIM DSP 220X DlGITALZOOM(COLOR CAMERA)。
(iii)实时提取参与者的轮廓信息。用所拍摄参与者图像减去没有观众在场的蓝色背景图像，从而实现参与者轮廓的实时提取。为了便于两幅图像相减，图像都采用HSV格式。
(iv)对参与者的动作进行识别。采用模版匹配的方法进行识别，具体做法是a.缩小变换将参与者的轮廓图像缩小至64*64的分辨率，即参与者轮廓的高度必须是64个像素。这样可以避免不同参与者高度不同而引起的识别失败问题。
b.平移变换将参与者的轮廓在64*64的图像上进行平移，使得人头部的左边或右边在图像的中间位置，即在第32个像素点的位置。这样可以避免因参与者所站位置的不同而引起的识别错误问题。
c.动作的区间信息将参与者的动作按照图3所示分成各个部分，如头部，身体，左右手等，并且记录各个部分的位置区间，存放在文件act1.txt，act2.txt，act3.txt，中。这些文件的每行是一个部位的区间，以格式x1.y1.x2.y2.x3.y3.x4.y4存放，其中，(x1，y1)是区间左上角位置坐标，(x2，y2)是区间右上角位置坐标，(x3，y3)是区间左下角位置坐标，(x4，y4)是区间右下角位置坐标。每个动作的识别使用了8个区域的信息。下面是所要识别的3个动作的各个部位说明d.act1头部，躯干，左右手，左右腿的位置，以及左右手的限制区域；e.act2头部，躯干，左右手，腰部，腿部，以及左右手的限制区域；f.act3头部，躯干，左右手，腰部，腿部，以及左右手的限制区域。
g.动作的像素信息计算标准动作的各部分在各区间中的像素数目(以64*64的分辨率为标准)，以此作为判断用户动作正确与否的尺度。具体标准如表1所示。
表1
(v)系统采用的变形方法，实现过程如下如图5，假设变形图像中的一点X在源图像中的匹配点是X’，X’的位置通过加权平均X到每一条特征线段PQ的距离决定。对每一条源图像中的线段P’Q’，X、X’和PQ满足u=(X-P)·(Q-P)||Q-P||2]]>v=(X-P)·Perpend(Q-P)||Q-P||]]>X′=P′+u·(Q′-P′)+v·Perpend(Q′-P′)||Q′-P′||]]>其中Perpend(●)表示垂直向量。
每一特征线段对最终X’的确定所起的作用由下式计算weight=(lengthpa+dist)b]]>其中，length是线段长度，dist是像素到当前线段的最短距离；a是线段影响的强度系数，a越小线段影响的强度越大；b表示不同线段影响强度随距离的增加而减少，当b＝0时，所有线段有相同的影响；p表示线段长度对权重的影响，如果p＝0，则所有线段有相同的权重，如果p＝1，则较长的线段有较高的权重。
算法过程如下对于目标图像中的每一个像素点XDSUM＝(0，0)；weightsum＝0；对于每条线PiQi基于PiQi计算u，v基于u，v和Pi′Qi′计算X’在这条线上计算Di＝Xi′-Xidist＝从X到PiQi的最短距离weight=(lengthpa+dist)b]]>DSUM+＝Di*weightweightsum+＝weightX’＝X+DSUM/weightsumdestinationlmage(X)＝sourcelmage(X’)End(5)如果参与者在规定时间内无法正确模拟猿戏动作，则模仿失败，系统返回初始状态。
权利要求
1.虚拟猿戏的人机交互方法，其特征在于它包括以下步骤(1)由真实的运动员表演全套的猿戏动作，采用运动捕获设备获取人体的运动数据；(2)运用商用3D建模软件构造3D虚拟场景和虚拟人物，并利用3D图形引擎将捕获的猿戏运动数据赋予虚拟人身上，实现猿戏的虚拟再现；(3)在虚拟猿戏的播放过程中，按照动作的难易程度设定三个关卡，当虚拟猿戏播放到每个关卡时，播放过程暂停，要求参与者对虚拟猿戏的当前动作进行模仿，参与者动作信息由安装在其前面的摄像机实时捕获；(4)虚拟猿戏系统对参与者的动作进行识别，如果参与者模仿正确，则系统采用变形方法，将参与者所做动作的影像渐变到相应的真实猿动作上，然后是一段真实猿在大自然中欢腾跳跃的视频，这关卡通过后，系统继续播放猿戏，直至到下一关卡，继续按照步骤(4)运行；如果参与者通过三个关卡，则模仿成功，系统返回初始状态；(5)如果参与者在规定时间内无法正确模仿猿戏动作，则模仿失败，系统返回初始状态。
2.如权利要求1所述的虚拟猿戏的人机交互方法，其特征在于在所述步骤(4)中所述的动作识别方法是(1)针对要识别的三个动作，建立标准动作模板库；(2)提取参与者的影像，参与者在蓝色背景前进行猿戏动作模仿，系统拍摄观众的图像，该图像减去没有观众时的蓝色背景图像，从而实现参与者影像的实时提取；(3)识别参与者动作。
3.如权利要求1所述的虚拟猿戏的人机交互方法，其特征在于所述步骤(3)采用模版匹配的方法进行识别，先对采集的参与者动作图像进行归一化处理，将图像大小和人物在图像中位置进行统一，然后将归一化的图像与模板库中相应的模板进行比较，如果满足所制定的匹配条件，则表明参与者动作正确，否则失败。
4.如权利要求1所述的虚拟猿戏的人机交互方法，其特征在于所述步骤(2)中的3D图形引擎的步骤和方法如下(1)先载入用3DS MAX建造的3D场景和虚拟人模型数据，然后进行绘制；(2)对于虚拟人的运动绘制，根据运动捕获设备获取真实运动员表演猿戏的运动数据，按照虚拟人的骨骼和皮肤位置绘制每一帧，实现连续的虚拟人猿戏表演绘制。
5.如权利要求1所述的虚拟猿戏的人机交互方法，其特征在于所述步骤(4)中的变形方法如下通过步骤(3)中所述的匹配方法，建立参与者所做动作的影像和相应的真实猿动作影像之间的对应关系，采用基于域的图像变形技术，实现由参与者影像到真实猿图像之间的连续变形。
全文摘要
虚拟猿戏的人机交互方法，采用运动捕获设备获取真实运动员表演猿戏的运动数据，然后构造出3D虚拟环境和虚拟人，并通过3D图形引擎，将真实人的运动数据赋予到虚拟人身上，实现猿戏的虚拟再现；在猿戏的虚拟再现过程中，根据猿戏动作设定了三个关卡，利用计算机视觉技术，实时拍摄、识别参与者的动作信息，如果参与者模仿正确，则通过该关卡，并利用变形技术将参与者动作影像变形到有相应动作的猿上；三个关卡都通过后，系统结束，返回初始状态；如果在给定时间范围内，参与者不能正确模仿，则整个模仿过程失败，系统返回初始状态。本发明不需要参与者穿戴任何交互设备，从而实现参与者与虚拟猿戏自然的人机交互，达到寓教寓乐的目的。
文档编号G06F19/00GK1731316SQ20051008625
公开日2006年2月8日 申请日期2005年8月19日 优先权日2005年8月19日
发明者齐越, 沈旭昆, 赵沁平 申请人:北京航空航天大学