专利名称：头盔式虚拟现实环境中参与者实际手的可视化方法和系统的制作方法
技术领域：
本发明涉及一种头盔式虚拟现实系统中的参与者实际手可视化方法和系统，该方
法通过在头盔显示器中加装摄像机，综合运用视频图像处理技术，虚拟现实图形技术，实现 实时分割手图像并融入到虚拟环境中，可为用户提供具有逼真的、立体的虚拟手可视化图 像，满足人机交互要求。
背景技术：
基于头盔显示器的封闭式虚拟现实系统中，虚拟手的可视化是保证用户沉浸感的 重要因素。国外实验表明，在虚拟环境中新手用户最关注的问题是"我的手在哪？"[1]。可 视化效果的好坏也将直接影响到用户的视觉真实感。现有的虚拟手可视化方法均采用基于
三维几何模型建模和绘制(Gr即hics-Based Modeling and Rendering-GBMR)的方式，
这种方式对硬件的计算能力和图形加速性能以及建模人员都有很高的要求，其建模方式造 成所构建的虚拟手可视化图像还存在以下问题 1.真实手外形复杂，难以实现精确的几何建模，随着模型的逼真度的提高，多边形
数量也将提高，系统负担加重，实时性也将降低。 2.难以实现与真手一致的纹理特性，视觉效果不佳。 3.未考虑人手差异性，通用的三维手模型表示不同人的手，视觉效果不佳。
4.由于数据手套等虚拟外设的误差以及硬件延时，真实手与虚拟手的运动不可能 完全匹配，而且硬件成本也非常高。 5.数据手套等虚拟现实外设存在异物感和束缚感等。 为克服基于三维几何模型建模和绘制存在的问题，近年来基于图象的建模和绘制
(Image-Based Modeling and Rendering-IBMR)的建模技术得到广泛发展[2]，比如基
于全景图的三维漫游系统。而增强虚境技术是在基于GBMR框架下利用基于图像的建模与 绘制方法描述复杂对象，通过虚实融合图像用以解决虚拟现实研究中逼真绘制与实时显示 间的矛盾。比如国外的虚拟视频会议系统，虚拟商场系统等采用了此项技术，将视频或者图 像对象融入虚拟环境提升了虚拟现实系统中的视觉真实感，但其融入的对象为未经实时处 理的原始视频或者图像素材[3]。 基于多个固定摄像机的增强现实飞行模拟器(申请号200710303603. 9)中头盔
显示器显示的也是虚实融合后图像，但其系统中是通过多个固定在头部上方的摄像机用于 拍摄真实场景，而且拍摄的图像直接融入虚拟环境，因此与本发明摄像机的布置方案和技 术方案均不相同。 本发明中采用一种特殊虚实融合方式，也就是将虚拟现实系统参与者的真实手作 为虚拟环境中虚拟手的代理实现可视化。首先在头盔显示器眼点附近位置布置两个摄像 机，然后对摄像机视频图像进行手图像的实时分割，最后分割后的手图像融入虚拟环境后 在头盔显示器中显示给用户，实现参与者实际手在头盔式虚拟现实系统中的可视化。
[l]Andrei Sherstyuk，Dale Vincent,Caroline Jay. Poster :Sliding Viewportfor Head MountedDisplays in Interactive Environments[C].Piscataway， IEEE Symposium on 3D User Interfaces2008，3DUI. NJ， USA [2]李自力.虚拟现实中基于图形与图象的混合建模技术[J].中国图象图形学 报，2004， 6(1) :96-101. [3]郝爱民，何兵，赵沁平.虚拟现实中的增强虚镜技术[J].北京航空航天大学学 报，2003， 29 (10) :909-913.
发明内容
技术问题本发明的目的是克服现有基于三维建模与绘制的虚拟手可视化存在的 缺点，为用户提供一种视觉效果更加逼真的虚拟手系统。本发明中将摄像机采集的视频进 行手图像分割和提取并融入虚拟环境，给用户提供手的可视化图像。因此用户所见虚拟手 就是用户真实手，手的运动特性和视觉特性(比如柔体变形等)与真实手完全一致，并且双 摄像机设置可为用户提供虚拟手的立体图像，与传统基于数据手套等虚拟外设驱动的三维 手模型可视化图像相比用户沉浸感和视觉逼真度都明显增强。
技术方案本发明为实现上述目的，采用如下技术方案
本发明所述参与者手可视化方法，包括如下步骤 第一步，初始化，实现虚拟配准标定真实摄像机，得到真实摄像机参数包括真实 摄像机空间位置、水平视场角、垂直视场角，将虚拟环境中视点处的虚拟摄像机的参数保持 与真实摄像机参数一致； 第二部，手图像分割视频采集设备采集真实摄像机拍摄的视频图像，计算机对采 集到每帧视频图像进行肤色检测，实现手图像与背景的分离； 第三部，虚实融合将分离出的手图像通过动态纹理映射方法实时融入虚拟环境 实现虚拟对象的无缝融合。 头盔式虚拟现实环境中参与者实际手的可视化系统，包括计算机、头盔显示器、摄 像机和视频采集设备，其中摄像机设置于头盔显示器上，摄像机的输出端串接视频采集设 备后接计算机的输入端，计算机的输出端接头盔显示器的输入端。 有益效果本发明在虚拟现实系统中通过加装摄像机并综合采用图像图形处理技 术实现了虚拟手的可视化。从发明内容可知，此方法既不需要对手进行复杂的三维建模，也 无需采用虚拟外设，比如数据手套等对虚拟手进行驱动，就可实现虚拟手的运动特性和视 觉特性与真实手完全一致，为用户提供高逼真度视觉效果的虚拟手图像。由于本发明只需 对手部图像进行分割，因此可以基于肤色获得高效而稳定的图像分割算法。由于本发明在 眼点前附近安装双摄像机，因此能获得逼真的立体视觉图像。
图1头盔式虚拟现实环境中参与者实际手的可视化系统的组成。
图2头盔显示器上摄像机布置方案
图3半虚拟现实座舱系统原理图。
具体实施例方式
下面结合附图对发明的技术方案进行详细说明 如图1所示，头盔式虚拟现实环境中参与者实际手的可视化系统，包括计算机、头盔 显示器、摄像机和视频采集设备，其中摄像机设置于头盔显示器上，如图2所示，摄像机的输 出端串接视频采集设备后接计算机的输入端，计算机的输出端接头盔显示器的输入端。
以半虚拟现实座舱系统为例，本发明构建了一个虚拟手可视化实例。半虚拟现实 座舱系统由头盔显示器、半实物座舱、计算机和视频采集设备组成，系统组成和原理如图3 所示。半虚拟现实座舱系统按照"眼见为虚，手模为实"的原则构建。所述半虚拟现实座舱 系统中的所有用户可触摸操作部分采用实物构建，而原座舱的所有显示设备空缺，实物构 建的可触摸操作部分称为半实物座舱，即手摸为实。半实物座舱与虚拟座舱中相对应的部 分保持l : l的比例和相同几何外形，用户在头盔显示器中的可视部分，也就是整个虚拟座 舱(包括座舱、仪表板、各种开关按钮等所有舱内物体)采用三维建模方法由计算机生成， 即眼见为虚。两台摄像机分别安装在头盔显示器眼点附近，拍摄的图像由计算机实时处理 进行手图像的分割。头盔显示器为用户提供由计算机进行虚实融合后的图像，也就是用户 手图像与虚拟座舱融合后的图像，从而实现"实手虚化"。
按本发明所述方法，具体实施方案如下所示。
1.初始化，标定摄像机，实现虚实配准。 保证虚拟环境中虚拟摄像机的参数(焦距、成象视角，空间位置)与真实摄像机 参数一致就可保证虚拟配准。但由于图形引擎是采用视锥而不是内参描述摄像机参数的， 首先必须将摄像机参数转换为虚拟环境中的视锥参数，其包括水平视场角a ，垂直视场角
o "0
P，远裁剪面距离far，近裁剪面距离near。假设标定出摄像机参数为《=0 厶v。
00 1
其中fx、 fy为分别为摄像机x， y方向上焦距，u。， v。为分别为光心投影到摄像机成像平面上
的x， y坐标值； 视频图像的高度和宽度分别为height和width,从几何关系可推导出视锥参数和 摄像机内参转换公式 a = arct￡in(u0/fx)+￡irct￡m((width_u0)/fx) (1)
P = arctan(v0/fy)+arctan((v0-height)/fy) (2)
远裁剪面距离far，近裁剪面距离near可根据需要自行指定。
2.手图像的分割。 手图像分割中采用肤色检测原理，首先将原始图像从RGB空间转换到YCbCr空间，
并计算像素点的Cr、 Cb值与肤色平均值之差，如果小于一个预先设定的门限值，则判定该
点为肤色。初步处理后的图像再通过Freeman链码方法对这些离散像素点进行轮廓搜寻，
对搜寻到的轮廓只保留面积大于一定阈值的轮廓，其他轮廓视为干扰源，去除干扰点。链码
方法提取的轮廓边缘不可避免会存在锯齿，因此可进一步对手图像边缘进行分段三次样条
曲线拟合使之更加平滑，增强融合后的视觉真实感。 3.虚实融合 融合过程中通过设置像素透明度方 只保留手图像像素点，对其他背景像素点进行去除。处理完毕的纯手图像通过动态纹理映射技术映射到虚拟摄像机的近裁剪面生成虚 实融合环境，为用户提供虚实融合后的可视化图像。 虚拟现实图形引擎中的透明或者半透明效果是通过混色原理(Blending)实现 的。混色的定义是将某个像素的颜色和已绘制在屏幕上与其对应的像素颜色相互结合。如 何结合这两个颜色则依赖于颜色的alpha通道的分量值，每个像素点的RGB值按照如公式 3进行混色。
—(
= RGB为混色后像素点值，RSGSBS为原始像素点值，RbGbBb为与原始像素点进行混色的 像素点值，a为透明通道值。 因此只需将手图像背景像素点的alpha值设为0，其余像素点也就是手图像部分
像素点alpha值为l，就可实现手图像背景透明的效果，使之融入虚拟环境 通过以上几个步骤处理，可以将用户手图像无缝实时融合到虚拟环境，为用户提
供视觉上完全与真实手一致的虚拟手图像。在此封闭半虚拟现实座舱环境中，用户能看到
完整的虚拟座舱和虚拟手(也就是用户真实手)图像，并能触摸到实物座舱，完成各种操
作，比如点击按钮，推动油门，能实现"眼见为虚，手摸为实，虚实一致"效果，为用户提供一
个完整的沉浸式交互虚拟环境。
权利要求
一种头盔式虚拟现实环境中参与者实际手的可视化方法，其特征在于包括如下步骤第一步，初始化，实现虚实配准标定真实摄像机，得到真实摄像机参数包括真实摄像机空间位置、水平视场角、垂直视场角，将虚拟环境中视点处的虚拟摄像机的参数保持与真实摄像机参数一致；第二部，手图像分割视频采集设备采集真实摄像机拍摄的视频图像，计算机对采集到每帧视频图像进行肤色检测，实现手图像与背景的分离；第三部，虚实融合将分离出的手图像通过动态纹理映射方法实时融入虚拟环境实现虚拟对象的无缝融合。
2.根据权利要求1所述的头盔式虚拟现实环境中参与者实际手的可视化方法，其特征 在于第一步所述真实摄像机参数为义o <formula>formula see original document page 2</formula>其中fx、 fy为分别为摄像机成像平面上x， y轴方向上焦距，u。， v。为分别为光心投影到摄像机成像平面上的x， y轴方向上坐标值； 视锥参数和摄像机内参转换公式 a = arctan (u0/fx)+arctan ((width-u。)/fx) (1) P = arctan (v0/fy)+arctan ((v。-height)/fy) (2)a为水平视场角，P为垂直视场角，视频图像的高度和宽度分别为height和width。
3. 根据权利要求1所述的头盔式虚拟现实环境中参与者实际手的可视化方法，其特征 在于第二步所述的基于肤色检测的手图像分割方法如下首先将原始图像即采集到每帧视频图像从RGB空间转换到YCbCr空间，并计算像素点 的Cr、 Cb值与肤色平均值之差，如果差值小于一个预先设定的门限值，则判定该点为肤色； 将处理后的图像再通过Freeman链码方法对这些离散像素点进行轮廓搜寻，对搜寻到的轮 廓只保留面积大于一定阈值的轮廓，其他轮廓视为干扰源，去除干扰点。
4. 根据权利要求3所述的头盔式虚拟现实环境中参与者实际手的可视化方法，其特征 在于对所述Freeman链码方法提取的轮廓边缘进行分段三次样条曲线拟合使之平滑。
5. 根据权利要求1所述的头盔式虚拟现实环境中参与者实际手的可视化方法，其特征 在于第三步所述虚实融合过程中通过设置像素透明度方法只保留手图像像素点，对其他背 景像素点进行去除。
6. —种头盔式虚拟现实环境中参与者实际手的可视化系统，其特征在于包括计算机、 头盔显示器、摄像机和视频采集设备，其中摄像机设置于头盔显示器上，摄像机的输出端串 接视频采集设备后接计算机的输入端，计算机的输出端接头盔显示器的输入端。
全文摘要
本发明公布了一种头盔式虚拟现实环境中参与者实际手的可视化方法和系统，本发明方法包括初始化，实现虚实配准标定真实摄像机，得到真实摄像机参数包括真实摄像机空间位置、水平视场角、垂直视场角，将虚拟环境中视点处的虚拟摄像机的参数保持与真实摄像机参数一致；手图像分割视频采集设备采集真实摄像机拍摄的视频图像，计算机对采集到每帧视频图像进行肤色检测，实现手图像与背景的分离；虚实融合将分离出的手图像通过动态纹理映射方法实时融入虚拟环境实现虚拟对象的无缝融合。本发明系统包括计算机、头盔显示器、摄像机和视频采集设备。本发明高效而稳定、能获得逼真的立体视觉图像。
文档编号G06T7/00GK101727182SQ201010102510
公开日2010年6月9日 申请日期2010年1月28日 优先权日2010年1月28日
发明者吴东苏, 汤勇, 顾宏斌 申请人:南京航空航天大学