基于增强虚拟现实与异型屏的实时人机互动方法及系统的制作方法

专利名称：基于增强虚拟现实与异型屏的实时人机互动方法及系统的制作方法
技术领域：
本发明涉及一种虚拟现实的实时人机互动方法及系统，特别是一种增强虚拟现实与异型 屏的实时人机互动技术方法及系统。
背景技术：
增强现实技术(AR—-Augmented Reality)系统就是把VR放在真实的环境中去检查。从 目前发展趋势来看，这种与实际环境相结合的虚拟体验方式是虚拟现实技术发展最有效的实 施技术之一。国外在AR技术研究和应用上还是领先的，并在技术上拥有多项知识产权和技术 标准。美国、欧洲和日本等国家目前在AR的关键技术获得了许多突破，并在关键设备上也具 备了设计和制造能力，且获得了预期的效果。如2000年英国牛津大学的Simon等人研究基于 共面自然特征点的跟踪方法并应用于建筑设计，将新建筑物或建筑装饰物的三维模型与实景 的录像融合在一起，通过这种方式可以对新建筑物和周围的环境是否和谐提供了直观的和重 要的判据。英国Fraunhofer学院还开发了适用于城市规划的AR系统，使得建筑设计人员能 够在现场预视方案的效果。日本在2005年爱知世博会上，日立企业馆就应用了一套AR系统 来演示人与自然、人与动物的亲密关系。在国内，AR技术还处于起步阶段。如北方交通大学 信息科学研究所提出了基于分布式增强现实系统中计算机视觉与虚拟现实系统集成的算法。 西安交通大学周建龙等基于仿射投影变换的理论提出了一种增强现实系统的三维匹配方法。 上海大学于2001年上半年开始启动基于PC平台的AR系统的研究，设计了基于PC平台的AR 系统的结构，实现了适合AR系统的、简便的、自动的、高精度和鲁棒的摄像头定标方法。
所谓异型屏技术就是把投影投在非平面的异型造型屏幕上，这样的屏幕可以使模型和场 景，将结合特殊的图形处理技术，利用多投影机拼接和图像合成控制技术，在一个异型的屏 幕上变幻各种场景的变化，从而造成一种多视角、多屏幕显示的环境由于利用多个小屏幕组 成一个大屏幕，控制软件就要保证各个屏幕播放的内容是同步的，这就要求控制端有可靠的 同步播放技术。当前的同步技术可以分为两种 一种是利用一个统一硬件时钟作为各个单元 的同步时钟，这种方法实现的同步效果好，而且速度快。但需要另外的硬件设备，造价比较 高。另外一种方法就是利用软件控制同步。使用多线程技术，异歩反馈技术都可以实现同歩 的效果。本发明采用的就是软件控制同步的方法。要实现大型场景异型屏投影无缝拼接，光 有垂直和水平方向的梯形矫正是不够的，因此对画面的变形矫正技术就是多屏幕无缝拼接的 关键技术之一。本课题采用软件的方法，用计算机对图像进行变形矫正处理，并不依赖于具 体的投影仪。基于桌面的小规模AR应用已取得很大进展，但尚没有与大剧场式多投影系统应用的示例 支持多投影源的虚拟网络投影系统及方法，AR专利方面，专利200710304245. 3，提出了一种 视频增强现实辅助操作的焊接防护头盔，用于机械加工制造方面。专利200710303603. 9,提 出了一种基于多个固是定摄像机的增强现实飞行模拟器，用于飞行训练模拟。专利 200680029773.6，提出了一种用于终端用户编程的增强现实眼镜的系统、设备和方法。专利 200610101229. X，提出了一种实现三维增强现实的方法及系统，捕获真实环境中二维可视编 码标志物的视频帧；进行增强现实处理，合成视频帧。但敞没有在展览展示方面的应用。在 多投影系统方面，专利(申请号200710064616.5)将连接计算机的普通显示设备虚拟成可 供网络使用的投影设备，从而通过网络，方便了来自多个投影源的投影内容在相同屏幕上的 同时显示或者切换显示。但仅使用了按钮等方式作为人机交互方式，用户几乎无沉浸感可言， 对于多投影系统的优点亦不能很好的利用。专利(申请号200710071105.6)基于转台的 多投影大屏拼接方法，公开了一种基于转台的多投影大屏拼接方法，能够完成几何校正和几 何对齐，同时还能够进行重叠区的定位，为亮度一致化做准备。但是对于与多投影图像内容 进行交互以及可能引起的问题没有考虑。
目前AR技术的研究主要在应用系统中进行研究，并结合其它技术一起构建一种新的研究 应用。把增强虚拟现实技术与异型屏技术集成在一起还未见诸报道。目前在展览展示上的研 究成果和应用还很少。根据调研和査找资料，把增强虚拟现实技术和异型屏技术有机地集成 在一起，在展示上应用更是没有先例。

发明内容
鉴于以上所述现有技术的存在的问题和不足，本发明的目的在于提供一种基于增强虚拟 现实的实时人机互动技术方法及系统，利用AR技术与多投影系统交互。能够通过网络控制 AR设备、多投影系统的工作，完成多用户、AR与多投影系统的协同交互工作，使用户获得深 入的沉浸感。
为达到上述目的，本发明采用下述技术构思
根据人机工程学的原理，利用计算机视觉、网络通信技术与多投影互动技术将摄像头与 跟踪设备提供的传感器信息进行融合，并进行动作识别与响应，利用网络同步机制等完成多 用户的协同交互工作。系统运行初期，先进行初始化工作，完成摄像头的标定和定位用户的 起始视点，读入可变换的异型拼接的多媒体图像与真实实物融合为一体化的场景模型。系统 运行时，跟踪系统通过对视频信息和磁力传感器的信息计算出视点的位置和方向，图形数据 管理系统对应视点的变化对场景模型进行变换和渲染，其中计算任务自动分配到各个计算结
5点上。合成显示系统将虚拟场景的画面和真实场景的画面合成并生成立体图像对，将立体图 像对中的画面分别传送到头盔上的左右屏幕上，用户就能感受到具有沉浸感的虚实结合的世 界。在运行过程中，系统还能接受用户的交互动作，变化交互目标物(虚拟的物体)的各种 属性，如形状、位置、颜色和运动速度等，让用户体验更多主题内容在现实中无法感受的奇 妙变幻和对未来的某种畅想。
本发明采用以下技术方案实现
一种基于增强虛拟现实的实时人机互动方法、其特征在于操作步骤如下
1. 一种基于增强虚拟现实与异型屏的实时人机互动方法、其特征在于操作步骤如下
1) 对要交互的虚拟物体进行建模；对统计平均的人手模型进行建模；
2) 由N台摄像头对人手进行视频采集，获得原始图像；
3) 在计算机内进行处理，步骤为
① 实现实时光透式增强显示的方法对拍摄的人手原始图像，经过分割处理后，进行三 维重构，转换到与虚拟物体相同的坐标系，进行碰撞检测。先利用包围盒方法进行粗步检测， 如果有碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实碰 撞检测。对碰撞后的虛拟模型进行变形处理，进行注册后显示在光透式头盔显示器上。
② 实时虚实抓握、抛物动作检测与实时抛物动画生成算法对拍摄的原始图像，经过肤 色统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进行筛 选，确定动作类型。在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等 系数进行抛物动作检测判断，如果大于试验统计平均值，则为拋物成功。在抛物成功后实时 生成相应的抛物动画。
③ 实时多屏交互方法对生成的实时抛物动画进行跨屏处理，对于从一个投影屏幕飞出 到另一投影屏幕的情况进行图像融合。利用网络平台实现分布式预处理。
一种用于上述基于增强虚拟现实与异型屏的实时人机互动方法用的系统，包括实现实时 光透式增强显示的系统(4)、实时虚实抓握、抛物动作检测与实时抛物动画生成算法及系统(5) 实时多异型屏交互系统(6)，系统之间使用网络交换机连接，系统如图2所示。其特征在于
1) 实时光透式增强显示的系统(4)，由两套独立的系统组成。每套由一个OLED光透式头 盔显示器加两个的摄像头和处理PC构成；每套设备利用一台处理PC完成增强光透显示方法
的处理。
2) 实时虛实抓握、抛物动作检测与实时抛物动画生成系统(5)为视觉和磁力设备融合的 多传感器系统，由磁力跟踪设备与(4)的设备构成。系统(5)在(4)的基础上增加了磁力设备，进行信息融合实现虛实抓握、抛物动作处理。
3)实时多异型屏交互系统(6)在系统(5)的基础上，增加了 5台PC和8台投影机实现 多屏交互。每两台投影机由一台渲染PC控制，另由一台PC作为时序和脚本控制与音响处理。 系统(4) (5) (6)之间的PC通信由局域网交换机完成。本发明提供的方法是一种实时增强 现实显示、实时人机交互动作识别及多投影交互的方法。
下面对发明的技术方案作较详细说明实现实时光透式增强显示的系统，包括采用肤色 统计的方法分割人手图像，利用3DSMAX建好人手的平均模型，转换到与虚拟物体相同的坐标 系，进行实时人手的三维重构，先利用包围盒方法进行粗步检测，如果有碰撞存在，再进行 精确检测，利用人工免疫系统方法进行精确检测(详见具体实施方式
部分说明)。
精确确定碰撞集后，按照程度不同响应虚拟物体，使其做表面纹理变形，具体方式是预 置好64个可能的变形动画，根据碰撞情况的不同进行调用播放响应动画。同时虚化3D手的 模型，使其不出现在HMD的显示屏中，利用均值插值使响应动画按帧序展现在HMD的显示屏 中。
实时人机交互动作识别系统，包括利用实现实时光透式增强显示的系统分割好的图像， 对动态图像进行帧的差分计算，骨骼化后再计算其包含的运动特征，包括:手指弯曲度，掌心 角度，与预存的数据库进行索引比较，以确定动作成功率。计算加速度和方向变量值等系数 进行抛物动作检测判断。如果大于试验统计平均值，则为拋物成功。
其中，捕捉真实手的动作而确定虚拟手的位姿需要磁力跟踪和数据手套的协同工作。首 先磁力跟踪接收器放在手腕处，得到手腕在世界坐标系下的位置和欧拉角，进而得到该处的 齐次变换矩阵。之后，根据DH算法，在各关节处建立局部坐标系，推出从i坐标系中坐标变 换到i-l坐标系坐标的变换矩阵，通过矩阵连乘，得到手各关节和指尖在世界坐标系中的坐 标。
实时多异型屏交互系统，包括对图像要展示的内容进行内容划分，展示背景在固定的投 影屏上，对交互内容进行脚本控制处理，利用多台PC进行分布式渲染，对拼接部分进行预处 理，使跨屏动画融合按时序渲染。
利用多个小屏幕组成一个大屏幕，控制软件保证各个屏幕播放的内容是同步的，控制端 有可靠的同步播放技术。利用软件控制同步。使用多线程技术，异步反馈技术都可以实现同 步的效果。异步反馈技术就是利用控制端实时的收集播放端反馈的信息来控制它们的同步播 放。控制端只需要判断播放端反馈回来的播放状态是否一致，根据播放端一致的情况决定是 否发出控制指令。由于有了播放端的反馈信息，就可以保证在局域网环境下保持同步。对画面的变形矫正技术本课题采用软件的方法，用计算机对图像进行变形矫正处理，并不依赖于 具体的投影仪。系统采用的实时变形矫正技术，为非线性失真校正，可以对投射到球幕或环 幕这样的异型屏投影屏幕上的图像进行矫正。
使多个不同投影仪的投影画面无缝拼接在一起，消除边缘亮带或阴影，使整个投影屏幕 达到一体化的全景效果。目前一些常见的拼接方法有无融合硬拼、简单重叠、边缘融合。 本课题将采用的方法是第三种边缘融合。采用图像拼接边缘融合技术，消除边缘阴影，使 整屏达到一体化立体全景效果。与简单重叠方法相比，左投影光机的右边重叠部分的亮度线 性衰减，右投影光机的左边重叠部分的亮度线性增加。在显示效果上表现为整幅画面亮度完 全一致。
本发明与现有技术相比较，具有如下显而易见的突出特点和显著优点本发明采用上述 的虛拟融合再虚化的实时增强现实显示、实时人机交互动作识别及多投影交互融合的方法， 从而具有实时AR交互显示、实时性强、通用和经济实用的优点。
通讯模块是保证整个系统同步运行的基础，基于局域网的实时通信协议主要包括多机同 歩信息、硬件控制命令信息、传感器信息、渲染命令信息等.
通信模块被调用时首先检査自己是否被初始化，在初始化中，通信模块收集子模块的信 息来灵活地决定发送接收缓冲区的大小。若该模块所包含的socket尚未与其对应的远端 socket连接，则尝试连接。若己连接，则通过检査socketmap容器决定工作模式 (Server/Client),并申请缓冲区，建立通信线程，执行通信主体，以服务器先发送，客户 端接收后发送，服务器最后接收为一次通信流程，然后通过等待渲染主线程的事件进行多线 程同步。
网络模块的时序如图所示，在采用阻塞模式并使用事件同步机制的情况下，该时序保证
了在渲染场景时每一帧只发送一组数据，不仅协调了各机器渲染速度差异带来的发送接收不
一致的现象，而且能使得网络流量控制为最小。


图1为本发明方法在计算机内进行处理的程序框图。
图2为本发明一个实施例的系统结构框图。
图3为图1示例的详细流程图。
图4为投影交互系统结构图。
图5传感器融合结构图。
图6 AR增强显示渲染平台模块图
具体实施例方式
本发明的一个优选实施例是参照图1本基于增强虚拟现实与异型屏的实时人机互动方 法的操作步骤如下-
1实现实时光透式增强显示对拍摄的人手原始图像，经过分割处理后，进行三维重构， 转换到与虚拟物体相同的坐标系，进行碰撞检测；先利用包围盒方法进行粗步检测，如果有 碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实碰撞检测； 对碰撞后的虚拟模型进行变形处理，进行注册后显示在光透式头盔显示器上；
2实时虚实抓握、抛物动作检测与实时抛物动画生成计算对拍摄的原始图像，经过肤色 统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进行筛选， 确定动作类型；在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等系数 进行抛物动作检测判断，如果大于试验统计平均值，则为拋物成功；在抛物成功后实时生成 相应的抛物动画；
3实时多屏交互对生成的实时抛物动画进行跨屏处理，对于从一个投影屏幕飞出到另一 投影屏幕的情况进行图像融合；利用网络平台实现分布式预处理。
参见图2，基于增强虚拟现实与异型屏的实时人机互动方法用的系统，包括实现实时光透 式增强显示的系统(4)、实时虚实抓握、抛物动作检测与实时抛物动画生成算法及系统(5)实 时多异型屏交互系统(6)，系统之间使用网络交换机利用网线连接，其特征在于-实时光透式增强显示的系统(4〉，由两套独立的系统组成；每套由一个OLED光透式头盔显示 器加两个的摄像头和处理PC构成；每套设备利用一台处理PC完成增强光透显示方法的处理； 实时虛实抓握、抛物动作检测与实时抛物动画生成系统(5)为视觉和磁力设备融合的多传感器 系统，由磁力跟踪设备与实时光透式增强显示的系统(4)构成；在实时光透式增强显示的系 统(4)的基础上增加了磁力设备，进行信息融合实现虛实抓握、抛物动作处理 实时多异型屏交互系统(6)在实时虚实抓握、抛物动作检测与实时抛物动画生成系统(5)的基 础上，增加了5台PC和8台投影机实现多屏交互；每两台投影机由一台渲染PC控制，另由 一台PC作为时序和脚本控制与音响处理；实时光透式增强显示的系统(4)、实时虚实抓握、 抛物动作检测与实时抛物动画生成系统(5)和实时多异型屏交互系统(6)之间的PC通信由局 域网交换机完成。
其中免疫虚实碰撞检测的过程如下(a)抗原识别，待求解问题的数据输入。(b)初始 抗体产生，激活记忆细胞产生初始抗体。(c)抗体度量，计算亲合度和浓度。(d)浓度选择。 (e)记忆细胞产生，将与抗原有最高亲合度的抗体全为记忆细胞保留在记忆细胞库中。由于记
9忆细胞的数目比较有限，将产生的与抗原具有更高亲合度的抗体将替换亲合度的较低的抗 体。(f)抗体产生的促进和抑制，对与抗原有较高亲合度的抗体进行促进，对浓度较高的抗 体进行抑制。该步骤对于保持抗体群体的多样性，避免过早收敛从而实现全局优化有着重要 的作用。利用遗传算法的选择、交叉和变异算子产生新的抗体。在以上步骤中，步骤c至步 骤f要迭代运行，直到满足终止条件(收敛判据)为止。
对碰撞后的虛拟模型进行变形处理，进行注册后显示在光透式头盔显示器上。磁力跟踪 处理模块主要处理完成原始的跟踪信息的采集与平滑传感器信息融合模块完成计算机视觉 与磁力跟踪处理模块信息的融合与选择。如图4所示，对每个用户安装一套传感器设备，包 括N/2个摄像头，2个6D0F磁力跟踪设备， 一个光透式HMD， 一台融合处理PC。实时人机交 互动作识别与实时抛物动画生成算法及系统2的动作处理模块利用分割好的图像，对动态图 像进行帧的差分计算，骨骼化后再计算其包含的运动特征，包括:手指弯曲度，掌心角度，与 预存的数据库进行索引比较，以确定动作成功率。计算加速度和方向变量值等系数进行抛物 动作检测判断。如果大于试验统计平均值，则为拋物成功。交互渲染控制，多用户交互同步 控制完成系统多用户脚本控制功能，确保异型屏与多用户交互的时序正确实现。实时多异型 屏交互系统3的多投影机控制完成投影机图像融合与亮度调整功能；CG通信平台完成AR系 统与异型屏系统的通信功能，采用帧通信控制时序。
实时人机交互动作识别与实时抛物动画生成算法及系统5与实时多异型屏交互系统6的
交互过程参照图3所示7.交互开始时序到达；8.设备自检通过；9.针对具体用户的设备校 正程序，完成定制的高度与灵敏度10.调用提示程序,针对9的校正进行微调；11.交互过程开 始的第一次同步，设置同步标志；12.调用渲染物体模型进入内存；设置物体类型标志；13. 动作检测循环；14.动态生成提示信息；15.抓握识别系统范围；16.粘合姿态显示与跟踪；174. 进入抛物运动准备阶段；18.对多用户进度进行同步控制；19.多投影异型屏系统响应；20. 抛物识别系统范围；21.HMD注册与融合；22.投影系统注册与融合；23. HMD与多投影同步控 制；24.多虚拟物体循环；25.同步控制结束；26.投影系统交互响应显示；27.同步结束过程。
参照图4，投影系统的结构是要求有3%的边缘重合的。投影机l， 2是用来完成实时人 机交互动作识别系统的虚拟场景展示的。投影机2是完成到大屏的过渡场景展示的。投影机 5， 6为主屏投影机。投影机的同步由交互控制系统完成。用户的可视窗口大小为4X1.5M。
参照图5，图5描述的是AR增强显示系统的安装位置。多个摄像头根据需要分别安装在 用户的左右两侧。用户使用高度固定的吧椅来约定用户的使用位置。
参照图6，本发明AR渲染平台结构首先通过外部设备采集数据，包括数据手套和磁力跟踪，对这些数据进行必要的处理，包括磁力跟踪数据的滤波，插值及在此基础上的坐标变化， 物理模拟，运动捕捉，碰撞检测等。然后是对场景的渲染，依次是相机，景物，光照，动画 提示等。最后是网络通信线程，它与渲染主线程并行。
权利要求
1.一种基于增强虚拟现实与异型屏的实时人机互动方法、其特征在于操作步骤如下A.对要交互的虚拟物体进行建模；对统计平均的人手模型进行建模；B.由N台摄像头对人手进行视频采集，获得原始图像；C.在计算机内进行处理，步骤为a.实现实时光透式增强显示对拍摄的人手原始图像，经过分割处理后，进行三维重构，转换到与虚拟物体相同的坐标系，进行碰撞检测；先利用包围盒方法进行粗步检测，如果有碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实碰撞检测；对碰撞后的虚拟模型进行变形处理，进行注册后显示在光透式头盔显示器上；b.实时虚实抓握、抛物动作检测与实时抛物动画生成计算对拍摄的原始图像，经过肤色统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进行筛选，确定动作类型；在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等系数进行抛物动作检测判断，如果大于试验统计平均值，则为抛物成功；在抛物成功后实时生成相应的抛物动画；c.实时多屏交互对生成的实时抛物动画进行跨屏处理，对于从一个投影屏幕飞出到另一投影屏幕的情况进行图像融合；利用网络平台实现分布式预处理。
2. —种用于根据权利要求1所述基于增强虚拟现实与异型屏的实时人机互动方法的系统， 包括实现实时光透式增强显示的系统(4)、实时虚实抓握、抛物动作检测与实时抛物动画 生成算法及系统(5)实时多异型屏交互系统(6)，系统之间使用网络交换机利用网线连接，其特征在于1) 实时光透式增强显示的系统(4)，由两套独立的系统组成；每套由一个OLED光透式头盔显示器加两个的摄像头和处理PC构成；每套设备利用一台处理PC完成增强光透显示方法的处理；2) 实时虚实抓握、抛物动作检测与实时抛物动画生成系统(5)为视觉和磁力设备融合 的多传感器系统，由磁力跟踪设备与实时光透式增强显示的系统(4)构成；在实 时光透式增强显示的系统(4)的基础上增加了磁力设备，进行信息融合实现虚实 抓握、抛物动作处理；3) 实时多异型屏交互系统(6)在实时虚实抓握、抛物动作检测与实时抛物动画生成系 统(5)的基础上，增加了5台PC和8台投影机实现多屏交互；每两台投影机由一台渲染PC控制，另由一台PC作为时序和脚本控制与音响处理；实时光透式增强显示的系统(4)、实时虚实抓握、抛物动作检测与实时抛物动画生成系统(5)和实 时多异型屏交互系统(6)之间的PC通信由局域网交换机完成。
全文摘要
本发明提供了一种基于增强虚拟现实与异型屏的实时人机互动方法及系统。本方法的操作步骤为1)对要交互的虚拟物体进行建模，对统计平均的人手模型进行建模；2)由N台摄像头对人手进行视频采集，获得原始图像；3)在计算机内进行处理。本系统包括实现实时光透式增强显示的系统、实时虚实抓握、抛物动作检测与实时抛物动画生成算法及系统、以及实时多异型屏交互系统。在大型异型屏场景中做各种虚实变换，在立体眼镜中嵌入表现互动内容的三维动画或者三维图像，加之视音频设备、灯光控制设备等展示将构建一整套大型的特殊效果。
文档编号G06F3/01GK101539804SQ200910047360
公开日2009年9月23日 申请日期2009年3月11日 优先权日2009年3月11日
发明者俞晓明, 燕 刘, 姚争为, 李启明, 俊 胡, 许永顺, 谭志鹏, 邹一波, 涛 陆, 陆意骏, 伟 陈, 明 陈, 陈一民, 黄诗华 申请人:上海大学