一种基于机器视觉的虚拟现实交互系统及方法
【技术领域】
[0001] 本发明涉及一种虚拟现实交互系统，具体涉及一种基于机器视觉的虚拟现实交互 系统及方法。
【背景技术】
[0002] 虚拟现实技术（Virtual Reality，VR)，是集成计算机图形学、多媒体、人工智能、 多传感器、网络和并行处理等技术的一项最新技术，以模拟方式为使用者创造一个实时反 映实体对象变化与相互作用的三维图像世界。在视、听、触和嗅等感知行为的逼真体验中， 使参与者可以直接参与虚拟对象在所处环境中的作用和变化，令人仿佛置身于一个虚拟世 界中，产生身临其境的感觉，即：浸没感（Immersion)。
[0003] 虚拟现实技术除具有浸没感的特征外，还具有交互性，即：参与者可操纵虚拟环 境。为实现参与者和虚拟环境之间交互性，必须跟踪参与者头部和分离部的姿态，现有技术 中，采用复杂的外围器件，例如，陀螺仪、加速度计以及旋转向量传感器等，对参与者头部和 分离部进行跟踪，因此，既加大了系统成本，又具有跟踪精度有限的问题，从而降低了参与 者体验感。
【发明内容】
[0004] 针对现有技术存在的缺陷，本发明提供一种基于机器视觉的虚拟现实交互系统及 方法，可有效解决上述问题。
[0005] 本发明采用的技术方案如下：
[0006] 本发明提供一种基于机器视觉的虚拟现实交互系统，包括：虚拟环境生成控制器 (1)、头盔设备（2)和分离部交互系统（3);
[0007] 其中，所述头盔设备（2)包括头盔式显示器、固定安装于所述头盔式显示器的第 二图像采集设备（2. 1)和通信模块；所述第二图像采集设备（2. 1)通过所述通信模块与所 述虚拟环境生成控制器（1)通信；
[0008] 所述分离部交互系统（3)包括分离部交互设备（3. 1)、固定设置于所述分离部交 互设备（3. 1)的第二辅助识别模块（3. 2)和指令发送器（3. 3);所述分离部交互设备（3. 1) 通过所述指令发送器（3. 3)与所述虚拟环境生成控制器（1)通信；
[0009] 此外，所述第二图像采集设备（2. 1)为摄像机，随着参与者头部运动而运动；所述 第二图像采集设备（2. 1)用于采集所述第二辅助识别模块（2.2)的图像信息，并将采集到 的所述图像信息上传给所述虚拟环境生成控制器（1)。
[0010] 优选的，还包括头部姿态采集系统；
[0011] 所述头部姿态采集系统为姿态传感器；或者，所述头部姿态采集系统包括第一图 像采集设备（4)和固定设置于所述头盔式显示器的第一辅助识别模块（2.2);所述第一图 像采集设备（4)的数量为至少一个，固定安装于参与者视线的前方、左侧或右侧；当所述第 一图像采集设备（4)的数量为两个以上时，形成一个无盲区的采集区域；
[0012] 所述第一图像采集设备（4)与所述虚拟环境生成控制器（1)通信。
[0013] 优选的，所述姿态传感器为陀螺仪和/或加速度计和/或磁力计。
[0014] 优选的，所述第一辅助识别模块（2. 2)和所述第二辅助识别模块（3. 2)为带特征 标记的多面体，所述多面体为四面体、六面体或者球体。
[0015] 优选的，所述第一辅助识别模块（2. 2)为设置于所述头盔式显示器中远离参与者 眼部外表面的具有一定规则的纹理图案；所述第二辅助识别模块（3.2)为设置于所述分离 部交互设备（3. 1)外表面的具有一定规则的纹理图案。
[0016] 优选的，所述分离部交互设备（3.1)为仿真模型和/或玩具；所述指令发送器 (3.3)为所述仿真刀具的手柄，或者，所述指令发送器（3.3)为所述仿真枪具的扳机。
[0017] 优选的，所述指令发送器（3. 3)为有线指令发送器和/或无线指令发送器。
[0018] 本发明还提供一种基于机器视觉的虚拟现实交互方法，包括以下步骤：
[0019] S1，初始时刻，头盔设备（2)固定设置有第二图像采集设备（2. 1)以及配有图案和 /或人工标记的第一辅助识别模块（2.2);
[0020] 在分离部交互设备（3. 1)上固定设置有配有图案和/或人工标记的第二辅助识别 模块（3. 2);
[0021] 在参与者视线的前方固定安装第一图像采集设备（4);
[0022] 在初始时刻，即t = 0时，虚拟环境生成控制器（1)生成初始的虚拟环境；同时，所 述虚拟环境生成控制器（1)预存储第一辅助识别模块（2. 2)在头盔真实场景坐标系下的初 始三维坐标Atl、以及第一辅助识别模块（2.2)中各个特征点在图像平面坐标系下的初始二 维坐标B tl;还存储第二辅助识别模块（3.2)所在分离部交互设备真实场景坐标系下的初始 三维坐标Ctl、第二辅助识别模块（3.2)中各个特征点在图像平面坐标系下的初始二维坐标 D。，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息Ptl;
[0023] 根据第一辅助识别模块（2. 2)所在头盔真实场景坐标系的初始三维坐标A。、以及 第一辅助识别模块（2.2)中各个特征点在图像平面坐标系下的初始二维坐标B tl，通过三维 注册技术解算得到初始时刻第一辅助识别模块（2. 2)所在头盔真实场景坐标系相对于第 一图像采集设备（4)所在坐标系的变换矩阵Mtl;
[0024] 以及，根据第二辅助识别模块（3. 2)所在分离部交互设备真实场景坐标系下初始 三维坐标Ctl、第二辅助识别模块（3.2)中各个特征点在图像平面坐标系下的初始二维坐标 Dtl，解算得到初始时刻第二辅助识别模块（3.2)所在分离部交互设备真实场景坐标系相对 于第二图像采集设备（2. 1)所在坐标系的变换矩阵Wtl;
[0025] 其中，当分离部交互设备（3. 1)和/或头盔设备（2)运动时，心、Ctl均为常量；
[0026] S2,在下一时刻，当头盔设备（2)和/或分离部交互设备（3. 1)运动时，固定安装 于参与者前方的第一图像采集设备（4)，采集当前时刻固定安装于所述头盔设备（2)的第 一辅助识别模块（2.2)的第一图像信息，并实时将所述第一图像信息上传给所述虚拟环境 生成控制器（1);其中，所述第一辅助识别模块（2.2)具有一定排列规则的特征点；
[0027] 同时，固定安装于所述头盔设备（2)的第二图像采集设备（2. 1)实时采集当前时 刻所述分离部交互设备（3. 1)中第二辅助识别模块（3.2)的第二图像信息，并实时将所述 第二图像信息上传给所述虚拟环境生成控制器（1);其中，所述第二辅助识别模块（3. 2)具 有一定排列规则的特征点；
[0028] S3,所述虚拟环境生成控制器（1)基于机器视觉的特征点识别技术，对所述第一 图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化 矩阵IV 1;
[0029] 其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵1^的计算方 法为：
[0030] 1)采用三维注册技术计算当前时刻第一辅助识别模块（2. 2)所在头盔真实场景 坐标系相对于第一图像采集设备（4)所在坐标系的变换矩阵Mt;三维注册的任务是实现对 使用者头部姿态变换的计算，算法的基本步骤为：
[0031] (1)已知标志点在场景中的坐标（Xi, yi，Zi)
[0032] (2)测定标志点在图像平面坐标系的坐标（Ui, Vi)
[0033] (3)利用透视投影方程建立图像平面点与场景点的联系。
[0034] (4)求解出标志点所在场景坐标系xyz与摄像头坐标系X' y' z'之间的变换矩阵 B0
[0035] 三维注册理论推导如下： 「00361 从场景坐标系剞摄像·^坐标系的关系如式Π )
【主权项】
1. 一种基于机器视觉的虚拟现实交互系统，其特征在于，包括：虚拟环境生成控制器 (1)、头盔设备（2)和分离部交互系统（3); 其中，所述头盔设备（2)包括头盔式显示器、固定安装于所述头盔式显示器的第二图 像采集设备（2. 1)和通信模块；所述第二图像采集设备（2. 1)通过所述通信模块与所述虚 拟环境生成控制器（1)通信； 所述分离部交互系统（3)包括分离部交互设备（3. 1)、固定设置于所述分离部交互设 备（3. 1)的第二辅助识别模块（3. 2)和指令发送器（3. 3);所述分离部交互设备（3. 1)通 过所述指令发送器（3. 3)与所述虚拟环境生成控制器（1)通信； 此外，所述第二图像采集设备（2. 1)为摄像机，随着参与者头部运动而运动；所述第二 图像采