一种信息物理空间的远程交互式操控系统及方法
【技术领域】
[0001] 本发明涉及物理信息融合环境下的人机交互技术，特别涉及一种人机交互系统与 人机交互方法。
【背景技术】
[0002] 物理信息融合技术，也就是虚拟现实是利用电脑模拟产生一个三维空间的虚拟世 界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及 时、没有限制地观察三度空间内的事物。
[0003] 目前，在现有的虚拟现实系统中，只是将虚拟信息静态的叠加现实在虚拟现实场 景中，而不能对物理信息融合场景下的虚拟现实模型进行实时的人机操控。
【发明内容】
[0004] 要解决的技术问题
[0005] 为了避免现有技术的不足之处，本发明提出一种在虚拟现实融合系统下的实时人 机交互系统和方法。该系统可以远程的通过2D与3D交互相结合的方式，完成对信息物理 融合场景下的物理信息对象进行实时的人机交互控制。
[0006] 技术方案
[0007] 一种信息物理空间的远程交互式操控系统，其特征在于包括人机交互模块、物理 世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；所述的人机交互模块包 括3D交互识别模块和2D交互识别模块：3D交互识别模块用于对用户手势动作进行识别， 然后再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值；2D交互识别 模块用于进行3D交互识别模块操控的模式切换和对3D手势交互模块映射在虚拟场景范围 进行操控范围的平移；物理世界场景采集模块用于远程拍摄物理世界工作场景，将相关物 理对象世界坐标传输给处理器；物理信息融合模块用于将物理世界场景采集模块远程拍摄 的相关物理对象世界范围与虚拟场景范围的虚拟场景坐标融合统一在一起；视频显示模块 用于显示物理信息场景融合模块的物理信息场景和人机交互模块的人手参数化模型。
[0008] 所述的2D交互识别模块由一块2D的平面感应板所组成。
[0009] 所述的3D交互识别模块由至少一个微型RGB摄像头和至少一个深度摄像头组成。
[0010] 所述的物理世界场景采集模块由至少一个摄像头组成。
[0011] 所述的视频显示模块为手机平板显示屏、电脑显示屏或眼镜式微显示屏。
[0012] 一种信息物理空间的远程交互式操控方法，其特征在于包括下述步骤：
[0013] 步骤1 :物理世界场景采集模块获取世界物理场景；
[0014] 步骤2 :总处理器将获取的物理世界场景与信息对象融合在一起，转换成物理信 息融合场景；
[0015] 步骤3 :人机交互模块捕获用户2D和3D的交互指令；
[0016] 步骤4 :总处理器接收用户2D和3D的交互指令，并将交互指令转化为控制指令；
[0017] 步骤5 :总处理器根据控制指令控制物理信息目标物体对象的变化；
[0018] 步骤6 :视频显示模块显示物理信息融合场景和人机交互模块控制对象变化的实 时显示。
[0019] 所述的步骤3包括下述步骤：
[0020] 步骤3a :人机交互模块中的2D交互识别模块识别用户2D交互指令；
[0021] 步骤3b :人机交互模块中的3D交互识别模块识别用户3D交互指令；
[0022] 步骤3c :2D交互识别模块将平面感应板坐标系下的一点坐标转换至物理信息融 合场景下的图像平面坐标；
【主权项】
1. 一种信息物理空间的远程交互式操控系统，其特征在于包括人机交互模块、物理世 界场景采集模块、总处理器、物理信息融合模块和视频显示模块；所述的人机交互模块包括 3D交互识别模块和2D交互识别模块：3D交互识别模块用于对用户手势动作进行识别，然后 再对用户的手势动作数据进行处理，提取出用户的手势动作三维坐标值；2D交互识别模块 用于进行3D交互识别模块操控的模式切换和对3D手势交互模块映射在虚拟场景范围进行 操控范围的平移；物理世界场景采集模块用于远程拍摄物理世界工作场景，将相关物理对 象世界坐标传输给处理器；物理信息融合模块用于将物理世界场景采集模块远程拍摄的相 关物理对象世界范围与虚拟场景范围的虚拟场景坐标融合统一在一起；视频显示模块用于 显示物理信息场景融合模块的物理信息场景和人机交互模块的人手参数化模型。
2. 根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的2D 交互识别模块由一块2D的平面感应板所组成。
3. 根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的3D 交互识别模块由至少一个微型RGB摄像头和至少一个深度摄像头组成。
4. 根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的物 理世界场景采集模块由至少一个摄像头组成。
5. 根据权利要求1所述的信息物理空间的远程交互式操控系统，其特征在于所述的视 频显示模块为手机显示屏、电脑显示屏或眼镜式微显示屏。
6. -种信息物理空间的远程交互式操控方法，其特征在于包括下述步骤： 步骤1 :物理世界场景采集模块获取世界物理场景； 步骤2 :总处理器将获取的物理世界场景与信息对象融合在一起，转换成物理信息融 合场景； 步骤3 :人机交互模块捕获用户2D和3D的交互指令； 步骤4 :总处理器接收用户2D和3D的交互指令，并将交互指令转化为控制指令； 步骤5 :总处理器根据控制指令控制物理信息目标物体对象的变化； 步骤6 :视频显示模块显示物理信息融合场景和人机交互模块控制对象变化的实时显 不O
7. 根据权利要求6所述的信息物理空间的远程交互式操控方法，其特征在于所述的 步骤3包括下述步骤： 步骤3a :人机交互模块中的2D交互识别模块识别用户2D交互指令； 步骤3b :人机交互模块中的3D交互识别模块识别用户3D交互指令； 步骤3c :2D交互识别模块将平面感应板坐标系下的一点坐标转换至物理信息融合场 景下的图像平面坐标；
其中（X，P，太P)为平面感应板坐标系下的一点坐标；（μ，a，v， a)为（X，p，y' p) 映射到物理信息融合场景下的一点图像坐标； sx，Sy分别为平面感应板上单位距离到物理信息融合场景中的显示图像在X轴和Y轴 的放缩比例系数；
步骤4 :3D交互识别模块将世界空间中任意一点三维坐标转换至物理信息融合场景中 的图像坐标； 对相机进行内外参数的标定，计算出相机的内外参数相关矩阵参数；世界空间的任意 一点，通过相机内外参数矩阵，映射到图像上一点对应的图像坐标，现实在虚拟场景之中； 世界空间中任意一点三维坐标为A (xwa，ywa，zwa)，映射到物理信息融合场景中的图像坐标为 Α'（μ a，va)，则有以下关系：
其中kx= 〇 xf ;ky= 〇 yf ;σχ，％分别为成像平面到图像平面上x，y两个方向上的放 缩比例系数；f为焦距； (Utl, Vtl)为图像物理坐标系原点在图像坐标系中的坐标； n = [/7, ?y Ziz f是X轴在相机坐标系中的方向向量； δ = [ox Oy (7_是Y轴在相机坐标系中的方向向量； 5. Of aj是Z轴在相机坐标系中的方向向量； = |/>、&凡]^是世界坐标系原点在相机坐标系中的位置； dx，dy为每一个像素点在X，y轴方向上的物理尺寸，则在虚拟场景显示图像与世界坐标 的在x，y的比例系数分别为
步骤3d :总处理器将2D交互识别模块映射过来的图像平面坐标与物理信息融合模块 内的物理信息融合场景的图像平面坐标进行匹配； 步骤3e :总处理器将3D交互识别模块映射过来的图像平面坐标与物理信息融合模块 内的物理信息融合场景的图像平面坐标进行匹配； 步骤3f :总处理器将2D和3D交互识别模块进行融合匹配，完成物理信息融合场景下 的人机交互。
【专利摘要】本发明涉及一种信息物理空间的远程交互式操控系统及方法，该系统包括3D交互识别模块、2D交互识别模块、物理世界场景采集模块、总处理器、物理信息融合模块和视频显示模块；该方法可以远程的通过2D与3D交互相结合的方式，完成对信息物理融合场景下的物理信息对象进行实时的人机交互控制，与其他方法相比，该方法成本低廉，操作沉浸感强并且操作可以达到实时高效，对于未来的物理信息融合场景下人机交互有着非常广阔的应用前景。
【IPC分类】G06F3-01, G06K9-00
【公开号】CN104656893
【申请号】CN201510061485
【发明人】高鹏, 白晓亮, 张树生, 何卫平, 杨森
【申请人】西北工业大学
【公开日】2015年5月27日
【申请日】2015年2月6日