可交互数字化立体沙盘系统的制作方法【专利摘要】一种可交互数字化立体沙盘系统，由立体图像生成系统和人机交互系统两大部分构成；立体图像生成系统采用Opengl等3D引擎绘制三维地形，应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器；人机交互系统，指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的可以区别不同控制意义的手势。【专利说明】爸制，购置速度慢，运输不便，已难以适应当1经发展成为大区域、立体化、多兵种，战争中适应现代战争需要的战场态势表达技术，丁交互式的数字化沙盘运用而生。近年来越6上，其人与作战环境的虚拟并自然的交互练中的问题，如费用过高、环境限制等。越玫字化沙盘全部都是平面的，不能够准确表:|」的对比分析0-7-28)提出了一种“基于实时交互式影像象模块为投影机组，交互模块分为非接触式./摄像机设备采集影像，接触式则为采用成像模块。基础模块则为适合成像模块成3-2-20)提出了“一种交互式电子沙盘手势存放在了智能化互补，多模态(多通道)多也就是放在以人为在中心的人机交互技术I才刚刚起步并且正迅速的发展。可以说世多、娱乐方面)。然而目前我国在人机交互方匕差距，缺少新的人机技术。而利用指向光I示技术的应用尚未成熟。技术已经发展的较成熟。市面上也越来越5。然而虽然立体图像对技术能够提供立体，通过视差而立体成像。但这类技术不仅需舒适度，而且使用操作具有极大的局限性，巨调节和实现汇聚调节，长时间观看会产生立体沙盘系统，利用裸眼30技术和触摸技(如55寸)的水平显示台产生30效果，人貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式:即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。[0020]立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl,Opencv,DirectX或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保持不变，从而实现交互立体图像的生成。[0021]2)、人机交互系统[0022]指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；可交互数字化立体沙盘系统操作灵活，互操作能力很强。相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的可以区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义。[0023]还包括通过自然的手势控制，可以在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节(如楼盘内部观察房间内部的细节，并可以在房间中看到周围的建筑和风景，给人一种极致的人机交互体验)。图11显示了可以实现的手势操作。无侵扰手势识别装置、且实时立体内容生成构成实时的人机立体图像(影像)的生成交互；[0024]裸眼立体显示器放置无侵扰手势识别装置，通过对手势的识别，实现3D图像多人实时互动。利用裸眼3D技术和无侵扰手势识别技术实现高仿真立体画面和高精度人机互动，人眼看到的沙盘模型悬浮在裸眼立体显示器上方。[0025]所述的人机交互，根据实时记录大视角、大动态范围的用户活动区域，利用帧间差分的识别方法，达到手势对三维场景的实时控制。[0026]采用人眼跟踪和指向光技术，人眼位置的探测为非接触式，用户无需佩戴任何辅助装置。[0027]拥有手势探测的基本摄像模块，基于视觉感知的手势运动轨迹的描述，拥有手势的理解与识别算法，实现规定手势的自动识别。近场手势交互，多个手势识别的摄像头进行手势的捕捉，可实现无侵扰手势识别，手势定位的精度达到厘米级别。[0028]本系统采用的是近场手势交互技术，结合计算机视觉检测技术检测手指的位置，引导立体图像生成模块生成对应的立体像对，以实现可操控，可交互的技术要求。拥有手势探测的基本摄像模块，实时记录大视角、大动态范围的用户活动区域；拥有基于视觉感知的手势运动轨迹的描述，从而形成关于手势基本点云描述；拥有手势的理解与识别算法，实现[关系。芝校正处理。3、30裸眼显示屏4、虚拟物体5、人眼跟踪戸所在的大致区域，采用帧间差分的方法提:图像的灰度值的差分信息得到手的运动区基本原理，实时、快速地生成可交互的立体.体图像格式。在㈨的队应用程序接口中，视差图像。即通过？(:终端1、视频接口2、以物体5在屏上，人眼跟踪器6用于对人眼I模拟观看者的双眼捕获左右图像，通过视与架虚拟相机模拟双眼获取立体图像对，有和平行式立体相机模型(图5)。汇聚式立1近景的拍摄；平行式立体相机模型光轴互目于远景的拍摄。建立数学模型，以两架相I为原点建立相机坐标系，以相机冗0投影7原点建立显示坐标系，立体相机拍摄的过坐标系、相机坐标系到图像坐标系、图像坐？问题，经常用一个比实际瞳孔距离小的间线向量为rD,双眼中心坐标为I,实际物体位置为E点,用户感知的物体位置为F点。可以定义一个转换矩阵，通过该转换矩阵可以在世界坐标系中将E点转换到F点，即F=Δ(E)0通过在坐标系中的转换可以有效地减小崎变问题，如(图9右)所不，红色的网格为崎变图像，蓝色的网格为进行逆畸变Λ-1处理后的图像。可以看出进行逆畸变处理可以有效的还原真实的场景。[0055]4)、基于视差机制的图像加速方法[0056]在虚拟场景中，根据一系列点的三维信息，利用现有程序OPENGL绘制三角形渲染出整个场景，再加以纹理贴图就可以完成地图渲染，我们可以在初始化过程中将所有点的信息存入GPU中这样在渲染的过程中就无需频繁的读取内存中的数据，加以渲染过程。在渲染之前对地形各个快进行裁剪测试，这样我们在绘制地图中较远的场景时就可以使用较少的三角形进行渲染，对于不在视野范围内的场景不进行渲染，这样就可以加快图像的渲染过程。[0057]实施例1:[0058]实际装置中，我们采用的手势识别装置是Leapmot1n。Leapmot1n传感器根据内置的两个摄像头从不同的角度捕捉的画面，重建出手掌在真是世界三维空间的联动信息。检测的范围大体在传感器上方25毫米到600毫米之间，检测的空间大体是一个到四棱锥体。[0059]首先，LeapMot1n传感器会建立一个直角坐标系，坐标的原点式传感器的中心，坐标的X轴平行于传感器，指向屏幕右方。Y轴指向上方。Z轴之相背离屏幕的方向。单位为真实世界的毫米。在使用过程中，LeapMot1n传感器会定期的发送关于手的联动信息，每份这样的信息称为「帧」。每一个这样的帧包含检测到的:[0060].所有手掌的列表及信息；[0061].所有手指的列表及信息；[0062].手持工具(细的，笔直的，比手指长的东西，例如一枝笔)的列表及信息；[0063].所有可指向对象(PointableObject)，即所有手指和工具的列表及信息；[0064]Leap传感器会给所有这些分配一个唯一标识(ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些ID,可以通过Frame::handO,Frame::fingerO等函数来查询每个连动对象的信息。[0065]然后根据每帧和前帧检测到的数据，生成运动信息。例如，若检测到两只手，并且两只手都超一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转。若两只手靠近或分开，则记为缩放。所生成的数据包含:[0066]?旋转的轴向向量；[0067].旋转的角度(顺时针为正)；[0068].描述旋转的矩阵；[0069].缩放因子；[0070]?平移向量；[0071]实施例2:[0072]实际成品如图3所示。该产品由55寸3D液晶显示屏,三维手势精确定位元件,手势协处理器，电子计算机集成而成，可配置底座，采用集成化无缝设计。只有显示屏暴露在夕卜，三维手势精确定位元件和手势协处理器元件(手势探测器)暗藏在显示屏的周边。[0073]如图3所示，用户在显示器前方左右前后移动时，人眼跟踪装置将用户位置实时监测到；与此同时，收拾探测其探测用户双手的操作姿态。用户的眼睛位置，手势动作信息被实时传输给PC机，PC机根据用户观看点、手部动作而实时生成相对应的一对立体图像并显示在显示屏上。由于对人眼位置、手势动作的探测是接触式的，用头部、手部无需佩戴任何辅助装置，从而实现无侵扰人机交互。[0074]虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属【
技术领域：
】中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。【权利要求】1.一种可交互数字化立体沙盘系统，其特征是由立体图像生成系统和人机交互系统两大部分构成；1)、立体图像生成系统立体图像生成系统采用Opengl,Opencv,DirectX或3D引擎绘制三维地形,应用人眼跟踪和指向光技术，实现无辅助立体显示，并且采用一系列图像的加速技术加快图像的渲染过程；使三维建筑模型置于三维地形目标区域中，具有精确的空间分布和良好的视觉效果；立体图像生成系统构成裸眼立体显示器；立体图像生成系统采用独自编程，沙盘模型细节众多。不仅可以显示整个地形地貌，并且可以显示战争中用到的军事模型包括坦克、飞机等，并且有绚丽的战争光影效果，预置手势识别的接口通过手势控制立体图像生成系统中三维地形场景或三维模型数据，因为地形和军事模型非常的复杂，所以程序的数据量非常大。对于这样的数据量，系统采用创新的数据管理方式:即统一的三维地形场景，分块的三维军事模型数据，实现三维军事模型分层调入，使系统既是一个有机的整体，又能快速运行，解决海量数据和运行效率的问题。立体图像生成系统中立体图像的获得是利用左右眼看到的图像有细微的差别，从而在大脑中合成一幅具有深度的立体图。用虚拟摄像机拍摄模拟场景，通过坐标变换获得左右图像，对获得的左右图像进行视差控制，基于视差机制，利用Opengl,Opencv,Directx或3D引擎绘制三维地形(进行渲染加速)。因为在视差间距过大的情况下无法在大脑中形成3D图像，所以对获得的左右图像进行视差控制(控制左右图像同名点的间距)；当由于人眼的移动会造成图像汇聚点的移动使立体图像产生畸变，这样就需要采用视觉跟踪的方法使左右图像的汇聚点保持不变，从而实现交互立体图像的生成。2)、人机交互系统指通过手势控制立体图像生成系统中三维地形场景或三维模型数据的系统，通过预置手势识别的接口实现；相对应的手势控制立体图像生成系统中三维地形场景或三维模型数据的放大、缩小、平移、旋转或进入等并且根据需要配置对应的能区别不同控制意义的手势；由立体相机拍摄并取得手势三维信息，利用中点补偿算法对原始采样点进行处理，建立隐性马尔科夫模型，将手势空间分布特征，与样本库进行相似度对比，识别手势具体含义；还包括通过自然的手势控制，在三维场景中前进、后退，升高、降低视点、进入三维地形场景或三维模型数据观察内部细节；手势识别的接口连接无侵扰手势识别或监测装置、通过对手势的识别，且实时立体内容生成构成实时的人机立体图像(影像)的生成实时交互。2.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是裸眼立体显示器放置无侵扰手势识别装置，利用裸眼3D技术和无侵扰手势识别技术实现高仿真立体画面和高精度人机互动，人眼看到的沙盘模型悬浮在裸眼立体显示器上方。3.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是所述的人机交互，拥有手势探测的基本摄像模块，通过多个摄像头或者手势识别元件，同时提取多个手势，范围覆盖整个屏幕，利用帧间差分的识别方法，将不同用户的手势分别提取出来，并将手势识别的反馈实时显示在图像上，达到手势对三维场景的实时控制。4.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是采用人眼跟踪和指向光技术，人眼位置的探测为非接触式。5.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是拥有手势探测的基本摄像模块，基于视觉感知的手势运动轨迹的描述，拥有手势的理解与识别算法，即基于手势空间分布特征的手势识别算法，手势空间分布特征(HDF)是对人手空间特征的抽象描述；其中最重要的就是提取肤色和手势空间的特征向量，并将提取的手势空间分布特征与样本库进行相似度比较，识别手势的具体含义；提取空间分布特征一般从整体姿态和局部姿态2个方面进行。然后将手势的整体表现特征与手势的关节变化特性结合起来提取手势的空间分布特征，从而实现规定手势的自动识别。6.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是系统采用的是近场手势交互技术，多个手势识别的摄像头进行手势的捕捉，结合计算机视觉检测技术检测手指的位置，采用肤色识别等技术将手势动作提取出来，根据隐马尔科夫模型引导立体图像生成模块生成对应的立体图像对，通过手势动作和预置的模型进行比较，从而反馈出相应的图像变化信号，以实现可操控，可交互。7.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是设有基于视觉感知的手势运动轨迹的描述，从而形成关于手势基本点云描述；拥有手势的理解与识别算法，实现规定手势的自动识别；根据用户的实时动态，手势的变换控制，裸眼立体显示器实时更新场景的显示。8.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是为消除畸变，建立一个畸变模型，以零视差平面中心为原点，垂直于该面为Z轴，水平方向为X轴。在该图中实际人眼连线的向量为2D，计算机设定的人眼连线向量为rD，双眼中心坐标为I，实际物体位置为E点，用户感知的物体位置为F点；通过定义一个转换矩阵，通过该转换矩阵可以在世界坐标系中将E点转换到F点，即F=Δ(E)。9.根据权利要求1所述的可交互数字化立体沙盘系统，其特征是通过在坐标系中的转换有效地减小畸变问题。【文档编号】G06F3/01GK104050859SQ201410193904【公开日】2014年9月17日申请日期:2014年5月8日优先权日:2014年5月8日【发明者】王元庆,董辰辰,李异同,陆大伟,马换申请人:南京大学