虚拟现实智能投影手势互动一体机及互动实现方法
【技术领域】
[0001] 本发明公开了虚拟现实智能投影手势互动一体机及互动实现方法。
【背景技术】
[0002] 当代家庭，物质生活很丰富。从刚生下来，到10来岁的孩子，家里都堆满了各种各 样的玩具。儿童的教育和娱乐主要来自书籍和普通的玩具。很枯燥，占空间很大。淘汰和 更新都比较麻烦。涂鸦是儿童的天性，但会损坏墙壁，浪费纸张。普通的玩具和书籍是死板 的，无法帮助孩子开发想象和联想的能力。无法给孩子呈现一个生动地环境。孩子也很难 自学。有条件的家庭，孩子都开始玩平板电脑，平板电脑以及上面的游戏教育软件给孩子一 个比较现代的娱乐教育。但平板电脑孩子用起来很不方便。需要自己拿手捧着，或者趴在 床上看。长时间近距离得看平板电脑的显示器也会损害儿童的视力。儿童用平板电脑等触 摸的交互方式时只是虚拟的2维交互，和真实的三维交互非常不同，影响儿童手和大脑的 发育。目前没有电子交互系统可以让儿童能用超出2维触摸的方式进行交互基于显示屏的 系统（电视，平板电脑，显示屏+触摸框）有安全隐患：儿童近距离接触会击碎屏幕造成人 身伤害，显示屏的辐射对健康不利，对视觉造成影响很多家长和幼教老师都在寻找新的教 学方式。另外，目前的投影仪大都只是一种简单的投影显示设备。不是一种智能终端，没有 操作系统，也没有任何的人机交互方式。开始有智能投影仪出现，就只是先投影机上做出电 视的功能。可以直接用投影仪看影视。
【发明内容】
[0003] 针对上述技术缺陷，本发明提出虚拟现实智能投影手势互动一体机及互动实现方 法，该装置用投影来做显示设备，把一面墙变成一个生动的世界；通过三维手势及物体识别 相结合的智能系统，使用者和电脑进行二维，二点五维和三维的互动，通过终端，可以利用 现有的应用软件（比如安卓的现有软件），也可以用为这个系统专门开发的软件，本发明的 装置解决了上面提到的所有问题，提供全新的，现代化的娱乐，教育的平台。
[0004] 为解决上述技术问题，本发明的技术方案如下：
[0005] 虚拟现实智能投影手势互动一体机，包括微型计算机、与微型计算机相连接的3D 物体和人体动作探测装置、投影设备；所述3D物体和人体动作探测装置用于物体的感测， 并进行三维物体和手势的识别，将识别信号输入至微型计算机，投影设备用于显示微型计 算机需要显示的内容；所述一体机设置在墙壁上。
[0006] 进一步的，所述微型计算机在互动内容库中，根据识别信号对互动内容进行选择 和执行，通过投影进行显示。
[0007] 虚拟现实智能投影手势互动实现方法，包括如下步骤：
[0008] 31)用户做标准动作，3D物体和人体动作探测装置进行三维手势识别，探测手和 手指的三维信息；
[0009] 32) 3D物体和人体动作探测装置采集一段时间内的手和手指的运动信息，将其存 储为模板；
[0010] 33)用户做动作，3D物体和人体动作探测装置进行三维手势识别，探测手和手指 的二维彳目息；
[0011] 34)将步骤33)探测到的手和手指的三维信息和步骤32)中的模板进行比较，通过 设定阈值来判断步骤33)中的动作与步骤31)的动作是否规范。
[0012] 进一步的，当同一个标准动作记录了大量模板，用机器学习方法训练出运动模型， 所述运动模型用于判断用户的手势动作是否规范。
[0013] 进一步的，还包括建立三维渲染引擎和三维物理模拟引擎，从而建立虚拟三维世 界，三维渲染引擎把虚拟三维世界转换为影像，利用微型计算机控制，通过投影设备进行显 示，所述三维渲染引擎渲染包括手在内的虚拟现实世界中的所有物体；三维物理模拟引擎 用来计算驱动虚拟三维世界中的物体的运动，模拟现实中的物体受力和运动；根据三维手 势识别系统探测出的手和手指的三维形态，在虚拟三维世界中建立三维的手部模型，通过 三维物理模拟引擎计算手和虚拟物体的接触，改变虚拟三维物体的运动，实现手指与虚拟 物体之间的互动。
[0014] 进一步的，还包括识别物体的步骤，选择如下步骤的1种或者多种；
[0015] a)预先采集物体多个方向拍摄的二维图像，并在每张图像中都提取图像中的信 息，将该信息保存于数据库，每种物体均同样采集多方向的图象，并保存于数据库中；采集 用户物体的实时视频，视频是图片流，其中每一张图片用特征获取的方法转化为特征信息； 在数据库中搜索最类似与用户物体的信息条，得到在t时刻最匹配的物体x_t，在之前，处 理前η帧的时候得出了最匹配物体（x_t-n, x_t-n-l,…，x_t-l)，通过比较x_t和之前最匹 配的序列，得到更稳定的匹配结果，物体y;当前图片的特征信息和数据库中物体y的各个 不同方向的图片进行比较，找出最匹配的方向，并和前m帧得出的物体方向进行比较，得出 更稳定的方向，
[0016] 通过比较图中物体的大小和数据库中物体的大小得出物体的真实大小。
[0017] b)对于参考物体采集三维图像得到的是深度图，转化为三维空间点阵保存于数据 库中，对于用户物体，同样采集深度图，与数据库中的物体进行匹配，找到最接近的物体和 最接近的旋转角度。
[0018] c)将二维码图形贴在物体上，采用二维相机采集图像，通过识别二维码的序列号， 得出物体的种类，分析二维码在图像中的位置和大小，旋转，变形来得出二维码在真实物理 世界中的三维位置和三维方向，以此得出物体的三维位置和方向。
[0019] 进一步的，三维手势识别包括墙面和地面自动检测方法，具体包括将实体标记物 放置在3D物体和人体动作探测装置的识别区，3D物体和人体动作探测装置的成像传感器 拍摄实体标记物的图像并识别标记，从而得到接触交互表面校准数据。
[0020] 进一步的，3D物体和人体动作探测装置的三维交互方法包括使用面部识别和追踪 算法来识别眼睛在感测装置的坐标系中的3D位置E (X，y，z)，识别手在感测装置的坐标系 中的3D位置T (X，y，z)及手的动作，在校正阶段，3D物体和人体动作探测装置感测并记录投 影后的屏幕在感测装置的坐标系中的3D信息，将眼睛的3D位置从感测装置的坐标系中转 换到屏幕所使用的坐标系，以呈现虚拟3D对象，Es (X，y，z)，并将这些信息发送给微型计算 机和3D交互应用，3D交互式应用根据用户的眼睛的3D位置Es (X，y, z)呈现该虚拟3D对 象，此外，3D物体和人体动作探测装置将手的3D位置从感测装置的坐标系转换到屏幕所使 用的坐标系，以呈现虚拟3D对象Ts (X，y，z)，并将这些信息发送给微型计算机和3D交互应 用，3D交互应用使用Ts (X，y，z)信息，以允许用户与虚拟3D对象进行交互。
[0021] 本发明的有益效果在于：本发明的装置具有感测手，手指，笔的三维动作；感测手 指和笔在平面（墙）上的2. 运动，以及其他物体的三维感测，比如玩具；以及用投影实现 虚拟和现实的融合，可以实现手和笔和显示出的2D界面的交互，和3D虚拟物体的交互，在 终端可以运行多种软件，比如教育软件，娱乐软件管理教育，娱乐软件集，按年龄等分类的 教育软件库，教育软件分发平台，教师和学生远程信息获取，内容更新和实时交互。该系统 解决了传统教学过程中电视和屏幕的显示设备伤眼睛以及沉迷于二维的显示中，没有人机 之间的交互，会影响孩子的动手能力，影响大脑的发育的缺点。
【附图说明】
[0022] 图1为本发明安装设置图；
[0023] 图2为本发明结构以及原理框架图；
[0024] 图3为本发明结构连接图；
[0025] 图4为本发明安装设置及探测区域图；
[0026] 图5为本发明探测流程图；
[0027] 图6为基于深度图的识别方法流程图；
[0028] 图7为多视角三维成像系统的硬件设计；
[0029] 图8为多视角三维成像系统的硬件的另一种设计 [0030] 图9为二维图像中提取手和手指的信息流程图；
[0031] 图10为示意性示出了根据一示例性实施例的用于对于每一个成像传感器寻找前 景对象和识别前景对象的二维结构的过程；
[0032] 图11为是根据一示例性实施例的用于计算前景对象和前景对象的子部分的的三 维信息的过程的高级流程图；
[0033] 图12为显示了根据一示例性实施例的各个手指之间的关联；
[0034] 图13为显示了关联两个骨架线的一个实施例；
[0035] 图14为显示了根据一示例性实施例获得的3D骨架；
[0036] 图15为显示了基于由两个不同的成像传感器拍到的两个2D图像中的手掌的2D 边界所进行的对手掌的3D边界的计算；
[0037] 图16为显示了手骨架计算的示例性输出；
[0