038] 图17为显不了一基于丰旲型的架构；
[0039] 图18为显示了根据一示例性实施例的通过检测标记来自动检测接触交互表面的 过程的流程图；
[0040] 图19为显示了根据一示例性实施例的用于自动检测和校准显示屏的过程的流程 图；
[0041] 图20为显示了根据一示例性实施例限定虚拟接触表面的过程的流程图；
[0042] 图21为显示了根据一示例性实施例的用于将前景对象的3D信息转换成2. 信 息的过程的流程图；
[0043] 图22为是用于确定前景对象和接触交互表面之间的距离d的过程的流程图； [0044] 图23为是根据一示例性实施例得到z'的过程的流程图；
[0045] 图24为是根据一示例性实施例得到z'的过程的流程图；
[0046] 图25为是根据一示例性实施例得到z'的过程的流程图；
[0047] 图26为显示了使用接触交互表面的手写过程；
[0048] 图27为显示了显示前景对象悬停的过程；
[0049] 图28为不意性不出了用户与3D显不屏展现的3D内容进彳丁交互的情形；
[0050] 图29为记录和学习标准动作模板/模型的方法的流程图；
[0051] 图30为采集用户动作，纠正用户动作方法的流程图；
[0052] 图31为通过物理模拟，手直接和虚拟三维物体交互；
[0053] 图32为增强现实的使用场景的示例图；
[0054] 图33交互系统数据库的建立的流程图；
[0055] 图34为比较计算物体的种类，位置，方向，大小的方法流程图；
[0056] 图35为增强现实的互动投影方法的流程图。
【具体实施方式】
[0057] 下面将结合附图和具体实施例对本发明做进一步的说明。
[0058] 如图1~图4所示，本方案包括有几个组成部分，即软件和硬件相结合
[0059] 硬件部分是集成为一体的一个一体机盒子，其中包括：
[0060] 垂直投影设备，凌指三维物体感测和动作输入设备，及小型电脑主板，有音响输 出。一体机挂在墙的上方，向下投影。在下面的墙面和地面上成像或者放在墙角，向上投影， 在上方的墙面上成像。
[0061] 软件有以下几个部分
[0062] 操作系统（安卓），三维手势识别算法软件（凌指系统），教育娱乐应用软件。
[0063] 如图5所示，系统能力：
[0064] -感测手，手指，笔的三维动作；感测手指和笔在平面（墙）上的2. 运动。
[0065] -其他物体的三维感测，比如玩具；以及用投影实现虚拟和现实的融合。
[0066] -手和笔和显示出的2D界面的交互，和3D虚拟物体的交互
[0067] -可以运行多种软件，比如教育软件，娱乐软件
[0068] -管理教育，娱乐软件集，按年龄等分类的教育软件库，教育软件分发平台。
[0069] -教师和学生远程信息获取，内容更新，和实时交互。
[0070] 三维物体和手势识别系统方案包含特定的方法和图象采集硬件。
[0071] 实现方法可以分为两类，
[0072] I. 1 -类是如图6所示，使用采集深度图（cbpth map)的硬件，比如基于结构光 (structured light)的硬件，或者基于光子飞行时间（Time of Flight)的硬件，并使用处 理深度图的算法来识别手和物体。
[0073] 1.2另一类是使用多视角成像的硬件（multi-view camera, stereo camera)，并使 用多视角成像的算法来识别手和物体。
[0074] 1. 2. 1多视角三维成像系统的硬件设计
[0075] 感测装置可以包括多个成像传感器，如摄像头。成像传感器可以是可见光成像传 感器，其对可见光响应更灵敏，或红外（IR)成像传感器，其对红外光线更灵敏。感测装置还 可以包括一个或多个照明源，根据成像传感器的类型提供各种波长的照明。照明源可以是， 例如发光二极管（LED)或配置有散射器的激光器。在一些实施方式中，可以省略照明源并 且成像传感器感测被对象反射的环境光或对象发出的光。
[0076] 以下是几种实现方式：
[0077] 如图7A和7B示意性示出了依据本公开【具体实施方式】的示例性感测装置300。感 测装置300包括外壳302、多个成像传感器304、一个或多个照明源306。成像传感器304和 一个或多个照明源306都形成于外壳302内或外壳302上。这样的设计在本公开中也称为 一体化设计。
[0078] 图7A中所示的感测装置300有一个照明源306,而图7B所示的感测设备300有 六个照明源306。在图7A所示的示例中，照明源306被布置在成像传感器304之间，而在 图7B所示的例子中，照明源306是均匀分布在外壳302上以提供更好的照明效果等，例如 更广的覆盖范围或更均匀的照明。例如两个照明源306位于两个成像传感器304之间，两 个照明源306位于外壳302的左半边，以及两个照明源306位于外壳302的右半边。
[0079] 在本公开的附图中，照明源以LED为例来说明，正如上面所讨论的，也可以使用其 他光源，如配置了散射器的激光器。
[0080] 在一些实施方式中，需要红外光谱带宽内的照明。人裸眼可能看不到这种照明。在 这些实施方式中，照明源306可以包括，例如发射红外光的LED。或者，照明源306可以包括 发射包括可见光在内的更广频带的光的LED。在这样的情况下，每个照明源306可以例如在 相应的照明源306前配置红外透射滤光器（图中未显示）。
[0081] 在一些实施方式中，感测装置300可以还包括放置在成像传感器304前方的红外 透射滤光器（图中未显示），以过滤掉可见光。在一些实施方式中，感测装置300可以还包 括放置在成像传感器304前面的镜头（图中未显示），用来聚焦光。红外透射滤光器可放 置在镜头前，或在镜头和成像传感器304之间。根据本公开的【具体实施方式】，感测装置300 可以还包括控制电路（图中未显示）。控制电路可以控制成像传感器304的操作参数，例 如快门持续时间或增益。控制电路也可以控制两个或多个成像传感器304之间的同步。此 外，控制电路可以控制照明源306的照明亮度，照明源306的开/关或照明持续时间，或照 明源306和成像传感器304之间的同步。控制电路也可以执行其他功能，例如，电源管理、 图像数据获取和处理、数据到其他设备（如计算机104)的输出，或来自其他设备（如计算 机104)的命令的接收。
[0082] 在一些实施方式中，感测装置300可以还包括配置为开/关或重置感测装置300 或强制进行环境重校准的一个或多个按钮。例如一个按钮可以被配置为允许用户强行启动 手动校准过程，以校准接触交互表面。
[0083] 在一些实施方式中，感测装置300可以还包括显示感测装置300状态的一个或多 个指示灯，例如显示出感测装置300是否打开或关闭，是否在执行环境校准，还是执行触交 互表面校准。
[0084] 在一些实施方式中，感测装置102可以具有多个分离单元，每个分离单元各有一 个成像传感器。以下，这样的设计也称为分体设计。图8显示了根据本公开【具体实施方式】 的示例性的具有分体设计的感测装置500。感测装置500包括两个感测单元502和504,每 个感测单元具有一个成像传感器304和一个或多个照明源306。在图5所示的实施例中， 感测单元502具有一个照明源304,而感测单元504具有两个照明源306。感测单元502和 504可以都具有控制电路，用来控制相应的感测单元的操作。
[0085] 1. 2. 2多视角三维成像系统的算法设计
[0086] 1. 2. 2. 1从每个二维图像中提取手和手指的信息
[0087] 图9示意性示出了根据本公开【具体实施方式】的用于每个成像传感器304的找到前 景对象并识别前景对象的2D结构的过程。在图9中所示的实施例和相关图像中，讨论的 是前景对象是用户的手的情形。获得输入图像之后，执行以下：1)找到前景对象（1606)， 2)分析前景对象的子结构（1608和1610)，3)分析前景对象（1612和1614)的详细性质。 如下描述该过程的细节。在1606,比较来自成像传感器304的新的输入图像与背景模型， 以提取前景区域。如图10所示，在1608,在前景区域内，在每个像素位置（x，y)处计算：像 素是指尖一部分的概率？_1^口(1，7)，像素是手指主体（finger trunk) -部分的概率P_ finger (X，y)，以及像素是手掌一部分的概率P_palm(x, y)。
[0088