交互式输入系统和方法

交互式输入系统和方法
【专利摘要】本发明公开了一种交互式输入系统和方法，尤其公开了一种对三维对象的3D运动的感测的输入系统和方法。所述三维(3D)感测方法方法包括获得一对象的第一二维(2D)骨架，获得所述对象的不同于第一2D骨架的第二2D骨架，在所述第一和第二2D骨架的基础上计算出所述对象的3D骨架。
【专利说明】交互式输入系统和方法
[0001] 相关申请的夺叉参引
[0002] 本申请以2013年4月12日提交的临时申请No. 61/811，680、2013年7月1日提 交的临时申请No. 61/841,864以及2013年9月23日提交的非临时申请No. 14/034, 286作 为基础并享有其优先权，在此三者以全文援引方式合并入本文。

【技术领域】
[0003] 本公开涉及输入系统和方法，尤其涉及基于一种对三维（3D)对象的3D运动的感 测的输入系统和方法。

【背景技术】
[0004] 计算机用户经常需要与计算机进行交互，这可以通过使用交互式输入设备(如键 盘、鼠标或触屏)来实现。然而，使用这些设备会存在一些限制。例如，常规的触屏通常基于 像电容感应或电场感应这样的技术。这样的技术只可以追踪靠近屏幕的对象，例如用户的 手指（即短操作范围)，而且不能识别对象的3D结构。此外，触屏经常用于小型计算机，如平 板电脑。对于大型计算机，如台式机或者工作站，用户通常不方便接触到屏幕。
[0005] 因此，需要一种具有更大的操作范围的人机交互式输入系统，此系统能准确并快 速分辨精细对象，例如用户的手指，而且能够追踪对象的3D运动及其与表面的交互。


【发明内容】

[0006] 根据本公开，提供了一种三维（3D)感测方法。所述方法包括获得对象的第一二维 (2D)骨架，获得不同于第一 2D骨架的所述对象的第二2D的骨架，在所述第一和第二2D骨 架的基础上计算出所述对象的3D骨架。
[0007] 本公开还提供了一种非易失性计算机可读存储介质，存储用于三维（3D )感测的程 序，该程序当由计算机执行时，指示计算机获得对象的第一二维（2D)骨架；获得与所述第 一 2D骨架不同的所述对象的第二2D骨架；以及在所述第一和第二2D骨架的基础上计算所 述对象的3D骨架。
[0008] 本公开还提供了一种用于三维（3D)感测的设备。所述设备包括：第一摄像机，从 第一视角拍摄对象的第一 2D图像；第二摄像机，从不同于所述第一视角的第二视角拍摄所 述对象的第二2D图像；以及处理器，配置为：从所述第一 2D图像中提取所述对象的第一二 维（2D)骨架；从所述第二2D图像中提取所述对象的第二2D骨架；以及在所述第一和第二 2D骨架的基础上计算所述对象的3D骨架。
[0009] 本公开的特点和优点部分将在下面说明书中阐明、部分从说明书中显而易见可知 或者通过对本公开的实践习得。这些特点和优点将通过附属的权利要求所特别指出的要素 和组合方式来实现并获得。
[0010] 可以理解的是，上述一般性描述和随后的【具体实施方式】仅是示例性的和解释性 的，并不用来限制如权利要求所保护的本发明。
[0011] 附图包含在说明书中并组成说明书的一部分，与说明书一起描述本发明的几个实 施例，用于解释本发明的原理。

【专利附图】

【附图说明】
[0012] 图1示意性示出了根据一示例性实施例的交互式系统。
[0013] 图2是显示根据一示例性实施例的过程的流程图。
[0014] 图3A和3B示意性示出了根据一示例性实施例的感测装置。
[0015] 图4A-4C示意性示出了根据一示例性实施例的感测装置。
[0016] 图5示意性示出了根据一示例性实施例的感测装置。
[0017] 图6A和6B示意性示出了根据一示例性实施例的感测单元和计算机的连接。
[0018] 图7A和7B示意性示出了感测单元相对于显示器的示例性布置。
[0019] 图8A和8B示意性示出了根据一示例性实施例的背景表面涂层。
[0020] 图9示意性示出了根据一示例性实施例的感测装置。
[0021] 图10A和10B分别示出了成像传感器和人类裸眼观测到的带有标记的背景表面。
[0022] 图11A和11B显示了根据一示例性实施例的使用不同类型的墨来创建带有标记的 背景表面的模式。
[0023] 图12是根据一示例性实施例的显示感测过程的高级流程示意图。
[0024] 图13显示了根据一示例性实施例的用于调整照明源和成像传感器并估算背景的 过程。
[0025] 图14示意性示出了根据一示例性实施例的用于分析和记录背景模型的过程。
[0026] 图15示意性示出了根据一示例性实施例的用于基于多个成像传感器识别和追踪 前景对象的过程。
[0027] 图16示意性示出了根据一示例性实施例的用于对于每一个成像传感器寻找前景 对象和识别前景对象的二维结构的过程。
[0028] 图17显示了一示例性的背景模型图像。
[0029] 图18显示一示例性的在手追踪过程中拍摄到的输入图像。
[0030] 图19显示了一示例性的前景区域。
[0031] 图20显示了根据一示例性实施例的示例性的概率计算结果。
[0032] 图21显示了根据一示例性实施例的分割的结果。
[0033] 图22示意性示出了手的子部分的二维边界。
[0034] 图23示意性示出了手指的中心线。
[0035] 图24示意性示出了手指尖。
[0036] 图25是根据一示例性实施例的用于计算前景对象和前景对象的子部分的的三维 信息的过程的高级流程图。
[0037] 图26显示了根据一示例性实施例的各个手指之间的关联。
[0038] 图27显示了关联两个骨架线的一个实施例。
[0039] 图28显示了根据一示例性实施例获得的3D骨架。
[0040] 图29显示了基于由两个不同的成像传感器拍到的两个2D图像中的手掌的2D边 界所进行的对手掌的3D边界的计算。
[0041] 图30显示了手骨架计算的示例性输出。
[0042] 图31示意性示出了根据一示例性实施例计算的手掌3D中心。
[0043] 图32显示了一基于模型的架构。
[0044] 图33A和33B示意性示出根据示例性实施例的系统的示例性设置以及不同类型的 接触交互式表面。
[0045] 图34显示了根据一示例性实施例的实现2. ?接触交互的过程的高级流程图。
[0046] 图35显示了根据一示例性实施例的手动校准接触交互表面的过程的高级流程 图。
[0047] 图36显示了根据一示例性实施例的用于限定有效交互区域的过程。
[0048] 图37显示了根据一示例性实施例的限定接触交互表面的角点的结果。
[0049] 图38A和38B分别显示了当手指在空中移动及手指点击固体表面时手指的三维速 度。
[0050] 图39显示了根据一示例性实施例的通过检测标记来自动检测接触交互表面的过 程的流程图。
[0051] 图40显示了根据一示例性实施例的用于自动检测和校准显示屏的过程的流程 图。
[0052] 图41示意性示出了显示在显示屏上的二维代码。
[0053] 图42显示了根据一示例性实施例限定虚拟接触表面的过程的流程图。
[0054] 图43示意性示出了所期望的虚拟接触表面的角点。
[0055] 图44显示了根据一示例性实施例的用于将前景对象的3D信息转换成2. ?信息 的过程的流程图。
[0056] 图45是用于确定前景对象和接触交互表面之间的距离d的过程的流程图。
[0057] 图46是根据一示例性实施例得到z'的过程的流程图。
[0058] 图47是根据一示例性实施例得到z'的过程的流程图。
[0059] 图48是根据一示例性实施例得到z'的过程的流程图。
[0060] 图49显示了使用接触交互表面的手写过程。
[0061] 图50显不了显不如景对象悬停的过程。
[0062] 图51示意性示出了根据一示例性实施例的交互式系统的设置。
[0063] 图52示意性示出了用户与2D物理屏幕上的内容交互的情形。
[0064] 图53示意性示出了用户通过虚拟接触表面与2D物理屏幕上的内容交互的情形。 [0065] 图54示意性示出了用户与3D显示屏展现的3D内容进行交互的情形。
[0066] 图55显示了根据一示例性实施例的头戴式3D显示（HMD)系统。
[0067] 图56显示了用户与虚拟接触表面交互的情形。
[0068] 图57显示了用户与HMD系统呈现的虚拟3D对象进行交互的情形。
[0069] 图58显不了根据一不例性实施例的HMD系统。
[0070] 图59显不了根据一不例性实施例的HMD系统。

【具体实施方式】
[0071] 本公开的实施方式包括交互式输入系统和交互式输入方法。
[0072] 下面将参照附图来描述本公开的【具体实施方式】。在附图中通篇将尽可能使用相同 的参考标记来指代相同或相似的部分。
[0073] 图1示意性示出了依据本公开【具体实施方式】的交互式系统100。交互式系统100 包括感测装置102和计算机104。感测装置102被配置为感测对象运动，并通过安装在计算 机104上的感测装置驱动器106将感测到的信息传输给计算机104。对象可以是，例如，用 户的手或手指。感测信息可包括，例如，对象的三维（3D)位置、取向、或移动方向，或关于对 象接触或悬停在另一个对象(如一表面)上的信息。感测装置驱动器106读取感测装置102 的输出，即所检测的信息，处理所检测的信息，并输出追踪结果，例如3D追踪结果。感测装 置驱动器106还控制感测装置102的操作。
[0074] 计算机104可以包括其他组件，如CPU108和内存110。其他应用，例如应用112， 也可以安装在计算机104上。计算机104还连接到显示器114,这可以用来图形化地显示感 测装置102输出的追踪结果。
[0075] 图2显示了依据本公开【具体实施方式】的一个示例过程的流程图。在图2所示的示 例过程中，被感测装置102检测的对象是用户的手。
[0076] 在201，用户将感测装置102放到某个位置。例如，感测装置102可放置在桌面上 并且面朝上。或者，感测装置102可以安装在计算机104或显示器114的顶部。
[0077] 在202,感测装置102放置好后，交互式系统100开始环境校准过程。在一些实施 方式中的环境校准过程中，交互式系统100检测背景环境信息并校准接触交互表面。接触 交互表面的更多细节稍后将在本公开中描述。环境校准过程可以完全自动化检测某些已知 环境对象，例如像显示器114、键盘或具有光学标志的接触板。另外，环境校准过程可以是手 动的。例如，用户可以定义一个环境对象作为接触交互表面，或定义一个虚拟平面，即不是 位于任何实际环境对象上的假想平面，作为接触交互表面。如果环境校准过程是手动的，指 令可显示在例如显示器114上，或可通过例如扬声器（未显示）以音频方式传递给用户。
[0078] 在203,在正常使用期间，交互式系统100连续检测前景对象，如用户的手或手指， 并识别前景对象的3D结构以及相关的3D运动。交互式系统100还检测背景环境的变化并 在需要时重校准背景。
[0079] 在204,感测装置驱动器106将感测到的信息转化为"3D交互事件"并将事件发送 给安装在计算机104上的应用以及计算机104的操作系统（0S)。例如，3D交互事件可能是 3D位置、3D取向、尺寸（如长度或宽度）、以及前景对象(如用户的手或手指)的细节。应用 和0S根据接收到的事件可以改变状态，并且可据此更新在显示器114上显示的图形用户界 面 。
[0080] 在205,感测装置驱动器106比较感测到的前景对象的3D位置与接触交互表面，并 确定"对象到表面"的信息，例如，前景对象与表面之间的距离、表面上前景的二维（2D)投 影位置。然后，感测装置驱动器106将"对象到表面"信息转换成接触事件、多点接触事件、 或鼠标事件（206)。
[0081] 在207,感测装置驱动器106将事件发送到应用程序或0S，并将接触事件转换成手 写过程。由于交互式系统100可以在前景对象实际接触到接触交互表面之前感测出前景对 象与接触交互表面的距离和前景对象在接触交互表面上的投影位置，因此交互式系统100 能在发生真实接触前预测到接触，例如接触何时会发生以及在接触交互表面会发生接触的 位置。交互式系统100还可以确定并在显示器114上显示"悬停"反馈。
[0082] 在208,感测装置驱动器106将前景对象的位置与环境对象（如键盘的键的位置） 的位置进行比较。交互式系统100可在用户实际按下键之前生成关于用户将要按下哪些键 的悬停反馈。在一些实施方式中，交互式系统100可以在显示器114的⑶I上显示虚拟键 盘和这种悬停反馈。
[0083] 根据本公开的【具体实施方式】，感测装置102可以是与计算机104分离的独立的设 备，但可以通过有线连接（如USB线）或无线连接（如蓝牙或无线网络）连接到计算机104。 在一些实施方式中，感测装置102被集成到计算机104中，即可以是计算机104的一部分。
[0084] 根据本公开的【具体实施方式】，感测装置102可以包括多个成像传感器，如摄像头。 成像传感器可以是可见光成像传感器，其对可见光响应更灵敏，或红外（IR)成像传感器， 其对红外光线更灵敏。感测装置102还可以包括一个或多个照明源，根据成像传感器的类 型提供各种波长的照明。照明源可以是，例如发光二极管（LED)或配置有散射器的激光器。 在一些实施方式中，可以省略照明源并且成像传感器感测被对象反射的环境光或对象发出 的光。
[0085] 图3A和3B示意性示出了依据本公开【具体实施方式】的示例性感测装置300。感测 装置300包括外壳302、多个成像传感器304、一个或多个照明源306。成像传感器304和一 个或多个照明源306都形成于外壳302内或外壳302上。这样的设计在本公开中也称为一 体化设计。
[0086] 图3A中所示的感测装置300有一个照明源306,而图3B所示的感测设备300有 六个照明源306。在图3A所示的示例中，照明源306被布置在成像传感器304之间，而在 图3B所示的例子中，照明源306是均匀分布在外壳302上以提供更好的照明效果等，例如 更广的覆盖范围或更均匀的照明。例如，如图3B所示，两个照明源306位于两个成像传感 器304之间，两个照明源306位于外壳302的左半边，以及两个照明源306位于外壳302的 右半边。
[0087] 在本公开的附图中，照明源以LED为例来说明，正如上面所讨论的，也可以使用其 他光源，如配置了散射器的激光器。
[0088] 在一些实施方式中，需要红外光谱带宽内的照明。人裸眼可能看不到这种照明。在 这些实施方式中，照明源306可以包括，例如发射红外光的LED。或者，照明源306可以包括 发射包括可见光在内的更广频带的光的LED。在这样的情况下，每个照明源306可以例如在 相应的照明源306前配置红外透射滤光器（图中未显示）。
[0089] 在一些实施方式中，感测装置300可以还包括放置在成像传感器304前方的红外 透射滤光器（图中未显示），以过滤掉可见光。在一些实施方式中，感测装置300可以还包 括放置在成像传感器304前面的镜头（图中未显示），用来聚焦光。红外透射滤光器可放置 在镜头前，或在镜头和成像传感器304之间。
[0090] 根据本公开的【具体实施方式】，感测装置300可以还包括控制电路（图中未显示）。 控制电路可以控制成像传感器304的操作参数，例如快门持续时间或增益。控制电路也可 以控制两个或多个成像传感器304之间的同步。此外，控制电路可以控制照明源306的照明 亮度，照明源306的开/关或照明持续时间，或照明源306和成像传感器304之间的同步。 控制电路也可以执行其他功能，例如，电源管理、图像数据获取和处理、数据到其他设备(如 计算机104)的输出，或来自其他设备(如计算机104)的命令的接收。
[0091] 在一些实施方式中，感测装置300可以还包括配置为开/关或重置感测装置300 或强制进行环境重校准的一个或多个按钮。例如一个按钮可以被配置为允许用户强行启动 手动校准过程，以校准接触交互表面。
[0092] 在一些实施方式中，感测装置300可以还包括显示感测装置300状态的一个或多 个指示灯，例如显示出感测装置300是否打开或关闭，是否在执行环境校准，还是执行触交 互表面校准。
[0093] 图3A和3B所示的实施例中。感测装置300在外壳302中形成为一体。成像传感 器304之间的距离是固定的。但是这样的距离是可调的。图4A-4C显示一示例性的感测装 置400,它具有一体化设计，但具有可移动的成像传感器304。各个成像传感器304之间的 距离可以通过某种机制进行调整。例如在感测装置400中，成像传感器304置于配置为允 许成像传感器304在其上移动的引导件404上，从而各个成像传感器304之间的距离可以 调整。这样的设计也称为可调的一体化设计。
[0094] 图4A-4C显示了成像传感器304的不同状态，其中成像传感器304之间的距离是 不同的。为简单起见，其他组件如照明源，没有显示在图4A-4C中。
[0095] 在一些实施方式中，感测装置102可以具有多个分离单元，每个分离单元各有一 个成像传感器。以下，这样的设计也称为分体设计。图5显示了根据本公开【具体实施方式】 的示例性的具有分体设计的感测装置500。感测装置500包括两个感测单元502和504,每 个感测单元具有一个成像传感器304和一个或多个照明源306。在图5所示的实施例中， 感测单元502具有一个照明源304,而感测单元504具有两个照明源306。感测单元502和 504可以都具有控制电路，用来控制相应的感测单元的操作。
[0096] 感测单元502和504可各自包括一个或多个连接端口 510,以便通过有线或无线 连接到其他感测单元或直接连接到计算机104。图6A和6B示意性示出了感测单元502和 504连接到计算机104的两个不同方案。图6显示了感测单元502和504直接连接到计算 机104的并联连接。图6B显示了感测单元502连接至感测单元504且感测单元504进一 步连接到计算机104的串联连接。在图6A所示设置中，感测单元502和504都是由计算机 104控制和同步的。在图6B所示设置中，同步化可以从感测单元504传送到感测单元502， 这样两个感测单元502和504被同步。
[0097] 图7A和7B示意性示出了感测单元相对于显示器114的示例性布置。图7A和7B 各自显示了三个感测单元702。
[0098] 根据本公开的【具体实施方式】，为了感测、识别以及跟踪前景对象，如用户的手或手 指，背景的亮度可能需要降低。也就是说可能需要创建一个暗的背景。
[0099] 在一些实施方式中，暗的背景可以使用偏振光来创建。根据这些实施方式，背景表 面可以涂有具有"非去偏振化"性质的反光材料，如图8A所示。从这样的材料反射的光可 保持圆偏振入射光的性质。这样的材料可以是例如着银色的。在一些实施方式中，其他颜 色的染料或颗粒可以与反光材料混合以创建所需的颜色、纹理、或图案，如图8B所示。在一 些实施方式中，如图8A和图8B所示，可以在背景表面和非去偏振化材料涂层之间形成另一 种涂层。
[0100] 图9显示了根据本公开实施方式的感测装置900,具有第一偏振方向的第一偏振 器902放置在照明源306的前面，具有第二偏振方向的第二偏振器906放置在每个成像传 感器304的前面。第一和第二偏振方向可以彼此不一致。第一和第二偏振器902和906可 以是圆偏振器。
[0101] 照明源306发出的光经过第一偏振器902的偏振以具有第一偏振方向。当此偏振 光被背景表面上涂覆有非去偏振化材料所反射时，偏振方向被保留。由于第二偏振器906 的偏振方向与第一圆偏振器902不一致，反射光具有不改变的偏振方向，反射光或至少大 部分反射光不能通过圆偏振器906到达成像传感器304。从而，对成像传感器304而言，背 景表面表现为深色或黑色。
[0102] 另一方面，当偏振光被前景对象，例如用户的手或手指，所反射时，偏振光将会去 偏振化。这种去偏振化反射光可以通过第二偏振器906并由成像传感器304接收。也就是 说，前景对象对成像传感器304表现为明亮的，因此成像传感器304可以"看见"前景对象。
[0103] 根据本公开【具体实施方式】的另一个用来创建一个暗背景的方法是使用"隐形"标 记。这种"隐形"标记可以是人裸眼不可见的，但可以被本公开【具体实施方式】的成像传感器 感测到。图10A和10B显示了带有标记1004的背景表面1002。成像传感器拍摄到的背景 1002的图像将显示标记1004,如图10A所示。另一方面，用户将只能看到一个正常的、没有 标记的均勻表面，如图10B所示。
[0104] 下面参考图11A和图11B描述根据本公开【具体实施方式】的用来创建具有"隐形"标 记的背景表面的方法。所述方法包括使用两种类型的墨，即第一种墨和第二种墨，这两种墨 对人裸眼来说都表现为某种颜色，例如黑色的。然而，第一种墨吸收或至少吸收大部分红外 光线，而第二种墨不吸收而可以反射红外光线。因此，第一种墨对红外成像传感器而言表现 为例如黑色，而第二种墨对红外成像传感器而言表现为例如白色。
[0105] 根据本公开的【具体实施方式】，印在背景表面(例如织物）的第一图案使用第一种 墨。第一图案可以是，例如图11A所示的图案，黑暗部分代表第一种墨覆盖的部分。在一些 实施方式中，第一图案可以使用激光打印机打印，这是由于激光打印机的碳粉是以吸收红 外光线的碳粒子为基质。然后第二图案是使用第二种墨印在相同的背景表面。第二图案可 以是例如图11B所示的图案，黑暗的部分代表被第二种墨覆盖的部分。在一些实施方式中， 第二图案可以使用喷墨打印机印制，由于喷墨打印机使用的黑色墨是基于非红外吸收的黑 色染料。在一些实施方式中，第一和第二图案可以都使用铜版印刷印制。
[0106] 在一些实施方式中，第一图案和第二图案基本是互相颠倒的。也就是说，在第一图 案的一个点是暗的，第二图案中对应的点是明亮的。因此，对于人裸眼，背景表面展现出了 均匀的没有图案的颜色，如图10B所示的背景表面1002。另一方面，如图10A所示，成像传 感器可以感测背景表面上的图案。
[0107] 在一些实施方式中，上述的印刷还可以是一个使用包含两种类型墨（即碳基墨和 非碳基墨）的喷墨打印机的单阶段印刷过程。
[0108] 下面描述根据本公开【具体实施方式】的交互式系统100的使用方法及相关算法。在 一些实施方式中，成像传感器304可在使用前被校准。如果感测装置102采用一体化设计， 如图3A或3B所示，则成像传感器304的校准可以在感测装置102的生产过程中执行。另 一方面，如果感测装置102使用了可调一体化设计（如图4A、4B或4C所示）或分体设计(如 图5所示)，则用户可以定制每个成像传感器304的位置。在这样的情况下，每次感测装置 102的位置发生变化时，可以执行成像传感器304的校准。
[0109] 图12是概要示出根据本公开【具体实施方式】的感测过程的高级工艺流程图。在 1202,校准环境，调整感测装置参数，并分析和记录背景。在1204,执行前景对象追踪。前景 对象(如用户的手或手指)被持续地感测，并且感测到的信息被输出到计算机104,例如输出 到计算机104上已安装的应用。在1206,交互式系统100连续监测在前景对象跟踪期间是 否需要重校正环境。或者，用户可以手动强制重新启动校准过程。
[0110] 根据本公开的【具体实施方式】，校准过程可以产生多传感器校准数据。多传感器校 准数据可用于消除如从成像传感器中输出的图像的畸变，所述畸变可能由如有缺陷的镜头 所导致。这可以使计算机视觉计算和图像处理更简单、更精确。多感测装置校准数据也可 以用于通过使用成像传感器输出的图像中的点或对象的像素位置来计算该点或对象的3D 位置。
[0111] 在一些实施方式中，交互式系统100在使用之前可能会执行一个静态校准。静态 校准使用校验板，并在用户移动校验板到不同位置/取向时，允许成像传感器304拍摄同步 图像。交互式系统1〇〇分析拍摄的图像，并生成摄像头校准数据包括：例如，成像传感器304 的固有信息，成像传感器304的畸变，多个成像传感器304的校正。
[0112] 在一些实施方式中，在交互式系统100使用期间中可以使用自动校准。自动校准 不需要校验板，也不需要在使用交互式系统100之前进行专门的校准过程。自动校准适用 于在例如分体设计或可调一体设计中用户频繁改变成像传感器304的相对位置、或者用户 添加定制透镜或定制的成像传感器304到交互式系统100中的情况。根据自动校准，当用 户开始使用交互式系统1〇〇时，成像传感器304各自拍摄同步快照。交互式系统100在不 同的成像传感器拍摄的快照之间发现匹配特性(如指尖)，并记录出现在不同快照中的相同 特征(例如相同的指尖)的成对像素坐标。重复此过程，以收集一组成对像素坐标，并且将这 组成对像素坐标用于依据本公开【具体实施方式】的成像传感器校准算法。
[0113] 图13显示了根据本公开【具体实施方式】的用于调整照明源306和成像传感器304 并且估算背景的过程。
[0114] 在1302,成像传感器304拍摄背景图像的视频或图像。
[0115] 在1304,观测到环境光的亮度。照明源306的光照强度是可根据观察到的环境亮 度调整的。在一些实施方式中，光照强度调整到足够低以节能但又足够高以从背景中区分 出前景对象，如手或手指。
[0116] 在1306,调整成像传感器的增益水平和快门持续时间，以便使最终的图像足够亮。 更高的增益水平使得图像更亮但噪点多。长快门时间使得图像更亮，但前景对象移动时，图 像可能模糊。在一些实施方式中，循环执行1302和1304,以找到照明源306的最佳照明强 度和成像传感器304的参数。
[0117] 在1308,分析并估算背景模型。在1310,记录背景模型。当追踪前景对象时，将新 图像与所述背景模型进行比较，以将前景对象从背景中区分出来。
[0118] 图14示意性示出了依据本公开【具体实施方式】的分析和记录背景模型的过程。可 对每个成像传感器304执行所述过程。如图14所示，在1402,拍摄并累积多幅图像。累积 图像的数量可以是预设的固定数量，例如100。或者，累积图像的数量可以是变量，取决于背 景模型分析何时收敛。
[0119] 在1404,基于累积图像，分析背景模型。在一些实施方式中，背景模型可以包括，例 如每个像素的平均亮度和最大亮度，每个像素的亮度差异（即噪度)，或每个像素的局部纹 理性质和局部颜色性质。
[0120] 在1406,存储背景模型，并且过程结束。
[0121] 图15示意性示出了基于多个（2个或更多）成像传感器304识别和追踪前景对象 (如手或手指）的过程。对于每个成像传感器304,拍摄图像（1502)。拍摄的图像与存储的 背景模型相比较，以获得前景图像（1504)。在1506,分析前景图像并获得对象的2D结构。
[0122] 然后，在1508,组合并处理来自每个成像传感器304的分析结果，以获得前景对象 的3D结构。
[0123] 图16示意性示出了根据本公开【具体实施方式】的用于每个成像传感器304的找到 前景对象并识别前景对象的2D结构的过程。在图16中所示的实施例和相关图像中，讨论 的是前景对象是用户的手的情形。
[0124] 在1602,载入预先获得的背景模型。背景模型可以是，例如基于亮度的背景模型， 其中存储了例如1〇〇幅初始帧中的每个像素的最大亮度。图17显示了示例性的背景模型 图像。
[0125] 再次参考图16,执行循环来拍摄新的图像，并分析前景对象的2D结构。在一些实 施方式中，在1604,成像传感器304拍摄到新的2D输入图像。图18显示了在手追踪过程中 拍摄的示例性的输入图像。
[0126] 再次参考图16,获得输入图像之后，执行以下：1)找到前景对象（1606)，2)分析前 景对象的子结构（1608和1610)，3)分析前景对象（1612和1614)的详细性质。如下描述 该过程的细节。
[0127] 在1606,比较来自成像传感器304的新的输入图像与背景模型，以提取前景区域。 在背景模型中，每个像素位置（x，y)可以具有特征向量B(x，y)。例如，如果背景模型是基于 强度/亮度的，则B是标量，且B(x，y)的值是位置（x，y)处的像素的亮度。如果背景模型 是基于噪声度的，则B是标量，且B(x，y)的值是位置（x，y)处的方差。在一些实施方式中， 对于新的输入图像，计算每个像素的特征向量-ln(x, y)。类似于B(x, y)，ln(x, y)的值 可能是亮度或方差，这取决于使用的背景模型。计算每个像素位置的In(x，y)和B(x，y)的 差值。如果在某个像素位置的差值大于某个阈值，则确定像素属于前景区域。否则，确定像 素属于背景。
[0128] 图19显示了示例性的前景区域，其中白色像素代表前景对象。
[0129] 再次参考图16,在1608,在前景区域内，在每个像素位置（x，y)处计算：像素是指 尖一部分的概率P_tip (X，y)，像素是手指主体（finger trunk)-部分的概率P_finger (X，y)， 以及像素是手掌一部分的概率P_palm(x，y)。
[0130] 在一些实施方式中，概率P_tip(x, y), P_finger(x, y)和P_palm(x, y)可以通过将 在像素位置（x，y)周围的相邻区域内的亮度分布与一组预定义模板(如指尖模板、手指主 体模板或手掌模板）进行比较来计算。像素是指尖、手指主体或手掌一部分的概率，即P_ tip(x, y)、P_finger (X，y)或P_palm(x, y),可以由相邻区域多大程度上适合各自的模板（即 手指指尖模板、手指主体模板或手掌模板）来定义。
[0131] 在一些实施方式中，概率P_tip(x, y)、P_finger(x, y)和P_palm(x, y)可以通过在 像素位置（x，y)的相邻区域执行函数/算子F来计算。函数/算子将相邻区域的亮度与手 指或指尖的光反射模型进行拟合，如果分布接近手指主体的反射（柱形反射）或指尖的反 射(半圆顶形反射)，将会返回高值。
[0132] 图20显示了以上讨论的概率计算的示例性结果。在图20,例如，有黑白马赛克的 区域为指尖的概率很高，有坚直填充线的区域为手指主体的概率很高，白色区域很可能是 手掌区域。
[0133] 再次参考图 16,在 1610,概率 P_tip(x, y)、P_finger(x, y)和 P_palm(x, y)的计算 用于划分前景对象，例如用户的手分为手指和手掌。图21显示了划分的结果。在图21中， 阴影的区域是手指，而白色区域是手掌。
[0134] 概率P_tip(x, y)、P_finger(x, y)和？_口&1111(1，y)以及划分结果可以用来计算手的 结构，包括手指骨架信息。如在本公开中所用，手指骨架是对手指结构的抽象。在一些实施 方式中，手指骨架信息可以包括，例如手指的中心线（也称为骨架线）、指尖的位置和手指 的边界。
[0135] 在一些实施方式，用户的手被分成手指和手掌后，可以获得手的子部分(例如手指 或手掌）的2D边界。图22示意性示出了手的子部分的2D边界。正如上面所讨论的，手指 的边界可是手指骨架信息的一部分。
[0136] 再次参考图16,在1612,手指的中心线通过寻找和连接横跨整个手指的扫描线上 的中心位置来计算。正如在此使用的，扫描线指在执行寻找中心位置过程中顺沿的那条线。 扫描线可以是例如水平线。在一些实施方式中，对于手指中的扫描线L(y)，使用概率？_ finger (x，y)作为权重因子来计算水平线L(y)上的每个像素（x，y)的位置X的加权平均值。 在扫描线L(y)上，所述位置X的加权平均值是中心位置， X_center=C(y)，
[0137] 当手指上所有的扫描线被处理后，得到扫描线L(y)上一系列中心位置C(y)。连 接这些中心位置提供了手指中心线，即手指骨架的中心线。图23示意性示出了手指的中心 线。
[0138] 再次参考图16,同样在1612,计算指尖的位置（Tx，Ty)。指尖的位置可以限定为与 指尖的形状和阴影相匹配的手指顶部区域的位置。在一些实施方式中，指尖的位置可以通 过使用概率P_tip(x，y)作为权重因子来平均指尖中所有像素的位置来计算得到。例如
[0139]

【权利要求】
1. 一种三维感测方法包括： 获得对象的第一二维骨架； 获得所述对象的不同于所述第一二维骨架的第二二维骨架； 在所述第一和第二二维骨架的基础上计算出所述对象的三维骨架。
2. 根据权利要求1所述的方法，还包括： 获得从第一视角拍摄的所述对象的第一二维图像；以及 获得从不同于所述第一视角的第二视角拍摄的所述对象的第二二维图像， 其中，获得所述第一二维骨架包括从所述第一二维图像中提取出所述第一二维骨架， 其中，获得所述第二二维骨架包括从所述第二二维图像中提取出所述第二二维骨架。
3. 根据权利要求2所述的方法，其中： 获得所述第一二维骨架包括获得代表所述对象的一部分的第一二维中心线， 获得所述第二二维骨架包括获得代表所述对象的所述部分的第二二维中心线，以及 计算所述对象的三维骨架包括计算代表所述对象的所述部分的三维中心线。
4. 根据权利要求3所述的方法，其中获得所述第一二维中心线包括： 计算所述第一二维图像中的像素的参数，所述参数表示所述像素对于所述对象的所述 部分的中心线的接近程度； 根据所述计算的参数定位所述对象的所述部分； 对于所述部分中相同扫描线上的像素，通过使用在所述扫描线上的所述像素的所述计 算参数作为加权系数来将所述扫描线上的像素位置做平均，从而计算所述扫描线的中心位 置；以及 通过连接不同的扫描线的中心位置获得所述第一二维中心线。
5. 根据权利要求4所述的方法，其中计算像素的参数包括： 将所述像素的邻域的亮度分布和所述部分的预定义模板进行比较；以及 根据所述邻域的亮度分布与所述模板的匹配程度来计算所述参数。
6. 根据权利要求4所述的方法，其中计算像素的参数包括： 将所述像素的邻域的亮度分布与所述部分的光反射模型进行匹配；以及 返回匹配分数作为概率。
7. 根据权利要求3所述的方法，其中所述对象是手，所述部分是手的手指主体。
8. 根据权利要求7所述的方法，还包括： 计算所述手指主体的手指柱体长度。
9. 根据权利要求8所述的方法，其中计算所述手指柱体长度包括： 从所述三维中心线的顶点，沿着所述三维中心线向下移动至移动终点；以及 计算所述顶点和所述移动终点之间的距离作为所述手指柱体长度。
10. 根据权利要求9所述的方法，其中移动至所述移动终点包括移动至所述三维中心 线的终点。
11. 根据权利要求9所述的方法，其中移动至所述移动终点包括移动至所述三维中心 线和一直线之间的差距大于一阈值的点处。
12. 根据权利要求9所述的方法，还包括： 通过计算连接所述顶点和所述移动终点的线的方向来计算所述手指主体的手指方向。
13. 根据权利要求2所述的方法，其中： 获得所述第一二维骨架包括获得表示所述对象的一部分的第一中心位置， 获得所述第二二维骨架包括获得表示所述对象的所述部分的第二中心位置，以及 计算所述对象的三维骨架包括计算表示所述对象的所述部分的三维中心位置。
14. 根据权利要求13所述的方法，其中所述对象是手，所述部分是手的指尖。
15. 根据权利要求13所述的方法，其中获得所述第一二维中心位置包括： 计算所述第一二维图像中的像素的参数，所述参数代表所述像素对于所述对象的所述 部分的接近程度； 根据计算出的参数定位所述对象的所述部分；以及 通过使用所述部分中所述像素的所述计算参数作为加权系数来对所述部分中的所述 像素的二维位置做平均，从而计算所述中心位置。
16. 根据权利要求1所述的方法，还包括： 将所述第一二维骨架的第一二维片段与所述第二二维骨架的第二二维片段相关联，所 述第一和第二二维片段表示所述对象的一部分；以及 比较所述第一二维片段的二维位置和所述第二二维片段的二维位置以计算所述部分 的三维位置。
17. 根据权利要求1所述的方法，还包括： 将所述对象的预先计算的三维骨架投射至第一视角以创建第一投射二维骨架，所述第 一二维骨架是从所述第一视角中从所述对象的第一二维图像中提取的； 将所述预先计算的三维骨架投射至第二视角来创建第二投射二维骨架，所述第二二维 骨架是从所述第二视角中从所述对象的第二二维图像中提取的； 其中，计算所述三维骨架包括基于所述第一二维骨架、所述第二二维骨架、所述第一投 射二维骨架和所述第二投射二维骨架来计算所述三维骨架。
18. 根据权利要求1所述的方法，其中： 获得所述第一二维骨架包括从摄像头拍摄的二维图像中提取所述第一二维骨架， 所述第一二维骨架包括表示所述对象的一部分的二维片段；以及计算所述三维骨架包 括： 基于所述二维片段的宽度或亮度中至少一个来计算所述二维片段到所述摄像头的距 离；以及 基于所述距离来计算所述部分的三维位置。
19. 一种非易失性性计算机可读存储介质，存储用于三维感测的程序，该程序当由计算 机执行时，指示计算机 ： 获得对象的第一二维骨架； 获得与所述第一二维骨架不同的所述对象的第二二维骨架；以及 在所述第一和第二二维骨架的基础上计算所述对象的三维骨架。
20. -种用于三维感测的设备，包括： 第一摄像机，从第一视角拍摄对象的第一二维图像； 第二摄像机，从不同于所述第一视角的第二视角拍摄所述对象的第二二维图像；以及 处理器，配置为： 从所述第一二维图像中提取所述对象的第一二维骨架； 从所述第二二维图像中提取所述对象的第二二维骨架；以及 在所述第一和第二二维骨架的基础上计算所述对象的三维骨架。
【文档编号】G06F3/01GK104102343SQ201410144223
【公开日】2014年10月15日 申请日期:2014年4月11日 优先权日:2013年4月12日
【发明者】何安莉, 费越 申请人:何安莉, 费越