通过测量人的身体部位的距离来识别人的方法和设备与流程

相关申请的交叉引用

本申请要求于2015年3月31日提交的美国专利申请号为14/675,142的美国专利申请的优先权，其内容以引用的方式并入本文。

本发明领域大体上涉及一种图像处理，并且更具体地说涉及一种用于通过测量人的身体部位的距离来识别人的方法和设备。

背景技术：

许多现有的计算系统包括传统相机作为集成式外围装置。目前的趋势是为了通过将深度捕获集成到其成像组件中来增强计算系统成像能力。例如，可以使用深度捕获来执行各种智能对象识别功能诸如人脸识别(例如，用于安全系统解锁)或手势识别(例如，用于无接触用户界面功能)。

被称为“飞行时间(time-of-flight)”成像的一种深度信息捕获方法将(例如，红外(ir))光从系统发射到对象上，并且针对图像传感器的多个像素中的每一个像素，测量光的发射与传感器上的其反射图像的接收之间的时间。由飞行时间像素产生的图像与如由在不同的(x,y)像素位置的每一个处的独特深度测量(z)特征化的对象的三维轮廓相对应。其它类型的深度捕获方法包括立体三角测量、片光三角测量和结构化光。

根据实施方式，一些深度捕获相机可能还能够在相机的视场内拍摄传统的2d图像。例如，飞行时间相机还可以包括在相同的图像传感器上集成的可见光彩色像素(例如，拜耳(bayer)图案化的红色(r)、蓝色(b)和绿色(g)像素)，该图像传感器带有检测用于飞行时间测量的光的像素。

附图说明

以下说明书和附图被用于说明本发明的实施例。在附图中：

图1示出了由深度相机捕获的人的图像；

图2示出了利用深度相机识别人的方法；

图3示出了人的身体的各个部位；

图4示出了人的身体部位的距离的示例性轮廓；

图5示出了构建身体部位距离的轮廓向量的方法；

图6a至图6d演示了确定两个身体部位之间的距离的示例；

图7示出了可以实践图2中的方法的环境；

图8示出了计算系统的实施例。

具体实施方式

图1和图2属于使用深度相机识别人(显式地或隐式地)的方法。如图1所示，人处于深度摄像机101的视场内。图2示出了使用深度摄像机基于人的身体结构的某些距离的测量来识别人的过程。

如图2所示，该过程包括捕获人的像素化深度图像201。然后分析202该图像，以识别人的身体的关键部位(例如肩部、肘部、手腕、膝盖、脚踝等)。然后公式化203关键身体部位距离的向量，该向量基本上根据人的各种关键身体部位之间的许多具体距离来描述该人。然后将关键身体部位距离的向量与包括许多这种向量的数据库进行比较204，所述许多这种向量中的每个向量分别地链接到不同的人(显式地或隐式地)。所公式化的向量和在数据库中发现的向量之间的匹配使得该人被识别出来。

图3示出了带有利用不同字母而被识别的各种潜在关键身体部位的人的示例性说明。虽然在图3中未示出，但是能够在人的脸部的各种特征(例如，左耳、右耳、左眼、右眼、鼻子、下巴等)上添加附加字母。此处，分析人的图像得到图像中被识别为关键身体部位的特定点(例如，图像中的第一特定点被识别为人的右手腕p，图像中的第二特定点被识别为人的右肘部n等)。如将会在以下更详细地进一步描述的是，计算这些点之间的距离，以基于这些距离有效地构建能够被用作该人的轮廓或特性说明的向量。

图4示出了能够从图3中的关键身体部位a至p计算的距离中的一些距离。在图4中图示共存在十六个不同的距离。与图4中示出的十六个不同的距离相比，其它向量实施例可以具有多得多或少得少的条目和/或不同的条目。

图5示出了能够被用于实施图2中的过程流的更详细的过程流。如图5所示，通过形成从图像相机的倾斜角、方位角和深度值的阵列，来制作在球面坐标中人的三维身体结构501。然后分析人的身体结构的三维图像以确定人的关键身体部位的位置502。然后计算503这些点之间的距离(例如，使用识别关键身体部位的球面坐标点)。在可替代的实施例中，其中关键身体部位驻留在那里的空间中的点的定义可以被表示在(例如，可以从在球面坐标中表达的原始阵列直接确定或者转换来的)诸如笛卡尔坐标系或者柱面坐标系的其它坐标系中。为了简单起见，本说明书的其余部分将会主要涉及球面坐标的使用(因为任何两个坐标系之间的转换对于普通技术人员而言都是简单的操作)。

不管使用哪种坐标系，本方法的显着特征是在三维空间中而不是在二维空间中识别身体部位的位置。

图6a至6d更详细地演示了实施例。图6a示出了从侧角度拍摄人的图像的深度相机601的前视图。图6b以俯视图示出了图6a的情况。图6c示出了深度相机的图像传感器上的不同像素位置能够被转换为球面坐标系中的特定倾斜角和方位角。图6d示出了在球面坐标中所指定的三维空间中的两点之间的距离的计算。

如本领域中所理解的，球面坐标识别三维空间(r,θ,λ)中的点，其中，从原点到该点的径向距离为r、半径的倾斜角为θ、以及半径的方位角为λ。图6a示出了由以相对于人的一个角度而不是直接地面对人的深度相机拍摄的人的图像的前透视图。

为了方便起见，还描绘了位于球面坐标中的三维空间中指定的人的右手腕p和右肘部n的位置的分量。如图6a所示，右手腕p距相机的径向距离为r1，右肘部n距相机的径向距离为r2。另外地，右手腕p比右肘部n举得高。同样，识别到点p的球面坐标的倾斜角θ1大于识别到点n的球面坐标的倾斜角θ2(其中，倾斜角从x-y平面被测得)。

图6b示出了图6a的情况的俯视图。此处，由于与人的右肘部n相比人的右手腕p距相机的左侧更远，所以与针对点n的方位角λ2相比针对点p的方位角λ1在负方向上更大。另外，因为相机对着人的右侧而且与人的右肘部n相比人的手腕p距人的右侧更远，所以与从相机到人的右肘部n的径向距离r2相比从相机到人的右手腕p的径向距离r1更短。因此，图6a和图6b示出利用球面坐标(r1,θ1,λ1)指定人的右手腕p的位置，同时利用球面坐标(r2,θ2,λ2)指定人的右肘部n的位置。

图6c提供了深度相机的图像传感器的说明，并且指示每个像素可以具有相关联的倾斜角和方位角。为了易于理解，倾斜角θ被认为是从x-y平面测得的。同样，渐增地处于原点上方的像素具有渐增更大的正倾斜角θ，并且渐增地处于原点下方的像素具有渐增更大的负倾斜角θ。同样，渐增地处于原点右侧的像素具有渐增更大的正方位角λ，并且渐增地处于原点左侧的像素具有渐增更大的负方位角λ。

因此，例如，像素阵列的最左上角中的像素将会具有最大的正倾斜角θ和最大的负方位角λ。这些角度的大小将会从左上角移动到原点而减小(但是它们相应的极性仍然存在)。同样，像素阵列的最右下角中的像素将会具有最大的负倾斜角θ和最大的正方位角λ。这些度的大小将会从右下角移动到原点而减小(但是它们相应的极性仍然存在)。

因此，图像传感器中的每个且每一个像素具有倾斜角和方位角的相关联的独特组合，该组合表达针对像素感测到其图像的相机的视场的部分的角度球面坐标值。每个像素的独特倾斜角和方位角是，例如，相机的成像光学器件的函数。例如，作为相机“缩小”(其对应地向相机给出更大的视场)的成像光学器件，针对像素的倾斜角和方位角的大小将会增加(需要更宽的角度以捕获更大的视场)。相反，作为相机“放大”的成像光学器件(其对应地向相机给出更小的视场)，针对像素的倾斜角和方位角的大小将会减小(更窄的角度足以捕获更小的视场)。(x，y)像素坐标与方位角/倾斜角之间的任何特定映射都是底层相机装置的预定光学属性。普通技术人员将会能够容易地计算出针对其特定装置的合适的映射。

继续当前描述的示例，注意的是，图6c还包括点p和n，因为它们大约会出现在图6a和图6b的情况中的相机的图像传感器处。此处，根据刚刚在上面提供的讨论可见，与其中出现点n的像素的倾斜角和方位角θ2、λ2相比，其中出现点p的像素将会具有更大的正倾斜角θ1和更大的负方位角λ1。这个再次证实了如图6a和图6b中绘制的这些角度的实际描绘。

假设像素具有自己的独特倾斜角θ和方位角λ，只需要针对每个像素的径向距离值，即可基本上针对图像传感器的每个像素形成在三维空间中的球面坐标。此处，在深度相机的情况下，径向距离值与由相机在每个像素处进行的深度测量相对应。即，假设每个像素测量到在其自身与相机的视场中的对象之间的距离，每个像素检测到的特定距离对应于到对象的该像素所反应的部分的在相机前方的三维空间中的球面坐标的径向距离r。

因此，针对每个像素的独特倾斜角和方位角的组合与每个像素的距离测量的结合将会构建出等于图像传感器阵列的维度的阵列，其在球面坐标中描述了相机的前方中的对象的表面。图6d示出了当采用这种方法时点p和n的实际球面坐标。这两点p和n之间的距离易于从如图6d观察到的已经成功建立的几何结构计算出来。此处，φ与在三维空间中的射线r1和r2之间的角度差相对应(其能够具有倾斜分量和方位分量二者)。在球面坐标中指定的任何两点(诸如，p和n)之间的角度差φ还易于从已知的几何结构计算出来。重要的是，再次说明，即使相机不是直接面对相机前方的主体，也能够明确确定这两个点之间的距离。

因此，参照回图5，一旦已经将相机的前方的对象的表面在球面坐标501中表达，即可针对人体的一般形状和形式对球面坐标值进行分析，以精确指示特定寻找的人体部位所在的地方并且为这些人体部位分配特定像素。一旦已经为人体部位分配了像素坐标，就容易地通过图6d的几何结构以及像素的倾斜值、方位值和深度值计算出人体部位之间的距离。人的身体根据被用于检测人的身体部位的技术的复杂度可以需要处于特定位置(例如，伸展和弯曲手臂和腿站直)或者可以处于多个位置中(例如，坐、走、跑等)。

图7涉及使用本文中描述的人体部位距离向量轮廓方法以识别人的基本实施例。在图7的示例中，深度相机701捕获人的深度图像，如上所述。间接地或直接地被耦合至相机的第一计算系统702(例如，其中集成深度相机的智能手机的cpu和/或图像信号处理器)对该图像进行分析，以限定人体部位并且然后计算人体部位之间的距离以形成针对该人的轮廓向量。

然后通过网络703将该向量发送至第二计算系统704，该第二计算系统704具有，例如，包括多个人的轮廓向量的数据库的关联数据存储件。第二计算系统704将所接收到的轮廓与数据库的将其不同的轮廓中的每个链接到特定的、不同的人的内容进行比较。当输入的轮廓与数据库中的轮廓之间发现匹配时，该人被识别出来。

随着该人被识别出来，然后能够执行大量不同的后续过程(例如，自动为人开门、自动向人提供网络访问、将专门针对该人的广告引导至该人(经由该人的智能电话或者其它介质，诸如电视机(交互式等))、自动移动机电装置(例如，反射镜)以调节至该人的特定尺寸、向一件电子设备自动设置输入值(例如，将恒温器设置到特定温度、设置特定电视频道)等。对人的识别可以是显式的(表达该人的实际姓名)或者隐式的(将反射镜移动到针对该人的尺寸专门制定的角度，但一直不表达该人的姓名))。

对人的识别可以涉及概率方法，在概率方法中，从数据库中“可能”是在相机的前方的人的许多候选向量中选取一个向量作为针对相机的前方的人的最可能的向量。注意的是，人的整个身体可能无法从相机完全观察到(身体的一些部位可能被隐藏了)。尽管如此，如果能够确定足够的向量元素，则与数据库中的正确向量的匹配仍然可以是有可能的。可以使用多种方法以识别数据库中最有可能匹配的向量，诸如隐马尔科夫链(hidden-markov-chain)方法或者支持向量机(supportvectormachine)方法。

需要指出的是，在可替代方法中，可以通过网络703将图像数据(或者图像数据的压缩版本)引导至第二计算机704并且第二计算机704(而非第一计算机702)执行身体部位识别过程以及与数据库的向量比较。还可替代地，第一计算机系统702还可以被适配有足够的cpu资源和/或对数据库的访问(例如，内部地)并且因此可能能够执行人体部位识别和轮廓向量匹配中的一种或者两种。

网络703可以是广域网(例如，互联网)或者可以是局域网甚或局部点对点链路(例如，蓝牙)。在局域网或者链路的情况下，例如，可以将相机集成到车辆的仪表盘中，该车辆的仪表盘经由链路被耦合至计算机，该计算机识别驾驶者的身体部位并且自动移动反射镜和/或座椅以适配该人的特定尺寸。

需要指出的是，还可以将人脸识别与其它身体部位距离测量技术结合，以确认个人的身份。可以利用身体部位距离计算(例如，眼睛之间的距离、特定眼睛与下巴之间的距离、特定眼睛与鼻子之间的距离等)来实施人脸识别方面。其它应用可以选择不包括任何方面的人脸识别作为人识别过程的一部分。

图8示出了对诸如个人计算系统(例如，台式或者膝上型)的示例性计算系统800或者诸如例如可以想象成被使用为如图7中讨论的第一计算系统702的平板装置或者智能电话的移动或手持计算系统的描绘。图8的计算系统模型还很大程度上描述了可以被用于实施图7的第二计算系统704的更大计算系统(例如，服务器)的组件。

如在图8中观察到的，基本计算系统可以包括中央处理单元801(其可以包括，例如，多个通用处理核815_1至815_n和在应用处理器上设置的主存储器控制器817)、系统存储器802、显示器803(例如，触屏、平板)、局部有线点对点链路(例如，usb)接口804、多种网络i/o功能805(诸如，以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，wifi)接口806、无线点对点链路(例如，蓝牙)接口807和全球定位系统接口808、多种传感器809_1至809_n、一个或多个相机801、电池811、电源管理控制单元812、扬声器和麦克风813、音频编码器/解码器814。

应用处理器或多核处理器850可以包括在其cpu801内的一个或多个通用处理核815、一个或多个图形处理单元816、存储器管理功能817(例如，存储器控制器)、i/o控制功能818、和一个或多个图像信号处理器流水线819。通用处理核815通常执行计算系统的操作系统和应用软件。图形处理单元816通常执行图形密集功能以例如，生成在显示器803上呈现的图形信息。存储器控制功能817与系统存储器802接口连接(interface)以将数据写入到系统存储器802和从系统存储器802读取数据。图像信号处理流水线819接收来自相机810的图像信息并且处理原始的图像信息供下游使用。电源管理控制单元812通常控制系统800的功率消耗。

触屏显示器803、通信接口804至807、gps接口808、传感器809、相机810、和扬声器/麦克风编解码器813、814中的每个全部能够被视为与整个计算系统相关的各种形式的i/o(输入和/或输出)，其包括：在合适之处的集成式外围装置(例如，该一个或多个相机810)。根据实施方式，可以将这些i/o组件中的各个集成在应用处理器/多核处理器850上，或者可以使它们位于应用处理器/多核处理器850的模型外或者其封装体的外部。

在实施例中，一个或多个相机810包括能够测量在相机与其视场中的对象之间的深度的深度相机。在应用处理器或其它处理器的通用cpu核(或者具有用于执行程序代码的指令执行流水线的其它功能块)上执行的应用软件、操作系统软件、装置驱动器软件和/或固件可以执行上述的任何功能。

本发明的实施例可以包括如上阐述的多种过程。这些过程可以以机器可执行指令被实施。这些指令能够被用于使通用或专用处理器执行某些过程。可替代地，这些过程可以由包含用于执行这些过程的硬连线逻辑件的特定硬件组件执行，或者由程序化的计算机组件和自定义硬件组件的任何组合执行。

还可以将本发明的元件提供为用于存储机器可执行指令的机器可读介质。该机器可读介质可以包括但不限于适合用于存储电子指令的软盘、光盘、cd-rom、和磁光盘、flash存储器、rom、ram、eprom、eeprom、磁卡或光卡、传播介质、或者其它类型的介质/机器可读介质。例如，可以下载本发明，作为可以通过以载波或其它传播介质被实施的数据信号的方式经由通信链路(例如，调制解调器或网络连接)从远程计算机(例如，服务器)传送至发出请求的计算机(例如，客户端)的计算机程序。

在前述说明中，已经参照本发明的特定示例性实施例对本发明进行了描述。然而，显而易见的是，在不脱离如随附权利要求书阐述的本发明的更广的精神和范围的情况下，可以对本发明进行多种修改和改变。因此，说明书和附图相应地被视为是说明性的，而非限制性的。