光度边缘描述的制作方法
【专利说明】光度边缘描述
[0001]MM.
[0002] 计算机视觉的一个领域是特征匹配，其中一个相机的视野中的某一特征随时间被 跟踪，或者多个相机的视野中的某一特征在同时被跟踪。在场景的不同视图中寻找表示要 被跟踪的某个特征（例如书架的角落）的像素的集合对于创建场景的3D重构来说是关键 的。对于角落来说，基于特征描述符的匹配已证明极大地优于早先的方法，存在丰富的方法 (如SIFT、SURF)。较新的角落描述符能够以超实时工作（如BRIEF)。
[0003] 然而，在诸如非杂乱的客厅之类的某些环境中，角落特征和/或丰富纹理通常在 3D重构所要求的量中不存在。此类环境通常仍然确实包括长直的边缘特征。例如，客厅可 包括书柜、桌子、天花板和墙壁。然而，对于边缘特征而言，还未提出稳健且超实时的特征描 述或匹配算法。
[0004]
[0005] 本技术的实施例涉及用于描述和跟踪一个或多个成像设备的视野内的边缘的系 统和方法。在第一方面中，本技术描述第一图像中捕捉的一边缘。可通过定义跨该边缘的 增加的灰度梯度的方向中获取的像素的偏移补块来描述该边缘。在一些示例中，像素的偏 移补块是单行预先确定数量像素。
[0006] 二进制边缘描述符可接着被定义为两个子串的串接。可通过比较偏移补块内的相 应像素对内的灰度值来定义二进制边缘描述符的第一子串。可通过比较偏移补块内的相应 像素对的对比度来定义二进制边缘描述符的第二子串。比较的结果可被用于对二进制描述 符的子串内的位置位。
[0007] 在为一图像中的一边缘定义了边缘描述符之后，同一边缘可从第二图像被匹配。 这可通过计算第二图像中建议的边缘上的兴趣点的二进制边缘描述符来完成。通过将第二 图像中的建议的边缘上的兴趣点的二进制边缘描述符与为第一图像定义的边缘描述符相 比较，可将第二图像中的建议的边缘确认或拒绝作为与第一图象中的边缘匹配。给定二进 制边缘描述符的组成，边缘描述符的生成与匹配可准确地实时标识两个图像中的匹配。
[0008] 在第一示例中，本技术涉及用于描述视野内的一边缘的光度系统，包括：跨所述边 缘的宽度获取的像素的偏移补块，所述补块具有单行预先确定数量的像素；以及通过在预 先确定的规则下比较所述偏移补块内的像素对确定的二进制边缘描述符，在所述预先确定 的规则下的所述比较的结果将所述二进制描述符内的位置位。
[0009] 在第二示例中，本技术涉及具有处理器可读代码的一个或多个处理器可读存储设 备，所述处理器可读代码具体化在所述处理器可读存储设备上，所述处理器可读代码用于 对计算环境的一个或多个处理器编程来执行描述成像设备的视野内捕捉的边缘的方法，所 述方法包括：(a)确定所述边缘上的兴趣点；(b)确定所述边缘的定向；（C)标识通过所述 兴趣点并跨所述边缘的宽度定向的像素行；（d)比较步骤（c)中标识的像素行内的不同像 素对的属性；以及（e)基于所述步骤（d)中执行的比较的结果对二进制描述符的位置位。
[0010] 在一进一步的示例中，本技术涉及匹配第一和第二图像内的一边缘的方法，所述 方法包括：(a)通过以下步骤描述来自所述第一图像的所述边缘：（i)定义跨所述边缘的宽 度获取的像素的偏移补块，所述补块具有单行预定数量的像素；以及（ii)通过比较所述偏 移补块内相应像素对内的像素的灰度值和对比度中的至少之一来定义二进制边缘描述符， 所述比较的结果将所述二进制描述符内的位置位；以及（b)通过以下步骤将来自所述第一 图像的所述边缘与所述第二图像的所述边缘匹配：（i)计算所述第二图像中建议的边缘上 的兴趣点的二进制边缘描述符，（ii)在所述第二图像中所述建议的边缘上的所述兴趣点的 边缘描述符与所述第一图像中的所述边缘的所述边缘描述符之间的汉明距离低于预先确 定的值的情况下，将所述第二图像中的所述建议的边缘确认为匹配所述第一图像中的所述 边缘。
[0011] 提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概 念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助 确定所要求保护的主题的范围。
[0012] 附图简沐
[0013] 图1例示出具有捕捉一视野的成像设备的系统的一示例实施例。
[0014]图2例示出可在本技术的系统中使用的捕捉设备的示例实施例。
[0015]图3是根据本技术的一实施例的边缘描述引擎的操作的高级流程图。
[0016] 图4例示出由图1的成像设备捕捉的样本边缘的放大视图。
[0017] 图5是边缘描述引擎确定边缘描述符的操作的流程图。
[0018]图6例示出根据本技术的一些实施例的包括像素的偏移补块的样本边缘的放大 视图。
[0019]图7是根据本系统的一些实施例的经放大的样本偏移补块的图示。
[0020] 图8是例示出边缘描述符位串中的样本生成点的表。
[0021] 图9是例示出边缘描述符位串中的样本生成点的另一表。
[0022] 图10是根据本技术的一些实施例的样本边缘描述符位串。
[0023] 图11例示出样本边缘的经放大的视图，示出根据本技术的一些实施例的沿该边 缘的长度对额外边缘检测符的确定。
[0024] 图12是根据本技术的一些实施例的边缘匹配引擎的操作的流程图。
[0025] 图13-16是根据本技术的一些实施例的边缘匹配引擎如何将来自初始图像的边 缘与后续图像中的边缘匹配的图示。
[0026] 图17例示出可在本技术的一些实施例中使用来生成边缘描述符的计算环境的一 示例实施例。
[0027] 详细描沐
[0028] 现在将参考附图1-17描述本技术的一些实施例，这些实施例总地涉及用于描述 和跟踪一个或多个成像设备的视野内的边缘的系统和方法。在一个示例这个，本系统使用 光度描述符来描述成像设备的视野内具有最小长度的一个或多个边缘。一般来说，灰度图 像中的直的图像边缘可包括包含一个支配灰度梯度方向的像素补块。它与具有两个支配灰 度梯度的图像角落不同，且与不具有支配灰度梯度的同质纹理不同。在一些示例中，边缘是 直的边缘，但是可想到本技术定义和匹配的边缘可具有弯曲。这些边缘可以是视野内的各 种各样的物体中的任何物体（包括例如墙壁、天花板、书架、家具等）的边缘。
[0029] 一旦在视野内标识出一边缘，就可使用三个参数来描述它。第一个是利用边缘位 置与定向向量（x，y，巾），其中x、y表示以像素为单位的边缘中心，(i>G(0,360° )是被定 义成指向最高梯度方向的定向。边缘的第二个描述是其以像素为单位的长度。这是对实际 边缘长度的下边界估计，因为边缘的一些部分可能被遮挡。边缘的第三个描述是使用根据 本技术的一些实施例的边缘描述符来作出的。边缘描述符可以是一维灰度图像补块的长度 为B的二进制描述符。边缘的这些描述在下文中更详细地被解释。
[0030] 本技术可在各种各样的光度成像系统中被实现。图1例示出一个这样的系统。在 图1中，用于实现本技术的硬件包括可用于识别、分析和/或跟踪边缘、物体和/或诸如用 户18等的人类目标的系统10。系统10的实施例包括用于检测和跟踪边缘的计算环境12。 系统10可执行各种各样的其他功能，例如执行游戏或其他应用。尽管对于本技术来说并非 关键，但是系统10可进一步包括用于提供来自游戏或其他应用的音频和视觉表示的视听 设备16。系统10进一步包括捕捉设备20,捕捉设备用于检测边缘和物体，以及由设备20 捕捉的用户的移动和姿势。
[0031] 如背景部分中所述，存在用于在高度纹理化的环境中检测和跟踪具有两个支配轴 的特征的系统。本系统的实施例能够在此类环境中检测和跟踪边缘，还能够在低纹理化的 环境中以及在边缘并非是具有两个支配轴的特征的一部分的那些环境中检测和跟踪边缘。 图1例示出具有根据本技术可被检测和跟踪的边缘23的各种各样的物体21。可根据本技 术定义除了所示那些之外的各种各样的边缘。
[0032] -般来说，图1中所示的环境的视野可被划分成x、y、z笛卡尔平面，其中z轴从 捕捉设备20 (下文解释）垂直发散，而x、y平面垂直于z轴。可根据本技术被检测和跟踪 的边缘23可平行于这些x、y、z轴中的任一个轴。而且，可根据本技术被检测和跟踪的边 缘23可与x、y、z轴中的一个或多个成一倾斜角。边缘23可以是诸如所示的沙发、书柜、书 本、手持式PDA等静止的、无生命物体的一部分。各种各样的其他无生命物体可包括可根据 本技术被检测的边缘。边缘23替代地或另外地可以是诸如用户18的身体部位之类的动态 移动物体的一部分。
[0033] 图2例示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的一示 例实施例。与和本技术一起使用的捕捉设备有关的进一步细节在题为"DeviceFor IdentifyingAndTrackingMultipleHumansOverTime"（用于随时间标识和跟踪多个人 类的设备）共同待决专利申请号12/475, 308中阐明。然而，在一示例实施例中，捕捉设备 20可被配置成通过任何合适的技术，包括例如，飞行时间、结构化光、立体图像等等，来捕捉 具有可包括深度值的深度图像的视频。根据一个实施例，捕捉设备20可将计算出的深度信 息组织成"Z层"，即可与从深度相机沿其视线延伸的Z轴相垂直的层。
[0034] 如图2所示，捕捉设备20可包括图像相机组件22。根据一示例实施例，图像相机 组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维 (2-D)像素区域，其中该2-D像素区域中的像素可（例如以厘米、毫米等等为单位）表示来 自相机的被捕捉的场景中的物体的长度。
[0035] 如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度 图像的IR光组件24、三维（3-D)相机26、以及RGB相机28