使用高光谱成像跟踪对象的方法

使用高光谱成像跟踪对象的方法
【专利摘要】本发明提供一种使用高光谱成像对一组移动对象中的至少一个对象的运动进行跟踪的方法，其中，所述方法包括：获取一系列高光谱图像帧；将所述系列中的每个帧与模板进行比较，以确定帧之间的图像变化；标识每个帧中与所述变化相关的像素组；将变化标识为所述移动对象的运动；对所述像素组进行帧对帧关联，以在空间上确定所述对象的所述运动的至少一个参数；以及将所述像素组与所述至少一个对象的相关光谱反射轮廓关联，其中从其他移动对象的轨迹中可区分出所述至少一个对象的轨迹。
【专利说明】使用高光谱成像跟踪对象的方法

【技术领域】
[0001] 本发明涉及使用高光谱成像跟踪对象。

【背景技术】
[0002] 高光谱相机能够采集高光谱图像帧，或者以视频帧速率采集数据立方体 (datacube)。这些相机采集高空间和光谱分辨率图像。结合涉及计算机显像（computer vision)和光谱分析的技术，高光谱相机的操作员已参与涉及检测、跟踪和识别拍摄对象的 监视应用。


【发明内容】

[0003] 本发明的一方面涉及一种使用高光谱成像对一组移动对象中的至少一个对象的 运动进行跟踪的方法。所述方法包括：获取一系列高光谱图像帧；将所述系列中的每个帧 与模板进行比较，以确定帧之间的图像变化；在每个帧中标识与所述变化相关的像素组； 将变化标识为所述移动对象的运动；对所述像素组进行帧对帧关联，以在空间上确定所述 对象的所述运动的至少一个参数；以及将所述像素组与所述至少一个对象的相关光谱反射 轮廓（reflectance profile,或称光谱反射曲线）关联，其中从其他移动对象的轨迹区分 出所述至少一个对象的轨迹。

【专利附图】

【附图说明】
[0004] 在附图中：
[0005] 图1是根据本发明一个实施例的跟踪方法的流程图，所述方法使用高光谱成像跟 踪一组移动对象中的至少一个对象的运动。
[0006] 图2示出了高光谱成像系统已根据本发明一个实施例检测并跟踪两个对象的情 况。

【具体实施方式】
[0007] 在【背景技术】部分和以下说明中，为便于说明，将提出各种具体的细节以便透彻理 解本说明书中所述的技术。但是，所属领域中的技术人员能够轻易地了解到，可以在不含这 些具体细节的情况下实施示例性实施例。在其他情况中，图示的结构和装置用于帮助说明 示例性实施例。
[0008] 示例性实施例将参考附图进行描述。这些附图中示出了实现本说明书中所述的模 块、方法或计算机程序产品的具体实施例的特定细节。但是，附图不得视作以任何方式限制 本发明。所述方法和计算机程序产品可以提供在任何机器可读介质上，以便完成操作。实 施例可以使用现有计算机处理器实施，或者通过为所述目的或其他目的设置的专用计算机 处理器实施，或者通过硬连线系统实施。
[0009] 如上所述，本说明书中所述的实施例可以包括计算机程序产品，所述计算机程序 产品包括机器可读介质，用于执行或者在其上存储机器可读指令或数据结构。此类机器可 读介质可以是任何可用的介质，所述介质可被通用计算机或专用计算机或者具有处理器的 其他机器访问。例如，此类机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他 光盘存储器、磁盘存储器或其他磁性存储装置，或者其他任何介质，此类介质可用于执行或 存储机器可执行指令或数据结构形式的所需程序代码，并且可被通用计算机或专用计算机 或者具有处理器的其他机器访问。当通过网络或其他通信连接（硬连线、无线，或者硬连线 或无线的组合）将信息传输到或者提供给特定机器时，所述机器将适当地将所述连接视为 机器可读介质。因此，任何此类连接均可适当地称为机器可读介质。上述项的组合也包括 在机器可读介质的范围内。例如，机器可执行指令包括指令和数据，所述指令和数据指示通 用计算机、专用计算机或专用处理机器执行特定功能或功能组。
[0010] 实施例将在一般方法步骤上下文中进行描述，所述方法步骤能够在一个实施例中 由包括诸如程序代码等机器可执行指令的程序产品执行，例如，所述程序产品采用由联网 环境中的机器执行的程序模块的形式。通常，程序模块包括例程、程序、对象、组件、数据结 构等，其具有执行特定任务或执行特定抽象数据类型的技术效应。机器可执行指令、相关数 据结构和程序模块代表用于执行本说明书中所述的方法步骤的程序代码的实例。此类可执 行指令或相关数据结构的特定序列代表用于在此类步骤中执行所述功能的对应操作的实 例。
[0011] 通过与具有处理器的一个或多个远程计算机进行逻辑连接，可以在联网环境中实 施实施例。逻辑连接可以包括局域网（LAN)和广域网（WAN)，在本说明书中，所述网络仅用 于说明，并非限定性的。此类联网环境在办公室范围或企业范围的计算机网络、内部网和互 联网中十分常见，并且可使用各种不同的通信协议。所属领域中的技术人员将认识到，此类 网络计算环境通常将包括许多类型的计算机系统配置，包括个人计算机、手持式装置、多处 理器系统、基于微处理器或可编程的消费电子装置，网络PC、微型计算机、大型计算机等。
[0012] 实施例也可以在分布式计算环境中实施，其中任务由通过通信网络连接（硬连线 连接、无线连接，或者硬连线或无线连接的组合）的本地和远程处理装置执行。在分布式计 算环境中，程序模块可以位于本地和远程存储装置中。
[0013] 用于实现全部或一部分示例性实施例的示例性系统可以包括计算机形式的通用 计算装置，包括处理单元、系统存储器以及将包括系统存储器在内的各种系统部件连接到 处理单元的系统总线。所述系统存储器可以包括只读存储器（ROM)和随机存取存储器 (RAM)。所述计算机还可以包括用于从/向磁性硬盘中读取和写入数据的磁性硬盘驱动器， 用于从/向可移动磁盘读取或写入数据的磁盘驱动器，以及用于从/向诸如CD-ROM或其他 光学介质等可移动光盘中读取或写入数据的光盘驱动器。所述驱动器及其相关机器可读介 质构成了非易失性存储器，用于存储机器可执行指令、数据结构、程序模块和其他计算机数 据。
[0014] 实施例中公开的方法的技术效果包括提高用于对象检测和跟踪的远程成像系统 的性能和实用性。所述方法将减少传统空间跟踪中因阻断（occlusion)、斑点合并（blob merging)、图像巾贞丢失（frame dropping)、对象相交（object intersection)以及与使用基 于灰度图像对比的检测方法的巾贞差值（frame differencing)技术相关的其他问题而引起 的错误。此外，所述方法通过提供基本自动委任（auto-nomination)、重新采集和目标搜索 能力改进了自主对象跟踪系统。
[0015] 图1是根据本发明一个实施例的跟踪方法的流程图，所述方法使用高光谱图像中 所含的光谱和空间信息组合（fusion)来跟踪一组对象中的一个或多个对象的运动。首先， 在步骤100中，在操作配备高光谱相机的平台期间，必须处理图像以检测、跟踪和识别对 象。
[0016] 在步骤110中，高光谱相机可以获取一系列高光谱图像帧。平台上的处理器可以 处理所述帧或者可以指示将图像传输到远程位置由第二处理器或处理系统（统称为"处理 器"）进行处理。首先，所述处理器可以通过空间分析技术确定高光谱图像帧的变化。如图1 所示，处理器可以在112中对高光谱图像帧执行步骤序列114、118,以便通过与模板115比 较确定图像中的变化。所述处理器可以首先在步骤114中使用传统空间分析或图像处理技 术执行图像的帧对帧比较。通过直接比较图像帧的空间性质，所述处理器可以确定与图像 校准和对齐相关的图像性质，或者可以确定与运动中的拍摄图像相关的拍摄场景性质。对 于校准和对齐，所述处理器可以执行一系列公知的图像处理技术，这些技术可以涉及但不 限于噪声过滤、边角检测、图像配准（image registration)、单应性（homography)和巾贞对 帧对齐。所述处理器可以基于诸如对比度、分辨率和亮度等图像性质采用与图像帧中的对 象检测相关的其他图像处理技术。
[0017] 部分基于步骤114中的帧对帧比较，所述处理器可以在步骤118中确定帧之间的 图像变化。所述处理器可以将标识为帧间差异的图像帧和性质与已知目标的参考目标模板 115进行比较，其中所述参考目标模板可以存储在模板数据库116中。参考目标模板115可 以是先前建立的描述符，表示所关注的实际对象（real-world object)的高光谱图像的空 间性质。例如，模板115可以包括一组像素，用于表示系统拍摄对象的预期形状。或者，模 板115可以包括所存储的一组向量，用于表示对象预期形状的特定分解，例如，作为主成分 分析（Principal Component Analysis)或子波变换的输出。无论模板115中的空间描述 符采用什么特定格式，所述处理器可以在步骤118中执行关联或匹配操作，以利用与在模 板115中编码的对象相关现有知识来进一步确定图像帧的变化。
[0018] 所述处理器可以从步骤118输出图像帧中检测到的变化，其来自于步骤114中的 帧对帧比较以及模板115。为了识别要跟踪的潜在对象，所述处理器在步骤118中输出图像 帧中的像素组。在本发明的一个实施例中，所述处理器可以将输出传输到步骤120,以标识 每个帧中与所检测的变化相关的一组像素。在本发明的另一个实施例中，所述处理器可以 通过控制流132将输出传输到步骤128,以将像素组关联，从而在光谱上将对象特征化。
[0019] 在步骤120中，所述处理器可以在步骤118中在每个帧中标识与所检测的变化输 出相关的一组像素。所述处理器可以对各个帧执行一系列函数和计算，以将每个帧中的像 素连接、合并和/或剔除为与图像帧中检测到的变化相关的像素组，其中图像帧中检测到 的变化来自于步骤114中的帧对帧比较以及模板115。因此，在步骤122中，所述处理器可 以基于图像帧中的所检测变化以及每个帧中与所检测变化相关的像素组来从所述系列的 图像帧中识别出移动对象的运动。从所述序列的高光谱图像帧中检测和识别移动对象之 后，所述处理器可以在步骤124中进一步将各帧中的像素组关联，以在空间上将识别、检测 出的对象特征化。所述处理器可以基于已知图像处理和计算机显像技术来将所述运动参数 化，以便确定诸如速度或加速度等性质。随后可以将所述运动的参数化用作后续跟踪工作 的额外信息。例如，如果跟踪系统处理器具有详述受跟踪对象的速度的历史信息，则在处理 帧对帧比较和空间模板匹配时，所述处理器将应用额外的转换来考虑到对象在高光谱图像 帧中的预期位置。
[0020] 在步骤128中，所述处理器可以确定像素组与光谱反射轮廓125之间的关联，所述 光谱反射轮廓存储在光谱反射轮廓数据库126中。光谱反射轮廓125可以事前确定并且可 以描述所关注的实际对象的高光谱图像的光谱性质。此外，光谱反射轮廓125可以由许多 光谱反射特性（signature)构成。因此，光谱反射轮廓数据库126可以描述所关注的实际 对象的光谱反射特性以及它们之间的空间关系。
[0021] 为了将像素组与光谱反射轮廓数据库126中所描述的对象关联或匹配，所述处理 器可以确定每个特性的像素组空间分布是否与光谱反射轮廓125中的特性空间分布类似。 由于光谱反射轮廓数据库126可以具有与多个对象相关的多个轮廓125,因此将像素组与 光谱反射轮廓125关联的处理器可以采用高光谱搜索算法来将像素组与特定反射轮廓125 匹配。
[0022] 已开发出多个高光谱搜索算法并且将其用于处理高光谱图像以进行对象检测。 通常基于公知的统计概念，高光谱搜索算法采用图像中候选对象的统计特征。例如，马哈 拉诺比斯距离（Mahalanobis distance)是通常用于高光谱像素特性的相似性统计测量。 马哈拉诺比斯距离通过测试特性与已知特性类的平均和标准偏差来测量所述特性的相似 性。相似性测量可以包括诸如光谱角度映射（Spectral Angle Mapping, SAM)、光谱信息距 离（Spectral Information Distance，SID)、零均值微分区域（Zero Mean Differential Area,ZMDA)或巴特查里亚距离（Bhattacharyya Distance)等已知光谱分析检测技术中的 元素。所述处理器可以根据具体实施方案使用其他相似性测量。
[0023] 尽管光谱反射轮廓125可以优选地存储在图1所示的光谱反射轮廓数据库126中 并从该数据库中检索，但是其他来源中用作参考的光谱反射轮廓125可以包括高光谱图像 帧本身。例如，所述处理器可以包括额外的处理功能，以便自动将像素组确定为所关注的对 象的图像。或者，收集高光谱图像的系统操作员可以在显示器上手动选择像素组并且将对 应光谱反射特性标识为所关注的对象的光谱反射轮廓125。
[0024] 如上所述，所述处理器可以根据本发明的具体实施方案加入步骤128以关联像素 组，从而在光谱上将处于多个位置中的一个位置处的对象特征化。如图1所示，所述方法 的主控制流显示，用于将像素组关联以在光谱上将对象特征化的步骤128可以用于在对像 素组进行帧对帧关联以在空间上将对象运动特征化的步骤124之后。额外的控制流132和 134显示，用于将像素组关联以在光谱上将对象特征化的步骤128可以直接位于用于确定 高光谱图像帧之间的图像变化的步骤118之后。根据具体实施方案，步骤128可以在步骤 118或步骤124之后或者可以同时在步骤118和124之后。
[0025] 在本发明的一个实施例中，如果在步骤124确定的运动参数小于预定阈值，则所 述处理器仅执行步骤128,即将像素组关联以在光谱上将对象特征化。例如，如果所检测的 对象以大于5m/s的速度运动，则所述处理器可以不在光谱上将所述对象特征化。通过仅在 光谱上将速度减慢或停止的对象特征化，所述处理器可以有效处理图像并且使用空间跟踪 方法持续跟踪通常难以跟踪的对象。其他光谱关联步骤可以有助于跟踪关联和跟踪确定， 从而减少标准空间跟踪方法中常见的误报（false positive)和其他跟踪错误。
[0026] 存在许多难以使用空间跟踪技术采集对象或持续跟踪对象的情况。此类情况可以 包括：跟踪对象被另一对象阻挡；或者跟踪对象拆分为多个单独的对象。还存在其他此类 情况，上述情况不应视作限制性的。
[0027] 图2示出了示例性情况300,其中根据本发明一个实施例使用高光谱成像跟踪一 组移动对象中的特定对象的运动的方法检测和跟踪车辆310,所述车辆以与第二车辆312 大约相等的速度在同一道路上行驶。执行图1所示方法的处理器处理一系列高光谱帧并且 跟踪两个类似的模型车辆。例如，如果车辆310和312的颜色不同，则光谱关联提供了两个 形状类似的移动车辆之间的显著差异。假定这两个车辆以大约相等的速度在彼此附近行 驶，则单纯基于空间分析的跟踪系统可能在这两个车辆310和312分开的时候弄错，例如， 如果车辆310停止而车辆312继续行驶。但是，基于图1所示方法的跟踪系统将继续跟踪 车辆310。基本上，通过结合使用空间跟踪技术以及基于光谱反射轮廓125的像素组光谱特 征，可以在出现干扰因素时允许移动对象的鲁棒跟踪（robust tracking)。此外，所增加的 光谱信息和处理能够持续跟踪车辆310,即使是在车辆310停止的情况下。
[0028] 如果车辆310、312继续在道路上行驶，则在车辆经过图2中所示的树时跟踪系统 视野中的车辆被阻挡的情况下，跟踪系统可能放弃跟踪车辆。但是由于对象的光谱反射轮 廓125随时间的推移而恒定，因此可以在车辆310进入跟踪系统视野的不受阻挡区域中时 重新恢复跟踪。此时，光谱反射轮廓125能够实现移动对象的鲁棒跟踪，即使是在拍摄范围 内存在阻挡物的情况下。
[0029] 本说明书使用多个实例来公开本发明，包括最佳模式，同时也让所属领域的任何 技术人员能够实施本发明，包括制造并使用任何器件或系统，以及实施所涵盖的任何方法。 本发明的保护范围由权利要求书界定，并可包含所属领域的技术人员想出的其他实例。如 果其他此类实例的结构要素与权利要求书的字面意义相同，或如果此类实例包含的等效结 构要素与权利要求书的字面意义无实质差别，则此类实例也应在权利要求书的范围内。
【权利要求】
1. 一种使用高光谱成像对一组移动对象中的至少一个对象的运动进行跟踪的方法，所 述方法包括： 获取一系列高光谱图像帧； 将所述系列中的每个帧与模板进行比较，以确定帧之间的图像变化； 标识每个帧中与所述变化相关的像素组； 将变化标识为所述移动对象的运动； 对所述像素组进行帧对帧关联，以在空间上确定所述对象的所述运动的至少一个参 数；以及 将所述像素组与所述至少一个对象的相关光谱反射轮廓关联，其中从其他移动对象的 轨迹中可区分出所述至少一个对象的轨迹。
2. 根据权利要求1所述的方法，其中将所述像素组与光谱反射轮廓关联的步骤作为在 将所述系列中的每个帧与模板进行比较之后执行的下一个步骤。
3. 根据权利要求1所述的方法，其中将所述像素组与光谱反射轮廓关联的步骤作为在 对所述像素组进行帧对帧关联以在空间上确定所述对象的所述运动的至少一个参数之后 执行的下一个步骤。
4. 根据权利要求1所述的方法，其中将所述像素组与光谱反射轮廓关联的步骤作为在 将所述系列中的每个帧与模板进行比较的步骤之后执行的下一个步骤，并且作为在对所述 像素组进行帧对帧关联以在空间上确定所述对象的所述运动的至少一个参数之后执行的 下一个步骤。
5. 根据权利要求1所述的方法，其中将所述像素组与光谱反射轮廓关联的步骤仅在所 述对象的所述运动的所述至少一个参数的值小于预定阈值时执行。
6. 根据权利要求1所述的方法，其中所述对象的所述运动的所述至少一个参数是速 度。
7. 根据权利要求1所述的方法，其中所述对象的所述运动的所述至少一个参数是加速 度。
8. 根据权利要求1所述的方法，其中所述光谱反射轮廓存储在光谱反射轮廓数据库中 并从所述光谱反射轮廓数据库检索。
9. 根据权利要求1所述的方法，其中所述光谱反射轮廓来源于所述系列的高光谱图像 帧中的一组像素。
【文档编号】G06F17/30GK104112281SQ201410155488
【公开日】2014年10月22日 申请日期:2014年4月17日 优先权日:2013年4月19日
【发明者】E.D.比勒, S.A.M.拉西尼, K.R.库琴斯基, R.S.凯莉, B.T.奥基平蒂, M.J.谢菲尔, R.J.史密斯, T.B.塞巴斯蒂安 申请人:通用电气航空系统有限责任公司