评估高光谱图像的标记匹配置信度的方法
【专利摘要】本发明涉及一种在跟踪至少一个被跟踪对象时实时地评估由图像传感器上的像素限定的所述至少一个被跟踪对象的高光谱图像的标记与高光谱图像模板匹配的置信度的方法。
【专利说明】评估高光谱图像的标记匹配置信度的方法
【技术领域】
[0001]本发明涉及一种评估高光谱图象的标记匹配置信度的方法。
【背景技术】
[0002]用于高光谱影像(Hyperspectral imagery,简称HSI)的远程传感系统的环境在 Manolakis, D., Marden, D.和 Shaw G 所著的“Hyperspectral Image Processing forAutomatic Target Detection Applicatons，，(Lincoln Laboratory Journal ；Volumel4 ；2003pp.79-82)中进行了清楚描述。成像传感器具有记录高光谱能量的测量值的像素。HSI装置会记录像素阵列中的能量，其通过阵列的几何形状捕获空间信息，通过对许多个连续的高光谱频带的每个像素进行测量来捕获光谱信息。空间和光谱信息的进一步处理取决于远程传感系统的具体应用。
[0003]远程传感HSI已经被证明对包括环境和土地使用监控，军事侦察和勘测在内的宽范围的应用是有价值的。HSI提供含有空间和光谱信息的图像数据。这些类型的信息可以用于远程检测和跟踪任务。具体地，假设一组视觉传感器安装在诸如无人驾驶飞行器(UAV)或地面站的平台上，则可以获得HSI的视频，可以将一组算法应用于光谱视频以逐帧检测并跟踪对象。
[0004]基于光谱的处理算法已经发展为对相似像素进行分类或分组；S卩，具有相似光谱特性或标记(signature)的像素。单独用这种方式进行的处理不适用于目标跟踪和检测应用，在目标跟踪和检测应用中，一个场景中目标的数量和大小一般太小不足以支持将目标类型进行分类所需的统计性质的估计。然而，典型的HSI的空间处理被采集HSI的典型系统的空间分辨率损坏。结果，采集、处理HSI的远程传感系统一般发展为在光谱和空间分辨率之间进行折衷，以最大化已解析目标和非解析目标之间的检测，其中，已解析目标是由超过一个像素反映的目标。以此方式，光谱技术可以通过他们的标记检测末解析目标，空间技术可以通过他们的形状检测已解析目标。
[0005]已经开发出许多高光谱搜索算法，并将他们用在HSI的处理中，以达到目标检测目的。这些高光谱搜索算法通常设计成利用影像中的候选目标的统计特性，并通常基于已知的统计思想构建。例如，马哈拉诺比斯距离(Mahalanobis distance)为已经应用于高光谱像素标记的相似性的统计测量。马哈拉诺比斯距离通过测试标记与已知类别标记的平均偏差和标准偏差来测量标记的相似性。
[0006]已知的技术包括光谱角映射(Spectral Angle Mapping:简称SAM),光谱信息散度(Spectral Information Divergence:简称 SID),零平均值差分区(Zero MeanDifferential Area:简称 ZMDA)和巴特查里亚距离(Bhattacharyya Distance)。SAM 为通过将每个光谱作为矢量比较候选目标的标记与已知标记，并计算矢量之间的角度的方法。因为SAM只使用矢量方向，不使用矢量长度，所以该方法对照明的变化不敏感。SID为通过测量光谱之间的概率差异或散度(Probabilistic discrepancy or divergence)将候选目标的标记与已知标记进行比较的方法。ZMDA通过候选目标的标记和已知标记的方差标准化(normalized)候选目标的和已知的标记，并计算他们的差，该差与两个矢量之间的区域对应。巴特查里亚距离类似于马哈拉诺比斯距离，但用来测量一组候选目标标记与已知类另Ij的标记之间的距离。
【发明内容】
[0007]本发明涉及一种在跟踪至少一个被跟踪对象时实时地评估由图像传感器上的像素限定的所述至少一个被跟踪对象的高光谱图像的标记与高光谱图像模板匹配的置信度的方法。所述方法包括:选择所述至少一个被跟踪对象的一组标记；选择与所述至少一个被跟踪对象的所述一组标记对应的高光谱图像模板的一组标记；确立所述至少一个被跟踪对象的所述一组标记中的像素值与所述高光谱图像模板的所述一组标记中的像素值之间的差的绝对值(absolute values of the differences);通过从I中减去最大的绝对值和最小的绝对值之间的差确立匹配度；以及使所述匹配度标准化为所述至少一个被跟踪对象的图像的像素数，以确定所述至少一个被跟踪对象的图像与所述高光谱图像模板匹配程度的置信水平。
[0008]作为优选，所述高光谱图像是从高光谱成像摄像机采集的视频帧。
[0009]作为优选，所述至少一个被跟踪对象是一组可能的对象。
[0010]作为优选，所述一组标记包括高光谱数据和空间数据。
[0011]作为优选，所述方法进一步包括确定空间上匹配的标记的百分比的步骤，并且将通过从I中减去最大的绝对值和最小的绝对值之间的差确立匹配度的步骤应用于标记的百分比。
【专利附图】
【附图说明】
[0012]在附图中:
[0013]图1是根据本发明的第一实施例，跟踪并确定HSI中被观察对象的检测概率的图解视图。
[0014]图2是根据本发明的实施例选择高光谱搜索算法的方法的图解视图。
[0015]图3是根据本发明的实施例选择高光谱搜索算法的容差的方法的图解视图。
[0016]图4a示出了根据本发明的实施例的高光谱成像系统已经检测并跟踪到两个对象的情形。
[0017]图4b示出了根据本发明的实施例的高光谱成像系统检测被跟踪对象的变化的情形。
【具体实施方式】
[0018]在背景部分和下文的描述中，出于解释目的，列出了许多具体细节，以便提供对本文中描述的技术的彻底理解。然而，本领域技术人员将了解，没有这些具体细节也可以实践示例性实施例。在其它实例中，结构和装置以图形形式示出，以便便于描述示例性实施例。
[0019]参照附图描述示例性实施例。这些附图图解说明实现本文中描述的模块，方法或计算机程序产品的具体实施例的特定细节。然而，附图不应当解读为强加可能出现在附图中的任何限制。所述方法和计算机程序产品可以在机器可读介质上提供以完成他们的工作。可以使用现有的计算机处理器，或者通过为此目的或另一目的加入的专用计算机处理器或者通过硬连线系统来实施实施例。
[0020]如上面指出的，本文中描述的实施例可以包括计算机程序产品，包括用于携带或其上具有存储的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任何可由通用或专用计算机或具有处理器的其它机器的可用介质。举例来说，这种机器可读介质可包括RAM，ROM, EPROM, EEPROM，CD-ROM或其它光盘存储器，磁盘存储器或其它磁存储装置，或者可以用来携带或存储形式为机器可执行指令或数据结构，可由通用或专用计算机或具有处理器的其它机器访问的其它任何介质。当信息通过网络或另一种通信连接(或者是硬连线，无线或者是硬连线或无线的组合)传送或提供给机器时，机器适当地将连接视为机器可读介质。因此，任何这种连接适当地称为机器可读介质。上述的组合也包括在机器可读介质的范围内。机器可执行指令包括例如指令和数据，其引起通用计算机，专用计算机或专用处理机执行特定的功能或功能组合。
[0021]在方法步骤的通常背景下描述这些实施例，在一个实施例中，这些方法步骤可以通过程序产品来实现，程序产品包括机器可执行指令，比方说例如形式为由联网环境中的机器执行的程序产品的程序代码。通常，程序模块包括具有执行特定任务或实现特定抽象数据类型的技术效果的例程，程序，对象，组件，数据结构等。机器可执行指令，关联的数据结构和程序模块代表用于执行本文中公开的方法的步骤的程序代码的例子。这种可执行指令或关联数据结构的特定顺序代表用于实现在这些步骤中描述的功能的相应动作的例子。
[0022]可以在联网环境中使用与具有处理器的一个或多个远程计算机的逻辑连接来实践实施例。逻辑连接可包括局域网(LAN)和广域网(WAN)，在这里通过例子但不是限制来将他们列出。这种联网环境在办公网或企业范围的计算机网络，内联网和因特网中是常见的，可以使用各种不同的通信协议。本领域技术人员会认识到这种网络计算环境通常包括许多类型的计算机系统配置，包括个人计算机，手持装置，微处理器系统，基于微处理器的或可编程的消费电子，网络PC，小型计算机，主机计算机等。
[0023]还可以在分布式计算环境中实践实施例，在分布式环境中，任务是由通过通信网络链接(或者通过硬连线链接，无线链接，或者通过硬连线或无线链接的组合)的本地或远程处理装置执行的。在分布式计算环境中，程序模块可以位于本地和远程存储器的存储装置中。
[0024]用于实现全部或部分示例性实施例的示例性系统可包括形式为将各种系统组件(包括系统存储器)耦连到处理单元的计算机的通用计算装置，包括处理单元、系统存储器和系统总线。系统存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)。计算机还可包括用于从磁质硬盘进行读写的磁质硬盘驱动器，用于从可移动磁盘进行读写的磁盘驱动器和用于从可移动光盘(诸如CD-ROM)或其它光介质进行读写的光盘驱动器。驱动器和他们关联的机器可读介质提供机器可执行指令、数据结构、程序模块和用于计算机的其它数据的非易失性存储。
[0025]实施例中公开的方法的技术效果包括使检测HSI中对象的任务自动化，给检测分配置信水平。同样，所述方法通常自动地将被检测对象在空间和光谱上与已知的标记进行实时比较，提高了现有的标记匹配技术。该技术可以用在由光谱立方体阵列(spectralcube arrays)产生复合影像的任何系统上。[0026]图1是根据本发明的第一实施例跟踪并确定HSI中被观察对象的检测概率的方法10的图解视图。在12，可包括单个图像或高光谱视频反馈的远程感测HSI可输入到能够处理HSI的处理器。在12，处理器接收高光谱数据，并在14通过执行一连串已知的图像处理步骤将数据集处理成一组高光谱图像帧，已知的图像处理步骤可包括但不限于噪声过滤，边角检测，图像配准，单应性(homography)和帧-帧对齐。然后在16，处理器可以使用搜索算法从高光谱图像帧中的被跟踪对象选择候选目标，这里，候选目标和被跟踪对象是可代表所关心的真实世界对象的高光谱图像的像素集合。例如，在被设计成搜索移动目标的采集HSI的系统中，候选目标可以是移动的对象。在此例子中，处理器可以执行计算性搜索以识别HSI中的移动对象的最小判别式特征。在另一例子中，采集HSI的系统的用户人工选择显示器上的像素，并识别相应的标记以用于以后分析。
[0027]在18，处理器可以从HSI的每一帧跟踪所选择的候选目标。在20，处理器可以将选择的候选目标与在28存储在模板数据库中的已知目标的参考目标模板进行比较，其中，参考目标模板为以前已经确立的代表所关心的现实世界的高光谱图像的像素集。
[0028]在22，处理器可以进行匹配比较。如果所选择的候选目标与来自28的模板数据库的参考目标模板匹配，则在24，处理器可以确定所选择的候选目标和参考目标模板之间的匹配度，以及所选择的候选目标已经被检测到的概率。如果所选择的候选目标与模板不匹配，则在30，处理器可以认为所选择的候选目标为新的参考目标模板，或者在32，将其丢弃。在30，如果所选择的候选目标被认为是新模板，则在28，处理器可以将与新目标相关的数据增加到目标模板数据库。
[0029]在24确定匹配度和检测概率之后，在26，处理器可以将概率与阈值进行比较。如果概率超过阈值，则在34，处理器可以采取动作。否则，在18，处理器可以继续跟踪所选择的候选目标。
[0030]从28的参考目标·模板数据库中识别特定参考目标模板，在20将特定参考目标模板与候选目标比较之后，在24，处理器可以计算匹配度和检测概率。通过在24首先将出现在所选择的候选目标中的最上面的光谱标记与限定参考目标模板的最上面的光谱标记进行比较，然后将他们进行空间匹配，匹配度和检测概率可以测量所选择的候选目标与特殊参考目标模板匹配的概率。
[0031]对24的确定匹配度和检测概率的方法进行计算的处理器可以首先确定既出现在所选择的候选目标中又出现在参考目标模板中的最上面的标记集。然后，处理器可以基于既在所选择的候选目标中又在参考目标模板中的像素数，计算最上面那些标记的分布。为此，第一步是要确定参考目标模板中覆盖参考目标模板中特定百分比的像素的标记集，以及确定参考目标模板中每个标记的百分比。处理器在24的计算方法则可以确定对于所选择的候选目标的标记分布。如果在每个标记中的像素分布类似于在参考目标模板中的标记分布，则计算所述方法的处理器可以通过考虑相似标记像素之间的最大和最小差来计算每个标记的匹配度。计算高光谱像素分布之间的相似度的处理器可以使用一个或多个相似度的测量值以用于计算。相似度测量可以包括SAM，SID，ZMDA或巴特查里亚距离。处理器可以根据实现情况使用其它相似度测量。
[0032]假设Si = {s1; s2, ---,SpI是一个目标的标记集,Sij是高光谱帧的二维空间表示中ij位置的像素。像素Xij由亚像素(subpixel)的阵列组成，因此,像素Xij具有一组值xbl，xb2,…，Xbq,其中，q是高光谱影像中的频带数。因此，对于像素所描述的空间位置，每个像素包含与每个频带关联的亚像素值。
[0033]如果目标T中R%的最上面的标记集以λ相似比例出现在对象Oi中，空间上与本文中提到的参考模板目标匹配(为了简洁表示为目标Τ)的所选择的候选目标(为了简洁表示为对象Oi)也可以在光谱上以置信度C与目标T匹配。目的是将对象和目标在空间和光谱上进行匹配，即对象和目标的形状和标记是相似的。
[0034]设队为对象Oi中的像素数，nn,ni2，…，n^r < p定义对象Oi中表现出相似标记
S1,S2,...,Sr的像素集的基数或大小。如果对象Oi中最上面的R%的光谱标记与对象Oj的R%的最上面的标记匹配，在24中对方法进行计算的处理器认为两个对象Oi和Oj光谱匹配。如果对于对象Oi和Oj的所有选择数目的最上面标记分别表示为{nn，ni2，…，nj和Injl,nJ2, -, nJr}并满足下式，则两个对象Oi和1精确地λ匹配。
【权利要求】
1.一种在跟踪至少一个被跟踪对象时实时地评估由图像传感器上的像素限定的所述至少一个被跟踪对象的高光谱图像的标记与高光谱图像模板匹配的置信度的方法，包括: 选择所述至少一个被跟踪对象的一组标记； 选择与所述至少一个被跟踪对象的所述一组标记对应的高光谱图像模板的一组标记； 确立所述至少一个被跟踪对象的所述一组标记中的像素值与所述高光谱图像模板的所述一组标记中的像素值之间的差的绝对值； 通过从I中减去最大的绝对值和最小的绝对值之间的差确立匹配度；以及使所述匹配度标准化为所述至少一个被跟踪对象的图像的像素数，以确定所述至少一个被跟踪对象的图像与所述高光谱图像模板匹配程度的置信水平。
2.根据权利要求1所述的方法，其特征在于，所述高光谱图像是从高光谱成像摄像机采集的视频帧。
3.根据权利要求1所述的方法，其特征在于，所述至少一个被跟踪对象是一组可能的对象。
4.根据权利要求1所述的方法，其特征在于，所述一组标记包括高光谱数据和空间数据。
5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括确定空间上匹配的标记的百分比的步骤，并且将通过从I中减去最大的绝对值和最小的绝对值之间的差确立匹配度的步骤应用于标记的百分比。
【文档编号】G01C11/36GK103591940SQ201310359260
【公开日】2014年2月19日 申请日期:2013年8月16日 优先权日:2012年8月17日
【发明者】A.I.德尔阿莫, B.T.奥基平蒂, E.D.比勒, K.R.库琴斯基 申请人:通用电气航空系统有限责任公司