生成空间和光谱对象模型的方法
【专利摘要】本发明题为生成空间和光谱对象模型的方法。提供一种使用高光谱成像装置来改进光谱反射率轮廓的方法，尤其包括：得到对象的一系列高光谱图像，其中在对象与高光谱成像装置之间存在相对运动；确定相对运动的一个或多个参数；映射参数，以确定该系列中的各高光谱图像中的对象的取向；识别该系列中的各高光谱图像中的对象的两个或更多空间部分；向各空间部分指配光谱签名；以及从取向、空间部分和光谱签名来生成多维光谱反射率轮廓。
【专利说明】生成空间和光谱对象模型的方法
【技术领域】
[0001] 本发明涉及生成空间和光谱对象模型的方法。
【背景技术】
[0002] 高光谱照相装置能够以视频巾贞速率来捕获高光谱图像（hyperspectral image)中贞 或者数据立方体（datacube)。这些照相装置获取高空间和光谱分辨率影像。结合与计算机 视觉和光谱分析相关的技术，高光谱照相装置的操作人员参加与被成像对象的检测、跟踪 和识别相关的监视应用。
【发明内容】
[0003] 本发明的一个方面涉及一种使用高光谱成像装置来改进对象的光谱反射率轮廓 (spectral reflectance profile)的方法。该方法包括：得到对象的一系列高光谱图像， 其中在对象与高光谱成像装置之间存在相对运动；确定相对运动的至少一个参数；映射至 少一个参数，以确定该系列中的各高光谱图像中的对象的取向；识别该系列中的各高光谱 图像中的对象的至少两个空间部分；向各空间部分指配光谱签名；以及从取向、至少两个 空间部分和光谱签名来生成多维光谱反射率轮廓。
【专利附图】
【附图说明】
[0004] 附图包括： 图1是示出按照本发明的一个实施例、生成空间和光谱对象模型的方法的流程图； 图2示出两个示范移动平台捕获车辆的高光谱影像的情形； 图3示出示范平台捕获移动车辆的高光谱影像的情形； 图4展示用于生成光谱反射率轮廓的被成像车辆的空间划分。
【具体实施方式】
[0005] 为了便于说明，在背景和以下描述中提出了大量具体细节，以便透彻地理解本文 所述的技术。然而，本领域的技术人员将会清楚地知道，即使没有这些具体细节也可实施示 范实施例。在其它情况下，结构和装置以简图形式示出，以便于示范实施例的描述。
[0006] 参照附图来描述示范实施例。这些附图示出实现本文所述的模块、方法或计算机 程序产品的具体实施例的某些细节。但是，附图不应当被理解为施加附图中可存在的任何 限制。方法和计算机程序产品可在任何机器可读介质上提供以用于实现其操作。实施例可 使用现有计算机处理器、或者通过为这个或另一个目的所结合的专用计算机处理器、或者 通过硬连线系统来实现。
[0007] 如上所述，本文所述的实施例可包括计算机程序产品，其中包括用于携带或其上 存储了机器可执行指令或数据结构的机器可读介质。这类机器可读介质能够是任何可用介 质，其能够由通用或专用计算机或者具有处理器的其它机器来访问。作为举例，这类机器可 读介质能够包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或者 其它磁存储装置、或者能够用于携带或存储采取机器可执行指令或数据结构形式的预期程 序代码并且能够由通用或专用计算机或者具有处理器的其它机器来访问的其它任何介质。 当信息通过网络或另一种通信连接（硬连线、无线或者硬连线或无线的组合）传递或提供 给机器时，机器将连接适当地看作是机器可读介质。因此，任何这种连接都适当地称作机器 可读介质。以上所述的组合也包含在机器可读介质的范围之内。机器可执行指令例如包括 使通用计算机、专用计算机或者专用处理机来执行某个功能或某组功能的指令和数据。
[0008] 将在方法步骤的一般上下文中描述实施例，方法步骤在一个实施例中可通过程序 产品来实现，程序产品包括例如采取由组网环境中的机器所执行的程序模块形式的机器可 执行指令、如程序代码。一般来说，程序模块包括具有执行特定任务或者实现特定抽象数据 类型的技术效果的例程、程序、对象、组件、数据结构等。机器可执行指令、关联数据结构和 程序模块表示用于运行本文所公开方法的步骤的程序代码的示例。这类可执行指令或关联 数据结构的特定序列表示用于实现在这类步骤中所述的功能的对应动作的示例。
[0009] 实施例可在使用到一个或多个具有处理器的远程计算机的逻辑连接的组网环境 中实施。逻辑连接可包括局域网（LAN)和广域网（WAN)，局域网（LAN)和广域网（WAN)在此 作为举例而不是限制来提供。这类组网环境是办公室范围或企业范围的计算机网络、内联 网和因特网中常见的，并且可使用大量不同的通信协议。本领域的技术人员将会理解，这类 网络计算环境通常将包含许多类型的计算机系统配置，其中包括个人计算机、手持装置、多 处理器系统、基于微处理器的或者可编程消费电子产品、网络PC、小型计算机、大型计算机 等等。
[0010] 实施例还可在分布式计算环境中实施，在这些环境中，任务由通过通信网络链接 (通过硬连线链路、无线链路或者通过硬连线或无线链路的组合）的本地和远程处理装置 来执行。在分布式计算环境中，程序模块可位于本地和远程存储器存储装置中。
[0011] 一种用于实现示范实施例的整体或部分的示范系统可包括采取计算机形式的通 用计算装置，其中包括处理单元、系统存储器以及将包括系统存储器在内的各种系统组件 耦合到处理单元的系统总线。系统存储器可包括只读存储器（ROM)和随机存取存储器 (RAM)。计算机还可包括用于对磁硬盘进行读取和写入的磁硬盘驱动器、对可移动磁盘进行 读取或写入的磁盘驱动器以及用于对可移动光盘、如CD ROM或其它光介质进行读取或写入 的光盘驱动器。驱动器及其关联的机器可读介质提供对机器可读指令、数据结构、程序模块 和用于计算机的其它数据的非易失性存储。
[0012] 实施例中公开的方法的技术效果包括增加远程成像系统对于对象检测、跟踪和识 别的实用性和性能。高光谱跟踪系统（其实现通过本发明的方法所生成的多维光谱反射率 轮廓）可健壮地减轻错误肯定和错误否定（其通常在重新获取或者对象签名预测期间发 生）。例如，空间跟踪技术与多维光谱反射率轮廓的融合将降低传统空间跟踪中因阻塞引起 的误差。多维光谱反射率轮廓提供被成像的感兴趣对象的寿命特性的轮廓。从这个轮廓， 高光谱跟踪系统的操作人员可表征和推断对象的性质，包括：对象怎样移动、对象移动时看 起来象什么、对象多大、对象的相对侧相差多少等。
[0013] 图1是示出按照本发明的一个实施例、生成空间和光谱对象模型的方法的流程 图。一开始，在步骤1〇〇,高光谱成像装置101可通过捕获经过空间和光谱解析的影像，来 获取并且跟踪感兴趣对象。高光谱成像装置101优选地可以是凝视阵列高光谱摄像机。但 是，其它已知的高光谱成像装置101可包括具有快速扫描光谱照相装置的组合凝视阵列彩 色/全色照相装置。
[0014] 高光谱成像装置101例如可以是在移动平台200上固定的，或者可以是在固定平 台300上活动的，或者可以是它们的任何组合。在活动平台200上，例如图2所示，高光谱 成像装置101可对感兴趣对象212进行成像，其中被成像区域202、204、206、208的覆盖区 部分因平台200的移动而移动。平台的移动可以是由高光谱成像装置101所经过的弧线 220、由高光谱成像装置101所经过的线条210或者通过平台200的可操作性所支配的任何 运动。在静止平台300上，例如图3所示，高光谱成像装置101可在平台300上沿单轴旋转 移动，以对感兴趣对象310进行跟踪和成像。在这种情况下，被成像覆盖区312、314、316沿 着弧线318,以对感兴趣对象310进行成像。在大多数情况下，感兴趣对象310不会沿着覆 盖区的相同弧线318,在这种情况下，覆盖区的透视将发生变化。感兴趣对象212、310也可 以是静止或移动的。将会显而易见，高光谱成像装置101与被成像的感兴趣212、310之间 的相对运动将改变高光谱成像装置101与感兴趣对象212、310之间的透视。因此，感兴趣 对象212、310的所观测光谱反射率将至少部分作为变化的相对透视的函数而改变。
[0015] 再次参照图1，在步骤102,高光谱成像装置101可得到一系列高光谱图像103。平 台上的处理器可执行高光谱图像103系列的处理，或者可指示向远程位置传送高光谱图像 103系列，供第二处理器或者处理系统（统称为"处理器"）进行处理。为了确定系列中的 高光谱图像103之间的对齐，处理器可采用图像稳定性技术逐帧偏移高光谱图像103系列， 以抵消例如可通过平台的移动而引入的运动和抖动。对象的高光谱图像103系列可具有感 兴趣对象212、310与高光谱成像装置101之间的相对运动。
[0016] 在步骤104,处理器可确定感兴趣对象212、310与高光谱成像装置101之间的相对 运动的至少一个参数105。例如，处理器可使用来自测量相对和绝对定位的车载传感器定位 系统的数据。示例车载系统可包括与绝对定位系统、例如GPS相结合的相对定位系统，例如 惯性导航系统。连同车载定位数据一起，处理器可确定高光谱图像103系列中的差，以推断 感兴趣对象212、310的运动，并且估计从高光谱成像装置101到感兴趣对象212、310的范 围。处理器可确定作为高光谱成像装置101与感兴趣对象212、310之间的旋转（即，滚动、 俯仰、偏转）和平移（即，X、y、z)变化的相对运动。处理器可采用欧拉角和方向向量对相 对运动进行参数化。根据实现，高光谱成像装置101与感兴趣对象212、310之间的相对运 动的其它参数化可适用。处理器可映射对象212、310与高光谱成像装置101之间的相对运 动的参数105,以在步骤106确定系列中的各高光谱图像中的对象212、310的取向107。
[0017] 在确定高光谱图像103系列的每个中的感兴趣对象212、310的取向107时，处理 器在步骤108可识别高光谱图像103系列的每个中的感兴趣对象212、310的空间部分109。 然后，在步骤110,处理器可将光谱签名111指配给高光谱图像103系列的每个中的感兴趣 对象212、310的各空间部分109。基于向感兴趣对象212、310的空间部分109指配光谱签 名111，处理器可在步骤112生成多维光谱反射率轮廓113。光谱反射率轮廓113的维度通 过对象212、310的取向107、空间部分109以及与空间部分109关联的光谱签名111来确 定。因此，多维光谱反射率轮廓113可连同对象的空间或几何描述一起，来描述感兴趣对象 212、310的光谱反射率签名111以及光谱反射率签名111之间的空间关系。
[0018] 为了进行说明，图4展示三个不同取向400、402、404的被成像车辆212或310的空 间划分。对于在取向400的车辆的第一被成像侧，处理器识别四个空间部分410、412、414、 416。对于在取向402的车辆的第二被成像侧，处理器识别四个空间部分418、420、422、424。 对于在取向404的车辆的第三被成像侧，处理器识别四个空间部分426、428、430、432。然 后，处理器基于高光谱影像向每个空间部分指配光谱签名。在这个示例中，对于总共12个 不同的光谱签名，对于三个被成像取向的每个将将存在四个不同的光谱签名。因此，在这个 图示中，多维光谱反射率轮廓113包括三个取向，各具有四个空间部分109,并且各空间部 分具有一个对应光谱反射率签名111。
[0019] 回到图1，一旦生成多维光谱反射率轮廓113,处理器可分类高光谱图像103的系 列中的感兴趣对象212、310。多维光谱反射率轮廓113对空间维的描述和感兴趣对象212、 310的光谱纹理进行编码。处理器可实现附加处理技术，以确定感兴趣对象212、310的空间 部分109的大小和形状连同纹理特性。
[0020] 在步骤114完成该方法时，高光谱成像装置101可重新获取高光谱图像103的连 续系列中的感兴趣对象212、310。处理器基于高光谱影像的连续集合来改进对象的多维光 谱反射率轮廓113。虽然初始遍可产生对象的未观察到的取向，但是连续遍可开始填充先前 未观察到的取向的多维光谱反射率轮廓113的模型。
[0021] 相反，处理器可改进先前所观察取向的多维光谱反射率轮廓113。当处理器重新 获取处于先前所观察取向的对象时，处理器可通过基于高光谱图像的积分时间对光谱签名 111进行加权，来更新先前生成的多维光谱反射率轮廓113。例如，如果先前观察到给定取 向107的给定空间部分109达0. 1秒以确定光谱签名111并且然后进行附加测量0. 2秒， 则多维光谱反射率轮廓113中的取向107的空间部分109的光谱签名111可调整成对新测 量的加权为旧测量的两倍。
[0022] 本书面描述使用示例来公开本发明，其中包括最佳模式，以及还使本领域的技术 人员能够实施本发明，包括制作和使用任何装置或系统并且执行任何结合的方法。本发明 的专利范围由权利要求来定义，并且可包括本领域的技术人员想到的其它示例。如果这类 其它示例具有与权利要求的文字语言完全相同的结构要素，或者如果它们包括具有与权利 要求的文字语言的非实质差异的等效结构要素，则它们意在落入权利要求书的范围之内。
[0023] 附图标记说明 1〇〇 方法开始 101 高光谱成像装置 102 得到一系列高光谱图像 103 高光谱图像系列 104 确定相对运动 105 相对运动的一个参数 106 确定被成像对象的取向 107 对象的取向 108 识别对象的空间部分 109 空间部分 110 向对象指配光谱签名 111 光谱签名 112 生成对象的多维光谱反射率轮廓 113 多维光谱反射率轮廓 114 方法结束 200 高光谱成像装置的平台 202、204、206、208 被成像区域的覆盖区 210 由成像装置所经过的线条 220 由成像装置所经过的弧线 212 被成像车辆 300 高光谱成像装置的平台 310 被成像车辆 312、314、316被成像区域的覆盖区 318 覆盖区的弧长 400、402、404某个取向的车辆的被成像侧 410、412、414、416 某个取向的车辆的被成像侧的空间部分 418、420、422、424 某个取向的车辆的被成像侧的空间部分 426、428、430、432 某个取向的车辆的被成像侧的空间部分。
【权利要求】
1. 一种使用高光谱成像装置来改进对象的光谱反射率轮廓的方法，包括： 得到所述对象的一系列高光谱图像，其中在所述对象与所述高光谱成像装置之间存在 相对运动； 确定所述相对运动的至少一个参数； 映射所述至少一个参数，以确定所述系列中的各高光谱图像中的所述对象的取向； 识别所述系列中的各高光谱图像中的所述对象的至少两个空间部分； 向各空间部分指配光谱签名；以及 从所述取向、所述至少两个空间部分和所述光谱签名来生成多维光谱反射率轮廓。
2. 如权利要求1所述的方法，其中，生成多维光谱反射率轮廓的步骤包括确定所述至 少两个空间部分的大小和形状的步骤。
3. 如权利要求1所述的方法，其中，生成所述多维光谱反射率轮廓的步骤包括： 更新先前生成的多维光谱反射率轮廓；以及 基于所述高光谱图像的积分时间，来对所述光谱签名进行加权。
4. 如权利要求1所述的方法，其中，所述高光谱成像装置是静止的，而所述对象处于运 动中。
5. 如权利要求1所述的方法，其中，所述高光谱成像装置处于运动中，而所述对象是静 止的。
6. 如权利要求1所述的方法，其中，所述高光谱成像装置和所述对象处于运动中。
7. 如权利要求1所述的方法，其中，所述至少一个参数包括欧拉角。
8. 如权利要求1所述的方法，其中，所述至少一个参数包括方向向量。
9. 如权利要求1所述的方法，还包括基于所述多维光谱反射率轮廓来对所述高光谱图 像系列中的所述对象进行分类的步骤。
10. 如权利要求1所述的方法，还包括基于所述多维光谱反射率轮廓来重新获取高光 谱图像的连续系列中的所述对象的步骤。
【文档编号】G06T7/20GK104112280SQ201410054142
【公开日】2014年10月22日 申请日期:2014年2月18日 优先权日:2013年4月18日
【发明者】E.D.比勒, B.T.奥基平蒂 申请人:通用电气航空系统有限责任公司