基于场景内容可视化点云数据的方法

专利名称：基于场景内容可视化点云数据的方法
技术领域：
本发明涉及点云数据的可视化领域，且更具体而言涉及基于场景内容的点云数据的可视化。
背景技术：
三维(3D)型感测系统常用于产生在各种应用中使用的位置的3D图像。例如，使用这种3D图像来创建用于军事操作或民事活动的安全训练或计划环境、用于产生拓扑地图或者用于地点的监视。这种感测系统典型地通过捕获与位置相关的高程数据而工作。3D型感测系统的一个示例是光检测和定距(LIDAR)系统。LIDAR型3D感测系统通过记录来自单个激光脉冲的多个定距回声以产生帧(有时也被称为图像帧)来产生数据。因此，LIDAR数据的每个图像帧将包含对应于传感器孔径内的多个定距回声的三维点的集合(3D点云)。 这些点可以被组织成代表三维空间中规则栅格上的值的“体素(voxel)”。3D成像中使用的体素类似于在2D成像装置的背景下使用的像素。这些帧可以被处理以重构该位置的3D图像。就这方面而言，应当理解，3D点云中的每个点具有表示3D中场景内的实际表面的个体 χ、y禾口 ζ值。为了进一步帮助解读3D点云，使用色图来增强点云数据的可视化。即，对于3D点云中的每一点，根据诸如海拔的预定义变量选择颜色。因此，颜色中的变化一般用于识别地平面以上不同高度或海拔的点。然而，尽管使用这种常规色图，3D点云仍难以解读。

发明内容
本发明的实施例提供基于场景内容使用色图可视化空间或点云数据的系统和方法。在本发明的第一实施例中，提供一种用于改善位置的空间数据的可视化和解读的方法。 该方法包括从多个场景标签选择用于该位置的辐射测量图像数据的第一部分的第一场景标签，以及选择空间数据的第一部分，其中该空间数据包括与辐射测量图像数据的第一部分相关的多个三维(3D)数据点。该方法还包括基于第一场景标签从多个颜色空间函数选择用于空间数据的第一部分的第一颜色空间函数，该多个颜色空间函数中的每一个根据多个3D数据点的海拔坐标限定色调、饱和度和强度(HSI)值。该方法还包括使用与空间数据的第一部分相关的多个3D数据点使用从第一颜色空间函数选择的HSI值显示空间数据的第一部分。在该方法中，多个场景标签与多个分类相关联，其中，该多个颜色空间函数中的每一个表示与多个分类中的每一个相关的HSI值中的不同预定义的变化。在本发明的第二实施例中，提供用于改善位置的空间数据的可视化和解读的系统。该系统包括用于接收与位置相关的空间数据和辐射测量图像数据的存储元件以及通信地耦合到该存储元件的处理元件。在该系统中，处理元件被配置成从多个场景标签选择用于该位置的辐射测量图像数据的第一部分的第一场景标签以及选择空间数据的第一部分， 其中该空间数据的第一部分包括与辐射测量图像数据的第一部分相关的多个三维(3D)数据点。该处理元件还被配置成从多个颜色空间函数选择用于空间数据的第一部分的第一颜色空间函数，该选择基于第一场景标签，且该多个颜色空间函数中的每一个根据多个3D数据点的海拔坐标限定色调、饱和度和强度(HSI)值。该系统还被配置成使用与空间数据的第一部分相关的多个3D数据点使用从第一颜色空间函数选择的HSI值显示空间数据的第一部分。在该系统中，多个场景标签与多个分类相关联，其中该多个颜色空间函数中的每一个表示与多个分类中的每一个相关的HSI值中的不同预定义的变化。在本发明的第三实施例中，提供一种计算机可读介质，其上存储有用于改善位置的空间数据的可视化和解读的计算机程序。该计算机程序包括多个代码部分，该多个代码部分可以被计算机执行。该计算机程序包括用于从多个场景标签选择用于该位置的辐射测量图像数据的第一部分的第一场景标签且选择空间数据的第一部分的代码部分，该空间数据包括与辐射测量图像数据的第一部分相关的多个三维(3D)数据点。该计算机程序还包括用于从多个颜色空间函数选择用于空间数据的第一部分的第一颜色空间函数的代码部分，该选择基于第一场景标签，且该多个颜色空间函数中的每一个根据多个3D数据点的海拔坐标限定色度、饱和度和强度(HSI)值。该计算机程序还包括用于使用与空间数据的第一部分相关的多个3D数据点使用从第一颜色空间函数选择的HSI值显示空间数据的第一部分的代码部分。在该计算机程序中，多个场景标签与多个分类相关联，其中该多个颜色空间函数中的每一个表示与多个分类中的每一个相关的HSI值中的不同预定变化。


图1示出根据本发明的实施例用于收集3D点云数据的示例性数据收集系统。图2示出根据本发明的实施例包含获取的3D点云数据的示例性图像帧。图3A示出城市位置的示意图，说明通常在城市位置内观察到的对象的类型。图:3B示出自然或乡村位置的示意图，说明通常在自然或乡村位置内观察到的对象的类型。图4A示出有助于理解在自然或乡村位置中包含的某些限定的海拔或高度的图
7J\ ο图4B示出有助于理解在城市位置包含的某些限定的海拔或高度的图示。图5是基于根据海拔或地平面上的高度而变化的HSI颜色空间在本发明的实施例中使用的用于自然区域或位置的示例性归一化色图的图形表示。图6是基于根据海拔或地平面上的高度而变化的HSI颜色空间在本发明的实施例中使用的用于城市区域或位置的示例性归一化色图的图形表示。图7示出图5和6的色图的备选表示。图8A示出根据本发明的实施例获取的示例性辐射测量图像。图8B示出根据本发明的实施例在执行特征检测之后图8A的示例性辐射测量图像。图8C示出根据本发明的实施例在执行特征检测和区域限定之后图8A的示例性辐射测量图像。图9A示出根据本发明的实施例在添加颜色数据之后与图8A中的辐射测量图像相关联的3D点云数据900的顶视图。图9B示出根据本发明的实施例在添加颜色数据之后与图8A中的辐射测量图像相关联的3D点云数据900的透视图。图10示出根据本发明的实施例的辐射测量图像的谱分析的示例性结果。图IlA示出根据本发明的实施例在基于谱分析添加颜色数据之后3D点云数据的顶视图。图IlB示出根据本发明的实施例在基于谱分析添加颜色数据之后3D点云数据的透视图。图12示出包含大量3D点云数据的帧如何分割成多个子帧。
具体实施例方式参考附图描述本发明，其中贯穿附图，相似的参考标号用于指示相似或等价的元件。附图未按比例绘制，且提供它们仅用于说明本发明的一些实施例。下面参考说明性示例应用描述本发明的若干方面。应当理解，提出各种特定细节、关系和方法是为了提供本发明的透彻理解。然而本领域技术人员容易意识到本发明可以不使用特定细节中的一个或多个实践或者可以使用其他方法实践。在其他实例中，不详细示出已知结构或操作以避免混淆本发明。本发明不受行为或事件的所示顺序限制，因为一些行为可以以不同顺序发生和/ 或与其他行为或事件同步发生。而且，并不需要所有示出的行为或事件来实施根据本发明的方法。3D成像系统产生3D点云数据的一个或多个帧。这种3D成像系统的一个示例是常规LIDAR成像系统。一般地，这种LIDAR系统使用高能激光器、光学检测器以及定时电路来确定与目标的距离。在常规LIDAR系统中，一个或多个激光脉冲用于照射一场景。每个脉冲触发定时电路，该定时电路与检测器阵列结合工作。一般而言，系统测量用于光脉冲的每个像素的经过从激光器到目标且返回到检测器阵列的往返路径的时间。来自目标的反射光在检测器阵列中被检测到且其往返传播时间被测量以确定到该目标上的一点的距离。针对包含目标的很多点获得计算出的范围或距离信息，由此形成3D点云。该3D点云可以用于呈现对象的3D形状。一般而言，解释3D点云来识别场景中的对象可能是困难的。因为3D点云仅仅相对于参考位置指定空间信息，最多只提供场景中的对象的高度和形状。一些常规系统还将强度图像与3D点云数据一起提供以帮助观察者确定高度差。然而，人类视皮层典型地基于关于场景的信息(包括场景中不同对象的形状、大小和颜色)的组合解释被观察对象。因此，即使与强度图像相关联，常规3D点云一般并不为视皮层提供足够的信息来适当地识别通过3D点云成像的很多对象。一般而言，人类视皮层通过基于原先观察的对象或原先观察的场景识别场景中的被观察对象而工作。因此，由视皮层对场景中的对象进行的正确识别不仅依赖于对象的的性质，还依赖于识别场景中不同类型的对象之间的已知关联。为了克服常规3D点云显示系统的限制且促进人类视皮层对3D点云的解读，本发明的实施例提供了用于基于辐射测量图像向3D点云数据的不同区域应用不同色图的系统和方法。具体地，根据辐射测量图像中的相关区域的标记或分类，将与不同地形类型相关的不同色图与3D点云数据相关联。例如，如果辐射测量图像的区域示出人造地形的区域(例如，地形以诸如建筑、路面、车辆的人工或人造特征为主的区域)，则与在这种区域中典型观察到的颜色范围相关的色图被应用于3D点云的相应区域。对照地，如果辐射测量图像的区域示出自然地形的区域(例如，由植物或诸如水、树木、沙漠的其他自然特征为主的区域)， 则与这些类型的区域中典型观察到的颜色范围相关的色图被应用于3D点云的相应区域。 因此，通过向3D点云的不同部分应用不同色图，在3D点云的不同部分中更可能与对象的形状相关的颜色被呈现给观察者且更容易被人类视皮层识别。当在此使用时，术语“辐射测量图像”指的是通过使用在一个或多个电磁波长上工作的一个或多个传感器或检测器获得的位置的二维表示(图像)。图1中示出根据本发明的实施例用于收集3D点云数据和相关图像数据的示例性数据收集系统100。如图1所示，要成像的物理体积108可以包含诸如树木、车辆和建筑的一个或多个对象104、106。出于本发明的目的，物理体积108可以理解成地理位置。例如， 地理位置可以是具有树木的丛林或森林区域的一部分或者是具有各种建筑或其他人造结构的城市或城镇的一部分。在本发明的各个实施例中，使用各种不同传感器成像物理体积108。如图1所示， 使用一个或多个传感器102-i、102-j收集3D点云数据，且使用一个其他的辐射测量图像传感器103-i、103-j收集相关辐射测量图像的数据。传感器102-i、102-j、103-i和103-j可以是任意远程布置的传感器或成像装置。例如，举例而非限制性而言，传感器102-i、102-j、 103-i和103-j可以定位为在高处的观察结构、飞机、航天器或太空对象上操作。S卩，从相对于物理体积108升高的固定或移动的任意位置获取该远程数据。而且，尽管传感器102-i、 102-j、103-i和103-j示为分离的成像系统，传感器102-i、102-j、103-i和103-j中的两个或更多个可以组合成单个成像系统。另外，单个传感器可以配置成以两个或更多不同姿态获得数据。例如，飞机或航天器上的单个传感器可以配置成当它在物理体积108上方移动时获得图像数据。在一些实例中，传感器102-i和102-j与对象104之间的视线部分地被另一对象 (阻挡对象)106模糊。在LIDAR系统的情况中，阻挡对象106可以包含诸如来自树木的叶子的自然材料或者诸如防空网的人造材料。应当意识到，在很多情形中，阻挡对象106将本质上多少是有孔的。因此，传感器102-i、102-j将能够检测到对象104的通过阻挡对象106 的有孔区域可见的部分。对象104的通过这种有孔区域可见的部分将根据传感器的特定位置变化。通过从诸如传感器102-i和102-j的若干姿势收集数据，可以获得3D点云数据的聚集。典型地，数据的聚集借助于登记过程实现。登记过程通过在传感器旋转和位置方面校正帧之间的差异来组合来自两个或更多帧的数据，使得数据可以以有意义的方式组合。本领域技术人员应当意识到，存在可用于登记这种数据的若干不同技术。在这种登记之后，来自两个或更多帧的聚集的3D点云数据可以被分析以改善阻挡对象106阻挡的对象104的识别。然而，本发明的实施例不仅限于所聚集的数据。即，可以使用多个图像帧或单个图像帧产生3D点云数据。在本发明的各个实施例中，传感器103-i和103-j收集的辐射测量图像数据可以包括用于从各个辐射测量传感器获取的图像的强度数据，每个传感器与特定范围的波长 (即谱带)相关。因此，在本发明的各个实施例中，辐射测量图像数据可以包括多谱( 4 个带)、超谱(> 100个带)和/或全色(单带)图像数据。另外，这些带可以包括人眼可见或不可见的波长。
在本发明的各个施例中，可以使用任意类型的聚集或融合技术执行3D点云数据的聚集或多带辐射测量图像的融合。基于与3D点云数据和辐射测量图像数据相关的元数据，聚集或融合可以基于待组合的数据的登记或对准。元数据可以包括适于促进登记过程的信息，包括关于传感器或被成像位置的附加信息。举例而非限制性而言，元数据包括识别图像获取的日期和/或时间的信息、识别被成像的地理位置的信息或指定传感器的位置的信息。例如，识别被成像的地理位置的信息可以包括可在元数据中提供的矩形图像的4个角的地理坐标。尽管将一般以某位置的一组3D点云数据与和相同位置相关的相应一组辐射测量图像数据组合的方式描述本发明的各个实施例，本发明在此方面不受限制。在本发明的各个实施例中，任意数目的3D点云数据组和任意数目的辐射测量图像数据组可以组合。例如，可以在本发明的各个实施例中使用3D点云数据和/或辐射测量图像数据的拼嵌。图2是根据本发明的实施例包含获取的3D点云数据200的示例性图像帧。在本发明的一些实施例中，可以从传感器102-i、102-j以不同姿态获得的这种3D点云数据的两个或更多帧聚集3D点云数据200，如图1所示，且使用合适的登记过程登记。这样，3D点云数据200限定了体积中的一组数据点的位置，每个数据点可以通过三维空间中χ、y或ζ轴上的位置限定。使用传感器102-i、102-j执行的测量以及后续登记过程(如果使用聚集) 来限定每个数据点的X、1、ζ位置。即，每个数据点与地理位置和海拔相关。在本发明的各个实施例中，3D点云数据是用于改善可视化而编码的颜色。例如， 根据每一点的海拔或ζ轴位置选择3D点云数据的每一点的显示颜色。为了判断针对各个 ζ轴坐标位置的点显示哪个特定颜色，可以使用色图。例如，红色可以用于位于小于3米的高度的所有点，绿色可以用于3米至5米之间的高度处的所有点，且蓝色可用于高于5米的所有点。更详细的色图可以使用沿着ζ轴以较小增量变化的更大范围的颜色。尽管色图的使用在可视化由3D点云数据表达的结构中具有一些帮助，向3D点云数据中的所有点应用单个常规色图用于改善可视化的目的时一般来说效果不好。首先，诸如在常规红色、绿色或蓝色(RGB)色图中提供太宽的颜色范围提供的3D点云的颜色编码的差异与在对象中典型观察到的颜色差异不一致。第二，提供单个常规色图为一些类型的场景提供不正确的着色。 因此，本发明的实施例替代地提供改善的3D点云可视化，其对成像位置中多种类型地形使用多个色图，其中可以针对典型与地形相关的不同类型的特征(即，建筑、树木、道路、水) 调节该多个色图。这种配置允许通过对每个区域使用与这些区域中的对象类型相关的颜色来颜色编码3D点云数据的不同区域，这允许人类视皮层的3D点云数据的改善解释。尽管可以使用任意类型的不同色图，在本发明的一些实施例中，可以针对每一种类型的场景使用根据色调、饱和度和强度(HSI颜色空间)限定的非线性色图。当在此使用时，“色调”指的是纯颜色、“饱和度”指的是程度或颜色对比度，且“强度”指的是颜色亮度。因而，HSI颜色空间中的特定颜色被称为三元组的一组HSI值(h，s, i)唯一地表示。 h的值一般可从0至360° (0° ^ h ^ 360° )。s和i的值一般从0至1 (0 < s < 1)， (0 < i < 1)。为方便起见，当在此讨论时，h的值有时被表示为归一化值，该归一化值被计算为h/360。明显地，HSI颜色空间以人类一般觉察颜色的方式建模且因此在创建用于可视化用于不同场景的3D点云数据的不同色图时是有用的。而且，HSI三元组可以容易转换为其他颜色空间定义，诸如公知的RGB颜色空间系统，其中红色、绿色和蓝色“原色”的组合用于表示所有其他颜色。因此，HSI颜色空间中表示的颜色可以容易地转化成在基于RGB的装置中使用的RGB值。相反，RGB颜色空间中表示的颜色可以数学地转换到HSI颜色空间。这种关系的实例在下面的表中示出
权利要求
1.一种用于改善位置的空间数据的可视化和解读的方法，包含从多个场景标签中选择用于所述位置的辐射测量图像数据的第一部分的第一场景标签；选择所述空间数据的第一部分，所述空间数据包括与所述辐射测量图像数据的所述第一部分相关的多个三维(3D)数据点；从多个颜色空间函数中选择用于所述空间数据的所述第一部分的第一颜色空间函数， 所述选择基于所述第一场景标签，并且所述多个颜色空间函数中的每一个根据所述多个3D 数据点的海拔坐标限定色调、饱和度和强度(HSI)值；以及使用与所述空间数据的所述第一部分相关的所述多个3D数据点，使用从所述第一颜色空间函数选择的所述HSI值，显示所述空间数据的所述第一部分，其中所述多个场景标签与多个分类相关联，并且其中所述多个颜色空间函数中的每一个表示与所述多个分类其中之一相关联的所述HSI值中的不同预定义变化。
2.根据权利要求1所述的方法，其中所述选择所述第一场景标签还包含 将所述辐射测量图像数据分割成多个部分；以及对于所述多个部分中的每一个选择所述多个场景标签之一。
3.根据权利要求1所述的方法，其中所述选择所述第一场景标签还包含 识别所述辐射测量图像数据的所述第一部分中的一个或多个特征类型；以及基于所述辐射测量图像数据的所述第一部分中识别的所述特征类型至少之一，确定用于所述空间数据的所述第一部分的所述第一场景标签。
4.根据权利要求3所述的方法，其中所述识别还包含基于执行所述辐射测量图像数据的所述第一部分的几何分析和所述辐射测量图像数据的所述第一部分的谱分析至少之一识别所述类型的特征。
5.根据权利要求4所述的方法，其中所述执行所述几何分析包含检测边缘特征、角点特征、斑点特征或脊特征中的至少一个。
6.根据权利要求4所述的方法，其中所述辐射测量图像数据包含用于多个谱带的图像数据，且其中所述执行所述谱分析包含通过评估所述多个谱带至少之一来检测特征。
7.一种改善位置的空间数据的可视化和解读的系统，包含用于接收与所述位置相关的所述空间数据和辐射测量图像数据的存储元件；以及通信地耦合到所述存储元件的处理元件，其中该处理元件被配置成从多个场景标签中选择用于所述位置的辐射测量图像数据的第一部分的第一场景标签；选择所述空间数据的第一部分，所述空间数据的所述第一部分包括与所述辐射测量图像数据的所述第一部分相关的多个三维(3D)数据点；从多个颜色空间函数中选择用于所述空间数据的所述第一部分的第一颜色空间函数， 所述选择基于所述第一场景标签，并且所述多个颜色空间函数中的每一个根据所述多个3D 数据点的海拔坐标限定色调、饱和度和强度(HSI)值；以及使用与所述空间数据的所述第一部分相关的所述多个3D数据点，使用从所述第一颜色空间函数选择的所述HSI值，显示所述空间数据的所述第一部分，其中所述多个场景标签与多个分类相关联，并且其中所述多个颜色空间函数中的每一个表示与所述多个分类其中之一相关联的所述HSI值中的不同的预定义变化。
8.根据权利要求7所述的系统，其中所述处理元件还被配置成在所述第一场景标签的所述选择期间用于将所述辐射测量图像数据分割成多个部分；以及对于所述多个部分中的每一个选择所述多个场景标签之一。
9.根据权利要求7所述的系统，其中所述处理元件还被配置成在所述第一场景标签的所述选择期间用于识别所述辐射测量图像数据的所述第一部分中的一个或多个类型的特征；以及基于所述辐射测量图像数据的所述第一部分中识别的所述类型的特征至少之一，确定用于所述空间数据的所述第一部分的所述第一场景标签。
10.根据权利要求9所述的系统，其中所述处理元件还被配置成在所述识别期间用于 基于执行所述辐射测量图像数据的所述第一部分的几何分析和所述辐射测量图像数据的所述第一部分的谱分析至少之一识别所述类型的特征。
11.根据权利要求10所述的系统，其中所述执行所述几何分析包含检测边缘特征、角点特征、斑点特征或脊特征中的至少一个。
12.根据权利要求10所述的系统，其中所述辐射测量图像数据包含用于多个谱带的图像数据，并且其中所述执行所述谱分析包含通过评估所述多个谱带至少之一来检测特征。
全文摘要
提供用于关联颜色与空间数据的系统和方法。在该系统和方法中，选择用于位置的辐射测量图像数据(800)的一部分804的场景标签，且选择与辐射测量图像数据的该第一部分相关的空间数据(200)的一部分。基于场景标签，选择用于空间数据的该部分的颜色空间函数(500，600)，其中颜色空间函数定义色调、饱和度和强度(HSI)值为空间数据的海拔坐标的函数。使用基于空间数据的该部分从颜色空间函数选择的HSI值显示空间数据的该部分。在该系统和方法中，场景标签均与不同分类相关联，其中每个颜色空间函数表示用于相关分类的HSI值中的不同预定变化。
文档编号G06T11/00GK102317979SQ201080007491
公开日2012年1月11日 申请日期2010年2月10日 优先权日2009年2月13日
发明者A·O·史密斯, K·格鲁维纳, K·米尼尔 申请人:哈里公司