点云去噪系统和方法与流程

相关申请的交叉引用

本申请要求于2018年12月27日提交且题为“点云去噪系统和方法(pointclouddenoisingsystemsandmethods)”的美国临时专利申请第62/785,673号和于2017年12月29日提交且题为“点云去噪系统和方法(pointclouddenoisingsystemsandmethods)”的美国临时专利申请第62/612,305号的优先权和权益，通过引用将这两个美国临时专利申请的全部内容合并与此。

一个或多个实施例总体上涉及成像系统，更具体地，例如涉及点云去噪系统和方法。

背景技术：

成像系统可以包括检测器的阵列，其中，每个检测器用作像素以产生二维图像的一部分。存在各种各样的图像检测器，例如可见图像检测器、红外图像检测器或可以设置在图像检测器阵列中以用于捕获图像的其他类型的图像检测器。作为示例，可以在图像检测器阵列中设置多个传感器以检测期望波长的电磁(em)辐射。在一些情况下，例如对于红外成像，可以通过读出集成电路(roic)以时分复用的方式执行由检测器捕获的图像数据的读出。读出的图像数据可以被传送到其他电路，例如用于处理、存储和/或显示。在一些情况下，检测器阵列和roic的组合可以被称为焦平面阵列(fpa)。用于fpa和图像处理的处理技术的进步导致所得成像系统的能力增强和复杂性提高。

技术实现要素：

在一个或多个实施例中，一种方法包括对于点云的每个点确定相应的局部坐标系。该方法还包括基于每个相应的局部坐标系对于点云的每个点确定相应的第一自适应形状邻域。该方法进一步包括执行与每个相应的第一自适应形状邻域关联的滤波，以获得对于点云的每个点的相应的第二自适应形状邻域。该方法还包括确定每个第二自适应形状邻域内部的点的局部估计。该方法进一步包括聚合点云的每个点的局部估计以获得去噪的点云。

在一个或多个实施例中，一种成像系统包括一个或多个处理器以及包括存储在其中的指令的非暂时性机器可读介质，当指令由一个或多个处理器执行时使一个或多个处理器执行上述操作方法。就这一点而言，在一个示例中，操作包括对于点云的每个点确定相应的局部坐标系。该操作还包括基于每个相应的局部坐标系对于点云的每个点确定相应的第一自适应形状邻域。该操作还包括执行与每个相应的第一自适应形状邻域关联的滤波，以获得对于点云的每个点的相应的第二自适应形状邻域。所述操作还包括确定每个第二自适应形状邻域内部的点的局部估计。所述操作还包括聚合局部估计以获得去噪的点云。

本发明的范围由权利要求限定，该权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员将更全面地理解本发明的实施例，并实现本发明的附加优点。将参考将首先简要描述的附图。

附图说明

图1示出了根据本公开的实施例的示例成像系统的框图。

图2示出了根据本公开的一个或多个实施例的示例图像传感器组件的框图。

图3a示出了根据本公开的一个或多个实施例的由具有不同大小的多个方向窗(directionalwindow)构成的各向异性邻域。

图3b和3c分别示出了根据本公开的一个或多个实施例的在具有噪声的莱娜(lena)图像和摄影师(cameraman)图像中产生的示例各向异性邻域。

图4示出了根据本公开的一个或多个实施例的示例点云去噪管线的流程图。

图5a和5b示出了计算具有噪声的小兔子点云中的一个点的局部坐标系(lcs)。在图5a中，示出了一个点及其k最近邻点(knn)。在图5b中，提供了图5a的放大图，其中，示出了一个点、k最近邻点和lcs的三个主轴。

图6a示出了根据本公开的一个或多个实施例的从顶部观察的点pi的方向邻域(directionalneighborhood)。

图6b示出了根据本公开的一个或多个实施例的从侧面观察的点pi的方向邻域。

图6c和6d从两个另外的角度示出了图6a的方向邻域。

图7示出了从不同的视角可视化的通过lpa-ici针对具有噪声的立方体点云中的点计算的自适应方向邻域的示例。

图8a示出了在应用加权顺序统计量(weightedorderstatistics，wos)滤波之前的自适应方向邻域的示例，其中，从lpa-ici获得的邻域大小可能错误地拉伸了跨越锐利边缘的邻域。

图8b示出了根据本公开的一个或多个实施例在wos滤波之后在图8a中提供的示例。

图8c示出了在应用wos滤波之前的自适应方向邻域的示例，其中，即使当邻域的边界仍然远离任何锐利边缘时，从lpa-ici获得的邻域大小也可以很小。

图8d示出了根据本公开的一个或多个实施例的在wos滤波之后在图8c中提供的示例。

图9示出了用于方向wos滤波的权重图。

图10示出了根据本公开的一个或多个实施例的当接近边缘时自适应方向大小减小。

图11a示出了具有噪声的立方体点云中的点pi。

图11b示出了来自不同点的不同方向邻域的呈不同颜色并叠加在具有噪声的点云上的估计的点。

图11c和11d从不同角度示出了图11a和11b的视图。

图12a示出了具有噪声的立方体点云。

图12b示出了根据本公开的一个或多个实施例的通过执行去噪的图12a的去噪结果。

图12c和12d提供了与图12a和12b相同的点云，其中，每个点具有指示其点到表面距离的颜色。

图13a示出了示例性具有噪声的小兔子点云。

图13b示出了根据本公开的一个或多个实施例的在应用去噪之后的小兔子点云的去噪结果。

图13c示出了示例性具有噪声的犰狳臂(armadilloarm)点云。

图13d示出了根据本公开的一个或多个实施例的在应用去噪之后的犰狳臂点云的去噪结果。

图14a示出了具有噪声的扇盘(fandisk)点云的重构3d表面，其中，σ等于0.005(列的最顶部)、0.01(列的中间)和0.02(列的底部)。

图14b、14c、14d和14e分别示出了通过应用mls、双边、rimls和基于图的正则化的图14a的去噪结果的3d表面。

图14f示出了根据本公开的一个或多个实施例的通过应用去噪的图14a的去噪结果的3d表面。

图15a-15f分别使用颜色示出了图14a-14f的具有噪声或去噪的点云的点到表面的距离。

图16a示出了在不叠加在小兔子点云上的情况下应用八叉树结构分割的示例。

图16b示出了在叠加在小兔子点云上的情况下应用八叉树结构分割的示例。

图17示出了根据一个或多个实施例的用于促进点云去噪的示例过程的流程图。

图18a示出了小兔子点云中的一个点的lcs。

图18b示出了与小兔子点云关联的knn。

图18c和18d示出了从图18b所示的knn的不同角度的放大图。

图19a、19c和19e图示了建筑物的具有噪声的点云的示例。

图19b、19d和19f示出了根据一个或多个实施例的分别对应于图19a、19c和19e的点云的去噪和稠密化的点云的示例。

图20a示出了温室的具有噪声的点云。

图20b示出了根据本公开的一个或多个实施例的对应于图20a的点云的去噪和稠密化的点云。

图20c示出了图20a的具有噪声的点云的不同视图。

图20d示出了对应于图20c的点云的去噪和稠密化的点云。

图21示出了示例性运动中恢复结构(structure-from-motion)过程的流程图。

图22示出了根据本公开的一个或多个实施例的用于促进点云的构造的示例过程的流程图。

图23a示出了示例性可见光图像。

图23b和23c示出了超分辨率红外图像的示例。

图23d、23e和23f示出了根据本公开的一个或多个实施例的分别至少使用图23a的可见光图像、图23b的超分辨率红外图像和图23c的超分辨率红外图像构造的输出点云。

图24示出了根据本公开的一个或多个实施例的用于促进点云稠密化和去噪的示例过程的流程图。

图25a示出了点p的knn的lcs。

图25b示出了图25a的lcs的一部分的放大图。

通过参考下面的详细描述，将最好地理解本公开的实施例及其优点。应当理解，相同的附图标记用于标识在一个或多个附图中示出的相同元件。

具体实施方式

以下阐述的详细描述旨在作为主题技术的各种配置的描述，而无意于表示可以实践主题技术的唯一配置。附图被并入本文并且构成详细描述的一部分。为了提供对主题技术的透彻理解，详细描述包括具体细节。然而，对于本领域技术人员而言将显而易见的是，主题技术不限于本文阐述的具体细节，并且可以使用一个或多个实施例来实践。在一个或多个实例中，以框图形式示出了结构和部件，以避免模糊主题技术的概念。本公开的一个或多个实施例由一个或多个图示出和/或结合一个或多个图描述，并且在权利要求中阐述。

在一些实施例中，提供了用于对点云进行去噪的技术，例如以提高3d空间中的采样点的空间准确性(例如，位置)。就这一点而言，用于从一组2d图像生成点云的方法通常重度依赖于图像的分辨率和对比度。本文提供的技术可以允许使用基于来自具有高空间分辨率和高对比度的传感器的信息(例如，受其限制)的空间密度但还使用来自不同模态的第二(例如，可能是较低分辨率的)成像器的信号值(例如，测量单位)来构造点云。

在一些方面，可见光谱(vis)图像可以与红外(ir)图像一起使用，以构造具有多光谱通道的干净且稠密的3d点云(pcd)，从而呈现现实世界场景的颜色和温度信息。例如，在一些情况下，可以使用从双传感器设备和/或分开的可见光和红外成像器获取的可见光图像和红外图像来提供多光谱3d场景构造。在一些情况下，可以提供一种技术来自适应地对生成的3dpcd模型的不同部分进行稠密化和/或去噪。可以在3d点云的每个部分中确定局部点密度和噪声水平，并且可以基于该信息在保留内部锐利的边缘和拐角的同时执行(例如，独立地执行)每个局部点云区域的稠密化和去噪。

在一些情况下，在3d应用程序中使用可见光谱辅助的超分辨率(vis-aided-sr)，例如将较低分辨率模态传感器(例如，热)的分辨率与较高分辨率传感器的分辨率进行匹配。以这种方式，由高分辨率成像器生成的3d点具有来自低分辨率传感器的等效，而不会模糊通常可能存在的上采样的伪影。在一方面，可以在校正点云中的点的位置误差的同时保留3d空间中的高空间频率边缘。例如，可以在对平滑表面进行去噪(平坦化)的同时保留锐利的拐角和边缘，以提供高质量3d图像。

因此，使用各种实施例，可以利用本文提供的技术来促进3d点云(例如，3d点云模型)的构造，例如从多个图像、点云的稠密化和/或点云的去噪。在一些方面，通过使用场景的一组视图来重构3d点云。可以通过减轻影响云中的点的噪声(例如，通过去噪)和/或通过向云添加更多的点(例如，通过稠密化)以获得更稠密的点云来改善获得的点云。

图1示出了根据本公开的一个或多个实施例的示例性成像系统100(例如，红外成像系统)的框图。然而，并非所有所描绘的部件都是必需的，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文所阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行改变。可以提供附加的部件、不同的组件和/或更少的部件。

根据本公开的实施例，成像系统100可以用于捕获和处理图像和视频(例如，视频帧)。根据一个实施方式，成像系统100包括处理部件110、存储器部件120、图像捕获部件130、图像接口134、控制部件140、显示部件150、感测部件160和/或网络接口180。在一个实施例中，成像系统100可以包括便携式设备，并且可以被结合到例如载具(例如，汽车或其他类型的陆基载具、无人飞行器(uav)、无人飞机系统(uas)、无人机或其他类型的飞机或航天器)或需要存储和/或显示图像的非移动设备中。

成像系统100可以表示成像设备，例如视频和/或静态相机，以捕获和处理场景170的图像和/或视频。就这一点而言，成像系统100的图像捕获部件130可以被配置为以特定频谱或模态捕获场景170的图像(例如，静态和/或视频图像)。例如，在一些实施例中，图像捕获部件130可以包括可以在任何消费相机(例如，可见光相机)中找到的互补金属氧化物半导体(cmos)传感器或电荷耦接器件(ccd)传感器。在一些其他实施例中，替代地或另外地，图像捕获部件130可以包括红外(ir)成像传感器，其被配置为检测近、中和/或远红外光谱中的ir辐射并提供表示来自场景170的ir辐射的ir图像(例如，ir图像数据或信号)。在一个特定的非限制性示例中，图像捕获部件130可以包括热ir成像传感器，该热ir成像传感器具有响应于包括短波ir(swir)、中波ir(mwir)和/或长波ir(lwir)辐射的热ir辐射的检测器的焦平面阵列(fpa)。

可以在图像捕获部件130中实现的其他成像传感器包括pmd成像传感器或其他tof成像传感器、lidar成像设备、毫米成像设备、pet扫描仪、spect扫描仪、超声成像设备或在特定模态或光谱中操作的其他成像设备。要注意的是，对于那些被配置为在特定模态和/或光谱(例如，红外光谱等)中捕获图像的成像传感器中的一些，例如，与一般的基于cmos或基于ccd的成像传感器或其他成像传感器、成像扫描仪或不同模态的成像设备相比，它们更易于产生具有低频阴影的图像。

由图像捕获部件130提供的图像或与图像对应的数字图像数据可以与相应的图像尺寸(也称为像素尺寸)关联。图像尺寸或像素尺寸通常是指图像中的像素数量，例如对于二维图像，其可以用宽度乘以高度来表达，或者适合于图像的相关尺寸或形状的其他方式来表达。因此，可以将具有原生分辨率的图像大小调整为较小的大小(例如，具有较小的像素尺寸)，以便例如减少处理和分析图像的成本。可以基于对调整大小的图像的分析来生成滤波器(例如，非均匀性估计)。然后，在将滤波器应用于图像之前，可以将其大小调整为图像的原生分辨率和尺寸。

根据各种实施例，处理部件110包括处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件(pld)(例如，现场可编程门阵列(fpga))、数字信号处理(dsp)器件或其他可以通过硬连线、执行软件指令或两者的组合来配置的逻辑器件中的一个或多个，以执行本文中针对本公开实施例讨论的各种操作。处理部件110可以被配置为与成像系统100的各种其他部件接口连接并通信，以执行这样的操作。在一方面，处理部件110可以被配置为执行各种系统控制操作(例如，以控制成像系统100的各种部件的通信和操作)和其他图像处理操作(例如，数据转换、视频分析、噪声抑制)，作为从图像去除非均匀数据的操作的一部分或单独于这样的操作的一部分。

在一些实施例中，单独的机器可读介质121(例如，例如硬盘驱动器、紧凑式盘、数字视频盘或闪存的存储器)可以存储软件指令和/或配置数据，其可以由计算机(例如，基于逻辑器件或基于处理器的系统)执行或访问以执行本文公开的各种方法和操作。在一方面，机器可读介质121可以是便携式的和/或位置与系统100分离，其中，通过将计算机可读介质耦接到系统100和/或通过系统100从计算机可读介质121下载(例如，经由有线链接和/或无线链接)而将存储的软件指令和/或数据提供给系统100。

在一个实施例中，存储器部件120包括一个或多个存储器设备，其被配置为存储数据和信息，包括视频图像数据和信息。存储器部件120可以包括一种或多种各种类型的存储器设备，包括易失性和非易失性存储器设备，例如随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存、硬盘驱动器和/或其他类型的存储器。如上所述，处理部件110可以被配置为执行存储在存储器部件120中的软件指令，以执行本文所述的方法和过程步骤和/或操作。处理部件110和/或图像接口134可以被配置为将由图像捕获部件130捕获的图像或数字图像数据存储在存储器部件120中。处理部件110可以被配置为将经处理的静态图像和/或视频图像存储在存储器部件120中。

在一些实施例中，图像接口134可以包括适当的输入端口、连接器、开关和/或配置为与外部设备(例如，远程设备182和/或其他设备)接口连接以接收由外部设备生成或存储在外部设备处的图像(例如，数字图像数据)的电路。所接收的图像或图像数据可以被提供给处理部件110。就这一点而言，所接收的图像或图像数据可以被转换成适合于由处理部件110处理的信号或数据。例如，在一个实施例中，图像接口134可以被配置为接收模拟视频数据并将其转换为合适的数字数据以提供给处理部件110。

在一些实施例中，图像接口134可以包括各种标准视频端口，其可以连接到视频播放器、视频记录器或能够生成标准视频信号的其他设备，并且其可以将所接收的视频信号转换为适合于由处理部件110处理的数字视频/图像数据。在一些实施例中，图像接口134还可以被配置为与图像捕获部件130接口连接并从图像捕获部件130接收图像(例如，图像数据)。在其他实施例中，图像捕获部件130可以直接与处理部件110接口连接。

在一个实施例中，控制部件140包括适于生成用户输入控制信号的用户输入和/或接口设备，例如可旋转旋钮(例如，电位计)、按钮、滑动条、键盘和/或其他设备。处理部件110可以被配置为经由控制部件140感测来自用户的控制输入信号，并且响应于从其接收的任何感测的控制输入信号。如本领域技术人员通常所理解的，处理部件110可以被配置为将这样的控制输入信号解释为值。在一个实施例中，控制部件140可以包括控制单元(例如，有线或无线手持式控制单元)，该控制单元具有适于与用户接口连接并接收用户输入控制值的按钮。在一个实施方式中，控制单元的按钮可以用于控制成像系统100的各种功能，例如自动聚焦、菜单启用和选择、视场、亮度、对比度、噪声滤波、图像增强和/或成像系统或相机的各种其他功能。

在一个实施例中，显示部件150包括图像显示设备(例如，液晶显示器(lcd))或各种其他类型的通常已知的视频显示器或监视器。处理部件110可以被配置为在显示部件150上显示图像数据和信息。处理部件110可以被配置为从存储器部件120获取图像数据和信息，并在显示部件150上显示任何获取的图像数据和信息。显示部件150可以包括显示电路，该显示电路可以被处理部件110用来显示图像数据和信息。显示部件150可以适于直接从图像捕获部件130、处理部件110和/或视频接口部件134接收图像数据和信息，或者可以经由处理部件110从存储器部件120传送图像数据和信息。

如本领域的技术人员将理解的，在一个实施例中，取决于应用或实现要求，感测部件160包括一个或多个各种类型的传感器。感测部件160的传感器至少向处理部件110提供数据和/或信息。在一方面，处理部件110可以被配置为与感测部件160通信。在各种实施方式中，感测部件160可以提供关于环境条件的信息，例如外部温度、照明条件(例如，白天、夜晚、黄昏和/或黎明)、湿度级别、特定天气条件(例如，太阳、雨水和/或雪)、距离(例如，激光测距仪或飞行时间相机)和/或是否进入或退出隧道或其他类型的外壳。感测部件160可以表示本领域技术人员通常已知的常规传感器，其用于监测可能对由图像捕获部件130提供的图像数据具有影响(例如，对图像显现具有影响)的各种条件(例如，环境条件)。

在一些实施方式中，感测部件160(例如，一个或多个传感器)可以包括经由有线和/或无线通信将信息中继到处理部件110的设备。例如，感测部件160可以适于通过本地广播(例如，射频(rf))传输、通过移动或蜂窝网络和/或通过基础设施(例如，交通或公路信息信标基础设施)中的信息信标或各种其他有线和/或无线技术接收来自卫星的信息。在一些实施例中，处理部件110可以使用从感测部件160获取的信息(例如，感测数据)来修改图像捕获部件130的配置(例如，调整感光度、调整图像捕获部件130的方向或角度、调整光圈等)。

在各个实施例中，成像系统100的各个部件可以根据需要或取决于应用或需求而被组合和/或被实现或不被实现。在一个示例中，处理部件110可以与存储器部件120、图像捕获部件130、视频接口部件134、显示部件150、网络接口180和/或感测部件160组合。在另一示例中，处理部件110可以与图像捕获部件130组合，使得处理部件110的某些功能由图像捕获部件130内的电路(例如，处理器、微处理器、逻辑器件、微控制器等)执行。

此外，在一些实施例中，成像系统100的各个部件可以被分布并且通过网络190彼此通信。就这一点而言，成像系统100可以包括配置为促进成像系统100的各个部件之间通过网络190的有线和/或无线通信的网络接口180。在这样的实施例中，如果系统100的特定应用需要，也可以复制部件。也就是说，针对相同或相似操作配置的部件可以分布在网络上。此外，如果需要，可以使用通过网络190经由网络接口180与成像系统100的各种部件通信的远程设备182(例如，常规数字视频记录器(dvr)、被配置用于图像处理的计算机和/或其他设备)的适当部件来实现各种部件中的任一个的全部或部分。因此，例如，处理部件110的全部或部分、存储器部件120的全部或部分和/或显示部件150的全部或部分可以在远程设备182处实现或复制，并被配置为执行如本文进一步描述的图像分辨率增强。在一些实施例中，成像系统100可以不包括成像传感器(例如，图像捕获部件130)，而是从位置与处理部件110和/或成像系统100的其他部件分离且位置远离处理部件110和/或成像系统100的其他部件的成像传感器接收图像或图像数据。应当理解，在不脱离本公开的范围和精神的情况下，成像系统100的分布式实施方式的许多其他组合都是可能的。

图2示出了根据本公开的一个或多个实施例的示例性图像传感器组件200的框图。然而，并非所有所描绘的组件都是必需的，并且一个或多个实施例可以包括图中未示出的附加部件。在不脱离本文阐述的权利要求的精神或范围的情况下，可以对部件的布置和类型进行变化。可以提供附加的部件、不同的部件和/或更少的部件。在一个实施例中，图像传感器组件200可以是焦平面阵列，例如，被实现为图1的图像捕获部件130中的图像传感器。

图像传感器组件200包括单位单元阵列205、列多路复用器210和215、列放大器220和225、行多路复用器230、控制偏置和定时电路235、数模转换器(dac)240和数据输出缓冲器245。单位单元阵列205包括单位单元的阵列。在一方面，每个单位单元可以包括检测器和接口电路。每个单位单元的接口电路可以响应于由单位单元的检测器提供的检测器信号(例如，检测器电流、检测器电压)来提供输出信号，例如输出电压或电流。输出信号可以指示由检测器接收的em辐射的大小。列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以用于从单位单元阵列205提供输出信号作为数据输出线250上的数据输出信号。数据输出信号可以是由图像传感器组件200的像素值形成的图像。就这一点而言，列多路复用器215、列放大器220、行多路复用器230和数据输出缓冲器245可以共同提供图像传感器组件200的roic(或其一部分)。

在一方面，列放大器225通常可以表示适合于给定应用(模拟和/或数字)的任何列处理电路，并且不限于用于模拟信号的放大器电路。就这一点而言，在这一方面，列放大器225可以更一般地称为列处理器。由列放大器225接收的信号，例如模拟总线上的模拟信号和/或数字总线上的数字信号，可以根据信号的模拟或数字性质来进行处理。作为示例，列放大器225可以包括用于处理数字信号的电路。作为另一示例，列放大器225可以是来自单位单元阵列的数字信号经过以到达列多路复用器215的路径(例如，不进行处理)。作为另一示例，列放大器225可以包括用于将模拟信号转换为数字信号的adc。可以将这些数字信号提供给列多路复用器215。

每个单位单元可以接收偏置信号(例如，偏置电压、偏置电流)以偏置单位单元的检测器，从而补偿可归因于例如温度变化、制造差异和/或其他因素的单位单元的不同响应特性。例如，控制偏置和定时电路235可以生成偏置信号并将它们提供给单位单元。通过向每个单位单元提供适当的偏置信号，可以有效地校准单位单元阵列205，以响应于入射到单位单元的检测器上的光(例如，ir光)来提供准确的图像数据。

在一方面，控制偏置和定时电路235可以生成偏置值、定时控制电压和开关控制电压。在一些情况下，dac240可以将作为数据输入信号线255上的数据输入信号或作为该数据输入信号的一部分接收的偏置值转换成偏置信号(例如，模拟信号线260上的模拟信号)，该偏置信号可以通过列多路复用器210、列放大器220和行多路复用器230的操作而提供给各个单位单元。在另一方面，控制偏置和定时电路235可以生成偏置信号(例如，模拟信号)并将该偏置信号提供给单位单元，而不利用dac240。就这一点而言，一些实施方式不包括dac240、数据输入信号线255和/或模拟信号线260。在一个实施例中，控制偏置和定时电路235可以是图1的处理部件110和/或成像捕获部件130、可以包括图1的处理部件110和/或成像捕获部件130、可以是图1的处理部件110和/或成像捕获部件130的一部分，或者可以以其他方式耦接到图1的处理部件110和/或成像捕获部件130。

在一方面，图像传感器组件200可以被实现为成像系统(例如，100)的一部分。除了图像传感器组件200的各种部件之外，成像系统还可以包括一个或多个处理器、存储器、逻辑器件、显示器、接口、透镜和/或在各种实现方式中可能适合的其他部件。在一方面，可以将数据输出线250上的数据输出信号提供给处理器(未示出)以进行进一步处理。例如，数据输出信号可以是由来自图像传感器组件200的单位单元的像素值形成的图像。处理器可以执行例如nuc、空间和/或时间滤波和/或其他操作的操作。图像(例如，经处理的图像)可以存储在存储器(例如，在成像系统外部或本地)中和/或显示在显示设备(例如，在成像系统外部和/或与成像系统集成)上。

通过非限制性示例，单位单元阵列205可以包括512×512(例如，512行和512列的单位单元)、1024×1024、2048×2048、4096×4096、8192×8192和/或其他阵列大小。在一些情况下，阵列大小可以具有与列大小(例如，列中的检测器数量)不同的行大小(例如，行中的检测器数量)。帧率的示例可以包括30hz、60hz和120hz。

在一些实施例中，提供了用于点云去噪算法的技术。在一些方面，这样的技术可以基于在局部坐标系上计算的多个各向异性表面自适应局部估计的聚合(aggregation)。在一些情况下，点云去噪可适于在保留锐利特征的同时抑制噪声。在一些情况下，这样的点云去噪可以减轻包含在三维(3d)点云中的位置误差(例如，其可能被认为是噪声)。就这一点而言，在一些情况下，这样的技术可以适用于提供稳定且准确的点云去噪性能，同时保留与常规方法相当或超过常规方法的锐利特征，例如在中等到强烈噪声的情况下，同时是局部的并且计算上代价低。

在许多应用(通过非限制性示例的方式，这些应用包括文化遗产保护、自主载具和虚拟现实)中使用点云数据，其可以包括3d点位置连同离散地表示3d场景或对象的一些其他附属属性(例如，颜色、点取向等)的集合。在一些情况下，这些数据可以是各种3d扫描设备的直接输出，或者可以使用摄影测量技术从在多个视点获取的照片计算得出。这样的自适应过程可能易于出现误差，例如由于扫描过程期间的振动或散射和/或因为多视点照片不理想(例如，受到反射、过曝或欠曝光、模糊、颗粒状)。这些测量误差可能会导致噪声破坏云中各个点的位置。为了允许有效地使用所采集的点云，通常期望例如通过使用本文所述的各种去噪技术来减轻噪声。

点云去噪可以基于移动最小二乘(mls)近似。在一些情况下，由于mls中的固定圆形对称(各向同性)权重，因此mls方法可能往往会过度平滑点云中的锐利特征。通过使用各向异性方法(例如通过使用对于点云的双边滤波器和/或通过使用表面法线的稳健正则化)，可以减轻或避免这样的问题。在一些方法中，可以检测锐利特征的位置，然后可以相应地解决平滑区域和锐利特征区域上的具有噪声的点。在滤波期间，可以采用平均曲率流技术来识别和恢复锐利的边缘。在一些情况下，可以在点云上构建图结构，从而将点云去噪问题转换为对图的信号处理。

在一些实施例中，可以基于在方向邻域上限定的mls估计的稠密聚合来提供用于点云的各向异性去噪算法，该方向邻域可以在局部上适应于点云下面的表面的形状。在一些情况下，可以采用局部多项式近似-置信区间交集(localpolynomialapproximation–intersectionofconfidenceintervals，lpa-ici)技术来确定(例如自动确定)每个点的自适应方向邻域。在一些情况下，使用lpa-ici技术，可以识别内部的点符合期望的多项式平滑度的最大邻域，因此它们可以避免边缘和奇异性，并且可以构成对局部mls估计的稳健自适应支持。在一个实施例中，通过特定于点云的正则化聚合过程，可以通过组合所有重叠的局部估计来获得点云的最终估计。

注意，lpa-ici技术最初被开发用于一维(1-d)信号的逐点(pointwise)的自适应非参数估计，并且进一步被开发成用于图像和视频的自适应各向异性滤波器。结合lpa-ici技术的设计灵活性和对图像内容的几何形状的准确适应性(如图3a-3c所示)，lpa-ici可以应用于图像去噪以及其他图像和视频恢复任务。图3a示出了由具有不同大小的多个方向窗构成的各向异性邻域。图3b和3c分别示出了由lpa-ici在具有噪声的莱娜图像和摄影师图像中产生的示例性各向异性邻域。在一些情况下，这些属性使lpa-ici适合处理点云数据。

在一些实施例中，提供关于以下一项或多项的示例性技术贡献：关于lcs的各向异性邻域结构的设计、用于在点云上滤波lpa-ici大小的方向加权顺序统计量(wos)滤波器的开发、估计(例如，最终估计)同时符合所有重叠的局部估计的聚合策略和/或点云的稳健噪声方差估计方法。在一方面，lcs可以指局部坐标系。

在一些实施例中，去噪方法可以利用lpa-ici。在一些情况下，lpa-ici可能更稳健(例如，与基于双边权重的方法相比)，因为lpa-ici可以基于测试局部估计量(estimator)的多尺度序列的统计一致性，而不仅仅是各个具有噪声的样本的相似性。因此，在重度噪声下使用lpa-ici的去噪方法可能更有效/更稳健。另外，通过将非对称方向邻域用于lpa-ici，与例如基于对称权重的mls方法相比，边缘和不连续性可适于使用更大的支撑(例如，因此更强的噪声衰减)。在图像去噪中，重叠的局部估计的聚合可以提高估计的稳定性和质量。结果，根据一个或多个实施例的本文提供的技术可以实现一致的结果，同时具有有效的噪声抑制和锐利特征的准确保留。

作为示例，考虑以下形式的具有噪声的点云p＝{pi,i∈[1,…,i]}

其中，qi是来自未知的无噪声点云q的点，ηi～n(μ,σ)为i.i.d.(例如，独立同分布)零均值高斯白噪声，其中，μ＝(0,0,0)^t并且σ＝σ²1，1是3×3单位矩阵(identitymatrix)。假定(边缘(marginal))方差σ²是已知的。在一些情况下，当方差未知时，可以从p对其进行估算。

每个点是一个3分量列向量，表示中的空间位置。可以将点云假定为底层表面(二维流形，表示为m)的离散具有噪声的样本。由于将噪声建模为各向同性的，所以沿表面法线测量的点到表面误差也具有方差σ²。可以使用去噪从p获得接近m，但不一定接近q的点云

在一些方面，可以估计噪声标准偏差(由σ表示)(例如，用于噪声水平估计)。这样的用于估计噪声标准偏差的方法扩展到点云，方法基于高频子带的绝对偏差中值(mad)，其是在例如小波文献等图像处理中建立的。类似于哈尔小波(haarwavelet)细节子带(例如，一阶有限差分)，可以提供向量d＝[d1,…di]，该向量由沿lcs的第三维的相邻点之间的差形成，其中

并且，pt是沿平面最接近pi的点：

然后，可以将噪声的标准偏差(用σ表示)估算为

图4示出了根据本公开的一个或多个实施例的示例性点云去噪管线(pipeline)的流程图。在一方面，可以执行lcs构造。对于每个点pi∈p，可以将其lcsli限定为其k最近邻点(neighbor)(knn或k-nn)的主轴，如图5a-5b所示。就这一点而言，图5a-5b示出了计算具有噪声的小兔子(bunny)点云中的一个点(表示为pi)的lcs。在图5a中，示出了一个点及其knn。在图5b中，示出了一个点(表示为pi)的放大图及其knn和lcs的三个主轴(由三条线510、515和520示出)。在图5b中一个邻点被标记为505。这可以为lcs构造和局部法线估计提供高效的方法，因为第三主轴也很好地估计当前点的底层表面的法线。任意点pm∈p的对应局部坐标为li的原点设置在pi处，因此此外，第三主分量可以表示为ei，其中，

在一方面，可以提供自适应方向大小。各向异性lpa-ici可以允许关于具有不同大小的不同方向邻域对底层表面m的局部平滑度进行建模。如本文所述，可以将lpa-ici考虑用于点云。

可以提供自适应方向邻域结构。在点云的情况下，方向邻域是的子体积，这些子体积与p相交以选择点。每个方向邻域内的点都被当做m的局部平滑部分的一部分。各向异性可以由允许沿不同方向的邻域具有不同的大小而产生。就这一点而言，每个邻域可以在多个方向中的每个方向上各向异性地延伸。

具体地，对于每个pi，可以考虑分别在由li的前两个主轴限定的四个象限内的四个方向邻域。如图6a-6d中的示例所示，每个方向邻域是直角矩形棱柱(例如，矩形棱柱625、630、635和640)。图6a示出了从顶部(沿着局部坐标系的轴)观察的pi的方向邻域。图6b示出了从侧面(沿着局部坐标系的轴)观察的pi的方向邻域。类似地，图6c和6d从两个另外的角度示出了直角矩形棱柱邻域。在图6b中，角度为θ＝π/4的箭头指示由表示的邻域的方向。平面605表示平面。三条不同颜色的线(例如，三条正交线605、610和615)表示局部坐标系li的三个轴。棱柱的底是一个h×h的正方形，其中，h限定方向邻域的大小；通过li的构造，棱柱的高度沿着法线，并且被设置为等于max{5σ,2h}，使得棱柱足够高以包括来自pi的邻域的具有噪声的样本，而不使流形的其他部分相交。

pi的每个方向邻域可以表示为其中，是大小，并且给出平面内的方向，也如图6a和6b所示。此外，令是内点的索引，即

在一方面，可以提供逐点的多项式估计。对于坐标用统一的权重计算lpa核(用于函数估计)。这些核将m在pi处对于li的法线高程(normalelevation)的多项式近似产生为

在一方面，提供了自适应大小选择。估计的各向异性需要自适应选择每个点的方向邻域的大小并且针对每个方向进行自适应选择。ici技术可以用于此任务。

具体来说，令为增加大小的预定集合，并对每个h∈h计算等式(2)，对所有大小使用相同的固定多项式阶数并产生估计的集合由于随着大小h而增长，所以这些估计的特征在于随着h方差减少并偏差增加。方差可以计算为而偏差是未知的。

ici规则从中选择自适应估计该自适应估计有助于优化偏差-方差权衡。就这一点而言，从最小的h1开始并增加大小，ici可以逐渐和与估计关联的置信区间相交，只要区间具有公共的非空交集(commonnon-emptyintersection)。自适应大小是交集为空之前的最大的大小。对应的自适应方向邻域表示为在一方面，lpa-ici可以允许检测由于邻域在与假定的多项式平滑度不相容的边缘或锐利特征上扩展而导致的偏差的增加。

图7示出了从不同的视角可视化的通过lpa-ici从立方体的具有噪声的点云中的点计算的自适应方向邻域的示例。位于邻域内部的点以不同的颜色提供。表i总结了在一些情况下该点云以及其他点云(例如，本文所述)的参数。

表i

实验中使用的具有噪声的点云的参数

在一方面，提供了方向大小改进。在一些情况下，从lpa-ici取得的邻域大小可能存在缺陷。作为一个示例，一些邻域大小可能错误地拉伸越过锐利边缘的邻域(例如，图8a)，而一些邻域大小可能即使在它们的边界仍然远离任何锐利边缘时生成小的邻域(例如，图8c)。如图8b和8d所示，可以应用经由加权顺序统计量(wos)的对方向自适应lpa-ici大小的稳健的后滤波。在一些情况下，这些wos对于较接近的邻近点并具有类似方向的自适应大小可能具有较大的权重。点云的情况可能涉及复杂性，因为可以关于不同的lcs限定不同点的方向邻域大小。因此，对于给定点pi和方向θj，沿着θj的附近点pt的方向大小可以由下式提供(例如，被限定为下式)：

其中，是在中被视为两个向量的pt的lcs中的方向θ与pi的lcs中的方向θj之间的内积。

每个进入wos，其权重限定为pi的lcs中点pt的坐标的函数。图9示出了箭头指示的方向θj的权重分布。在这一点而言，图9示出了用于方向wos滤波的权重图。该图在pi的局部坐标系中的平面上限定，并且箭头指示所考虑的方向。相对于所考虑的方向靠近pi并位于pi前面的点具有更大的wos权重。

作为示例，在图8a-8d和10中给出了对自适应方向大小的选择的改进的视觉评估。在图10中，对于具有噪声的立方体点云中的每个点，上面的等式(3)用于沿着平行于立方体边缘的六个方向中的每一个计算其方向邻域大小。颜色明亮的点指示方向大小较大，反之亦然。图10示出了当接近边缘时自适应方向大小减小。

在wos之后，为了进行表示，将pi的改进的方向大小仍表示为并且对应的方向邻域仍表示为

在一方面，提供了具有自适应方向邻域大小的估计。在一些情况下，具有自适应方向大小的估计可以通过等式(2)计算，其中，代替hj(例如，由于等式(3)，可能不在h中)。因此，可以关于pi的lcs将该估计写作：

或关于规范坐标写作：

其中，ei是pi的knn的第三主分量，限定先前提供的lcsli。

在一方面，提供了聚合的估计。对于每个点pi，现在有四个方向邻域，其自适应大小为并且具有来自等式(4)-(5)的对应估计。在一些情况下，原则上可能存在三种替代方法来估计第一种方法可以是组合四个自适应估计(5)第二种方法可以是基于四个方向邻域的并集中的所有点限定新的局部估计，即第三种方法可以是限定同时符合来自不同点的重叠的自适应方向邻域的许多局部估计的聚合估计。在一些情况下，第一种方法可能最简单，但是产生的结果不足以进行图像去噪。在一些情况下，第二种方法假定四个邻域共享唯一的底层平滑表面，而当pi在边缘上时不会发生这种情况。

在一些实施例中，为了利用每个点的重叠估计的重复度(multiplicity)(例如，图11a-11d)，可以利用第三种方法。图11a示出了具有噪声的立方体点云中的点pi。图11b示出了来自不同点的不同方向邻域的呈不同颜色并叠加在具有噪声的点云上的估计的点，例如，所有这些邻域都包含pi。图11c和11d从不同角度示出了图11a和11b的视图。

在使用第三种方法时，估计可以被限定为

其中，ki提供包含pi的任何自适应方向邻域的点和方向索引(n,θ)，是由lpa在自适应方向邻域上拟合的多项式表面，d是点到表面的距离，λ>0是正则化参数，并且是与表面对数据的平均二次拟合成反比的权重

其中，是中包括的点数。

在一些情况下，等式(6)中的第一加数可以促进估计其接近于拟合在包含具有噪声的点pi的自适应邻域内的多项式表面。在一方面，估计可以被称为图像估计。由于点到表面的距离是沿表面法线测量的，因此仅第一加数的最小化就可能引起估计沿与表面相切的方向的大漂移。等式(6)中的第二加数是防止这种大漂移的二次正则项。权重赋予可能在其自己的自适应邻域中对数据具有更好的拟合的表面更多重要性。

在1阶情况下，可以使用1阶lpa。对于1阶lpa，表面是平坦平面。这些平面中的每个平面由位于平面内的点和垂直于该平面的向量(表示为vn,θ)来表征。在一些情况下，计算法向量vn,θ等效于计算平面的梯度，这可以通过等式(2)进行估算，使用lpa核进行偏导数的估计代替lpa核进行函数的估计。在这种情况下，等式(6)变为

这在q上是二次的，并且可以通过将梯度归零为

即

来解算，其使用矩阵向量符号变为其中

因此，可以通过将3×3矩阵a的左矩阵除以向量b来获得在一些情况下，该方法可能是高效的，因为它不涉及将(n,θ)∈ki的多个估计存储在存储器中，因为这些被逐步聚合到a和b缓冲器中。

如果则可以自然地丢弃局部估计，因为平面及其法线vn,θ无法被限定。对于1阶情况，可以凭经验发现权重

产生更好的结果，因为这些权重平衡了具有方差误差的拟合误差(由于邻域中给定的很少样本而导致的过拟合)。在一方面，下面描述的实验基于1阶情况。

为了验证去噪算法的准确性和合意的方面，根据一个或多个实施例，可以执行实验。上面的表1中提供了用于验证的点云的参数。使用以下参数获得此处呈现的结果：

ici阈值γ＝0.5；

knnk＝100；

lpa尺度集

其中，δ是所考虑点云的中值分离距离。等式(6)中的正则化参数λ被设置为0.1。

本文提供了视觉和定量的去噪结果。对于定量结果，可以基于基准真相(groundtruth)点云计算点到表面的距离。该点到表面的距离由图12a-12d中的颜色表示，其中，较亮的颜色指示较大的距离，反之亦然。图12a示出了具有噪声的立方体点云。图12b示出了根据本公开的一个或多个实施例的通过执行去噪的图12a的去噪结果。图12c和12d提供图12a和12b的相同点云，每个点具有指示其点到表面的距离的颜色。

在图12b中，可以看到，即使如在图12a中当噪声比非常高时，去噪的立方体点云的边缘和拐角也可以被很好地恢复。在利用根据实施例的去噪方法时，可以提供在平滑区域和锐利边缘区域上的点到表面距离的一致地良好的性能，如图12d中由均匀分配的深色所示。在此示例中，去噪前后的平均点到表面的距离分别为1.5365和0.3281。

图13a-13d示出了当对具有复杂的形状和/或严重的破坏(corruption)的点云进行去噪时，本文提出的去噪方法的性能。特别地，图13a示出了示例性具有噪声的兔子点云。图13b示出了根据本公开的一个或多个实施例的在应用去噪之后的兔子点云的去噪结果。图13c示出了示例性具有噪声的犰狳臂点云。图13d示出了根据本公开的一个或多个实施例的在应用去噪之后的犰狳臂点云的去噪结果。

从结果可以看出，去噪技术保持了恢复点云中精细特征(例如图13b中的兔子点云的细耳部分以及图13d中的精细边缘特征(通过方框强调))的能力。去噪前后的平均点到面距离对于兔子是2.38×10^-3和8.11×10^-4，对于犰狳臂是1.13和0.41。

可以提供与其他算法(包括其他点云去噪算法)的比较。所比较的算法包括mls方法(例如，经典mls方法)、双边滤波器、rimls和基于图的正则化算法。在一个示例中，可以使用点云库(pcl)来实现mls方法，可以将源代码应用于点云的双边滤波，可以通过使用meshlab软件中的相应集成功能来实现rimls算法，以及使用与基于图的正则化算法关联的源代码。在一些情况下，可以仔细调整与这些算法关联的参数，以平衡降噪与特征保留之间的权衡。

比较中使用了具有不同噪声水平的扇盘点云。为了促进对去噪性能的评估，在图14a-14e中构建并提供了具有噪声的点云和去噪点云的表面。图14a示出了具有噪声的扇盘点云的重构3d表面，其中，σ等于0.005(列的最顶部)、0.01(列的中间)和0.02(列的底部)。图14b、14c、14d和14e示出了通过分别应用mls、双边、rimls和基于图的正则化的图14a的去噪结果的3d表面。图14f示出了根据本公开的一个或多个实施例的通过应用去噪的图14a的去噪结果的3d表面。

如将图14f与图14b-14e中的每一个进行比较所示，根据实施例的去噪方法可以保持锐利边缘以及恢复(例如，最大程度地恢复)平滑区域。其他方法可能会使边缘过度平滑(例如，图14b)和/或不会很好地对平滑区域进行去噪(例如，图14c-14e)。

图14a-14f中的具有噪声和去噪的点云的点到表面的距离分别由图15a-15f中的颜色呈现。就这一点而言，每个点的颜色指示其点到表面的距离。在一些情况下，对于颜色来说，在图14b-14e中可能看起来不错的结果关于点到表面的距离可能不好。例如，来自图14e的顶行中所示的基于图的正则化方法的结果具有指示基于图的正则化方法不会很好地恢复锐利的边缘特征的对应的点到平面图表(plot)。如图15e的底行所示，基于图的正则化方法还可能存在与点聚类有关的问题。

在一方面，表ii中呈现了各种方法的定量去噪结果。

表ii

具有噪声的扇盘点云和使用mls、双边、rimls、基于图的正则化和所提出的算法的去噪扇盘点云的平均点到平面距离。

就这一点而言，对于具有不同输入扇盘点云的每种方法，表ii中呈现了输出点云的平均点到表面距离。可以看出，根据一个或多个实施例的去噪方法在所有方法中取得了最佳的去噪性能，对于不同噪声水平的所有三个输入扇盘点云具有最小的平均点到表面距离。

因此，在一个或多个实施例中，提供了点云去噪系统和方法。在一些方面，这样的点云去噪可以基于在局部地适应于点云的底层表面的形状的方向邻域上计算的多个mls表面的聚合。在一个示例中，可以对于每个点的lcs执行lpa-ici技术以及wos滤波器(例如，稳健的wos滤波器)，以实现自适应方向邻域大小。然后，可以实现来自不同自适应方向邻域的一个点的重叠局部估计的稠密聚合，以获得当前点的稳定且准确的最终估计。由于与本文提出的点云去噪方法相关的自适应设计，该去噪在保留点云中的精细特征和锐利边缘的同时降低了噪声。

在一些情况下，可以提供用于点云去噪方法的附加特征。作为示例，当处理大点云数据时，可以提供离群值去除的预处理和/或分割算子(partitioningoperator)。对于分割算子，可以使用有或没有重叠区域的八叉树结构(例如，参见图16a-16b)。就这一点而言，图16a和图16b示出了在不具有重叠和具有重叠的情况下在兔子点云上应用八叉树结构分割的示例。在一些情况下，通过应用分割算子，八叉树的每个叶子中的子点云可以独立地被处理，并可以使用并行计算来实现。

图17示出了根据一个或多个实施例的用于促进点云去噪的示例过程的流程图。示例过程的框在本文中被描述为串行地或线性地(例如，一个接一个地)发生。但是，示例过程的多个框可以并行发生。另外，示例过程的框不需要以所示的顺序执行和/或不需要执行示例过程的框中的一个或多个。在一个实施例中，图1的处理部件110可以用于执行图17的示例过程。

在该过程中，提供了原始(例如，初始)具有噪声的点云(pcd)1745。在一个实施例中，具有噪声的点云1745可以是图24的点云2445。在框1705处，对于具有噪声的点云1745计算lcs。在一方面，对于每个点计算lcd以利于与lpa-ici一起使用，因为lpa-ici是基于每个点的lcs计算的。在图5a和18a中示出了计算兔子点云中一个点的lcs的示例。在图18a中，单个点被表示为p。图18b示出了图18a的兔子点云中的单个点p的knn1805。注意，提供图18b中的knn1805周围的实心椭圆以标识knn1805，该实心椭圆不是兔子点云的一部分。图18c示出了图18b所示的knn的放大图。图18d从与图18c不同的角度示出了图18b所示的knn的另一放大图。点p的lcs的坐标可以分别表示为和图18c和18d的线1810、1815和1820表示lcs的坐标方向。

可以使用参数(表示为gam)来限定用于计算lcs的knn的大小。在一种情况下，可以基于经验观察将参数的当前值设置为100。注意，在一些情况下，该参数的较小值可能会增加噪声对计算lcs的影响，从而增加局部表面法线的估计的方差(例如，图18c和图18d的线1810)。参数的较大值可能会占用可能覆盖具有不同法线的几个表面的较大knn区域，减少了方差，但增加了表面法线估计的偏差，因此选择了不正确的lcs来表示表面。

在框1710处，使用lpa-ici方法(例如，各向异性lpa-ici方法)来获得每个点的自适应形状邻域(表示为1750)。在一个方面，自适应形状邻域可以如下进行构造：每个点具有直角矩形棱柱形状的四个邻域；每个矩形棱柱沿平面具有相等的长度和宽度(即，正方形)(其长度/宽度表示为l)，并且沿方向的高度为2l(即高度的一半位于平面的每一侧)。图6a-6d中示出了自适应形状邻域的结构的示例。线610、615和620分别表示和利用lpa-ici方法，可以对于每个点确定l。图7呈现了具有噪声的立方体点云上一个点的自适应形状邻域的另一示例。

对于邻域的每个方向可以预先选择一组l值。在lpa-ici期间，可以执行迭代以测试每个l并基于ici规则选择优化的l。可以使用各种参数来计算该组l值。参数可以包括start_scale参数，步长(steps)参数和dim_inc_times参数。在一些情况下，lk＝scale_in_use×(start_scale+steps^k)，0≤k≤dim_inc_times，其中，scale_in_use是本文稍后描述的单位参数。作为示例设置，start_scale＝3，并且dim_inc_times＝6。使用此设置，l的组可以是[0,4,4.4142,5,5.8284,7,8.6569,11]×scale_in_use。第一个值可以是0，因为ici可以从第一测试为空。另一参数是ici规则中使用的阈值(表示为gam)。此参数的较小值可以产生较小的邻域，从而产生较小的平滑。此参数的较大值可以生成较大的邻域，因此生成更平滑的结果。

在框1715处，在lpa-ici之后应用wos滤波器，以获得每个点的改进的自适应形状邻域(表示为1755)。在一方面，wos滤波器可以减少噪声的随机性对自适应邻域尺度(neighborhoodscale)的影响，并因此提高ici规则的效率。在wos滤波期间，将一个点的最近的8个点的邻域尺度用作加权中值操作的输入，从而输出当前中心点的改进的邻域尺度。权重可以由相邻点相对于中心点的位置(例如，距离和方向)确定。在图8a-8d中呈现了在wos滤波之前和之后的邻域尺度的示例。这些图示出，在lpa-ici方法之后，wos滤波操作可以修正一些不正确的邻域尺度，包括过度增长的邻域(例如，图8a)和欠增长的邻域(例如，图8c)。

wos滤波后的改进的自适应邻域尺度用于后续的聚合步骤。进行了视觉评估，以估计ici规则的效率并检查自适应邻域尺度的行为，并在图10中进行了呈现。在图10中，通过“热”颜色指示沿六个方向在立方体点云上的所有点的分解的邻域尺度。具有亮色的点具有较大的邻域尺度，而具有暗色的点具有较小的尺度。沿特定方向，远离边缘的点的尺度往往大于较靠近边缘的点的尺度。就这一点而言，lpa-ici方法可以防止邻域窗口越过边缘和过度平滑点云中的边缘特征。

在基于原始具有噪声的点计算每个点的四个邻域的尺度之后，过程1700前进到框1720。在框1720处，将lpa(例如，一阶lpa)应用于每个单邻域中的点(例如，该lpa估计被称为图块(patch))，以获得每个邻域图块中的点的估计(表示为1760)。在一方面，它可能有来自不同邻域图块的多个估计。例如，图11a中所示的具有噪声的立方体点云中的点(表示为pi)具有覆盖它的400多个图块(例如，这些图块在图11b-11d中以不同的颜色示出)。

在框1725处，进行关于是否激活稠密化的确定。在一方面，可以通过检查标志的值来进行该确定。例如，可以设置稠密化标志值，使得标志值1指示稠密化被激活，而标志值0指示稠密化被去激活。如果确定未激活稠密化，则过程1700前进到框1730。在框1730处，对局部估计进行聚合以获得去噪点云(表示为1765)。在一方面，可以将点pi的局部估计聚合如下：

其中，m是包含q的估计的图块数，ai是第i图块中的点，并且是第i图块的法向量。

然后，使用来计算从点p到第i图块的距离的平方，而表示p与q之间的距离的平方。的等式(7)将找到使到所有m个图块的加权距离最小并靠近点q的点p。所得的点可以用作点q的最终估计。在一种情况下，权重wi可由对于具有噪声的点的每个邻域图块估计的均方误差(mse)确定。例如，更具体地，如果第i邻域图块很好地符合局部有噪声的点(例如，它具有小mse)，则wi将很大。如果第i路径不很好地符合局部点，则wi将很小。φ是保真度参数，用于调整等式(7)第二项的影响。在这种情况下，最终输出点云被去噪。

图12a-12d和图13a-13d中呈现了聚合之后的去噪结果的示例。图12a-12d中的热图表示点云与基准真相之间的距离。较亮的颜色指示距离较大，而较暗的颜色指示距离较小。如图12b所示，立方体点云的形状边缘被很好地恢复。而且，在图12d中，边缘和拐角上的点具有与平滑区域上的点相似的颜色，从而指示在平滑区域、边缘和拐角上的一致性能。

如果确定稠密化被激活，则过程1700从框1725前进到框1735。基于原始的具有噪声的点，计算每个点的四个邻域的尺度。在框1735处，通过找到每个稠密点的对应邻域图块，将自适应邻域图块映射到稠密化点云(表示为1770)，从而在每个图块内部产生更多点。就这一点而言，在框1760处获得的局部估计与稠密化点云关联。稠密化点云是具有噪声的点云1745的稠密化版本。在一个实施例中，可以在图24的框2435处获得稠密化点云。对于每个稠密化点，可以使用等式(7)来确定局部估计。在框1740处，将局部估计聚合以获得经稠密化且去噪的点云(表示为1775)。框1730的描述总体适用于框1740。在这种情况下，对最终输出点云进行去噪和稠密化。

图19a、19c和19e示出了建筑物的具有噪声的点云的示例。图19b、19d和19f分别示出了对应于图19a、19c和19e的点云的去噪和稠密化点云的示例。图20a示出了温室的具有噪声的点云。图20b示出了根据本公开的一个或多个实施例的与图20a的点云对应的去噪和稠密化点云。图20c示出了图20a的具有噪声的点云的不同视图。图20d示出了对应于图20c的点云的去噪和稠密化点云。例如，图20d示出了利用本文描述的技术进行的去噪保留了点云的锐利边缘。

在一个或多个实施例中，本文提供了促进3d点云的构造的技术。可以利用本文描述的稠密化和去噪技术对构造的点云进行稠密化和/或去噪。在一些方面，可以利用主动方法和/或被动方法将对象和场景(例如，现实世界的对象和场景)投影到3d点云模型中。示例主动方法可以涉及使用各种3d扫描设备。示例被动方法可以基于运动恢复结构(sfm)。在一些情况下，被动方法(例如基于sfm的方法)在成本和实现方面可能高效，同时保持与主动方法提供的性能相似的性能。

在一个实施例中，基于sfm管线来构造点云。图21示出了示例sfm过程2100的流程图。示例过程的框在本文中被描述为串行地或线性地(例如，一个接一个地)发生。但是，示例过程的多个框可以并行发生。另外，示例过程的框不需要以所示的顺序执行和/或不需要执行示例过程的框中的一个或多个。在一个实施例中，图1的处理部件110可以用于执行图21的示例过程2100。

在框2105处，对输入图像2120执行关键点检测和匹配。关键点检测和匹配可以包括检测每个输入图像2120中的斑点(blob)和拐角特征(关联点称为关键点)，通过基于每对输入图像2120的局部特征匹配每对输入图像2120之间的关键点来确定多个图像之间的关键点对应关系，并从这些点对应关系计算每个输入图像2120的匹配的关键点的3d位置和相机姿态(例如，位置和取向)。输入图像2120可以是对象或场景的2d图像序列。在一些方面，输入图像2120可以是部分重叠的2d图像的序列。

在框2110处，执行光束法平差(bundleadjustment)以改进在框2105处获得的相机姿态和关键点的位置。在一些情况下，用以实现改进的这样的光束法平差可以最小化重投影误差。提供稀疏的3d关键点和相机姿态作为框2110的输出。在框2115处，执行多视图立体处理管线。可以再次处理输入图像2120以检测在每个输入图像2120中具有斑点和拐角特征的关键点的稠密集。可以匹配关键点，包括在框2115处检测到的关键点和在框2110处获得的关键点。例如，可以匹配具有相似的局部特征并且满足估计的相机几何形状的约束的关键点(例如，由框2110的输出提供)。利用匹配的关键点，可以对稠密的3d关键点进行三角剖分。使用这些稠密的3d关键点作为种子，在使用可见性约束滤波错误的图块之前，可以重复地扩展附近空白空间中的小图块。提供3d点云2125作为框2115的输出。3d点云可包括覆盖输入图像2120中可见的表面的小矩形图块的稠密集。

在一些实施例中，在图21的框2105处直接使用红外图像作为sfm过程的输入进行点云构造可能是不成功的，这是由于以下问题，例如：通常与ir图像关联的低分辨率，这限制了每个输入图像中被检测的关键点的总数，和/或ir图像看起来比vis图像更平滑(例如，细节和纹理较少)，这可能会使特征检测方法检测和匹配关键点的效率较低。这样的问题可能会导致用于点云构造的关键点的数量不足，或增加导致错误的3d点位置的虚假关键点匹配的风险。

在一些实施例中，为了减轻这样的问题，使用多光谱颜色信息来构造点云，例如使用从成像系统(例如，成像系统100)输出的vis和红外图像(例如，vis和红外图像对)。成像系统可以是捕获可见光图像和ir图像的双相机设备。在一些方面，可见光图像可以用于点云构造，而共配准的ir图像可以用于将热信息传递到点云。

图22示出了根据本公开的一个或多个实施例的用于促进点云的构造的示例过程2200的流程图。示例过程的框在本文中被描述为串行地或线性地(例如，一个接一个地)发生。但是，示例过程的多个框可以并行发生。另外，示例过程的框不需要以所示的顺序执行和/或不需要执行示例过程的框中的一个或多个。在一个实施例中，过程2200基于sfm方法。为了说明的目的，参考图1的成像系统100来描述过程2200；但是，过程2200可以由其他成像系统执行。

在框2205处，成像捕获部件130捕获可见光图像。在框2210处，成像捕获部件130捕获红外图像。例如，成像系统100可以是能够使用成像捕获部件130来捕获两组图像(例如，一组可见光图像和一组红外图像)的双相机设备。双相机设备可以包括一个或多个可见光成像传感器和一个或多个红外成像传感器。可见光图像可以是重叠的可见光图像。红外图像可以是重叠的红外图像。在框2215处，处理部件110将红外图像配准到可见光图像。

在框2220处，处理部件110基于可见光图像(例如，在框2205处捕获)和红外图像(例如，在框2210处捕获)生成超分辨率红外图像。超分辨率红外图像也可以称为增强分辨率红外图像。就这一点而言，处理部件110处理图像(例如，可见光图像和/或红外图像)以增强其分辨率从而获得超分辨率图像。在一个实施例中，处理部件110执行可见光谱辅助的超分辨率，其中，利用可见光图像来增强红外图像的分辨率。在一些情况下，可以生成多组增强分辨率(例如，也称为超分辨率)红外图像。例如，可以经由处理部件110的第一处理管线来生成第一组超分辨率红外图像，并且可以经由处理部件110的与第一处理管线不同(例如，不同的融合技术、不同的滤波器系数等)的第二处理管线来生成第二组超分辨率红外图像。

在美国专利申请公开号2018/0330473、美国专利申请公开号2018/0330474以及美国专利号9,171,361中提供了用于促进增强图像(例如，红外图像)的分辨率的系统和方法的示例，其每一个均通过引用整体并入本文。在一些情况下，可以利用一个图像中包含的数据来增强另一图像中包含的数据。例如，可见光图像中包含的边缘信息可以用于增强红外图像中包含的边缘信息。

在框2225处，处理部件110基于可见光图像和/或超分辨率红外图像来构造一个或多个点云2230。就这一点而言，处理部件110可以采用三组配准的图像作为输入以生成三个点云。这三组配准的图像可以包括一组可见光图像(例如，在框2205处捕获)、第一组超分辨率红外图像(例如，经由第一处理管线生成)以及第二组超分辨率红外图像(例如，经由第二处理管线生成)。在一方面，可以在整个sfm过程中使用可见光图像，以取得生成的3d点的位置/坐标，以红绿蓝(rgb)颜色进行映射，而超分辨率红外图像组可以是在多视图立体步骤(例如，图21的框2115)中读取以将热信息传递到可见光生成的3d点，从而生成点云。

在一些情况下，可以利用三组配准的图像来生成三个点云：基于可见光图像的可见光点云，至少基于第一组超分辨率红外图像的第一红外点云，以及至少基于第二组超分辨率红外图像的第二红外点云。在一个实施方式中，这三个点云具有相同坐标但颜色不同的点。图23a、23b和23c分别提供了可见光图像、第一组超分辨率红外图像和第二组超分辨率红外图像中的示例图像。图23b和23c的红外图像是图23a的可见光图像的对应红外图像。可见光图像可以具有1920×1080像素的分辨率。在超分辨率之前，红外图像(例如，在框2210处捕获)可以具有160×120像素的分辨率。图23d、23e和23f提供了分别使用可见光图像、第一组超分辨率红外图像和第二组超分辨率红外图像作为输入数据的输出点云。

在一个实施例中，可以使用bundler和基于图块的多视图立体(pmvs)软件来生成点云组。在一方面，再次参考图21，bundler可以用于执行框2105和2110，并且pmvs可用于执行框2115以生成构造的3d点云。bundler和pmvs可以采取三组配准的图像作为输入来生成三个点云。

尽管参考利用可见光图像来增强红外图像(例如，增强其分辨率)在上面描述了过程2200，但是可见光图像可以用于增强其他可见光图像，可以利用红外图像增强可见光图像和/或其他红外图像等等。取决于应用，可以将与可见光谱和/或红外光谱之外的一个或多个波段(例如，紫外波段等)关联的图像与关于图22描述的可见光图像和/或红外图像一起使用或代替该可见光图像和/或红外图像使用。

当使用例如图21的示例过程2100和图22的示例过程2200的sfm过程来构造场景的点云时，场景的每个区域的不同条件可能会影响在重构过程中生成的3d点的数量。例如，在一些情况下，场景的某些区域可能与其他区域相比被较少的图像覆盖，和/或某些区域可能与其他区域相比具有较少的拐角/边缘特征。在这两种情况中的一种或两种情况下，sfm过程可能会输出局部密度不均匀的点云。

在一些情况下，即使在使用可见光图像进行重构时，从sfm过程输出的点云也可能包含错误放置的点。作为一个示例，低质量的图像(例如，彩色去马赛克伪像、噪声)可能会减少检测到的关键点的数量或生成不正确的关键点匹配。作为另一示例，某些缺少纹理的区域可能会导致关键点数量不足或错误的关键点匹配。作为另一示例，从相机到场景的长距离(例如，使用飞行的无人机摄取大区域的照片)可能会影响从sfm过程估计的相机几何形状的准确性。这些示例中的每一个都可能与构造的3d点云中的点误放置相关。关于图17提供了结合稠密化部件的点云去噪处理的示例。在一些情况下，本文描述的点云去噪处理可以至少部分地基于lpa-ici方法。取决于点云的大小，可以首先将点云分割为几个较小的子pcd。然后，可以独立地对每个子pcd进行稠密化和滤波，以减少该过程的运行时间。可以计算全局密度阈值以决定要对哪个局部区域进行稠密化。可以分别计算每个子pcd的噪声水平，以促进每个子pcd的自适应滤波。

图24示出了根据本公开的一个或多个实施例的用于促进3d点云稠密化和去噪的示例过程2400的流程图。示例过程的框在本文中被描述为串行地或线性地(例如，一个接一个地)发生。但是，示例过程的多个框可以并行发生。另外，示例过程的框不需要以所示的顺序执行和/或不需要执行示例过程的框中的一个或多个。为了说明的目的，参考图1的成像系统100来描述过程2400；但是，过程2400可以由其他成像系统执行。

在框2405处，将3d点云2445分割成几个子pcd。在一个实施例中，3d点云2445可以是图17的具有噪声的点云1745。在一个实施例中，3d点云2445可以是由过程2100或过程2200生成的3d点云。例如，3d点云2445可以是图22的点云2240之一。分割3d点云2445可以促进并行化；降低了稠密化过程(例如delaunay基于三角剖分的稠密化过程)的计算复杂度；加速最近邻点搜索(例如，点云去噪过程的一部分)；和/或离群值去除。在一个示例中，可以用矩形六面体形的网格重复地划分pcd点云及其子pcd，直到每个矩形六面体方框中的子pcd的点数小于预定阈值。作为示例，预定阈值可以被设置为10000。在一方面，点云2445的点的空间位置信息被用于稠密化和去噪。

在框2410处，确定与3d点云2445关联的单位值(unitvalue)。单位值是基于每个点与其最近邻点之间的距离确定的。在3d点云2445中，点可以不规则地放置在3d空间中，使得3d点云2445不与均匀网格(例如在2d图像中)关联，并且不适合于限定用于实现lpa-ici过程的邻域窗口的大小。单位值可用于减轻此类问题。下面以伪代码提供根据一个或多个实施例的获得单位值的示例过程。如下所示，对于每个子pcd，确定子pcd的点p和点q之间的距离。单位值(在下面的伪代码中表示为scale_in_use)是基于与确定距离相关的中值(median)确定的。

在框2415处，计算局部噪声水平。在一些情况下，可以确定(例如，估计)破坏每个子pcd的点的噪声水平，并且随后可以利用所确定的噪声来对每个子pcd进行去噪(例如，独立地对每个子pcd进行去噪)。在一方面，可以基于每个点的lcs及其knn来确定噪声水平。可以采用主成分分析(pca)来计算lcs，并且可以采用中值绝对偏差估计量(estimator)来计算噪声水平。在一些情况下，可以在或中确定pcd的噪声水平。例如，关于图25a和25b示出了中的pcd的噪声水平的示例计算。图25a示出了点p的knn的lcs。点2505是knn的质心，指示lcs的原点。线2510可以是估计切线，表示lcs的x轴。线2515可以是估计法线，表示lcs的y轴。图25b示出了图25a的lcs的一部分2520。下面的伪代码提供了根据一个或多个实施例的用于获得每个子pcd的局部噪声水平的示例过程。如下所示，计算所有子pcd的噪声水平值并将其存储在由sigma_pcd表示的阵列中。可以将在噪声水平计算期间使用的knn的示例大小设置为300。

在框2420处，对子pcd执行离群值去除以去除子pcd中的点。在一方面，离群值(outlier)可以包括远离其真实位置并且几乎没有近邻点的孤立点。为了将离群值与其他点区分开，可以计算点与其knn之间的距离。在一种情况下，离群值去除是在每个子pcd中独立地实现的。在没有点被确定为离群值的情况下，在框2420处不去除任何点。下面的伪代码提供了根据一个或多个实施例的在每个子pcd中独立地执行离群值去除的示例过程。在伪代码中，可以设置参数filter_percent来控制要在每个子pcd中去除的点的百分比。作为示例，filter_percent可以被设置为0.01。

在框2425处，计算局部点密度。在一方面，局部点密度可以是包含在以每个点为中心的固定半径球内的相邻点数量。可以相对于scale_in_use参数设置参数ball_radius。作为示例，ball_radius＝3×scale_in_use。

在框2430处，进行关于稠密化是被激活还是被去激活(例如，也被称为未激活)的确定。在一方面，可以通过检查标志的值来进行该确定。例如，可以设置稠密化标志值，使得标志值1指示稠密化被激活，而标志值0指示稠密化被去激活。就这一点而言，稠密化过程(例如，也称为稠密化阶段)增加(例如，显著增加)pcd中的点数量，因此可能是计算强度大且耗时的。在快速测试运行的情况下，可以去激活稠密化。如果确定稠密化被去激活，则过程2400前进到框2440。就这一点而言，在框2425处作为输出被提供的pcd被去噪但未被稠密化。关于图17的过程1700描述了对pcd去噪的示例过程。执行框2435以获得已经被滤波的pcd2450。在一个实施例中，框2405、2410、2415、2420和2425可以被认为是稠密化阶段和/或去噪阶段的准备阶段。

如果确定激活了稠密化，则过程2400前进到框2435。在框2435处，对在框2425处作为输出被提供的pcd进行稠密化。在一方面，基于delaunay三角剖分执行稠密化。可以使用delaunay三角剖分构造各具有四个点的四面体，然后在该四面体的中心再添加一个点。

可以应用约束来确定是否添加或去除点。作为第一步，可以将每个点的法向量用作约束。在该第一步中，如果四面体的四个顶点的法线向量非常不同，则不在该四面体内部添加点。作为第二步，可以将点云的局部密度用作约束。在该第二步中，在计算出每个点周围的局部点密度之后，可以在整个pcd中确定中值和最大点密度值。对于那些局部点密度大于中值点密度值的点，在相应的四面体中不添加点。

作为第三步，如果四面体通过了第一步和第二步的约束，则将新点添加到四面体的中心。可以确定从新添加的点到四面体的四个顶点的平均距离。如果平均距离大于上阈值距离或小于下阈值距离，则可以去除新添加的点。在第一步到第三步之后，获得了稠密点云。作为第四步，在第一步骤至第三步骤之后，可以确定新添加的点的局部密度以识别过度稠密化的部分，并且可以去除其局部点密度大于在第二步确定的最大点密度值的点。作为第五步，可以重复第一至第四步，直到不再添加或去除更多的点为止。

在从框2430到框2435的过程中，在框2435处提供稠密化的pcd进行去噪。执行框2435，以获得已被稠密和滤波的pcd2450。关于图17的过程1700(例如，图17的框1735和1740)描述了对稠密化的pcd进行去噪的示例过程。

在适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现本公开提供的各种实施例。同样在适用的情况下，在不脱离本公开的精神的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。在适用的情况下，在不脱离本公开的精神的情况下，本文阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在适用的情况下，可以预期的是，软件部件可以被实现为硬件部件，反之亦然。

根据本公开的软件，例如非暂时性指令、程序代码和/或数据，可以被存储在一个或多个非暂时性机器可读介质上。还预期可以使用联网的和/或不联网的一个或多个通用或专用计算机和/或计算机系统来实现本文中确立的软件。在适用的情况下，可以更改本文描述的各个步骤的顺序、将其组合成复合步骤和/或分成子步骤以提供本文描述的特征。

前述描述无意将本公开限制为所公开的精确形式或特定使用领域。上述实施例说明但不限制本发明。可以预期，根据本公开，无论是否在此明确描述或暗示，对本发明的各种替代实施例和/或修改都是可能的。因此，本发明的范围仅由所附权利要求书限定。