暗图像增强的制作方法

1.本发明涉及一种方法、计算机程序产品和系统。


背景技术：

2.人眼感知为暗的图像通常是在昏暗或快速变化的环境中获取的，其中，快速变化可能来自快速摄像机移动。在第二种情况下，可能需要拍摄图像的摄像机的短曝光时间以避免模糊图像；然而，短曝光时间会导致人类观察者认为图像较暗。这种暗图像可能另外还包括大量的噪声。因此，在进一步处理之前改进暗图像可能是有益的，例如，使人类观察者能够识别图像中的对象并从所识别的对象推断出计量信息。对于低信噪比(snr)的图像，用于增强图像的算法优选是非线性的，因为非线性可能有助于将信号与噪声分离并选择性地仅放大信号。
3.图像通常被呈现给人类观察者和/或机器。人类观察者和/或机器从图像提取信息。ep15176238提供了一个基于图像的计量示例。所提取的信息在本质上通常是空间的，并且涉及例如两个对象到彼此的距离信息或相对位置。
4.例如，对于对象的三角测量，可以使用所述对象的两个图像来推断对象的空间位置。已知提供两个图像的摄像机之间的基本距离时，两个图像中的对应特征(例如特征是对象的角部)可以被检测并用于确定对象的对应于所检测的对应特征的部分的3d位置。使用对应特征的三角测量需要精确确定两个图像中的特征。例如，如果检测到的特征远离它们在两个图像中的真实位置偏移，则对象将无法被正确地三角测量。
5.特征检测准确度通常取决于所分析的图像的snr。在昏暗或快速变化的环境中获取的图像通常具有低snr的特征。对于这样的图像，特征检测会产生很多错误，并且使用部分错误特征的随后的三角测量将提供三角测量的对象的错误3d位置。因此，在进一步处理之前可能需要增强具有低snr的图像。
6.例如，在地面激光扫描应用或移动测绘(mapping)应用中，由激光扫描器获取的点云数据可以使用由彩色分辨摄像机提供的彩色图像进行着色。如果在昏暗或快速变化的环境中获取彩色图像，则产生的彩色图像通常具有低snr的特征。由于彩色点云中的测量通常取决于彩色点云的颜色，因此可能有必要在对点云着色之前增强彩色图像，以改进彩色点云中的后续测量。用户还可以根据颜色信息选择彩色点云中的单个点或区域，例如用于进一步检查。例如，在对点云着色之前，可能还有必要提高颜色保真度(对应于白平衡)和/或使颜色更鲜艳。
7.例如，颜色的鲜艳度可以在色相-饱和度-亮度(hsl：hue-saturation-lightness)颜色空间中限定。可以使用饱和度分量来测量鲜艳度。例如，如果从hsl圆柱的中心移出到hsl圆柱的边缘，颜色会变得更加鲜艳。
8.理想地，诸如图像中对象的边缘或角的位置之类属性应在图像增强后保持不变，即理想地，图像中对象的边缘或角的位置应在图像增强前后相同。由于所提到的特性随后可能用于三角测量，例如，所提到的要保持的特性是计量特性。对于计量应用，理想地，图像
中对象轮廓或类似细节应在图像增强后保持不变，因为从图像确定计量信息通常需要由图像中对象轮廓或类似细节编码的信息。
9.作为计量应用的示例，可以使用移动测绘平台(例如基于汽车的测绘平台)来进行测绘城市环境。测绘城市环境的目的是获得城市中房屋、树木、道路资产和其它至少暂时静止的对象的密集3d重建。例如，用于测绘城市环境的汽车可能配备有激光雷达和摄像机。摄像机的图像传感器的像素通常对应于边长在亚厘米范围内的正方形区域。因此，城市环境中在亚厘米范围中的结构通常被测绘到一个像素上。汽车可能会穿过高楼林立的狭窄街道行驶，高楼阻挡直射阳光，从而导致昏暗的环境，尤其是在峰值日光状况之前或之后。基于汽车的测绘系统通常以10米每秒至30米每秒的速度移动。昏暗的城市环境和所需的短曝光时间-以避免由于汽车移动导致的模糊图像-组合导致低snr图像，该低snr图像较暗。关于昏暗环境的相似考虑通常也适用于室内环境。
10.作为计量应用示例的环境的静态测绘也可能受到昏暗或快速变化的环境的影响。对于配备有彩色分辨摄像机的地面激光扫描器的情况，所提供的彩色图像可能有噪声并且具有低snr。
11.暗图像的亮度增强是一经过充分研究的问题。最近，chen等人的两个出版物(chen,c.,chen,q.,xu,j.,&koltun,v.(2018).learning to see in the dark.in proceedings of the ieee conference on computer vision and pattern recognition(pp.3291-3300)以及chen,c.,chen,q.,do,m.n.,&koltun,v.(2019).seeing motion in the dark.in proceedings of the ieee international conference on computer vision(pp.3185-3194))研究了增强暗图像的问题。两个文章中的第一个文章提出了一种用于增强单个图像的技术，而两个文章中的第二个文章提出了一种用于增强视频的技术。两个文章均使用深度学习方法，即，使用包含暗图像和对应的亮地面真实图像的输入/输出训练数据来学习从暗图像到增强亮图像的映射。由于非线性和在学习的卷积神经网络中编码的先验知识的使用，与提供给卷积神经网络以进行增强的暗图像相比，增强的亮图像的snr通常被提高。chen等人在两个文章中研究的技术未考虑图像的计量特性，即该算法被明确设计成仅增强输入图像，而与计量学没有任何关系或没有考虑计量学。
12.如果应用于有噪声的图像，深度学习方法也可以用于降低噪声，或提高图像的分辨率，或提高图像的颜色保真度，或将图像的颜色变换成更鲜艳的颜色。神经网络还可以被训练成提供上述功能的组合，即，例如，神经网络可以联合地提高图像的分辨率和提高图像的亮度。


技术实现要素：

13.因此，本发明的一个目的是提供一种在保持计量特性的同时增强图像的方法。
14.本发明的另一目的是提供一种在保持计量特性的同时增强由移动或静态测绘平台获得的图像的方法。
15.本发明的又一目的是提供一种在保持计量特性的同时增强由测绘城市环境的移动或静态测绘平台获得的图像的方法。
16.这些目的是通过实现独立权利要求的特征来实现的。在从属专利权利要求中描述了以另选方式或有利方式进一步发展本发明的特征。
17.本发明涉及一种增强用于计量应用的图像的方法。所提供的传感器图像利用初始计量信息表示关注场景，以确定所关注场景内至少一个对象的位置和/或取向。传感器图像具有传感器图像几何正确性。传感器图像通过由对所述传感器图像进行评估的评分函数提供的图像参数来描述，所述图像参数尤其涉及所述传感器图像的亮度和/或噪声和/或分辨率和/或颜色保真度和/或颜色的鲜艳度，所述图像参数具有初始图像参数值。还提供从传感器图像生成的增强图像。增强图像通过具有增强图像参数值的图像参数来描述，所述增强图像参数值尤其涉及比所述传感器图像高的亮度和/或降低的噪声和/或高的分辨率和/或高的颜色保真度和/或更鲜艳的颜色。增强图像具有经处理的图像几何正确性，所述经处理的图像几何正确性涉及失真的计量信息，所述失真的计量信息表示由利用神经网络的图像处理引起的初始计量信息的丢失，所述经处理的图像几何正确性低于传感器图像几何正确性。该方法还包括以下步骤：1)提供几何校正图像，该几何校正图像具有比所述经处理的图像几何正确性高的图像几何正确性，并示出所关注场景的至少一部分，以及2)通过将所述增强图像与所述几何校正图像融合来至少部分地减少所述失真的计量信息中初始计量信息的丢失。
18.评分函数可以例如确定应用该评分函数的图像的snr，在这种情况下图像参数对应于snr。评分函数也可以例如确定应用该评分函数的图像的分辨率和/或亮度和/或颜色保真度和/或颜色的鲜艳度和/或亮度。图像参数可以是评分函数的函数输出的至少一部分。
19.关注场景可能位于城市环境中，该城市环境的特征通常是两侧高楼林立的狭窄街道，这些高楼阻挡直射阳光。这样的城市环境通常是昏暗的，特别是在峰值日光状况之前或之后。例如，关注场景可能是城市中的街道，其中，对该街道进行测绘。城市环境中关注场景的视图也可能从上方被阻挡，例如由于树冠或由于建筑物的突出部分。本发明中的传感器图像优选从基本相同高度的观看位置对关注场景进行拍摄(成像)-在关注场景位于城市环境中的情况下-作为场景中的典型结构，例如建筑物或树木。由于传感器图像-特别是在城市环境中-从靠近关注场景的观看位置捕获关注场景，因此亚厘米范围内的城市环境中的结构通常被测绘到提供传感器图像的图像传感器的一个像素上。
20.关注场景(例如城市环境中的街道)可以使用移动测绘平台来测绘，例如配备有被配置成拍摄关注场景的成像设备的基于汽车的测绘平台。由于基于汽车的测绘系统通常以10米每秒至30米每秒的速度移动，因此可能要以较短的曝光时间拍摄传感器图像(提供该传感器图像的图像传感器例如安装在基于汽车的测绘平台上)以避免由于汽车的运动导致模糊图像。再加上城市环境中经常遇到的昏暗环境，传感器图像可能是暗的，其中，暗指的是传感器图像的通常的人类观察者做出的定性陈述。传感器图像可能由人类观察者感知到是暗的。这种“暗”图像通常也具有低snr，因为噪声源会影响图像质量，例如，与例如在大白天下成像相比，图像传感器中的热噪声在低光成像条件下更为明显。
21.地面激光扫描系统配备有数码相机，数码相机拍摄传感器图像，在光线昏暗的房间内工作时也可能拍摄“暗”传感器图像。地面激光扫描系统通常是静止的，即它们通常固定在特定位置。
22.传感器图像几何正确性例如可以对应于传感器图像对比度，或者对应于衡量传感器图像中的边缘与边缘真实位置的偏差的量度，例如原则上可以通过无成像误差的完美成
像获得的真实位置。因此，传感器图像可能具有低传感器图像对比度。图像对比度可以衡量图像的最高强度值与最低强度值之间的差异。低传感器图像对比度可能意味着在传感器图像中很少有容易辨别的结构可见。例如，如果传感器图像是彩色图像，则可以使用例如从彩色图像的各个像素计算的亮度来计算传感器图像对比度。
23.几何校正图像还可以具有比传感器图像高的辐射测量正确性。在传感器图像不均匀的情况下(例如由于获取传感器图像的摄像机的记录设置)可能会出现更高的辐射测量正确性；可以以几何校正图像中的不均匀性小于传感器图像中的不均匀性的方式来获取几何校正图像，特别是如果几何校正图像是由诸如激光雷达成像系统之类的主动成像系统获取的。
24.提供传感器图像的图像传感器可以至少部分地由数学摄像机模型表征，例如针孔摄像机模型、或正交投影、或缩放的正交投影、或准透视投影、或透视投影。因此，关注场景通常由图像传感器至少根据图像传感器位置和取向的组合、成像的关注场景的空间布置和描述图像传感器的数学摄像机模型的组合而导致失真。对于传感器图像的情况，这种失真也可以称为第一投影失真。
25.例如，至少使用传感器图像，可以确定诸如房屋或汽车在城市环境中的位置的计量信息。传感器图像由图像参数描述，其中，图像参数可以特别涉及传感器图像的亮度和/或噪声水平和/或分辨率和/或颜色保真度和/或颜色鲜艳度。通过评估传感器图像上的评分函数来确定图像参数的值，该评估提供初始图像参数值。评分函数可以例如体现为计算snr和/或亮度的函数，或使用图像作为输入的任何其它可测量属性。图像参数也可以涉及传感器图像的任何可感知质量。传感器图像可能是“暗”的和/或有噪声的和/或具有低分辨率和/或具有低颜色保真度和/或具有低颜色鲜艳度。在进一步计量处理之前，增强传感器图像是有益的。例如，对于亮度增强，现有技术的机器学习技术，特别是神经网络，诸如上面引用的chen等人的那些神经网络可以用于此目的。由于此类机器学习技术包含有关要解决的任务的知识-经由使用输入/输出图像对的训练过程获得，输入图像对应于“亮”地面真实输出图像的“暗”版本，例如-这种机器学习技术提供的增强可以增加应用神经网络的传感器图像的snr，因为神经网络提供的处理是非线性的。神经网络通常仅需要在包括图像子集的输入/输出图像对上进行训练，所述图像子集可以由与图像传感器基本相似的传感器记录。在此以统计方式理解基本相似性。可以使用由特定统计分布表征的图像来训练神经网络，其中，特定统计分布足够接近由图像传感器获取的图像的统计分布。只要满足这个条件，就可以使用由与所述被图像传感器不同的图像传感器记录的图像来训练网络。例如，在训练神经网络以执行亮度增强的情况下，增强图像比传感器图像更亮，其中，更亮是指定性的感觉，例如由感知亮度增强图像和传感器图像的典型人类观察者感知。例如，在训练神经网络以增加传感器图像的分辨率的情况下，增强图像具有比传感器图像高的分辨率，其中，神经网络执行插值。
26.例如，颜色的鲜艳度可以在色相-饱和度-亮度(hsl)颜色空间中限定。可以使用饱和度分量来测量鲜艳度。例如，如果从hsl圆柱的中心移出到hsl圆柱的边缘，颜色会变得更加鲜艳。
27.由专门训练用于增强传感器图像的机器学习技术提供的传感器图像的增强导致增强图像的失真。增强图像的经处理的图像几何正确性低于传感器图像的传感器图像几何
正确性。例如，在神经网络的亮度增强期间，边缘可能会发生偏移，这意味着与传感器图像相比，增强图像中的边缘信息可能不太可靠。例如，在增强图像将用于对所捕获的关注场景中的某个对象进行后续三角测量或用于对点云着色的情况下，理想地，诸如传感器图像中对象的边缘或角的位置之类的属性应在图像增强后保持不变，即理想地，传感器图像中对象的边缘或角的位置应在图像增强前后相同。然而，用于图像增强的现有技术的机器学习技术仅被训练用于增强图像，例如增加亮度，而不是用于保持增强图像的计量特性。
28.根据本发明，几何校正图像可以用于向增强图像提供附加几何信息以改进增强图像的进一步计量处理。例如，由于从图像进行的诸如三角测量之类的计量应用通常需要在至少两个图像中进行对应的特征检测，并且由于检测到的特征通常是图像中对象的边缘或角，因此对于增强图像的计量处理，保留此类轮廓信息至关重要。几何校正图像可以向增强图像提供附加轮廓信息。几何校正图像根据本发明具有比经处理的图像几何正确性高的图像几何正确性。例如，与增强图像相比，几何校正图像可以更好地表示边缘信息。
29.根据本发明，几何校正图像捕获(包括)由传感器图像捕获的关注场景的至少一部分。几何校正图像可以被提供有所捕获的关注场景的至少一部分的第二投影失真。该第二投影失真可类似于第一投影失真。例如，在几何校正图像由不同的图像传感器获取的情况下，所述不同的图像传感器与可以提供传感器图像的所述图像传感器不同，传感器图像和几何校正图像可以对应于由所述图像传感器和所述不同的图像传感器获取的经矫正(rectified)的图像，其中，矫正表示投影到公共图像平面上。对于这样的经矫正的传感器图像和几何校正图像，第一投影失真和第二投影失真将是相同的。
30.增强图像和几何校正图像根据本发明被融合。例如，在第一投影失真和第二投影失真相似的情况下，并且关注场景的至少一部分是由传感器图像和几何校正图像联合捕获的，则融合允许从几何校正图像向增强图像传递更高图像几何正确性的信息。例如，如果增强图像和几何校正图像足够相关，即，如果它们以成像场景的类似失真对同一场景进行成像，则增强图像和几何校正图像可以被融合。
31.根据本发明的方法可以用于解决分配问题，其中，在分配问题中两个(或更多个)数据源可能需要彼此相关。分配问题的一个示例是使用彩色图像对3d点云进行着色，其中，彩色图像的各个像素的颜色值需要与3d点云的3d点相关。
32.由增强图像和几何校正图像的融合产生的融合图像可以用于计量应用，例如用于三角测量，其中，在融合图像中捕获的对象的三角测量可以至少使用融合图像来执行。
33.除了几何正确性之外，本发明还可以用于增强辐射测量正确性。辐射测量正确性可以与几何正确性分开增强，也可以与几何正确性一起增强。传感器图像可具有传感器图像辐射测量正确性，该传感器图像辐射测量正确性-在由神经网络处理时-可能会恶化，即处理图像辐射测量正确性可能低于传感器图像辐射测量正确性。然后可以使用辐射校正图像-在结构上与几何校正图像的使用等效-通过将处理图像与辐射校正图像融合来增强处理图像。
34.在该方法的一实施方式中，传感器图像是彩色分辨的，特别是通过具有拜耳模式的彩色分辨摄像机获得的。
35.传感器图像因此可以是rgb图像。
36.在摄像机使用拜耳模式的情况下，摄像机提供的数据可能需要在将它们提供给神
经网络以进行图像增强之前进行预处理。预处理可以提供分辨率低于原始拍摄的拜耳图像的三个单独的rgb图像。也可以将原始拍摄的拜耳图像直接提供给神经网络。
37.在该方法的另一实施方式中，几何校正图像是通过所述传感器图像的颜色通道的线性组合使用所述传感器图像生成的，特别是通过在所述线性组合之前将伽马扩展和/或直方图均衡化应用到所述颜色通道。
38.通过线性组合传感器图像的颜色通道，提供相对亮度，可以从传感器图像获得几何校正图像。例如，对于rgb颜色模型，可以执行以下颜色通道的线性组合：
39.y＝0.2126r+0.7152g+0.0722b，
40.其中，y表示相对亮度，在此是几何校正图像，并且r、g和b表示传感器图像的红色、绿色和蓝色分量。其它线性组合也是可行的。传感器图像可以由图像传感器进行伽马压缩。在这种情况下，在线性组合以得出相对亮度之前，可以对传感器图像进行伽马扩展。与在各个颜色通道中存在的图像对比度相比，线性组合不同颜色通道以获得相对亮度图像可以提高线性组合图像的图像对比度。例如取决于几何校正图像中对象轮廓的可检测性的计量信息因此可以比从传感器图像本身容易地从通过线性组合传感器图像的颜色通道获得的几何校正图像提取出来。
41.在该方法的另一实施方式中，几何校正图像由单色摄像机提供。
42.由于缺少滤色器，单色摄像机通常具有比彩色分辨摄像机高的灵敏度，因此与例如rgb图像相比，因此单色摄像机获取的图像通常具有高snr。因此，由单色摄像机获取的几何校正图像可以具有比由rgb摄像机获取的传感器图像高的几何正确性。
43.在该方法的另一实施方式中，所述几何校正图像是使用激光雷达成像系统提供的，其中，接收到的电磁脉冲的强度用于得出所述几何校正图像。
44.例如，激光雷达成像系统可以被安装在基于汽车的测绘平台上，以密集或稀疏地测绘城市环境。激光雷达成像系统发射测量脉冲，特别是电磁测量脉冲，其中，所发射的测量脉冲被关注场景中的对象反射。所反射的测量脉冲随后被激光雷达成像系统接收。然后可以确定接收到的测量脉冲的强度。基于这样的强度信息，可以通过利用激光雷达成像系统扫描关注场景来构建几何校正图像。根据激光雷达成像系统执行的扫描程序，获得的原始强度图像可能需要重新网格化(可能需要插值)以获得几何校正图像。另选地，使用接收到的测量脉冲的到达时间，可以得出关于所扫描的关注场景的3d信息。以这种方式获得的3d点云可以被中心投影到激光雷达图像平面上，激光雷达图像平面尤其对应于传感器图像平面，该传感器图像平面对应于传感器图像。在中心投影到激光雷达图像平面后，投影的3d点云数据可以重新网格化，以符合传感器图像的像素网格。
45.由于激光雷达成像系统是主动成像系统，因此在昏暗的环境中也可以获得高对比度的几何校正图像。激光雷达成像系统获得的几何校正图像可以具有较高几何正确性。
46.融合还可以提供着色的3d点云。来自增强传感器图像的颜色信息可以传输给利用激光雷达成像系统获得的3d点云。
47.激光雷达成像系统提供的强度值也可以用于定义传感器图像中颜色的亮度水平。这样，由获取传感器图像的摄像机的位置和取向以及所拍摄对象的表面引起的传感器图像的不均匀性(所拍摄对象的颜色信息在从不同位置和取向和摄像机设置而拍摄的传感器图像中可能不同地出现)可能会得到缓解。使用激光雷达成像系统设置传感器图像中颜色的
亮度水平允许获得更均匀的传感器图像，该更均匀的传感器图像然后可用于对利用激光雷达成像系统获取的3d点云进行着色。以这种方式使用激光雷达成像系统是独立的发明，可以独立于本发明进行。
48.在该方法的另一实施方式中，增强图像被神经网络上采样，其中，经上采样的增强图像的分辨率高于传感器图像的分辨率。
49.更高的分辨率可以涉及可由图像传感器拍摄的视野的大小与可由图像传感器提供的传感器图像的表示中使用的像素数量之间的比率。
50.在该方法的另一实施方式中，所述融合使用全色锐化。
51.全色锐化可用于该融合。基于主成分分析(pca)的图像融合也可以用于该融合，或基于小波或曲线波的融合，或其它变换域图像融合技术也可以用于该融合。神经网络也可以用于该融合。
52.在该方法的另一实施方式中，所述融合包括以下步骤：1)将所述增强图像前向变换成与用于所述增强图像的颜色模型不同的颜色模型，从而提供前向变换增强图像；2)定义逆变换，其中，所述逆变换是相对于所述前向变换定义的；3)使用所述前向变换增强图像和所述几何校正图像来提供几何增强的前向变换增强图像；以及4)将所述逆变换应用于所述几何增强的前向变换增强图像。
53.与提供增强图像的颜色模型相比，可以在对应于不同颜色模型的不同颜色空间中执行融合。将增强图像前向变换到不同颜色空间可以允许更好地从增强图像中编码的其它信息中分离几何信息，例如在照明信息中编码的几何信息。前向变换具有逆转换，在此称为逆变换。然后前向变换增强图像和几何校正图像可以被组合以获得几何增强的前向变换增强图像。为了返回提供增强图像的颜色模型，可以将逆变换应用于几何增强的前向变换增强图像。
54.在本发明的另一实施方式中，不同的颜色模型是色相-饱和度-明度(hsv：hue-saturation-value)颜色模型。
55.在hsv颜色模型中，明度分量包括照射信息。边缘信息(例如需要边缘特征检测器的三角测量所需的边缘信息)主要存储在明度分量中。
56.在该方法的另一实施方式中，几何增强是通过计算所述前向变换增强图像与所述几何校正图像的明度分量之间的逐点线性组合来提供的，其中，所述前向变换增强图像和所述几何校正图像二者以网格表示形式提供，并且所述逐点线性组合是在对应网格元素之间计算的。
57.hsv颜色模型的明度分量可以包括后续计量应用所需的几何信息。可以通过逐点线性组合操作将具有较高几何正确性的几何校正图像与前向变换增强图像的明度分量进行组合。除了逐点方式的线性组合外，几何增强的前向变换增强图像的明度分量与前向变换增强图像和几何校正图像的明度分量之间的任何其它函数关系也是可行的。
58.融合可以以逐点方式执行，其中，前向变换的增强图像的各个像素可以与来自几何校正图像的对应像素融合。
59.在该方法的另一实施方式中，几何增强是通过利用所述几何校正图像的明度分量替换所述前向变换增强图像的明度分量来提供的。
60.在该方法的另一实施方式中，所述融合校正所述增强图像中存在的几何误差，其
中，几何误差对应于通过所述神经网络提供的增强引入到所述传感器图像中的位移误差，其中，位移误差是指对应点在所述传感器图像与所述增强图像之间的位移。
61.神经网络提供的增强可能会为其进行操作的图像引入几何失真。使用几何校正图像，根据本发明的融合有利地可以至少部分地补偿这种引入的几何失真。因此，融合后得到的图像可能具有更高的snr(经由受过训练的神经网络提供的非线性增强)以及在融合图像上执行的后续计量应用所需的更可靠的几何信息。
62.本发明还涉及一种具有存储在机器可读介质上或体现为电磁波的程序代码的计算机程序产品，所述程序代码被配置成提供如根据本发明的方法中的图像增强。
63.本发明还涉及一种图像处理系统，该图像处理系统包括计算单元、存储在计算单元上的根据本发明的具有程序代码的计算机程序产品以及至少一个图像传感器，所述至少一个图像传感器向计算单元提供至少一个图像，其中，图像处理系统被配置成执行图像增强方法。
64.本发明还涉及一种根据本发明的图像处理系统，其中，该图像处理系统具体地被配置成基于汽车的测绘平台或基于轨道的测绘平台或用户携带的测绘平台或静态测绘平台的一部分。
65.移动测绘平台可以测绘关注场景，例如城市环境中的街道。例如，移动测绘平台可以配备有获取传感器图像的rgb摄像机和获取几何校正图像的单色摄像机。可以使用基于机器学习的技术来增强传感器图像，并且随后将其与几何校正图像融合。除了对单个传感器图像进行操作外，还可以对一系列传感器图像联合地进行增强。几何校正图像序列与对应的增强图像序列的融合可以逐个序列元素进行。
66.静态测绘平台可以例如由包括彩色分辨摄像机和激光扫描器的地面激光扫描系统来体现。彩色分辨摄像机可提供传感器图像，而激光扫描器可提供几何校正图像。移动测绘平台的示例是leica pegasus 2或pegasus背包。地面激光扫描器的示例是leica rtc360或leica blk360。也可以使用激光跟踪仪，诸如leica ats600。leica blk2go是人类用户携带的测绘平台的示例。也可以使用全站仪(全站仪定位系统，特别是具有扫描功能的那些全站仪，诸如全站仪leica nova ms60)、坐标测量机和关节臂。
67.图像传感器可以以已知安装的图像传感器之间的相对几何布置的这种方式安装在移动或静止测绘平台上。安装的图像传感器也可以被校准。
68.使用根据本发明的方法，可以使用由比通常使用的更便宜的图像传感器提供的图像来执行计量应用，例如，对于“暗”且低snr的图像，可以通过组合使用由神经网络提供的图像亮度增强以及通过将亮度增强图像与单独的图像融合而提供的几何增强来至少部分地进行“校正”。
附图说明
69.下面仅通过示例的方式借助于在附图中示意性例示的具体示例性实施方式来更详细地描述本发明的系统，本发明的其他优点也正在研究中。在附图中，相同的元素用相同的附图标记来标记。详细地：
70.图1示出了本发明的用于利用基于汽车的移动测绘平台测绘关注场景的实施方式；
71.图2示出了根据本发明的方法的实施方式；
72.图3示出了根据本发明的融合的实施方式；
73.图4示出了根据本发明的方法的实施方式；
74.图5示出了根据本发明的方法的实施方式；
75.图6示出了根据本发明的方法的实施方式；
76.图7示出了本发明的用于利用三脚架上的激光扫描器测绘关注场景的实施方式；以及
77.图8示出了根据本发明的图像处理系统。
具体实施方式
78.图1示出了本发明的用于利用基于汽车的移动测绘平台12测绘关注场景10的实施方式。rgb摄像机1和激光雷达成像系统11安装在汽车上。在获取环境的同时，汽车可能会持续移动。例如，基于汽车的移动测绘平台12通常可能以10米每秒至30米每秒之间的速度移动。基于轨道的系统也可用于测绘。移动测绘系统也可以由人携带。与基于汽车或轨道的系统相比，这种手持移动测绘系统可能具有较低的运动速度和诸如旋转速度之类的较大动态。激光雷达成像系统11和rgb摄像机1可以具有已知的相对于彼此的位置和取向，以便例如允许进行图像矫正。基于汽车的移动测绘平台12可以在城市环境中穿过狭窄的街道行驶，从而测绘其行驶经过的环境。一种计量应用可能是获得关注的城市场景10的密集3d重建。密集3d重建应包括实际3d重建(即成像的表面在3d坐标系中的位置信息)以及与所述成像的表面相关联的颜色信息。使用根据本发明的方法，可以使用例如由激光雷达成像系统11提供的几何校正图像对由rgb摄像机1提供的暗且低snr的彩色图像进行几何增强，同时颜色信息是由神经网络提供的增强图像提供的。
79.图2示出了根据本发明的方法的实施方式。rgb摄像机1和单色摄像机2提供图像。rgb摄像机1提供传感器图像。rgb摄像机1可以在对原始rgb摄像机1输出进行预处理之后提供有噪声的三通道rgb图像3，其中，有噪声的三通道rgb图像3可以以较短的曝光时间拍摄以避免运动模糊或者有噪声的三通道rgb图像3可能是在昏暗的环境中拍摄的。由于单色摄像机2的灵敏度更高，由单色摄像机2提供的几何校正图像4包含更好的几何信息。由于有噪声的三通道rgb图像3的可能低信噪比，在有噪声的三通道rgb图像3上操作的增强算法5在其输入中优选是非线性的。增强算法可以包括卷积神经网络(cnn)，其中，cnn可以被训练用于回归目的。例如，cnn可以被训练以学习同一场景的暗图像与亮图像之间的映射，使得在接收到作为输入的暗图像时，cnn可以将暗图像变换成更亮。因此，cnn可以学习去噪、颜色变换、去马赛克以及对暗且有噪声的输入图像进行增强。由于cnn部分是黑盒模型，因此cnn可能会在三通道rgb增强图像8中引入几何失真。
80.这种几何失真通过使用由单色摄像机2提供的附加信息来去除，其中，所需的几何信息可以由几何校正图像4提供。三通道rgb增强图像8和由单色摄像机2提供的几何校正图像4被融合6，例如通过全色锐化。由该方法提供的总体三通道rgb图像7在几何上是可靠的，并且具有良好的颜色分辨率。在其处理后的形式7中，与由rgb摄像机1在预处理后直接提供的暗且有噪声的三通道rgb图像3相比，处理后的形式7更易于进行进一步的计量处理。
81.图3示出了根据本发明的融合的实施方式。三通道rgb增强图像8被前向变换成不
同的颜色模型，特别是色相-饱和度-明度(hsv)颜色模型。在图3的示例性实施方式中，前向变换三通道rgb增强图像9的明度分量被特别是由几何校正图像提供的不同的明度分量4a替代。在得出几何增强的前向变换三通道rgb增强图像9a后，可以执行前向变换的逆变换，从而得到所需的三通道rgb图像7。明度分量4a可以提供准确的几何信息，而三通道rgb增强图像8可以提供不同明度分量4a(特别是几何校正图像)不包含的颜色信息。
82.图4示出了本发明的用于图像增强的实施方式。rgb摄像机1提供关注场景的有噪声的三通道rgb图像3。该有噪声的三通道rgb图像3可能具有大量的噪声，因为图像可能是在昏暗的环境中拍摄的。由于rgb摄像机1的可能移动，可能还需要较短的曝光时间。可以通过包括卷积神经网络(cnn)的算法5和提供融合的全色锐化6的组合来对暗且有噪声的三通道rgb图像3进行增强，该cnn例如提供亮度增强。为了融合，可以从有噪声的三通道rgb图像3得出较低噪声的单通道强度图像4b。单通道强度图像4b可以与三通道rgb增强图像8融合。有噪声的三通道rgb图像3可以通过包括cnn的经训练的机器学习算法5来增强，其中，cnn可以在rgb图像的输入/输出对上训练，其中，输入图像可以包括关注场景的有噪声且暗的图像，并且输出图像可以包括例如更亮且更少噪声的对应图像。例如，cnn可以被以学习从输入图像到输出图像的映射的方式来训练。由于cnn的黑盒特性，三通道rgb增强图像8中可能存在几何失真。融合6可以旨在通过使用几何上更可靠的信息4b来去除这种失真。由融合提供的三通道rgb图像7既可以被增强也可以几何校正，其中，机器学习算法5的可能几何失真可以通过单独的硬编码融合6来缓解。
83.图5示出了根据本发明的方法的实施方式。rgb摄像机1可以提供低分辨率的三通道rgb图像3a。具有高灵敏度的附加单色摄像机2可以提供较高分辨率的单通道强度图像，即几何校正图像4。在该实施方式中，包括用于增强由rgb摄像机1提供的低分辨率三通道rgb图像3a的卷积神经网络(cnn)的算法5可以包括上采样功能。对于融合6，如果三通道rgb增强图像8以及由单色摄像机2提供的几何校正图像4两者具有相同的图像分辨率，则可能是有益的。在增强之后，在这种情况下通过包括cnn的算法5进行上采样，经上采样的三通道rgb增强图像8和单色图像4被融合6，例如通过使用全色锐化，最终提供较高分辨率的三通道rgb图像7作为输出。提供上采样的神经网络还可以提供亮度增强和/或噪声降低和/或它可以增加颜色保真度和/或它可以与上采样相结合使颜色更鲜艳。
84.图6示出了根据本发明的方法的实施方式。传感器图像3由rgb摄像机1提供。对由rgb摄像机1拍摄的关注场景的至少一部分进行成像的激光雷达成像系统提供接收到的电磁脉冲的强度值13。该强度值13可以被重新网格化成网格表示，网格表示是几何校正图像14。除了使用强度值之外，另选地，由激光雷达成像系统记录的3d点云中点的3d位置也可以中心投影到激光雷达图像平面上，投影的和可能重新网格化的图像是几何校正图像。然后通过神经网络5增强传感器图像3，然后增强图像与几何校正图像14融合6。该融合6提供增强的且几何上可靠的图像7。
85.图7示出了本发明的用于利用三脚架上的地面激光扫描器15或全站仪定位系统测绘关注场景10的实施方式。三脚架上的地面激光扫描器15配备有获取传感器图像的rgb摄像机。传感器图像通过神经网络增强，并且由激光扫描器提供的3d点云被变换成几何校正图像。增强图像和几何校正图像被融合。例如，关注场景10可以是光线昏暗的城市环境或光线昏暗的室内房间。
86.图8示出了根据本发明的图像处理系统。该图像处理系统包括计算单元16，在该计算单元16上可以存储和执行提供根据本发明的图像增强的计算机程序。该计算机程序从提供传感器图像3的rgb摄像机1接收输入。另选地，附加输入可以被提供到计算机程序，例如由单色摄像机或激光雷达成像系统提供的图像。
87.图像增强和融合可以在测量设备上现场进行，也可以在从测量设备导出原始数据或预处理数据后在场外进行。原始测量数据可以例如被传输到计算增强的且几何上可靠的图像的云服务。
88.不言而喻，这些例示的附图仅是可能的示例性实施方式的示意图。
89.尽管上面部分地参考一些优选实施方式例示了本发明，但是必须理解，可以对实施方式的不同特征进行多种修改和组合。所有这些修改都在所附权利要求的范围内。