基于图像的边缘测量的制作方法

本发明涉及一种用于自动基于图像的边缘测量的方法和一种用于执行这种方法的手持摄影测量装置。

背景技术：

原则上在现有技术中已知用于摄影测量图像记录的装置和方法，并且在广泛应用中被用于执行图像中的测量，即，尤其用于确定图像中的尺寸，例如，成像特征之间的距离。

举例来说，ep2918972a2示出了一种用于利用立体摄影测量术创建空间模型的方法以及相应的便携式装置。

us2015/0317070a1描述了一种具有单个摄像机和激光测距仪的便携式装置，利用该装置可以执行基于图像的测量。

这样的便携式装置通常具有用于呈现所记录的场景的显示单元。这里经常可以例如利用触摸屏来标记场景图像中的点，以便能够计算并呈现场景中的点的距离。因此，可以在图像中执行例如边缘的精确3d测量，并且可以至少在理论上创建3d模型。然而，在实践中，这尤其对于外行和没有经验的用户来说往往很困难。

技术实现要素：

因此，本发明的目的在于，提供一种用于对场景进行基于图像的测量的改进装置和改进方法。

尤其是，目的在于，提供一种具有这样类型的装置和方法，即，其可以用于尤其以可再现方式而不管用户的资格并且尤其以一致的准确度，更简单、更快速且更准确地确定场景中边缘的长度。

还一目的在于，提供一种具有这样类型的装置和方法，即，其对于没有经验的用户来说，可用手简单且直观地进行操作。

这些目的中的至少一个通过实现独立权利要求的特征化特征来实现。本发明的有利改进可以在相应的从属权利要求中找到。

本发明的第一方面涉及一种用于利用手持式装置来对场景进行基于图像的测量的方法。该方法包括以下步骤：通过该装置的至少一个摄像机来记录场景的至少一个第一图像和至少一个第二图像，其中，所述第一图像和所述第二图像具有交叠图像区，对所述第一图像和所述第二图像进行摄影测量评估，并且在显示单元上图形输出该场景的图像表示。根据本发明，该方法此外还具有以下步骤：自动进行边缘测量功能，作为该功能的一部分，在没有用户干预的情况下，按各种情况，利用所述场景的图像识别出该场景中的边缘，基于所述经摄影测量评估的图像来确定所识别出的边缘的边缘长度，并且在该场景的图像表示中显示所确定的边缘长度。

根据本方法的一实施方式，作为所述边缘测量功能的一部分识别出的边缘在所述场景的图像表示中突出显示，例如按颜色进行标记。

根据另一实施方式，所述方法包括以下步骤：通过所述装置的第一摄像机对场景的第一图像进行立体记录，并通过所述装置的第二摄像机对所述场景的第二图像进行立体记录，其中，所述第一图像和所述第二图像具有交叠图像区，并且对所述第一图像和所述第二图像进行立体摄影测量评估。利用由两个摄像机记录的所述场景的图像，识别出所述场景中的边缘，并且基于经立体摄影测量评估的图像来确定所识别出的边缘的边缘长度。

在另一实施方式中，所述方法包括以下步骤：尤其与记录一个或更多个图像(例如，以立体方式记录的图像)同时地进行到场景的至少一个表面的距离测量，其中，在所述(立体)摄影测量评估期间考虑所测得的距离，尤其用于缩放。

在另一实施方式中，确定边缘的长度的步骤包括以下步骤：识别所述边缘的两个端点，并且利用摄影测量术或立体摄影测量术来确定这两个端点之间的距离。

根据本方法的另一实施方式，(立体)摄影测量评估所述第一图像和所述第二图像的步骤包括以下步骤：尤其以点云的形式来生成场景的3d模型。为了确定已经在图像中识别出的边缘的长度，这里可以在所述3d模型中识别出相应的边缘。所述3d模型也可以用于识别边缘。

根据本方法的另一实施方式，作为所述边缘测量功能的一部分，确定不完整边缘，其中，如果在所述第一图像和/或所述第二图像中没有拍摄到边缘的端点或者仅有拍摄到一个端点，则所述边缘被确定为是不完整边缘。

以与完整边缘(在所记录的图像的至少一个中(例如，在用于立体记录的第一和/或第二图像中)拍摄到该完整边缘的两个端点)不同的方式在场景的图像表示中突出显示不完整边缘。

若需要的话，根本不确定不完整边缘的长度，或者至少在没有用户干预的情况下不显示长度，以避免用户混淆。

根据本方法的另一实施方式，在显示单元上与场景的图像表示一起显示输入请求，其中，所述输入请求包含请用户标记出所述图像表示中的待识别边缘的区域的请求。

在另一实施方式中，所述方法包括以下步骤：在图像中识别表面，并且在场景的图像表示中标记所识别出的表面。这里，尤其在没有进一步的用户干预的情况下，自动计算出针对所识别出的表面的表面内容的值并且显示在该场景的所述图像表示中。

在一实施方式中，基于围绕表面的多个边缘(例如，4个边缘)来识别所述表面。尤其在没有进一步的用户干预的情况下，可以可选地自动计算所述边缘的长度或所述表面的周长，并将其显示在场景的图像表示中。

在另一实施方式中，基于典型尺寸和/或图案来识别所述表面，尤其是，其中，所述表面被指配给场景中的窗户或门，并且具有窗户或门所特有的尺寸。

在另一实施方式中，通过自适应算法来识别所述表面。

根据本方法的另一实施方式，场景的图像表示基于所述场景的也以摄影测量方式评估的至少一个所记录的图像。

本发明第二方面涉及一种用于尤其根据本发明第一方面的方法来对场景进行基于图像的测量的便携式装置。该装置具有：具有正面和背面的壳体；用于记录场景的图像的至少一个摄像机；用于实现场景的图像的记录的控制单元；利用用于对图像进行摄影测量评估的算法的评估单元；以及布置在所述正面上的显示单元，该显示单元用于显示所述场景的图像表示。根据本发明，所述评估单元包括用于执行自动进行边缘测量功能的算法，作为其一部分，所述评估单元被配置成，在没有用户干预的各种情况下，基于所述场景的图像识别出该场景中的边缘，并且基于经摄影测量评估的图像来确定所识别出的边缘的边缘长度。所述控制单元在此被配置成，使得所确定的边缘长度能够作为所述图像表示中的值显示在所述显示单元上。

在一个实施方式中，根据本发明的装置被配置为立体摄影测量装置，并且具有用于记录场景的图像的第一摄像机和第二摄像机，其中，所述摄像机彼此以固定距离布置在所述背面上。所述控制单元因此被配置成，使用所述第一摄像机记录第一图像并使用第二摄像机记录第二图像，从而实现对所述场景的图像的立体记录，并且所述评估单元包括用于以立体摄影测量方式评估所述第一图像和所述第二图像的算法。

在另一实施方式中，根据本发明的装置具有激光测距仪，其中，所述控制单元被配置成，尤其与记录所述至少一个图像同时地，使用所述激光测距仪实现对距所述场景的表面的距离的测量，并且所述评估单元被配置成，在所述(立体)摄影测量评估期间考虑所述距离。

在另一实施方式中，根据本发明的装置具有存储单元，该存储单元用于存储所述第一和第二摄像机的图像数据、所识别出的边缘的端点的坐标、以及针对边缘长度的值。

在另一实施方式中，根据本发明的装置具有作为显示单元的触摸屏，其中，所述控制单元被配置成，使能能够在所述显示单元上与场景的图像表示一起显示输入请求，尤其是，其中，所述输入请求包含请用户标记所述图像表示中的待识别边缘的区域的请求。

本发明的另一方面涉及一种具有存储在机器可读载体上的程序代码的计算机程序产品，该程序代码用于利用手持式装置执行用于对场景进行基于图像的测量的方法，尤其用于执行根据第一方面的方法，其中，所述程序在尤其根据第二方面的装置的计算单元中执行，并且至少包括：

-通过所述装置的至少一个摄像机来记录场景的至少一个第一图像和至少一个第二图像，

-对所述第一图像和所述第二图像进行摄影测量评估，

-在显示单元上图形输出所述场景的图像表示，以及

-自动进行边缘测量功能，作为其一部分，在没有用户干预的各种情况下，利用所述场景的图像识别出该场景中的边缘，基于经摄影测量评估的图像来确定所识别出的边缘的边缘长度，并且在所述场景的图像表示中显示所确定的边缘长度。

附图说明

下面，参照附图中例示的具体示例性实施方式，完全通过示例的方式，对根据本发明的装置和根据本发明的方法进行更详细的描述，其中，还将讨论本发明的进一步优点。详细地说：

图1a至图1d示出了根据本发明的手持式摄影测量装置的示例性实施方式；

图2示出了利用根据本发明的立体摄影测量装置记录图像；

图3示出了根据本发明的立体摄影测量装置的显示单元上的场景图像的示例性显示；

图4示出了显示器中另外显示的根据图3的内容；

图5示出了用于例示根据本发明的方法的示例性实施方式的流程图；

图6a至图6b示出了通过用户选择显示区域的示例性功能；以及

图7a至图7b示出了对场景图像中的图案的识别和加重显示。

具体实施方式

图1a至图1d示出了根据本发明的摄影测量装置1的示例性实施方式。图1a示出了具有显示单元20和用于操作装置1的按钮21的示例性正面11，而图1b、图1c和图1d示出了摄影测量装置1的背面12上的摄像机布置的三个示例性实施方式。

在图1b和图1c中，该装置以立体摄影测量装置1的形式实现，该装置1在各种情况下具有两个摄像机3a和3b。摄像机3a、3b相对于彼此以固定立体基线(stereobase)进行布置。

在图1b中，该立体基线相对于该装置的纵轴平行；这意味着摄像机3a、3b相对于彼此布置在壳体的同一高度处。在图1c中，立体基线相对于纵轴成对角，即，摄像机3a、3b以一定偏移量进行布置。后一种布置对于测量建筑物尤其有利，并且在专利申请ep17202630.4中有更详细的描述。

利用激光测距仪4(例如，图1b中所示)获取的距离可以尤其用于缩放由摄像机3a、3b记录的图像，这增加了摄影测量的准确度。至于内部组件(此处未示出)，装置1具有用于存储图像和测量数据的存储组件以及具有控制和评估单元的计算组件。控制单元尤其被配置成，控制由摄像机3a、3b和测距仪4执行的立体图像记录和同步距离测量，以及在显示单元20上的图像和测量数据的显示。评估单元包括用于摄像机图像中的边缘检测和摄像机图像的立体摄影测量评估两者的算法。

图1d示出了相应的摄影测量装置1，其与图1b和图1c所示的装置相比，除了激光测距仪4之外，只有单个摄像机3。图1d的装置1也具有用于存储图像和测量数据的存储组件以及具有控制和评估单元的计算组件。控制单元尤其被配置成，控制由摄像机3执行的图像记录和由测距仪4执行的同步距离测量，以及在显示单元20上的图像和测量数据的显示。评估单元包括用于摄像机图像中的边缘检测和摄像机图像的摄影测量评估两者的算法。

图2示意性地例示了利用根据图1a至图1c的装置1的进行立体记录的原理。这里，第一摄像机3a和第二摄像机3b基本同时记录图像。可以按已知方式使用以立体方式记录的图像来以立体摄影测量方式测量该场景。另外，可以利用装置1的激光测距仪4(与图像记录在时间上相关联地)来测量相对于该场景的表面50的距离d。该距离d尤其可以用于缩放以立体摄影测量方式测得的尺寸。

图3示出了示例性场景5的图像表示30，其已经由装置记录并显示在显示单元20上。该图像表示可以尤其基于一个或两个摄像机图像。

通过边缘提取或边缘检测的方式，在两个摄像机3a、3b的2d图像中可识别出多个边缘60、61。所述边缘60、61的相应长度可以利用立体摄影测量法基于图像的立体记录来确定。

在场景5的图像30中(其显示在显示单元20上)，所有识别出的边缘60、61自动地为用户光学地突出显示以提高可识别性。这可以尤其通过彩色标记的方式来实现。

完全位于图像30中并因此其相应长度可以摄影测量方式进行测量的边缘60另外还提供了长度参数62，其对应于相关边缘60的所确定的长度。为了测量所确定的边缘60，可以以立体摄影测量方式来测量图像30中的相应边缘60上或该处的点(尤其是边缘端点)，作为其结果，可导出边缘60的3d模型，其长度可按这种方式来确定。

对于仅部分位于图像30内的边缘61来说，即，那些边缘延伸超出了所记录的图像的周边，无法确定整个长度。虽然可以以摄影测量方式确定边缘61的位于图像30内的那部分的长度，但这些信息通常无用，因此没有作为标准加以例示。如果需要，当然可以给予用户使所述边缘61显示有针对位于图像30内的部分长度的长度参数的选项。仅部分位于图像内的边缘61例如可以以与完全位于图像30内的边缘60不同的颜色来加重显示。

出于说明的目的，图4示出了所识别出的边缘60、61的光学突出显示(其被添加至根据图3的场景5的图像30)，以及所确定的长度参数62(没有图像本身)。在没有任何进一步的用户干预的情况下(即，自动地)，在记录图像之后可以有利地实现用边缘60、61和长度参数62覆盖该图像。该测量结果优选是可存储并可输出的。可以以已知方式在图像中执行附加测量。

如果需要，原则上可以创建该场景的3d模型，其中，边缘测量在该3d模型上进行。为此，在2d图像中识别出的边缘60、61与3d模型中的对应边缘相匹配。同样可以利用由3d模型提供的3d信息在该3d模型中找到并测量边缘，并然后将其传递至2d图像。

以摄影测量方式确定2d图像与3d模型之间的关系，作为其结果，图像中的二维边缘图像表示的空间范围是可确定的。

另选地，仅识别出摄像机图像中的边缘60、61的端点。随后，可以通过立体摄影测量术来确定所述端点的3d坐标。这些端点之间的3d距离对应于边缘长度。

3d模型的几何形状可以帮助选择感兴趣的边缘。例如，可以仅显示不位于特定平面中的边缘，或者可以使用机器学习算法来利用深度信息寻找图像中的所有窗户。

在完整边缘60和不完整边缘61方面区分所识别出的边缘60、61也可以通过识别端点来实现。如果边缘终止于图像周边或者在可立体摄影测量评估的区域之外，那么其是一个不完整的边缘61，其完整长度不可确定，或者在不采取额外步骤的情况下无法确定。

图5通过流程图的方式例示了根据本发明的方法100的示例性实施方式。首先，用户将装置引导至要记录的场景，并利用该装置的两个数字摄像机触发立体图像记录120。所获得的图像数据可以优选存储在该装置的存储单元中。另选地，可以利用仅具有一个摄像机的装置进行两次记录(参见图1d)。

基于至少一个图像通过边缘检测140识别出场景中的边缘。为此可以使用不同的算法和算子，例如，sobel算子或canny算法。

所述图像因立体图像记录120而可以按立体摄影测量方式进行评估。因此，可以对所检测到的边缘进行基于图像的测量160。例如，可以将三维坐标指配给所检测到的边缘的端点，并且可以计算同一边缘的两个端点之间的距离。只要边缘是笔直的，所计算出的端点之间的距离就对应于边缘长度。

从而，场景的呈现180可以例如在该装置的显示单元上或在外部计算机监视器上呈现给用户，其中，可以在该场景的图像表示中光学上突出显示地描绘所检测到的边缘，并且可以在图像中直接显示所计算出的边缘长度。

自动边缘检测的缺点是，相比算法，一些边缘更容易被人眼检测到，此外，算法不知道用户对哪些边缘感兴趣，对哪些边缘不感兴趣。在根据本发明的方法或根据本发明的装置的实施方式中，用户由此可以在场景5中限定特别感兴趣的区域。图6a和图6b中示出了两个纯粹示例性的解决方案。在相应情况下例示了根据图1a的装置的正面11，其中，在显示单元20上描绘出了根据图3的场景5的图像30。

在边缘检测中，优先级通常位于图像的中心，这就是为什么作为标准可能仅看到图像中心的边缘，或仅仅看到至少部分位于图像中心的边缘的原因。尤其可能的是，优先级定位在位于图像中央的边缘，并且占图像长度的大约50％-90％；例如，图3中门的高度或门旁边的墙长。另选地，也可以优选地在图像周边处寻找边缘。如果图像包括单个墙壁及其边缘，则这样做尤其有意义。

在图6a中，将框35置于图像30上，其将搜索区域限制于图像中心，但其可由用户调节，以使得可选择尤其感兴趣的区域。如果显示单元20是触摸屏(如这里例示的)，那么这可以通过利用用户的手指滑动移动(由箭头示出)来实现。通过位移框35，用户可以位移搜索区域，或者增加或减小其尺寸。

在该情况下，搜索边缘被限制于用户所选择的区域，或者对任何边缘的搜索特别密集或者以非常准确的方式确定边缘长度的地方。

如果需要，边缘检测还可以具有基于机器学习算法的自适应图案识别功能。通常所关注的是该算法可以在此学习哪些类型的边缘。这可以例如利用用户的测量历史或者基于制造商提供的数据或外部数据来实现。

图6b示出了缩放功能。用户还可以在呈现边缘之后放大图像的区域36，例如通过利用他或她的手指在触摸屏20上的对应滑动移动。以这种方式，还可以限定用户感兴趣的区域。例如，还可以放大用户感兴趣的单个边缘。然后可以特别准确地识别和测量所述边缘。

还可以通过深度信息选择要呈现的边缘。例如，用户可以利用滑块限制前后的深度，以便仅获得位于他或她所感兴趣的特定平面中的边缘。因此，不突出显示位于背景或前景中的所识别出的边缘，这些边缘不是用户感兴趣的并且可能干扰获得概览的能力。

如果需要，用户还可以标记图像中的边缘或点。例如，可以确定边缘相对于点的距离。同样可以标记两个平行边缘，随之计算并显示它们之间的距离。例如，如果要确定房间的宽度，那么这是有用的，但是朝向地面和朝向天花板的边缘不会在图像中完整地显示。

图7a和图7b例示了根据本发明的摄影测量装置1的示例性实施方式的基于边缘检测的图案识别功能。作为可通过边缘检测识别的图案的示例，示出了具有三个窗户55的场景5的图像30。在这种情况下，可识别的图案尤其是典型的工业形状，如窗户或门。在图7b中，窗户55的被检测到的边缘65被突出显示。如图3所示，不仅可以指定边缘长度，而且还可以计算出由所检测到的边缘65包围的表面积，并在显示图像30中将其直接输出为值66。这可以针对场景5的所有识别出的图案自动实现，或者作为用户选择特定图案的结果。

尤其是，可以利用自适应算法来进行标识，该自适应算法基于装置的用户历史或者基于存储在装置中的预定义示例来找到感兴趣的对象。

要明白的是，这些例示图仅示意性地例示了可能的示例性实施方式。不同的方法可以彼此组合并且还可以与根据现有技术的方法和装置相组合。