一种用于由2D图像数据集生成3D图像数据集的方法与流程

本发明涉及一种用于由2d图像数据集生成3d图像数据集的方法。

背景技术：

相对于2d图像数据集，3d图像数据集还提供空间信息。通常，这种3d图像数据集由所谓的立体摄像机提供。

立体摄像机通常具有两个彼此相邻安装的镜头，并且允许在被触发时同时获取3d图像所需的两个立体半图像。两个镜头的曝光控制和锐度设置是关联的。

使用立体摄像机的替代方案是运动立体视觉，在该运动立体视觉中使用单个摄像机获取的连续图像来创建空间场景。然而，这需要将各个图像登记为图像序列。因此，有必要在图像中找到相同的点并确定图像差异。

此外，普尔弗里希(pulfrich)效应可用于生成3d图像数据集。然而，在此，摄像机或镜头必须始终(原则上并且永久地)执行恒定、缓慢、专门的水平移动。如果仅违反这些要求中的一个，也不会发生3d效果。

技术实现要素：

因此，本发明的一个目的是提供一种方法，利用该方法可以在不使用立体摄像机的情况下提供3d图像数据集。

该目的通过一种用于由2d图像数据集生成3d图像数据集的方法来实现，包括以下步骤：

读取代表具有实际消失点的实际图像的2d图像数据集，

评估2d图像数据集，从而确定至少一个静止和/或可移动的对象，

对至少一个静止和/或可移动的对象进行分类，并且为至少一个静止和/或可移动的对象分配关键字，

使用关键字读取关于至少一个分类的静止和/或可移动的对象的对象信息，和

确定代表具有虚拟消失点的虚拟图像的至少一个辅助图像数据集，其中虚拟消失点不同于实际消失点。

因此，基于关键字读取额外的对象信息，其用作关于在2d图像数据集中不可见的对象(例如因为对象被遮挡)的细节的隐藏信息。由此在没有立体摄相机的情况下也可以提供3d图像数据集。

根据实施例，对象信息是关于分类对象的几何数据。几何数据可以是例如对象的形状和/或尺寸。由此可以特别容易地在不使用立体摄像机的情况下提供3d图像数据集。

根据另一实施例，利用另一虚拟消失点确定至少一个另外的辅助图像数据集，其中该另一虚拟消失点与(前一)虚拟消失点和实际消失点不同。换句话说，形成两个辅助图像数据集，例如用于左侧虚拟图像的第一辅助图像数据集和用于右侧虚拟图像的第二辅助图像数据集。由此可以增强3d效果并且可以提供对称的3d图像数据集。

根据另一实施例，确定至少一个辅助图像数据集包括确定核线。另一图像中给定点的对应像素可以仅位于核线上。这减少了搜索相应像素时的搜索工作量。

根据另一实施例，确定至少一个辅助图像数据集包括将至少一个虚拟消失点布置在实际图像的地平线上。换句话说，生成右虚拟图像和左虚拟图像，该左、右虚拟图像对于机动车辆的驾驶员具有特别重要意义。

根据另一实施例，确定代表具有虚拟消失点的虚拟图像的至少一个辅助图像数据集包括至少第一部分转换和第二部分转换，其中在第一部分转换时根据至少一个虚拟消失点改变静止和可移动的对象的至少一个位置从而确定辅助图像数据集，在第二部分转换时使用读取的对象信息从而在辅助图像数据集中插入隐藏的信息以确定辅助图像数据集。因此，提供了两阶段过程，其中在第一部分转换中仅使用2d图像数据集的数据，而在第二部分转换中使用来自数据库的额外数据。由此即使在没有给出数据库访问权限的情况下，3d图像数据集也可用。此外，由此使得由两个部分转换步骤组成的转换可以并行化并因此在不同的计算机上执行。

此外，本发明包括用于执行这种方法的计算机程序产品、用于执行这种方法的设备和具有这种设备的机动车辆。

附图说明

现在将参考附图解释本发明。在图中：

图1示出了用于执行这种方法的设备的示意图。

图2示出了用于解释图1中所示设备的操作的实际图像和两个虚拟图像的示意图。

具体实施方式

首先参考图1。

所示出的是用于由2d图像数据集2d-bd(2d-bilddatensatz)生成3d图像数据集3d-bd(3d-bilddatensatz)的设备2。在本示例性实施例中，该设备2分配给机动车辆4(例如乘用车辆)，机动车辆4具有人机界面hmi(mensch-maschine-schnittstelle)，例如用于再现3d图像数据集3d-bd的显示器。

为机动车辆4分配摄像机6(例如ccd-摄像机)，该摄像机仅具有一个镜头并且提供没有空间深度信息的2d图像数据集2d-bd。

设备2被设计为读取2d图像数据集2d-bd并输出3d图像数据集3d-bd。

为此，本实施例中的设备2具有图像处理模块8、数据库10、第一转换模块12、第二转换模块14、3d模块16和中央模块18。

设备2、图像处理模块8、数据库10、第一转换模块12、第二转换模块14、3d模块16和中央模块18可以为它们如下所述的输出和功能分别具有硬件和/或软件组件。

现在将另外参考图2解释设备2的操作。

所示出的是基于由机动车辆4的摄像机6所提供的2d图像数据集2d-bd的实际图像20的再现。2d图像数据集2d-bd在第一步骤中由设备2读取。

在本实施例中，再现的实际图像20具有实际消失点22、地平线24和对象26、28和30。在本实施例中，对象26是可移动的和/或静止的对象(例如交通标志或其他交通参与者)、对象28是周围环境元素和/或背景元素(例如道路)、对象30是地面以及对象32是代表实际图像20的透视的图像特有特征。

在另一步骤中，实际消失点22、地平线24和对象26、28和30通过图像处理确定，例如作为特征提取或对象识别的一部分。为此，可以使用霍夫(hough)变换、对比度分析或颜色分类。

在进一步的步骤中，检查对象26是否是可移动的和/或静止的对象。为此，可以使用例如nic算法。结果是得到一个对象列表lo。此外，根据该分类，对象26被分配关键字sw。

在进一步的步骤中，使用确定的关键字sw从数据库10读取与静止和/或可移动的对象26有关的对象信息oi。对象信息oi是与相应的可移动和/或静止的对象26有关的几何数据，例如其形状和/或尺寸。因此，设备2被提供有关于各个可移动和/或静止的对象26的隐藏信息，该隐藏信息不包含在所提供的2d图像数据集bd-2d中。

数据库10是本实施例中的设备2的一部分。不同于本实施例，数据库10也可以单独形成，即，设备2包括图像处理模块8、第一转换模块12、第二转换模块14、3d模块16和中央模块18，而数据库10可以通过例如用于数据传输的无线连接进行读取。数据库10还可以托管在云中。

在进一步的步骤中确定第一虚拟消失点34a。在本示例性实施例中，第一虚拟消失点34a布置在地平线24上的实际消失点22的右侧。换句话说，第一虚拟消失点34a的位置被确定用于左侧的图像。

在进一步的步骤中，执行2d图像数据集bd-2d的第一部分转换，在该步骤中静止的和/或可移动的对象26、28、30、32的位置根据第一虚拟消失点34a进行调整。该第一部分转换的结果以第一辅助图像数据集hbds1的形式提供，该第一辅助图像数据集代表第一虚拟消失点34a的左侧视图。为此，可以使用例如先前通过立体摄相机提供的训练图像数据集离线训练的机器学习算法。

在进一步的步骤中，执行第一辅助图像数据集hbds1的第二部分转换，在该步骤中将对象信息oi添加到辅助图像数据集hbds1，以获得辅助图像数据集hbds1'。结果是，对象信息oi已被适当缩放地添加到额外的对象36a以代表隐藏信息。为此，通过尺寸的大小比较根据对象信息oi和实际尺寸来确定例如额外的对象36a的距离。

因此，虚拟图像38a是辅助图像数据集hbds1'的再现。

在本示例性实施例中，在进一步的步骤中确定第二虚拟消失点34b。在本示例性实施例中，第二虚拟消失点34b布置在实际消失点22左侧的地平线24上。换句话说，第二虚拟消失点34b的位置被确定用于右侧的图像。

因此，通过实际消失点22沿第一方向(在本实施例中向右)沿着地平线24移动来确定第一虚拟消失点34a，而通过实际消失点22沿与第一方向相反的第二方向(在本实施例中向左)沿着地平线24移动来确定第二虚拟消失点34b。

在进一步的步骤中，类似地执行2d图像数据集bd-2d的第一部分转换，在该步骤中，根据第二虚拟消失点34b调整静止的和/或可移动的对象26、28、30、32的位置。该第一部分变换的结果以辅助图像数据集hbds2的形式提供，该辅助图像数据集表示第二虚拟消失点34b的右侧视图。

在另一步骤中，再次类似地执行第二辅助图像数据集hbds2的第二部分转换，在该步骤中将对象信息oi添加到第二辅助图像数据集hbds2以获得第二辅助图像数据集hbds2'。结果是，对象信息oi已被适当缩放地添加到额外的对象36b以代表隐藏信息。

因此，虚拟图像38b是辅助图像数据集hbds2'的再现。

此时可以获得基于实际图像20的左侧虚拟图像38a和右侧虚拟图像38b。

在进一步的步骤中，左侧虚拟图像38a或第一辅助图像数据集hbds1和右侧虚拟图像38b或第二辅助图像数据集hbds2例如由3d模块16组合形成3d图像数据集3d-bd并输出。

此外，可以提供的是，确定和插入核线。

然后可以例如由hmi输出3d图像数据集3d-bd，以再现例如正面场景的三维视图。

因此，总之，基于关键字sw读取额外的对象信息oi，其用作关于在2d图像数据集2d-bd中不可见的静止的和/或可移动的对象26、28、30、32(例如因为对象被遮挡)的细节的隐藏信息。由此在没有立体摄相机的情况下也可以提供3d图像数据集3d-bd。

附图标记列表：

2设备

4机动车辆

6摄像机

8图像处理模块

10数据库

12转换模块

14转换模块

163d模块

18中央模块

20实际图像

22实际消失点

24地平线

26对象

28对象

30对象

34a虚拟消失点

34b虚拟消失点

36a额外的对象

36b额外的对象

38a虚拟图像

38b虚拟图像

hbds1辅助图像数据集

hbds1'辅助图像数据集

hbds2辅助图像数据集

hbds2'辅助图像数据集

lo对象列表

oi对象信息

sw关键字

2d-bd2d图像数据集

3d-bd3d图像数据集