用于生成车辆环境的三维图像的方法和装置制造方法

用于生成车辆环境的三维图像的方法和装置制造方法
【专利摘要】本发明涉及用于生成车辆环境的三维图像的方法和装置。根据本发明的方法包括以下步骤：将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面和具有增加的半径的顶表面的容器形状的三维空间模型所定义的虚拟平面；以及通过使用被映射到虚拟平面的图像生成具有虚拟照相机的观察点的视图图像。根据本发明，有利之处在于可以自然地并且三维地表示包括周围阻碍物的车辆环境的图像。有利之处还在于可以根据车辆的行驶状态而通过改变虚拟观察点来提供车辆环境的最佳图像。还具有的优点是用户可以方便地调整虚拟照相机的观察点。
【专利说明】用于生成车辆环境的三维图像的方法和装置

【技术领域】
[0001] 本发明涉及用于生成车辆环境的图像的方法和装置，更具体地说，涉及用于三维 地生成和提供车辆环境的图像的方法和装置。

【背景技术】
[0002] 随着汽车工业的发展，汽车已经被广泛地分布为一个家庭拥有至少一辆汽车的程 度，并且各种高科技的电子技术被应用于汽车来改善汽车的安全并且提升驾驶员的方便。
[0003] 这种高科技的电子技术包括车辆环境图像显示系统（例如周围视图监视（AVM))， 用于通过捕捉车辆的环境并且显示所捕捉的图像，而允许驾驶员用他的/她的肉眼来容易 地核对车辆的环境。车辆环境图像显示系统经由安装在车辆的前面、后面、左侧和右侧的照 相机来捕捉环境，基于捕捉的图像将重叠区域修正得看上去自然，并且在屏幕上显示车辆 的环境的图像。相应地，驾驶员可以通过观看环境的图像来准确地认清车辆的环境并且可 以不观察侧视镜或者后视镜就容易地停放车辆。
[0004] 尤其是，用于提供车辆环境的图像作为从各种观察点观察到的视图图像的三维 (3D)车辆环境图像提供系统处于聚光灯下。更具体地说，已经研究并且开发了通过根据车 辆的行车条件来改变合成图像的虚拟观察点的位置、眼睛的方向和焦距中的至少一个，而 用于使驾驶员能够更容易地认清车辆环境的技术。
[0005] 为了提供这种车辆环境的3D图像，一般的方法通过使用3D空间模型将照相机捕 捉的图像映射到三维空间虚拟平面。另外，该方法基于被映射到3D空间虚拟平面的输入图 像，根据对应关系来生成合成图像，所述对应关系是根据依照车辆行车条件或者用户选择 而定义的照相机虚拟观察点的位置、眼睛的方向和焦距而预先定义的。然而，存在依照3D 空间模型来看合成图像不自然的问题。例如，当半球模型可以被用作3D空间模型的时候， 可以自然地表示位于距离车辆远距离的对象，但是车辆周围的地面表面表示地不自然。此 夕卜，当相关技术的2D车辆环境图像系统中使用的地面表面被用于映射表面的时候，除了地 面表面以外的对象（例如车辆周围的人或者障碍物）具有被拉长的图像，并且因此不能获 得正常的图像。此外，由于在匹配过程期间，视图图像与真实的照相机图像不能良好地相匹 配，因此存在难以匹配图像的问题。


【发明内容】

[0006] 抟术问是页
[0007] 本发明的一方面是至少解决以上所述的问题和/或不利并且至少提供如下所述 的优点。相应地，本发明的一方面将提供用于生成车辆环境的3D图像的方法和装置，其可 以更自然并且三维地表示包括障碍物的车辆环境的图像。
[0008] 抟术方案
[0009] 根据示例性实施例的一方面，提供了一种用于生成车辆环境的三维图像的方法， 该方法包括：将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面（flat bottom surface)并且朝向顶端（top)增加的半径的器皿形的三维空间模型所定义的虚拟 平面；以及通过使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像。
[0010] 可以根据车辆的驾驶条件和用户选择中的至少一个确定虚拟照相机的观察点。
[0011] 三维空间模型的底表面（bottom surface)的尺寸可以与车辆的驾驶速度成反比。
[0012] 可以参照查找表格生成视图图像，在所述查找表格中预先定义了被映射到虚拟平 面的图像和虚拟照相机的观察点的视图图像之间的对应关系。
[0013] 可以根据虚拟照相机的倾斜角而改变为了生成视图图像而由多个照相机捕捉的 图像彼此重叠的区域的中心。
[0014] 多个照相机可以包括分别安装在车辆的前部、右侧、后部和左侧的前部照相机、右 侧照相机、后部照相机和左侧照相机，并且根据虚拟照相机距离车辆的中心向左侧或者向 右侧距离多远而可以将重叠区域的中心改变为进一步包括由安装在虚拟照相机所处位置 的照相机所捕捉的图像。
[0015] 虚拟照相机的观察点可以与车辆的转向角方向或者齿轮位置互相配合。
[0016] 该方法可以还包括：显示用于接收关于虚拟照相机的观察点的用户选择的用户 界面；以及根据通过用户界面输入的用户选择显示在虚拟照相机的观察点的改变。
[0017] 该方法可以还包括根据虚拟照相机的观察点将关于车辆的驾驶位置周围的建筑 物和道路的信息增加到视图图像。
[0018] 根据本发明另一个示例性实施例的计算机可读介质可以在计算机中记录用于执 行以上所述方法之一的程序。
[0019] 根据示例性实施例的一方面，提供一种显示车辆环境的图像的系统，该系统包括 环境图像生成装置，被配置为接收由安装在车辆中的多个照相机所捕捉的图像，将图像映 射到由具有平底表面并且朝向顶端增加的半径的器皿形的三维空间模型所定义的虚拟平 面，并且通过使用被映射到虚拟平面的图像生成从虚拟照相机的观察点所观察的视图图 像。
[0020] 该环境图像生成装置可以根据虚拟照相机的观察点将关于车辆的驾驶位置周围 的建筑物和道路的信息增加到视图图像。
[0021] 多个照相机可以经由短距离无线通信将捕捉到的图像传送给环境图像生成装置。
[0022] 有益效果
[0023] 根据本发明，该方法和装置具有更自然地并且三维地表示包括周围障碍的车辆环 境的图像的优点。此外，该方法和装置具有通过根据车辆驾驶条件改变虚拟观察点而提供 车辆环境的最佳图像的优点。此外，用户可以容易地调整虚拟照相机的观察点。

【专利附图】

【附图说明】
[0024] 图1是示出根据本发明示例性实施例的包括外部参数评估装置的车辆环境图像 显示系统的方框图；
[0025] 图2是示意视图，用以说明根据本发明示例性实施例，照相机的安装位置和标记 有三角形图案的修正板的布置；
[0026] 图3是说明根据本发明示例性实施例的安装在车辆中的照相机的外部参数的视 图；
[0027] 图4是示出根据本发明示例性实施例的包括标记有三角形图案的修正板的前部 照相机的输入图像的例子的视图；
[0028] 图5是说明根据本发明的示例性实施例的用于评估照相机外部参数的方法的流 程图；
[0029] 图6是示出根据本发明示例性实施例的从通过前部/后部/左侧和右侧照相机捕 捉的图像中提取的顶点的视图；
[0030] 图7是说明根据本发明示例性实施例，用于从照相机外部参数中评估摇镜头角 度、X坐标和y坐标的方法的流程图；
[0031] 图8是说明根据本发明示例性实施例的用于生成车辆环境的三维图像的方法的 流程图；
[0032] 图9是说明根据本发明示例性实施例的三维空间模型的视图；
[0033] 图10是说明根据示例性实施例的用于将通过真实的照相机捕捉的图像映射到三 维空间模型的虚拟平面的方法例子的视图；
[0034] 图11是说明根据本发明示例性实施例的用于根据用户选择来确定虚拟照相机观 察点的方法的视图；
[0035] 图12是说明当生成虚拟照相机观察点的视图图像的时候，由多个照相机捕捉的 图像彼此重叠的区域的视图；以及
[0036] 图13是示出根据本发明示例性实施例的显示了关于车辆周围的建筑物和道路的 信息的虚拟照相机观察点的视图图像的视图。

【具体实施方式】
[0037] 最伴方式
[0038] 现在将详细参考当前的通常的发明构思的实施例，在附图中说明了其示例，其中， 通篇中同样的参考数字指代同样的元件。以下通过参照附图描述实施例以便说明当前的通 常发明构思。
[0039] 图1是示出根据本发明示例性实施例的包括外部参数评估装置的车辆环境图像 显示系统的方框图；
[0040] 参照图1，车辆环境图像显示系统包括四个照相机210、220、230、240，环境图像生 成装置300以及显示装置400,并且还可以包括外部参数评估装置100。当然，环境图像生 成装置300和外部参数评估装置100可以被集成入单个元件中。
[0041] 车辆环境图像显示系统是指在屏幕上显示由安装在车辆中的四个照相机210、 220、230和240捕捉的处理图像所生成的环境图像从而允许驾驶员检查车辆环境的系统。 车辆环境图像显示系统可以提供车辆环境的图像作为从虚拟观察点观察的3D图像。为了 实现这点，应该已知关于安装在车辆中的四个照相机210、220、230和240的位置和地点的 外部参数。
[0042] 四个照相机210、220、230和240被分别安装在车辆的前部、后部、左侧和右侧，并 且可以包括具有大视角的镜头，例如广角镜头、鱼眼镜头等等。照相机210、220、230和240 通过镜头将3D对象捕捉为2D图像，并且将捕捉到的图像提供给外部参数评估装置100和 环境图像生成装置300。根据示例性实施例，照相机210、220、230和240可以具有安装在 其上的短距离无线通信模块，例如Wi-Fi、蓝牙（Bluetooth)、无线个域网（Zigbee)和超宽 带（UltraWideBand，UWB)，并且可以被配置为将图像无线传送给环境图像生成装置300和 外部参数评估装置100。
[0043] 外部参数评估装置100可以从由四个照相机210、220、230和240所提供的图像中 提取顶点形成三角形图案，并且可以使用提取的顶点来评估照相机210、220、230和240的 外部参数。以下将详细地说明用于评估外部参数的方法。
[0044] 环境图像生成装置300可以通过使用由四个照相机210、220、230和240所提供的 图像来为具有根据车辆驾驶条件或者用户选择而定义的预定虚拟观察点的虚拟照相机生 成虚拟观察点图像，并且可以将虚拟观察点图像输出给显示装置400。为了实现这点，环境 图像生成装置300可以通过将照相机210、220、230和240提供的输入图像映射到三维模型 平面来获得纹理映射。可以通过为各个照相机使用投影模型来获得纹理映射，所述投影模 型是基于通过外部参数评估装置100获得的照相机外部参数而获得的。此外，可以使用加 权融合技术来自然地表示在将输入图像映射到三维模型虚拟平面的处理期间由不同的照 相机捕捉的输入图像。当定义了预定虚拟观察点时，环境图像生成装置300可以通过使用 具有对应虚拟观察点的虚拟照相机的投影模型，来从纹理映射中生成虚拟观察点图像，并 且可以输出该虚拟观察点图像。
[0045] 显示装置400在例如液晶显示器（IXD)、有机发光二极管（0LED)等的显示模块上 显示环境的图像。当然，安装在车辆中的导航系统（未显示）可以接收环境的图像并且可 以将其显示在屏幕上。
[0046] 根据示例性实施例，可以通过使用例如智能电话、平板电脑等的便携式通信终端 来实现环境图像生成装置300、外部参数评估装置100和显示装置400。
[0047] 用于修正四个照相机210、220、230和240的镜头变形（distortion)的操作和用 于获得用于每个照相机的投影模型的操作可以是必需的。可以通过使用公知的方法执行这 些操作并且因此省略对它的详细说明。
[0048] 本发明的实施方式
[0049] 以下，将说明根据本发明示例性实施例的通过使用三角形图案评估安装在车辆中 的照相机的外部参数的方法。
[0050] 图2是说明根据本发明示例性实施例的照相机的安装位置和标记有三角形图案 的修正板的布置的示意视图；
[0051] 参照图1和图2,照相机210、220、230和240可以被分别安装在车辆（V)的前部、 后部、左侧和右侧。更具体地说，前部的照相机210可以被安装在车辆（V)的发动机盖的中 心，并且左侧和右侧的照相机230和240可以被安装在车辆（V)的每个侧视镜的边缘或者 底部。此外，后部的照相机220可以被安装在后保险杆的顶端中心。由于照相机捕捉的图 像的比例和图像质量取决于照相机的高度和角度，因此安装在前部和后部的照相机210和 220可以具有相同的高度。同样地，安装在左侧和右侧的照相机230和240可以具有相同 的高度。通过将照相机210、220、230和240设置为具有相同的高度，可以最小化在生成环 境图像时在重叠区域中不均等地表示车道宽度和环境对象看上去具有与实际尺寸不同的 尺寸的现象。此外，可以安装被安装在左侧和右侧的照相机230和240来捕捉位于相对于 垂直于地面方向的线超过170°处的图像。照相机210、220、230和240中的每一个的安装 位置可以根据车辆的种类而不同，并且由于车辆的设计而有可能在安装照相机方面存在限 制。
[0052] 普遍的是，广角镜头由于镜头周围的光量不足而导致图像质量恶化，并且在镜头 的周围部分比中心部分发生更大的变形。此外，当照相机捕捉的图像的观察点发生变化时， 可能很大程度地破坏周围部分的图像的图像质量。因此，为了使用在照相机镜头的中心区 域上形成的图像，安装在前部和后部的照相机210和220可以被安装得使他们的光轴与水 平线平行，并且安装在左侧和右侧的照相机230并且240可以被安装得使他们的光轴垂直 于地面。此外，可以将照相机210、220、230和240的安装高度确定为可以捕捉到位于距离 车辆（V)的前部和后部以及左侧和右侧大约1.5m内的对象。在这种情况下，照相机210、 220、230和240可以被安装为能够捕捉位于相对于地面的垂直轴大约30°至60°以内的对 象。上面描述的照相机的安装位置仅仅是例子，并且照相机210、220、230和240不必需为 根据本发明示例性实施例的照相机外部参数评估装置100而安装在对应的位置。
[0053] 标记有三角形图案的修正板PL1、PL2、PL3和PL4可以被配置在距离车辆（V)的 角落预定距离处，以便通过照相机210、220、230和240捕捉的每一个图像包括两个修正板。 也就是，修正板PL1、PL2、PL3和PL4被安装在距离车辆（V)的各个角落的预定距离处，以便 通过照相机210捕捉的图像包括修正板PL1和PL2,通过后部照相机220捕捉的图像包括修 正板PL3和PL4,通过左侧照相机230捕捉的图像包括修正板PL1和PL4,以及通过右侧照 相机240捕捉的图像包括修正板PL2和PL3。修正板PL1、PL2、PL3和PL4可以被分别结实 地安装在上车辆（V)的左前侧、右前侧、右后侧和左后侧。然而修正板PL1、PL2、PL3和PL4 不必需被安装在预先定义的位置上。然而，修正板PL1、PL2、PL3和PL4应该被放置得与车 辆（V)所处的地面平行。
[0054] 标记有三角形图案的修正板PL1、PL2、PL3和PL4可以被配置在距离车辆（V)的 角落预定距离处，以便通过照相机210、220、230和240捕捉的每一个图像包括两个修正板。 也就是，修正板PL1、PL2、PL3和PL4被安装在距离车辆（V)的各个角落的预定距离处，以便 通过照相机210捕捉的图像包括修正板PL1和PL2,通过后部照相机220捕捉的图像包括 修正板PL3和PL4,通过左侧照相机230捕捉的图像包括修正板PL1和PL4,以及通过右侧 照相机240捕捉的图像包括修正板PL2和PL3。修正板PL1、PL2、PL3和PL4可以被分别结 实地安装在上车辆（V)的左前侧、右前侧、右后侧和左后侧。然而，修正板PL1、PL2、PL3和 PL4不必需被安装在预先定义的位置上。然而，修正板PL1、PL2、PL3和PL4应该被放置得 与车辆（V)所处的地面平行。
[0055] 此外，可以用具有恒定厚度的等边三角形图案标记修正板PL1、PL2、PL3和PL4。该 内三角的尺寸是外三角尺寸的0.4?0.8倍。这是为了从车辆（V)周围的相似三角形图案 中准确地并且自动地提取标记在修正板PL1、PL2、PL3和PL4上的三角图案。然而，不应该 将这点认为是限制。可以以能够提取等边三角形顶点的各种形式来实现修正板PL1、PL2、 PL3 和 PL4。
[0056] 图3是说明根据本发明示例性实施例的安装在车辆中的照相机的外部参数的示 意图。
[0057] 参照图3,安装在车辆（V)中的照相机210、220、230和240的外部参数包括3D空 间坐标（X，y，z)和照相机210、220、230和240的摇动、倾斜和倾侧角（θ，Ψ，Φ)。
[0058] 在3D空间坐标（x，y，z)中，z坐标可以对应于距离车辆（V)所处的地面（G)的高 度，并且前部照相机210、左侧照相机230和右侧照相机240的高度可以分别是z F、&和zB， 如图3(a)所示。此外，X坐标和y坐标可以对应于平行于车辆（V)所处的地面（G)的虚拟 平面上的位置，并且车辆（V)的中心（0)可以是如图3(b)所示的坐标参考。
[0059] 可以通过由照相机210、220、230和240的头的方向和车辆（V)的前进方向形成 的角度定义摇动角度（Θ )，并且照相机210、220、230和240的摇动角度可以分别具有Θ F、 %、匕和θκ的值，如图3(b)所示。
[0060] 可以由照相机210、220、230和240的头的方向和地面（G)形成的角度定义倾斜角 (Ψ)。前部照相机210和后部照相机220的倾斜角可以分别具有Ψ Ρ和ΨΒ的值，如图3 (a) 所示。
[0061] 可以由照相机210、220、230和240相对于照相机头的方向轴的旋转角定义倾侧角 (Φ)，并且左侧照相机230的倾侧角可以具有的值，如图3(a)的视图所示。
[0062] 图4是示出根据本发明示例性实施例的包括标记有三角形图案的修正板的前部 照相机的输入图像的例子的视图，并且图5是说明根据本发明的示例性实施例的用于评估 照相机外部参数的方法的流程图。
[0063] 参照图4,由前部照相机210捕捉并且被输入的图像可以包括两个标记有三角图 案的修正板PL1和PL2。即使当标记在修正板PL1和PL2上的真正的三角图案具有长度A 侧边，输入图像的三角图案也由于前部照相机210的镜头变形、倾斜角（Ψ)、倾侧角（Φ)和 闻度（z)而具有不问长度的侧边（a^ayaya^ajPae)。
[0064] 然而，当以公知方法修正了由前部照相机210捕捉的输入图像中的镜头变形，并 且输入图像被转换为具有以从车辆（V)的顶端向下看向地面的方向（顶视图）为虚拟观察 点的虚拟照相机的图像时，三角形图案PL1和PL2的侧边具有相同的长度（ &1、a2、a3、a4、a5 和 a6)。
[0065] 当基于这样而对于从前部照相机210输入的图像执行以下操作时，可以估计前部 照相机210的倾斜角（Ψ)、倾侧角（Φ)和高度（z)。
[0066] 图5是说明根据本发明示例性实施例的用于从照相机外部参数中评估倾斜角、倾 侧角和高度的方法的流程图。
[0067] 参照图5,外部参数评估装置100修正由前部照相机210所输入的图像的镜头变 形（S510)。其后，外部参数评估装置100从标记在前部照相机捕捉的图像中所包括的左前 侧修正板PL1和右前侧修正板PL2上的三角形图案中提取6个顶点（PI、P2、P3、P4、P5和 P6)，亦即从每个三角形图案中提取3个顶点（S520)。
[0068] 接下来，外部参数评估装置100将6个顶点（P1、P2、P3、P4、P5和P6)的坐标转换 为世界坐标（world coordinates),同时改变前部照相机210的倾斜角（Ψ)、倾侧角（Φ) 和高度（z) (S530)。世界坐标可以将某一参考点或者车辆（V)所处的中心处的地面（G)上 的点（〇)视为坐标参考点。
[0069] 外部参数评估装置100通过使用操作S530中获得的6个顶点（PI、P2、P3、P4、P5 和P6)的世界坐标计算标记在左前侧修正板PL1和右前侧修正板PL2上的三角形图案的侧 边长度（a^ a2、a3、a4、a5 和 a6) (S540)。
[0070] 最后，外部参数评估装置100可以评估将三角形图案的真实侧边的长度和操作 S540中计算出的三角形图案的侧边长度（a^ a2、a3、a4、a5和a6)之间的差异最小化的倾斜 角（Ψ)、倾侧角（Φ)和高度⑴作为前部照相机210的倾斜角（ΨΡ)、倾侧角（ΦΡ)和高度 (z F) (S550)。在操作S550中，最小化由公式1获得的值的倾斜角（ΨΡ)、倾侧角（ΦΡ)和高 度（ζ ρ)，?·(Ψ，Φ，ζ)是这样获得的：

【权利要求】
1. 一种用于生成车辆环境的三维图像的方法，该方法包括： 将由安装在车辆中的多个照相机所捕捉的图像映射到由具有平底表面并且朝向顶端 增加的半径的器皿形的三维空间模型所定义的虚拟平面；以及 通过使用被映射到虚拟平面的图像生成虚拟照相机的观察点的视图图像。
2. 根据权利要求1所述的方法，其中根据车辆的驾驶条件和用户选择的至少之一确定 虚拟照相机的观察点。
3. 根据权利要求1所述的方法，其中三维空间模型的底表面尺寸与车辆的驾驶速度成 反比。
4. 根据权利要求1所述的方法，其中参照查找表格生成视图图像，在所述查找表格中 预先定义了被映射到虚拟平面的图像和虚拟照相机的观察点的视图图像之间的对应关系。
5. 根据权利要求1所述的方法，其中根据虚拟照相机的倾斜角而改变为了生成视图图 像而由多个照相机捕捉的图像彼此重叠的区域的中心。
6. 根据权利要求1所述的方法，其中多个照相机包括分别安装在车辆的前部、右侧、后 部和左侧的前部照相机、右侧照相机、后部照相机和左侧照相机，以及 其中，根据虚拟照相机距离车辆的中心向左侧或者向右侧距离多远而将重叠区域的中 心改变为进一步包括由安装在虚拟照相机所处位置的照相机所捕捉的图像。
7. 根据权利要求2所述的方法，其中虚拟照相机的观察点与车辆的转向角方向或者齿 轮位置互相配合。
8. 根据权利要求2所述的方法，还包括： 显示用于接收关于虚拟照相机的观察点的用户选择的用户界面；以及 根据通过该用户界面输入的用户选择显示虚拟照相机的观察点的改变。
9. 根据权利要求2所述的方法，还包括根据虚拟照相机的观察点将关于车辆的驾驶位 置周围的建筑物和道路的信息增加到视图图像。
10. -种用于显示车辆环境的图像的系统，该系统包括环境图像生成装置，被配置为接 收由安装在车辆中的多个照相机所捕捉的图像，将图像映射到由具有平底表面并且朝向顶 端增加的半径的器皿形的三维空间模型所定义的虚拟平面，并且通过使用被映射到虚拟平 面的图像生成从虚拟照相机的观察点所观察的视图图像。
11. 根据权利要求10所述的系统，其中三维空间模型的底表面尺寸与车辆的驾驶速度 成反比。
12. 根据权利要求10所述的系统，其中该环境图像生成装置根据虚拟照相机的观察点 将关于车辆的驾驶位置周围的建筑物和道路的信息增加到视图图像。
13. 根据权利要求10所述的系统，其中多个照相机经由短距离无线通信将捕捉到的图 像传送给环境图像生成装置。
【文档编号】B60R1/08GK104093600SQ201280068147
【公开日】2014年10月8日 申请日期:2012年9月27日 优先权日:2011年11月30日
【发明者】韩荣寅, 全晟济, 朴钟云, 白原寅 申请人:株式会社伊美吉内柯斯特