图像处理设备和方法与流程

相关申请的交叉引用

本申请要求于2019年3月11日向韩国知识产权局提交的韩国专利申请第10-2019-0027565号的优先权，其全部内容通过引用合并于此。

本公开的实施方式涉及图像处理设备和方法。

背景技术：

3dsvm(环绕视图监视器)将现有2dsvm的图像用于底面并且将壁图像与底部图像合成，从而在驾驶过程中为用户提供直观而广阔的视野。然而，由于3dsvm像现有的2dsvm一样具有阶梯形失真，因此当与底面具有高度差的对象接近时会发生失真。

相关技术是本发明人为获得本发明而保留的技术信息，或者是在推导本发明的过程中获得的技术信息。相关技术不一定是在应用本发明之前向公众公开的公知技术。

[相关技术文件]

[专利文件]

(专利文献1)韩国专利申请公开第2011-0126178号

技术实现要素：

各个实施方式针对一种图像处理设备和方法，其即使在具有阶梯部分的对象接近的情况下，也可以改变svm中底部图像的面积，从而使图像的失真最小化。

在一个实施方式中，图像处理设备可以包括：转换单元，被配置为将从多个相机接收的原始图像转换为顶视图像；生成单元，被配置为通过合成从所述顶视图像提取的底部图像和从所述原始图像提取的壁图像来生成svm图像；以及处理单元，被配置为根据调整条件通过调整底部图像的面积和壁图像的面积来生成修改的svm图像，并且将所生成的图像处理为显示信号。

图像处理设备还可以包括失真校正单元，被配置为校正从所述多个相机接收的所述原始图像的失真，并且将校正后的图像输出到所述转换单元。

图像处理设备还可以包括第一感测单元，所述第一感测单元被配置为感测对象是否出现在车辆周围，其中，所述处理单元根据所述对象出现的第一调整条件，通过扩大所述底部图像的面积并缩小所述壁图像的面积来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

处理单元可以根据由所述第一感测单元感测到的所述对象的接近距离，通过调整所述壁图像的斜率来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

当车辆停车时，可以操作第一感测单元和处理单元。

图像处理设备可以进一步包括：第二感测单元，被配置为感测方向盘的操作；以及第三感测单元，被配置为感测方向指示器的操作。所述处理单元可以根据其中操作所述方向盘或所述方向指示器的第二调整条件，针对与所述方向盘或所述方向指示器的操作方向相对应的前向面积通过扩大所述底部图像的面积并缩小所述壁图像的面积，来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

当车辆行驶时，可以操作第二感测单元、第三感测单元以及处理单元。

图像处理设备还可包括：第一感测单元，被配置为感测对象是否出现在车辆周围；第二感测单元，被配置为感测方向盘的操作；以及第三感测单元，被配置为感测方向指示器的操作。所述处理单元可以根据其中在操作所述方向盘或所述方向指示器的情况下出现所述对象的第三调整条件，针对与所述方向盘或所述方向指示器的操作方向相对应的前向面积通过扩大所述底部图像的面积、缩小所述壁图像的面积、并根据所述第一感测单元感测到的所述对象的接近距离来调整所述壁图像的斜率，来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

当车辆正在停车时以及当车辆正在行驶时，可以操作第一感测单元、第二感测单元、第三感测单元以及处理单元。

在一个实施方式中，图像处理方法可以以下步骤：由转换单元将从多个相机接收的原始图像转换为顶视图像；由生成单元通过合成从所述顶视图像提取的底部图像和从所述原始图像提取的壁图像来生成svm图像；以及由处理单元根据调整条件通过调整底部图像的面积和壁图像的面积来生成修改的svm图像，并且将所生成的图像处理为显示信号。

图像处理方法还可以包括由失真校正单元校正从所述多个相机接收的所述原始图像的失真，并且将校正后的图像输出到所述转换单元。

图像处理方法还可以包括由第一感测单元感测对象是否出现在车辆周围。生成所述修改的svm图像可以包括：根据所述对象出现的第一调整条件，通过扩大所述底部图像的面积并缩小所述壁图像的面积来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

生成所述修改的svm图像还可以包括：根据由所述第一感测单元感测到的所述对象的接近距离，通过调整所述壁图像的斜率来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

当车辆正在停车时，可以操作第一感测单元和处理单元。

图像处理方法还可包括：由第二感测单元感测方向盘的操作；以及由第三感测单元感测方向指示器的操作。生成所述修改的svm图像可以包括：根据其中操作所述方向盘或所述方向指示器的第二调整条件，针对与所述方向盘或所述方向指示器的操作方向相对应的前向面积通过扩大所述底部图像的面积并缩小所述壁图像的面积，来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

当车辆行驶时，可以操作第二感测单元、第三感测单元和处理单元。

图像处理方法还可包括：由第一感测单元感测对象是否出现在车辆周围；由第二感测单元感测方向盘的操作；以及由第三感测单元感测方向指示器的操作。生成所述修改的svm图像可以包括：根据其中在操作所述方向盘或所述方向指示器的情况下出现所述对象的第三调整条件，针对与所述方向盘或所述方向指示器的操作方向相对应的前向面积通过扩大所述底部图像的面积、缩小所述壁图像的面积、并根据所述第一感测单元感测到的所述对象的接近距离来调整所述壁图像的斜率，来生成所述修改的svm图像，并且将所生成的图像处理为显示信号。

当车辆正在停车时以及当车辆正在行驶时，可以操作第一感测单元、第二感测单元、第三感测单元以及处理单元。

在实施方式中，提供了用于实现本公开的另一种方法和系统以及用于执行该方法的计算机程序。

根据本公开的实施方式，即使对象靠近，图像处理设备和方法也可以改变3dsvm中底部图像的面积，从而最小化图像的失真。

附图说明

图1是示意性地示出根据本公开的实施方式的图像处理设备的图。

图2是示意性地示出根据本公开的实施方式的用于校正图像失真的图像处理操作的图。

图3是示意性地示出根据本公开的实施方式的用于产生三维效果的图像处理操作的图。

图4至图7是示出根据本公开的实施方式的图像处理方法的流程图。

具体实施方式

如在相应领域中的传统，在功能块、单元和/或模块方面可以在附图中示出一些示例性实施方式。本领域普通技术人员将理解，这些块、单元和/或模块由诸如逻辑电路、分立组件、处理器、硬连线电路、存储元件、布线连接等电子(或光学)电路物理地实现。当块、单元和/或模块由处理器或类似硬件实现时，可以使用软件(例如，代码)对它们进行编程和控制，以执行本文讨论的各种功能。可替代地，每个块、单元和/或模块可以由专用硬件或作为专用硬件的组合来实现以执行一些功能，并且可以由处理器(例如，一个或多个编程处理器和相关电路)来实现以执行其他功能。在不脱离本发明构思的范围的情况下，一些示例性实施方式的每个块、单元和/或模块可以在物理上被分成两个或更多个相互作用和离散的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，一些示例性实施方式的块、单元和/或模块可以在物理上组合为更复杂的块、单元和/或模块。

在下文中，以下将通过实施方式的各种示例参考附图来描述图像处理设备和方法。应当注意，附图不是精确的比例，并且可能仅出于描述方便和清楚的目的而夸大了线的粗细或部件的尺寸。此外，本文使用的术语是通过考虑本公开的功能来定义的，并且可以根据用户或操作者的习惯或意图来改变。因此，应根据本文阐述的全部公开内容对术语进行定义。

在下文中，将参考附图详细描述本发明的实施方式。在以下参考附图的描述中，相同或相应的组件将由相同的附图标记表示，并且将省略其重复的描述。

图1是示意性地示出根据本公开的实施方式的图像处理设备的图。参照图1，图像处理设备1可以包括相机100、第一感测单元200、第二感测单元300、第三感测单元400、处理器500和显示单元600。

相机100可以捕获车辆周围的图像，并且将捕获的图像发送到处理器500。由相机100捕获并发送到处理器500的图像可以称为原始图像。在本实施方式中，相机100可以包括第一相机110至第四相机140，其布置在车辆的前、后、左侧和右侧以捕获车辆周围的图像。

相机100可以使用coms(互补金属氧化物半导体)模块或ccd(电荷耦合器件)模块捕获拍摄区域内的对象的图像，输入图像帧或视频可以通过透镜提供给cmos模块或ccd模块，并且cmos模块或ccd模块可以将已经通过透镜的对象的光信号转换成电信号(捕获信号)并输出电信号。

在本实施方式中，相机100可以包括广角相机。广角相机是指能够以比典型相机更宽的fov(视场)捕获图像的相机。例如，广角可以具有在35mm格式下具有35mm以下或具体地28mm以下的焦距的广角镜头或鱼眼镜头。广角相机还可以包括能够以120度或更大或者具体地150度或更大的fov捕获图像的相机。

相机100可以进一步包括图像处理器(未示出)。图像处理器可以减少图像帧的噪声并执行用于图像质量增强的图像信号处理，诸如伽马校正、滤色器阵列插值、颜色矩阵、颜色校正或颜色增强。图像处理器可以在功能上执行色彩处理、模糊处理、边缘强调处理、图像分析处理、图像识别处理、图像效果处理等。图像识别处理可以包括面部识别、场景识别等。例如，图像处理器可以执行亮度水平调整、颜色校正、对比度调整、轮廓强调调整、屏幕分割、字符图像生成、图像合成等。图像处理器可以被安装在相机100或处理器50中，或者被安装为单独的设备。

第一感测单元200可以感测接近车辆或在车辆周围存在的对象，并且对与接近车辆的对象的距离进行测量，并且将所测量的距离发送到处理器500。第一感测单元200可以包括超声传感器、红外传感器、激光雷达传感器、雷达传感器、激光传感器等。在本实施方式中，已经描述了在后部的每一侧存在一个第一感测单元200。然而，本实施方式不限于此，而是可以安装多个感测单元以提高感测对象的能力。

第二感测单元300可以感测方向盘的操作，并且将感测到的操作发送到处理器500。通过该操作，方向盘(其是用于通过使车辆的车轮在一侧到另一侧的方向上移动来改变行驶方向的转向设备)可以向左或向右改变行驶方向。

第三感测单元400可以感测方向指示器的操作，并且将感测到的操作输出到处理器500。方向指示器可以由驾驶员操作以向另一车辆通知车辆的左/右转向。

在本实施方式中，感测单元限于第一感测单元200(其感测接近车辆或车辆周围的对象，并测量与接近车辆的对象的距离)、第二感测单元300(其感测方向盘的操作)和第三感测单元400(其感测方向指示器的操作)。然而，本实施方式不限于此，而是可以进一步安装能够确定车辆周围的状况或车辆的状态的另一感测单元或与该感测单元相对应的组件，以将感测结果输出到处理器500。

在控制单元530的控制下，处理器500可通过处理从相机100接收到的原始图像来生成svm图像，并基于从第一感测单元200至第三感测单元400接收到的感测信号来确定调整条件。当感测信号满足调整条件时，处理器500可以生成修改的svm图像，并且将所生成的图像输出到显示单元600。在选择性实施方式中，处理器500可以连接至能够执行v2x(车辆到一切)通信的通信设备(未示出)，以便更精细地表达3dsvm图像。处理器500可以处理用于建筑工地、道路状况或交通状况的3dsvm图像，从而可以通过v2x技术将3dsvm图像实时显示在显示单元600上，并且3dsvm图像可以由使用v2x技术的其他设备操纵或看到。

在本实施方式中，处理器500可以包括图像处理单元510、lut(查找表)520和控制单元530。图像处理单元510可以包括失真校正单元511、转换单元512、生成单元513、确定单元514和处理单元515。

失真校正单元511可以在控制单元530的控制下校正从相机100接收到的原始图像的失真。在本实施方式中，相机100可以包括广角相机。由于由广角相机拍摄的图像具有整体上存在失真的圆形，因此失真校正单元511可以校正失真。

转换单元512可以在控制单元530的控制下将图像(其失真由失真校正单元511校正并且从失真校正单元511输出)转换为顶视图像。顶视图像可以指示来自驾驶员从车辆的顶部向下观察到底部的视点的图像，并且车辆的驾驶员可以通过顶视图像看到车辆和车辆周围的区域。然而，图2的(a)示出了顶视图像的实施方式，其示出了发生严重失真，使得当对象靠近车辆时，不能识别出具有阶梯部分(由虚线表示)的对象。因此，本实施方式提出了一种结构，即使这种具有阶梯部分的对象靠近，也能够最小化图像的失真。

在控制单元530的控制下，生成单元513可以从由转换单元512转换的顶视图像中提取底部图像，从相机100捕获的原始图像中提取壁图像，并且然后通过合成底部图像和壁图像来生成svm图像。当合成底部图像和壁图像时，生成单元513可以使用存储在lut520中的坐标信息。lut520是用于存储指示顶视图像中包括的每个像素的坐标来自原始图像的哪个坐标的信息的表。当合成底部图像和壁图像时，生成单元513可以使用lut520通过匹配操作来生成自然的svm图像。在本实施方式中，lut520的安装可以是可选的。当合成底部图像和壁图像时，可以使用存储在lut520中的坐标信息或实时计算的坐标信息。

确定单元514可以在控制单元530的控制下确定用于生成修改的svm图像的调整条件。在本实施方式中，确定单元514可以确定第一调整条件至第三调整条件。当对象出现在车辆周围并且通过第一感测单元200感测时，第一调整条件可以发生。例如，当车辆停车时，第一调整条件可以发生。当通过第二感测单元300感测到方向盘的操作或者通过第三感测单元400感测到方向指示器的操作时，第二调整条件可以发生。例如，当车辆正在行驶时，第二调整条件可以发生。在通过第二感测单元300感测的方向盘操作或通过第三感测单元400感测的方向指示器操作的情况下通过第一感测单元200感测到车辆周围出现对象时，可以发生第三调整条件。第三调整条件可以是包括第一调整条件和第二调整条件两者的综合条件。

在控制单元530的控制下，处理单元515可以根据确定单元514确定的调整条件通过调整底部图像的面积和壁图像的面积，来生成修改的svm图像，并且将生成的图像处理为显示信号。

根据其中出现对象的第一调整条件，处理单元515可以通过扩大由生成单元513生成的底部图像的面积并缩小壁图像的面积来生成修改的svm图像，并且将生成的图像处理为显示信号。在本实施方式中，可以预设针对底部图像的面积和壁图像的面积的调整范围。因此，处理单元515可以根据预设的调整范围来调整底部图像的面积和壁图像的面积。图2的(b)示出了在对象出现之前的底部图像和壁图像，并且图2的(c)示出了在对象出现之后的底部图像和壁图像。图2的(c)示出了与图2的(b)相比，底部图像的面积进一步减小，并且壁图像的面积进一步增大。如上所述，可以从顶视图像中提取底部图像，可以从原始图像中提取壁图像，并且底部图像和壁图像可以通过lut520彼此匹配并且被合成为自然的svm图像，这使得可以最小化svm图像的失真。

在选择性实施方式中，第一调整条件还可包括由第一感测单元200感测的对象的接近距离。处理单元515可根据对象的接近距离通过调整壁图像的斜率来生成修改的svm图像，并且将生成的图像处理为显示信号。可以根据对象的接近距离来预设壁图像的斜率。例如，在将从对象到车辆的基准距离设置为例如10m的条件下，处理单元515可以在每当对象接近车辆1m时，将壁图像的斜率增加5度，并且在每当对象远离车辆1m时，将壁图像的斜率降低5度。当对象移动远离车辆10m或更多时，处理单元515可以将壁图像的面积和斜率改变为初始状态。

根据第二调整条件(其中操纵方向盘或方向指示器)，处理单元515针对与方向盘或方向指示器的操作方向相对应的前向面积可以通过扩大底部图像的面积并缩小壁图像的面积来生成修改的svm图像，并且将生成的图像处理为显示信号。处理单元515针对与方向盘或方向指示器的左右方向相对应的前向面积可以通过扩大左右底部图像的面积并缩小左右壁图像的面积来生成修改的svm图像，并且将生成的图像处理为显示信号。当解除第二调整条件时，即，当方向盘朝前操作或方向指示器的操作停止时，处理单元515可以将底部图像的面积和壁图像的面积改变为初始状态。图3示出了根据对象的接近距离来调整壁图像的斜率。处理单元515可以随着对象接近车辆而增加壁图像的斜率，并且随着对象远离车辆而减小壁图像的斜率，从而提供3d图像。

根据第三调整条件(其中，在操作方向盘或方向指示器的情况下对象出现)，处理单元515可以根据第一感测单元200感测到的对象的接近距离，针对与方向盘或方向指示器的操作方向相对应的前向面积通过扩大的底部图像的面积、缩小壁图像的面积、并且调整壁图像的斜率来生成修改的svm图像。

图4是示出根据本公开的实施方式的图像处理方法的流程图。此后，本文将省略与图1至图3的描述重复的内容的描述。

参照图4，在步骤s100中，处理器500从多个相机100(即第一相机110至第四相机140)接收原始图像，该原始图像是通过捕获车辆周围的图像而获得的。在此，相机100可以包括广角相机。

在步骤s200中，处理器500对从相机100接收到的原始图像的失真进行校正。由于由广角相机捕获的图像具有整体上存在失真的圆形，因此，失真校正单元511可以校正失真。

在步骤s300中，处理器500将失真校正后的图像转换为顶视图像。

在步骤s400中，处理器500从顶视图像中提取底部图像，从相机100捕获的原始图像中提取壁图像，并且然后通过合成底部图像和壁图像来生成svm图像。当合成底部图像和壁图像时，处理器500可以使用存储在lut520中的坐标信息。lut520是用于存储指示顶视图像中包括的每个像素的坐标来自原始图像的哪个坐标的信息的表。当合成底部图像和壁图像时，处理器500可以使用lut520通过匹配操作来生成自然的svm图像。

在步骤s500中，处理器500可以根据调整条件通过调整底部图像的面积和壁图像的面积来生成修改的svm图像，将生成的图像处理为显示信号，并且将显示信号输出到显示单元600。因此，驾驶员可以看到最小化失真的svm图像。

图5是示出根据本公开的实施方式的用于生成修改的svm图像的方法的流程图。此后，本文将省略与图1至图4的描述重复的内容的描述。当停车时，可以启用并执行图5中的用于生成修改的svm图像的方法。

参照图5，在步骤s511中，处理器500确定对象是否出现在车辆周围。处理器500可以根据从第一感测单元200接收的感测信号来确定是否出现对象。

在步骤s512中，当对象出现在车辆周围时，处理器500确定满足第一调整条件。

在步骤s513中，根据其中出现对象的第一调整条件，处理器500通过扩大底部图像的面积并缩小壁图像的面积来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出到显示单元600。

在步骤s514中，处理器500基于来自第一感测单元200的信号来确定对象是否正在接近。

在步骤s515中，当对象接近时，处理器500通过增加壁图像的斜率来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出至显示单元600。

在步骤s516中，当对象正远离车辆时，处理器500通过减小壁图像的斜率来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出至显示单元600。

在步骤s517中，处理器500确定对象是否远离车辆参考距离或更远。

在步骤s518中，当对象远离车辆参考距离或更远时，处理器500确定解除第一调整条件，并且将底部图像的面积、壁图像的面积和斜率改变到初始状态。

图6是示出根据图4中的另一实施方式的用于生成修改的svm图像的方法的流程图。此后，本文将省略与图1至图5的描述重叠的内容的描述。当车辆行驶时，可以启用并执行图6中用于生成修改的svm图像的方法。

参照图6，在步骤s521中，处理器500确定是否感测到方向盘或方向指示器的操作。处理器500可以根据从第二感测单元300或第三感测单元400接收的感测信号来感测方向盘或方向指示器的操作。

在步骤s522中，当感测到方向盘或方向指示器的操作时，处理器500确定满足第二调整条件。

在步骤s523中，处理器500确定方向盘或方向指示器的操作方向是否为右。

在步骤s524中，当方向盘或方向指示器的操作方向为右时，处理器500针对与方向盘或方向指示器的右方向相对应的前向面积通过扩大右底部图像的面积并缩小右壁图像的面积，来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出到显示单元600。

在步骤s525中，当方向盘或方向指示器的操作方向为左时，处理器500针对与方向盘或方向指示器的左方向相对应的前向面积通过扩大左底部图像的面积并缩小左壁图像的面积，来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出到显示单元600。

在步骤s526中，处理器500确定第二调整条件是否被解除。当方向盘朝前操作或方向指示器的操作停止时，处理器500确定第二调整条件被解除。

在步骤s527中，当解除第二调整条件时，处理器500将底部图像的面积和壁图像的面积改变为初始状态。

图7是示出根据图4中的又一实施方式的用于生成修改的svm图像的方法的流程图。此后，本文将省略与图1至图6的描述重复的内容的描述。图7中的用于生成修改的svm图像的方法可以被实现为可以在车辆停车和驾驶时应用的集成方法。

参照图7，在步骤s531中，处理器500确定是否感测到方向盘或方向指示器的操作。处理器500可以根据从第二感测单元300或第三感测单元400接收的感测信号来感测方向盘或方向指示器的操作。

在步骤s532中，处理器500确定方向盘或方向指示器的操作方向是否为右。

在步骤s533中，当方向盘或方向指示器的操作方向为右时，处理器500针对与方向盘或方向指示器的右方向相对应的前向面积通过扩大右底部图像的面积并缩小右壁图像的面积，来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出到显示单元600。

在步骤s534中，当方向盘或方向指示器的操作方向为左时，处理器500针对与方向盘或方向指示器的左方向相对应的前向面积通过扩大左底部图像的面积并缩小左壁图像的面积，来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出到显示单元600。

在步骤s535中，处理器500确定对象是否出现在车辆周围并接近车辆。处理器500基于从第一感测单元200接收的感测信号来确定对象是否出现并接近车辆。

在步骤s536中，当对象接近时，处理器500通过增加壁图像的斜率来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出至显示单元600。

在步骤s537中，当对象远离车辆时，处理器500通过减小壁图像的斜率来生成修改的svm图像，将生成的图像处理为显示信号，并且然后将显示信号输出至显示单元600。

在步骤s538中，当方向盘朝前操作或方向指示器的操作停止并且对象远离车辆参考距离或更远时，处理器500确定解除第三调整条件，并且将底部图像的面积、壁图像的面积和斜率改变到初始状态。

尽管出于说明性目的已经公开了本公开的优选实施方式，但是本领域技术人员将理解，在不脱离所附权利要求所限定的本公开的范围和精神的情况下，可以进行各种修改、添加和替换。因此，本公开的真实技术范围应由所附权利要求书限定。