用于使用车辆周围图像检测三维物体的设备和方法
用于使用车辆周围图像检测三维物体的设备和方法
【专利摘要】本发明提供一种用于使用车辆周围图像检测三维物体的设备，该设备包括配置在车辆的前、后、左和右侧上的多个成像装置；处理器，其配置为：通过虚拟成像装置收集车辆的前、后、左和右侧的图像；通过合成上述图像的多个顶视图图像来生成合成图像；在每个边界区中提取多个顶视图图像的边界图案；比较多个顶视图图像的边界图案，从而分析每个边界区中的多个邻近图像之间的相关性；以及根据在每个边界区中多个邻近图像之间的相关性来检测三维物体。
【专利说明】用于使用车辆周围图像检测三维物体的设备和方法
【技术领域】
[0001]本发明涉及用于使用车辆周围图像检测三维物体的设备和方法，并更特别涉及用于通过分析车辆的前、后、左和右顶视图图像之间的边界图案的相关性来检测位于边界区的三维物体的设备和方法。
【背景技术】
[0002]周围全景监控(AVM:Around View Monitoring)系统是转换通过配置在车辆的前、后、左和右侧上的成像装置拍摄的图像的视图并显示在一个图像中的系统。因此，驾驶员可以通过一个图像，通过周围全景监控系统来识别位于车辆周围的物体。
[0003]然而，周围全景监控系统使用由在车辆的前、后、左和右侧上的成像装置获取的多个图像来提供合成图像，由于每个成像装置的视角的不同，在合成图像中多个图像之间的边界区留下潜在盲区。
[0004]当盲区中可能具有三维(3D)物体时，该物体可以不在合成图像中出现，或可以仅在一个图像中出现。当3D物体仅在一个图像中出现时，驾驶员可能在合成图像中清晰地显示物体之前辨认该物体时遇到困难。
【发明内容】
[0005]因此，本发明提供用于使用车辆周围图像检测3D物体的设备和方法，其中比较在邻近图像之间的边界图案从而分析其相关性，由此检测位于合成图像中的每个边界区的3D图像，该边界图案可以从通过组合车辆的前、后、左和右侧的顶视图图像来获取的合成图像中的顶视图图像之间的边界区提取。
[0006]另外，本发明提供用于使用车辆周围图像检测3D物体的设备和方法，其中检测位于合成图像的每个边界区的3D物体并输出，因此驾驶员可以容易地检测位于盲区中的物体。
[0007]根据本发明的实施例，用于使用车辆周围图像检测3D物体的设备包括由控制器中的处理器执行的多个单元。该多个单元包括:图像获取单元，其配置为通过使用设置于车辆的前、后、左和右侧上的成像装置的数学模型生成的虚拟图像装置，来收集车辆的前、后、左和右侧的图像；图像合成单元，其配置为通过合成由图像获取单元捕捉的车辆的前、后、左和右侧的图像的顶视图图像，来生成合成图像；边界图案提取单元，其配置为从合成图像分析在车辆的前、后、左和右侧的顶视图图像之间的边界区，从而在每个边界区中提取车辆的前、后、左和右侧顶视图图像的边界图案(pattern);相关性分析单元，其配置为比较由边界图案提取单元提取的车辆的前、后、左和右侧的顶视图图像的边界图案，从而在每个边界区中分析邻近图像之间的相关性；以及三维(3D)物体检测单元，其配置为在每个边界区中根据邻近图像之间的相关性，检测位于每个边界区中的3D物体。上述边界图案在边界区中包括的车辆的前、后、左和右侧顶视图图像的像素或像素块(block、块)中的亮度、颜色和特征值中的至少一个。上述相关性分析单元在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性，并在每个边界区中邻近图像之间边界图案的差别较大时分析出较低相关性。3D物体检测单元根据相关性分析单元的分析结果，从在邻近图像之间具有较低相关性的边界区检测三维物体。
[0008]在本发明的另一实施例中，用于使用车辆周围图像检测3D物体的方法包括:通过使用配置在车辆的前、后、左和右侧上的成像单元的数学模型生成的虚拟图像装置，来捕捉车辆的前、后、左和右侧的图像；由控制器中的处理器通过合成车辆的前、后、左和右侧的图像的多个顶视图图像(top view image)来生成合成图像；由处理器从合成图像分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区，从而在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案；由处理器比较车辆的前、后、左和右侧的多个顶视图图像的边界图案，从而在每个边界区中分析邻近图像之间的相关性；以及由处理器在每个边界区中根据邻近图像之间的相关性，检测位于每个边界区中的3D物体。边界图案在边界区中包括车辆的前、后、左和右侧顶视图图像的像素或像素块(block)中的亮度、颜色和特征值中的至少一个。相关性的分析可以包括:在每个边界区中多个邻近图像之间边界图案的差别较小时由处理器分析出较高相关性，并在每个边界区中多个邻近图像之间边界图案的差别较大时由处理器分析出较低相关性。3D物体的检测可以包括由处理器根据分析相关性的分析结果，从在多个邻近图像之间具有较低相关性的边界区检测3D物体。
【专利附图】
【附图说明】
[0009]本发明的目标、特征和优点从连同附图的以下详细描述更加明显，其中:
[0010]图1是示出根据本发明的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图；
[0011]图2是示出根据本发明的示例性实施例的用于使用车辆周围图像检测三维物体的设备的配置的示例框图；
[0012]图3是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图；
[0013]图4至7是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图；以及
[0014]图8是示出根据本发明的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。
[0015]【专利附图】
【附图说明】
[0016]10:多个成像装置
[0017]11:第一成像装置
[0018]12:第二成像装置
[0019]13:第三成像装置
[0020]14:第四成像装置
[0021]100:控制器
[0022]110:处理器
[0023]120:存储器
[0024]130:图像获取单元[0025]140:视图转换单元
[0026]150:图像合成单元
[0027]160:边界图案提取单元
[0028]170:相关性分析单元
[0029]180:三维物体检测单元
[0030]190:输出单元
【具体实施方式】
[0031]应理解，术语“车辆”或“车辆的”或如在此使用的其它相似术语一般包括机动车辆，例如包括运动型多用途汽车(SUV)、公共汽车、卡车、各种商业车辆的乘用车、包括各种船只和船舶的水运工具、飞行器等等，并包括混合动力车辆、电动车辆、插入式混合动力电动车辆、氢动力车辆，以及其它代用燃料车辆(例如，来源于除石油之外的资源的燃料)。
[0032]尽管示例性实施例描述为使用多个单元执行示例进程，但应理解示例进程也可以由一个或多个模块执行。另外，应理解术语控制器指代包括存储器和处理器的硬件装置。存储器配置为存储模块，并且处理器具体配置为执行所述模块，从而执行在下面进一步描述的一个或更多进程。
[0033]此外，本发明的控制逻辑可以体现为在包括由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非易失性(非瞬时性)计算机可读介质。计算机可读介质的例子包括但不限于ROM、RAM、CD-ROM (只读光盘)、磁带、软盘、闪存驱动器、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接网络的计算机系统中，因此计算机可读介质以分布形式存储并执行，例如由远程信息处理服务器(telematics server)或控制器域网络(CAN)存储并执行。
[0034]在此使用的术语仅用于描述具体实施例，并不意在限制本发明。本文所使用的单数形式“一个或一种(a、an和the)”除上下文以其它方式明确表明之外，意在同样包括复数形式。进一步应理解的是，本文中所使用的术语“包含(comprises和/或comprising)”是指存在所述特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或更多其它特征、整数、步骤、操作、元件、部件和/或其群组。如本文所使用的，术语“和/或”包括一个或多个相关所列项目中的任何与所有组合。
[0035]参考附图详细描述本发明的示例性实施例。整个附图中的相同参考标号用来指代相同或相似的部分。可以省略包括在此的众所周知的功能和结构的详情，从而避免掩盖本发明的主题。
[0036]图1是示出根据本发明的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图。
[0037]参考图1，用于使用车辆周围图像检测三维物体的设备(在下文中，“3D物体检测设备”)可以通过使用在周围全景监控(AVM)系统中使用的图像，来检测车辆周围的3D物体。AVM系统可以配备配置在车辆外部的成像装置，并可以通过由相应成像装置拍摄的图像来监控车辆的周围区域。
[0038]在AVM系统中，多个成像装置11、12、13、14可以配置在车辆的前、后、左和右侧上，并且可以通过配置在车辆的前、后、左和右侧上的各个成像装置11、12、13、14拍摄前区R1、后区R2、左区R3、和右区R4的图像，并可以合成且转换成顶视图图像，其中该顶视图图像可以通过显示器单元上的屏幕来显示。因此，驾驶员可以通过监控通过ATM提供的顶视图图像，来辨认车辆的周围区域。
[0039]在根据本发明的三维物体检测设备中，可以使用应用到AVM系统的每个成像装置，并且可以分析通过每个成像装置捕捉的图像的边界区图案，从而检测靠近车辆的3D物体，例如石头。参考图2的示例性实施例说明3D物体检测装置的示例性配置的细节。
[0040]图2是示出根据本发明的用于使用车辆周围图像检测三维物体的设备的配置的示例框图。
[0041]参考图2，根据本发明的3D物体检测设备可以包括由具有存储器120的控制器100中的处理器110执行的多个单元。该多个单元包括:图像获取单元130、视图转换单元140、图像合成单元150、边界图案提取单元160、相关性分析单元170、三维物体检测单元180，以及输出单元190。这里，处理器110可以控制三维物体检测设备的每个元件的操作。
[0042]存储器120可以存储用于三维物体检测设备的检测3D物体的操作的设定值。另夕卜，存储器120可以存储通过多个成像装置10拍摄的图像、合成图像，以及从每个图像提取的数据。此外，存储器120可以存储作为分析每个图像的结果的检测出的三维物体的信息。
[0043]图像获取单元130可以收集由配置在车辆外部的多个成像装置10拍摄的图像。
[0044]此外，配置在车辆外部的多个成像装置10可以包括配置在车辆的前、后、左侧和右侧上的第一成像装置11、第二成像装置12、第三成像装置13和第四成像装置14。该多个成像装置10可以分别配置在车辆的前、后、左侧和右侧上，然而，应注意可以另外设置其它成像装置。
[0045]S卩，图像获取单元130可以由处理器收集通过第一成像装置11、第二成像装置12、第三成像装置13和第四成像装置14拍摄的车辆的前、后、左和右侧的图像，并且处理器110可以在存储器120中存储由图像获取单元130收集的图像。
[0046]视图转换单元140可以由处理器转换由图像获取单元130收集的车辆的前、后、左和右侧的图像。具体地，视图转换单元140可以由处理器通过将车辆的前、后、左和右侧的多个图像的视图转换成顶视图，来生成顶视图图像。另外，图像合成单元150可以由处理器通过将源自视图转换单元140的车辆的前、后、左和右侧的视图的顶视图图像合成为一个图像，来生成合成图像。
[0047]在图2的示例性实施例中，视图转换单元140和图像合成单元150在该三维物体检测设备中可以是分立单元；然而根据另一实施例，合成图像可以从AVM系统被输入并且被使用，借此可以省略视图转换单元140和图像合成单元150。即，图像获取单元130可以从AVM系统收集车辆的前、后、左和右侧的顶视图图像的合成图像。
[0048]此外，边界图案提取单元160可以由处理器从车辆的前、后、左和右侧的多个顶视图图像的合成图像提取并分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区。具体地，边界图案提取单元160可以由处理器在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案。
[0049]此外，边界区图案可以包括与多个顶视图图像之间每个边界区中的车辆的前、后、左和右侧顶视图图像的多个顶视图图像对应的像素或像素块中的亮度、颜色和特征值中的至少一个。[0050]在示例性实施例中，边界图案提取单元160可以由处理器在车辆的前和右侧的顶视图图像之间的边界区中提取每个顶视图图像的亮度、颜色、像素值、像素块值(blockvalue、块值)和特征值中的至少一个。类似地，边界图案提取单元160可以由处理器在车辆的后和右侧的顶视图图像之间边界区中、在车辆的后和左侧的顶视图图像之间边界区中，以及在车辆的前和左侧的顶视图图像之间边界区中提取每个顶视图图像的亮度、颜色、像素值、像素块值和特征值中的至少一个。
[0051]相关性分析单元170可以由处理器比较由边界图案提取单元160提取的车辆的前、后、左和右侧的多个顶视图图像的边界图案，从而在合成图像的每个边界区中分析多个邻近图像之间的相关性。具体地，多个邻近图像可以指代在合成图像的每个边界区中相互面对的图像。例如，在车辆的前和右侧的多个顶视图图像相互面对的边界区中，前侧的顶视图图像的邻近图像可以是右侧的顶视图图像。
[0052]此外，相关性分析单元170可以由处理器在合成图像的每个边界区中基于多个邻近图像之间的边界图案的差别，在相应边界区中分析多个邻近图像之间的相关性。具体地，相关性分析单元170可以在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性，并且可以在边界图案的差别较大时分析出较低相关性。
[0053]三维物体检测单元180可以由处理器在合成图像的每个边界区中根据邻近图像之间的相关性，来检测位于每个边界区中的3D物体。具体地，三维物体检测单元180可以在合成图像中从邻近图像之间具有较低相关性的边界区检测3D物体。
[0054]在示例性实施例中，三维物体检测单元180可以由处理器在合成图像的边界区中邻近图像之间的亮度或颜色的差别较大时，确定三维物体位于相应边界区中。在由三维物体检测单元180确定检测到3D物体时，输出单元190可以由处理器输出通知检测到3D物体的消息。具体地，输出单元190可以输出3D物体被检测到的位置。
[0055]此外,输出单元190可以是显示器(display)例如监视器(monitor)、触摸屏或导航仪，和语音输出设备例如扬声器。因此，由输出单元190输出的消息并不仅限于一种形式，可以根据实施例来改变。
[0056]图3是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图。
[0057]参考图3，根据本发明的三维物体检测设备，如(a)所示，可以收集通过配置在车辆的前、后、左和右侧上的多个成像装置拍摄的多个图像I1、12、13和14。具体地，如图3的(b)所示，三维物体检测设备可以由处理器通过配置在车辆的前、后、左和右侧上的每个成像装置的数学建模来设定虚拟成像装置，并且，如(C)所示，可以将在(a)中获取的各自图像的视图转换成顶视图，从而生成合成图像。
[0058]S卩，在图3的(a)中通过配置在车辆的前侧的成像装置拍摄的图像Il对应于(C)的合成图像的II，并且在图3的(a)中通过配置在车辆的后侧上的成像装置拍摄的图像12对应于(c)的合成图像的12。同样，在图3的(a)中通过配置在车辆的左侧上的成像装置拍摄的图像13对应于(c)的合成图像的13，并且在图3的(a)中通过配置在车辆的右侧上的成像装置拍摄的图像14对应于(c)的合成图像的14。
[0059]图4至7是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图。[0060]图4示出在图3中生成的合成图像中的车辆的前、后、左和右侧的多个顶视图图像之间的边界区。
[0061]参考图4，在图3的(C)中生成的合成图像中，车辆的前、后、左和右侧的顶视图图像之间的边界区可以在车辆的前-左(FL)、前-右(FR)、后-左(RL)和后-右(RR)侧上形成。
[0062]三维物体检测设备可以由处理器提取边界图案，例如在每个边界区中多个邻近图像的亮度、颜色、像素值、像素块值和特征值。具体地，三维物体检测设备可以关于边界区中邻近图像之间的边界线，将边界图案从车辆的内侧提取到外侧。
[0063]此外，三维物体检测设备可以由处理器关于每个边界区的边界线分析在对应于邻近图像的位置的边界图案的相关性，并且当相关性等于或大于参考值时可确定为平坦表面，并在相关性低于参考值时可确定三维物体位于相应区域。
[0064]S卩，三维物体检测设备可以由处理器在合成图像的每个边界区中关于邻近图像之间的边界线，比较边界图案，例如相应位置的亮度、颜色、像素值、像素块值和特征值，并可以在边界图案相似于参考图案时确定为平坦表面，并可以在边界图案不相似于参考图案时确定三维物体位于相应区域中。
[0065]图5示出在图4的边界图像中提取的邻近图像之间的边界图案的相关性。
[0066]参考图5，边界图案的相关性可以具有最大值I和最小值0，并且在每个边界区中根据邻近图像之间的边界图案的差别，该值在O至I的范围内变化。具体地，在每个边界区中用于检测三维物体的参考相关性可以根据设定修改，并且在图5的示例性实施例中，用于确定三维物体的参考相关性可以是0.98。
[0067]S卩，在每个边界区中邻近图像之间的边界图案的相关性等于或大于0.98时，可以根据较高相关性确定为平坦表面，并且在该相关性低于0.98时，可以根据较低相关性确定三维物体存在。
[0068]在图5中示出的图表中，横轴是排列像素块来提取边界图案的顺序(例如，最内像素块是第一个像素块，并且最外像素块是第100个像素块)，纵轴是相关性。具体地，为了提取边界图案而进行排列的像素块可以具有对应于三个像素的宽度；然而，本发明不限于此。
[0069]此外，在合成图像的前方左侧上的边界区的相关性图表中，对于第一个至第40个像素块，相关性可能等于或大于0.98，并且第40个像素块以后可能低于0.98。在三维物体检测设备确定在车辆的前左方向上的第一个到第40个像素块是平坦表面时，三维物体可能位于第40个像素块以后。
[0070]另外，在合成图像的前方右侧上的边界区的相关性图表中，直至第25个像素块，相关性可能等于或大于0.98，并且在第25个像素块之后可能低于0.98。在三维物体检测设备确定在车辆的前右方向上的第一个到第25个像素块是平坦表面时，三维物体可能位于第25个像素块以后。
[0071]此外，在合成图像的后方左侧上的边界区的相关性图表中，直至第45个像素块和在第55个像素块之后，相关性可能等于或大于0.98，并且在第46个像素块和第55个像素块之间相关性可能低于0.98。在三维物体检测设备确定三维物体在车辆的后左方向上的第46个到第55个像素块之间存在时，剩余像素块可能是平坦表面。
[0072]另外，在合成图像的前方左侧上的边界区的相关性图表中，直到第20个像素块，相关性可能等于或大于0.98，并且在第20个像素块之后，相关性可能低于0.98。在三维物体检测设备确定在车辆的后右方向上的第一个到第20个像素块是平坦表面时，三维物体可能位于第20个像素块之后。
[0073]图6和7示出在实际车辆中拍摄的多个图像的示例性合成图像。
[0074]参考图6，在车辆的前右方向上的边界区中和在后右方向上的边界区中邻近图像之间显现出色差。具体地，邻近图像之间的显著差别在区域Al和区域A2之间显现。
[0075]此外，三维物体检测设备可以由处理器比较在车辆的前方右侧的边界区中和在后方右侧的边界区中的邻近图像之间的边界图案的差别，并可以确定在区域Al和区域A2中的邻近图像之间相关性较低。因此，三维物体检测设备可以确定三维物体位于区域Al和区域A2中，并可以通过车辆的显示设备或语音输出设备输出三维物体检测信息。
[0076]此外，参考图7，在车辆的前左方向上的边界区中和在后左方向上的边界区中邻近图像之间显现出色差和亮度差。具体地，邻近图像之间的显著差别在区域BI和区域B2之间显现。
[0077]此外，三维物体检测设备可以由处理器比较在车辆的前方左侧的边界区中和在后方左侧的边界区中的邻近图像之间的边界图案的差别，并可以确定在区域BI和区域B2中的邻近图像之间相关性较低。因此，三维物体检测设备可以确定三维物体位于区域BI和区域B2中，并可以通过车辆的显示设备或语音输出设备输出三维物体检测信息。
[0078]因此，三维物体检测设备可以由处理器使用分析邻近图像之间的边界图案的相关性的技术来检测3D物体，因此，可以在不需要另外的用于检测3D物体的设备的情况下检测3D物体，并且驾驶员可以容易地辨认位于盲区中的3D物体。
[0079]下面详细描述上面根据本发明配置的三维物体检测设备的示例性方法。
[0080]图8是示出根据本发明的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。
[0081]参考图8，根据本发明的三维物体检测设备可以由处理器从配置在车辆的前、后、左和右侧上的多个成像装置收集图像(S100)，并可以由处理器将在SlOO中收集的图像转换成顶视图图像(S110)。在SllO中，可以基于配置在车辆的前、后、左和右侧上的多个成像装置的定位信息，通过数学建模来设定对应于每个成像装置的虚拟成像装置，并且可以使用设定好的虚拟成像装置转换在SlOO中获取的图像的顶视图。接下来，可以由处理器将多个顶视图图像合成为一个图像(S120)。另外，当在车辆中配置有AVM系统时，可以省略SllO和 S120。
[0082]此外，三维物体检测设备可以由处理器从在S120中生成的合成图像，提取在多个顶视图图像之间的边界区。具体地，三维物体检测设备可以提取包括在S130中提取的边界区中的多个顶视图图像的边界图案，并由处理器在其间进行比较(S140)。在S140中，可以由处理器从每个边界区在像素或像素块中(以像素或像素块单位)提取每个顶视图图像的亮度、颜色和特征点，并且在每个边界区中多个邻近顶视图图像的亮度、颜色和特征点，可以由处理器在其间进行比较。
[0083]基于S140的比较结果，三维物体检测设备可以由处理器分析在每个边界区中邻近顶视图图像之间的相关性(S150 )。
[0084]在一个实施例中，三维物体检测设备可以由处理器在具体边界区中比较邻近顶视图图像的亮度，从而根据邻近顶视图图像之间的亮度差分析相关性。具体地，当邻近顶视图图像之间的亮度差较小时，分析出相关性较高，并且当邻近顶视图图像之间的亮度差较大时，分析出相关性较低。
[0085]当在S150中由处理器在车辆的前方左侧、前方右侧、后方右侧以及后方左侧中的边界区中完成邻近图像之间的相关性分析时，三维物体检测设备可以由处理器基于S150的分析结果检测位于每个边界区中的3D物体(S160)。
[0086]在S160中，三维物体检测设备可以由处理器在邻近图像之间具有低相关性的边界区中检测3D物体。在S160中检测到3D物体时，三维物体检测设备可以由处理器以文本或语音的形式通知驾驶员3D物体检测结果。
[0087]根据本发明，在合成车辆的前、后、左和右侧的顶视图的合成图像中，根据从顶视图图像之间的边界区中提取的邻近图像之间的边界图案的相关性来检测三维物体，由此，驾驶员可以容易辨认位于盲区中的3D物体。
[0088]根据本发明的三维物体检测设备可以使用分析邻近图像之间的边界图案的相关性的技术来检测三维物体，从而可以在不需要用于检测三维物体的分立设备的情况下检测3D物体，并且驾驶员可以容易地辨认位于盲区中的3D物体。
[0089]以上，尽管参考附图描述了本发明的实施例，但本领域技术人员应认识到，在不背离本发明的技术精神或基本特征的情况下，能够用其它具体形式实施本发明。因此，以上描述的本发明应解释为在各个方面的示例而不是限制。
【权利要求】
1.一种用于使用车辆周围图像检测三维物体的设备，所述设备包括: 配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置；和 处理器，所述处理器配置为: 通过使用每个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的所述前方、后方、左侧和右侧的图像； 通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像,来生成合成图像； 从所述合成图像，分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案； 比较所述多个顶视图图像的所述边界图案，从而分析在每个边界区中多个邻近图像之间的相关性；以及 根据每个边界区中的所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体。
2.如权利要求1所述的设备，其中所述边界图案选自下述中的至少一个:每个边界区中的所述车辆的前方、后方、左侧和右侧的多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
3.如权利要求1所述的设备，其中所述处理器进一步配置为，在每个边界区中所述多个邻近图像之间，所述边界图案的差别较小时，分析出较高相关性，并在每个边界区中所述多个邻近图像之间，所述边界图案的差别较大时，分析出较低相关性。
4.如权利要求1所述的设备，其中所述处理器进一步配置为，从所述多个邻近图像之间具有较低相关性的边界区`检测所述三维物体。
5.一种使用车辆周围图像检测三维物体的方法，所述设备包括: 由处理器通过使用配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的所述前方、后方、左侧和右侧的图像；由所述处理器通过合成所述车辆的前方、后方、左侧和所述右侧的图像的多个顶视图图像，来生成合成图像； 由所述处理器从所述合成图像分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案； 由所述处理器比较所述多个顶视图图像的边界图案，从而分析每个边界区中的多个邻近图像之间的相关性；以及 由所述处理器根据每个边界区中的所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体。
6.如权利要求5所述的方法，其中所述边界图案选自下述中的至少一个:每个边界区中的所述多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
7.如权利要求5所述的方法，其中所述相关性的分析还包括: 在每个边界区中所述多个邻近图像之间，所述边界图案的差别较小时，由所述处理器分析出较高相关性，并在每个边界区中所述多个邻近图像之间，所述边界图案的差别较大时由所述处理器分析出较低相关性。
8.如权利要求5所述的方法，其中所述三维物体的检测还包括:由所述处理器，从所述多个邻近图像之间具有较低相关性的所述边界区，检测所述三维物体。
9.一种含有由处理器执行的程序指令的非瞬时性计算机可读介质，所述计算机可读介质包括: 通过使用每个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的前方、后方、左侧和右侧的图像的程序指令； 通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像，来生成合成图像的程序指令； 从所述合成图像分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案的程序指令； 比较所述多个顶视图图像的边界图案，从而分析在每个边界区中多个邻近图像之间的相关性的程序指令；以及 根据在每个边界区中所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体的程序指令。
10.如权利要求9所述的非瞬时性计算机可读介质，其中所述边界图案选自下述中的至少一个:每个边界区中的所述车辆的前方、后方、左侧和右侧的多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
11.如权利要求9所述的非瞬时性计算机可读介质，还包括: 在每个边界区中所述多个邻近图像之间，所述边界图案的差别较小时分析出较高相关性，并在每个边界区中所述多个邻近图像之间，所述边界图案的差别较大时分析出较低相关性的程序指令。
12.如权利要求9所述的非瞬时性计算机可读介质，还包括: 从所述多个邻近图像之间具有较低相关性的边界区检测所述三维物体的程序指令。
【文档编号】G06T7/00GK103530865SQ201210579926
【公开日】2014年1月22日 申请日期:2012年12月27日 优先权日:2012年7月5日
【发明者】尹大仲, 崔在燮, 藏裕珍 申请人:现代自动车株式会社
【专利摘要】本发明提供一种用于使用车辆周围图像检测三维物体的设备，该设备包括配置在车辆的前、后、左和右侧上的多个成像装置；处理器，其配置为：通过虚拟成像装置收集车辆的前、后、左和右侧的图像；通过合成上述图像的多个顶视图图像来生成合成图像；在每个边界区中提取多个顶视图图像的边界图案；比较多个顶视图图像的边界图案，从而分析每个边界区中的多个邻近图像之间的相关性；以及根据在每个边界区中多个邻近图像之间的相关性来检测三维物体。
【专利说明】用于使用车辆周围图像检测三维物体的设备和方法
【技术领域】
[0001]本发明涉及用于使用车辆周围图像检测三维物体的设备和方法，并更特别涉及用于通过分析车辆的前、后、左和右顶视图图像之间的边界图案的相关性来检测位于边界区的三维物体的设备和方法。
【背景技术】
[0002]周围全景监控(AVM:Around View Monitoring)系统是转换通过配置在车辆的前、后、左和右侧上的成像装置拍摄的图像的视图并显示在一个图像中的系统。因此，驾驶员可以通过一个图像，通过周围全景监控系统来识别位于车辆周围的物体。
[0003]然而，周围全景监控系统使用由在车辆的前、后、左和右侧上的成像装置获取的多个图像来提供合成图像，由于每个成像装置的视角的不同，在合成图像中多个图像之间的边界区留下潜在盲区。
[0004]当盲区中可能具有三维(3D)物体时，该物体可以不在合成图像中出现，或可以仅在一个图像中出现。当3D物体仅在一个图像中出现时，驾驶员可能在合成图像中清晰地显示物体之前辨认该物体时遇到困难。
【发明内容】
[0005]因此，本发明提供用于使用车辆周围图像检测3D物体的设备和方法，其中比较在邻近图像之间的边界图案从而分析其相关性，由此检测位于合成图像中的每个边界区的3D图像，该边界图案可以从通过组合车辆的前、后、左和右侧的顶视图图像来获取的合成图像中的顶视图图像之间的边界区提取。
[0006]另外，本发明提供用于使用车辆周围图像检测3D物体的设备和方法，其中检测位于合成图像的每个边界区的3D物体并输出，因此驾驶员可以容易地检测位于盲区中的物体。
[0007]根据本发明的实施例，用于使用车辆周围图像检测3D物体的设备包括由控制器中的处理器执行的多个单元。该多个单元包括:图像获取单元，其配置为通过使用设置于车辆的前、后、左和右侧上的成像装置的数学模型生成的虚拟图像装置，来收集车辆的前、后、左和右侧的图像；图像合成单元，其配置为通过合成由图像获取单元捕捉的车辆的前、后、左和右侧的图像的顶视图图像，来生成合成图像；边界图案提取单元，其配置为从合成图像分析在车辆的前、后、左和右侧的顶视图图像之间的边界区，从而在每个边界区中提取车辆的前、后、左和右侧顶视图图像的边界图案(pattern);相关性分析单元，其配置为比较由边界图案提取单元提取的车辆的前、后、左和右侧的顶视图图像的边界图案，从而在每个边界区中分析邻近图像之间的相关性；以及三维(3D)物体检测单元，其配置为在每个边界区中根据邻近图像之间的相关性，检测位于每个边界区中的3D物体。上述边界图案在边界区中包括的车辆的前、后、左和右侧顶视图图像的像素或像素块(block、块)中的亮度、颜色和特征值中的至少一个。上述相关性分析单元在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性，并在每个边界区中邻近图像之间边界图案的差别较大时分析出较低相关性。3D物体检测单元根据相关性分析单元的分析结果，从在邻近图像之间具有较低相关性的边界区检测三维物体。
[0008]在本发明的另一实施例中，用于使用车辆周围图像检测3D物体的方法包括:通过使用配置在车辆的前、后、左和右侧上的成像单元的数学模型生成的虚拟图像装置，来捕捉车辆的前、后、左和右侧的图像；由控制器中的处理器通过合成车辆的前、后、左和右侧的图像的多个顶视图图像(top view image)来生成合成图像；由处理器从合成图像分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区，从而在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案；由处理器比较车辆的前、后、左和右侧的多个顶视图图像的边界图案，从而在每个边界区中分析邻近图像之间的相关性；以及由处理器在每个边界区中根据邻近图像之间的相关性，检测位于每个边界区中的3D物体。边界图案在边界区中包括车辆的前、后、左和右侧顶视图图像的像素或像素块(block)中的亮度、颜色和特征值中的至少一个。相关性的分析可以包括:在每个边界区中多个邻近图像之间边界图案的差别较小时由处理器分析出较高相关性，并在每个边界区中多个邻近图像之间边界图案的差别较大时由处理器分析出较低相关性。3D物体的检测可以包括由处理器根据分析相关性的分析结果，从在多个邻近图像之间具有较低相关性的边界区检测3D物体。
【专利附图】
【附图说明】
[0009]本发明的目标、特征和优点从连同附图的以下详细描述更加明显，其中:
[0010]图1是示出根据本发明的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图；
[0011]图2是示出根据本发明的示例性实施例的用于使用车辆周围图像检测三维物体的设备的配置的示例框图；
[0012]图3是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图；
[0013]图4至7是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图；以及
[0014]图8是示出根据本发明的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。
[0015]【专利附图】
【附图说明】
[0016]10:多个成像装置
[0017]11:第一成像装置
[0018]12:第二成像装置
[0019]13:第三成像装置
[0020]14:第四成像装置
[0021]100:控制器
[0022]110:处理器
[0023]120:存储器
[0024]130:图像获取单元[0025]140:视图转换单元
[0026]150:图像合成单元
[0027]160:边界图案提取单元
[0028]170:相关性分析单元
[0029]180:三维物体检测单元
[0030]190:输出单元
【具体实施方式】
[0031]应理解，术语“车辆”或“车辆的”或如在此使用的其它相似术语一般包括机动车辆，例如包括运动型多用途汽车(SUV)、公共汽车、卡车、各种商业车辆的乘用车、包括各种船只和船舶的水运工具、飞行器等等，并包括混合动力车辆、电动车辆、插入式混合动力电动车辆、氢动力车辆，以及其它代用燃料车辆(例如，来源于除石油之外的资源的燃料)。
[0032]尽管示例性实施例描述为使用多个单元执行示例进程，但应理解示例进程也可以由一个或多个模块执行。另外，应理解术语控制器指代包括存储器和处理器的硬件装置。存储器配置为存储模块，并且处理器具体配置为执行所述模块，从而执行在下面进一步描述的一个或更多进程。
[0033]此外，本发明的控制逻辑可以体现为在包括由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非易失性(非瞬时性)计算机可读介质。计算机可读介质的例子包括但不限于ROM、RAM、CD-ROM (只读光盘)、磁带、软盘、闪存驱动器、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接网络的计算机系统中，因此计算机可读介质以分布形式存储并执行，例如由远程信息处理服务器(telematics server)或控制器域网络(CAN)存储并执行。
[0034]在此使用的术语仅用于描述具体实施例，并不意在限制本发明。本文所使用的单数形式“一个或一种(a、an和the)”除上下文以其它方式明确表明之外，意在同样包括复数形式。进一步应理解的是，本文中所使用的术语“包含(comprises和/或comprising)”是指存在所述特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或更多其它特征、整数、步骤、操作、元件、部件和/或其群组。如本文所使用的，术语“和/或”包括一个或多个相关所列项目中的任何与所有组合。
[0035]参考附图详细描述本发明的示例性实施例。整个附图中的相同参考标号用来指代相同或相似的部分。可以省略包括在此的众所周知的功能和结构的详情，从而避免掩盖本发明的主题。
[0036]图1是示出根据本发明的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图。
[0037]参考图1，用于使用车辆周围图像检测三维物体的设备(在下文中，“3D物体检测设备”)可以通过使用在周围全景监控(AVM)系统中使用的图像，来检测车辆周围的3D物体。AVM系统可以配备配置在车辆外部的成像装置，并可以通过由相应成像装置拍摄的图像来监控车辆的周围区域。
[0038]在AVM系统中，多个成像装置11、12、13、14可以配置在车辆的前、后、左和右侧上，并且可以通过配置在车辆的前、后、左和右侧上的各个成像装置11、12、13、14拍摄前区R1、后区R2、左区R3、和右区R4的图像，并可以合成且转换成顶视图图像，其中该顶视图图像可以通过显示器单元上的屏幕来显示。因此，驾驶员可以通过监控通过ATM提供的顶视图图像，来辨认车辆的周围区域。
[0039]在根据本发明的三维物体检测设备中，可以使用应用到AVM系统的每个成像装置，并且可以分析通过每个成像装置捕捉的图像的边界区图案，从而检测靠近车辆的3D物体，例如石头。参考图2的示例性实施例说明3D物体检测装置的示例性配置的细节。
[0040]图2是示出根据本发明的用于使用车辆周围图像检测三维物体的设备的配置的示例框图。
[0041]参考图2，根据本发明的3D物体检测设备可以包括由具有存储器120的控制器100中的处理器110执行的多个单元。该多个单元包括:图像获取单元130、视图转换单元140、图像合成单元150、边界图案提取单元160、相关性分析单元170、三维物体检测单元180，以及输出单元190。这里，处理器110可以控制三维物体检测设备的每个元件的操作。
[0042]存储器120可以存储用于三维物体检测设备的检测3D物体的操作的设定值。另夕卜，存储器120可以存储通过多个成像装置10拍摄的图像、合成图像，以及从每个图像提取的数据。此外，存储器120可以存储作为分析每个图像的结果的检测出的三维物体的信息。
[0043]图像获取单元130可以收集由配置在车辆外部的多个成像装置10拍摄的图像。
[0044]此外，配置在车辆外部的多个成像装置10可以包括配置在车辆的前、后、左侧和右侧上的第一成像装置11、第二成像装置12、第三成像装置13和第四成像装置14。该多个成像装置10可以分别配置在车辆的前、后、左侧和右侧上，然而，应注意可以另外设置其它成像装置。
[0045]S卩，图像获取单元130可以由处理器收集通过第一成像装置11、第二成像装置12、第三成像装置13和第四成像装置14拍摄的车辆的前、后、左和右侧的图像，并且处理器110可以在存储器120中存储由图像获取单元130收集的图像。
[0046]视图转换单元140可以由处理器转换由图像获取单元130收集的车辆的前、后、左和右侧的图像。具体地，视图转换单元140可以由处理器通过将车辆的前、后、左和右侧的多个图像的视图转换成顶视图，来生成顶视图图像。另外，图像合成单元150可以由处理器通过将源自视图转换单元140的车辆的前、后、左和右侧的视图的顶视图图像合成为一个图像，来生成合成图像。
[0047]在图2的示例性实施例中，视图转换单元140和图像合成单元150在该三维物体检测设备中可以是分立单元；然而根据另一实施例，合成图像可以从AVM系统被输入并且被使用，借此可以省略视图转换单元140和图像合成单元150。即，图像获取单元130可以从AVM系统收集车辆的前、后、左和右侧的顶视图图像的合成图像。
[0048]此外，边界图案提取单元160可以由处理器从车辆的前、后、左和右侧的多个顶视图图像的合成图像提取并分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区。具体地，边界图案提取单元160可以由处理器在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案。
[0049]此外，边界区图案可以包括与多个顶视图图像之间每个边界区中的车辆的前、后、左和右侧顶视图图像的多个顶视图图像对应的像素或像素块中的亮度、颜色和特征值中的至少一个。[0050]在示例性实施例中，边界图案提取单元160可以由处理器在车辆的前和右侧的顶视图图像之间的边界区中提取每个顶视图图像的亮度、颜色、像素值、像素块值(blockvalue、块值)和特征值中的至少一个。类似地，边界图案提取单元160可以由处理器在车辆的后和右侧的顶视图图像之间边界区中、在车辆的后和左侧的顶视图图像之间边界区中，以及在车辆的前和左侧的顶视图图像之间边界区中提取每个顶视图图像的亮度、颜色、像素值、像素块值和特征值中的至少一个。
[0051]相关性分析单元170可以由处理器比较由边界图案提取单元160提取的车辆的前、后、左和右侧的多个顶视图图像的边界图案，从而在合成图像的每个边界区中分析多个邻近图像之间的相关性。具体地，多个邻近图像可以指代在合成图像的每个边界区中相互面对的图像。例如，在车辆的前和右侧的多个顶视图图像相互面对的边界区中，前侧的顶视图图像的邻近图像可以是右侧的顶视图图像。
[0052]此外，相关性分析单元170可以由处理器在合成图像的每个边界区中基于多个邻近图像之间的边界图案的差别，在相应边界区中分析多个邻近图像之间的相关性。具体地，相关性分析单元170可以在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性，并且可以在边界图案的差别较大时分析出较低相关性。
[0053]三维物体检测单元180可以由处理器在合成图像的每个边界区中根据邻近图像之间的相关性，来检测位于每个边界区中的3D物体。具体地，三维物体检测单元180可以在合成图像中从邻近图像之间具有较低相关性的边界区检测3D物体。
[0054]在示例性实施例中，三维物体检测单元180可以由处理器在合成图像的边界区中邻近图像之间的亮度或颜色的差别较大时，确定三维物体位于相应边界区中。在由三维物体检测单元180确定检测到3D物体时，输出单元190可以由处理器输出通知检测到3D物体的消息。具体地，输出单元190可以输出3D物体被检测到的位置。
[0055]此外,输出单元190可以是显示器(display)例如监视器(monitor)、触摸屏或导航仪，和语音输出设备例如扬声器。因此，由输出单元190输出的消息并不仅限于一种形式，可以根据实施例来改变。
[0056]图3是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图。
[0057]参考图3，根据本发明的三维物体检测设备，如(a)所示，可以收集通过配置在车辆的前、后、左和右侧上的多个成像装置拍摄的多个图像I1、12、13和14。具体地，如图3的(b)所示，三维物体检测设备可以由处理器通过配置在车辆的前、后、左和右侧上的每个成像装置的数学建模来设定虚拟成像装置，并且，如(C)所示，可以将在(a)中获取的各自图像的视图转换成顶视图，从而生成合成图像。
[0058]S卩，在图3的(a)中通过配置在车辆的前侧的成像装置拍摄的图像Il对应于(C)的合成图像的II，并且在图3的(a)中通过配置在车辆的后侧上的成像装置拍摄的图像12对应于(c)的合成图像的12。同样，在图3的(a)中通过配置在车辆的左侧上的成像装置拍摄的图像13对应于(c)的合成图像的13，并且在图3的(a)中通过配置在车辆的右侧上的成像装置拍摄的图像14对应于(c)的合成图像的14。
[0059]图4至7是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图。[0060]图4示出在图3中生成的合成图像中的车辆的前、后、左和右侧的多个顶视图图像之间的边界区。
[0061]参考图4，在图3的(C)中生成的合成图像中，车辆的前、后、左和右侧的顶视图图像之间的边界区可以在车辆的前-左(FL)、前-右(FR)、后-左(RL)和后-右(RR)侧上形成。
[0062]三维物体检测设备可以由处理器提取边界图案，例如在每个边界区中多个邻近图像的亮度、颜色、像素值、像素块值和特征值。具体地，三维物体检测设备可以关于边界区中邻近图像之间的边界线，将边界图案从车辆的内侧提取到外侧。
[0063]此外，三维物体检测设备可以由处理器关于每个边界区的边界线分析在对应于邻近图像的位置的边界图案的相关性，并且当相关性等于或大于参考值时可确定为平坦表面，并在相关性低于参考值时可确定三维物体位于相应区域。
[0064]S卩，三维物体检测设备可以由处理器在合成图像的每个边界区中关于邻近图像之间的边界线，比较边界图案，例如相应位置的亮度、颜色、像素值、像素块值和特征值，并可以在边界图案相似于参考图案时确定为平坦表面，并可以在边界图案不相似于参考图案时确定三维物体位于相应区域中。
[0065]图5示出在图4的边界图像中提取的邻近图像之间的边界图案的相关性。
[0066]参考图5，边界图案的相关性可以具有最大值I和最小值0，并且在每个边界区中根据邻近图像之间的边界图案的差别，该值在O至I的范围内变化。具体地，在每个边界区中用于检测三维物体的参考相关性可以根据设定修改，并且在图5的示例性实施例中，用于确定三维物体的参考相关性可以是0.98。
[0067]S卩，在每个边界区中邻近图像之间的边界图案的相关性等于或大于0.98时，可以根据较高相关性确定为平坦表面，并且在该相关性低于0.98时，可以根据较低相关性确定三维物体存在。
[0068]在图5中示出的图表中，横轴是排列像素块来提取边界图案的顺序(例如，最内像素块是第一个像素块，并且最外像素块是第100个像素块)，纵轴是相关性。具体地，为了提取边界图案而进行排列的像素块可以具有对应于三个像素的宽度；然而，本发明不限于此。
[0069]此外，在合成图像的前方左侧上的边界区的相关性图表中，对于第一个至第40个像素块，相关性可能等于或大于0.98，并且第40个像素块以后可能低于0.98。在三维物体检测设备确定在车辆的前左方向上的第一个到第40个像素块是平坦表面时，三维物体可能位于第40个像素块以后。
[0070]另外，在合成图像的前方右侧上的边界区的相关性图表中，直至第25个像素块，相关性可能等于或大于0.98，并且在第25个像素块之后可能低于0.98。在三维物体检测设备确定在车辆的前右方向上的第一个到第25个像素块是平坦表面时，三维物体可能位于第25个像素块以后。
[0071]此外，在合成图像的后方左侧上的边界区的相关性图表中，直至第45个像素块和在第55个像素块之后，相关性可能等于或大于0.98，并且在第46个像素块和第55个像素块之间相关性可能低于0.98。在三维物体检测设备确定三维物体在车辆的后左方向上的第46个到第55个像素块之间存在时，剩余像素块可能是平坦表面。
[0072]另外，在合成图像的前方左侧上的边界区的相关性图表中，直到第20个像素块，相关性可能等于或大于0.98，并且在第20个像素块之后，相关性可能低于0.98。在三维物体检测设备确定在车辆的后右方向上的第一个到第20个像素块是平坦表面时，三维物体可能位于第20个像素块之后。
[0073]图6和7示出在实际车辆中拍摄的多个图像的示例性合成图像。
[0074]参考图6，在车辆的前右方向上的边界区中和在后右方向上的边界区中邻近图像之间显现出色差。具体地，邻近图像之间的显著差别在区域Al和区域A2之间显现。
[0075]此外，三维物体检测设备可以由处理器比较在车辆的前方右侧的边界区中和在后方右侧的边界区中的邻近图像之间的边界图案的差别，并可以确定在区域Al和区域A2中的邻近图像之间相关性较低。因此，三维物体检测设备可以确定三维物体位于区域Al和区域A2中，并可以通过车辆的显示设备或语音输出设备输出三维物体检测信息。
[0076]此外，参考图7，在车辆的前左方向上的边界区中和在后左方向上的边界区中邻近图像之间显现出色差和亮度差。具体地，邻近图像之间的显著差别在区域BI和区域B2之间显现。
[0077]此外，三维物体检测设备可以由处理器比较在车辆的前方左侧的边界区中和在后方左侧的边界区中的邻近图像之间的边界图案的差别，并可以确定在区域BI和区域B2中的邻近图像之间相关性较低。因此，三维物体检测设备可以确定三维物体位于区域BI和区域B2中，并可以通过车辆的显示设备或语音输出设备输出三维物体检测信息。
[0078]因此，三维物体检测设备可以由处理器使用分析邻近图像之间的边界图案的相关性的技术来检测3D物体，因此，可以在不需要另外的用于检测3D物体的设备的情况下检测3D物体，并且驾驶员可以容易地辨认位于盲区中的3D物体。
[0079]下面详细描述上面根据本发明配置的三维物体检测设备的示例性方法。
[0080]图8是示出根据本发明的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。
[0081]参考图8，根据本发明的三维物体检测设备可以由处理器从配置在车辆的前、后、左和右侧上的多个成像装置收集图像(S100)，并可以由处理器将在SlOO中收集的图像转换成顶视图图像(S110)。在SllO中，可以基于配置在车辆的前、后、左和右侧上的多个成像装置的定位信息，通过数学建模来设定对应于每个成像装置的虚拟成像装置，并且可以使用设定好的虚拟成像装置转换在SlOO中获取的图像的顶视图。接下来，可以由处理器将多个顶视图图像合成为一个图像(S120)。另外，当在车辆中配置有AVM系统时，可以省略SllO和 S120。
[0082]此外，三维物体检测设备可以由处理器从在S120中生成的合成图像，提取在多个顶视图图像之间的边界区。具体地，三维物体检测设备可以提取包括在S130中提取的边界区中的多个顶视图图像的边界图案，并由处理器在其间进行比较(S140)。在S140中，可以由处理器从每个边界区在像素或像素块中(以像素或像素块单位)提取每个顶视图图像的亮度、颜色和特征点，并且在每个边界区中多个邻近顶视图图像的亮度、颜色和特征点，可以由处理器在其间进行比较。
[0083]基于S140的比较结果，三维物体检测设备可以由处理器分析在每个边界区中邻近顶视图图像之间的相关性(S150 )。
[0084]在一个实施例中，三维物体检测设备可以由处理器在具体边界区中比较邻近顶视图图像的亮度，从而根据邻近顶视图图像之间的亮度差分析相关性。具体地，当邻近顶视图图像之间的亮度差较小时，分析出相关性较高，并且当邻近顶视图图像之间的亮度差较大时，分析出相关性较低。
[0085]当在S150中由处理器在车辆的前方左侧、前方右侧、后方右侧以及后方左侧中的边界区中完成邻近图像之间的相关性分析时，三维物体检测设备可以由处理器基于S150的分析结果检测位于每个边界区中的3D物体(S160)。
[0086]在S160中，三维物体检测设备可以由处理器在邻近图像之间具有低相关性的边界区中检测3D物体。在S160中检测到3D物体时，三维物体检测设备可以由处理器以文本或语音的形式通知驾驶员3D物体检测结果。
[0087]根据本发明，在合成车辆的前、后、左和右侧的顶视图的合成图像中，根据从顶视图图像之间的边界区中提取的邻近图像之间的边界图案的相关性来检测三维物体，由此，驾驶员可以容易辨认位于盲区中的3D物体。
[0088]根据本发明的三维物体检测设备可以使用分析邻近图像之间的边界图案的相关性的技术来检测三维物体，从而可以在不需要用于检测三维物体的分立设备的情况下检测3D物体，并且驾驶员可以容易地辨认位于盲区中的3D物体。
[0089]以上，尽管参考附图描述了本发明的实施例，但本领域技术人员应认识到，在不背离本发明的技术精神或基本特征的情况下，能够用其它具体形式实施本发明。因此，以上描述的本发明应解释为在各个方面的示例而不是限制。
【权利要求】
1.一种用于使用车辆周围图像检测三维物体的设备，所述设备包括: 配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置；和 处理器，所述处理器配置为: 通过使用每个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的所述前方、后方、左侧和右侧的图像； 通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像,来生成合成图像； 从所述合成图像，分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案； 比较所述多个顶视图图像的所述边界图案，从而分析在每个边界区中多个邻近图像之间的相关性；以及 根据每个边界区中的所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体。
2.如权利要求1所述的设备，其中所述边界图案选自下述中的至少一个:每个边界区中的所述车辆的前方、后方、左侧和右侧的多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
3.如权利要求1所述的设备，其中所述处理器进一步配置为，在每个边界区中所述多个邻近图像之间，所述边界图案的差别较小时，分析出较高相关性，并在每个边界区中所述多个邻近图像之间，所述边界图案的差别较大时，分析出较低相关性。
4.如权利要求1所述的设备，其中所述处理器进一步配置为，从所述多个邻近图像之间具有较低相关性的边界区`检测所述三维物体。
5.一种使用车辆周围图像检测三维物体的方法，所述设备包括: 由处理器通过使用配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的所述前方、后方、左侧和右侧的图像；由所述处理器通过合成所述车辆的前方、后方、左侧和所述右侧的图像的多个顶视图图像，来生成合成图像； 由所述处理器从所述合成图像分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案； 由所述处理器比较所述多个顶视图图像的边界图案，从而分析每个边界区中的多个邻近图像之间的相关性；以及 由所述处理器根据每个边界区中的所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体。
6.如权利要求5所述的方法，其中所述边界图案选自下述中的至少一个:每个边界区中的所述多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
7.如权利要求5所述的方法，其中所述相关性的分析还包括: 在每个边界区中所述多个邻近图像之间，所述边界图案的差别较小时，由所述处理器分析出较高相关性，并在每个边界区中所述多个邻近图像之间，所述边界图案的差别较大时由所述处理器分析出较低相关性。
8.如权利要求5所述的方法，其中所述三维物体的检测还包括:由所述处理器，从所述多个邻近图像之间具有较低相关性的所述边界区，检测所述三维物体。
9.一种含有由处理器执行的程序指令的非瞬时性计算机可读介质，所述计算机可读介质包括: 通过使用每个成像装置的数学建模而生成的虚拟成像装置，来收集所述车辆的前方、后方、左侧和右侧的图像的程序指令； 通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像，来生成合成图像的程序指令； 从所述合成图像分析所述多个顶视图图像之间的边界区，从而在每个边界区中提取所述多个顶视图图像的边界图案的程序指令； 比较所述多个顶视图图像的边界图案，从而分析在每个边界区中多个邻近图像之间的相关性的程序指令；以及 根据在每个边界区中所述多个邻近图像之间的相关性，检测布置在每个边界区中的三维物体的程序指令。
10.如权利要求9所述的非瞬时性计算机可读介质，其中所述边界图案选自下述中的至少一个:每个边界区中的所述车辆的前方、后方、左侧和右侧的多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
11.如权利要求9所述的非瞬时性计算机可读介质，还包括: 在每个边界区中所述多个邻近图像之间，所述边界图案的差别较小时分析出较高相关性，并在每个边界区中所述多个邻近图像之间，所述边界图案的差别较大时分析出较低相关性的程序指令。
12.如权利要求9所述的非瞬时性计算机可读介质，还包括: 从所述多个邻近图像之间具有较低相关性的边界区检测所述三维物体的程序指令。
【文档编号】G06T7/00GK103530865SQ201210579926
【公开日】2014年1月22日 申请日期:2012年12月27日 优先权日:2012年7月5日
【发明者】尹大仲, 崔在燮, 藏裕珍 申请人:现代自动车株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1