立体图像处理装置及其方法

立体图像处理装置及其方法
【专利摘要】本发明涉及一种立体图像处理装置及其方法。一种立体图像处理装置，包括图像捕捉器和映射器，所述图像捕捉器采集由包括具有不同地设置的动态区域的识别范围的照相机的立体照相机捕捉的图像，所述映射器根据所确定的图像的映射区域来映射图像，所述图像的映射区域根据从图像提取的特征而确定。立体图像处理装置进一步包括追踪器和立体图像处理器，所述追踪器追踪来自由映射器产生的映射图像的线性分量以确定参考线段，所述立体图像处理器基于确定的参考线段对图像创建立体图像，该参考线段是在映射区域上确定的。
【专利说明】立体图像处理装置及其方法 [0001] 相关申请的交叉引用
[0002] 本申请要求2013年3月19日提交的韩国专利申请第10-2013-0029181号的优先 权并且以该申请为基础，该申请的全部内容结合于此用于通过该引用的所有目的。

【技术领域】
[0003] 本公开涉及一种立体图像处理装置及其方法，更具体地，涉及一种处理来自具有 不同动态区域设置的多个照相机的图像的技术。

【背景技术】
[0004] -般来说，立体照相机比现有的单眼照相机多包括至少一个照相机来捕捉由例如 雷达获得的有立体感的图像。
[0005] 然而，包括了在现有的立体照相机中的立体匹配的单眼照相机的帧限制为60fps。 此外，立体照相机通过以四个步骤进行的曝光控制将曝光设置为适合于各自的算法。在这 种情况下，每种算法的帧速率仅为15fps，使得当通过追踪进行控制时，帧速率较低并且因 此追踪步骤变得较慢。因而，错误识别率增加了。


【发明内容】

[0006] 因此，本发明的实施方案致力于解决现有技术中产生的上述问题，同时又完整地 保持了由现有技术实现的优点。
[0007] 本公开待实现的一个主题是提供一种立体图像处理装置及其方法，其中照相机的 动态区域是不同地设置的，以提供具有提高的能见度的图像。
[0008] 本公开待实现的另一个主题是提供一种立体图像处理装置及其方法，其中通过由 具有不同动态区域的照相机捕捉的图像的高动态区域（HDR)图形转换来最小化映射区域的 对数尺度。
[0009] 在本公开的一个方面，描述了立体图像处理装置，包括：图像捕捉器、映射器、追踪 器，以及立体图像处理器，其中，所述图像捕捉器采集由包括具有不同地设置的动态区域的 识别边界的照相机的立体照相机捕捉的图像；所述映射器处理图像以基于图像的特征确定 图像的映像区域，并且根据所确定的图像的映射区域来映射图像；所述追踪器追踪来自由 映射器产生的映射图像的线性分量以确定参考线段；所述立体图像处理器基于确定的参考 线段对图像创建立体图像，该参考线段是在映射区域上确定的。
[0010] 映射器可根据图像的边缘区域进行立体匹配，或计算预设对数尺度，以基于结果 确定图像的映射区域。
[0011] 该装置可进一步包括动态区域调节器，所述动态区域调节器对包括在立体照相机 中的照相机调节动态区域的识别范围。
[0012] 立体照相机可包括：具有其动态区域的识别范围设置为强调暗区的范围的第一照 相机，以及具有其动态区域的识别范围设置为强调亮区的范围的第二照相机。
[0013] 第一照相机和第二照相机的动态区域的识别范围可以设置成可变的。
[0014] 映射器可对每个图像在动态区域图上的特定区域上执行线性转换以进行匹配。
[0015] 映射器可将同在每个图像的动态区域图中的线性区间确定为映射区域。
[0016] 追踪器可计算从对于图像的映射区域中检测到的线段的平均梯度，以将该平均梯 度确定为参考线段的梯度。
[0017] 本公开的一个方面提供一种立体图像处理方法，包括：采集由包括具有不同地设 置的动态区域的识别边界的照相机的立体照相机捕捉的图像；处理图像以基于图像的特征 确定图像的映射区域，并根据所确定的图像的映射区域来映射图像；追踪来自由映射器产 生的映射图像的线性分量以确定参考线段；以及基于确定的参考线段对图像创建立体图 像，该参考线段是在映射区域上确定的。
[0018] 该方法可进一步包括对包括在立体照相机中的照相机调节动态区域的识别范围。
[0019] 映射区域的确定可包括根据图像的边缘进行立体匹配，或计算预设对数尺度，以 基于结果确定图像的映射区域。
[0020] 映射图像可包括对每个图像在动态区域图上的特定区域上执行线性转换以进行 匹配。
[0021] 映射图像可包括将在每个图像的动态区域图中的共同线性区间确定为映射区域。
[0022] 确定参考线段可包括计算从图像的映射区域中检测到的线段的平均梯度以将该 平均梯度确定为参考线段的梯度。

【专利附图】

【附图说明】
[0023] 通过随后结合所附附图的详细描述将会使本公开的以上和其它目的、特征以及优 点变得更加清楚，在这些附图中：
[0024] 图1为显示根据本发明的实施方案的立体图像处理装置的结构的框图；
[0025] 图2A和图2B为显示根据本发明的实施方案设置立体照相机的动态区域的操作的 视图；
[0026] 图3A到图3D为显示根据本发明的实施方案的立体图像处理装置的图形转换操作 的视图；
[0027] 图4A到图4E为显示根据本发明的实施方案的立体图像处理装置的立体匹配操作 的视图；
[0028] 图5A和图5B为显示根据本发明的实施方案的立体图像处理装置的追踪操作的视 图；以及
[0029] 图6为显示根据本发明的实施方案的立体图像处理方法的操作流程的流程图。
[0030] 附图中的每个元件的符号
[0031] 10:立体照相机
[0032] 11 :第一照相机
[0033] 15:第N个照相机
[0034] 110:图像捕捉器
[0035] 120 :动态区域调节器
[0036] 130:映射器
[0037] 140 :追踪器
[0038] 150 :立体图像处理器

【具体实施方式】
[0039] 下面将参考所附附图对本发明的实施方案进行描述。
[0040] 图1为显示根据本发明的实施方案的立体图像处理装置的结构的框图。在图1中， 根据本发明的实施方案的立体图像处理装置100 (在下文中称为"图像处理装置"）构造为 包括图像捕捉器110、动态区域调节器120、映射器130、追踪器140和立体图像处理器150。
[0041] 首先，图像捕捉器110采集由立体照相机10捕捉的图像。
[0042] 此处，立体照相机10包括第一照相机11和第二照相机15。尽管立体照相机10可 包括多于两个的照相机，为了便于描述的目的，在下面的实施方案中假设立体照相机10包 括两个照相机。
[0043] 动态区域调节器120调节包括在立体照相机10中的每个照相机的动态区域的识 别范围。此处，动态区域是可以被照相机辨识的级别（gradation)，是在最亮部分和最暗部 分之间的灰度等级（density step)的范围。动态区域调节器120调节对于每个照相机强 调暗区或强调亮区的范围。在一个示例中，动态区域调节器120可将第一照相机11的动态 区域的识别范围设置为强调暗区的范围，同时将第二照相机15的动态区域的识别范围设 置为强调亮区的范围。在一些情况中，第一照相机11和第二照相机15可将动态区域的识 别范围设置成可变的。
[0044] 因此，图像捕捉器110采集由具有其动态区域的识别范围被动态区域调节器120 不同地设置的照相机的立体照相机10捕捉的图像。
[0045] 映射器130根据由图像捕捉器110采集的图像的边缘区域进行立体匹配。此处， 映射器130基于匹配结果确定图像的映射区域，并且根据图像的所确定的映射区域来映射 图像。
[0046] 此处，映射器130在每个图像的动态区域（DR)图上的特定区域上应用线性转换以 进行立体匹配，并且将在对于图像的DR图中的共同线性区间确定为映射区域。
[0047] 追踪器140追踪在由映射器130产生的映射图像上的线性分量，以确定参考线段。 此处，追踪器140计算从映射图像中检测到的线段的平均梯度，以将其确定为参考线段的 梯度。
[0048] 例如，追踪器140将在从由第一照相机11采集的第一图像中检测到的线段的梯度 和由第二照相机15采集的第二图像中检测到的线段的梯度之间的中间值确定为参考线段 的梯度。
[0049] 立体图像处理器150基于由追踪器140确定的参考线段的梯度在映射图像上校正 图像的线性线段的梯度上的差异，以便对图像生成立体图像。
[0050] 例如，此处由立体图像处理器150生成的立体图像可经由安装在车辆上的显示装 置显示，显示装置例如用于汽车的导航屏、抬头显示器（HUD)以及内置监控器。
[0051] 图2A和图2B为显示根据本发明的实施方案设置立体照相机的动态区域的操作的 视图。
[0052] 在最亮部分和最暗部分的灰度等级处设置照相机的动态区域的识别范围，并且根 据在操作照相机的时候设置的动态区域的识别范围来捕捉图像。
[0053] 此处，根据本发明的实施方案的图像处理装置对包括在立体照相机中的照相机设 置不同的动态区域的识别范围。
[0054] 例如，图像处理装置对第一照相机将动态区域的识别范围设置为强调暗区的范 围，如图2A所示，并且对第二照相机将动态区域的识别范围设置为强调亮区的范围，如图 2B所示。
[0055] 由于立体照相机具有多于两个的照相机，动态区域的识别范围可通过依据照相机 的数量划分最亮范围的识别范围和最暗范围的识别范围来设置。此处，根据实施方案，动态 区域的识别范围的设置不限于特定的结构，而是多方面适用的。
[0056] 此处，图像处理装置利用由包括具有不同地设置的动态区域的识别范围的照相机 的立体照相机捕捉的图像生成最终的立体图像。
[0057] 假设取决于曝光控制的采集图像的增益为M，并且如果图像处理装置不同地设置 N个照相机的动态区域的识别范围，则可以获得Μ X N的增益，从而随着增益值的增加而提 高了立体图像的可视度。
[0058] 图3Α、图3Β、图3C和图3D显示根据本发明的实施方案的立体图像处理装置的图 形转换操作。参考图3,立体照相机包括第一照相机和第二照相机，如图3Α所示。此处，第 一照相机和第二照相机两者具有不同的动态区域的识别范围设置。
[0059] 当采集由第一照相机和第二照相机捕捉的图像时，在DR图上的特定区域是被限 定的，如图3Β所示，并且将图转换为如图3C所示的那些图。此处，在图3Β的特定区域内的 DR图上执行线性转换，以产生如图3C所示的图。因此，图像处理装置在有限区域内进行立 体匹配，如图3D所示，在有限区域中线性转换是在DR图上进行的。
[0060] 对于如图3Β和图3C所示的有限区域，最小化对数尺度以进行立体匹配，以便简化 线性转换。
[0061] 图4Α、图4Β、图4C、图4D和图4Ε显示根据本发明的实施方案的立体图像处理装置 的立体匹配操作。
[0062] 图4Α表示由具有如图2Α所示的设置为强调暗区的范围的动态区域的识别范围的 第一照相机捕捉的第一图像，以及图4Β表示具有如图2Β所示的设置为强调亮区的范围的 动态区域的识别范围的第二照相机捕捉的第二图像。
[0063] 根据本发明的实施方案的图像处理装置根据如图4Α所示的第一图像的边缘区域 以及如图4Β所示的第二图像的边缘区域进行立体匹配，以确定映射区域。如果在图4Α中 的区域Ρ1被确定为第一图像的映射区域，以及在图4Β中的区域Ρ2被确定为第二图像的映 射区域，则第一图像和第二图像通过映射第一图像的区域Ρ1和第二图像的区域Ρ2而被映 射，如图4C所示。最终，如图4C所示的映射图像上的区域Ρ变成了映射区域。
[0064] 当第一图像和第二图像如图4C所示进行映射时，图像处理装置在如图4D所示的 映射图像上执行追踪。此处，图像处理装置通过结合来自第一图像的信息和来自第二图像 的信息而执行追踪。此外，图像处理装置可将第一图像和第二图像的传输条件纳入考虑来 评估可靠性以反映在追踪上。
[0065] 根据第一图像和第二图像的传输条件的可靠性的等级如下面的表1所示。
[0066]表 1
[0067] 可靠性的等级I条件 3 既传输第一图像也传输第二图像 2 依据算法仅在曝光下传输 I 不依据算法仅在曝光下传输 〇 不传输信息
[0068]图像处理装置根据如表1所述的第一图像和第二图像的条件检查可靠性等级，并 且确定范围以基于已确定的可靠性等级来执行追踪。此处，图像处理装置在确定的范围内 执行追踪。将参考图5具体描述在图像处理装置中执行追踪的操作。
[0069] 图5A和图5B显示根据本发明的实施方案的立体图像处理装置的追踪操作。
[0070] 如图5A所示，在第一图像和第二图像的映射图像中，如果对在第一图像上的行车 道L1以及在第二图像上的行车道L2的追踪范围被确定为区域Q，则基于包括在如图5B所 示的区域Q中的线段信息来确定参考线段，以基于该参考线段生成最终的立体图像。
[0071] 下面将具体描述根据本发明的实施方案配置的立体图像处理装置的操作流程。
[0072] 图6为示出了根据本发明的实施方案的立体图像处理方法的操作流程的流程图。 参考图6,根据本发明的实施方案的图像处理装置对包括在立体照相机中的照相机设置不 同的动态区域的识别范围（S100)，并且采集由具有在步骤S100中设置的动态区域的照相 机捕捉的多个图像（S110)。
[0073] 接着，图像处理装置在步骤S110中采集的图像的DR图上执行线性转换以获得线 性对数（S120)，并且在步骤S120中线性变换的图像上进行立体匹配（S130)。此处，图像处 理装置基于立体匹配结果确定对于图像的映射区域（S140)，并且根据在步骤S140中确定 的映射区域来映射图像（S150 )。
[0074] 步骤S130是可选的，且在其他的实施方案中可被省略。例如，如果已经为图像设 置了对数尺度，则不需要执行单独的立体匹配，因此，步骤S130可以被省略。
[0075] 此处，图像处理装置对包括在步骤S150中生成的映射图像中的线性分量执行 追踪以创建具有参考线段的立体图像，该参考线段具有在图像中的线段之中的平均梯度 (S170)，并且图像处理装置经由例如HUD和导航的显示装置显示在步骤S170中生成的立体 图像（S180)。
[0076] 如上所述，根据本发明的实施方案，通过不同地设置包括在立体照相机中的照相 机的动态区域，能够提高立体图像的能见度。
[0077] 此外，根据本发明的实施方案，通过由具有不同动态区域的照相机捕捉的图像的 HDR (高动态区域）图形转换最小化映射区域的对数尺度，以最小化匹配误差。
[0078] 尽管已参考所附附图描述了根据本发明的实施方案的立体图像处理装置及其方 法，但本公开并不限于在本说明书中公开的实施方案和所附附图，而可以不脱离本公开的 范围和精神进行修改。
【权利要求】
1. 一种立体图像处理装置，包括： 图像捕捉器，所述图像捕捉器采集由包括具有不同地设置的动态区域的识别范围的照 相机的立体照相机捕捉的图像； 映射器，所述映射器预处理所述图像以基于从所述图像提取的特征确定所述图像的映 像区域，并根据所确定的所述图像的映射区域来映射所述图像； 追踪器，所述追踪器追踪来自由所述映射器产生的映射图像的线性分量以确定参考线 段；以及 立体图像处理器，所述立体图像处理器基于在所述映射区域上确定的所述参考线段对 所述图像创建立体图像。
2. 根据权利要求1所述的立体图像处理装置，其中所述映射器根据所述图像的边缘区 域进行立体匹配，或计算预设对数尺度，以基于结果确定所述图像的所述映射区域。
3. 根据权利要求1所述的立体图像处理装置，进一步包括动态区域调节器，所述动态 区域调节器对包括在所述立体照相机中的照相机调节所述动态区域的识别范围。
4. 根据权利要求1所述的立体图像处理装置，其中所述立体照相机包括： 第一照相机，所述第一照相机具有设置为强调暗区的范围的动态区域的识别范围；以 及 第二照相机，所述第二照相机具有设置为强调亮区的范围的动态区域的识别范围。
5. 根据权利要求4所述的立体图像处理装置，其中所述第一照相机和所述第二照相机 的动态区域的识别范围设置成可变的。
6. 根据权利要求1所述的立体图像处理装置，其中所述映射器对所述图像中的每一个 在动态区域图上的特定区域上执行线性转换，以便对所述图像中的每一个进行匹配。
7. 根据权利要求6所述的立体图像处理装置，其中所述映射器将同在动态区域内的线 性区间确定为所述映射区域。
8. 根据权利要求1所述的立体图像处理装置，其中所述追踪器计算从所述图像中检测 到的所述线段的平均梯度，以便将所述平均梯度确定为所述参考线段的梯度。
9. 一种立体图像处理方法，包括： 采集由包括具有不同地设置的动态区域的识别范围的照相机的立体照相机捕捉的图 像； 通过处理所述图像，基于从所述图像提取的特征确定所述图像的映射区域； 根据所确定的所述图像的映射区域来映射所述图像； 通过追踪来自在所述映射中的所述映射图像的线性分量来确定参考线段；以及 基于在所述映射区域上确定的所述参考线段来对所述图像创建立体图像。
10. 根据权利要求9所述的立体图像处理方法，进一步包括：在采集所述图像之前，对 包括在所述立体照相机中的照相机调节动态区域的识别范围。
11. 根据权利要求9所述的立体图像处理方法，其中所述映射区域的确定包括根据所 述图像的边缘区域进行立体匹配，或计算预设对数尺度，以基于结果确定所述图像的所述 映射区域。
12. 根据权利要求9所述的立体图像处理方法，其中所述图像的映射包括对所述图像 中的每一个在所述动态区域图上的特定区域上执行线性转换，以便映射所述图像中的每一 个。
13. 根据权利要求12所述的立体图像处理方法，其中所述图像的映射包括将在所述动 态区域中的共同线性区间确定为所述映射区域。
14. 根据权利要求9所述的立体图像处理方法，其中所述参考线段的确定包括计算从 所述图像中检测到的所述线段的平均梯度，以便将其确定为所述参考线段的梯度。
【文档编号】H04N13/00GK104065940SQ201310352721
【公开日】2014年9月24日 申请日期:2013年8月14日 优先权日:2013年3月19日
【发明者】崔轸贺 申请人:现代自动车株式会社