根据立体相机拍摄的图像帧生成视差图的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及生成视差图的方法和装置，更具体地，本发明涉及根据立体相机拍摄 的图像帧生成视差图的方法和装置。
【背景技术】
[0002] 随着三维重建、虚拟现实等技术的发展，指示相机和所拍摄的特定对象之间距离 的视差信息已经在例如辅助驾驶等应用中被广泛使用。通过对立体相机对同一场景拍摄 的基准图像和参考图像进行图像匹配，可在基准图像和参照图像中找到匹配的像素点对， 并且计算出每个像素点坐标对应的视差。进而可利用视差来准确地描述场景的三维空间信 肩、。
【发明内容】
[0003] 本发明实施例的目的在于提供一种根据立体相机拍摄的图像帧生成视差图的方 法和装置的方法和装置，通过利用历史帧的增强直方图加权和生成目标直方图，以解决上 述过度增强的问题。
[0004] 本发明的一个实施例提供了一种根据立体相机拍摄的图像帧生成视差图的方法， 其中每个图像帧包括基准图像和参考图像。所述方法包括：根据第一图像帧的第一基准 图像的预定区域生成初始基准灰度直方图，并且根据第一图像帧的第一参考图像的预定区 域生成初始参考灰度直方图，其中第一图像帧是立体相机在第一时刻拍摄的；根据第二图 像帧的历史信息，生成第一基准图像的预定区域的目标基准灰度直方图和第一参考图像的 预定区域的目标参考灰度直方图，其中第二图像帧是立体相机在第一时刻之前的时刻拍摄 的；计算从初始基准灰度直方图到目标基准灰度直方图的基准映射函数，并且计算从初始 参考灰度直方图到目标参考灰度直方图的参考映射函数；对第一基准图像的预定区域执行 基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参 考映射函数以获得第一图像帧的增强参考图像；以及根据第一图像帧的增强基准图像和增 强参考图像，生成对应于第一图像帧的第一视差图。
[0005] 本发明的另一实施例提供了一种根据立体相机拍摄的图像帧生成视差图的装置， 其中每个图像帧包括基准图像和参考图像。所述装置包括：初始直方图生成单元，配置来根 据第一图像帧的第一基准图像的预定区域生成初始基准灰度直方图，并且根据第一图像帧 的第一参考图像的预定区域生成初始参考灰度直方图，其中第一图像帧是立体相机在第一 时刻拍摄的；目标直方图生成单元，配置来根据第二图像帧的历史信息，生成第一基准图像 的预定区域的目标基准灰度直方图和第一参考图像的预定区域的目标参考灰度直方图，其 中第二图像帧是立体相机在第一时刻之前的时刻拍摄的；函数计算单元，配置来计算从初 始基准灰度直方图到目标基准灰度直方图的基准映射函数，并且计算从初始参考灰度直方 图到目标参考灰度直方图的参考映射函数；映射单元，配置来对第一基准图像的预定区域 执行基准映射函数以获得第一图像帧的增强基准图像，并且对第一参考图像的预定区域执 行参考映射函数以获得第一图像帧的增强参考图像；以及视差图生成单元，配置来根据第 一图像帧的增强基准图像和增强参考图像，生成对应于第一图像帧的第一视差图。
[0006] 在上述发明实施例提供的根据立体相机拍摄的图像帧生成视差图的方法和装置 中，通过使用根据立体相机所拍摄的图像帧的历史信息和当前信息计算的映射函数对该相 机在当前时刻拍摄的图像帧中的基准图像和增强基准图像的预定区域的像素进行映射，可 获得更易于获得准确视差图的增强基准图像和增强参考图像，并且根据增强基准图像和增 强参考图像得到准确的视差图，以便于为用户提供更多有效的信息。
【附图说明】
[0007] 图1是描述了根据本发明一个实施例的根据立体相机拍摄的图像帧生成视差图 的方法的流程图。
[0008] 图2是示出根据本发明一个实施例的示意性像素距离直方图。
[0009] 图3是描述了根据本发明一个实施例，根据第二图像帧的历史信息生成目标基准 灰度直方图和目标参考灰度直方图的方法的流程图。
[0010] 图4是示出了根据本发明的一个实施例的根据立体相机拍摄的图像帧生成视差 图的装置的示范性结构框图。
[0011] 图5是示出了根据本发明的一个实施例的函数计算单元的示范性结构框图。
[0012] 图6是示出按照本发明实施例的生成视差图的硬件系统600的总体硬件框图。
【具体实施方式】
[0013] 为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实 施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示， 且对这些步骤和元素的重复解释将被省略。
[0014] 图1是描述了根据本发明一个实施例的根据立体相机拍摄的图像帧生成视差图 的方法的流程图。下面，将参照图1来描述根据本发明实施例的根据立体相机拍摄的图像 帧生成视差图的方法（以下简称为"生成视差图的方法"）100。在根据本发明的实施例中， 立体相机的具体形式包括但不限于双目相机。立体相机所拍摄的每个图像帧包括基准图像 和参考图像。例如，在立体相机为双目相机的情况下，每个图像帧中的基准图像可以是双目 相机拍摄的左眼图像，而参考图像可以是双目相机拍摄的右眼图像。
[0015] 如图1所示，在步骤S101中，根据第一图像帧的第一基准图像的预定区域生成初 始基准灰度直方图，并且根据第一图像帧的第一参考图像的预定区域生成初始参考灰度直 方图，其中第一图像帧是立体相机在第一时刻拍摄的。根据本发明的一个示例，第一时刻可 以是当前时刻，并且第一图像帧可以是立体相机拍摄的当前图像帧。此外，在步骤S101中， 可根据第一基准图像的预定区域中像素的灰度值生成初始参考灰度直方图，并且类似地， 可根据第一参考图像的预定区域中像素的灰度值生成初始参考灰度直方图。在根据本发明 的实施例中，灰度直方图的纵坐标轴可以指示像素的个数并且灰度直方图的横坐标轴可以 指示灰度值，反之亦然。
[0016] 此外，预定区域可以是第一基准图像中的一部分，可替换地，预定区域也可以是第 一基准图像中的全部。优选地，预定区域可以是立体相机所拍摄的目标对象（例如，正在行 驶的车辆等）在图像帧的基准图像或参考图像中所在的区域。例如，可根据通过先前对目 标对象追踪所获得的目标对象的运动信息来确定预定区域。又例如，可根据目标对象的运 动信息分别在基准图像和参考图像中确定预定区域，可替换地，也可根据目标对象的运动 信息在基准图像和参考图像中的一个图像中确定预定区域并将另一图像中的相应区域确 定为该另一图像的预定区域。
[0017] 在步骤S102中，根据第二图像帧的历史信息，生成第一基准图像的预定区域的目 标基准灰度直方图和第一参考图像的预定区域的目标参考灰度直方图，其中第二图像帧是 立体相机在第一时刻之前的时刻拍摄的。例如，历史信息可包括根据第二图像帧中的基准 图像和参考图像生成的灰度直方图等，稍后将对此进行详细描述。应注意，步骤S101和步 骤S102不必按照图1所示的顺序执行。可以颠倒或并行地执行步骤S101和步骤S102。
[0018] 然后在步骤S103中，计算从初始基准灰度直方图到目标基准灰度直方图的基准 映射函数，并且计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。根据 本发明的一个示例，可对在步骤S101获得的第一图像帧的初始基准灰度直方图进行直方 图均衡化，以获得从第一图像帧的初始基准灰度直方图到该图像帧的均衡化的或基本均衡 化的基准灰度直方图E的映射函数G(p);并且对在步骤S102获得的第一图像帧的目标基 准灰度直方图进行直方图均衡化，以获得从第一图像帧的目标基准灰度直方图到上述均衡 化的或基本均衡化的基准灰度直方图E的映射函数F(p)。然后，可通过以下公式（1)计算 从初始基准灰度直方图到目标基准灰度直方图的基准映射函数D (p):
[0019] D (p) = F 1 (G (p)) ......(1)
[0020] 此外，可以与计算基准映射函数类似的方式，计算从初始参考灰度直方图到目标 参考灰度直方图的参考映射函数。
[0021] 接下来，在步骤S104中，对第一基准图像的预定区域执行基准映射函数以获得第 一图像帧的增强基准图像，并且对第一参考图像的预定区域执行参考映射函数以获得第一 图像帧的增强参考图像。具体地，在步骤S104中，可通过将第一基准图像的预定区域中的 每个像素的灰度值代入上述基准映射函数来执行灰度映射，以获得该像素的增强灰度值。 然后，根据所获得的各个像素的增强灰度值生成第一图像帧的增强基准图像。此外