通过迭代插值和扭曲生成深度图的系统和方法
【专利说明】通过迭代插值和扭曲生成深度图的系统和方法
[0001] 相关申请
[0002] 本申请要求于2014年2月8日提交的美国临时专利申请No. 61/937496的优先权， 该专利申请以引用方式明确并入本文。
【背景技术】
[0003] 计算机立体视觉系统通常包括两个摄像头以获得相同图像场景的两个不同视图。 由于摄像头对图像场景的不同视角，因此两个不同视图中的对象和表面可出现在稍微不同 位置。局部区块立体匹配方法可用于从两个不同视图恢复深度。然而，在具有复杂表面（诸 如，非纹理表面和倾斜表面）的视图中可能难以恢复对象和表面的深度。因此，由于正面平 行假设和不含纹理，以及其他问题，从摄像头图像恢复深度的局部区块立体匹配方法通常 无法确定有效深度。
【发明内容】
[0004] 根据一个方面，生成深度图的计算机实现的方法包括：生成第一图像的初始深度 图，该第一图像为从成像设备接收的一对立体图像中的一者，该一对立体图像包括第一图 像和第二图像；通过假设初始深度图中缺失区域的深度值而基于初始深度图生成预估深度 图；以及基于预估深度图使第二图像扭曲。该方法包括基于第一图像和扭曲的第二图像生 成扭曲深度图，以及基于扭曲深度图和预估深度图生成相对于第二图像的第一图像的新深 度图。
[0005] 根据另一个方面，非暂态计算机可读介质包括指令，当指令由处理器执行时执行 生成深度图的方法，包括：生成第一图像的初始深度图，该第一图像为从成像设备接收的一 对立体图像中的一者，该一对立体图像包括第一图像和第二图像；通过假设初始深度图中 缺失区域的深度值而基于初始深度图生成预估深度图；以及基于预估深度图使第二图像扭 曲。该方法包括基于第一图像和扭曲的第二图像生成扭曲深度图，以及基于扭曲深度图和 预估深度图生成相对于第二图像的第一图像的新深度图。
[0006] 根据又一个方面，生成深度图的计算机系统包括处理器和预估深度图模块，该模 块使得处理器生成第一图像的初始深度图，该第一图像为从成像设备接收的一对立体图像 中的一者，该一对立体图像包括第一图像和第二图像，以及通过假设初始深度图中缺失区 域的深度值而基于初始深度图生成预估深度图。该系统包括深度图细化模块，该模块使得 处理器基于预估深度图使第二图像扭曲，基于第一图像和扭曲的第二图像生成扭曲深度 图，以及基于扭曲深度图和预估深度图生成相对于第二图像的第一图像的新深度图。
【附图说明】
[0007] 被认为是本发明的特征的一些新结构在所附权利要求书中示出。在以下描述中， 相同部分在整个说明书和附图中分别使用相同的数字标记。附图未必按比例绘制，并且为 了清晰和简洁起见，某些图形可以以放大或一般的形式示出。然而，当结合附图阅读时，通 过参考以下对于示例性实施例的详细描述，将最好地理解发明本身以及优选的使用方式、 及其更多的目标和进步，其中：
[0008] 图1是根据本申请的一个方面的通过迭代插值和扭曲生成深度图的示例性系统 的不意图；
[0009] 图2a是根据本申请的一个方面的稍微倾斜表面的标准局部区块匹配的示例性例 子；
[0010] 图2b是根据本申请的一个方面的根据通过迭代插值和扭曲生成深度图的示例性 实施例的稍微倾斜表面的局部区块匹配的示例性例子；
[0011] 图3为根据本申请的一个方面的流程图，其示出了通过迭代插值和扭曲生成深度 图的示例性方法；
[0012] 图4a是根据本申请的一个方面的用于示例性水平线性插值的像素的示例性区块 的不意图；
[0013] 图4b是根据本申请的一个方面的用于多方向线性插值的像素的示例性区块的示 意图；
[0014] 图5a是根据本申请的一个方面的示例性左侧立体图像；
[0015] 图5b是根据本申请的一个方面的图5a的左侧立体图像的示例性视差图；
[0016] 图5c是根据本申请的一个方面的一次迭代之后的图5a的左侧立体图像的示例性 视差图；以及
[0017] 图5d是根据本申请的一个方面的八次迭代之后的图5a的左侧立体图像的示例性 视差图。
【具体实施方式】
[0018] 以下包括本文所用的所选术语的定义。这些定义包括落在术语范围内并可用于实 施的组件的各种例子和/或形式。这些例子并非意图进行限制。此外，本领域的普通技术 人员将认识到，可将本文所述的组件结合、省略或与其他组件组织起来，或组织成不同的体 系结构。
[0019] 如本文所用，"总线"是指可操作地连接于在计算机内部或在计算机之间的其他计 算机组件的互联结构。总线可在计算机组件之间传输数据。因此，总线可使用其他总线与 各种设备、模块、逻辑装置和外围设备通信。总线可为单个内部总线互联体系结构和/或其 他总线或网状体系结构（例如，外部）。总线可为存储器总线、内存控制器、外围总线、外部 总线、纵横开关和/或局部总线等等。在一些实施例中，总线可为车载总线等等，该车载总 线使用诸如控制器局域网（CAN)、局部互联网（LIN)等协议使车内的组件互连。
[0020] 如本文所用，"计算机通信"是指在两个或更多个计算设备（例如，计算机、便携 式设备、个人数字助理、移动电话、网络设备）之间的通信，并且可为例如网络传输、文件传 输、小程序传输、电子邮件、超文本传输协议（HTTP)传输等。计算机通信可在例如无线系统 (例如，IEEE 802. 11)、以太网系统（例如，IEEE 802. 3)、令牌环系统（例如，IEEE 802. 5)、 局域网（LAN)、广域网（WAN)、点到点系统、电路交换系统、包交换系统等等上进行。
[0021] 如本文所用，"深度图"通常为图像或图像信道，该图像或图像信道包含涉及场景 对象的表面距观察点的距离的信息。在一些实施例中，深度图包括深度值的二维矩阵（例 如，阵列），其中每个深度值对应于场景中的相应位置，并且指出从特定参考位置到相应场 景位置的距离。在一些实施例中，视差图为其中从相同场景的偏移图像得出深度信息的深 度图。视差图可以是通过转化给定的摄像头校准参数获得的反转深度图。
[0022] 如本文所用，"盘"可为例如磁盘驱动器、固态盘驱动器、软盘驱动器、磁带驱动器、 极碟驱动器、闪存卡和/或记忆棒。此外，盘可为⑶-ROM (光盘ROM)、⑶可记录驱动器（⑶-R 驱动器）、⑶可再写驱动器（⑶-RW驱动器）和/或数字视频ROM驱动器（DVD ROM)。该盘 可存储用于控制或分配计算设备的资源的操作系统。
[0023] 如本文所用，"局部区块立体匹配方法"是计算图像之间视差的相应方法。一般来 讲，对于第一图像中的每个像素而言，围绕该像素提取第一区块。在第二图像中进行搜索以 得到与第一区块最佳匹配的第二区块。在围绕第一图像中的像素的预定范围像素内进行 搜索。将第一区块和第二区块进行比较并且在具有最小匹配成本的情况下选择一个像素。 所利用的成本函数可包括累计绝对差值（SAD)、等级变换相关（NCC)和累计归一化互相关 (SNCC)等等。
[0024] 如本文所用，"存储器"可包括易失性存储器和/或非易失性存储器。非易失性 存储器可包括例如ROM (只读存储器）、PROM (可编程只读存储器）、EPROM (可擦除PROM) 和EEPROM(电可擦除PR0M)。易失性存储器可包括例如RAM(随机存取存储器）、同步 RAM(SRAM)、动态 RAM(DRAM)、同步 DRAM(SDRAM)、双数据速率 SDRAM(DDRSDRAM)和直接 RAM 总线RAM(DRRAM)。所述存储器可存储用于控制或分配计算设备的资源的操作系统。
[0025] 如本文所用，"输入/输出设备"可包括键盘、麦克风、指向和选择设备、摄像头、成 像设备、视频卡、显示器、磁盘、网络设备等等。输入/输出设备可包括输入/输出端口，例 如，串行端口、平行端口和USB端口。
[0026] 如本文所用，"模块"包括但不限于用以存储指令的非暂态