一种资源共享的立体匹配方法
【技术领域】
[0001] 本发明涉及视频图像处理技术领域，尤其涉及一种资源共享的立体匹配方法。
【背景技术】
[0002] 目前，计算机视觉广泛应用于航天航空，机器人自动化，虚拟重构等多个领域，而 立体匹配是双目立体视觉的关键方法，在上面提及的很多领域中，大多情况下要求视觉系 统得到稠密的视差图，并且系统必须具有实时性，低功耗，高精度的特点。基于以上情况，必 须要有专门的硬件对专门的算法进行加速。根据Scharstein对立体匹配分类，算法大体分 为4个部分：1)代价计算，2)代价聚合，3)视差计算/优化，4)视差精炼。而根据视差计 算方法的不同，算法分为局部算法和全局算法。其中，局部算法在视差计算时取的是局部最 优，所以数据依赖关系不高，并行度很大，适合用硬件实现；全局算法在视差计算时取的是 全局最优，数据依赖关系高，并行度很小，并且要求很大的存储器的资源。
[0003]在局部算法中，常见算法有SAD(SumOfAbsoluteDifferences)，SSD(Sumof SquaredDifferences),STAD(SumofTruncatedabsolutedifferences),ADSff(Adaptive SupportWindow),对于SAD,SSD,STAD算法而言，对于曝光，亮度带来的差异而言，带阈值 的绝对值差STAD算法鲁棒性最好。而对于ADSW算法，在如今视频图像清晰度要求越来越 高的情况下，用硬件实现不能达到很高的速度。虽然有很多针对局部算法的硬件架构提出， 但很多都没有在精度和速度上做一个权衡。
【发明内容】
[0004] 本发明的目的是提供一种资源共享的立体匹配方法，该匹配方法具有实时性、低 功耗、高精度的特点。
[0005] -种资源共享的立体匹配方法，所述方法包括：
[0006] 将待处理的两幅图通过摄像头拍摄，并经过校正后存储在外部存储器内；
[0007] 将存储在外部存储器中的图像数据，通过彩色空间到灰度空间转换模块从rgb格 式转换成灰度格式，并存入两个乒乓快速缓冲存储区中；
[0008] 再经过视差处理，将所述乒乓快速缓冲存储区中的目标图和参考图不间断的进 行匹配，得到初始视差图；
[0009] 对所得到的初始视差图进行进一步精炼，对视差图进行中值滤波；
[0010] 对视差图进行精炼处理后，再进行遮挡点的检测和填充。
[0011] 由上述本发明提供的技术方案可以看出，该方法中乒乓快速缓冲存储区和全流水 线的设计是提高速度的关键，让参考图和目标图匹配时所等待的时间大大减少，该匹配方 法具有实时性、低功耗、高精度的特点。
【附图说明】
[0012] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 附图。
[0013] 图1为本发明实施例所提供资源共享的立体匹配方法流程示意图；
[0014] 图2为本发明实施例所述整体匹配过程的架构示意图；
[0015] 图3为本发明实施例所述参考图的整体架构示意图；
[0016] 图4为本发明实施例所述参考图的行缓存和存储器阵列硬件架构示意图；
[0017]图5为本发明实施例所述目标图的整体硬件架构示意图；
[0018] 图6为本发明实施例所述目标图的行缓存和存储器阵列硬件架构示意图；
[0019] 图7为本发明实施例所述视差处理的结构示意图；
[0020] 图8为本发明实施例所述TAD的硬件架构示意图；
[0021] 图9为本发明实施例所述STADTREE的硬件架构示意图；
[0022] 图10为本发明实施例所述最小STAD存储器硬件架构示意图；
[0023] 图11为本发明实施例所述视差存储器的架构示意图；
[0024] 图12为发明实施例所述中值滤波的架构示意图。
【具体实施方式】
[0025] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明的保护范围。
[0026] 下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施 例所提供资源共享的立体匹配方法流程示意图，如图2所示为整体匹配过程的架构示意 图，结合图1和2,所述方法包括：
[0027] 步骤11 :将待处理的两幅图通过摄像头拍摄，并经过校正后存储在外部存储器 内；
[0028] 步骤12 :将存储在外部存储器中的图像数据，通过彩色空间到灰度空间转换模块 从rgb格式转换成灰度格式，并存入两个乒乓快速缓冲存储区中；
[0029] 在该步骤中，具体是通过彩色空间到灰度空间转换模块从rgb(redgreenblue) 格式（24bit)转换成灰度（intensity)格式（8bit)，并存入两个乒乓快速缓冲存储区中。
[0030] 这里，为了使数据能够同步，并且尽可能地加速匹配，本发明设计了两个乒乓快速 缓冲存储区，两个乒乓快速缓冲存储区的结构一样，每个乒乓快速缓冲存储区包含两个部 分，分别存储目标图和参考图。
[0031] 具体实现中，该乒乓快速缓冲存储区的工作原理为：
[0032] 1)如图3所示为本发明实施例所述参考图的整体架构示意图，其灰度图存于参考 图像帧缓存中，参考图像地址产生器状态机控制地址产生器产生参考图像帧缓存所需要的 地址，和demux的选通状态，从参考图像帧缓存中出来的参考图的匹配数据，通过demux，选 通入下方的行缓存中缓存。参考图像工作状态机1和参考图像工作状态机2作用是控制各 自行缓存和寄存器阵列的移位功能，行缓存为8行，1024列，寄存器阵列为8行，8列。
[0033] 当下方行缓存缓存好要处理的8行之后，再延时8个周期，使要匹配的块装入寄 存器阵列，并且此时参考图像工作状态机1跳转到R_F_WAIT状态，停止下方行缓存和寄存 器阵列的移位功能，等待目标图像的装载完成。等到目标图像装载完成之后，开始进行匹 配，参考图像工作状态机1跳转到R_F_PR0CESS状态（此时行缓存和寄存器阵列移位功能 是关闭的），等第一个8x8块匹配完成之后，参考图像工作状态机1跳转到R_F_SHIFT状 态，持续6个周期，让第二个8x8装入寄存器阵列中，原因是因为3x3窗口，第一次8x8的最 后两列可以重复使用，新的列只有6列，后面的处理过程雷同。在第一个8行处理的同时， demux改变数据流方向，参考图像地址产生器状态机产生下一个8行，1024列的数据，数据 缓存到上面的行缓存，同样由于采用3x3的匹配窗口，第二个8行的启始行必须从第6行开 始，这也就是在地址产生器中r_row_block_counter乘以6的原因。在全部装载完毕后，参 考图像工作状态机2跳转到R_S_WAIT状态，等待上一个8行处理完后，可以不间断的处理 下一个8行，如图4所示为本发明实施例所述参考图的行缓存和存储器阵列硬件架构示意 图。
[0034] 2)如图5所示为本发明实施例所述目标图的整体硬件架构示意图，其灰度图存于 目标图像帧缓存中，因为处理的数据是以8x8窗口为基础的（聚合窗口为3x3)，目标图像地 址产生器状态机1和目标图像地址产生器状态机2分别产生处理以8x8窗口为基础的奇数 次和以8x8窗口为基础的偶数次所需的数据的地址，和参考图一样，首先是要把匹配的数 据送入寄存器中缓存，其过程是：
[0035] 开始装载数据时，上下两个缓存单元同时开始装载，此时地址产生器产生地址从 目标图像帧缓存取数据，同时行缓存，寄存器阵列移位功能打开，并且Mux阵列处在0状态， 整个寄存器阵列作为行缓冲单元，当数据装载好时，Mux阵列处于1状态，并且行缓存和寄 存器阵列停止移位功能，等待参考图缓冲。等两边都准备好了之后就开始匹配，此时寄存器 阵列移位功能打开，保证每个周期都有新的8x8与参考图进行匹配，并且移出的数据通过 Mux回流，等到参考图的一个8x8匹配完成后，Mux阵列处于3状态，由于参考图的下一个 8x8与上一个8x8块在目标图中有大部分数据是重合的，新的只有8x6,所以新的数据顺着 Mux阵列流入寄存器阵列。后面重复此过程，等某一个8行X1024列处理完后，切换到下一 个8行X1024列，由于之前已经缓存好，所以无需等待，直接进行匹配。行缓存，Mux阵列， 如图6所示为本发明实施例所述目标图的行缓存和存储器阵列硬件架构示意图。
[0036] 步骤13 :再经过视差处理，将所述乒乓快速缓冲存储区中的目标图和参考图不间 断的进行匹配，得到初始视差图；
[0037] 在该步骤中，由于乒乓快速缓冲存储区结构的特殊性，所述目标图和参考图可以 不间断的进行匹配，视差计算是一个全流水线的过程，具体包括：
[0038] 采用带阈值的绝对值差STAD算法，点对点匹配算子为C(x,y,d) =min{ |Ir