三维深度感知装置及方法
【专利摘要】一种三维深度感知装置及方法，包括同步触发模块、MIPI接收/发送模块、复用核心计算模块、存储控制器模块、存储器及MUX选择模块；同步触发模块产生同步触发信号，发送到图像采集模块；MIPI接收/发送模块支持MIPI视频流和其它格式视频流的输入输出；复用核心计算模块根据需求选择单目结构光深度感知工作模式或双目结构光深度感知工作模式，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理模块。该装置根据用户需要，灵活采用单目或双目结构光深度感知方式，方便利用不同模式下的优点；采用MIPI进、MIPI出的工作方式，对用户近乎透明，便于用户采用该装置替换原系统中的MIPI摄像头，直接得到深度图。
【专利说明】
三维深度感知装置及方法
技术领域
[0001] 本发明属于计算视觉、微电子和人机交互技术领域，具体涉及三维深度感知处理 器的深度感知装置及方法。
【背景技术】
[0002] 视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中， 人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间 及空间位置(深度、距离）。如何让机器视觉能实时获得高精度的深度信息、提高机器的智能 水平是当前机器视觉系统开发的难点。三维深度感知设备(3D Depth Perception Device) 是一种新型立体视觉传感器，可实时获取高精度、高分辨率的深度图信息(距离信息），进行 三维图像的实时识别、动作捕捉及场景感知。当前"虚拟世界正无限接近于现实世界；人机 交互模式将会变得更加自然(natural)、直观（intuitive)和身临其境（immersive)"。三维 深度感知设备（RGB+Depth)作为一种现实物理世界与虚拟网络世界进行交互的"门户设 备"，未来有可能取代传统RGB摄像头，成为现实世界中无处不在的重要设备，使机器或智能 设备具备类似人眼的3D视觉感知能力，从而有助于实现人与机器的自然交互、人与网络世 界的虚拟交互，甚至机器与机器之间的交互。当前无人机、3D打印、机器人、虚拟现实头盔、 智能手机、智能家居、人脸识别支付、智能监控等产业的深入发展，需要解决环境感知、人机 自然交互、避障、3D扫描、精确识别等难题，三维深度感知处理器技术作为关键共性技术有 助于解决这些难题，将极大地释放和激发人们对相关研究领域的科学想象力和创造力。
[0003] 基于结构光编码的三维深度感知技术可以较为准确地获取深度信息，相比双目立 体摄像头和ToF(Time of Flight)方式，具有获取的深度图信息更稳定可靠、不受环境光影 响、立体匹配算法简单等优势；作为一种高性价比、高可靠、适合大范围工作的深度感知技 术，当前和未来很长一段时间内，将成为人机交互、智能设备深度获取的主流技术。当前采 用结构光编码技术的典型产品有微软Kinect，英特尔Real sense 3D深度摄像头，谷歌 Project Tango项目所用的结构光深度感知模组。
[0004] 现有技术中，单目模式优点在于结构简单，只需一个接收摄像头就可获得深度，适 合体积小应用场合。双目模式优点在于可获得更好的深度图细节，即深度信息分辨率更高， 更精确的深度精度，同时适用范围更广，包括室外场合。
【发明内容】
[0005] 鉴于现有技术中存在的缺陷，本发明提出一种三维深度感知装置，包括同步触发 模块、MIPI接收/发送模块、复用核心计算模块;其中，所述同步触发模块用于产生同步触发 信号，发送到图像采集模块;所述MIPI接收/发送模块用于支持MIPI视频流和其它格式视频 流的输入输出；所述复用核心计算模块用于根据需求选择单目结构光深度感知工作模式或 双目结构光深度感知工作模式，包括预处理模块、块匹配视差计算模块、深度计算模块、深 度后处理模块。
[0006] 所述三维深度感知装置还包括:存储控制器模块、存储器;所述存储控制器模块用 于当选择单目结构光深度感知工作模式时，对存储器进行读写操作，或当双目结构光深度 感知工作模式时，无需存储器及存储控制器模块的支持;所述存储器，用于预先存储已知距 离的参考编码图案。该存储器内嵌在装置内部或外置在装置外部。
[0007] 所述三维深度感知装置还包括:MUX选择模块;所述MUX选择模块用于在单目结构 光深度感知工作模式下，选择从存储器中读出的参考编码图案作为输出，或在双目结构光 工作模式下，选择另一路摄像头输入的经预处理后的输入编码图案。
[0008] 所述预处理模块用于接收的输入编码图案，对其依次进行视频格式转换、畸变校 正、一致性去噪增强处理、二值化、同步校正的处理。
[0009] 所述块匹配视差计算模块用于在单目结构光工作模式下，对预处理后的输入编码 图案和存储器中读出的参考编码图案进行自匹配，得到该输入编码图案的编码图像块中心 点对应的视差向量，或在双目结构光工作模式下，对两路输入编码图案进行双目匹配，得到 一路输入编码图案的编码图像块中心点对应的视差向量。
[0010] 所述深度计算模块用于基于单目结构光方法，利用单目深度计算公式计算得到每 个视差向量对应的深度信息，或基于双目结构光方法根据双目深度计算公式计算得到每个 视差向量对应的深度信息。
[0011] 所述深度后处理模块用于对深度图进行空洞补偿、去噪，结合输入RGB图像进行配 准，输出深度图。
[0012] 本发明还提出一种三维深度感知方法，包括：
[0013] 三维深度感知装置具有复用核心计算模块，包括预处理模块、块匹配视差计算模 块、深度计算模块、深度后处理模块，用于根据需求选择单目结构光深度感知工作模式或双 目结构光深度感知工作模式；
[0014] 当选择单目结构光工作模式时，通过单个摄像头采集输入编码图案，经预处理模 块，通过存储控制器读出预先存储的参考编码图案，将参考编码图案与预处理后的输入编 码图案送入块匹配视差计算模块进行自匹配，得到匹配块偏移量，再经深度计算模块和深 度后处理模块的处理，输出深度图；
[0015] 当选择双目结构光工作模式时，通过两个摄像头同时采集输入编码图案，各自经 预处理模块后送入块匹配视差计算模块进行双目匹配，得到匹配块偏移量，再经深度计算 模块和深度后处理模块的处理，输出深度图。
[0016] 其中，所述摄像头根据同步触发信号进行图像采集;并将采集的MIPI视频流和其 它格式视频流通过MIPI接收/发送模块进行输入和输出。
[0017] 本发明基于结构光编码的主动视觉模式，实现了三维深度感知处理器(芯片或IP 核或程序代码），可通过可根据应用需求复用核心计算模块，灵活选择单目结构光深度感知 工作模式或双目结构光深度感知工作模式，以方便利用不同模式下的优点；同时，采用MIPI 进、MIPI出的方式可实时生成高分辨率高精度的深度图序列，MIPI工作方式对用户来说近 乎透明，便于用户采用该处理器替换原系统中的MIPI摄像头，直接得到深度图。三维深度感 知处理器即可作为独立芯片，或作为嵌入式IP核在SoC应用，也可作为程序代码运行在微处 理器上。
【附图说明】
[0018] 图1是本发明实施例的图像深度感知装置结构图；
[0019] 图2是本发明实施例的预处理模块的流程框图；
[0020] 图3是本发明实施例的块匹配视差计算模块的原理示意图；
[0021] 图4是本发明实施例的单目结构光深度感知工作流程框图；
[0022] 图5是本发明实施例的双目结构光深度感知工作流程框图。
【具体实施方式】
[0023]下面结合具体实施例对本发明进行进一步的详细说明。
[0024]在一个具体实施例中，本发明公开了一种三维深度感知装置，如图1，其特征在于： 包括同步触发模块、MIPI接收/发送模块、预处理模块、块匹配视差计算模块、深度计算模 块、深度后处理模块、存储控制器模块、存储器及MUX选择模块。其中：
[0025]所述同步触发模块：用于产生同步触发信号，送到编码图案投射器、RGB摄像头、一 路或两路专用于编码图案采集的摄像头。
[0026]所述MIPI接收/发送模块:MIPI(Mobile Industry Processor Interface)接口是 一种常用的摄像头视频数据流传输格式。本发明处理器的输入端内嵌MIPI RX接收模块支 持MIPI视频流输入，也可以选择并口数字格式或其它视频流格式输入;输出端内嵌MIPI TX 发送模块支持MIPI格式的深度图视频流输出，也可以选择并口数字格式或其它视频流格式 输出。本发明采用MIPI进、MIPI出的方式使得本发明处理器便于集成到其它应用系统中，用 户只需替换原系统所用MIPI摄像头，较少改动即可应用本发明的处理器实时获得高精度高 分辨率的深度图，从而大幅简化调试过程。
[0027] 所述预处理模块，如图2所示，依次通过视频格式转换(Bayer、MIPI、LVDS、HDMI转 为并口 RAW数据）、畸变校正、一致性去噪增强处理、二值化、同步校正等，对不同亮暗、信噪 比、大小特性的输入编码图案序列进行自适应、一致性的预处理，使输入编码图案更清晰、 减少噪声干扰，有利于本
【发明内容】
的深度感知计算。
[0028]所述块匹配视差计算模块:在单目结构光工作模式下，对预处理后的输入编码图 案和存储器中读出的参考编码图案进行自匹配，即对输入编码图案按编码图像块在参考编 码图案中按一定的相似度计算准则搜寻最优匹配块，得到该编码图像块中心点对应的视差 向量(偏移量）。在双目结构光工作模式下，对两路输入编码图案进行双目匹配，即一路输入 编码图案按编码图像块在另一路输入编码图案中按一定的相似度计算准则搜寻最优匹配 块，得到这一路输入编码图案的编码图像块中心点对应的视差向量(即偏移量）。
[0029]所述深度计算模块:基于单目结构光方法结合基线距离、焦距、摄像头传感器物理 点距、参考编码图案的已知距离等参数，利用单目深度计算公式计算得到每个视差向量对 应的深度信息（即距离）；基于双目结构光方法结合基线距离、焦距、摄像头传感器物理点距 等参数，根据双目深度计算公式计算得到每个视差向量对应的深度信息（即距离）。
[0030]所述深度后处理模块:对深度图进行空洞补偿、去噪，或结合输入RGB图像进行配 准，经处理后输出深度图。
[0031 ]所述存储控制器模块:在单目结构光深度感知工作模式下，对处理器内部或外部 的存储器进行一幅或多幅参考编码图案读写操作。双目结构光深度感知工作模式则无需存 储器及存储控制器模块的支持。
[0032] 所述存储器：单目结构光深度感知工作模式下，用于预先存储已知距离的一幅或 多幅参考编码图案。该存储器可内嵌在处理器内部、也可以外置在处理器外部，一般采用 SPI Flash、并口Flash。
[0033] 所述MUX选择模块:在单目结构光深度感知工作模式下，选择从存储器中读出的参 考编码图案作为输出；在双目结构光工作模式下，则选择另一路摄像头输入的经预处理后 的输入编码图案。
[0034]就上述实施例而言，该处理器的基本功能在于:通过复用核心计算模块(包括预处 理模块、块匹配视差计算模块、深度计算模块、深度后处理模块等），该处理器可根据应用需 求选择单目结构光或双目结构光工作模式，采用MIPI进、MIPI出的方式可实时获取高分辨 率高精度深度信息。单目结构光工作模式:该处理器从外部通过单个摄像头采集编码图案 投射器发出的输入编码图案，经预处理模块，通过存储控制器跟预先存储的参考编码图案 送入块匹配视差计算模块进行自匹配，得到视差向量，再经深度计算模块和深度后处理模 块的处理，输出深度图。双目结构光工作模式:该处理器从外部两个摄像头同时采集编码图 案投射器发出的输入编码图案，各自经预处理模块后送入块匹配视差计算模块进行双目匹 配，得到视差向量，再经深度计算模块和深度后处理模块的处理，输出深度图。单目模式优 点在于结构简单，只需一个接收摄像头就可获得深度，适合体积小应用场合。双目模式优点 在于可获得更好的深度图细节，即深度信息分辨率更高，更精确的深度精度，同时适用范围 更广，包括室外场合。
[0035] 其中参考编码图案的获取可以通过如下方式实现，这些方式仅用于说明上述实施 例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取参考编码图案:将 固定图案的激光束(红外、可见光、紫外线、不可见光)投射到与编码图案投射器的中心轴(Z 轴）相垂直的、且已知位置距离为d的平面(该平面可由投影布、平板等构成，用于呈现清晰 稳定的编码图案)上，平面上所形成的图案即为参考编码图案。输入编码图案的获取也可以 采用上述获取方法，输入编码图案中含有要测量深度信息的目标物体或投射空间，其深度 信息未知。容易理解，目标物体必须在编码图案投射器和摄像头的有效距离范围内。
[0036] 优选的，在另一个实施例中：所述MIPI接收/发送模块，除了支持MIPI视频格式，也 支持低压差分信号LVDS、高清多媒体接口 HDMI、并口原始数据RAW、贝尔Bayer视频格式等； 所述深度图后处理模块采用去噪滤波方法来减少噪声和空洞现象，并使得深度图中物体的 边缘更光滑、清晰，比如采用中值滤波、均值滤波等方法，但不限于这些传统的滤波方法，其 目的都是为了减少噪声；对RGB视频流图像和深度视频流图像进行配准校正，获取RGB摄像 头、深度摄像头的内外参数，建立深度图像与RGB图像之间的一一对应关系，比如采用张正 友摄像机标定法等，但不限于该标定方法。
[0037] 优选的，在另一个实施例中：所述块匹配视差计算模块的工作过程为:如图3所示， 在输入编码图案中提取大小为(mXn)的输入图像块131 〇(^^11;在参考编码图案(单目工作模 式)或另一路输入编码图案(双目结构光工作模式）中，以图像块block mXn所对应位置为中 心、大小为(MXN)的搜索窗SearCh_bl 〇CkMxN内，按搜索策略和相似度测量指标来寻找该图 像块的最优匹配块，其中，M、N、n、m都是整数，且M>m、N>n，从而获得该图像块的位移量（A X，A y)，即视差向量。对于该实施例，意在限定块匹配视差模块的一种具体处理过程。
[0038]优选的，在另一个实施例中：所述块匹配视差计算模块提取的图像块大小m X n在 单目结构光工作模式下与双目结构光工作模式下可不同，一般在双目结构光工作模式下可 更小，以有利于提升深度细节、提高X-Y方向的深度分辨率，识别更小的物体。
[0039]优选的，在另一个实施例中：所述深度计算模块在单目结构光工作模式下，根据深 度计算公式（1)计算深度距离:
⑴
[0041]在双目结构光工作模式下，根据深度计算公式(2)计算深度距离:
(2)
[0043]其中d为单目结构光工作模式下参考编码图案的已知距离参数，f为摄像头传感器 焦距，S为摄像头到编码图案投射器(单目模式)或两个摄像头之间（双目）的基线距离，y为 摄像头传感器物理点距。如摄像头与编码图案投射器，两个摄像头与编码图案投射器处于 同一水平基线上，则选水平位移量Ax作为公式（1)和公式(2)的偏移量输入参数，若处于垂 直基线上，则选垂直位移量A y作为公式(1)和公式(2)的偏移量输入参数。
[0044]优选的，在另一个实施例中：所述预处理模块的畸变校正，用于校正镜头自身引起 的光学变形，先找到理想图像和畸变图像存在的非线性位置关系，然后将畸变图片各个像 素的空间位置按查找表映射方式对输入编码图案进行转换;畸变校正方法比如球面坐标定 位法、多项式坐标变换法、射影不变性、极坐标映射法，但不限于这些传统的畸变校正方法。 [0045]优选的，在另一个实施例中：所述预处理模块的同步校正，双目结构光工作模式 下，由三维深度感知专用芯片的同步触发模块发出同步信号给编码图案投射器和左右双目 摄像头，双目摄像头同步采集并输入给三维深度感知专用芯片，预处理模块的同步校正子 模块通过多条行存，可分别对左右摄像头输入的输入编码图案按像素点逐点前后调节或按 行进行上下调节，以保证左右摄像头输入编码图案数据的对齐。
[0046]本发明的三维深度感知装置处理器可根据应用需求选择单目结构光或双目结构 光工作模式。下面针对本发明三维深度感知处理器两种工作模式，介绍具体工作流程。
[0047] 当选择单目结构光工作模式时，单目结构光深度感知工作流程，见图4,包括以下 步骤：
[0048] 步骤1、编码图案投射器投射编码图案对目标物体或投射空间进行编码，经摄像头 R连续采集输入编码图案送入三维深度感知处理器；
[0049]步骤2、经预处理模块的畸变校正、一致性增强处理等，得到预处理后的输入编码 图案，送到块匹配视差计算模块；
[0050] 步骤3、预先固化在存储器中的参考编码图案经存储控制器读出，再经MUX选择模 块与输入编码图案同时送到块匹配视差计算模块；
[0051] 步骤4、块匹配视差计算模块对输入编码图案和参考编码图案进行自匹配，即对输 入编码图案按编码图像块在参考编码图案中按一定的相似度计算准则搜寻最优匹配块，得 到输入编码图案每个像素对应的视差向量(即偏移量），送入深度计算模块；
[0052]步骤5、深度计算模块结合基线距离、焦距、摄像头传感器物理点距、参考编码图案 的已知距离等参数，根据单目深度计算公式(1)计算得到每个视差向量对应的深度信息（即 距离）；
[0053]步骤6、深度后处理模块对深度图进行空洞补偿去噪，结合输入RGB图像进行配准 校正，最后输出深度图。
[0054] 当选择双目结构光工作模式时，双目结构光深度感知工作流程，见图5，包括以下 步骤：
[0055] 步骤1、编码图案投射器投射编码图案对目标物体或投射空间进行编码，经摄像头 R、摄像头L同步采集各自输入编码图案到三维深度感知处理器；
[0056]步骤2、摄像头R采集的输入编码图案经预处理模块的畸变校正、一致性增强处理、 同步校正等，得到预处理后的输入编码图案，送到块匹配视差计算模块;摄像头L采集的输 入编码图案经功能相同的预处理模块处理，再经MUX选择模块，与摄像头R的输入编码图案 同时送到块匹配视差计算模块；
[0057]步骤3、块匹配视差计算模块对两路输入编码图案进行双目匹配，即一路输入编码 图案按编码图像块在另一路输入编码图案中按一定的相似度计算准则搜寻最优匹配块，得 到这一路输入编码图案每个像素对应的视差向量(即偏移量），送入深度计算模块；
[0058]步骤4、深度计算模块结合基线距离、焦距、摄像头传感器物理点距等参数，根据双 目深度计算公式(2)计算得到每个视差向量对应的深度信息（即距离）；
[0059]步骤5、深度后处理模块对深度图进行空洞补偿去噪，结合输入RGB图像进行配准 校正，最后输出深度图。
[0060]上述的实施例既可以作为独立芯片使用，可以作为嵌入式IP核在SoC芯片中应用， 也可作为程序代码运行在微处理器上。本发明处理器的输入输出视频接口格式不限于所列 的10?1、1^05、11010、1^1、8 &7從等，也可以应用其它视频接口。本发明不仅支持不同类型激 光编码图案投射器产生的结构光模式，如红外、可见光、紫外线、不可见光等，也可以使用不 同图案的投射方案，如圆点状、块状、十字状、条纹状、符号等的编码图案。因而在不脱离本 发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。
【主权项】
1. 一种三维深度感知装置，包括同步触发模块、MIPI接收/发送模块、复用核心计算模 块； 其中，所述同步触发模块用于产生同步触发信号，发送到图像采集模块； 所述MIPI接收/发送模块用于支持MIPI视频流和其它格式视频流的输入输出； 所述复用核心计算模块用于根据需求选择单目结构光深度感知工作模式或双目结构 光深度感知工作模式，包括预处理模块、块匹配视差计算模块、深度计算模块、深度后处理 模块。2. 根据权利要求1所述的装置，其特征在于： 优选的，所述三维深度感知装置还包括:存储控制器模块、存储器； 所述存储控制器模块用于当选择单目结构光深度感知工作模式时，对存储器进行读写 操作，或当双目结构光深度感知工作模式时，无需存储器及存储控制器模块的支持； 所述存储器，用于预先存储已知距离的参考编码图案。3. 根据权利要求2所述的装置，其特征在于:该存储器内嵌在装置内部或外置在装置外 部。4. 根据权利要求1所述的装置，其特征在于:所述三维深度感知装置还包括:MUX选择模 块； 所述MUX选择模块用于在单目结构光深度感知工作模式下，选择从存储器中读出的参 考编码图案作为输出，或在双目结构光工作模式下，选择另一路摄像头输入的经预处理后 的输入编码图案。5. 根据权利要求1所述的装置，其特征在于：所述预处理模块用于接收的输入编码图 案，对其依次进行视频格式转换、畸变校正、一致性去噪增强处理、二值化、同步校正的处 理。6. 根据权利要求1所述的装置，其特征在于:所述块匹配视差计算模块用于在单目结构 光工作模式下，对预处理后的输入编码图案和存储器中读出的参考编码图案进行自匹配， 得到该输入编码图案的编码图像块中心点对应的视差向量，或在双目结构光工作模式下， 对两路输入编码图案进行双目匹配，得到一路输入编码图案的编码图像块中心点对应的视 差向量。7. 根据权利要求1所述的装置，其特征在于:所述深度计算模块用于基于单目结构光方 法，利用单目深度计算公式计算得到每个视差向量对应的深度信息，或基于双目结构光方 法根据双目深度计算公式计算得到每个视差向量对应的深度信息。8. 根据权利要求1所述的装置，其特征在于:所述深度后处理模块用于对深度图进行空 洞补偿、去噪，结合输入RGB图像进行配准，输出深度图。9. 一种三维深度感知方法，其特征在于： 三维深度感知装置具有复用核心计算模块，包括预处理模块、块匹配视差计算模块、深 度计算模块、深度后处理模块，用于根据需求选择单目结构光深度感知工作模式或双目结 构光深度感知工作模式； 当选择单目结构光工作模式时，通过单个摄像头采集输入编码图案，经预处理模块，通 过存储控制器读出预先存储的参考编码图案，将参考编码图案与预处理后的输入编码图案 送入块匹配视差计算模块进行自匹配，得到匹配块偏移量，再经深度计算模块和深度后处 理模块的处理，输出深度图； 当选择双目结构光工作模式时，通过两个摄像头同时采集输入编码图案，各自经预处 理模块后送入块匹配视差计算模块进行双目匹配，得到匹配块偏移量，再经深度计算模块 和深度后处理模块的处理，输出深度图。10.根据权利要求9所述的方法，其特征在于:所述摄像头根据同步触发信号进行图像 采集;并将采集的MIPI视频流和其它格式视频流通过MIPI接收/发送模块进行输入和输出。
【文档编号】G06T7/00GK105931240SQ201610250214
【公开日】2016年9月7日
【申请日】2016年4月21日
【发明人】葛晨阳, 郑南宁, 周艳辉
【申请人】西安交通大学, 宁波盈芯信息科技有限公司