一种基于结构光编码的垂直深度感知装置的制造方法
【技术领域】
[0001] 本发明属于图像处理、自然交互和集成电路技术领域，具体涉及一种基于结构光 编码的垂直深度感知装置。
【背景技术】
[0002] 自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然 状态所传递的命令，其中，深度感知技术是人机自然交互的核心技术，在机器视觉、智能监 控、三维重建、体感交互、3D打印、无人机等领域有着广泛的应用前景。基于结构光编码的主 动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像 到物体表面进行编码，由图像传感器采集获得红外编码图像，再通过深度感知计算获得物 体的深度信息；所生成的深度信息可用于三维图像的实时识别及动作捕捉，使人能以表情、 手势、体感动作等自然方式与终端进行交互成为可能。相比ToF (Time ofFlight)，基于结构 光编码的三维深度感知技术在成本、性能方面具备一定的优势。
[0003] 现有的三维深度感知设备，无论是基于结构光编码、还是ToF，都是设计成水平装 置，即激光投射器与接收摄像头之间的基线是水平的、两者的中心光轴是平行的，比如微 软Kinect -代（基于PrimeSense结构光模组）和Kinect二代（基于ToF模组）、华硕 Xtion、英特尔RealSense 3D深度摄像头（ToF模组）、专利"一种图像深度感知装置（专利 号：ZL201210490225. 0) "提出的基于结构光三维深度信息实时获取装置。激光投射器与接 收摄像头的水平放置，无论接收摄像头是位于激光投射器的左侧或右侧，在深度感知计算 生成深度图过程中，由于遮挡的缘故，总会在被测物体左右方向的一侧边缘带来空洞现象， 即该侧的边缘周围存在一定宽度的无法识别区域；而且距离深度感知设备越近，空洞现象 越明显。应用现有的三维深度感知设备进行人机交互过程中，由于被测物体或人一般都是 水平方向运动，其边缘处存在的空洞问题将对被测目标的识别、分割或抠图处理带来严重 的影响，难以实现将深度图与RGB视频图中的被测目标进行一致提取。
【发明内容】
[0004] 鉴于此，本发明提供了一种基于结构光编码的垂直深度感知装置；
[0005] 所述装置包括：激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模 块；
[0006] 所述激光图形投射器、RGB接收摄像头、红外接收摄像头依次沿一条直线垂直于水 平面放置；所述深度感知模块与红外接收摄像头相连接；
[0007] 所述激光图形投射器是一种激光编码图形Pattern发射装置，用于投射激光编码 图形；
[0008] 所述红外接收摄像头用于连续采集激光图形投射器所投射的激光编码图形并生 成输入编码图像序列；
[0009] 所述深度感知模块用于对红外接收摄像头生成的输入编码图像序列进行图像预 处理，结合预先固化的、已知距离的参考编码图像进行块匹配视差计算和深度计算，生成深 度图序列；
[0010] 所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的图像处理。
【附图说明】
[0011] 图1是本发明一个实施例中的基于结构光编码的垂直深度感知装置结构示意图；
[0012] 图2是本发明一个实施例中的深度感知模块结构示意图；
[0013] 图3是本发明一个实施例中的水平深度感知设备存在的空洞问题示意图；
[0014] 图4是本发明一个实施例中的水平深度感知设备存在的深度图空洞示意图。
【具体实施方式】
[0015] 下面结合附图及具体的实施例对本发明进行进一步的详细说明。
[0016] 在一个实施例中，本发明提供了一种基于结构光编码的垂直深度感知装置；
[0017] 所述装置包括：激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模 块；
[0018] 所述激光图形投射器、RGB接收摄像头、红外接收摄像头依次沿一条直线垂直于水 平面放置；所述深度感知模块与红外接收摄像头相连接；
[0019] 所述激光图形投射器是一种激光编码图形Pattern发射装置，用于投射激光编码 图形；
[0020] 所述红外接收摄像头用于连续采集激光图形投射器所投射的激光编码图形并生 成输入编码图像序列；
[0021] 所述深度感知模块用于对红外接收摄像头生成的输入编码图像序列进行图像预 处理，结合预先固化的、已知距离的参考编码图像进行块匹配视差计算和深度计算，生成深 度图序列。
[0022] 所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的图像处理。
[0023] 本实施例所述的装置中的激光图形投射器、红外接收摄像头和RGB接收摄像头垂 直放置，解决了由于水平深度感知设备会引起被测物体水平方向的一侧边缘产生空洞问 题。所述激光图形投射器与红外接收摄像头、RGB接收摄像头三者沿垂直与地面的直线排 列方式，至上而下的排列顺序在此不做限制，以红外接收摄像头能够采集到激光图像投射 器投射的激光编码图形为限。
[0024] 本实施例中，红外接收摄像头连续采集激光图形投射器所投射的激光编码图形采 用一定的帧频，包括 30HZ、45HZ、60HZ、IOOHz、120Hz。
[0025] 更优选的，所述红外接收摄像头连续采集激光图形投射器所投射的激光编码图形 的连续采集时间间隔包括331118、221118、171118、1〇1118、81118，在一个实施例中，采用1〇1118。
[0026] 更优选的，所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的 处理包括抠图、3D扫描、人脸识别等其它功能。
[0027] 在一个实施例中，所述装置对激光图形投射器的投射与红外接收摄像头的采集进 行同步控制；
[0028] 所述激光图形投射器投射的激光编码图形能够更改，并且所述激光图形投射器投 射激光编码图形的水平和垂直视角FOV范围包括O~180度；
[0029] 所述激光图形投射器的激光光源包括可见光、红外、紫外线、X射线。
[0030] 本实施例所述的所述激光图形投射器是一种激光编码图形（Pattern)发射装置， 所投射的图形可以是固定的，也可以通过编程更改。
[0031] 优选的，激光图形投射器的投射与接收摄像头的编码图像采集可进行同步控制， 进一步的，可以采用计算机控制。
[0032] 在本实施例中，激光图形投射器所投射的图形具有一定的水平垂直视角FoV，优 选的，水平/垂直视角范围〇~180度；所述激光图形投射器的激光光源可以是可见光、红 外、紫外线、X射线；更优的，采用近红外光源。
[0033] 在一个实施例中，所述红外接收摄像头的光轴与激光图形投射器的光轴平行，两 者垂直方向的基线距离为S，基线距离可根据深度感知装置的工作范围、深度精度要求进行 调节。
[0034] 所述红外接收摄像头是一种图像传感器，包含光学聚焦成像透镜和滤波装置，用 于接收激光图形投射器所投射的、特定波长范围的编码图案。图像传感器的光学焦距f 一 般是固定的，其光轴与激光图形投射器的光轴平行，两者垂直方向的基线距离为S。其可以 位于激光图形投射器的垂直上方或下方。
[0035] 在一个实施例中，所述深度感知模块包括图像预处理子模块、块匹配视差计算子 模块、深度计算子模块、存储控制器子模块以及存储器；
[0036] 所述图像预处理子模块的一端与红外接收摄像头相连接，另一端与块匹配视差计 算子模块、深度计算子模块依次连接；所述存储控制器子模块与图像预处理子模块和块匹 配视差计算子模块相连接；所述存储器与存储控制器子模块相连接。
[0037] 本实施例所述的深度感知模块可以采取硬件实现，也可以基于微处理器进行软件 编程实现，其物理载体可以是集成电路块、也可以是微处理器。
[0038] 在一个实施例中，所述图像预处理子模块用于对输入编码图像序列或参考编码图 像进行格式转换、图像自适应去噪、图像增强和图像二值化处理。
[0039] 本实施例所述的图像预处理子模块通过输入编码图像序列或参考编码图像进