一种工作范围可调的三维深度感知方法及装置的制造方法
【技术领域】
[0001] 本公开设及属于图像处理、自然交互和集成电路技术领域，具体设及一种工作范 围可调的=维深度感知方法及装置。
【背景技术】
[0002] 自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然 状态所传递的命令，其中，深度感知技术是人机自然交互的核屯、技术，在机器视觉、智能监 控、=维重建、体感交互、3D打印、无人机等领域有着广泛的应用前景。基于结构光的主动 视觉模式可W较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到 物体表面进行编码，由图像传感器采集获得红外编码图像，再通过深度感知计算获得物体 的深度信息；所生成的深度信息可用于=维图像的实时识别及动作捕捉，使人能W表情、手 势、体感动作等自然方式与终端进行交互成为可能。相比ToF(TimeofFli曲t)，基于结构 光编码的=维深度感知技术在成本、性能方面具备一定的优势。
[0003] 现有的S维深度感知设备，如微软Kinect-代（基于PrimeSense结构光模组） 和二代（基于ToF模组）其工作范围为0. 6~5米左右，主要用于一定距离的体感动作识 另IJ，比如家庭娱乐；英特尔RealSense3D深度摄像头工作范围约0. 2~2米左右，可用于近 距离手势动作和人脸表情识别。现有的运些=维深度感知装置无法实现工作范围可调，比 如采用同一套装置可W用于近距离手势或人脸识别，也可W用于几米开外体感动作识别， 或用于更远距离（比如10米开外）的行人跟踪与识别。
【发明内容】
[0004] 鉴于此，本发明提供了一种工作范围可调的=维深度感知方法及装置，由外部设 定或自适应调整方式设置工作范围模式，调节激光图形投射器驱动电路的驱动电流和输出 功率、调节接收摄像头焦距和基线距离，再由深度感知模块调整图像预处理的控制参数，从 存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像， 对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。基于所述方法设 计的装置可实现同一套=维深度感知装置在不同工作距离范围下都能获取高分辨率、高精 度的深度信息。 阳〇化]为实现W上发明目的，一种工作范围可调的=维深度感知方法，所述方法应用于 =维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感 知模块、控制模块和存储器；
[0006] 通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工 作范围模式的参数通过在装置中设置寄存器来存储；
[0007] 所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器 驱动电路、接收摄像头和深度感知模块分别发送控制命令；
[0008] 对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路 的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标 物体或空间处于工作范围模式的参数所对应的工作范围内；
[0009] 对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帖 频采集激光图形投射器产生的编码图像W生成输入编码图像序列，并送入深度感知模块； 所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一 种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投 射器与接收摄像头之间的水平距离，两者的中屯、光轴平行；
[0010] 对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图 像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输 出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹 配视差计算和深度计算，输出深度图序列；
[0011] 所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像 是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编 码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每 个工作范围模式的参数Mi对应一组距离di的参考编码图像，一组参考编码图像可W是一幅 或多幅图像组成，其中i表示第i组；
[0012] 所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图 像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间 的位移量；
[0013] 所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距y、激光图形 投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Am,所述Am为Ax或 Ay，参考编码图像对应的已知距离山，则通过下述深度计算的公式，得到对应的深度值dl:
[0014]
[0015] 基于上述方法设计的一种工作范围可调的=维深度感知装置，所述装置包括激 光图形投射器驱动电路、激光图形投射器、接收摄像头、深度感知模块、控制模块W及存储 器；
[0016] 所述控制模块用于设置或重新设置装置的工作范围模式；所述工作范围模式的参 数通过在原装置中设置一个寄存器来存储；
[0017] 所述控制模块根据设定的或重新设定的工作距离范围向激光图形投射器驱动电 路、接收摄像头和深度感知模块分别发送控制命令；
[0018] 对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路 的驱动电流和输出功率，通过激光图形投射器将编码图案投向设定的工作范围内的目标物 体或空间；
[0019] 对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帖 频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；所 述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种 图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射 器与接收摄像头之间的水平距离，两者的中屯、光轴平行；
[0020] 对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图 像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输 出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹 配视差计算和深度计算，输出深度图序列；
[0021] 所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂 直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图 像，其作为标准参考编码图像预先固化在存储器中；工作范围模式Mi对应一组相同距离di 的参考编码图像，一组参考编码图像可W是一幅或多幅图像组成；
[0022] 所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图 像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间 的位移量，即视差值；
[0023] 所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距y、激光图形 投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Am,所述 Am为Ax或Ay,参考编码图像的已知距离参数di，则通过下述深度计算的公式，能够得到 对应的深度值山：
[0024]
[0025] 本发明通过所述方法通过调节激光图形投射器驱动电路的驱动电流，调节接收摄 像头焦距f、激光图形投射器与接收摄像头的基线距离S，调整图像预处理的控制参数，结 合多组已知距离的参考编码图像，可实现在不同目标距离内能生成高分辨率、高精度的深 度信息，方便利用图像处理技术获取深度信息进行=维图像的识别及动作捕捉。基于所述 方法实现的装置，通过用硬件完成方法的功能实现，将有助于优化和实时实现所述的深度 感知计算方法，并使其适合不同的工作范围。
【附图说明】
[0026] 图1是本发明实施例的工作范围可调的S维深度感知装置结构示意图；
[0027] 图2是本发明实施例的工作范围自适应调整方式示意图；
[002引图3是本发明实施例的深度感知模块根据工作范围模式的工作流程图。