一种符号阵列面结构光的深度感知方法、装置及系统的制作方法
【专利摘要】本发明公开了一种符号阵列面结构光的深度感知方法、装置及系统，由激光图形投射器向目标物体或投射空间投射由符合阵列构成的编码图形Pattern，图像传感器采集获得连续的输入符号编码图像序列，先对输入符号编码图像进行解码，解码过程包括预处理、符号定位、符号识别、符号校正，完成符号识别的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配计算，得到视差值，再结合深度计算公式生成网格形式表示的目标物体或投射空间的深度点云信息。本
【发明内容】
可快速获得动态场景下目标物体或投射空间的高分辨率、高精度的深度信息，便于模块方式移植入或嵌入智能设备中用于3D建模、3D地图生成等。
【专利说明】一种符号阵列面结构光的深度感知方法、装置及系统
【技术领域】
[0001] 本发明属于模式识别、人机交互、三维重建及机器视觉【技术领域】，具体涉及一种符 号阵列面结构光的深度感知方法、装置及系统。
【背景技术】
[0002] 在消费电子领域，深度感知技术有助于提高电子产品的智能水平和交互能力，帮 助智能终端理解人类动作，成为"现实物理世界"与"虚拟网络世界"交互手段之一，不仅可 以在智能电视、智能手机、家电、平板PC等领域实现创新应用，也可用于智能视频监控、面 部识别系统、三维动画制作、动态场景检测、3D地图实时生成等三维重建场合。在工业领域， 高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业3D建模、3D打 印、医疗成像、物联网3D视觉感知、机器人操控等领域有着广泛的应用需求。
[0003] 基于结构光主动视觉模式的深度感知技术（激光图形投射器主动投射图形 Pattern、图像传感器采集连续图像）可以较为准确地获取目标物体或投射空间的深度信 息，该模式相比双目立体摄像头，通过编码结构光主动对投射物或投射空间进行特征标定， 所获取的深度图信息更稳定可靠、受环境光影响小、匹配过程不受物体纹理信息的影响等 优势。如微软Kinect，其通过主动投射红外激光散斑图像进行特征标定，由红外摄像头采集 红外图像序列，再由深度感知专用芯片计算获取深度信息。但Kinect通过DoE衍射生成激 光散斑图像来获取深度信息的方式难以获得高分辨率、高精度的深度信息，难以满足工业 建模等领域的应用需求，且不具备自我深度校正的能力。同时现有的结构光编码深度感知 和三维测量技术，难以实时获得动态场景下目标物体高分辨率、高精度的深度信息。
【发明内容】
[0004] 鉴于此，本发明的目的在于提供一种符号阵列面结构光的深度感知方法、装置及 系统，基于结构光编码的主动视觉模式，由激光图形投射器向目标物体或投射空间投射由 符合阵列构成的编码图形Pattern，图像传感器采集获得连续的输入符号编码图像序列，先 对输入符号编码图像进行解码，解码过程包括预处理、符号定位、符号识别、符号校正，完成 符号识别的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配计算，得到视 差值，再结合深度计算公式生成网格形式表示的目标物体或投射空间的深度点云信息。
[0005] 本发明的一种符号阵列面结构光的深度感知方法，包括：
[0006] 获取所述符号阵列面结构光的输入符号编码图像；
[0007] 对所述输入符号编码图像进行自适应预处理；
[0008] 对预处理之后的输入符号编码图像进行符号定位，识别所述输入符号编码图像中 所有符号中心点的位置；
[0009] 对预处理之后的输入符号编码图像进行符号识别，映射为对应的数字；
[0010] 根据所述对应的数字对识别后的符号进行校正，完成输入符号编码图像的解码；
[0011] 将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配，生 成符号对应的视差值；
[0012] 根据所述参考符号解码图像的已知距离和所述视差值，确定所述输入符号编码图 像中符号中心点的深度值。
[0013] 优选地，所述对预处理之后的输入符号编码图像进行符号定位，识别所述输入符 号编码图像中所有符号中心点的位置，包括：根据设计参数逐个计算所述符号中心点的位 置或根据符号特征信息，利用模式识别确定所述符号中心点的位置。
[0014] 优选地，所述符号识别，包括：模板匹配方法，将编码符号作为标准匹配符号模板， 标准匹配符号模板可围绕符号中心点进行小角度的旋转或对符号进行线性、非线性变换后 识别输入符号编码图像中的编码符号。
[0015] 优选地，所述符号识别，包括：基于样本训练进行SVM模式识别方法。
[0016] 优选地，所述映射为对应的数字，包括：将识别出的正确的符号映射到具体的数字 N上，未能正确识别的符号用特定数字M表示。
[0017] 优选地，所述根据所述对应的数字对识别后的符号进行校正，包括：对识别出的符 号，结合其周围符号，利用符号编码规则进行验证。
[0018] 优选地，符合所述符号编码规则的符号识别为正确，不符合所述符号编码规则的 符号用特定数字M表示为未能正确识别的符号并进行进一步校正，通过循环校正填补，生 成校正后的输入符号解码图像。
[0019] 优选地，所述将校正后的输入符号解码图像与已知距离的参考符号解码图像进行 符号匹配，包括通过输入符号在参考符号解码图像中对应位置的符号为中心、一定大小范 围内搜索与所述输入符号最接近的匹配符号。
[0020] 优选地，所述将校正后的输入符号解码图像与已知距离的参考符号解码图像进行 符号匹配，包括：输入符号结合其周围符号组成输入符号模板，以模板形式在参考符号解码 图象的搜索窗搜寻最优匹配模板，得到输入符号的匹配符号，从而得到输入符号与匹配符 号之间的视差值（Ax，Ay)。
[0021] 优选地，所述输入符号编码图像中符号中心点的深度值，包括：利用X或Y方向的 视差值Am(AX或Ay)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像 传感器之间的基线距离S、图像传感器焦距f?和点距参数y，根据以下深度计算公式计算得 到输入符号中心点〇的深度信息d':
【权利要求】
1. 一种符号阵列面结构光的深度感知方法，其特征在于，包括： 获取所述符号阵列面结构光的输入符号编码图像； 对所述输入符号编码图像进行自适应预处理； 对预处理之后的输入符号编码图像进行符号定位，识别所述输入符号编码图像中所有 符号中心点的位置； 对预处理之后的输入符号编码图像进行符号识别，映射为对应的数字； 根据所述对应的数字对识别后的符号进行校正，完成输入符号编码图像的解码； 将校正后的输入符号解码图像与已知距离的参考符号解码图像进行符号匹配，生成符 号对应的视差值； 根据所述参考符号解码图像的已知距离和所述视差值，确定所述输入符号编码图像中 的符号中心点的深度值。
2. 根据权利要求1所述的方法，其特征在于：优选的，所述对预处理之后的输入符号编 码图像进行符号定位，识别所述输入符号编码图像中所有符号中心点的位置，包括：根据设 计参数逐个计算所述符号中心点的位置或根据符号特征信息，利用模式识别确定所述符号 中心点的位置。
3. 根据权利要求1或2所述的方法，其特征在于：所述符号识别，包括：模板匹配方法， 将编码符号作为标准匹配符号模板，标准匹配符号模板围绕符号中心点进行小角度的旋转 或对符号进行线性、非线性变换后识别输入符号编码图像中的编码符号。
4. 根据权利要求1所述的方法，其特征在于：所述映射为对应的数字，包括：将识别出 的正确的符号映射到具体的数字N上，未能正确识别的符号用特定数字M表示。
5. 根据权利要求1或4所述的方法，其特征在于：所述根据所述对应的数字对识别后 的符号进行校正，包括：对识别出的符号，结合其周围符号，利用所述符号的符号编码规则 进行验证。
6. 根据权利要求5所述的方法，其特征在于：符合所述符号编码规则的符号识别为正 确，不符合所述符号编码规则的符号用特定数字M表示为未能正确识别的符号并进行进一 步校正，通过循环校正填补，生成校正后的输入符号解码图像。
7. 根据权利要求1所述的方法，其特征在于：所述将校正后的输入符号解码图像与已 知距离的参考符号解码图像进行符号匹配，包括通过输入符号在参考符号解码图像中对应 位置的符号为中心、一定大小范围内搜索与所述输入符号最接近的匹配符号。
8. 根据权利要求1或7所述的方法，其特征在于：所述将校正后的输入符号解码图像 与已知距离的参考符号解码图像进行符号匹配，生成符号对应的视差值，根据所述已知距 离和所述视差值，确定所述输入符号编码图像的符号中心点的深度包括： 输入符号结合其周围符号组成输入符号模板，以模板形式在参考符号解码图象的搜索 窗搜寻最优匹配模板，得到输入符号的匹配符号，从而得到输入符号与匹配符号之间的视 差值（Ax，Ay); 利用X或Y方向的视差值Am(Ax或Ay)结合参考符号解码图像的已知距离参数d、 激光图形投射器与图像传感器之间的基线距离S、图像传感器焦距f?和点距参数U，根据以 下深度计算公式计算得到输入符号中心点〇的深度信息d':
9. 一种符号阵列面结构光的深度感知装置，其特征在于，包括： 获取模块，用于获取所述符号阵列面结构光的输入符号编码图像； 预处理模块，用于对所述输入符号编码图像进行自适应预处理； 定位模块，用于对预处理之后的输入符号编码图像进行符号定位，识别所述输入符号 编码图像中所有符号中心点的位置； 识别模块，用于对预处理之后的输入符号编码图像进行符号识别，映射为对应的数 字； 校正模块，用于根据所述对应的数字对识别后的符号进行校正，完成输入符号编码图 像的解码； 匹配模块，用于将校正后的输入符解码图像与已知距离的参考符号解码图像进行符号 匹配，生成符号对应的视差值； 确定模块，用于根据所述参考符号解码图像的已知距离和所述视差值，确定所述输入 符号编码图像中的符号中心点的深度值。
10. 根据权利要求9所述的装置，其特征在于：所述定位模块用于根据设计参数逐个 计算所述符号中心点的位置或根据符号特征信息，利用模式识别确定所述符号中心点的位 置。
11. 根据权利要求9或10所述的装置，其特征在于：所述识别模块通过模板匹配将编 码符号作为标准匹配符号模板，标准匹配符号模板围绕符号中心点进行小角度的旋转或对 符号进行线性、非线性变换后识别输入符号编码图像中的编码符号。
12. 根据权利要求9或11所述的装置，其特征在于：所述识别模块用于将识别出的正 确的符号映射到具体的数字N上，未能正确识别的符号用特定数字M表示。
13.根据权利要求9或12所述的装置，其特征在于：所述校正模块用于对识别出的符 号，结合其周围符号，利用所述符号的符号编码规则进行验证，符合所述符号编码规则的符 号识别为正确，不符合所述符号编码规则的符号用特定数字M表示为未能正确识别的符号 并进行进一步校正，通过循环校正填补，生成校正后的输入符号解码图像。
14.根据权利要求9所述的装置，其特征在于：所述匹配模块用于通过输入符号在参考 符号解码图像中对应位置的符号为中心、一定大小范围内搜索与所述输入符号最接近的匹 配符号。
15.根据权利要求9所述的装置，其特征在于：所述确定模块利用X或Y方向的视差值 Am(Ax或Ay)结合参考符号解码图像的已知距离参数d、激光图形投射器与图像传感器 之间的基线距离S、图像传感器焦距f?和点距参数y，根据以下深度计算公式计算得到输入 符号中心点〇的深度信息d':
16. -种符号阵列面结构光的深度感知系统，包括激光图形投射器和如权利要求9-15 任一所述的深度感知装置，所述激光图形投射器向目标物体或投射空间投射编码图形后由 所述深度感知装置接收到输入符号编码图像。
【文档编号】H04N13/00GK104506838SQ201410810399
【公开日】2015年4月8日 申请日期:2014年12月23日 优先权日:2014年12月23日
【发明者】葛晨阳, 周艳辉 申请人:宁波盈芯信息科技有限公司