一种即插即用的深度摄像装置制造方法
【专利摘要】本发明公开了一种即插即用的深度摄像装置，通过编码图案投射器投射编码图案，对投射空间和目标物体进行特征标定，由图像传感器获取所投射的编码图案，经深度感知计算模块进行深度计算、深度到灰度映射、缩放和格式转换，再经编码压缩USB驱动模块进行压缩、打包和USB上传到智能终端，最后由视频流数据深度恢复模块进行解码，恢复出投射空间和目标物体的深度信息。本发明基于结构光的主动视觉模式，可以与任何支持USB接口的智能终端相连，实时输出高分辨率、高帧率的深度图序列，即插即用，并支持常见的视频摄像头程序无缝地调用深度视频流。
【专利说明】一种即插即用的深度摄像装置
【技术领域】
[0001]本发明属于图像处理、人机交互和机器视觉【技术领域】，具体涉及一种即插即用的深度摄像装置。
【背景技术】
[0002]视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。
[0003]在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来“科幻”般的操控方式和全新的人机交互体验，在智能电视、智能手机、家电、平板PC等领域实现创新应用。
[0004]现有的深度获取装置在实时性、操作应用简便性方面存在限制。如双目立体摄像头技术成熟，但未能实时生成并输出深度图序列；微软体感交互设备Kinect采用红外结构光的主动视觉模式可以实时输出深度图(0.8?3.8米范围，640*480，30f/s)，但其驱动及应用开发包安装复杂，一般与Xbox游戏机绑定，无法做到与任意兼容USB接口的智能设备或OS系统平台连接进行即插即用。2013年美国苹果公司新申请一项发明专利“DepthPerception Device and System,深度感知设备与系统”,利用激光发射图形、摄像头获取散斑图后计算出深度距离，该技术有可能作为其未来创新产品的虚拟交互和输入设备进行应用。2014年I月英特尔公司推出嵌入式3D深度摄像头，认为“虚拟世界正无限接近于现实世界；人机交互模式将会变得更加自然(natural)、直观(intuitive)和身临其境(immersive) ”。开发一种能快速、准确地获取目标物体深度信息的设备装置已成为国内外相关行业研究的热点和难点。
【发明内容】
[0005]鉴于此，本发明提供了一种即插即用的深度摄像装置，基于结构光的主动视觉模式，通过USB 口即插即用的方式与任何支持USB 口的智能设备(PC、平板、智能电视、智能家电、穿戴式设备等)、0S系统相连接，并实时输出高分辨率、精确的深度图序列。
[0006]本发明采用以下技术方案予以实现:
[0007]—种即插即用的深度摄像装置，包括编码图案投射器、图像传感器、深度感知计算模块、编码压缩USB驱动模块，其中，
[0008]编码图案投射器用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码，即特征标定；
[0009]图像传感器用于实时接收编码图案投射器投射的编码图案，生成输入编码图像序列，并将输入编码图像序列以一定的视频格式送入深度感知计算模块；
[0010]深度感知计算模块用于利用输入编码图像序列和参考编码图像进行深度计算、深度-灰度映射、视频缩放和图像数据格式转换，输出视频流数据；
[0011]编码压缩USB驱动模块用于将符合其编码格式要求的视频流数据进行压缩和打包，再通过即插即用的USB接口上传到智能终端。
[0012]本发明具有结构简单、低成本、使用方便可靠的优点。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
【专利附图】
【附图说明】
[0013]图1是本发明实施例的装置结构图；
[0014]图2是本发明实施例的激光散斑编码图案示意图；
[0015]图3是本发明实施例的深度感知计算模块结构图；
[0016]图4是本发明实施例的视频缩放子模块结构图；
[0017]图5是本发明实施例的图像数据格式转换子模块结构图。
【具体实施方式】
[0018]下面结合附图对本发明进行进一步的详细说明。
[0019]本发明的总体构思为:采用编码图案投射器(激光散斑投射器或其它投影装置)投射出一定波长范围的编码图案，对投射空间和目标物体进行结构光编码，即特征标定，再利用与编码图案投射器在同一基线上的图像传感器获取所投射的编码图案；深度感知计算模块将采集到的编码图像序列经图像预处理后与已知距离的参考编码图像进行块匹配运动估计、深度计算和深度到灰度映射，生成所投射空间和目标物体的深度信息，再经视频缩放子模块和图像数据格式转换子模块输出视频流数据到编码压缩USB驱动模块；通过视频压缩、数据打包和即插即用的USB接口上传到智能终端；智能终端的视频流数据深度恢复模块对接收到的压缩视频流数据进行解码，并进行灰度到深度的逆映射，恢复出投射空间和目标物体的深度信息。
[0020]图1示出了本发明实施例的即插即用的深度摄像装置，该装置包括:编码图案投射器、图像传感器、深度感知计算模块、编码压缩USB驱动模块。
[0021]编码图案投射器可以是激光散斑投射器或其他投影装置，其中，激光散斑投射器可以投射出的相干激光束(红外、可见光、紫外线、不可见光)，激光束经干涉成像和物体表面的漫反射形成由散斑点组成的散斑图像；投影装置可以投射出可控的编码图案。编码图案投射器所投射出的图案一般是固定的，或采用一定的同步控制策略与接收图像的图像传感器进行同步后改变其投射出的图案；同一幅图案在水平或垂直方向的一定范围内，其特征不重复或属于随机分布。编码图案投射器所投射的视场角FoV(包括水平、垂直视场角)一般大于图像传感器的视场角FoV。编码图案投射器的投射有效距离有一定范围限制，跟其光源强度、产生机理、投射光学透镜有关。
[0022]图像传感器包含光学聚焦成像透镜和滤波装置，用于接收特定波长范围的编码图案。图像传感器的光学焦距f 一般是固定的，其光轴与编码图案投射器的光轴平行、基线距离为S。[0023]深度感知计算模块包括图像预处理子模块、块匹配运动估计子模块、深度计算子模块、深度-灰度映射子模块、视频缩放子模块、图像数据格式转换子模块。在特定实施例中，其物理载体可以是可编程逻辑芯片FPGA或专用集成电路块。
[0024]编码压缩USB驱动模块可以是可编程逻辑芯片FPGA上的IP核或专用集成电路块ICo
[0025]为了清楚说明，下文中将结合图2、图3、图4、图5来进一步描述本发明实施例的即插即用的深度摄像装置的工作机制。
[0026]首先，编码图案投射器(激光散斑投射器或其它投影装置)投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码，即特征标定。其中，该编码图案满足在水平或垂直方向的一定范围内，其特征不重复或属于随机分布。
[0027]图2为采用激光散斑投射器投射出的激光散斑编码图案示意图，在水平或垂直方向的一定范围内其散斑点的分布不重复。其中，事先由编码图案投射器投射出一定波长范围(红外、可见光、紫外线、不可见光)的编码图案到与编码图案投射器的光轴(Z轴)相垂直的、且已知垂直距离为d的平面上，形成的非规则编码图像，称为参考编码图像。该平面可由投影布、平板等构成，用于呈现清晰稳定的编码图案，可称之为参考基准平面。参考编码图像将由图像预处理模块进行与输入编码图像相同的预处理(参见下文)后，存储固化在内部或外部存储器中，作为后续深度感知计算的匹配基准图形，且在深度感知计算过程中其数据保持不变。
[0028]接下来，图像传感器实时接收编码图案投射器投射的编码图案，生成输入编码图像序列，并将所获取的输入编码图像序列以一定的视频格式(例如Bayer、ITU601、ITU656、MIPI)送入深度感知计算模块。其中，图像传感器与编码图案投射器的光轴平行，且在同一基线上，基线距离为S，焦距为f。优选地，图像传感器可以通过滤波装置(例如特定波长范围的滤光片)滤除接收波长范围外的光线，以消除干扰。
[0029]接着，深度感知计算模块利用输入编码图像序列和参考编码图像进行深度计算、深度映射、视频缩放和图像数据格式转换，输出视频流数据。深度感知计算模块的结构框图见图3，其中深度计算的过程如下:
[0030]首先，图像预处理子模块对输入的编码图像进行图像预处理。图像预处理一般包括视频格式转换(例如Bayer、ITU601、ITU656视频解码、MIPI接口格式转换)、色度空间转换(例如RGB转YUV)、灰度图像自适应去噪和增强等，其中增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的增强方法。通过视频格式转换、一致性去噪和增强等预处理，可以使编码图案更清晰，有利于减少深度感知计算过程中的误匹配和噪声干扰，提高深度计算的精确性。
[0031]其次，块匹配运动估计子模块从输入编码图像中提取一定大小的图像块，以一定的搜索策略和相似度测量指标在参考编码图像中搜寻最优匹配块，获得该图像块与最优匹配块之间的最优偏移量，即运动向量,用X和Y轴的偏移量(Δχ，Ay)表示。块匹配运动估计是现有技术，在一个特定实施例中，块匹配运动估计可以采用本发明人已申请的中国发明专利(CN201210490235.4，一种激光散斑图像的运动向量生成方法)。
[0032]深度计算子模块将得到的最优偏移量Am(Ax或Ay)结合参考编码图像的已知距离参数d、图像传感器与编码图案投射器的基线距离S、焦距f及图像传感器点距μ，计算得到图像块中心点的深度信息d'。
[0033]在本实施例中，根据以下深度计算公式计算d':
【权利要求】
1.一种即插即用的深度摄像装置，包括编码图案投射器、图像传感器、深度感知计算模块、编码压缩USB驱动模块，其中， 编码图案投射器用于投射出一定波长范围的编码图案，对有效范围内待测量的投射空间和目标物体进行结构光编码，即特征标定； 图像传感器用于实时接收编码图案投射器投射的编码图案，生成输入编码图像序列，并将输入编码图像序列以一定的视频格式送入深度感知计算模块； 深度感知计算模块用于利用输入编码图像序列和参考编码图像进行深度计算、深度-灰度映射、视频缩放和图像数据格式转换，输出视频流数据； 编码压缩USB驱动模块用于将符合其编码格式要求的视频流数据进行压缩和打包，再通过即插即用的USB接口上传到智能终端。
2.根据权利要求1所述的深度摄像装置，其中，所述深度感知计算模块包括图像预处理子模块、块匹配运动估计子模块、深度计算子模块、深度-灰度映射子模块、视频缩放子模块、图像数据格式转换子模块。
3.根据权利要求1所述的深度摄像装置，其中， 所述图像预处理子模块用于对输入的编码图像进行图像预处理； 所述块匹配运动估计子模块从预处理后的输入编码图像中提取一定大小的图像块，以一定的搜索策略和相似度测量指标在参考编码图像中搜寻最优匹配块，获得该图像块与最优匹配块之间的最优偏移量，即运动向量，用X和Y轴的偏移量表示； 所述深度计算子模块用于将得到X或Y轴的最优偏移量Λ m结合参考编码图像的已知距离参数d、图像传感器与编码图案投射器的基线距离S、焦距f及图像传感器点距μ，计算得到图像块中心点的深度信息d'； 所述深度-灰度映射子模块用于根据深度-灰度映射关系将计算出的深度信息映射为灰度值，利用深度图表示投射空间和目标物体的距离信息； 所述视频缩放子模块用于按照缩放控制参数对深度图进行比例缩放； 所述图像数据格式转换子模块用于将缩放后的深度图进行数据格式转换，以符合编码压缩USB驱动模块的视频流数据格式。
4.根据权利要求3所述的深度摄像装置，其中，所述深度计算子模块根据以下深度计算公式计算d,:
5.根据权利要求3所述的深度摄像装置，其中，所述映射关系为非线性关系，深度距离越近灰度值越大，深度距离越远灰度值越小。
6.根据权利要求3所述的深度摄像装置，其中，所述视频缩放子模块包括IIC控制单元、输入检测单元、行同步产生单元、第一 FIFO、多条行存、垂直缩放单元和第二 FIFO。
7.根据权利要求6所述的深度摄像装置，其中，所述IIC控制单元用于以IIC总线方式接收缩放控制参数，控制水平缩小、垂直缩放和水平放大的缩放比例，并控制缩放后的行场同步信号的产生； 所述行同步产生单元用于根据输入的行场同步信号结合缩放控制参数产生缩放后的行场同步信号； 所述第一 FIFO通过双线性或双三次插值方式对深度图进行水平缩小； 所述多条行存用于为垂直缩放单元同时提供垂直方向对齐的多个寄存器组； 所述垂直缩放单元用于根据行存提供的垂直方向对齐的多个寄存器组对经水平缩小的深度图在垂直方向进行缩放； 所述第二 FIFO通过双线性或双三次插值方式对经垂直缩放的深度图进行水平放大。
8.根据权利要求1所述的深度摄像装置，还包括深度恢复模块，安装在所述智能终端上，用于对接收到的压缩视频流数据进行相应的视频解码，生成灰度值表示的深度图，再根据深度-灰度映射关系进行灰度到深度的逆映射，从而恢复出投射空间和目标物体的深度信息。
9.根据权利要求1所述的深度摄像装置，其中，所述编码图案满足在水平或垂直方向的一定范围内，其特征不重复或属于随机分布。
10.根据权利要求1所述的深度摄像装置，其中，所述图像传感器包括滤波装置，用于滤除接收波长范围外的 光线。
【文档编号】H04N19/597GK103841406SQ201410050742
【公开日】2014年6月4日 申请日期:2014年2月13日 优先权日:2014年2月13日
【发明者】周艳辉, 葛晨阳, 伦建坤, 王菁 申请人:西安交通大学, 宁波盈芯信息科技有限公司