一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
【专利摘要】本发明提出了一种将kinect实时捕获的深度图与高清摄像机拍摄的视频进行配准的、稳定的、快速的实时配准方法。本发明去除了深度相机内参估计的步骤，减少待求参数的同时，增强了算法的稳定性。本发明使用线性优化框架求解，可以一步得到全局最优解，算法计算效率得到了极大的提升。本发明虽然去除了传统算法中深度相机内参估计的步骤，但是深度信息映射到视频的执行效率并未因此受到影响，仍然能够实时地将kinect捕获的深度信息映射到视频上；并且由于定义的混合参数具有良好的数学性质，仍然可以使用矩阵QR分解技术反求出深度相机内参，供其他算法应用。
【专利说明】一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
【技术领域】
[0001]本发明涉及一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法。【背景技术】
[0002]随着数据存储、传输技术的提高以及摄像机镜头工艺的进步，高清摄像机和高清网络摄像头逐渐进入了人们的视野。使用这些设备，人们可以轻松地获取高质量的视频素材，并与他人进行高清视频通信。但是近年来，随着增强现实技术和立体显示技术的发展，传统的二维高清视频已经不能满足人们的需求，人们渴望能够更简单地对视频素材进行高质量编辑，立体显示，或在实时视频通信过程中与计算机合成的虚拟物体进行高真实感的互动，而这一切都依赖于视频的深度生成技术。
[0003]视频的深度生成技术是计算机视觉领域的经典难题。为了恢复在视频拍摄的过程中所丢失的深度信息，无数的科学家投身于这个领域，并提出了一系列经典的算法。但是到目前为止，没有一个算法能够在保证视频深度生成的实时性的同时保证对复杂场景深度生成的正确性。而且目前的所有证据都显示，距离同时满足“实时性”和“正确性”的视频深度生成算法的产生，还有很长的时间。
[0004]因此，人们倾向于使用特殊的设备进行视频和深度的同时捕获，这样虽然能够同时满足深度信息的“实时性”和“正确性”，但这类特殊设备往往体积巨大而且价格不菲，是普通的用户无法承受的。
[0005]近几年，微软推出了一种轻量级的深度捕获设备kinect，它体积小，价格便宜，能够实时地捕获场景深度，这个设备让人们对视频深度生成再次燃起了希望。但是不幸的是，虽然kinect设备本身提供了彩色摄像头用以捕获视频数据，但是这个摄像头的分辨率非常低，无法满足人们对高清视频的需求。而使用额外的高清摄像机和kinect分别捕捉高清视频和深度信息，则由于两个设备的视角存在差异而导致捕获的视频和深度数据在空间上无法对齐。
[0006]近年来，许多学者相继提出了克服这个空间差异的算法。但是都存在着容易受到深度数据的噪声影响和计算效率低的问题。
【发明内容】
[0007]本发明所要解决的技术内容是提出一种将kinect实时捕获的深度图与高清摄像机拍摄的视频进行配准的、稳定的、快速的实时配准方法。
[0008]为此本发明采用以下技术方案，它包括以下步骤:
(1)、将高清彩色相机和kinect深度相机分别固定，分别固定的位置为任意位置，本发明所述的实时配准方法能够处理kinect和深度相机之间存在任意较大视角差异情况下的准确配准，并设置同步拍摄信号；
(2)、将标定用棋盘格随机置于彩色相机和kinect深度相机之前，并进行同步拍摄，得到同一时刻棋盘格的彩色图像和深度图像。将此操作重复多次，直到得到一组不同角度，不同距离的同步拍摄结果；
(3)、在kinect每次拍摄的深度图中的棋盘格对应的区域内手动随意标注一块或若干块任意形状区域，用户只需要在深度图平板区域内部随意标注一块或多块任意形状区域，而不像传统方法中需要精确标记平板的四角，有效地降低了深度相机噪声对算法的影响，并保证每张深度图上标记的区域的像素数目总和不少于10个像素。计算在第i次拍摄的kinect的深度图中，手动标注的任意区域内的第j个像素点的二维坐标的齐次坐标表示和
该点的深度的乘积，记作。并将所有坐标的集合记作巧=(馬0 ;
(4)、对于第i次拍摄得到的坐标集合巧，将其所有元素带入空间平面方程:似+砂+?+i = 0进行平面拟合。并计算得到的平面的法向量年。对于集合巧中的所有元素馬.，计算矿.馬.的均值
【权利要求】
1.一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法,其特征在于它包括以下步骤: (1)、将高清彩色相机和kinect深度相机分别固定，并设置同步拍摄信号； (2)、将标定用棋盘格随机置于彩色相机和kinect深度相机之前，并进行同步拍摄，得到同一时刻棋盘格的彩色图像和深度图像；将此操作重复多次，直到得到一组不同角度，不同距离的同步拍摄结果； (3)、在kinect每次拍摄的深度图中的棋盘格对应的区域内手动随意标注一块或若干块任意形状区域，保证每张深度图上标记的区域的像素数目总和不少于10个像素；计算在第i次拍摄的kinect的深度图中，手动标注的任意区域内的第j个像素点的二维坐标的齐次坐标表示和该点的深度的乘积，记作 巧/,并将所有坐标的集合记作巧=(巧}; (4)、对于第i次拍摄得到的坐标集合巧，将其所有元素带入空间平面方程:
2.如权利要求1所述的一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法，其特征在于:在步骤(7)中，根据点坐标.?对应的深度来决定所述平面约束线性方程在整个方程组中的权重，惩罚系数如下所示:
3.如权利要求1所述的一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法，其特征在于:在步骤(8)中，建立约束方程AX=b的具体构造方式为:将3*3大小的混合参数H和3维向量7组合成12维向量
4.如权利要求1所述的一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法，其特征在于:在步骤(9)中，所述将得到的H和T两个参数实时地将kinect捕获的深度信号映射到高清摄像机捕获的视频上的方法为:使用kinect连续拍摄深度图，对每幅图像上的每个像素，计算其二维坐标的齐次坐标表示和该点的深度J)的乘积P(U),接着计算该点在摄像机坐标系下三维坐标
【文档编号】H04N13/00GK103607584SQ201310609865
【公开日】2014年2月26日 申请日期:2013年11月27日 优先权日:2013年11月27日
【发明者】童若锋, 琚旋, 成可立 申请人:浙江大学