增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
【专利摘要】本发明涉及增强现实系统中基于虚拟模型预处理的虚实遮挡方法,包括步骤：利用深度摄像头KINECT获取彩色图像和表征深度信息的灰度图像；将该彩色图像转换成增强现实虚实遮挡系统能识别跟踪的位图图像并三维注册虚拟模型；结合虚拟模型三维注册位置和虚拟模型自身深度对灰度图像进行阈值处理并提取真实物体外围轮廓；在虚拟模型渲染场景中，三维注册轮廓坐标系；将二维轮廓顶点坐标转换为对应实际大小的三维坐标并在轮廓坐标系中绘制，重新绘制的轮廓作为“三维模型”能遮挡虚拟模型；合成彩色图像与处理后的虚拟模型，轮廓内部区域即虚拟模型被遮挡部分被真实物体图像填充，获得虚实遮挡效果。本发明无需预先建模和逐个像素比较虚拟模型深度信息，适用于未知变化的环境，能够满足实时性要求。
【专利说明】增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
【技术领域】:
[0001]本发明涉及一种增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其将轮廓提取和虚拟模型三维注册和渲染技术相结合，应用于带有深度摄像头KINECT的增强现实系统中。本发明无需预先建模和逐个像素比较虚拟模型深度信息，适用于未知变化的环境，能够满足实时性要求。属于虚拟现实、图像处理与显示【技术领域】。
【背景技术】:
[0002]增强现实技术在空间机器人遥操作等领域的应用，要求虚拟物体与真实物体真实再现相互位置关系。增强现实系统在合成图像上将虚拟物体图像直接叠加在场景图像中标识物所在位置，使真实场景中的物体始终被虚拟物体遮挡，导致观察者在感官方向上的迷失和空间位置上的错乱，无法正确判断虚实物体的相对位置关系。因此，虚实物体之间遮挡关系的正确表现是增强现实系统投入实际应用迫切需要解决的问题。
[0003]国内外已有研究人员对虚实遮挡问题展开了研究，目前解决此问题的方法主要有两种:基于模型的方法和基于深度的方法。基于模型的虚实遮挡方法基本原理是:三维重建遮挡虚拟模型的真实物体，并叠加到场景中对应的位置上。文献“Object Calibrationfor Augmented Reality，，(Whitaker Ross, Crampton Chris, Breen David, ComputerGraphics Forum, 1995, 14(3):15-27)通过多目视觉和三维重建方法建立真实物体的三维模型，恢复二维遮挡面，实现遮挡效果。但是这种方法中三维重建真实物体比较困难，计算量大，且重建模型边缘遮挡精度不高。
[0004]基于深度的虚实遮挡方法基本原理是:计算图像上每个像素点的深度，并与虚拟模型深度信息比较，若虚拟模型被真实物体遮挡则不绘制，则在合成图像时只有虚拟模型未被遮挡部分显示，或者在合成图像后重新绘制真实物体像素并叠加到合成图像上。文献“Stereo vision based video see-through mixed reality，，(YokoyajN.，TakemurajH.，OkumajT，Proceedings of the 1st International Symposiaon Mixed Reality, 1999:85-94)提出利用双目立体视觉原理计算真实场景图像上物体的深度信息，根据虚拟模型的叠加位置和深度，完成虚实遮挡。文献“Real-Time OcclusionHandling in Augmented Reality Based on an Object Tracking Approach” (YuanTian, Tao Guan, Cheng Wang, Sensors, 2010，10 (4): 2885-2900)提出 了基于轮廓跟踪的虚实遮挡处理框架，在遮挡关系错误的合成图像上，采用OpenGL重绘技术重新绘制遮挡物体内部区域的像素，完成虚实遮挡处理。此类方法求解深度信息时计算量大，且图像叠加时需要实现对真实遮挡物的真实感绘制，当真实遮挡物形状复杂且所占区域大时，实现效果不是很理想。
【发明内容】
:
[0005]基于上述，本发明提出一种应用于带有深度摄像头KINECT的增强现实系统下基于虚拟模型预处理的虚实遮挡处理方法，该方法不仅适用于完全未知的工作环境，而且满足实时性要求，能够实现良好的虚实遮挡效果。
[0006]为了实现此目的，本发明所采取的技术方案是:
[0007]—种增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于包括以下步骤:
[0008]I)利用深度摄像头KINECT获取场景的彩色图像和表征深度信息的灰度图像；
[0009]2)将该彩色图像转换成增强现实虚实遮挡系统能识别跟踪的位图图像并三维注册虚拟模型；
[0010]3)结合虚拟模型三维注册的位置和虚拟模型自身深度对表征深度信息的灰度图像进行阈值处理并提取遮挡虚拟模型的真实物体外围轮廓；
[0011]4)在虚拟模型渲染场景中，三维注册轮廓坐标系；将二维轮廓顶点坐标转换为对应实际大小的真实物体轮廓顶点的三维坐标并在轮廓坐标系中绘制，使其在屏幕上的投影与真实物体投影的轮廓重合，重新绘制的轮廓作为“三维模型”能遮挡虚拟模型，完成虚拟模型预处理；
[0012]5)将彩色图像作为背景与处理后的虚拟模型合成图像，轮廓内部区域即虚拟模型被遮挡部分被真实物体图像填充，获得虚实遮挡效果。
[0013]进一步地:所述步骤3)中提取遮挡虚拟模型的真实物体外围轮廓的具体步骤是:
3.1)对灰度图像降噪处理；3.2)以虚拟模型三维注册的位置深度和虚拟模型自身深度计算出遮挡虚拟模型的真实物体深度，并以此作为阈值对灰度图像处理，大于该阈值的像素灰度置为统一值，小于等于该阈值的像素被剔除；3.3)在阈值处理后的灰度图像上提取轮廓，对轮廓多边形逼近处理，减少轮廓顶点数目，减轻计算量。
[0014]进一步地:所述步骤4)中使绘制轮廓在屏幕坐标系中投影与真实物体投影轮廓重合的具体步骤是:4.1)三维注册绘制真实物体外围轮廓的轮廓坐标系，使其原点在屏幕的投影与屏幕坐标系原点重合；4.2)按照轮廓坐标系注册的位姿将提取的二维轮廓顶点像素坐标转换成三维像素坐标；4.3)将变换后的轮廓顶点三维像素坐标值转换成对应的实际物理值，并在轮廓坐标系下绘制出来，设置内部区域被填充。
[0015]进一步地:所述步骤4.1)中三维注册轮廓坐标系原点的方法是:姿态与渲染虚拟模型的场景的内部坐标系相同；注册位置的深度为阈值处理的深度值，注册位置其余两坐标轴方向的位移为屏幕坐标系的重心像素坐标对应的物理值，可由摄像机内部参数和轮廓坐标系原点的深度计算获得。
[0016]进一步地:所述步骤4.2)中转换轮廓顶点坐标的方法是:二维像素坐标对应轮廓坐标系中与屏幕坐标系平行的两个坐标轴的坐标值，轮廓无厚度，则设置顶点在第三个坐标轴的坐标值为O。
[0017]进一步地:所述步骤4.3)中转换轮廓顶点坐标为实际物理值的方法是:标定摄像机得到摄像机内部参数矩阵，得到像素单元尺寸对应的物理值，按照针孔投影模型，结合轮廓坐标系深度可计算得到轮廓顶点实际物理坐标。
[0018]本发明的优点在于:不仅适用于完全未知的工作环境，而且满足实时性要求，能实现良好的虚实遮挡效果。
【专利附图】
【附图说明】:[0019]图为本发明的总体结构图。
【具体实施方式】:
[0020]本发明是一种增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，它采用将提取的遮挡物轮廓在渲染虚拟模型的场景中注册并如实绘制的方法来处理增强现实的虚实遮挡。
[0021]如说明书附图所示。本发明方法的总体步骤是:利用深度摄像头KINECT获取场景的彩色图像和表征深度信息的灰度图像；将该彩色图像转换成增强现实虚实遮挡系统能识别跟踪的位图图像并三维注册虚拟模型；结合虚拟模型三维注册的位置和虚拟模型自身深度对表征深度信息的灰度图像进行阈值处理并提取遮挡虚拟模型的真实物体外围轮廓；在虚拟模型渲染场景中，三维注册轮廓坐标系；将二维轮廓顶点坐标转换为对应实际大小的真实物体轮廓顶点的三维坐标并在轮廓坐标系中绘制，使其在屏幕上的投影与真实物体投影的轮廓重合，重新绘制的轮廓作为“三维模型”能遮挡虚拟模型，完成虚拟模型预处理；将彩色图像作为背景与处理后的虚拟模型合成图像，轮廓内部区域即虚拟模型被遮挡部分被真实物体图像填充，实现虚实遮挡处理。
[0022]本发明对参与遮挡的真实物体无需先验知识，直接提取场景视频流，在程序的实现上主要分为图像处理和虚拟模型预处理两部分；对深度摄像头KINECT提取的彩色图像和灰度图像处理后，得到所需真实物体轮廓和增强现实虚实遮挡系统能够跟踪识别的位图图像；将得到的轮廓在渲染虚拟模型场景中重新绘制，预处理虚拟模型；合成预处理的虚拟模型与处理后的彩色图像，得到虚实遮挡图像。
[0023]下面对本发明作进一步的详细说明。
[0024](一)图像处理
[0025]利用深度摄像头KINECT同时得到场景彩色图像和表征深度信息的灰度图像，分别处理为下一步虚拟模型预处理提供轮廓信息和位图图像。图像处理分为以下几步:
[0026]I)彩色图像转换。将彩色图像格式转换成增强现实虚实遮挡系统能够跟踪识别的位图图像，并三维注册虚拟模型；
[0027](三维注册是指通过计算机图形学分析，获取特征点坐标系和摄像机坐标系的变换关系，将虚拟模型以该变换关系确定的位姿绑定叠加到摄像机所拍摄到的真实场景中，达到真实场景和虚拟模型的准确无缝融合。三维注册包括特征点坐标系和摄像机坐标系以及显示器屏幕坐标系，特征点坐标系到摄像机坐标系的变换关系即为三维注册所需的三维变换矩阵)
[0028]2)灰度图像阈值处理。首先对灰度图像降噪处理，然后结合虚拟模型注册位置和自身深度信息确定遮挡虚拟模型的真实物体深度范围，并以此作为阈值处理灰度图像，设定大于该阈值的图像保留并统一灰度，小于等于该阈值的图像被剔除；
[0029]3)轮廓提取。在灰度图像上提取的真实物体轮廓并通过多边形逼近处理，在保证轮廓精度的同时减少轮廓顶点数目，降低轮廓重新绘制的工作量。
[0030](二)虚拟模型预处理
[0031]本发明方法采用真实物体轮廓取代三维重建的真实物体模型，将提取的二维轮廓作为一个“三维模型”同虚拟模型在同一场景中注册并绘制，转换成两个三维模型的遮挡问题，被遮挡的虚拟模型部分不显示，得到虚拟模型预处理效果。预处理后的虚拟模型在合成图像上不显示部分被真实物体图像填充，完成虚实遮挡处理。此部分的关键在于注册绘制的轮廓在屏幕上的投影与真实物体图像轮廓重合。虚拟模型预处理分为以下几步:
[0032]I)摄像机标定。采用一步到位标定方法取得摄像机内部参数。
[0033]2)注册绘制轮廓的坐标系。为保证绘制的轮廓在屏幕上的投影与真实物体图像轮廓重合，使注册后的轮廓坐标系原点在屏幕投影与屏幕坐标系原点重合，此时轮廓像素坐标转换成三维坐标值后直接对应轮廓坐标系下真实尺寸的真实物体轮廓坐标值。轮廓坐标系相对于摄像机坐标系的深度位移即为灰度图像阈值处理采用的阈值，在另外两个坐标轴方向的位置变换分别对应屏幕重心坐标值。采用针孔成像原理计算两坐标系变换关系的参数，轮廓坐标系坐标轴方向与渲染虚拟模型的场景内部坐标系相同，通过计算得到轮廓坐标系三维注册矩阵。
[0034]3)轮廓绘制。按照屏幕坐标系和轮廓坐标系的位置关系将二维轮廓顶点像素坐标转换成三维轮廓顶点坐标，同时通过针孔成像原理和摄像机内部参数转换成实际物理值，在轮廓坐标系中绘制全部变换后的轮廓顶点。绘制后的轮廓在场景中遮挡虚拟模型，使其被遮挡部分不显示，完成虚拟模型预处理。
[0035](三)遮挡效果实现
[0036]将预处理后的虚拟模型和处理后的彩色图像合成，在合成图像上预处理后的虚拟模型不显示部分被真实物体图像填充，获得增强现实虚实遮挡效果。
[0037]整套增强现实虚实遮挡处理程序运行于3.3GHz四核CPU的PC机上，利用深度摄像头KINECT采集视频流，采集图像分辨率为640X480。将一个红色圆锥体注册到真实场景中进行虚实遮挡实验，采用OpenCV函数库处理图像并提取轮廓，虚拟三维模型用OpenSceneGraph ?宣染，虚实融合基于ARToolKit实现。
【权利要求】
1.一种增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于包括以下步骤: 1)利用深度摄像头KINECT获取场景的彩色图像和表征深度信息的灰度图像； 2)将该彩色图像转换成增强现实虚实遮挡系统能识别跟踪的位图图像并三维注册虚拟模型； 3)结合虚拟模型三维注册的位置和虚拟模型自身深度对表征深度信息的灰度图像进行阈值处理并提取遮挡虚拟模型的真实物体外围轮廓； 4)在虚拟模型渲染场景中，三维注册轮廓坐标系；将二维轮廓顶点坐标转换为对应实际大小的真实物体轮廓顶点的三维坐标并在轮廓坐标系中绘制，使其在屏幕上的投影与真实物体投影的轮廓重合，重新绘制的轮廓作为“三维模型”能遮挡虚拟模型，完成虚拟模型预处理； 5)将彩色图像作为背景与处理后的虚拟模型合成图像，轮廓内部区域即虚拟模型被遮挡部分被真实物体图像填充，获得虚实遮挡效果。
2.如权利要求1所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于: 所述步骤3)中提取遮挡虚拟模型的真实物体外围轮廓的具体步骤是: 3.1)对灰度图像降噪处理； 3.2)由虚拟模型三维注册的位置深度和虚拟模型自身深度计算出遮挡虚拟模型的真实物体深度，并以此作为 阈值对灰度图像处理，大于该阈值的像素灰度置为统一值，小于等于该阈值的像素被剔除； 3.3)在阈值处理后的灰度图像上提取轮廓，对轮廓多边形逼近处理，减少轮廓顶点数目，减轻计算量。
3.如权利要求1所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于: 所述步骤4)中使绘制轮廓在屏幕上的投影与真实物体投影轮廓重合的具体步骤是: 4.1)三维注册绘制真实物体外围轮廓的轮廓坐标系，使其原点在屏幕的投影与屏幕坐标系原点重合； 4.2)按照轮廓坐标系注册的位姿将提取的二维轮廓顶点像素坐标转换成三维像素坐标； 4.3)将变换后的轮廓顶点三维像素坐标值转换成对应的实际物理值，并在轮廓坐标系下绘制出来，设置内部区域被填充。
4.如权利要求3所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于: 所述步骤4.1)中三维注册轮廓坐标系原点的方法是:姿态与渲染虚拟模型的场景的内部坐标系相同；注册位置的深度为阈值处理的深度值，注册位置其余两坐标轴方向的位移为屏幕坐标系的重心像素坐标对应的物理值，可由摄像机内部参数和轮廓坐标系原点的深度计算获得。
5.如权利要求3所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于:所述步骤4.2)中转换轮廓顶点坐标的方法是:二维像素坐标对应轮廓坐标系中与屏幕坐标系平行的两个坐标轴的坐标值，轮廓无厚度，则设置顶点在第三个坐标轴的坐标值为O。
6.如权利要求3所述的增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法，其特征在于: 所述步骤4.3)中转换轮廓顶点坐标为实际物理值的方法是:标定摄像机得到摄像机内部参数矩阵，得到像素单元尺寸对应的物理值，按照针孔投影模型，结合轮廓坐标系深度可计算得到轮廓顶点实际 物理坐标。
【文档编号】G06T15/40GK103489214SQ201310409925
【公开日】2014年1月1日 申请日期:2013年9月10日 优先权日:2013年9月10日
【发明者】宋荆洲, 杨琼, 贾庆轩, 孙汉旭 申请人:北京邮电大学