基于Kinect的人脸视频目光修正方法及系统的制作方法
【技术领域】
[0001] 本发明涉及的是一种视频图像处理领域的技术，具体是一种基于Kinect的人脸 视频目光修正方法及系统。
【背景技术】
[0002] 失去在视频会议目光接触是常见的问题，它使沟通不自然的和低效。其原因是摄 像头和屏幕之间的差距：用户通常是看另一个在屏幕上的形象，然而，只有用户看摄像头时 才会有眼神交互。目光校正的目的是用户自然地看着屏幕的同时与对方实现眼神接触。
[0003] 有很多试图消除屏幕和相机之间的差距的尝试，后来的一些研宄集中在如何获得 场景的几何结构并从新的角度来生成的图像，一般是使用相机阵列和立体分析或深度相机 或混合。一个常见的问题是，他们不能保证背景的完整。除此之外，它也不便宜，校准是复 杂的。Kuster 等人在〃Gazecorrectionforhomevideoconferencing(家用视频会议视线校 准方法）〃ACMTransactionsonGraphics (T0G) 31. 6 (2012) : 174?中提出了一种矫正方法，只 需要替换的场景图像的纠正，在2012年举行的SIGGRAPHAsia，此方法取得了巨大的成功。 但该技术尚无法解决如：眼镜问题，遮挡问题等。
[0004]Kinect是微软公司研制的一款体感外设，实际上是一种3D体感摄影机。该设备共 有3个摄像头，中间是RGB彩色摄像头，左右两边分别为红外投影机（红外线发射器）和红 外摄像头（CMOS红外感应设备），用于深度探测。Kinect搭配了追焦技术，底座马达会随着 对焦物体移动而转动。同时Kinect还内置麦克风阵列，用于语音识别。另外，Kinect作为 一款体感设备价格低廉，但目前暂无将上述两种技术有机结合的先例。
【发明内容】
[0005] 本发明针对现有技术存在的上述不足，提出一种基于Kinect的人脸视频目光修 正方法及系统，针对用户不同的状态，用新的椭圆拟合方法捕捉用户的脸部轮廓，并有效解 决针对眼睛重建、旋转、背景混合（前景过滤）、深度不连续区域的不真实等问题，并最终将 处理后的脸部重新融合到原背景中，得到一个用户正视摄像头的视频流。
[0006] 本发明是通过以下技术方案实现的：
[0007] 本发明首先通过Kinect识别出视频流中的人脸部分，根据当前人脸的不同状态， 通过椭圆拟合方法捕捉得到脸部轮廓，然后对人脸位姿进行调整，再对人脸细节进行微调 处理，最后将调整后的人脸与背景融合，得到的视频流中的人的视线朝向摄像头，实现眼神 交互的效果。
[0008] 所述的视频流来自于Kinect在线视频，或者Kinect视频文件。
[0009] 所述的当前人脸的不同状态是指除去用户的正常姿势，在用户向上或者向下看时 也能够识别用户的整个脸部轮廓。
[0010] 所述的椭圆拟合方法是指：根据脸部特征点估计自然空间椭圆的中心、长短轴，并 将其映射回图片空间。
[0011] 所述的微调处理包括：眼镜图像重建处理、前景过滤处理、旋转处理以及孔填充处 理四种处理。
[0012] 所述的眼镜图像重建处理是指：在大多数情况下，没有深度信息的眼镜就像被粘 贴在脸上。缺乏深度信息，旋转后的眼镜变得扭曲。此外，旋转后，眼镜架的位置不再匹配 原始：如果缝穿过眼镜架，眼镜架部分会折断；如果缝从眼镜架的一端到另一端，眼镜架部 分闪烁。更糟糕的是，眼镜架周围的大洞也使眼镜架闪烁。为解决失真问题，提出了一个技 术：改造的眼镜形状。为了解决眼镜架问题，额外的规则在缝优化和孔填充应用于避免眼镜 腿的裂纹和闪烁。
[0013] 所述的旋转处理是指：由于人脸朝下旋转，使下巴比实际看上去要小，特别是当用 户向下看，随着项目的长度变短，到摄像头的距离变长，而且它将双下巴问题即新的下巴与 原始下巴融合，但没有覆盖原来的一个。旋转处理通过提出修正角的处理，不需要固定在校 准角度的方案，并在此基础上，解决了双下巴的问题。现在，调整角度成为当前角度的函数， 在用户向下看时它将顺利减少修正角，并保持修正角几乎校准的角度，而用户看屏幕。用 户向上看的情况扩展版的自适应修正角也会减少修正角，从而改善了当用户脸部过高的输 出。
[0014] 所述的前景过滤处理是指：只需要新图形的脸部部分，过滤背景会加快很多其他 进程，例如，孔填充。根据【背景技术】中的记载，Kuster等人使用一个简单的阈值过滤背景， 深度是不够精确的过滤所有的背景。使用脸平面作为参考来过滤背景，消除所有脸平面以 外的点。它可以彻底地去除背景，同时，它还可以去除不可靠的深度点不连续区域，为孔填 充提供方便。同样以此技术，避免对象遮挡旋转后的脸部，解决了最遮挡的问题。
[0015] 所述的孔填充处理是指：当用户打开他们的嘴，它形成了一个深度不连续区域，因 此，嘴周围的深度值变得不可靠，导致畸形的嘴。为了解决这个问题，删除和补充嘴部深度 信息。去除的嘴被认为是深度值中正常的洞，总是如此，孔填充的结果就像自然的嘴的形 状。
[0016] 本发明涉及一种实现上述方法的系统，包括：KINECT模块、椭圆拟合模块、人脸位 姿调整模块以及脸部背景融合模块，其中：KINECT模块与提供输入信息，椭圆拟合模块、人 脸位姿调整模块、脸部背景融合模块进一步处理调整后视频的失真问题，并最终输出目光 矫正后的视频流。 技术效果
[0017]与现有技术相比，本发明能够解决视频会议中失去眼神交流的问题，并能解决调 整目光后的眼镜变形、双下巴、背景混入人物图像、嘴部变形的问题。
【附图说明】
[0018] 图1为本发明流程图。
[0019] 图2为实施例针对眼镜重建、前景过滤、双下巴、深度不连续区域的失真问题本发 明与一般方法的对比图；
[0020] 图中：第一列为原图，第二列为普通方法效果，第三列为本方法处理效果。
[0021] 图3为实施例针对背景混合、椭圆拟合过小、椭圆拟合过大、旋转后头发问题本发 明与一般方法的对比图；
[0022] 图中：第一列为原图，第二列为普通方法效果，第三列为本方法处理效果。
【具体实施方式】
[0023] 下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。 实施例1
[0024] 如图1所示，本实施例包括以下步骤：
[0025] 第一步、从Kinect中获得信息。
[0026] 本实施例中信息是指在线Kinect输入或者Kinect的文件。
[0027] 第二步、根据第一步获得的视频流捕获出用户的脸部区域。
[0028] 所述的脸部区域的捕获采用改善的椭圆拟合方法，改善方法为：根据脸部特征点 估计自然空间椭圆的中心、长短轴，并将其映射回图片空间。
[0029] 第三步、调整脸部区域。<