基于人脸检测的增强现实交互方法和系统的制作方法
【专利摘要】本发明提供了一种基于人脸检测的增强现实交互方法，所述方法包括：捕捉视频流；从所述视频流中获取图像帧；对所述图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据；获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵；将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。采用该方法，能够节省成本并能减少延迟现象。此外，还提供了一种基于人脸检测的增强现实交互系统。
【专利说明】基于人脸检测的增强现实交互方法和系统
【技术领域】
[0001]本发明涉及智能交互技术，特别是涉及一种基于人脸检测的增强现实交互方法和系统。
【背景技术】
[0002]AR (Augmented Reality，增强现实)，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时的叠加到了同一画面或空间同时存在。增强现实在医疗、军事、航空航海、娱乐、游戏和教育等领域的应用前景非常广泛。例如，增强现实的游戏可以让位于全球不同地点的玩家，共同进入一个真实的自然场景，以虚拟替身的形式进行网络对战。而增强现实是采用对真实场景利用虚拟物体进行“增强”显示的技术，与虚拟现实相比，具有真实感强、建模工作量小的优点。
[0003]传统的增强现实交互方法包括基于硬件传感系统和基于图像处理技术的，其中，基于硬件传感系统的方式是利用一些识别或跟踪传感器，例如用户需要佩戴带传感器的头盔，通过传感器捕捉人的一些肢体动作或者跟踪肢体的运动趋势，然后计算得到肢体部位的姿态信息，利用得到的姿态信息渲染虚拟场景。然而这种方式依赖于硬件传感器的性能，且不利于移动部署，成本比较高。而基于图像处理技术的方式多数依赖于预先处理好存储在本地的数据库(分类器)，分类器的好坏依赖于训练样本的大小和图片的质量，训练样本越大，则识别的效果越好，而分类器的精度越高，则识别过程计算量越大，耗时越长，因此基于图像处理技术的增强现实交互方式容易存在延迟，特别是应用在移动设备上时，容易出现卡顿的现象。
【发明内容】
[0004]基于此，有必要针对传统技术中成本高、容易延迟的问题，提供一种基于人脸检测的增强现实交互方法和系统。
[0005]一种基于人脸检测的增强现实交互方法，所述方法包括:
[0006]捕捉视频流；
[0007]从所述视频流中获取图像帧；
[0008]对所述图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据；
[0009]获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵；
[0010]将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。
[0011]一种基于人脸检测的增强现实交互系统，所述系统包括:
[0012]视频流捕捉模块，用于捕捉视频流；
[0013]图像帧获取模块，用于从所述视频流中获取图像帧；
[0014]人脸检测模块，用于对所述图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据；
[0015]矩阵获取模块，用于获取摄像头标定的参数矩阵和与用户手势对应的仿射变换矩阵；
[0016]场景渲染模块，用于将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。
[0017]上述基于人脸检测的增强现实交互方法和系统，通过对采集到的图像进行人脸检测，得到每一帧的人脸图像数据，进而通过摄像头的参数矩阵和与用户手势对应的仿射变换矩阵渲染虚拟场景，实现了将采集到的二维图像转换为人脸的三维空间姿态信息，并在渲染虚拟场景的过程中能够根据仿射变换矩阵实现对虚拟模型的控制。该方法和系统不依赖于硬件传感器和本地的数据库，因此能够节省成本，且反应速度快，不易出现延迟现象。
【专利附图】
【附图说明】
[0018]图1为一个实施例中基于人脸检测的增强现实交互方法的流程示意图；
[0019]图2为一个实施例中人脸检测的流程示意图；
[0020]图3为图2所示实施例提供的三眼五庭分割法的示意图；
[0021]图4为一个实施例中渲染虚拟场景的流程示意图；
[0022]图5为一个实施例中基于人脸检测的增强现实交互系统的结构框图；
[0023]图6为另一个实施例中基于人脸检测的增强现实交互系统的结构框图；
[0024]图7为一个实施例中人脸检测模块的结构框图；
[0025]图8为再一个实施例中基于人脸检测的增强现实交互系统的结构框图；
[0026]图9为一个实施例中虚拟场景渲染模块的结构框图。
【具体实施方式】
[0027]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0028]如图1所示，在一个实施例中，提供了一种基于人脸检测的增强现实交互方法，该方法以应用于带摄像头(图像传感器)的终端中来举例说明，该终端包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。该方法包括:
[0029]步骤102,捕捉视频流。
[0030]本实施例中，通过安装在终端上的摄像头捕捉视频流，视频流由摄像头采集到的图像帧组成。
[0031]步骤104，从视频流中获取图像帧。
[0032]步骤106，对图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据。
[0033]本实施例中，对图像帧中的每一帧图像进行人脸检测，可从每一帧图像中检测出人脸图像，该人脸图像为二维图像，其中每一帧中的人脸图像数据可以为二维图像中的像素。
[0034]在一个实施例中，可在步骤106之前，获取到图像帧后，对图像帧中的每一帧进行格式转换和/或降阶处理。由于不同终端上的摄像头采集到的图像的数据格式都可能是不同的，而图像处理引擎处理的图像格式不一定和操作系统所返回的图像格式一致，因此需要对图像进行格式转换，将图像转换成图像处理引擎可以处理的格式。而对于摄像头采集至IJ的图像，通常为彩色图像，由于彩色图像的通道数比较多，每个像素的颜色值通常由RGBA四个通道表示，如果对每个通道进行处理，则耗时比较大，对图像帧中的每一帧进行降阶处理，将多通道降低为单通道，这样，使得后续进行人脸检测时只对单通道进行处理，因此能够提高处理效率。
[0035]在一个实施例中，如图2所示，步骤106包括:
[0036]步骤202，捕捉图像帧的每一帧中的人脸区域。
[0037]在一个实施例中，可采用基于肤色、基于模板、基于形态学中的至少一种方法来捕捉图像帧的每一帧中的人脸矩形区域。其中，基于肤色的方法是指:人的皮肤分布在颜色空间中的一个范围内，皮肤颜色不同反映了颜色的强度，在一定光照条件下肤色经过归一化后满足高斯分布，因此可利用这一特性将图像分割为皮肤区域和非皮肤区域，进而利用基于边界和区域的方法对肤色区域进行处理得到人脸区域。基于模板的方法是指:对人脸的样本图像按照一定的比例进行裁剪，取出能体现人脸模式的局部人脸图像，配合基于肤色的方法对人脸区域进行检测。基于形态学的方法是指:先获取到人脸的大概区域，再利用各个器官在图像中的形状和分布情况，利用形态学模型检测算法确定眼、嘴等的准确位置，从而获取人脸区域。
[0038]步骤204，采用三眼五庭分割法对人脸区域进行区域分割。
[0039]请参考图3所示，获取到人脸区域后，可对该人脸区域采用三眼五庭分割法进行分割，得到多个子区域。
[0040]步骤206，从分割后的区域中筛选出基准区域。
[0041]由于对人脸区域进行分割后锁得到的子区域较多，根据整个人脸区域计算人脸的空间姿态信息的话，则计算量较大，因此可在分割后得到的子区域中选择一个小的矩形区域进行处理。
[0042]步骤108，获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵。
[0043]参数矩阵是带摄像头的摄像机在定标过程中确定好的，因此可直接获取该参数矩阵。在一个实施例中，仿射变换矩阵可根据用户手势计算得到的。以本方法使用在带触摸屏的移动终端上进行举例说明。对于带触摸屏的移动终端，用户使用手指在触摸屏上的滑动、点击等操作都为用户手势，其中，滑动手势又可以分为上下左右滑动、旋转和其他复杂路径的滑动手势等。对于一些基本的手势，如点击、上下左右滑动等，可通过移动终端中操作系统提供的API (Applicat1n Programming Interface,应用程序编程接口)计算得到对应的仿射变换矩阵。对于一些复杂手势，则可在基本手势对应的仿射变换矩阵的基础上进行变化，得到对应的仿射变换矩阵。
[0044]在另一个实施例中，还可采用传感器检测人脸姿态信息，根据人脸姿态信息计算得到仿射变换矩阵。具体的，可采用传感器检测到人脸姿态信息，人脸姿态信息为人脸的一些三维信息，包括空间坐标、深度信息、旋转或平移量等。由于在渲染虚拟场景的过程中需要设置投影矩阵、模型视图矩阵等，其中，投影矩阵可实现空间定点坐标与像素坐标的映射关系，模型视图矩阵则标识模型的变换(如平移、缩放、旋转等)。而通过传感器检测到的人脸姿态信息可转换得到一个模型视图矩阵，而该模型视图矩阵可控制模型的一些简单运动，而在透视投影中深度值越大则模型看起来越小，深度值越小则模型看起来越大。因此可根据传感器检测到的人脸姿态信息计算得到仿射变换矩阵，以在虚拟场景的渲染过程中对虚拟模型进行控制。本实施例中，使用传感器检测人脸姿态信息，进而得到仿射变换矩阵，处理速度较快。
[0045]步骤110，将人脸图像数据结合参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。
[0046]具体的，可按照如下公式计算得到渲染虚拟模型的参数矩阵:M' =M*Ms。其中，W为渲染虚拟模型的参数矩阵，M为摄像头定标的参数矩阵，M为与用户手势对应的仿射变换矩阵。根据计算得到的变换矩阵可在渲染虚拟场景的过程中对虚拟模型进行导入和控制。
[0047]在一个实施例中，如图4所示，步骤110包括:
[0048]步骤402，将人脸图像数据与参数矩阵进行运算，得到人脸的空间姿态信息。
[0049]优选的，将得到的基准区域中的人脸图像数据与参数矩阵进行运算，从而可将二维的人脸图像数据转换为三维的人脸空间姿态信息，包括空间坐标、旋转角度、深度信息坐寸ο
[0050]步骤404，将人脸的空间姿态信息与仿射变换矩阵进行运算。
[0051]在步骤402中，将二维的人脸图像数据(即二维的像素点)转换为三维的人脸空间姿态信息(即人脸的三维信息)。人脸的三维信息经过与仿射变换矩阵运算后，则可以对虚拟模型进行平移、旋转、改变深度等操作。也就是说，通过仿射变换矩阵可实现在虚拟场景中对虚拟模型进行平移、旋转、改变深度等操作。
[0052]步骤406，根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
[0053]将人脸的空间姿态信息与仿射变换矩阵进行运算后，渲染虚拟场景的过程中即可实现对虚拟模型的控制，包括对虚拟模型的平移、旋转、改变深度等操作。
[0054]如图5所示，在一个实施例中，提供了一种基于人脸检测的增强现实交互系统，该系统包括:
[0055]视频流捕捉模块502，用于捕捉视频流。
[0056]图像帧获取模块504，用于从视频流中获取图像帧。
[0057]人脸检测模块506，用于对图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据。
[0058]矩阵获取模块508，用于获取摄像头标定的参数矩阵和与用户手势对应的仿射变换矩阵。
[0059]场景渲染模块510，用于将人脸图像数据结合参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。
[0060]在一个实施例中，如图6所示,在图5所示实施例的基础上,本系统还包括图像处理模块505，用于对图像帧中的每一帧进行格式转换和/或降阶处理。
[0061]在一个实施例中，如图7所示，人脸检测模块506包括:
[0062]人脸区域捕捉模块506a，用于捕捉图像帧的每一帧中的人脸区域。
[0063]具体的，在一个实施例中，人脸区域捕捉模块506a可用于采用基于肤色、基于模板、基于形态学中的至少一种方法来捕捉图像帧的每一帧中的人脸矩形区域。
[0064]区域分割模块506b，用于采用三眼五庭分割法对人脸区域进行区域分割。
[0065]基准区域筛选模块506d，用于从分割后的区域中筛选出基准区域。
[0066]在一个实施例中，带摄像头的摄像机在定标过程中，其参数矩阵就应确定好，因此可直接获取其参数矩阵。而仿射变换矩阵可根据用户手势计算得到。例如，可通过移动终端中操作系统提供的API计算得到对应的仿射变换矩阵。
[0067]在另一个实施例中，如图8所示,在图6所示实施例的基础上,本系统还包括仿射变换矩阵获取模块507，用于采用传感器检测人脸姿态信息，根据人脸姿态信息计算得到仿射变换矩阵。
[0068]在一个实施例中，如图9所不,场景渲染模块510包括:
[0069]第一运算模块510a，用于将人脸图像数据与参数矩阵进行运算，得到人脸的空间姿态信息。
[0070]第二运算模块510b，用于将人脸的空间姿态信息与仿射变换矩阵进行运算。
[0071]控制模块510c，用于根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
[0072]上述基于人脸检测的增强现实交互方法和系统，通过对采集到的图像进行人脸检测，得到每一帧的人脸图像数据，进而通过摄像头的参数矩阵和与用户手势对应的仿射变换矩阵渲染虚拟场景，实现了将采集到的二维图像转换为人脸的三维空间姿态信息，并在渲染虚拟场景的过程中能够根据仿射变换矩阵实现对虚拟模型的控制。该方法和系统不依赖于硬件传感器和本地的数据库，因此能够节省成本，且反应速度快，不易出现延迟现象，特别适用于移动终端。
[0073]此外，通过将人脸图像数据与参数矩阵、仿射变换矩阵相结合实现虚拟模型的控制，这种增强现实交互方式简单、可扩展性好、效率较高。在人脸检测之前对图像进行格式转换和/或降阶处理，能够减少人脸检测的数据量，进一步提高处理效率。通过捕捉图像帧的每一帧中的人脸区域，进而对人脸区域进行分割以及筛选出基准区域，能够减少后续矩阵运算的运算，进一步提高了处理效率，更适用于各种智能手机、平台电脑等移动终端中。
[0074]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0075]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【权利要求】
1.一种基于人脸检测的增强现实交互方法，所述方法包括: 捕捉视频流； 从所述视频流中获取图像帧； 对所述图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据； 获取摄像头定标的参数矩阵和与用户手势对应的仿射变换矩阵； 将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。
2.根据权利要求1所述的方法，其特征在于，所述对图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据之前，还包括: 对所述图像帧中的每一帧进行格式转换和/或降阶处理。
3.根据权利要求1所述的方法，其特征在于，所述对图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据，包括: 捕捉所述图像帧的每一帧中的人脸区域； 采用三眼五庭分割法对所述人脸区域进行区域分割； 从分割后的区域中筛选出基准区域。
4.根据权利要求3所述的方法，其特征在于，所述捕捉图像帧的每一帧中的人脸矩形区域，包括: 采用基于肤色、基于模板、基于形态学中的至少一种方法捕捉图像帧的每一帧中的人脸矩形区域。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括: 采用传感器检测人脸姿态信息，根据人脸姿态信息计算得到仿射变换矩阵。
6.根据权利要求1所述的方法，其特征在于，所述将人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算，渲染出虚拟场景，包括: 将所述人脸图像数据与所述参数矩阵进行运算，得到人脸的空间姿态信息； 将所述人脸的空间姿态信息与所述仿射变换矩阵进行运算； 根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
7.一种基于人脸检测的增强现实交互系统，其特征在于，所述系统包括: 视频流捕捉模块，用于捕捉视频流； 图像帧获取模块，用于从所述视频流中获取图像帧； 人脸检测模块，用于对所述图像帧中的每一帧进行人脸检测，得到每一帧中的人脸图像数据； 矩阵获取模块，用于获取摄像头标定的参数矩阵和与用户手势对应的仿射变换矩阵；场景渲染模块，用于将所述人脸图像数据结合所述参数矩阵和仿射变换矩阵进行运算，根据运算结果渲染出虚拟场景。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括: 图像处理模块，用于对所述图像帧中的每一帧进行格式转换和/或降阶处理。
9.根据权利要求7所述的系统，其特征在于，所述人脸检测模块包括: 人脸区域捕捉模块，用于捕捉所述图像帧的每一帧中的人脸区域； 区域分割模块，用于采用三眼五庭分割法对所述人脸区域进行区域分割； 基准区域筛选模块，用于从分割后的区域中筛选出基准区域。
10.根据权利要求9所述的系统，其特征在于，所述人脸区域捕捉模块用于采用基于肤色、基于模板、基于形态学中的至少一种方法捕捉图像帧的每一帧中的人脸矩形区域。
11.根据权利要求7所述的系统，其特征在于，所述系统还包括: 仿射变换矩阵获取模块，用于采用传感器检测人脸姿态信息，根据人脸姿态信息计算得到仿射变换矩阵。
12.根据权利要求7所述的系统，其特征在于，所述场景渲染模块包括: 第一运算模块，用于将所述人脸图像数据与所述参数矩阵进行运算，得到人脸的空间姿态信息； 第二运算模块，用于将所述人脸的空间姿态信息与所述仿射变换矩阵进行运算； 控制模块，用于根据运算结果在渲染虚拟场景的过程中对虚拟模型进行控制。
【文档编号】G06K9/20GK104240277SQ201310253772
【公开日】2014年12月24日 申请日期:2013年6月24日 优先权日:2013年6月24日
【发明者】王玉龙 申请人:腾讯科技（深圳）有限公司