根据人脸识别和激光影像实现空中成像的实时触控系统的制作方法

本发明属于空中成像技术领域，具体的说是涉及一种根据人脸识别和激光影像实现空中成像的实时触控系统。

背景技术：

随着科技的发展，空中成像技术的应用越来越多。目前现有技术中已有的采用DCRA光学成像元件实现空中成像，空中成像无需介质，因此不能采用目前常用的触摸平板或手机的触控方式。不同身高的用户观看空中成像合适的成像画面角度也是不同的，如果能够提供一种根据人脸识别来和激光影像技术来实现空中成像的实时触控系统将更加方便用户的使用。

技术实现要素：

本发明为了克服现有技术存在的不足，提供一种无需介质、节省空间、可以直接触摸的根据人脸识别和激光影像实现空中成像的实时触控系统。

本发明是通过以下技术方案实现的：一种根据人脸识别和激光影像实现空中成像的实时触控系统，该触控系统包括激光影像系统、空中成像系统、空中触控反馈系统和人脸识别系统；

激光影像系统是在光学成像元件上安装一个红外激光模块，在浮空影像平面形成一个高于图像1～3mm、厚度约1mm的不可见光膜，摄像头通过定位软件在空中获取画面的坐标点定位空中成像画面，当手指或任何不透明的物体接触空中成像画面时，光线被反射到的一个信号接收器，再通过对光电位置的精确计算，得到手势的坐标，在空中进行触控；

空中成像系统是利用一种使入射图像的光线产生弯曲的光学成像元件，使光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像，空中成像技术不需要任何介质，能够在不存在任何事物的空中出现正视的映像，便于实现崭新的空中成像人机交互系统；

空中触控反馈系统使用换能器阵列板、闰秒运动相机和独特的IP，实现用超声波给予用户触觉上的反馈，允许用户在半空中感受物体，用户能够创建按钮、开关和拨号，或与3D对象交互，并在虚拟世界中操作；

人脸识别系统包括人脸的检测和定位、特征提取和识别共三部分：（1）人脸的检测和定位：检测图中有没有人脸，将人脸从背景中分割出来，获取人脸或人脸上的某些器官在图像上的位置；（2）特征提取：提取特征点，构造特征矢量，多个样本图像的空间序列训练出一个模型，它的参数就是特征值，模版匹配法用相关系数做特征；（3）识别；将带识别的图像或特征与人脸数据库里的特征进行匹配，进而将给出的人脸图像与数据库中的某一个人脸图像及其名字的相关性对应起来。

在第一次使用激光影像系统时，需要计算光笔亮斑的坐标到计算机屏幕坐标的关系，由于借助了光学成像元件，空中没有介质，因此要用手动校正来实现；在手动校正前，要在软件中自动屏蔽干扰光源，在自动屏蔽后，使用光笔进行手动校正，在手动校正后，用户手持光笔代替鼠标操控计算机，定位分析程序实时分析 USB 摄像头摄取的图像中光笔亮斑的位置，用坐标转化方程计算出对应的鼠标的屏幕坐标，并模拟产生鼠标事件；调节手动校正好以后，接上激光发射器，便能够实现在无介质的成像画面上进行触控，形成一种全新的人机交互。使用激光影像系统时鼠标事件与光笔的状态定义为：光笔按下发光，触发鼠标左键按下事件；光笔的光斑移动，触发鼠标移动事件；光笔停止发光，触发鼠标左键弹起事件；光笔的光斑在同一位置做长时间停留，触发鼠标右键事件；光笔连续两次短促的闪灭，触发双击事件。

空中触控反馈系统中超声波振子从格状多位排列的超声波换能器中发出，以空中任意位置的超声波振子为焦点相结合，形成超声波，产生了被称为回声放射压的压力，如果用人类手指在此位置表面进行按压，就能产生触觉刺激，空中触控反馈就是利用此现象增加触觉而产生的。

人脸识别系统中包括通过人脸识别实现空中成像实时触控的一体机，一体机包括箱体、触控模组、光学成像元件和显示屏，触控模组激光发射器和摄像头，将显示屏放置到箱体合适的内部隐藏，并在上方安装光学成像元件，在光学成像元件上安装触控模组。在实际应用中，可以按需求构建显示装置与光学成像元件之间的位置。其中触控模组中的摄像头连接显示屏，电脑与触控模组中的激光发射器一同连接电路，就构建成一体机，实现根据人脸识别转动空中成像画面并实时触控。

本发明实时触控系统中的光学成像元件是一种能够使入射图像的光线产生弯曲的光学元件，本发明中使用的光学元件可以是现有技术中用于大型空中成像展示平台的DCRA光学元件或SMA光学元件，其中DCRA光学元件与SMA光学元件的区别在于制作材料，一种是由亚克力材料制成，另一种是玻璃材料制成。本发明中使用的光学成像元件还可以是其它能够实现相应功能的适用于所有空中成像技术的光学元件。

本发明的有益效果是：本发明结合人脸识别来控制空中成像的画面角度，并结合激光影像技术的软件与硬件来实现触控空中无介质浮空成像画面。本发明实现了识别不同用户的身份，根据用户的身高来自动调节成像画面角度，同时空中的触控面跟随着成像画面变化，让用户在最舒适的角度观看空中成像画面并可对空中成像画面进行触控。本发明在空中成像无需介质、节省空间，可以直接触摸；视线可穿越，不会遮挡住视线。

本发明空中成像对主机的系统及内容无要求，系统可以是Windows、Android、Ios等，内容可以是2D或者3D的，兼容性强；人脸识别最大限度的保证了用户的安全性及保密性；富有科技感，给不同用户提供最舒适的空中成像画面，带来全新的视觉以及交互的体验；系统可安装的位置可根据所需行业及场景变化。本发明通过人脸识别技术保障了设备的安全性和保密性，并根据人脸识别技术来控制空中成像的画面角度和空中触控面，能够满足不同用户的需求，使不同用户可以舒适地观看空中成像画面并实时触控空中成像画面。

附图说明

图1是本发明实时触控系统的人脸识别过程示意图；

图2是本发明实时触控系统的光学成像元件原理示意图；

图3是本发明实时触控系统中软件实现的功能流程图；

图4是本发明实时触控系统中具体软件流程图；

图5是本发明实时触控系统的交互示意图；

图6是本发明实时触控系统中一体机的整体结构示意图；

在图6中：1-机箱；2-显示屏；3-激光发射器；4-摄像头；5-光学成像元件；6-空中成像画面；

图7是本发明实时触控系统人脸与光学成像元件之间的正视触控示意图；

图8是本发明实时触控系统人脸与光学成像元件之间的俯视触控示意图；

图9是本发明实时触控系统人脸与光学成像元件之间的仰视触控示意图；

图10是本发明实时触控系统人脸与光学成像元件间的侧面触控示意图；

图11是本发明实时触控系统人脸与光学成像元件间的地面触控示意图。

具体实施方式

以下结合附图和具体实施方式对本发明作详细描述。

如图1至图11所示，本发明公开了一种根据人脸识别和激光影像实现空中成像的实时触控系统，其包括激光影像系统、空中成像系统、空中触控反馈系统和人脸识别系统；

激光影像（LICT）系统：在光学成像元件上安装一个红外激光模块，在浮空影像平面形成一个高于图像1～3mm、厚度约1mm的不可见光膜，摄像头通过定位软件在空中获取画面的坐标点定位空中成像画面。当手指或任何不透明的物体接触空中成像画面时，光线被反射到的一个信号接收器，再通过对光电位置的精确计算，得到手势的坐标，在空中进行触控。

在第一次使用时，需要计算光笔亮斑的坐标到计算机屏幕坐标的关系。而由于借助了光学成像元件，空中没有介质，因此需要用手动校正来实现。在手动校正前，我们需要在软件中自动屏蔽干扰光源。

在自动屏蔽后，使用光笔进行手动校正，手动校正的方法包括如下步骤：

a、在计算机屏幕坐标i∈ [1，N]处输出校正标识图案，N为校正点个数；

b、人工持光笔在校正图案处点击校正标识图案，一点击光笔即发光，定位分析程序分析得出USB 摄像头摄取到的图象中亮斑的图像坐标(Ui,Vi)；

c、重复步骤 a、b，校正第i+1点，最后一个校正点点击完毕后转步骤d；

d、根据校正步骤a、b、c得到校正图案的图像坐标到屏幕坐标的映射关系；{<Xi，Yi>}→{<Ui，Vi>}，根据这些校正数据求解下面的转化方程的系数 C11，C12…C33，；

在手动校正后，用户手持光笔代替鼠标操控计算机。定位分析程序实时分析 USB 摄像头摄取的图像中光笔亮斑的位置，用坐标转化方程计算出对应的鼠标的屏幕坐标，并模拟产生鼠标事件。

鼠标事件与光笔的状态定义如下：光笔按下发光，触发鼠标左键按下事件；光笔的光斑移动，触发鼠标移动事件；光笔停止发光，触发鼠标左键弹起事件；光笔的光斑在同一位置做长时间停留(大约1.5秒)，触发鼠标右键事件；光笔连续两次短促的闪灭，触发双击事件。调节手动校正好以后，接上激光发射器，便可以实现在无介质的成像画面上进行触控，这是一种全新的人机交互。

空中成像系统：空中成像技术是利用一种使入射图像的光线产生弯曲的光学成像元件，使光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像。应用空中成像技术，不需要任何介质，可在不存在任何事物的空中出现正视的映像，便于实现崭新的空中成像人机交互系统，图2是空中成像技术的光学成像元件原理示意图。

空中触控反馈系统：使用换能器阵列板、闰秒运动相机和独特的IP，实现用超声波给予用户触觉上的反馈，允许用户在半空中感受物体，即用户可以创建按钮、开关和拨号，或与3D对象交互，并在虚拟世界中操作。超声波振子从格状多位排列的超声波换能器中发出，以空中任意位置的超声波振子为焦点相结合，形成超声波，产生了被称为回声放射压的压力。如果用人类手指在此位置表面进行按压，就能产生触觉刺激，空中触控反馈技术就是利用此现象增加触觉而产生的。

将250个格状排列的超声波振子作为一个单元，个别控制每个超声波振子发生的声波位相。一旦以空中任意位置的超声波振子为焦点相结合，就会产生被称为回声放射压的压力，用人的身体遮挡这个位置，皮肤就会有被按压的感觉。平均1单元压力分布在1平方厘米上，重1.6克，这是充分具备获得触觉的数值，另外，使用复数单元可产生大约10克重量的压力。

人脸识别系统：人脸识别技术的核心有人脸的检测和定位、特征提取和识别共三部分：（1）人脸的检测和定位：检测图中有没有人脸，将人脸从背景中分割出来，获取人脸或人脸上的某些器官在图像上的位置。（2）特征提取：提取特征点，构造特征矢量；多个样本图像的空间序列训练出一个模型，它的参数就是特征值；模版匹配法用相关系数做特征；而大部分神经网络方法则直接使用归一化后的灰度图像作为输入，网络的输出就是识别结果，没有专门的特征提取过程。（3）识别：将带识别的图像或特征与人脸数据库里的特征进行匹配，进而将给出的人脸图像与数据库中的某一个人脸图像及其名字的相关性对应起来。

本发明提供了一种人脸识别实现空中成像实时触控的一体机，其包括机箱1、触控模组、光学成像元件5和显示屏2，触控模组包括激光发射器3和摄像头4，将显示屏2放置到箱体1合适的内部隐藏，并在上方安装光学成像元件5，在光学成像元件5上安装触控模组。如图7至图11所示，在实际应用中，可以按需求构建显示屏2与光学成像元件5之间的位置。其中触控模组中的摄像头4连接显示屏2，电脑与触控模组中的激光发射器3一同连接电路，就可以构建成一体机，实现根据人脸识别转动空中成像画面6并实时触控。

本发明根据激光影像、空中成像和人脸识别这三种技术，编写了以空中成像技术为基础，结合激光影像技术形成的空中触控面随着人脸识别技术变换的软件，并适配了对应的机械转动结构和硬件，图3是软件实现的功能流程图，图4是具体软件流程图。

人脸识别系统：特征脸方法是90年代初期由Turk和Pentland提出的目前最流行的算法之一，具有简单有效的特点，也称为基于主成分分析(PCA)的人脸识别方法。特征子脸技术的基本思想是：从统计的观点，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像，这些特征向量称为特征脸(Eigenface)。

实际上，特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇，统称特征子脸。特征子脸在相应的图像空间中生成子空间，称为子脸空间。计算出测试图像窗口在子脸空间的投影距离，若窗口图像满足阈值比较条件，则判断其为人脸。

使用特征脸方法（Eigenface或PCA）是基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量，这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。现在Eigenface(PCA)算法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法；而自1991年特征脸技术诞生以来，研究者对其进行了各种各样的实验和理论分析，FERET'96测试结果也表明，改进的特征脸算法是主流的人脸识别技术，也是具有最好性能的识别方法之一。

该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置和距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。其技术的核心实际为“局部人体特征分析”和“图形/神经识别算法”,这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。

Turk和Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸,识别时将测试图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较进行识别。Pentland等报告了相当好的结果，在200个人的3000幅图像中得到95%的正确识别率，在FERET数据库上对150幅正面人脸图像中只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作如归一化等。在传统特征脸的基础上，研究者注意到特征值大的特征向量(即特征脸并不一定是分类性能好的方向，据此发展了多种特征(子空间)选择方法，如Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模、一些线性自联想和线性压缩型BP网则为隐式的主元分析方法，它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valentin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。

基于KL变换（卡洛南-洛伊变换）的特征人脸识别方法的基本原理为：KL变换是图象压缩中的一种最优正交变换，人们将它用于统计特征提取，从而形成了子空间法模式识别的基础，若将KL变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可分性，由于高维图象空间KL变换后可得到一组新的正交基，因此可通过保留部分正交基，以生成低维人脸空间，而低维空间的基则是通过分析人脸训练样本集的统计特性来获得，KL变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集的类间散布矩阵，即可采用同一人的数张图象的平均来进行训练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不会下降，图1是人脸识别的过程示意图。

最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，本发明并不限于上述实施方式，采用与本发明上述实施例相同或近似的结构而得到的车内或应用到其它多种行业中的无介质空中成像系统，均在本发明的保护范围之内。本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。