本发明涉及人机交互智能系统，具体涉及一种基于面部特征追踪的人机交互系统及其工作方法。
背景技术：
随着计算机的普遍应用，人工智能技术、人机交互系统开始发展起来。通过人机交互系统，人与计算机之间完成交流与通信，在最大程度上通过计算机智能为人们完成信息管理，服务和处理等功能。
现有的人机交互一般都是通过手动输入或通过身体接触进行人工操作的方式完成，使用时需要手指处于空闲状态，否则难以完成。在一些特殊情况下容易造成用户使用上的不方便，而且有时由于疏忽也会出现误操作，造成用户的其它困扰。
技术实现要素：
本发明所要解决的技术问题是提供一种操作简单、方便实用的基于面部特征追踪的实时人机交互系统。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于面部特征追踪的实时人机交互系统，包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件，其中，
所述数据采集组件用于追踪用户头部动作和面部特征信息，并转换成数据信号输入系统中；
所述数据分析处理组件与数据采集组件连接，用于对数据采集组件追踪的信息进行分析处理；
所述动作反馈组件与数据分析处理组件连接，用于对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，并得到反馈信息反馈给通信及操控组件，以判定通信及操控组件的操控动作；
所述通信及操控组件与动作反馈组件连接，用于接受动作反馈组件提供的反馈信息，并根据反馈信息控制相应设备的动作。
进一步的技术方案在于：所述数据采集组件包括多个设置在同一空间不同位置的摄像头，每个摄像头上均设置有用于感应用户动作的传感器。
进一步的技术方案在于：所述数据分析处理组件包括图像处理模块、面部特征识别分析模块和头部动作识别分析模块，其中，
所述图像处理模块用于实时对每帧图像进行预处理；
面部特征识别分析模块用于对图像处理模块中预处理完成的图像的面部细节特征进行识别；
头部动作识别分析模块用于对图像处理模块中预处理完成的图像的头部动作信息特征进行识别。
进一步的技术方案在于：所述图像处理模块对每帧图像的预处理，包括但不限于：将多张图片合成为全景图片、灰度处理、高斯模糊、二值化处理，以为之后的识别做准备。
进一步的技术方案在于：所述面部特征识别分析模块和头部动作识别分析模块内设置有至少一种算法，以用于识别用户的面部、面部细节特征和头部动作信息特征。
进一步的技术方案在于：所述动作反馈组件包括面部特征数据库模块和头部动作分析数据库模块，其中，面部特征数据库模块中保存有用户预设的对应特定意义的面部特征动作；头部动作分析数据库模块中保存有用户预设的对应特定意义的头部特征动作。
进一步的技术方案在于：所述通信及操控组件包括Wi-Fi模块、蓝牙通信模块、红外发射模块中的任意一种或任意几种。
一种面部特征追踪的实时人机交互系统的工作方法，包括如下步骤：
S1：所述数据采集组件追踪用户的头部动作和面部特征信息，并转换成数据信号；
S2：所述数据分析处理组件对数据采集组件追踪的信息进行分析处理；
S3：所述动作反馈组件对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，根据对比结果输出不同结果至通信及操控组件，其中，若动作反馈组件储存的内容中有与数据分析处理组件处理的信息相同的动作，则输出与该动作对应的特定动作至通信及操控组件，若动作反馈组件储存的内容中没有与数据分析处理组件处理的信息相同的动作，则进行下一信息的对比分析；
S4：通信及操控组件根据动作反馈组件输入的特定动作，控制相应设备进行相应操作。
进一步的技术方案在于：步骤S1中，通过数据采集组件中的多个摄像头和传感器进行图像采集，拍摄多张空间环境信息图片。
进一步的技术方案在于：所述步骤S2包括：
S21：所述数据分析处理组件中的图像处理模块将多张不同角度拍摄的空间环境信息图片通过算法合成为一张空间环境信息全景图片并做相应图片预处理；
S22：所述数据分析处理组件中的面部特征识别分析模块和头部动作特征识别分析模块对该全景图片做面部特征识别分析及头部动作识别分析，并储存进缓存临时保存。
采用上述技术方案所产生的有益效果在于：
本发明所述的系统通过数据采集组件实时追踪拍摄用户的头部动作和面部特征信息，经过数据分析处理组件对得到的图像进行处理和识别，与动作反馈组件中保存的数据进行对比，由通信及操控组件最终做出反馈，将反馈结果发送至相应的设备，实现了人工智能中无需身体接触或人工操作的人机交互。本发明所述的实时人机交互系统，操作简单，使用方便，满足实时的人机交互。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明系统的组成示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，一种基于面部特征追踪的实时人机交互系统包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件。所述数据采集组件与数据分析处理组件相连；动作反馈组件与数据分析处理组件连接；通信及操控组件与动作反馈组件相连；通信及操控组件同时与相应的智能电器相连接。
所述数据采集组件用于追踪用户头部动作和面部特征信息，并转换成数据信号输入到系统中。数据采集组件包括多个摄像头，多个摄像头分别安装在同一空间中的不同位置，保证所有摄像头在工作状态时，能够以360°无死角追踪用户的头部动作和面部特征信息，此处的空间为客厅、书房或者卧室等用户所处的空间。为保证追踪拍摄效果，所述摄像头均选用高分辨率网络摄像头。在每个摄像头上均设置有传感器，用于感应用户的动作，并将信息进行数据转换，输入到数据分析处理组件中。
数据采集组件还包括一雷达扫描接收模块，在摄像头和传感器进行数据采集之前，通过雷达扫描接收模块对空间环境进行三维测绘和建立固定的空间坐标系。上述空间坐标系在人机交互系统进行数据采集之前完成，在后续的工作步骤中，用于计算用户的头部定位的绝对坐标位置和绝对朝向角度。所述绝对坐标位置是指用户头部的中心点在其所在空间环境内以雷达模块为基准点所建立的三维坐标系中的坐标，此坐标用于定位用户在该空间环境内的位置，并追踪头部的运动轨迹。所述绝对朝向角度是指在上述的三维坐标系中，用户头部朝向的方向向量与坐标系X轴的夹角，此夹角用于追踪用户在该空间环境内的视线的注意方向，并以此确定用户欲进行交互的对应设备。
所述雷达扫描接收模块包括二维激光扫描雷达、雷达纵向位移电极和雷达接收器，通过雷达纵向位移电极的推动二维激光扫描雷达位移，以此对多个二维平面逐个进行扫描，完成对三维空间环境进行测距建模。二维激光扫描雷达和雷达接收器可以选用多种不同的实现方法，如相位差测距、时间差测距等。
所述数据分析处理组件用于对数据采集组件追踪的信息进行分析处理。数据分析处理组件将摄像头拍摄到的多个图片信息通过特定的算法进行预处理，对图像中面部特征和头部动作进行识别分析，并进行临时缓存。数据分析处理组件包括图像处理模块、面部特征识别分析模块和头部动作识别分析模块。所述图像处理模块用于实时对每帧图像进行预处理，包括但不限于：将多张图片合成为全景图片、灰度处理、高斯模糊、二值化处理等，为之后的识别做准备。所述面部特征识别分析模块和头部动作识别分析模块中内置有一种或多种算法，保证面部特征识别分析模块能够识别预处理后的图像中的用户的面部及面部细节特征，所述面部细节特征主要包括多个面部特征点，这些面部特征点会根据精度和用途进行选定，通常认为在对人的面部信息进行分类识别时会标注68个特征点；头部动作识别分析模块能够识别预处理后的图像中的用户的头部动作信息特征，所述头部动作信息特征主要包括在空间环境中头部的绝对坐标位置和头部朝向的绝对朝向角度。
所述动作反馈组件用于对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，并得到反馈信息反馈给通信及操控组件，以判定通信及操控组件的操控动作。动作反馈组件将缓存的图像与系统中用户预设保存的图像进行对比，并根据对比的结果得到不同的输出结果，将输出结果传送至通信及操控组件。动作反馈组件包括面部特征数据库模块和头部动作分析数据库模块。所述面部特征数据库模块中保存由用户预设的对应特定意义的面部特征动作，例如规律眨眼、动眉毛等动作，每个面部特征动作由多帧典型面部动作组成一个特征视频流。头部动作分析数据库模块中保存有用户预设的对应特定意义的头部特征动作，例如规律晃头、摇头灯动作，每个头部动作由多帧典型头部动作组成一个特征视频流。
所述通信及操控组件用于接受动作反馈组件提供的反馈信息，并根据反馈信息控制相应设备的动作。通信及操控组件包括Wi-Fi模块、蓝牙通信模块、红外发射模块，实际使用时可以选用其中的任意一种或任意几种进行不同组合。
一种基于面部特征追踪的实时人机交互系统的工作方法，包括如下步骤：
S1：数据采集：首先，通过雷达扫描接收模块对空间环境进行三维测绘，并建立固定的空间坐标系。在空间坐标系中，获取用户的头部定位的绝对坐标和绝对朝向角度。之后，多个摄像头和传感器对空间环境信息和用户的头部动作及面部特征信息进行实时追踪拍摄进行图像采集，拍摄多张不同角度的空间环境信息图片，并将这些信息转换成数据信号输入数据分析处理组件中。
S2：数据分析：所述数据分析处理组件对数据采集组件追踪的信息进行分析处理。
S21：首先由图像处理模块对数据采集得到的图像进行预处理：将多张不同角度拍摄的空间环境信息和用户的动作图像通过算法合成为一张全景图片并做相应的图片预处理，如灰度处理、高斯模糊、二值化处理等。
S22：之后由面部特征识别分析模块和头部动作识别分析模块对该全景图片做面部特征识别分析和头部动作识别分析。对于面部特征识别分析，需要进行人脸检测和特征点检测。在人脸检测过程中，可以使用模板匹配法、特征不变法和基于先验知识法等多种方法。特征点检测方法有基于纹理匹配的检测方法、基于变形模板的检测方法等。最终实现的目的是找到图片中的人脸，建立人脸的相对二维坐标系，找出面部特征点在二维坐标系中的坐标。这些面部特征点的坐标用于在后续步骤中与面部特征数据库模块中的数据库内保存的用户预设的特征动作进行对比。在找到图片中的人脸后，进行头部动作识别分析。首先以人脸中心的坐标作为用户头部中心点的坐标，此坐标即为该空间环境中三维坐标系的绝对坐标，垂直于人脸相对二维坐标系平面的向量为用户头部的绝对朝向角度的朝向方向向量，这些头部动作识别分析的信息用于后续步骤中与头部动作分析数据库模块中的数据库内保存的用户预设的特征动作进行对比。将上述的面部特征识别分析和头部动作识别分析的信息储存进缓存中进行临时保存。
S3：对比判定：所述动作反馈组件对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，根据对比结果输出不同结果至通信及操控组件。
将缓存中临时保存的由前几帧全景图片组成时段性的特征视频流，取该特征视频流与面部特征数据库模块和头部动作分析数据库模块中的数据库内保存的用户预设的特征动作进行对比，根据对比结果得到不同的输出结果：若在数据库中存有高相似度的特征动作，则输出与该特征视频流对应的特定动作，例如根据该特征视频流对比得到与数据库中保存的开空调的特征动作相对应，则输出结果“开空调”至后续步骤；若在数据库中没有相似的特征动作，则循环进行下一帧的判定；
S4：通信及操控组件根据动作反馈组件输入的特定动作，控制相应设备进行相应操作。根据第步骤S4对比判定后的输出结果，有不同的通信及操控模块做出相应动作，例如输出结果为“开空调”，则调用红外发射模块发送信号给空调执行开启动作。
至此，所述实时人机交互系统完成一个工作循环。系统的工作效率及识别精度受限于组成本系统的各个组件选取的硬件设备，当每秒进行30个循环以上，即可保证系统正常流畅的工作。