一种基于计算机虚拟界面的人机交互系统的制作方法

本发明涉及计算机领域，具体涉及一种基于计算机虚拟界面的人机交互系统。

背景技术：

在传统的基于图形用户界面的人机交互方式中，由于操作者在发出命令时，需要与鼠标、键盘等输入设备进行零距离接触，使得用户只能在有限的范围内进行人机交互，降低了用户体验度，如何摆脱操作空间的束缚、获取更多的自由度成为目前亟需解决的技术问题。

技术实现要素：

针对上述问题，本发明提供一种基于计算机虚拟界面的人机交互系统。

本发明的目的采用以下技术方案来实现：

一种基于计算机虚拟界面的人机交互系统，所述的人机交互系统包括：身份验证模块、虚拟界面生成模块、图像传感器、手势识别模块和控制指令生成模块和交互终端；所述身份验证模块，用于获取用户的身份信息及位置信息，并对所述用户的身份进行验证；所述虚拟界面生成模块，用于当所述身份验证模块验证结果显示该用户具有操作权限时，根据所述身份验证模块采集的用户的位置信息，计算出虚拟界面成像最佳位置及角度，进而在用户面前投影出虚拟界面；所述图像传感器，用于采集所述虚拟界面内的用户的手势图像；所述手势识别模块，用于提取所述手势图像的手势特征，并与预存的手势特征进行匹配，若匹配成功，则将匹配到的手势特征发送至所述控制指令生成模块；所述控制指令生成模块，用于根据接收到的手势特征，获取与所述手势特征相对应的控制指令，并发送至所述交互终端；所述交互终端，用于根据接收到的控制指令与用户进行信息交互。

优选地，所述手势识别模块包括手势分割单元、手势特征提取单元、手势匹配单元和手势模板库；所述手势分割单元，用于对所述手势图像进行手势分割，将用户的手从背景中分割出来；所述手势特征提取单元，用于对分割后的手势进行手势特征提取；所述手势匹配单元，用于将提取到的手势特征与所述手势模板库中预存的手势特征进行匹配，若匹配成功，则将匹配到的手势特征发送至所述控制指令生成模块。

优选地，所述控制指令生成模块上设有一存储器，所述存储器用于存储与所述手势模板库中的手势特征相对应的操作指令。

优选地，所述身份验证模块包括人脸采集设备、预处理单元、特征提取单元和身份验证单元；所述人脸采集设备，用于采集用户的人脸图像；所述预处理单元，用于对采集的人脸图像依次进行降噪、增强处理；所述特征提取单元，用于从处理后的人脸图像中获取用于表征用户身份信息的人脸特征数据；所述身份验证单元，用于将提取到的人脸特征数据和预存储的有操作权限的人员的人脸特征数据进行匹配，若匹配度大于预设的阈值，则该用户具有操作权限，反之，该用户不具有操作权限。

优选地，所述预处理单元包括降噪子单元和增强子单元；所述降噪子单元，用于对采集的人脸图像进行降噪处理；所述增强子单元，用于对降噪后的人脸图像进行增强处理。

优选地，所述对采集的人脸图像进行降噪处理，具体是：

(1)对采集的人脸图像依次进行灰度化处理和离散小波变换，得到变换后的人脸图像；

(2)按照预设的过滤条件对变换后的人脸图像进行过滤；

(3)对过滤后的人脸图像进行离散小波逆变换，即可得到降噪后的人脸图像。

优选地，所述的按照预设的过滤条件对变换后的人脸图像进行过滤，包括：

判断所述变换后的人脸图像的小波系数的绝对值是否低于设定的阈值；

若所述变换后的人脸图像的小波系数的绝对值低于设定的阈值，则利用下式对该小波系数进行过滤：

式中，为过滤后的小波系数，i＝1,2,…,i，i为小波系数的个数，wi为第i个小波系数，|w|max为小波系数的绝对值的最大值，|w|min为小波系数的绝对值的最小值，γi为关于wi的隶属度值，其满足0i≤1，t为设定的阈值，sgn(f)为符号函数，当sgn(f)为正数时，取1，为负数时，取0；

若所述变换后的人脸图像的小波系数的绝对值不低于设定的阈值，则利用下式对该小波系数进行过滤：

式中，α为形状系数，用于调整过滤的快慢程度。

本发明的有益效果为：本发明将虚拟界面生成模块、图像传感器与手势识别统合在一起，在用户面前空中的恰当位置，或者是用户周围带有触击感的硬物上形成类似虚拟键盘的界面，使用户依托虚拟界面进行操作，这样用户只需要使用几个简单、易识别的手势就能完成对所有复杂功能的操作，如同对触摸屏手机、平板电脑等的操作一样，使得人机交互变得更为容易和精确。该人机交互系统摆脱了鼠标、键盘等输入设备的限制，使得用户可以通过手势对交互终端进行操作，提高了用户体验度。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明实施例提供的人机交互系统的框架结构图；

图2是本发明实施例中手势识别模块的框架结构图；

图3是本发明实施例中身份验证模块的框架结构图。

附图标记：身份验证模块100；虚拟界面生成模块200；图像传感器300；手势识别模块400；控制指令生成模块500；交互终端600；手势分割单元410；手势特征提取单元420；手势匹配单元430；手势模板库440；人脸采集设备110；预处理单元120；特征提取单元130；身份验证单元140；降噪子单元121；增强子单元122。

具体实施方式

结合以下实施例对本发明作进一步描述。

图1示出了一种基于计算机虚拟界面的人机交互系统，所述的人机交互系统包括：身份验证模块100、虚拟界面生成模块200、图像传感器300、手势识别模块400和控制指令生成模块500和交互终端600；所述身份验证模块100，用于获取用户的身份信息及位置信息，并对所述用户的身份进行验证；所述虚拟界面生成模块200，用于当所述身份验证模块100验证结果显示该用户具有操作权限时，根据所述身份验证模块100采集的用户的位置信息，计算出虚拟界面成像最佳位置及角度，进而在用户面前投影出虚拟界面；所述图像传感器300，用于采集所述虚拟界面内的用户的手势图像；所述手势识别模块400，用于提取所述手势图像的手势特征，并与预存的手势特征进行匹配，若匹配成功，则将匹配到的手势特征发送至所述控制指令生成模块500；所述控制指令生成模块500，用于根据接收到的手势特征，获取与所述手势特征相对应的控制指令，并发送至所述交互终端600；所述交互终端600，用于根据接收到的控制指令与用户进行信息交互。

优选地，参见图1-2，所述手势识别模块400包括手势分割单元410、手势特征提取单元420、手势匹配单元430和手势模板库440；所述手势分割单元410，用于对所述手势图像进行手势分割，将用户的手从背景中分割出来；所述手势特征提取单元420，用于对分割后的手势进行手势特征提取；所述手势匹配单元430，用于将提取到的手势特征与所述手势模板库440中预存的手势特征进行匹配，若匹配成功，则将匹配到的手势特征发送至所述控制指令生成模块500。

优选地，所述控制指令生成模块500上设有一存储器，所述存储器用于存储与所述手势模板库440中的手势特征相对应的操作指令。

本发明的有益效果为：本发明将虚拟界面生成模块200、图像传感器300与手势识别统合在一起，在用户面前空中的恰当位置，或者是用户周围带有触击感的硬物上形成类似虚拟键盘的界面，使用户依托虚拟界面进行操作，这样用户只需要使用几个简单、易识别的手势就能完成对所有复杂功能的操作，如同对触摸屏手机、平板电脑等的操作一样，使得人机交互变得更为容易和精确。该人机交互系统摆脱了鼠标、键盘等输入设备的限制，使得用户可以通过手势对交互终端进行操作，提高了用户体验度。

优选地，参见图2，所述身份验证模块100包括人脸采集设备110、预处理单元120、特征提取单元130和身份验证单元140；所述人脸采集设备110，用于采集用户的人脸图像；所述预处理单元120，用于对采集的人脸图像依次进行降噪、增强处理；所述特征提取单元130，用于从处理后的人脸图像中获取用于表征用户身份信息的人脸特征数据；所述身份验证单元140，用于将提取到的人脸特征数据和预存储的有操作权限的人员的人脸特征数据进行匹配，若匹配度大于预设的阈值，则该用户具有操作权限，反之，该用户不具有操作权限。

优选地，所述预处理单元120包括降噪子单元121和增强子单元122；所述降噪子单元121，用于对采集的人脸图像进行降噪处理；所述增强子单元122，用于对降噪后的人脸图像进行增强处理。

优选地，所述对采集的人脸图像进行降噪处理，具体是：

(1)对采集的人脸图像依次进行灰度化处理和离散小波变换，得到变换后的人脸图像；

(2)按照预设的过滤条件对变换后的人脸图像进行过滤；

(3)对过滤后的人脸图像进行离散小波逆变换，即可得到降噪后的人脸图像。

优选地，所述的按照预设的过滤条件对变换后的人脸图像进行过滤，包括：

判断所述变换后的人脸图像的小波系数的绝对值是否低于设定的阈值；

若所述变换后的人脸图像的小波系数的绝对值低于设定的阈值，则利用下式对该小波系数进行过滤：

式中，为过滤后的小波系数，i＝1,2,…,i，i为小波系数的个数，wi为第i个小波系数，|w|max为小波系数的绝对值的最大值，|w|min为小波系数的绝对值的最小值，γi为关于wi的隶属度值，其满足0i≤1，t为设定的阈值，sgn(f)为符号函数，当sgn(f)为正数时，取1，为负数时，取0；

若所述变换后的人脸图像的小波系数的绝对值不低于设定的阈值，则利用下式对该小波系数进行过滤：

式中，α为形状系数，用于调整过滤的快慢程度。

有益效果：采用上述预设的过滤条件对变换后的人脸图像进行过滤，通过对变换后的人脸图像的小波系数的绝对值与预设的阈值进行比较，能够有效地对高于预设的阈值t和低于预设的阈值t进行分别过滤，进而实现了对噪声的全面过滤，且在预设的阈值附近，能够对变换后的人脸图像进行连续性过滤，避免“振铃”现象带来的影响，提高了降噪子单元121的降噪效果。

在一个实施例中，隶属度值γi可以由下方的隶属度函数计算得到：

式中，γi为小波系数wi的隶属度值，m和n分别表示人脸图像像素的行和列，k表示对采集的人脸图像进行离散变换的分解层数，σ为噪声标准差。

有益效果：通过隶属度函数计算γi，进而在求解过滤后的小波系数时进一步对该系数进行修正，实现了对各个小波系数，使得过滤后的小波系数更接近于原始人脸图像，改善了降噪效果。

在一个实施例中，所述的对降噪后的人脸图像进行增强处理，具体是：

(1)对降噪后的人脸图像中所有像素点的灰度值进行对数运算，得到图像ir(x,y)；其中，对各个像素点进行对数运算的底数通过下式进行确定：

式中，c(p)为对像素点p进行对数运算时的底数，hp为像素点p的亮度值，gp为像素点p的灰度值，hmin为降噪后的人脸图像的亮度最小值，hmax为降噪后的人脸图像的亮度最大值；

(2)对图像ir(x,y)进行双边滤波处理，得到基本层ibase和细节层idetail，然后基于混合高斯模型，分别对基本层ibase和细节层idetail进行直方图规定化，得到i′base和i′detail；

(3)对得到的基本层ibase和细节层idetail进行合并，得到图像ied(x,y)，其中，对像素点p合并后输出值ied(p)为：

式中，ied(p)为细节增强后的双边滤波器输出的像素点p的输出值，i′base(p)、i′detail(p)分别为ibase(p)、idetail(p)归一化后的变量，其具体是通过混合高斯模型的直方图规定化得到的，χ1反映了细节的最大放大倍数，χ2反映了放大系数随细节增大的衰减程度，且χ1＞0，χ2＞0；

遍历所有像素点，即可得到图像ied(x,y)；

(4)将得到的所述图像ied(x,y)进行指数运算，具体是：其中iout(x,y)为增强后的人脸图像中坐标为(x,y)处像素点的灰度值，遍历所有像素点，所有像素点构成的集合即为增强后的人脸图像iout。

有益效果：通过构建不同底数的对数函数，对降噪后的人脸图像中的各个像素点的灰度值进行处理，避免了采用固定底数带来的图像亮区和暗区的细节丢失；且该增强算法具有亮度保持和细节增强的优点，处理后图像的整体对比度得到显著提高，不存在淹没和模糊化暗区和亮区细节的现象，提升了细节的清晰度。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。