一种场景应用人工智能交互方法及其系统与流程

本发明涉及人工智能交互技术领域，具体地，涉及一种利用眼球追踪的场景应用人工智能交互方法及其系统。

背景技术：

传统的人机交互是以键盘、鼠标等设备与计算机进行交互。随着计算机计算能力的改善和交互设备性能的提高，体感设备将人体的身体动作应用于人机交互领域，由于其自然、直观、易于学习而逐渐被人们所接受。但体感设备需借助人们身体，如手势等动作，实现人机交互，能够准确获取人体的空间运动的轨迹和时序信息，系统识别率较高，但是体感设备目前主要用于游戏等场景中，要求躯体动作幅度较大，不适于用来进行高速、大量的日常的工作生活等方面的人机交互。

技术实现要素：

本发明的目的在于提供一种场景应用人工智能交互方法及其系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种场景应用人工智能交互方法，包括以下步骤：

s1.眼球颜色检测：将从摄像头获得的一帧眼部图像从rgb空间转换到ycrcb空间，得到每个像素点的cr分量和cb分量；对转换到ycrcb空间下的眼部图像，进行逐个像素点检测，根据每个像素点的cr分量和cb分量是否落入眼球颜色范围中，以判断像素点是否属于眼球色点，并根据判断的眼球色点建立眼球色标记矩阵。对于一帧m×n大小的眼部图像，像素点是否为眼球色点的判别如下：

其中x＝0,1,2……m-1和y＝0,1,2……n-1是图像中像素点的坐标，rcr和rcb为眼球色的范围，rcr＝[133,173],rcb＝[77,127]。

s2.根据生成的眼球颜色标记矩阵，生成原眼部图像相对应的二值化图像f(x,y)，从而得到眼球区域。

s3.由于图像的实时采集往往会受到光照等因素的影响，经过眼球色检测后的眼部图像，通常存在一定程度的噪声，需采用中值滤波方法去除图像中的噪声。由于每幅眼部二值图的眼球区域内含有一些微小的空洞和一些孤立的噪声，为了得到更好的眼球区域，需对眼部二值图像使用开操作算子去除孤立的噪声点，然后使用闭操作算子对手势二值图像进行处理，去除手势区域内微小的空洞。

s4.根据检测眼球运动轨迹的变动，实现人工智能交互。

进一步的，在所述s4步骤中，选取眼球向左、向右、向上、向下、停止作为检测眼球运动轨迹的标的，利用bp神经网络对眼球运动样本数据进行训练。这里，优选的，所述bp神经网络的网络拓扑结构为3层、隐层神经元个数为7-8个。

为更好说明本发明，这里，还提供一种场景应用人工智能交互系统，包括眼部视频采集模块、图像预处理模块、特征提取模块、样本训练模块、眼球识别模块和场景驱动模块，所述眼部视频采集模块包括摄像头、眼部视频捕获单元，眼部视频捕获单元从摄像头中获取眼部视频图像，并捕获待识别的眼部图像；所述图像预处理模块对待识别的眼部图像做rgb->ycrcb颜色空间转换、肤色检测、中值滤波及形态学等一系列处理；所述特征提取模块提取眼球二值图像的zernike矩，并进行归一化处理；所述样本训练模块将模板库中的眼球特征信息从xml文件中解析出来，输入到bp神经网络；所述眼球识别模块根据提取的眼球特征，通过已经完成训练的bp神经网络进行识别；所述场景驱动模块根据识别模块的识别结果驱动虚拟场景进行漫游。

与现有技术相比，本发明的有益效果是：本发明所述的场景应用人工智能交互方法及其系统，利用人眼球运动作为一种自然的交互方式，一定程度上可摆脱对传统鼠标和键盘交互方式依赖，具有识别率高和稳定性好的特点，只需提供包括摄像头在内的系统对眼球进行跟踪识别，用户便能很方便地与计算机进行交互，具有很好的实用性、便利性和广泛的应用前景。

附图说明

图1为本发明的系统的实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，一种场景应用人工智能交互方法，包括以下步骤：

s1.眼球颜色检测：将从摄像头获得的一帧眼部图像从rgb空间转换到ycrcb空间，得到每个像素点的cr分量和cb分量；对转换到ycrcb空间下的眼部图像，进行逐个像素点检测，根据每个像素点的cr分量和cb分量是否落入眼球颜色范围中，以判断像素点是否属于眼球色点，并根据判断的眼球色点建立眼球色标记矩阵。对于一帧m×n大小的眼部图像，像素点是否为眼球色点的判别如下：

其中x＝0,1,2……m-1和y＝0,1,2……n-1是图像中像素点的坐标，rcr和rcb为眼球色的范围，rcr＝[133,173],rcb＝[77,127]。

s2.根据生成的眼球颜色标记矩阵，生成原眼部图像相对应的二值化图像f(x,y)，从而得到眼球区域。

s3.由于图像的实时采集往往会受到光照等因素的影响，经过眼球色检测后的眼部图像，通常存在一定程度的噪声，需采用中值滤波方法去除图像中的噪声。由于每幅眼部二值图的眼球区域内含有一些微小的空洞和一些孤立的噪声，为了得到更好的眼球区域，需对眼部二值图像使用开操作算子去除孤立的噪声点，然后使用闭操作算子对手势二值图像进行处理，去除手势区域内微小的空洞。

s4.根据检测眼球运动轨迹的变动，实现人工智能交互。

进一步的，在所述s4步骤中，选取眼球向左、向右、向上、向下、停止作为检测眼球运动轨迹的标的，利用bp神经网络对眼球运动样本数据进行训练。进一步的，所述bp神经网络的网络拓扑结构为3层、隐层神经元个数为7-8个。

为更好说明本发明，这里，还提供一种场景应用人工智能交互系统，包括眼部视频采集模块、图像预处理模块、特征提取模块、样本训练模块、眼球识别模块和场景驱动模块，所述眼部视频采集模块包括摄像头、眼部视频捕获单元，眼部视频捕获单元从摄像头中获取眼部视频图像，并捕获待识别的眼部图像；所述图像预处理模块对待识别的眼部图像做rgb->ycrcb颜色空间转换、肤色检测、中值滤波及形态学等一系列处理；所述特征提取模块提取眼球二值图像的zernike矩，并进行归一化处理；所述样本训练模块将模板库中的眼球特征信息从xml文件中解析出来，输入到bp神经网络；所述眼球识别模块根据提取的眼球特征，通过已经完成训练的bp神经网络进行识别；所述场景驱动模块根据识别模块的识别结果驱动虚拟场景进行漫游。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。