一种视觉跟踪方法和跟踪装置与流程

本发明涉及生物反馈信号数据处理技术领域，特别涉及一种视觉信号数据处理。

背景技术：

视觉识别和追踪主要是判断眼球瞳孔的注意方向和注意轨迹，由于瞳孔是由巩膜、虹膜等生理器官和组织构成，导致瞳孔的围成具有较大的个体化差异，其中以虹膜的差异最大。目前的技术手段主要采用对眼部进行图像识别，利用二值特征、梯度直方图等，结合膨胀腐蚀等滤波操作，来达到提取虹膜位置的目的。但是上述方法基本是基于先验知识，针对复杂的生物个体差异，需要确定较多的假设参数集合和阈值范围，只能在有限的场景下有效，准确度低不能针对实时场景中动态形象的虹膜处理。

技术实现要素：

有鉴于此，本发明实施例提供一种视觉跟踪方法和跟踪装置，用于解决眼部对象无法准确实时定位的技术问题。

本发明的视觉跟踪方法，包括：

获取眼部图案；

建立眼部对象关键点；

利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案，确定眼部对象位置，形成视觉焦点数据。

还包括：

将眼部对象的连续变化，形成视觉跟踪数据；

将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。

所述获取眼部图案包括：

获取脸部的五官轮廓；

根据眼部特征点裁剪出对称的眼部图像。

所述建立眼部对象关键点包括：

利用半人工或自动的方式建立眼部对象；

利用半人工或自动的方式形成眼部对象的关键点。

所述利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案，确定眼部对象位置，形成视觉焦点数据包括：

将眼部图案的像素数据导入ERT算法作为训练数据进行处理；

将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果；

根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。

所述将眼部对象的连续变化，形成视觉跟踪数据包括：

在实时获取的眼部图案中，根据眼部对象的相对位置变化形成视觉跟踪数据；

在实时获取的眼部图案中，根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。

所述将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化包括：

建立眼部对象和/或眼部对象的关键点，与眼部三维模型或二维模型中的对象和对象的关键点的映射，形成虚拟视觉焦点；

利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动，形成虚拟视觉的变化。

本发明的视觉跟踪装置，包括：

图像获取模块，用于获取眼部图案；

关键数据建立模块，用于建立眼部对象关键点；

对象识别模块，用于利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案，确定虹膜位置，形成视觉焦点数据。

还包括：

视觉跟踪数据生成模块，用于将眼部对象的连续变化，形成视觉跟踪数据；

虚拟视觉控制模块，用于将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。

所述图像获取模块包括：

轮廓获取子模块，用于获取脸部的五官轮廓；

图像裁剪子模块，用于根据眼部特征点裁剪出对称的眼部图像。

所述关键数据建立模块包括：

眼部对象建立子模块，用于利用半人工或自动的方式建立眼部对象；

对象关键点建立子模块，用于利用半人工或自动的方式形成眼部对象的关键点。

所述对象识别模块包括：

图像导入子模块，用于将眼部图案的像素数据导入ERT算法作为训练数据进行处理；

图像处理子模块，用于将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果；

眼部对象位置生成子模块，用于根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。

所述视觉跟踪数据生成模块包括：

眼部对象轨迹生成子模块，用于在实时获取的眼部图案中，根据眼部对象的相对位置变化形成视觉跟踪数据；

对象关键点轨迹生成子模块，用于在实时获取的眼部图案中，根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。

所述虚拟视觉控制模块包括：

虚拟焦点生成子模块，用于建立眼部对象和/或眼部对象的关键点，与眼部三维模型或二维模型中的对象和对象的关键点的映射，形成虚拟视觉焦点；

虚拟视觉生成子模块，用于利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动，形成虚拟视觉的变化。

本发明的视觉跟踪方法和视觉跟踪装置在利用成熟的脸部检测技术基础上确定眼部图案，避免了大量冗余图像信号的处理，精简了图像处理的运算量。眼部关键点的建立采用监督或半监督学习，利用量化工具形成具有较高的标定数据质量，关键点标定数据在图像处理方法中对眼部对象如虹膜数据的分类起到定向裁剪的效果，满足眼部对象的准确定位。并有利于进一步确定其他眼部对象如瞳孔边界，进一步形成准确的视觉焦点和视觉运动轨迹。

附图说明

图1为本发明一实施例的视觉跟踪方法的流程图。

图2为本发明一实施例的视觉跟踪方法的流程图。

图3为本发明一实施例的视觉跟踪方法的流程图。

图4为现有技术中确定的脸部五官轮廓的68特征点示意图。

图5为本发明一实施例的视觉跟踪方法中左眼图案中眼部对象关键点的结构示意图。

图6为本发明一实施例的视觉跟踪装置的架构示意图。

图7为本发明一实施例的视觉跟踪装置的架构示意图。

图8为本发明一实施例的视觉跟踪装置的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

图1为本发明一实施例的视觉跟踪方法的流程图。如图1所示，本发明实施例的视觉跟踪方法包括：

步骤10：获取眼部图案；

步骤20：建立眼部对象关键点；

步骤30：利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案，确定眼部对象位置，形成视觉焦点数据。

本发明实施例的视觉跟踪方法在利用成熟的脸部检测技术基础上确定眼部图案，避免了大量冗余图像信号的处理，精简了图像处理的运算量。眼部关键点的建立采用监督或半监督学习，利用量化工具形成具有较高的标定数据质量，关键点标定数据在例如ERT(Ensemble of Regression Trees)处理方法中对眼部对象如虹膜数据的分类起到定向裁剪的效果，满足眼部对象虹膜边界的准确定位。并有利于进一步确定其他眼部对象如瞳孔边界。

图2为本发明一实施例的视觉跟踪方法的流程图。如图2所示，在上述实施例基础上，本发明实施例的视觉跟踪方法还包括：

步骤40：将眼部对象的连续变化，形成视觉跟踪数据；

步骤50：将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。

本发明实施例的视觉跟踪方法，将人眼的连续视觉焦点数据形成视觉跟踪数据，基于成熟的坐标变化过程，就可以形成拟人对象眼部的虹膜对象和瞳孔对象的相应动作，实现拟人对象对真人视觉眼神的同步正反馈，丰富拟人对象的情感表达清晰度。

图3为本发明一实施例的视觉跟踪方法的流程图。如图3所示，在本发明一实施例的视觉跟踪方法中，步骤10还包括：

步骤11：获取脸部的五官轮廓。

五官轮廓的获取例如dlib人脸检测模型获得68特征点(如图4所示)，需要明确的是五官轮廓的特征点不能用于精确描述五官的位置和特点。

步骤12：根据眼部特征点裁剪出对称的眼部图像。

如图4和图5所示，裁剪以68特征点为例，采用最小外接矩形算法分别裁剪出特征点37～42眼部包围的左眼图案和特征点43～48包围的右眼图案。

在本发明一实施例的视觉跟踪方法中，步骤20还包括：

步骤21：利用半人工或自动的方式建立眼部对象。

针对半人工方式：包括采用人工标记确定眼部对象的大致范围，在人工标记的基础上，采用图像识别算法进一步确定眼部对象的大致范围。

针对自动方式，包括采用图像识别算法确定眼部对象的大致范围。图像识别算法通过建立的眼部对象的三维模型运动过程中在二维平面上的映射图案建立眼部对象的大致范围。

步骤22：利用半人工或自动的方式形成眼部对象的关键点。

针对半人工方式：在确定的眼部对象范围内，人工标记关键点，在人工标记的基础上，采用图像识别算法进一步标记眼部对象隐蔽的关键点。

针对自动方式，包括采用图像识别算法确定眼部对象的关键点。图像识别算法通过建立的眼部对象的三维模型运动过程中在二维平面上的映射点标记眼部对象的关键点。

针对少量的眼部图像采用人工和自动结合的方式进行处理可以有效提高处理速度并保证准确率，为进一步作为训练数据保证后续算法的准确性提供保障。大量的眼部图像采用自动方式可以保证动态视觉的处理速度。

在本发明一实施例的视觉跟踪方法中，步骤20中确定的眼部对象包括：

眼睑及眼睑的12个关键点，包括眼睑两端的关键点、上眼睑与下眼睑最大距离处的关键点。

虹膜及虹膜的8个关键点，包括水平方向上虹膜左边缘与右边缘最大距离处的关键点、竖直方向上虹膜上边缘与下边缘最大距离处的关键点。

瞳孔及瞳孔的8个关键点，包括水平方向上瞳孔左边缘与右边缘最大距离处的关键点、竖直方向上瞳孔上边缘与下边缘最大距离处的关键点。

关键点包括相应的坐标位置和图案属性。

在本发明一实施例的视觉跟踪方法中，步骤30中包括：

步骤31：将眼部图案的像素数据导入ERT算法作为训练数据进行处理；

步骤32：将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果；

步骤33：根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。

通过将人工或半人工处理获得的关键点数据作为测试数据保证了ERT算法中过程中的预测准确度。

在本发明一实施例的视觉跟踪方法中，步骤40还包括：

步骤41：在实时获取的眼部图案中，根据眼部对象的相对位置变化形成视觉跟踪数据；

步骤42：在实时获取的眼部图案中，根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。

本发明实施例的视觉跟踪方法，经过实际应用和对比测算，具有两个显著优点：

1、准确率高，虹膜位置误差不超过3％(指的是实际虹膜位置和预测虹膜位置距离除以上下眼睑最大距离)；

2、鲁棒性和实时性好，普通计算机及移动设备上眼部对象的确定不超过3ms/帧，以30帧/秒计算，识别失败率低于0.5％。

在本发明一实施例的视觉跟踪方法中，步骤50还包括：

步骤51：建立眼部对象和/或眼部对象的关键点，与眼部三维模型或二维模型中的对象和对象的关键点的映射，形成虚拟视觉焦点；

步骤52：利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动，形成虚拟视觉的变化。

本发明实施例的视觉跟踪方法，可以将获得的视觉跟踪数据应用在虚拟对象的眼神表达上，进一步提高先把你对象的拟人化特征。

图6为本发明一实施例的视觉跟踪装置的架构示意图。如图6所示，与本发明实施例的视觉跟踪方法相应的还包括视觉跟踪装置，包括：

图像获取模块100，用于获取眼部图案。

关键数据建立模块200，用于建立眼部对象关键点。

对象识别模块300，用于利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案，确定虹膜位置，形成视觉焦点数据。

图7为本发明一实施例的视觉跟踪装置的架构示意图。如图7所示，本发明一实施例的视觉跟踪装置中，还包括：

视觉跟踪数据生成模块400，用于将眼部对象的连续变化，形成视觉跟踪数据。

虚拟视觉控制模块500，用于将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。

图8为本发明一实施例的视觉跟踪装置的架构示意图。如图8所示，本发明一实施例的视觉跟踪装置中，图像获取模块100包括：

轮廓获取子模块110，用于获取脸部的五官轮廓。

图像裁剪子模块120，用于根据眼部特征点裁剪出对称的眼部图像。

本发明一实施例的视觉跟踪装置中，关键数据建立模块200包括：

眼部对象建立子模块210，用于利用半人工或自动的方式建立眼部对象。

对象关键点建立子模块220，用于利用半人工或自动的方式形成眼部对象的关键点。

本发明一实施例的视觉跟踪装置中，对象识别模块300包括：

图像导入子模块310，用于将眼部图案的像素数据导入ERT算法作为训练数据进行处理；

图像处理子模块320，用于将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果；

眼部对象位置生成子模块330，用于根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。

本发明一实施例的视觉跟踪装置中，视觉跟踪数据生成模块400包括：

眼部对象轨迹生成子模块410，用于在实时获取的眼部图案中，根据眼部对象的相对位置变化形成视觉跟踪数据；

对象关键点轨迹生成子模块420，用于在实时获取的眼部图案中，根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。

本发明一实施例的视觉跟踪装置中，虚拟视觉控制模块500包括：

虚拟焦点生成子模块510，用于建立眼部对象和/或眼部对象的关键点，与眼部三维模型或二维模型中的对象和对象的关键点的映射，形成虚拟视觉焦点；

虚拟视觉生成子模块520，用于利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动，形成虚拟视觉的变化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。