一种提高视线落点稳定技术的制作方法

本发明系有关于一种演算法，尤其系指一种视线侦测方法。

背景技术：

1、现有技术的远距视线落点侦测技术，主要以萤幕控制、公共场域应用为主。非接触式(即非头戴式)眼动追踪是一种通过相机撷取实时串流影像作为输入源，通过眼动追踪演算法将使用者注视点座标输出并搭配远方显示器将该使用者行为与使用者介面进行交互行为的方法。交互行为包含人机介面的控制与监控或资讯与娱乐互动，甚至是隐含性的使用者注视的感兴趣区域潜在性分析等。而该非接触式眼动追踪人机介面交互方法下的演算法需考量较多的使用者资讯，因此演算法需包含如人脸侦测、人脸特征点位侦测、头部摆向计算、瞳孔侦测及视线落点估算五大步骤。其中于第二步骤人脸特征点位侦测，主要提供头部姿态估算及人眼定位功能。

2、然而，远距视线落点侦测的稳定性一直是技术上急待克服的问题。影响上述稳定性的原因乃是远距视线落点侦测易出现误差，且主要是因为使用者不同等人为因素而导致人脸特征点位侦测出现误差。人脸特征点位侦测误差来源例如是(1)不同点位的误差分布造成头部摆向计算不佳及误差来源；(2)人眼区域定位失败造成瞳孔侦测错误，最终导致视线落点不稳定。

3、因此，如何提供一个能解决上述问题的视线侦测方法，乃是业界所需思考的重要课题。

技术实现思路

1、有鉴于此，本揭露之发明的目的在于提高视线侦测方法的视线落点侦测稳定性。本揭露之一态样系提供一种视线侦测方法，包含步骤sa1以及步骤sa2。所述步骤sa1系执行动态阈值转换(dynamic threshold to switch)动作，用以修正前一脸部特征侦测步骤所产生之数据的误差。另外，所述步骤sa2系执行眼睛感兴趣区域过滤(eye roi filtering)动作，乃一前处理步骤，用以过滤多个眼睛感兴趣区域影像并建立一样品集。

2、根据本揭露之一个或多个实施方式，其中，所述步骤sa1系以一动态阈值作为计算一头部姿态特征的基准点位切换依据。

3、根据本揭露之一个或多个实施方式，其中，在所述步骤sa1中，根据搜集的一情境影像，通过计算正规化均方根误差(normalized root mean square error,nrmse)，并以nrmse小于一第一阈值作为影像分群的基准，再由各群影像中计算多个脸部特征的标准差(standard deviation)，并筛选标准差小于一第二阈值之该些脸部特征的点位作为一动态阈值设定。要说明的是，nrmse以及标准差的阀值乃因不同情境之影像搜集而具有差异性，也就是说可以因应不同情况而分别设定为不同数值。

4、根据本揭露之一个或多个实施方式，其中所述步骤sa2系对影像尺寸及瞳孔特征影像进行前处理，以增进正、负样本的差异来优化辨别效果。详细而言，所述步骤sa2系先使用影像透视转换正规化将影像尺寸统一并使目标物转正，方可适用于单一模板的使用需求。然后，再将瞳孔特征影像进行前处理(例如，哈尔特征、二值化方法)以强调影像特征、减低色彩差异，进而增进正、负样本的差异来优化辨别效果。

5、根据本揭露之一个或多个实施方式，其中所述步骤sa2系以单一模板匹配系数小于一第三阈值设定为过滤器的一判定标准。要说明的是，单一模板匹配系数的阀值乃因瞳孔强化方法以及选用模板的不同而具有差异性，也就是说可以因应不同情况而设定为不同数值。

6、根据本揭露之一个或多个实施方式，其中所述步骤sa1系提取对应不同角度的关键点位。

7、根据本揭露之一个或多个实施方式，其中所述步骤sa1可降低该些脸部特征不同点位的误差分布所造成的头部摆向计算不佳，而所述步骤sa2可滤除该些脸部特征点位的人眼区域定位失败而造成瞳孔侦测错误的误差，进而提高视线落点侦测稳定性。

8、本揭露另一态样系提供一种视线侦测方法，包含：步骤s1：执行脸部侦测(facedetection)；步骤s2：执行脸部特征侦测(facial landmark detection)；步骤sa1：执行动态阈值转换(dynamic threshold to switch)；步骤s3：头部姿态预估(head poseestimation)；步骤s4：瞳孔中心侦测(pupil detection)；以及步骤s5：视线预估(gazeestimation)。

9、根据本揭露之一个或多个实施方式，其中，所述步骤sa1系以一动态阈值作为计算一头部姿态特征的基准点位切换依据。

10、根据本揭露之一个或多个实施方式，其中，在所述步骤sa1中，根据搜集的一情境影像，通过计算正规化均方根误差(normalized root mean square error,nrmse)，并以nrmse小于一第一阈值作为影像分群的基准，再由各群影像中计算多个脸部特征的标准差(standard deviation)，并筛选标准差小于一第二阈值之该些脸部特征的点位作为一动态阈值设定。要说明的是，nrmse以及标准差的阀值乃因不同情境之影像搜集而具有差异性，也就是说可以因应不同情况而分别设定为不同数值。

11、根据本揭露之一个或多个实施方式，其中所述步骤sa2系对影像尺寸及瞳孔特征影像进行前处理，以增进正、负样本的差异来优化辨别效果。

12、根据本揭露之一个或多个实施方式，其中所述步骤sa2系以单一模板匹配系数小于一第三阈值设定为过滤器的一判定标准。要说明的是，单一模板匹配系数的阀值乃因瞳孔强化方法以及选用模板的不同而具有差异性，也就是说可以因应不同情况而设定为不同数值。

13、根据本揭露之一个或多个实施方式，其中所述步骤sa1系提取对应不同角度的关键点位。

14、根据本揭露之一个或多个实施方式，其中所述步骤sa1可降低该些脸部特征不同点位的误差分布所造成的头部摆向计算不佳，而所述步骤sa2可滤除该些脸部特征点位的人眼区域定位失败而造成瞳孔侦测错误的误差，进而提高视线落点侦测稳定性。

15、本揭露另一态样系提供一种视线侦测方法，包含：步骤s1：脸部侦测(facedetection)；步骤s2：脸部特征侦测(facial landmark detection)；步骤sa1：动态阈值转换(dynamic threshold to switch)；步骤s3：头部姿态预估(head pose estimation)；步骤sa2：眼睛感兴趣区域过滤(eye roi filtering)；步骤s4：瞳孔中心侦测(pupildetection)；以及步骤s5：视线预估(gaze estimation)。

16、根据本揭露之一个或多个实施方式，其中，所述步骤sa1系以一动态阈值作为计算一头部姿态特征的基准点位切换依据。

17、根据本揭露之一个或多个实施方式，其中，在所述步骤sa1中，根据搜集的一情境影像，通过计算正规化均方根误差(normalized root mean square error,nrmse)，并以nrmse小于一第一阈值作为影像分群的基准，再由各群影像中计算多个脸部特征的标准差(standard deviation)，并筛选标准差小于一第二阈值之该些脸部特征的点位作为一动态阈值设定。要说明的是，nrmse以及标准差的阀值乃因不同情境之影像搜集而具有差异性，也就是说可以因应不同情况而分别设定为不同数值。

18、根据本揭露之一个或多个实施方式，其中所述步骤sa2系对影像尺寸及瞳孔特征影像进行前处理，以增进正、负样本的差异来优化辨别效果。

19、根据本揭露之一个或多个实施方式，其中所述步骤sa2系以单一模板匹配系数小于一第三阈值设定为过滤器的一判定标准。要说明的是，单一模板匹配系数的阀值乃因瞳孔强化方法以及选用模板的不同而具有差异性，也就是说可以因应不同情况而设定为不同数值。

20、根据本揭露之一个或多个实施方式，其中所述步骤sa1可降低该些脸部特征不同点位的误差分布所造成的头部摆向计算不佳，而所述步骤sa2可滤除该些脸部特征点位的人眼区域定位失败而造成瞳孔侦测错误的误差，进而提高视线落点侦测稳定性。