凝视分析方法与装置与流程

本发明涉及一种对获取的影像进行分析的技术，且特别是一种凝视分析方法与装置。

背景技术：

随着电子技术的发展，影像捕获装置已经广泛地见于各种电子装置中，例如手持装置、笔记本电脑或电子广告牌中。配合软件算法，电子装置可以对获取的影像进行凝视分析，以判断所获取的影像中的人是否凝视着特定目标，并据此执行相关指令，例如指示目标播放特定信息。

目前有凝视分析技术是采用角膜反射法取得瞳孔中心位置与红外线反射点的相对位置来判断人的视线方向，以藉此判断人是否凝视着特定目标，然而，此种作法需要红外线辅助，且红外线离人的眼睛太近，会有安全性的疑虑。除此之外，此种作法除了需使用高分辨率的影像捕获装置外，还有容易因光照而影响分析的准确率。

另外一种凝视分析技术是找出内外侧眼角，并定位眼球范围后，检测虹膜中心以将其配对到虹膜边界模型相对应的位置，从而判断人是否凝视着特定目标。此种作法需要预先地储存眼睛模块，并进行复杂的模型比对。

再一种凝视分析技术是记录瞳孔的影像，并经过复杂的校正与验证程序，以判断人是否凝视着特定目标。

又一种凝视分析技术是使用电极作为传感器，并将电极贴附在人脸的皮肤上来感测眼睛周围的肌肉运动行为，以测量眼睛的水平与垂直的动作，并藉此判断人是否凝视着特定目标。

前述凝视分析技术各有不同的缺点，如需额外辅助装置、会受光线影响、需进行复杂的比对、校正或验证等。

技术实现要素：

本发明实施例提供一种凝视分析方法，其步骤如下。在影像中检测到人脸时，根据人脸的人脸角度以及人眼角度计算凝视角度，并判断凝视角度是否位于第一特定范围，其中人眼角度依据左眼虹膜与左眼巩膜的信息以及右眼虹膜与右眼巩膜的信息获得。在凝视角度位于该第一特定范围时，计算焦距以及人脸与目标之间的间隔距离的差异值是否位于第二特定范围，根据差异值是否位于第二特定范围的判断结果以判断目标是否被凝视，其中焦距依据左眼虹膜与左眼巩膜的信息以及右眼虹膜与右眼巩膜的信息获得。

本发明实施例提供一种凝视分析装置，其包括一个以上的电路，以执行上述凝视分析方法。

据此，本发明实施例提供的凝视分析方法与装置是根据左右眼的虹膜与巩膜的信息来判断人眼是否凝视目标，因此，相较于先前技术，其不易受到光照影响，且计算复杂度较低，甚至其不需要采用高分辨率的镜头与红外线的辅助，故成本低廉。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与附图仅用来说明本发明，而非对本发明的保护范围作任何的限制。

附图说明

图1是本发明实施例的人眼凝视目标的示意图。

图2是本发明实施例的凝视分析装置的方块图。

图3是本发明实施例的凝视分析方法的流程图。

图4A是本发明实施例的人眼直视前方物体的示意图。

图4B是本发明实施例的人眼凝视旁边物体的示意图。

图4C是本发明实施例的人眼凝视无穷远处的示意图。

图5是本发明实施例的人眼凝视目标的人眼角度示意图。

图6是本发明实施例的人眼凝视目标的焦距的示意图。

图7是本发明实施例通过人脸面积计算人脸与目标的间隔距离的示意图。

具体实施方式

在下文将参看附图更充分地描述各种例示性实施例，在附图中展示一些例示性实施例。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的例示性实施例。确切而言，提供此等例示性实施例使得本发明将为详尽且完整，且将向本领域技术人员充分传达本发明概念的范畴。在诸图式中，可为了清楚而夸示层及区的大小及相对大小。类似数字始终指示类似组件，且本文中所使用的术语“或”视实际情况可能包括相关联之列出项目中之任一者或者多者之所有组合。

本发明实施例提供一种凝视分析方法与装置，且所述凝视分析方法与装置会计算人脸角度与人眼角度，以判断人眼的凝视方向为特定方向，其中人眼角度是透过左眼虹膜与左眼巩膜的信息以及右眼虹膜与右眼巩膜 的信息所获得，所述左眼虹膜与左眼巩膜的信息可以是左眼虹膜于影像中的长度(以像素为单位)与左眼巩膜之左右部分于影像中的长度，且右眼虹膜与右眼巩膜的信息是右眼虹膜于影像中的长度与右眼巩膜之左右部分于影像中的长度。接着，所述凝视分析方法与装置还会进一步判断人眼是否凝视着特定方向上的特定目标，以及计算凝视特定目标的时间，以进一步地判断人眼是否持续地凝视特定目标，并藉此执行相关指令。

在此请注意，于本发明实施例中，人眼角度是透过左眼与右眼的巩膜与虹膜所占据的比例关系而获得。举例来说，本发明其中一个实施例是透过左眼的左边与右边巩膜的长度差与左眼与右眼总长度的第一比例与右眼的右边与左边巩膜的长度差与左眼与右眼总长度的第二比例来获得人眼角度。

另外，判断人眼是否凝视着特定方向上的特定目标是透过判断人眼的焦距与人脸及目标之间的间隔距离之差异值是否位于特定范围内来决定，其中人眼的焦距相关于左眼与右眼的巩膜与虹膜之间的关系。举例来说，本发明其中一个实施例是先依据左眼的左边巩膜所占巩膜的第三比例决定左眼的眼球中心相对于焦点的左眼角度，以及依据右眼的右边巩膜所占巩膜的第四比例决定右眼的眼球中心相对于焦点的右眼角度后，再依据左眼角度、右眼角度与左右眼的两眼球中心点之间的距离得到焦距。

请参照图1，图1是本发明实施例的人眼凝视目标的示意图。于图1中，电子装置11本身为目标，且用来判断人10是否凝视电子装置11。电子装置11配置有凝视分析装置，以判断人凝视电子装置11本身，并对应地执行相关的指令，例如播放特定信息给人10。于本发明实施例中，电子装置11本身为广告广告牌，然而，本发明并不限制于此。电子装置11于其他实施例中，亦可以是笔记本电脑或其他具有影像捕获装置的装置。于其他实施例中，电子装置11本身亦可以不为目标，目标可以是某种特定的对象，例如演讲者或者特定贩卖物品等等。以下将进一步地介绍凝视分析装置的细节。

请参照图2，图2是本发明实施例的凝视分析装置的方块图。凝视分析装置2透过一个以上的电路组成，且包括影像捕获装置20、人脸检测装置21、人脸角度计算装置22、人眼角度计算装置23、凝视角度判断装置24、凝视目标判断装置25、计时装置26与指示装置27。影像捕获装置20电性连接人脸检测装置21，人脸检测装置21电性连接人脸角度计算装置22，人脸角度计算装置22电性连接人眼角度计算装置23，且人眼角度计算装置23电性连接凝视角度判断装置24。凝视角度判断装置24电性连接凝视目标判断装置25与影像捕获装置20，凝视目标判断装置25电性连接计时装置26与影像捕获装置20，且计时装置26电性连接指示装置27与影像捕获装置20。凝视分析装置2用以执行凝视分析方法，且各组件的功能与作用将介绍如下。

接着，请同时参照图2与图3，图3是本发明实施例的凝视分析方法的流程图。首先，在步骤S30中，影像捕获装置20会获取影像，并将获取的影像送至人脸检测装置21。接着，在步骤S31中，人脸检测装置21会对影像进行人脸检测，以判断影像中是否有人脸，其中判断人脸是否存在于影像中，系可以采用马可夫模型人脸检测方式来实现。然而，本发明并不限制上述检测人脸的实现方式。倘若检测到影像中有人脸，则人脸检测装置21将影像送给人脸角度计算装置22，以执行步骤S32；倘若未检测到影像中有人脸，则人脸检测装置21指示影像捕获装置20继续执行步骤S30。

在步骤S32中，人脸角度计算装置22会根据影像中的人脸计算出人脸角度A_face，人脸角度A_face包括人脸的水平偏转角A_horizontal以及垂直仰角A_vertical，其中计算人脸角度A_face的方式，系取得影像中人脸中眼睛与嘴巴位置，并参考头部型态模型来实现。然而，本发明并不限制上述计算人脸角度A_face的实现方式。另外，在本发明实施例中，步骤S32亦可以仅计算出人脸的水平偏转角A_horizontal，而不计算垂直仰角A_vertical，亦即人脸角度 A_face仅包括人脸的水平偏转角A_horizontal。在人脸角度计算装置22计算完人脸角度A_face后，会将影像送给人眼角度计算装置23。

接着，在步骤S33中，人眼角度计算装置23依据影像计算人眼角度A_eye，且人眼角度A_eye是透过左眼与右眼的巩膜与虹膜所占据的比例关系而获得。以下将说明其中一种透过左眼与右眼的巩膜与虹膜所占据的比例关系来计算人眼角度A_eye的实现方式，然而，本发明并不限制于此种实现方式。

请参照图4A，图4A是本发明实施例的人眼直视前方物体的示意图。于图4A中，当人眼直视前方物体OBJ时，其人眼角度A_eye等于0度，故理论上左眼左边巩膜部份401的长度L_LE与左眼右边巩膜部份403的长度R_LE的差值应该等于右眼右边巩膜部份413的长度R_RE与右眼左边巩膜部份411的长度L_RE的差值，亦即，L_LE-R_LE＝R_RE-L_RE。

请参照图4B，图4B是本发明实施例的人眼凝视旁边物体的示意图。于图4B中，当人眼凝视旁边物体OBJ时，其人眼角度A_eye不为0度，故理论上左眼左边巩膜部份401的长度L_LE与左眼右边巩膜部份403的长度R_LE的差值应该不等于右眼右边巩膜部份413的长度R_RE与右眼左边巩膜部份411的长度L_RE的差值，亦即，L_LE-R_LE≠R_RE-L_RE。

请参照图4C，图4C是本发明实施例的人眼凝视无穷远处的示意图。于图4C中，当人眼凝视无穷远处时，理论上左眼左边巩膜部份401的长度L_LE与左眼右边巩膜部份403的长度R_LE的差值应该等于右眼左边巩膜部份411的长度L_RE与右眼右边巩膜部份413的长度R_RE的差值，亦即，L_LE-R_LE＝L_RE-R_RE。此时焦距在无穷远处，故无须计算焦距，而人眼角度A_eye可视情况来决定是否计算。

请参照图5，图5是本发明实施例的人眼凝视目标的人眼角度示意图。人眼角度A_eye为左右眼之中心点M的法线以及左右眼之中心点M与目标 OBJ之间联机的角度，针对三种情况，直视、极限地往左方看与极限地往右方看，其人眼角度A_eye分别为0、-90与90度，归纳出其中一种可以实现计算人眼角度A_eye的公式如下：

假设当人眼直视前方物体OBJ时，长度L_LE、B_LE(左眼虹膜402的长度)、R_LE、L_RE、B_RE(右眼虹膜412的长度)与R_RE的比例为1：2：1：1：2：1，此时，A_eye＝sin^-1(0/4)＝0度。当极限地往左方看时，长度L_LE、B_LE、R_LE、L_RE、B_RE与R_RE的比例为0：1：1：0：1：1，此时，A_eye＝sin^-1(-4/4)＝-90度。当极限地往右方看时，长度L_LE、B_LE、R_LE、L_RE、B_RE与R_RE的比例为1：1：0：1：1：0，此时，A_eye＝sin^-1(4/4)＝90度。

简单地说，于本发明其中一个实施例中，人眼角度A_eye的计算是透过左眼的左边与右边巩膜的长度差(L_LE-R_LE)与左眼与右眼总长度(L_LE+B_LE+R_LE+L_RE+B_RE+R_RE)的比例与右眼的右边与左边巩膜的长度差(R_RE-L_RE)与左眼与右眼总长度(L_LE+B_LE+R_LE+L_RE+B_RE+R_RE)的比例来获得。然而，上述仅是其中一种实现方式，其并非用以限制本发明。

请继续参照图2与图3，在人眼角度计算装置23依据影像计算人眼角度A_eye后，影像与计算出来的人眼角度A_eye及是否凝视无穷远处的信息被送到凝视角度判断装置24。于步骤S34中，若人眼非凝视无穷远处，则凝视角度判断装置24会计算人眼角度A_eye与人脸角度A_face的之角度和作为凝视角度，并进一步地判断凝视角度是否位于第一特定范围，其中第一特定范围为一个角度范围。举例来说，第一特定范围包括水平偏转角度范围为±5度与垂直仰角角度范围为40～50度。

当凝视角度位非于第一特定范围时，则表示人眼未凝视目标，故凝视角度判断装置24指示影像捕获装置20继续执行步骤S30；当凝视角度位 于第一特定范围时，则表示人眼凝视目标，故凝视角度判断装置24将影像传送给凝视目标判断装置25，以执行步骤S35。在步骤S35中，凝视目标判断装置25先计算焦距MF与人脸与目标之间的间隔距离L，再计算焦距MF与间隔距离L的差异值(MF-L)，接着，再判断此差异值是否位于第二特定范围内，其中第二特定范围为±D个单位距离的距离范围，亦即判断“-D≦(MF-L)≦D”是否为真。以下将进一步说明，计算焦距与间隔距离的实现方式。

请参照图6，图6是本发明实施例的人眼凝视目标的焦距的示意图。如图6所示，左右眼注视着焦点F，且人眼之焦距MF相关于左眼与右眼的巩膜与虹膜之间的关系。于此实施例中，更进一步地说，左眼眼球中心A与焦点F之间联机AF与左眼眼球中心A与焦点F之间联机AM形成的左眼角度A_(eye)L可以由左眼的左边巩膜所占巩膜的比例(L_LE/(L_LE+R_LE))决定，亦即，A_(eye)L＝180°·(L_LE/(L_LE+R_LE))，同样地，右眼眼球中心B与焦点F之间联机BF与左眼眼球中心B与焦点F之间联机BM形成的左眼角度A_(eye)R可以由左眼的左边巩膜所占巩膜的比例(R_RE/(L_RE+R_RE))决定，亦即，A_(eye)R＝180°·(R_RE/(L_RE+R_RE))。

接着，透过正弦定理，依据左眼角度A_(eye)L、右眼角度A_(eye)R与左右眼的两眼球中心点之间的距离AB便可以得到焦距MF。详细地说，透过正弦定理可以先获得，左眼眼球中心A到焦点的距离AF与右眼眼球中心B到焦点的距离BF，然后透过距离AB、AF、BF便能得到焦距MF。

正弦定理所衍生的关系式可以表示如下：

透过上述关系，可以求得距离AB、AF。另外，焦距MF的计算方式是透过三角形中线定理，其计算方式如下：

接着，请参照图7，图7是本发明实施例透过人脸面积计算人脸与目标的间隔距离的示意图。于图7中，人脸的面积为人脸宽度W与人脸高度H的乘积。一般来说，影像中的人脸面积(W·H)越大，表示人脸与目标OBJ之间隔距离L越小，相反地，影像中的人脸面积(W·H)越小，表示人脸与目标OBJ之间隔距离L越大。因此，可以将人脸面积的倒数1/(W·H)乘上一个特定数值来获得人脸与目标OBJ之间隔距离L。

当焦距MF与间隔距离L的差异值(MF-L)并未位于第二特定范围内时，则凝视目标判断装置25会指示影像捕获装置20继续执行步骤S30；当焦距MF与间隔距离L的差异值(MF-L)位于第二特定范围内时，则凝视目标判断装置25指示计时装置26执行步骤S36。

于步骤S36中，计时装置26计算凝视角度位于第一特定范围且焦距MF与间隔距离L的差异值(MF-L)位于第二特定范围内的持续或累积时间，以获得人眼凝视目标的凝视时间，并判断凝视时间是否大于特定值(例如T个单位时间)，以判断人眼是否持续凝视目标。若判断凝视时间未大于特定值，则计时装置26指示影像捕获装置20继续执行步骤S30；若判断凝视时间大于特定值，则计时装置26命令指示装置27执行步骤S37。于步骤S37中，指示装置27执行相应指令以通知其他硬件或装置执行对应的动作。

综合以上所述，本发明实施例提供的凝视分析方法与装置是根据左右眼之虹膜与巩膜的信息来判断人眼是否凝视目标，因此，相较于先前技术， 其不易受到光照影响，且计算复杂度较低，甚至其不需要采用高分辨率的镜头与红外线的辅助，故成本低廉。

以上所述，仅为本发明最佳的具体实施例，但本发明的特征并不局限于此，任何本领域技术人员在本发明的领域内，可轻易思及之变化或修饰，皆可涵盖在以下本案的保护范围内。

【符号说明】

10：人

11：电子装置

2：凝视分析装置

20：影像捕获装置

21：人脸检测装置

22：人脸角度计算装置

23：人眼角度计算装置

24：凝视角度判断装置

25：凝视目标判断装置

26：计时装置

27：指示装置

401：左眼左边巩膜部份

402：左眼虹膜

403：左眼右边巩膜部份

411：右眼左边巩膜部份

412：右眼虹膜

413：右眼右边巩膜部份

A_eye：人眼角度

S30～S37：步骤流程

M：左右眼之中心点

A_(eye)L：左眼角度

A_(eye)R：右眼角度

A：左眼眼球中心

B：右眼眼球中心

F：焦点

OBJ：目标

L_LE、B_LE、R_LE、L_RE、B_RE、R_RE：长度

L：间隔距离

W：人脸宽度

H：人脸高度