智能镜的脸部影像定位方法与流程

文档序号:29034097发布日期:2022-02-25 16:46阅读:56来源:国知局
智能镜的脸部影像定位方法与流程

1.本发明涉及一种智能镜,尤其涉及智能镜在撷取脸部影像时的定位方法。


背景技术:

2.近年来,市场上出现一种设置有反射镜、显示模块及影像撷取模块的智能镜。所述智能镜可通过反射镜来反射使用者的脸,以做为一般镜子使用,并且可通过影像撷取模块来撷取使用者的脸部影像。在对所撷取的脸部影像进行了分析后,智能镜可通过显示模块来显示分析结果,并且推荐相关的化妆信息。借此,使用者可以随着智能镜给出的建议与引导来进行化妆、保养等动作,相当便利。
3.上述智能镜主要是通过影像撷取模块来撷取使用者的脸部影像,并且通过演算法对脸部影像进行分析,以得到使用者的脸部数据(例如皮肤的光泽、弹性、黑斑、皱纹等),借此协助使用者进行化妆与保养。并且,当智能镜于不同时间点分别撷取并分析使用者的多张脸部影像后,还可借由多笔数据的比对,分析使用者的脸部状态是否有所改善。
4.一般来说,使用者是站立或坐在智能镜前方,并通过智能镜上的影像撷取模块来撷取上述脸部影像。然而,使用者每次相对于影像撷取模块的距离、角度可能都不同,因此智能镜将可能会取得不同尺寸、角度的脸部影像。如此一来,将可能会影响到智能镜对于使用者的脸部状态的分析结果。
5.举例来说,使用者脸上的黑斑已经借由保养而有明显改善(例如变小),但是因为在撷取脸部影像时使用者过于靠近影像撷取模块,使得智能镜取得了尺寸较大的脸部影像。如此一来,将可能导致智能镜在分析了前、后两张脸部影像后,做出黑斑没有改善的错误分析结果。


技术实现要素:

6.本发明的主要目的,在于提供一种智能镜的脸部影像定位方法,可为不同的使用者分别建立专属的定位样本,以确保使用者每次使用智能镜时都可以撷取具有相近似的距离与角度的脸部影像。
7.为了达成上述的目的,本发明的智能镜的脸部影像定位方法运用于一智能镜,该智能镜至少具有一处理器,以及与该处理器电性连接的一显示模块及一影像撷取模块,并且该脸部影像定位方法包括:
8.a)于该智能镜启动后,通过该显示模块显示一预设定位样本;
9.b)于通过该影像撷取模块检测到的一使用者的一即时影像对齐该显示模块上显示的该预设定位样本时,通过该影像撷取模块撷取该使用者的一脸部影像;
10.c)由该处理器对该脸部影像进行影像分析,以取得多个脸部特征点;
11.d)基于该多个脸部特征点建构多个轮廓线,其中该多个轮廓线至少描绘该使用者的脸部轮廓及五官;
12.e)依据该多个轮廓线建立该使用者的一自定义定位样本;及
13.f)储存该自定义定位样本,并对于该使用者,以该自定义定位样本取代该预设定位样本。
14.如上所述,其中该步骤c)是通过dlib face landmark系统演算法对该脸部影像进行分析以取得该多个脸部特征点。
15.如上所述,其中该步骤d)是通过索伯算子(sobel filter)处理该多个脸部特征点以建构该多个轮廓线。
16.如上所述,其中该步骤f)后更包括下列步骤:
17.g)于该智能镜再次启动后,通过该显示模块显示该自定义定位样本;
18.h)通过该影像撷取模块检测该使用者的该即时影像;
19.i)对该即时影像进行分析以取得一即时距离参数;
20.j)将该即时距离参数与一参考距离参数进行比对,其中该参考距离参数是基于该自定义定位样本所产生,该即时距离参数以相同产生方式作用于该即时影像而产生;
21.k)判断该即时距离参数与该参考距离参数的差异是否落在一阈值内;
22.l)于该即时距离参数与该参考距离参数的差异未落在该阈值内时再次执行该步骤h)至该步骤k);及
23.m)于该即时距离参数与该参考距离参数的差异落在该阈值内时通过该影像撷取模块撷取该使用者的另一脸部影像。
24.如上所述,其中该步骤l)是于该即时距离参数与该参考距离参数的差异未落在该阈值内时,先依据该即时距离参数与该参考距离参数的一差异结果通知该使用者进行一对应调整,接着再次执行该步骤h)至该步骤k)。
25.如上所述,其中该智能镜更包括连接该处理器的一储存模块,该储存模块储存该预设定位样本及多个该自定义定位样本,该多个自定义定位样本分别对应至不同的使用者,并且该步骤g)包括下列步骤:
26.g1)于该智能镜启动后,接受该使用者的一登入动作;
27.g2)基于该登入动作识别该使用者的身份;及
28.g3)依据该使用者的身份从该储存模块中读取对应的该自定义定位样本,并通过该显示模块显示所读取的该自定义定位样本。
29.如上所述,其中该步骤f)后更包括下列步骤:
30.f11)从该自定义定位样本中取得一脸部第一侧特征点及一脸部第二侧特征点,其中该处理器基于鼻梁而朝着垂直方向延伸产生一条虚拟垂直线,并基于虚拟垂直线将该自定义定位样本中的该使用者的脸部划分为一脸部第一侧及一脸部第二侧;
31.f12)连接该脸部第一侧特征点及该脸部第二侧特征点以产生一参考距离线;及
32.f13)基于该参考距离线产生该参考距离参数。
33.如上所述,其中该脸部第一侧特征点为一左眼眼头特征点或一左眼眼尾特征点,该脸部第二侧特征点为一右眼眼头特征点或一右眼眼尾特征点。
34.如上所述,其中该步骤i)包括下列步骤:
35.i11)由该处理器对该即时影像进行分析,以从该即时影像中取得一脸部第一侧特征点及一脸部第二侧特征点,其中该处理器基于鼻梁而朝着垂直方向延伸产生一虚拟垂直线,并基于该虚拟垂直线将该即时影像中的该使用者的脸部划分为一脸部第一侧及一脸部
第二侧;
36.i12)连接该脸部第一侧特征点与该脸部第二侧特征点以产生一即时距离线;及
37.i13)基于该即时距离线产生该即时距离参数。
38.如上所述,其中该即时距离参数至少包括该即时距离线的长度,并选择性地进一步包括该即时距离线相对于一水平面的一倾斜角度。
39.如上所述,其中该步骤f)后更包括下列步骤:
40.n)于该智能镜再次启动后,通过该显示模块显示该自定义定位样本;
41.o)通过该影像撷取模块检测该使用者的该即时影像;
42.p)对该即时影像进行分析以取得一即时距离参数及一即时角度参数;
43.q)将该即时距离参数与一参考距离参数进行比对,并将该即时角度参数与一参考角度参数进行比对,其中该参考距离参数及该参考角度参数是分别基于该自定义定位样本所产生,该即时距离参数及该即时角度参数是分别以相同产生方式作用于该即时影像而产生;
44.r)判断该即时距离参数与该参考距离参数的一第一差异以及该即时角度参数与该参考角度参数的一第二差异是否皆落在一阈值内;
45.s)于该第一差异或该第二差异未落在该阈值内时再次执行该步骤o)至该步骤r);及
46.t)于该第一差异及该第二差异皆落在该阈值内时撷取该使用者的另一脸部影像。
47.如上所述,其中该步骤s)是于该第一差异或该第二差异未落在该阈值内时,先依据该第一差异或该第二差异的内容通知该使用者进行一对应调整,接着再次执行该步骤o)至该步骤r)。
48.如上所述,其中该步骤f)后更包括下列步骤:
49.f21)从该自定义定位样本中取得一脸部第一侧特征点及一脸部第二侧特征点,其中该处理器基于鼻梁而朝着垂直方向延伸产生一虚拟垂直线,并基于该虚拟垂直线将该自定义定位样本中的该使用者的脸部划分为一脸部第一侧及一脸部第二侧;
50.f22)连接该脸部第一侧特征点及该脸部第二侧特征点以产生一参考距离线;及
51.f23)基于该参考距离线产生该参考距离参数。
52.如上所述,其中该步骤f)后更包括下列步骤:
53.f24)从该自定义定位样本中取得一脸部中线特征点、一脸部第一侧辅助特征点及一脸部第二侧辅助特征点,其中该处理器将通过鼻头的该虚拟垂直线作为一脸部中线,并将该脸部中线上的任一特征点作为该脸部中线特征点,将该脸部第一侧上相异于该脸部第一侧特征点的任意特征点作为该脸部第一侧辅助特征点,并将脸部第二侧上相异于该脸部第二侧特征点的任意特征点作为该脸部第二侧辅助特征点;
54.f25)连接该脸部第一侧特征点、该脸部中线特征点及该脸部第一侧辅助特征点以产生一左参考多边形,并且连接该脸部第二侧特征点、该脸部中线特征点及该脸部第二侧辅助特征点以产生一右参考多边形;及
55.f26)基于该左参考多边形及该右参考多边形产生该参考角度参数。
56.如上所述,其中脸部中线特征点为一鼻头特征点,该脸部第一侧特征点为一左眼眼头特征点或一左眼眼尾特征点,该脸部第二侧特征点为一右眼眼头特征点或一右眼眼尾
特征点,该脸部第一侧辅助特征点为一左鼻翼特征点,该脸部第二侧辅助特征点为一右鼻翼特征点,该左参考多边形及该右参考多边形分别为一三角形。
57.如上所述,其中该步骤p)包括下列步骤:
58.p1)由该处理器对该即时影像进行分析,以至少从该即时影像中取得一脸部第一侧特征点、一脸部第二侧特征点、一脸部中线特征点、一脸部第一侧辅助特征点及一脸部第二侧辅助特征点,其中该处理器基于鼻梁而朝着垂直方向延伸产生一虚拟垂直线,并基于该虚拟垂直线将该即时影像中的该使用者的脸部划分为一脸部第一侧及一脸部第二侧,将通过鼻头的该虚拟垂直线作为一脸部中线,并将该脸部中线上的任一特征点作为该脸部中线特征点,其中该脸部第一侧特征点相异于该脸部第一侧辅助特征点,并且该脸部第二侧特征点相异于该脸部第二侧辅助特征点;
59.p2)连接该脸部第一侧特征点及该脸部第二侧特征点以产生一即时距离线;
60.p3)基于该即时距离线产生该即时距离参数;
61.p4)连接该脸部第一侧特征点、该脸部中线特征点及该脸部第一侧辅助特征点以产生一左即时多边形,并且连接该脸部第二侧特征点、该脸部中线特征点及该脸部第二侧辅助特征点以产生一右即时多边形;及
62.p5)基于该左即时多边形及该右即时多边形产生该即时角度参数。
63.如上所述,其中该脸部第一侧特征点为一左眼眼头特征点或一左眼眼尾特征点、该脸部第二侧特征点为一右眼眼头特征点或一右眼眼尾特征点、该脸部中线特征点为一鼻头特征点、该脸部第一侧辅助特征点为一左鼻翼特征点、该脸部第二侧辅助特征点为一右鼻翼特征点、该左即时多边形与该右即时多边形分别为一三角形。
64.如上所述,其中该即时距离参数至少包括该即时距离线的长度,并选择性地进一步包括该即时距离线相对于一水平面的一倾斜角度,该即时角度参数包括该左即时多边形的面积、该右即时多边形的面积以及该左即时多边形与该右即时多边形的一比值。
65.如上所述,其中该步骤t)是于该第一差异及该第二差异皆落在该阈值内时发出一允许通知,并且撷取该使用者的该另一脸部影像。
66.如上所述,其中处理器于该步骤t)中改变该自定义定位样本于该显示模块上的显示颜色以发出该允许通知。
67.与相关技术相比,本发明借由依据使用者自身的脸部影像来建立自定义定位样本,并且让使用者在拍照前通过自定义定位样本来进行定位,可以确保每次撷取的脸部影像都具有相当近似的尺寸与角度。如此一来,可以有效提高智能镜对于使用者的脸部数据的分析品质以及准确率。
68.以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
69.图1为本发明的智能镜的示意图的第一具体实施例;
70.图2为本发明的智能镜的方块图的第一具体实施例;
71.图3为本发明的处理器方块图的第一具体实施例;
72.图4为本发明的定位样本产生流程图的第一具体实施例;
73.图5a为本发明的第一取代动作示意图;
74.图5b为本发明的第二取代动作示意图;
75.图5c为本发明的第三取代动作示意图;
76.图5d为本发明的第四取代动作示意图;
77.图6为本发明的参考数据产生流程图的第一具体实施例;
78.图7为本发明的参考数据示意图的第一具体实施例;
79.图8为本发明的定位流程图的第一具体实施例。
80.其中,附图标记:
[0081]1…
智能镜;
[0082]
10

处理器;
[0083]
101

特征点定位模块;
[0084]
102

轮廓线建构模块;
[0085]
103

定位样本产生模块;
[0086]
104

定位参数计算模块;
[0087]
105

比对模块;
[0088]
11

显示模块;
[0089]
12

影像撷取模块;
[0090]
13

输入模块;
[0091]
14

储存模块;
[0092]
141

预设定位样本;
[0093]
142

自定义定位样本;
[0094]2…
使用者;
[0095]3…
脸部影像;
[0096]
31

脸部特征点;
[0097]
32

轮廓线;
[0098]
401

脸部第一侧;
[0099]
402

脸部第二侧;
[0100]
41

脸部第一侧特征点;
[0101]
42

脸部第二侧特征点;
[0102]
43

脸部中线特征点;
[0103]
44

脸部第一侧辅助特征点;
[0104]
45

脸部第二侧辅助特征点;
[0105]
50

虚拟垂直线;
[0106]
51

参考距离线;
[0107]
52

左参考多边形;
[0108]
53

右参考多边形;
[0109]
s10~s28

定位样本产生步骤;
[0110]
s40~s52

参考数据产生步骤;
[0111]
s60~s78

定位步骤。
具体实施方式
[0112]
下面结合附图对本发明的结构原理和工作原理作具体的描述:
[0113]
兹就本发明之一较佳实施例,配合附图,详细说明如后。
[0114]
首请参阅图1及图2,图1为本发明的智能镜的示意图的第一具体实施例,图2为本发明的智能镜的方块图的第一具体实施例。
[0115]
如图1及图2所示,本发明揭露了一种智能镜1,所述智能镜1主要具有处理器10,以及与处理器10电性连接的显示模块11、影像撷取模块12及输入模块13。智能镜1的本体正面上设置有反射镜面,所述显示模块11设置于反射镜面后方,并与反射镜面整合为一体。
[0116]
本发明中,智能镜1可通过反射镜面反射使用者的影像,并且通过显示模块11显示相关信息(例如显示影像撷取模块12所撷取的影像,或是处理器10基于影像分析结果)。当显示模块11的亮度大于一个预设门槛时,显示模块11的显示内容可以穿透反射镜面而直接显示于反射镜面上,以供使用者直接查看。
[0117]
具体地,所述智能镜1可通过输入模块13接受使用者的操作,以进入脸部状态分析模式。于进入所述脸部状态分析模式后,智能镜1即可通过影像撷取模块12来撷取使用者的脸部影像,并且再借由处理器10对脸部影像进行分析,以判断使用者当前的脸部状态(例如皮肤的光泽、弹性、黑斑、皱纹等)。最后,智能镜1再通过显示模块11来显示处理器10的分析结果。
[0118]
于一实施例中,所述输入模块13可为独立的实体按键或触控式按键,不加以限定。于另一实施例中,所述显示模块11可为触控式显示模块,并可通过反射镜面接受外部触发,于此实施例下,输入模块13可与显示模块11整合为一体,而不必单独存在。
[0119]
于一实施例中,所述影像撷取模块12可为相机或任何可以取得外部影像的影像感测器,并且影像撷取模块12朝向智能镜1的正面设置,用以撷取位于智能镜1前方的使用者的影像(尤其是脸部影像)。
[0120]
于一实施例中,所述处理器10可为中央处理单元(central processing unit,cpu)、微控制单元(micro control unit,mcu)、片上系统(system on a chip,soc)等,不加以限定。所述处理器10内嵌有特定的电脑可执行程序,当处理器10执行了电脑可执行程序后,即可控制智能镜1的内部元件进行作动,以实现本发明的脸部影像定位方法(下面将于说明书中简称为定位方法)。
[0121]
如前文所述,智能镜1的处理器10主要是对影像撷取模块12所撷取的使用者的脸部影像进行分析,因此脸部影像的解析度,以及使用者的脸在脸部影像中的位置、尺寸、角度等因素,都将会影响处理器10的分析结果的准确性。有鉴于此,本发明的定位方法主要是用以在撷取影像时对使用者进行导引,以协助使用者在不同时间点操作智能镜1时,都可以令智能镜1的影像撷取模块12撷取到尺寸、角度都近似的脸部影像,借此维护处理器10的分析品质。
[0122]
具体地,本案的主要技术方案是在使用者第一次使用智能镜1时撷取使用者的脸部影像,并且对这个脸部影像进行处理,以生成一个专属于此位使用者的自定义定位样本142,并且以自定义定位样本142取代智能镜1内建且通用的预设定位样本141。借由这样的技术手段,同一位使用者在后续使用智能镜1时,都可通过已建立的自定义定位样本142来于智能镜1前方进行定位,以令影像撷取模块12可以撷取具有相近似的尺寸、角度的脸部影
像。如此一来,可以有效提高处理器10在所述脸部状态分析模式中的分析品质以及准确率。
[0123]
如图2所述,智能镜1还可具有连接处理器10的储存模块14,所述预设定位样本141与自定义定位样本142可储存于储存模块14内,并由处理器10于需要时从储存模块14中读取。于一实施例中,所述储存模块14可为硬盘(hard disk drive,hdd)、固态硬盘(solid-state disk,ssd)或非易失性存储器(non-volatile memory)等。于另一实施例中,所述储存模块14可为可携式储存单元或是云端硬盘,并且通过连接接口或是网络与智能镜1通讯连接,不加以限定。
[0124]
参阅图3,为本发明的处理器方块图的第一具体实施例。如上所述,所述处理器10主要是借由电脑可执行程序来控制智能镜1执行本发明的定位方法,并且基于定位方法的各个执行步骤,可将电脑可执行程序依功能划分为多个数字的软件模块,具体包括特征点定位模块101、轮廓线建构模块102、定位样本产生模块103、定位参数计算模块104及比对模块105。
[0125]
请同时参阅图4,为本发明的定位样本产生流程图的第一具体实施例。首先,于使用者第一次使用智能镜1时,先启动智能镜1(步骤s10),此时为了协助使用者在智能镜1前方进行定位以令影像撷取模块12取得可被用来分析的脸部影像,智能镜1从储存模块14中读取所述预设定位样本141,并且通过显示模块11显示预设定位样本141(步骤s12)。
[0126]
接着,处理器10通过影像撷取模块12持续检测使用者的即时影像(即,不实际撷取以及储存使用者的脸部影像),并且判断即时影像的当前位置是否对齐了显示模块11上显示的预设定位样本141(步骤s14)。于所述即时影像尚未对齐预设定位样本141前,处理器10控制显示模块11发出警示(步骤s16),并且通过影像撷取模块12持续检测使用者的即时影像,直到影像撷取模块12所检测的即时影像对齐预设定位样本141为止。
[0127]
具体地,于步骤s16中,处理器10主要可控制显示模块11以文字、颜色、图型、声音或振动等方式来发出警示,但不以此为限。
[0128]
若于步骤s14中判断使用者的即时影像对齐了显示模块11上显示的预设定位样本141,则处理器10控制影像撷取模块12撷取使用者的脸部影像(步骤s18)。
[0129]
步骤s18后,处理器10即取得了使用者的一张脸部影像。接着,处理器10可通过上述特征点定位模块101对脸部影像进行分析,以从脸部影像中取得多个脸部特征点(步骤s20),再通过上述轮廓线建构模块102对多个脸部特征点进行计算,以建构多个轮廓线(步骤s22)。本实施例中,处理器10是通过多个轮廓线来描绘脸部影像中的使用者的脸部轮廓以及五官,但不以此为限。
[0130]
于一实施例中,所述特征点定位模块101可通过dlib face landmark系统演算法对脸部影像进行分析,以取得多个脸部特征点。并且,所述轮廓线建构模块102可通过索伯算子(sobel filter)对多个脸部特征点进行计算,以基于多个脸部特征点建构多个轮廓线。惟,上述仅为本发明的具体实施范例,但不应以上述为限。
[0131]
于产生了所述多个轮廓线后,处理器10进一步通过上述定位样本产生模块103来依据多个轮廓线建立专属于此位使用者的自定义定位样本142(步骤s24)。值得一提的是,所述自定义定位样本142是基于使用者的脸部影像所产生,并且可依据定位样本产生模块103的设定而至少描绘使用者的脸部轮廓以及眉毛、眼睛、鼻子、嘴唇等脸部特征,但不加以限定。
[0132]
本发明中,处理器10可在所述自定义定位样本142产生后,依据预设定位样本141的绝对座标来调整自定义定位样本142在显示模块11上的绝对座标,借此,令处理器10可以自定义定位样本142来取代预设定位样本141。然而,不同使用者具有不同的脸型与五官尺寸,因此所建立的自定义定位样本142也大不相同。在步骤s24后,使用者还可通过输入模块13自行调整自定义定位样本142在显示模块11上的显示位置、角度以及大小(步骤s26),以令自定义定位样本142更为符合使用者的实际需求。
[0133]
于另一实施例中,使用者亦可选择不对处理器10所生成的自定义定位样本142进行任何调整。
[0134]
于步骤s24或步骤s26后,处理器10即可将自定义定位样本142储存至储存模块14中,并且以自定义定位样本142来取代预设定位样本141(步骤s28)。
[0135]
于步骤s28后,若同一位使用者再次启动智能镜1,处理器10将会在显示模块11上直接显示与使用者的身份相符的自定义定位样本142,并且令使用者通过自定义定位样本142来进行定位。如此一来,使用者后续撷取的所有脸部影像的各项特征(例如尺寸、角度)皆可相近于在步骤s18中取得的脸部影像的各项特征,借此可有效提高处理器10的分析品质与准确率。
[0136]
续请参阅图5a至图5d,为本发明的第一取代动作示意图至第四取代动作示意图。具体地,图5a至图5d用以更详细地对上述图4的步骤s12至步骤s28进行说明。
[0137]
如图5a所示,当一个使用者2第一次使用智能镜1时(即,尚未取得使用者的任何脸部影像),智能镜1会于显示模块11上显示一张简易、通用的预设定位样本141。基于简易、通用的原则,预设定位样本141被简易化设计以能比对至多数不同的使用者。举例来说,预设定位样本141可能只包含眼睛及鼻子之比对区域。
[0138]
接着如图5b所示,使用者2需站立或坐在智能镜1的前方,并且位于影像撷取模块12的视野范围(field of view,fov)内,以令影像撷取模块12撷取使用者2的脸部影像3。具体地,处理器10是通过影像撷取模块12持续检测并取得使用者的即时影像,并且在判断使用者的即时影像对齐了显示模块11上显示的预设定位样本141时,控制影像撷取模块12撷取使用者的脸部影像3。
[0139]
接着如图5c所示,处理器10通过特征点定位模块101分析脸部影像3以取得多个脸部特征点31(例如通过dlib face landmark系统演算法从脸部影像3中取得119个脸部特征点)、通过轮廓线建构模块102处理多个脸部特征点31以建构多个轮廓线32、并且通过定位样本产生模块103处理多个轮廓线32以生成一张专属于使用者2的自定义定位样本142。
[0140]
最后,如图5d所示,处理器10将生成的自定义定位样本142储存于储存模块14中。并且,待使用者2再次启动智能镜1时,处理器10直接于显示模块11上显示专属于该位使用者2的自定义定位样本142,而不再显示上述预设定位样本141。
[0141]
通过本发明的上述技术方案,智能镜1可以显示更贴近使用者2的真实脸孔的定位样本,借此协助使用者进行更有效率的定位动作,进而令智能镜1可以在不同时间点取得尺寸、角度都相近的多张脸部影像3。
[0142]
于生成了专属于使用者2的自定义定位样本142后,当使用者2下一次使用智能镜1时,处理器10即可基于自定义定位样本142与使用者2的即时影像的比对来判断使用者的位置是否妥当,进而判断是否要执行影像撷取动作。
[0143]
更具体地,于上述的比对程序中,处理器10主要可先对自定义定位样本142进行分析以产生一或多笔第一参数,并且对使用者2的即时影像进行分析以产生一或多笔第二参数,并且基于第一参数以及第二参数来执行比对程序。借此,处理器10可以判断使用者的即时影像与自定义定位样本142的相似度,进而决定是否要执行影像撷取动作(容后详述)。
[0144]
续请同时参阅图6及图7,其中图6为本发明的参考数据产生流程图的第一具体实施例,图7为本发明的参考数据示意图的第一具体实施例。
[0145]
如前文所述,自定义定位样本142是基于使用者2的脸部影像3所生成的,并且至少描绘了使用者2的使用者的脸部轮廓以及眉毛、眼睛、鼻子、嘴唇等脸部特征。
[0146]
于取得自定义定位样本142后,处理器10可通过上述定位参数计算模块104对自定义定位样本142进行分析,以至少从中取得脸部第一侧特征点41与脸部第二侧特征点42(步骤s40)。接着,定位参数计算模块104连接脸部第一侧特征点41与脸部第二侧特征点42以产生一条虚拟的参考距离线51(步骤s42),并且再基于参考距离线来计算产生一笔参考距离参数(步骤s44)。于一实施例中,处理器10是基于自定义定位样本142的参考距离参数来与使用者2的即时影像进行比对,以判断是否执行影像撷取动作。
[0147]
于步骤s40中,处理器10主要是于自定义定位样本142中所包含的脸部上产生基于鼻梁而朝着垂直方向延伸的虚拟垂直线50,并且基于此虚拟垂直线50将自定义定位样本142中的使用者的脸部划分为脸部第一侧401及脸部第二侧402。其中,处理器10产生基于鼻梁而朝着垂直方向延伸的虚拟垂直线50的方法例如是通过鼻头与左右两眼头之中心点的产生一虚拟垂直线50;另一实施例则例如利用图5c中所取得之在鼻梁位置之多个脸部特征点31来产生,或者利用图5c中所取得之在鼻子位置之多个脸部特征点31为基础,适当利用距离关系计算来产生。
[0148]
具体地,上述脸部第一侧特征点41指的是落在脸部第一侧401内,且位置不易随表情变化而有大幅度移动可能的任意特征点,而脸部第二侧特征点42指的是落在脸部第二侧402内,且位置不易随表情变化而有大幅度移动可能的任意特征点。于一实施例中,所述脸部第一侧401可为脸部左侧,而脸部第一侧特征点41可为左眼眼头特征点或左眼眼尾特征点;所述脸部第二侧402可为脸部右侧,而脸部第二侧特征点42可为右眼眼头特征点或右眼眼尾特征点,但不加以限定。
[0149]
值得一提的是,所述参考距离参数是一笔绝对数值,其内容相当于脸部第一侧特征点41与脸部第二侧特征点42间的像素数量。具体地,所述参考距离参数至少包括参考距离线51的长度,但可进一步地包括参考距离线51相对于一个水平面的倾斜角度,不加以限定。其中,参考距离线51相对于水平面的倾斜角度可用于辅助判断使用者2的脸部(头部)是否有左右倾斜。
[0150]
除了脸部第一侧特征点41与脸部第二侧特征点42外,定位参数计算模块104还可经过分析而从自定义定位样本142上取得脸部中线特征点43、脸部第一侧辅助特征点44及脸部第二侧辅助特征点45(步骤s46)。接着,定位参数计算模块104连接脸部第一侧特征点41、脸部中线特征点43以及脸部第一侧辅助特征点44以产生一个虚拟的左参考多边形52,并且连接脸部第二侧特征点42、脸部中线特征点43以及脸部第二侧辅助特征点45以产生一个虚拟的右参考多边形53(步骤s48)。
[0151]
于步骤s46中,处理器10主要是将通过鼻头的所述虚拟垂直线50作为脸部中线,并
将脸部中线上的任一特征点作为所述脸部中线特征点43。并且,处理器10于步骤s46中还将脸部第一侧401上相异于脸部第一侧特征点41的任意特征点作为所述脸部第一侧辅助特征点44,并将脸部第二侧402上相异于脸部第二侧特征点42的任意特征点作为所述脸部第二侧辅助特征点45。其中,所述脸部第一侧辅助特征点44及所述脸部第二侧辅助特征点45可以同上述说明,选择位置不易随表情变化而有大幅度移动可能的任意特征点。
[0152]
于一实施例中,所述脸部中线特征点43为落在鼻头上的鼻头特征点,脸部第一侧辅助特征点44为落在鼻子一侧的左鼻翼特征点,而脸部第二侧辅助特征点45为落在鼻子另一侧的右鼻翼特征点。于本实施例中,处理器10可基于左眼眼头特征点、脸部中线特征点及左鼻翼特征点来产生所述左参考多边形52,并基于右眼眼头特征点、脸部中线特征点及右鼻翼特征点来产生所述右参考多边形53。其中,所述左参考多边形52与右参考多边形53分别为一个三角形。
[0153]
步骤s48后,定位参数计算模块104即可基于左参考多边形52与右参考多边形53来计算产生一笔参考角度参数(步骤s50)。于一实施例中,处理器10是基于自定义定位样本142的参考角度参数来与使用者2的即时影像进行比对,以判断是否执行影像撷取动作。
[0154]
值得一提的是,所述参考角度参数也是一笔绝对数值,其内容相当于由脸部第一侧特征点41、脸部中线特征点43以及脸部第一侧辅助特征点44所围成的范围内的像素数量,和/或由脸部第二侧特征点42、脸部中线特征点43以及脸部第二侧辅助特征点45所围成的范围内的像素数量。具体地,所述参考角度参数至少包括左参考多边形52的面积、右参考多边形53的面积、左参考多边形52与右参考多边形53的比值等,但不加以限定。
[0155]
值得一提的是,上述步骤s40至步骤s44用以基于自定义定位样本142产生参考距离参数,步骤s46至步骤s50用以基于自定义定位样本142产生参考角度参数,但该些步骤彼此间没有执行上的顺序关系。换句话说,处理器10可以选择性地先计算参考距离参数或是先计算参考角度参数,或是通过多工处理而同时计算参考距离参数以及参考角度参数,不加以限定。于步骤s44及步骤s50后,处理器10即可进一步储存计算所得的参考距离参数与参考角度参数(步骤s52)。
[0156]
值得一提的是,定位参数计算模块104建立上述参考距离线51、左参考多边形52与右参考多边形53的目的在于计算参考距离参数与参考角度参数,因此处理器10不必然将参考距离线51、左参考多边形52与右参考多边形53显示于显示模块11上。换句话说,当使用者2在智能镜1前方进行定位时,虽可从显示模块11上看到自定义定位样本142,但不必然会在自定义定位样本142上看到参考距离线51、左参考多边形52与右参考多边形53。
[0157]
于取得了所述参考距离参数与参考角度参数后,处理器10即可在使用者2下次使用智能镜1时,协助使用者2在智能镜1前方进行定位,以利影像撷取模块12取得与前次的特征相近似的脸部影像,进而达到前述提高脸部状态分析程序的分析品质的技术功效。
[0158]
请参阅图8,为本发明的定位流程图的第一具体实施例。如图8所示,使用者2可以在要进行脸部状态分析程序时再次启动智能镜1(步骤s60),此时,智能镜1将会于显示模块11上显示先前建立的自定义定位样本142。
[0159]
具体地,一个智能镜1可能同时提供给多位使用者2使用,而经由上述图4所述之步骤,处理器10可以分别为不同使用者2生成不同的自定义定位样本142,并且储存于储存模块14中。因此,当一位使用者2启动智能镜1后,智能镜1可以通过输入模块13接受使用者2的
登入动作(步骤s62),例如接收使用者的帐号与密码、接收指纹、进行脸部识别等,并且基于登入动作来识别使用者2的身份。
[0160]
于使用者2登入完成后,处理器10可以依据使用者2的身份来从储存模块14中读取对应的自定义定位样本142,并且显示于显示模块11上(步骤s64)。如此一来,可以有效降低以往在进行影像撷取动作时,不同的使用者皆使用通用的预设定位样本141来进行定位,使得所撷取的影像品质不佳的问题。
[0161]
值得一提的是,由于一个智能镜1可能只被一位使用者2所使用,而只储存了一位使用者2的自定义定位样本142,因此上述步骤s62并不必然存在。
[0162]
步骤s64后,使用者2即可位于智能镜1前方,并且借由显示模块11上显示的自定义定位样本142来进行定位(步骤s66)。具体地,当使用者2位于智能镜1前方时,智能镜1会通过反射镜面反射使用者2的影像,而当使用者2在反射镜面上的影像对齐显示模块11上显示的自定义定位样本142时,处理器10就会认定使用者2当前的位置适当,并且控制影像撷取模块12撷取使用者2的脸部影像。
[0163]
更具体地,在步骤s64后,处理器10会控制影像撷取模块12持续检测外部的影像。若使用者2位于智能镜1前方,则影像撷取模块12可以检测到使用者2的即时影像(步骤s68)。本实施例中,处理器10所判断的使用者2的即时影像的显示位置,对应至使用者2的影像在反射镜面上的位置,但不以此为限。接着,处理器10对所取得的即时影像进行分析,以从即时影像中取得即时距离参数与即时角度参数(步骤s70)。
[0164]
于另一实施例中,处理器10在步骤s70中可以只基于即时影像计算即时距离参数,并且在步骤s72中仅比对即时距离参数与参考距离参数。于又一实施例中,处理器10在步骤s70中可以只基于即时影像计算即时角度参数,并且在步骤s72中仅比对即时角度参数与参考角度参数。为便于一次性解释,下面说明将以同时计算即时距离参数以及即时角度参数为例,但并不以此为限。
[0165]
值得一提的是,如图6及图7所述,所述参考距离参数以及参考角度参数是由处理器10基于自定义定位样本142所产生。而于本实施例中,所述即时距离参数与即时角度参数则是由处理器10将用来产生所述参考距离参数以及参考角度参数的相同产生方式作用于使用者2的即时影像上,进而所产生的。
[0166]
具体地,于上述步骤s70中,处理器10主要是通过上述定位参数计算模块140来对使用者2的即时影像执行图6所述的各步骤,借此基于即时影像产生即时距离参数与即时角度参数。换句话说,即时距离参数与即时角度参数的产生规则相同或相似于前述参考距离参数与参考角度参数的产生规则。
[0167]
更具体地,处理器10在上述步骤s70中主要是对检测所得的即时影像进行分析,以至少从即时影像中取得脸部第一侧特征点、脸部第二侧特征点、脸部中线特征点、脸部第一侧辅助特征点及脸部第二侧辅助特征点。接着,处理器10连接脸部第一侧特征点及脸部第二侧特征点以产生一条虚拟的即时距离线,并且基于即时距离线产生所述即时距离参数。本实施例中,所述即时距离参数至少包括所述即时距离线的长度,并可选择性地进一步包括即时距离线相对于一个水平面的倾斜角度。
[0168]
处理器10还连接脸部第一侧特征点、脸部中线特征点及脸部第一侧辅助特征点以产生一个左即时多边形,并且连接脸部第二侧特征点、脸部中线特征点及脸部第二侧辅助
特征点以产生一个右即时多边形,并且再基于左即时多边形及右即时多边形产生所述即时角度参数。本实施例中,所述即时角度参数可例如包括左即时多边形的面积、右即时多边形的面积以及左即时多边形与右即时多边形的比值等,但不加以限定。
[0169]
本实施例中的即时距离线、左即时多边形、右即时多边形、即时距离参数以及即时角度参数,是相同或相似于前文中的参考距离线51、左参考多边形52、右参考多边形53、参考距离参数以及参考角度参数,故于此不再赘述。
[0170]
与图6、图7中所示者类似,本实施例中,处理器10可基于即时影像中的脸部上的鼻梁朝着垂直方向延伸产生一条虚拟垂直线,并基于虚拟垂直线将即时影像中的脸部划分为脸部第一侧及脸部第二侧。其中,处理器10产生基于鼻梁而朝着垂直方向延伸的虚拟垂直线的方法例如是通过鼻头与左右两眼头之中心点的产生一虚拟垂直线;另一实施例则例如利用图5c中所取得之在鼻梁位置之多个脸部特征点31来产生,或者利用图5c中所取得之在鼻子位置之多个脸部特征点31为基础,适当利用距离关系计算来产生。
[0171]
借此,处理器可将落在脸部第一侧内且位置不易随表情变化而有大幅度移动可能的任意特征点作为脸部第一侧特征点,并将落在脸部第二侧内且位置不易随表情变化而有大幅度移动可能的任意特征点作为脸部第二侧特征点。并且,处理器10可将通过即时影像中的脸部上的鼻头的虚拟垂直线作为脸部中线,并将脸部中线上的任一特征点作为所述脸部中线特征点。进一步,处理器1将脸部第一侧上相异于脸部第一侧特征点的任意特征点作为所述脸部第一侧辅助特征点,并将脸部第二侧上相异于脸部第二侧特征点的任意特征点作为所述脸部第二侧辅助特征点。
[0172]
本实施例中,处理器10从即时影像中取得的脸部第一侧特征点可例如为左眼眼头特征点或左眼眼尾特征点、脸部第二侧特征点可例如为右眼眼头特征点或右眼眼尾特征点、脸部中线特征点可例如为鼻头特征点、脸部第一侧辅助特征点可例如为左鼻翼特征点、脸部第二侧辅助特征点可例如为右鼻翼特征点。并且,所述左即时多边形与右即时多边形可分别为三角形。惟,上述仅为本发明的部分实施范例,但不以此为限。
[0173]
于步骤s70后,处理器10将即时距离参数与参考距离参数进行比对,并且将即时角度参数与参考角度参数进行比对(步骤s72)。具体地,于步骤s72中,处理器10主要是通过图3所示的比对模块105来计算即时距离参数与参考距离参数的相似度,并且计算即时角度参数与参考角度参数的相似度,借此,可以进一步获得使用者2当前的即时影像与显示模块11上显示的自定义定位样本142间的相似度。
[0174]
值得一提的是,此处所指的相似度,指的是即时影像与自定义定位样本142在位置、形状、大小、偏转角度等数据上的相似度,而非指视觉上的相似度。
[0175]
借由比对即时影像上的即时距离线与自定义定位样本142上的参考距离线51,处理器10可以判断使用者2当前与智能镜1之间的距离以及水平转角。例如,即时距离线越长,代表使用者2越靠近智能镜1(也就是越靠近影像撷取模块12)。若即时距离线比参考距离线51长,代表相较于在撷取用来制作自定义定位样本142的脸部影像的时候,使用者2目前的位置更接近智能镜1。
[0176]
另外,借由比对即时影像上的左即时多边形、右即时多边形与自定义定位样本142上的左参考多边形52、右参考多边形53,处理器10还可以判断使用者2当前相对于智能镜1的左右转角与上下仰角。例如,若左即时多边形的面积大于左参考多边形52的面积,并且右
即时多边形的面积小于右参考多边形53的面积,代表相较于在撷取用来制作自定义定位样本142的脸部影像的时候,使用者2目前相对于智能镜1的角度更偏向右转。
[0177]
再例如,若与自定义定位样本142相比后,发现脸部第一侧特征点至脸部中线特征点的连线变长,代表使用者2的头朝下仰;若脸部第一侧特征点至脸部中线特征点的连线变短,代表使用者2的头向上仰。
[0178]
惟,上述说明仅为本发明的几种具体实施范例,但并不以上述判断方式为限。
[0179]
借由步骤s72的比对,处理器10可以得到即时距离参数与参考距离参数的第一差异,并且可得到即时角度参数与参考角度参数的第二差异。并且,处理器10进一步判断所述第一差异与所述第二差异是否皆落在预设的一个阈值内(步骤s74)。
[0180]
若第一差异大于阈值,代表使用者2目前的位置可能太近或太远。若第二差异大于阈值,代表使用者2目前相对于智能镜1的角度偏移量过多。于此情况下,影像撷取模块12无法取得与用来制作自定义定位样本142的脸部影像相近似的另一张脸部影像。因此,若第一差异或是第二差异未落在阈值内,处理器10会重复执行步骤s66至步骤s72,以持续检测使用者2的即时影像,并且持续将即时影像与自定义定位样本142进行比对。
[0181]
于另一实施例中,若第一差异或是第二差异未落在阈值内,处理器10还可先依据所述第一差异或是第二差异的内容来通知使用者进行对应调整(例如调整使用者在智能镜1前的位置),接着再重复执行步骤s66至步骤s72,但不加以限定。
[0182]
若经过判断后认为所述第一差异以及第二差异皆落在阈值内时,则处理器10通过显示模块11发出允许通知(步骤s76),并且控制影像撷取模块12撷取使用者2的另一张脸部影像(步骤s78)。
[0183]
于一实施例中,处理器10可以借由改变自定义定位样本142在显示模块11上的显示颜色来代表所述允许通知。于另一实施例中,处理器10可以借由在显示模块11上显示文字或图形来代表所述允许通知。于又一实施例中,处理器10可以通过蜂鸣器(图未标示)以声音形式发出所述允许通知。
[0184]
经由本发明的上述程序,处理器10可以确保在步骤s78中取得的脸部影像与在前述步骤s18中取得的脸部影像具有相近似的数据(尺寸、角度等)。如此一来,当处理器10经由其他演算法(图未标示)对前、后两张脸部影像进行分析与比对后,将可得出较为精确的分析结果,进而提高智能镜1执行脸部状态分析程序的分析品质与准确率。
[0185]
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1