检测人员使用手持装置的方法及装置的制造方法
【专利摘要】本发明提供一种检测人员使用手持装置的方法及装置。此装置包括图像获取单元、存储单元以及处理单元。图像获取单元获取人员的图像序列。存储单元存储图像序列以及预设嘴部信息。处理单元耦接至存储单元以取得图像序列。处理单元分析图像序列的每一个图像，以获得脸部目标。处理单元依据脸部目标决定耳侧位置区域以及嘴部位置区域。处理单元在图像序列的每一个图像，检测目标物体，以计算目标物体的移动轨迹。在处理单元检测到移动轨迹为目标物体朝向耳侧位置区域移动之后，比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断人员是否正在使用手持装置。
【专利说明】
检测人员使用手持装置的方法及装置
技术领域
[0001]本发明是有关于一种图像识别技术，且特别是有关于一种利用图像识别技术来检测人员使用手持装置的方法及装置。
【背景技术】
[0002]随着移动通信等技术的快速发展，人们可使用诸如功能型手机(feature phone)或智能手机(smart phone)等类型的手持装置来进行通话、传信息甚至是网际网络(Internet)浏览。此外，随着半导体制作工艺、材料、机构设计等技术的进步，手持装置逐渐具备符合轻薄设计以方便手持操作。因此，手持装置所带来的方便性，使得人们的生活逐渐无法脱离手持装置。
[0003]另一方面，随着交通运输的发达，促进了地方的发展，但是人为驾驶交通工具不当所造成的交通事故，俨然成为危害社会安全的主要因素。然而，人们时常会在驾驶交通工具同时还使用手持装置，此时，人们往往会因为注意力分散等因素，而导致交通意外发生。因此，如何有效且即时地监控驾驶行为或其他不适合使用手持装置的情况，以避免意外发生，将会是此领域中亟需解决的问题。
【发明内容】
[0004]本发明提供一种检测人员使用手持装置的方法及装置，其可通过图像识别技术来判断手持装置的移动轨迹以及人员的嘴部动作，以准确且快速地判断人员是否使用手持装置。
[0005]本发明提供一种检测人员使用手持装置的方法，适用于电子装置，此方法包括下列步骤。获取人员的图像序列。分析图像序列的每一个图像，以获得脸部目标。依据脸部目标来决定耳侧位置区域以及嘴部位置区域。在图像序列的每一个图像，检测目标物体，以计算目标物体的移动轨迹。在检测到移动轨迹为目标物体朝向耳侧位置区域移动之后，比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断人员是否正在使用手持装置。
[0006]在本发明的一实施例中，上述在图像序列的每一个图像，检测目标物体，以计算目标物体的移动轨迹包括下列步骤。计算目标物体的垂直投影量与水平投影量，以获得目标物体的尺寸范围。在尺寸范围内取基准点。通过图像序列的每一个图像中的基准点的位置，获得移动轨迹。
[0007]在本发明的一实施例中，上述依据脸部目标决定耳侧位置区域以及嘴部位置区域包括下列步骤。通过人脸检测算法获得脸部目标。在脸部目标中搜索鼻孔目标。基于鼻孔目标的位置，往水平方向搜索耳侧位置区域。由鼻孔目标中识别出鼻孔定位点。基于鼻孔定位点设定嘴部区域。对嘴部区域的图像进行图像处理以判断人员的嘴部目标。依据嘴部目标在嘴部区域决定嘴部位置区域。
[0008]在本发明的一实施例中，上述在检测到移动轨迹为目标物体朝向耳侧位置区域移动包括下列步骤。依据耳侧位置区域获得兴趣区域。将图像序列中的当前图像与参考图像两者各自的兴趣区域，执行图像相减算法，以获得目标区域图像。通过参考图像的兴趣区±或，滤除目标区域图像的噪声，以获得目标物体。
[0009]在本发明的一实施例中，上述在检测到移动轨迹为目标物体朝向耳侧位置区域移动之后，比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断人员是否正在使用手持装置包括下列步骤。取得嘴部图像，且依据嘴部图像取得嘴部特征。依据嘴部特征来判断嘴部图像为张开动作图像或闭合动作图像。在嘴部记录时间内，依序记录嘴部位置区域中所检测到的所有闭合动作图像或张开动作图像并转换成编码序列。将编码序列存入嘴部动作信息。
[0010]在本发明的一实施例中，上述在检测到移动轨迹为目标物体朝向耳侧位置区域移动之后，比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断人员是否正在使用手持装置包括下列步骤。在嘴部比对时间内，将嘴部位置区域的图像与样板图像进行比对，以产生嘴型编码。将嘴型编码存入编码序列中。将编码序列存入嘴部动作信息。
[0011]本发明提供一种检测人员使用手持装置的装置，此装置包括图像获取单元、存储单元以及处理单元。图像获取单元获取人员的图像序列。存储单元存储图像序列以及预设嘴部信息。处理单元耦接至存储单元以取得图像序列。处理单元分析图像序列的每一个图像，以获得脸部目标。处理单元依据脸部目标决定耳侧位置区域以及嘴部位置区域。在图像序列的每一个图像，检测目标物体，以计算目标物体的移动轨迹。在处理单元检测到移动轨迹为目标物体朝向耳侧位置区域移动之后，比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断人员是否正在使用手持装置。
[0012]在本发明的一实施例中，上述的处理单元计算目标物体的垂直投影量与水平投影量，以获得目标物体的尺寸范围，在尺寸范围内取基准点，且通过图像序列的每一个图像中的基准点的位置，获得移动轨迹。
[0013]在本发明的一实施例中，上述的处理单元通过人脸检测算法获得脸部目标，在脸部目标中搜索鼻孔目标，且基于鼻孔目标的位置，往水平方向搜索耳侧位置区域。处理单元由鼻孔目标中识别出鼻孔定位点，基于鼻孔定位点设定嘴部区域，对嘴部区域的图像进行图像处理以判断人员的嘴部目标，且依据嘴部目标在嘴部区域决定嘴部位置区域。
[0014]在本发明的一实施例中，上述的处理单元依据耳侧位置区域获得兴趣区域，将图像序列中的当前图像与参考图像两者各自的兴趣区域，执行图像相减算法，以获得目标区域图像。处理单元通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物体。
[0015]在本发明的一实施例中，上述的处理单元取得嘴部图像，且依据嘴部图像取得嘴部特征，依据嘴部特征来判断嘴部图像为张开动作图像或闭合动作图像，在嘴部记录时间内。处理单元依序记录嘴部位置区域中所检测到的所有闭合动作图像或张开动作图像并转换成编码序列，且将编码序列存入嘴部动作信息。
[0016]在本发明的一实施例中，在嘴部比对时间内，处理单元将嘴部位置区域的图像与样板图像进行比对，以产生嘴型编码。处理单元将嘴型编码存入编码序列中，且将编码序列存入嘴部动作信息。
[0017]在本发明的一实施例中，上述的装置还包括警示模块。警示模块耦接处理单元。当处理单元判断人员正使用手持装置时，通过警示模块启动警示程序。
[0018]基于上述，本发明实施例可通过图像识别技术监控目标物体的移动轨迹是否朝向人员的耳侧位置区域，再比对人员的嘴部动作是否符合预设嘴部信息，以判断人员是否正在使用手持装置。藉此，便能有效且准确地判断人员是否正使用手持装置。
[0019]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
【附图说明】
[0020]图1是依据本发明一实施例说明一种检测人员使用手持装置的方块图；
[0021]图2是依据本发明一实施例说明一种检测人员使用手持装置的方法流程图；
[0022]图3是依照本发明一实施例的图像的示意图；
[0023]图4是依据本发明一实施例说明决定嘴部位置区域的流程范例示意图；
[0024]图5A?图5E是依照本发明一实施例的检测目标物体的示意图；
[0025]图6是依据本发明一实施例说明记录嘴部动作信息的流程范例示意图；
[0026]图7是依据本发明另一实施例说明记录嘴部动作信息的流程范例示意图。
[0027]附图标记说明:
[0028]100:装置；
[0029]110:图像获取单元；
[0030]130:存储单元；
[0031]150:处理单元；
[0032]S210 ?S290、S410 ?S490、S610 ?S690、S710 ?S770:步骤；
[0033]300:图像；
[0034]510:参考图像；
[0035]520:当前图像；
[0036]530:目标区域图像；
[0037]540:滤除区域图像；
[0038]550:具有目标物体的区域图像；
[0039]310:脸部目标；
[0040]320:鼻孔目标；
[0041]511、521、551、R:兴趣区域;
[0042]B:基准点；
[0043]C1、C2:边界；
[0044]E:耳侧位置区域；
[0045]O:目标物体。
【具体实施方式】
[0046]人们在抓取移动电话接听来电的过程中，移动电话通常会朝向耳侧移动，以使移动电话的听筒朝向耳朵，并使移动电话的话筒贴近嘴部。据此，本发明实施例便是对人员进行图像监控，且利用图像识别技术来判断人员是否将手持装置朝向耳朵移动。同时，本发明实施例还判断人员的嘴部动作是否符合预设嘴部信息。藉此，便能有效且准确地判断人员是否正使用手持装置。以下提出符合本发明的精神的多个实施例，应用本实施例者可依其需求而对这些实施例进行适度调整，而不仅限于下述描述中的内容。
[0047]图1是依据本发明一实施例说明一种检测人员使用手持装置的方块图。请参照图1，装置100包括图像获取单元110、存储单元130及处理单元150。在一实施例中，装置100例如是设置在行车内，以对驾驶人进行检测。在其他实施例中，装置100也可以使用于自动柜员机(Automated Teller Machine ;简称ATM)等自动交易装置，以判断例如是操作者是否正接听手持装置而进行转帐操作。需说明的是，应用本发明实施例者可依据需求，将装置100设置于任何需要监控人员是否正使用手持装置的电子装置或场所，本发明实施例不加以限制。
[0048]图像获取单元110可以是电荷親合元件(Charge coupled device ;简称CO))镜头、互补金属氧化物半导体(Complementary metal oxide semiconductor transistors ；简称CMOS)镜头、或红外线镜头的摄像机、照相机。图像获取单元110用以获取人员的图像，并将图像存放存储单元130。
[0049]存储单元130可以是任何形态的固定或可移动随机存取存储器(random accessmemory ；简称RAM)、只读存储器(read-only memory ；简称ROM)、快闪存储器(flashmemory)、硬盘(Hard Disk Drive ;简称HDD)或类似元件或上述元件的组合。
[0050]处理单元150耦接图像获取单元110以及存储单元130。处理单元150可以是中央处理器(Central Processing Unit ;简称0?1])具有运算功能的芯片组、微处理器或微控制器(micro control unit ;简称MCU)。本发明实施例处理单元150用以处理本实施例的装置100的所有操作。处理单元150可通过图像获取单元110取得图像，将图像存储至存储单元130中，并对图像进行图像处理的程序。
[0051]需说明的是，在其他实施例中，图像获取单元110还具有照明元件，用以在光线不足时适时进行补光，以确保其所拍摄到的图像的清晰度。
[0052]为帮助理解本发明的技术，以下举一情境说明本发明的应用方式。假设本发明实施例的装置100设置于汽车上，一位驾驶人员坐在驾驶位置(未方便说明，以下以“人员”作为此驾驶人员)，装置100上的图像获取单元110可对人员进行拍摄。图像获取单元110所获取到人员的图像可包含人员的脸部、肩部甚至是半身。此外，假设手持装置放置于排档附近或仪表板上方等任何位置。在此，以下将依据此情境搭配诸多实施例来进行详细说明。
[0053]图2是依据本发明一实施例说明一种检测人员使用手持装置的方法流程图，该检测人员使用手持装置可以为功能型手机或智能手机等类型的移动电话。请参照图2，本实施例的方法适用于图1的装置100。下文中，将搭配装置100中的各项元件说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。
[0054]在步骤S210中，处理单元150通过图像获取单元110获取人员的图像序列。例如，图像获取单元110可设定为每秒30张、45张等拍摄速度，以对人员进行拍摄，并将包括连续获取的多张图像的图像序列存储在存储单元130中。
[0055]在其他实施例中，处理单元150也可事先设定启动条件。当符合此启动条件时，处理单元150可致能图像获取单元110来获取人员的图像。例如，可在图像获取单元110的附近设置传感器(例如，红外线传感器)，装置100利用红外线传感器来检测是否有人员位于图像获取单元110可获取图像的范围内。倘若红外线传感器检测到在图像获取单元110前方有人员出现(即，符合启动条件)时，处理单元150便会触发图像获取单元110开始获取图像。另外，装置100上也可设置启动钮，当此启动纽被按压时，处理单元150才启动图像获取单元110。需说明的是，上述仅为举例说明，本发明并不以此为限。
[0056]此外，处理单元150也可对获取到的图像序列执行背景滤除动作。例如，将第I张图像与第1+1张图像进行差分处理，I为正整数。之后，处理单元150可将滤除背影的图像转为灰阶图像，藉此进行后续动作。
[0057]接着，由处理单元150开始对上述图像序列的每一张图像进行图像处理程序。在步骤S230中，处理单元150分析图像序列的每一个图像，以获得脸部目标。具体而言，处理单元150分析图像序列以取得脸部特征(例如，眼睛、鼻子、嘴唇等)，再利用脸部特征的比对，来找出图像中的脸部目标。例如，存储单元130存储有特征数据库。此特征数据库包括了脸部特征样本(pattern)。而处理单元150通过与特征数据库中的样本进行比对来获得脸部目标。针对检测脸部的技术，本发明实施例可利用AdaBoost算法或其他人脸检测算法(例如，主成份分析(Principal Component Analysis ;简称PCA)、独立成份分析(Independent Component Analysis ;简称ICA)等算法或利用Haar-like特征来进行人脸检测动作等)来获得每一个图像中的脸部目标。
[0058]而在其他实施例中，在检测脸部特征之前，处理单元150还可先执行背景滤除动作。例如，处理单元150可通过图像获取单元110事先获取至少一张未存在人像的背景图像，以在获得人员的图像之后，处理单元150可将包括人像的图像与背景图像进行相减，如此便能够将背景滤除。之后，处理单元150可将滤除背影的图像转为灰阶图像，再转为二值化图像。此时，处理单元150便可在二值化图像中来检测脸部特征。
[0059]在步骤S250中，处理单元150依据脸部目标决定至少一个耳侧位置区域以及嘴部位置区域。
[0060]在一实施例中，为了更精准地获得耳侧位置区域，处理单元150还可在获得脸部目标之后，在脸部目标中搜索鼻孔目标，进而基于鼻孔目标的位置，往水平方向搜索耳侧位置区域。例如，往鼻孔目标的左右两侧搜索左右脸颊的边界。之后，处理单元150依据人脸与耳朵的相对位置，搜索到的边界为基准来获得左右两边的耳侧位置区域。接着，处理单元150可依据耳侧位置区域获得兴趣区域(Reg1n of Interest ;简称R0I)。
[0061]举例而言，图3是依照本发明一实施例的图像的示意图。处理单元150在检测到图像300的脸部目标310之后，便可获得鼻孔目标320，再由鼻孔目标320来找到左右两边的边界C1、C2，并以边界C1、C2为基准而获得耳侧位置区域。为方便说明，范例中仅举其中一侧脸颊的边界Cl来进行说明，然而，可依此类推至另一侧脸颊的边界C2。以边界Cl的坐标为基准，处理单元150利用预先设定好的尺寸范围而获得耳侧位置区域E。然后，处理单元150根据耳侧位置区域E，再以另一预设尺寸范围而获得兴趣区域R。需说明的是，图3中耳侧位置区域E以及兴趣区域R的大小、位置及形状在其他实施例中可能不同，本发明实施例不加以限制。
[0062]在另一实施例中，处理单元150由鼻孔目标中识别出鼻孔定位点，基于鼻孔定位点设定嘴部区域，对嘴部区域的图像进行图像处理以判断人员的嘴部目标，且依据嘴部目标在嘴部区域决定嘴部位置区域。
[0063]举例而言，图4是依据本发明一实施例说明决定嘴部位置区域的流程范例示意图。处理单元150可基于鼻孔位置信息设定嘴部区域，通过例如是嘴唇颜色与皮肤、牙齿颜色深浅不同的差异，通过调整嘴部区域内的对比而获得加强图像(步骤S410)，并进一步对此加强图像进行去杂点处理。例如，通过像素矩阵将杂点滤除。处理单元150便可获得相对于加强图像更清晰的去杂点图像(步骤S430)。接着，处理单元150根据图像中某个颜色与另一个颜色的对比程度进行边缘锐利化处理，以决定此去杂点图像中的边缘，因而获得锐化图像(步骤S450)。由于图像的复杂程度将决定图像占用的存储容量，为提高比对的效能，处理单元150还对此锐化图像进行二值化处理。例如，处理单元150先设定门滥值，并将图像中的像素分为超出或低于此门槛值的二种数值，而可获得二值化图像(步骤S470)。最后，处理单元150再次对二值化图像进行边缘锐利化处理。此时，二值化图像中人员的嘴唇部位已相当明显，处理单元150便可于嘴部区域中取出嘴部位置区域(步骤S490)。
[0064]需说明的是，应用本发明实施例者，可以依据设计需求来决定耳侧位置区域以及嘴部位置区域，例如针对不同人员的脸部特征(例如，脸宽、耳朵大小、嘴唇宽度等)进行调整，本发明并不以此为限。
[0065]在步骤S270中，处理单元150在图像序列的每一个图像，检测目标物体，以计算此目标物体的移动轨迹。例如，目标物体例如为手持装置。处理单元150便在每一个图像中检测手持装置。此外，人员手腕上配戴的手表或手指都可依据设计需求而作为目标物体。在一实施例中，处理单元150依据耳侧位置区域获得兴趣区域，将当前图像与参考图像(可以是先前图像，例如此当前图像的前一幅图像或前N幅图像，也或是预先设定的任一幅图像)两者各自的兴趣区域(例如，图3的兴趣区域R)执行图像相减算法，以获得目标区域图像。处理单元150并通过参考图像的兴趣区域，滤除目标区域图像的噪声，以获得目标物体。
[0066]举例而言，图5A?图5E是依照本发明一实施例的检测目标物体的示意图。为了方便说明，图5A?图5E的灰阶度将省略，而仅描绘出灰阶的边缘来进行说明。图5A所示为参考图像510以及兴趣区域511。图5B所示为目前图像获取单元110所获取的当前图像520、兴趣区域521以及耳侧位置区域E。图5C所示为目标区域图像530。图所示为滤除区域图像540。图5E所示为具有目标物体O的区域图像550。
[0067]具体而言，处理单元150将参考图像510的兴趣区域511与当前图像520的兴趣区域521执行图像相减算法之后，便能够获得两张图像中具有差异的目标区域图像530。也就是说，目标区域图像530为兴趣区域511与兴趣区域521进行图像相减算法后所获得的结果。在目标区域图像530中，以虚线来表示非目标物体的其他噪声。接着，为了滤除噪声以获得目标物体，处理单元150对参考图像510的兴趣区域511的执行边缘检测算法及膨胀(dilate)算法等，以获得滤除区域图像540。然后，处理单元150将目标区域图像530与滤除区域图像540进行图像相减算法后，便可获得如图5E所示具有目标物体O的区域图像550。
[0068]然后，处理单元150获得目标物体之后，根据图像序列计算目标物体的移动轨迹。在一实施例中，处理单元150计算目标物体的垂直投影量与水平投影量，以获得目标物体的尺寸范围。举例而言，处理单元150计算目标物体的垂直投影量，以获得目标物体在垂直轴上的长度，且计算目标物体的水平投影量而获得目标物体位于水平轴上的宽度。通过上述长度与宽度，处理单元150便可获得目标物体的尺寸范围。
[0069]接着，处理单元150在尺寸范围内取基准点，且通过图像序列的每一个图像中的基准点的位置，获得移动轨迹。处理单元150可依据目标物体的其中一点作为基准点，对每张图像中基准点的位置进行统计，进而获得目标物体的移动轨迹。举例而言，以图5E为例，处理单元150计算出目标物体O的长度与宽度，以获得尺寸范围551。并且，处理单元150以尺寸范围551的左上方顶点B作为基准点。而后续其他张图像的目标物体也可依据尺寸范围的左上方顶点作为基准点。据此，由多张图像的基准点便可得知目标物体的移动轨迹。需说明的是，上述依据尺寸范围的左上方顶点作为基准点仅为举例说明，本发明实施例不以此为限。
[0070]在步骤S290中，在处理单元150检测到移动轨迹为目标物体朝向耳侧位置区域(例如，左耳侧区域或右耳侧区域)移动之后，比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断人员是否正在使用手持装置。
[0071]举例而言，存储单元130可事先存储预设移动轨迹，处理单元150便可将检测到的移动轨迹与预设移动轨迹进行比对，以判断检测到的移动轨迹是否朝向耳侧位置区域。此预设移动轨迹可以是自兴趣区域的任何位置点，以任何角度至耳侧位置区域的直线或任何不规则的线段。此外，装置100可事先以图像获取单元110记录多次人员执行拿取手持装置的动作，并将记录的移动轨迹进行分析，以存储作为预设移动轨迹。
[0072]接着，在处理单元150检测到移动轨迹为朝向耳侧位置区域移动后，处理单元150持续依据图像获取单元110所获取到的后续图像序列，来比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息。例如，预设嘴部信息是编码序列、图像变动率或像素变动率等。在一个比对时间(例如，2秒、5秒等)内，处理单元150可比对图像序列所取得的嘴部动作信息是否符合预设的编码序列、图像变动率或像素变动率。若处理单元150判断嘴部动作信息是否符合预设嘴部信息，则判定人员正在使用手持装置。反之，则判断人员并未使用手持装置。
[0073]需说明的是，在比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息之前，处理单元150还记录嘴部动作信息以便后续比对。以下将举实施例说明。
[0074]在一实施例中，处理单元150取得嘴部图像，且依据嘴部图像取得嘴部特征，依据嘴部特征来判断嘴部图像为张开动作图像或闭合动作图像。在嘴部记录时间内，处理单元150依序记录嘴部位置区域中所检测到的所有闭合动作图像或张开动作图像并转换成编码序列，且将编码序列存入嘴部动作信息。
[0075]举例而言，图6是依据本发明一实施例说明记录嘴部动作信息的流程范例示意图。请参照图6，处理单元150在嘴部位置区域中取出数个嘴部特征(步骤S610)，例如，嘴部特征包括上唇部位以及下唇部位。具体而言，处理单元150取出嘴部特征的方法，可通过找出嘴部区域的左右两侧边界，定义出左侧嘴角与右侧嘴角。同样的，处理单元150通过找出嘴部位置区域的上下两侧的轮廓线，并通过左侧嘴角与右侧嘴角的连线识别出上唇部位与下唇部位。接着，处理单元150将上唇部位与下唇部位的间距与间隙值(例如，0.5厘米、I厘米等)进行比较(步骤S620)。判断上唇部位与下唇部位间的间距是否大于间隙值(步骤S630)。若上唇部位与下唇部位间的间距大于间隙值，则代表使用者的嘴巴是张开的，并藉以获得一张张开动作图像(步骤S640)。反之，则处理单元150获得一张闭合动作图像(步骤 S650) ο
[0076]处理单元150依据闭合动作图像或张开动作图像产生编码，并将编码存入编码序列中(例如，第N栏，N为正整数)(步骤S660)。编码序列可以是二元编码，或以摩斯电码的方式编码。例如，将张开动作图像定义为1，而闭合动作图像定义为O。若人员张开嘴巴两个单位时间后再闭起嘴巴两个单位时间，则编码序列即为(1，1，0，0)。接着，处理单元150判断是否达到嘴部记录时间(步骤S670)。例如，处理单元150在步骤S610时启动计时器，并在步骤S670判断计时器是否到达嘴部记录时间。若处理单元150判断计时器尚未达到嘴部记录时间，则使N = N+1 (步骤S680)，并返回步骤S610继续分辨嘴部的开阖状况。并且，下次产生的编码将会存储至例如是编码序列中的下一字段(例如，第N+1栏)。其中，每一个第N字段均代表一个单位时间(例如，200毫秒、500毫秒等)，存储于字段中的编码则代表一个单位时间所记录的所有张开动作图像以及闭合动作图像的顺序。
[0077]需说明的是，此范例中可在步骤S610至S680的流程中加入延迟时间(例如，100毫秒、200毫秒等)，使步骤S610至S680流程所耗费的时间等于单位时间，以使每个第N字段代表一个单位时间。最后，处理单元150将编码序列存入嘴部动作信息(步骤S690)。
[0078]而在另一实施例中，在嘴部比对时间内，处理单元150将嘴部位置区域的图像与样板图像进行比对，以产生嘴型编码。处理单元150将嘴型编码存入编码序列中，且将编码序列存入嘴部动作信息。
[0079]举例而言，图7是依据本发明另一实施例说明记录嘴部动作信息的流程范例示意图。在本实施例中，嘴部动作信息也可代表多种嘴型的组合序列。请参照图7，处理单元150将嘴部位置区域的图像与存储单元130中的数个样板(pattern)图像进行比对(步骤S710)。样板图像可以是具有辨识性的特定嘴部动作图像或唇语等，例如，朗读日文五十音的“态、(^、)、文、朽”、中文的“喂、您好、请说、我是”或英文的“hello”等的嘴部各处肌肉呈现的动作。这些样板图像分别具有一定的变动弹性，即便人员脸部图像中的嘴型与样板图像具有些微的差异，只要差异在变动弹性可容许的范围内，处理单元150依然可辨识为与样板图像相符。
[0080]接着，处理单元150判断嘴部位置区域的图像相符于样板图像(步骤S720)。若比对结果为相符，则处理单元150产生嘴型编码，并将嘴型编码存入编码序列中(例如，第M栏，M为正整数)(步骤S730)。若比对结果为不符合，则处理单元150将M = M+1 (步骤S740)，并返回步骤S710。接着，处理单元150判断是否达到嘴部比对时间(步骤S750)。例如，处理单元150在步骤S710时启动计时器，并在步骤S740判断计时器是否到达嘴部比对时间。当计时器到达嘴部比对时间后，处理单元150将编码序列存入嘴部动作信息(步骤S770)。若处理单元150判断计时器尚未达到嘴部比对时间，则使M = M+1 (步骤S760)，并返回步骤S710继续将嘴部位置区域的图像与样板图像进行比对。
[0081 ] 另一方面，人员通常会在抓取手持装置至耳侧附近后，待手持装置位于适合通话的位置或人员可听到手持装置的听筒发出的声音，才会进行讲话。因此，在一实施例中，处理单元150还判断目标物体(例如，手持装置)停留于耳侧位置区域的停留时间是否超过预设时间(例如，I秒、3秒等)。当停留时间超过预设时间时，处理单元150比对在嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息。
[0082]此外，本发明实施例的装置100也可包括警示模块。警示模块耦接处理单元150。警示模块可以是显示模块、灯光模块、振动模块或扬声器模块其中之一或其组合。当处理单元150判断人员正使用手持装置时，通过警示模块启动警示程序。具体而言，处理单元150产生提示信号至警示模块，警示模块便可依据提示信号来警示人员。例如，显示模块可显示文字、图像或图像说明警告事宜(例如，小心！驾驶过程请勿使用手持装置！)。灯光模块可以特定频率闪烁灯光或发出特定颜色的灯光(例如，红色、绿色等)。振动模块例如是包括振动马达以产生固定频率或变动频率等振动。扬声器模块可发出提示音。
[0083]在一些实施例中，预先存储在存储单元130中的预设嘴部信息可以是取自样板图像排列组合而成的预设嘴型编码序列，且各预设嘴型编码序列均对应于提示信号。例如，当使用者受到挟持时，人员可由嘴部作出念诵“求救”的动作，但不必发出声音。处理单元150便能以难以被察觉的方式，使警示模块产生求救信号并发送至保全中心等处求援(警示模块可包括通信模块)。
[0084]需说明的是，上述驾驶汽车(也可以是飞机、船等)的情境是为了帮助实施例说明，但本发明实施例也可应用在自动交易装置或其他监控人员是否正使用手持装置的电子装置或场所。
[0085]综上所述，本发明实施例所述的装置可通过图像识别技术判断目标物体的移动轨迹是否朝向人员的耳侧位置区域，再判断人员的嘴部动作是否符合预设嘴部信息。当判断结果都符合时，本发明实施例的装置便可判断人员正在使用手持装置，也可发出提示信号来警示人员。藉此，本发明实施例可有效且即时地监控驾驶行为或其他不适合使用手持装置的情况，例如，驾驶人员更可提高警觉，自动交易装置可帮助警察单位快速处理电话诈欺等问题。
[0086]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【主权项】
1.一种检测人员使用手持装置的方法，适用于电子装置，其特征在于，包括: 获取人员的图像序列； 分析该图像序列的每一个图像，以获得脸部目标； 依据该脸部目标决定至少一耳侧位置区域以及嘴部位置区域； 在该图像序列的每一个图像，检测目标物体，以计算该目标物体的移动轨迹；以及其中在检测到该移动轨迹为该目标物体朝向该至少一耳侧位置区域移动之后，比对在该嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断该人员是否正在使用手持装置。2.根据权利要求1所述的方法，其特征在于，在该图像序列的每一个图像，检测该目标物体，以计算该目标物体的该移动轨迹的步骤包括: 计算该目标物体的垂直投影量与水平投影量，以获得该目标物体的尺寸范围； 在该尺寸范围内取基准点；以及 通过该图像序列的该每一个图像中的该基准点的位置，获得该移动轨迹。3.根据权利要求1所述的方法，其特征在于，依据该脸部目标决定至少耳侧位置区域以及嘴部位置区域的步骤包括: 通过人脸检测算法获得该脸部目标； 在该脸部目标中搜索鼻孔目标； 基于该鼻孔目标的位置，往水平方向搜索该耳侧位置区域； 由该鼻孔目标中识别出鼻孔定位点； 基于该鼻孔定位点设定嘴部区域； 对该嘴部区域的图像进行图像处理以判断该人员的嘴部目标；以及 依据该嘴部目标在该嘴部区域决定该嘴部位置区域。4.根据权利要求1所述的方法，其特征在于，在检测到该移动轨迹为该目标物体朝向该至少一耳侧位置区域中移动的步骤包括: 依据该耳侧位置区域获得兴趣区域； 将该图像序列中的当前图像与参考图像两者各自的该兴趣区域，执行图像相减算法，以获得目标区域图像；以及 通过该参考图像的该兴趣区域，滤除该目标区域图像的噪声，以获得该目标物体。5.根据权利要求1所述的方法，其特征在于，在检测到该移动轨迹为该目标物体朝向该至少一耳侧位置区域移动之后，比对在该嘴部位置区域中所检测的该嘴部动作信息是否符合该预设嘴部信息，来判断该人员是否正在使用该手持装置的步骤包括: 取得至少一嘴部图像，且依据该至少一嘴部图像取得多个嘴部特征； 依据该些嘴部特征来判断该至少一嘴部图像为张开动作图像或闭合动作图像； 在嘴部记录时间内，依序记录该嘴部位置区域中所检测到的所有该闭合动作图像或该张开动作图像并转换成编码序列；以及将该编码序列存入该嘴部动作信息。6.根据权利要求1所述的方法，其特征在于，在检测到该移动轨迹为该目标物体朝向该至少一耳侧位置区域移动之后，比对在该嘴部位置区域中所检测的该嘴部动作信息是否符合该预设嘴部信息，来判断该人员是否正在使用该手持装置的步骤包括: 在嘴部比对时间内，将该嘴部位置区域的图像与多个样板图像进行比对，以产生嘴型编码； 将该嘴型编码存入编码序列中；以及 将该编码序列存入该嘴部动作信息。7.—种检测人员使用手持装置的装置，其特征在于，包括: 图像获取单元，获取人员的图像序列； 存储单元，存储该图像序列以及预设嘴部信息；以及 处理单元，耦接至该存储单元以取得该图像序列；其中该处理单元分析该图像序列的每一个图像，以获得脸部目标；该处理单元依据该脸部目标决定至少一耳侧位置区域以及嘴部位置区域；在该图像序列的每一个图像中检测目标物体，以计算该目标物体的移动轨迹；在该处理单元检测到该移动轨迹为该目标物体朝向该至少一耳侧位置区域移动之后，比对在该嘴部位置区域中所检测的嘴部动作信息是否符合预设嘴部信息，来判断该人员是否正在使用手持装置。8.根据权利要求7所述的装置，其特征在于，该处理单元计算该目标物体的垂直投影量与水平投影量，以获得该目标物体的尺寸范围，在该尺寸范围内取基准点，且通过该图像序列的该每一个图像中的该基准点的位置，获得该移动轨迹。9.根据权利要求7所述的装置，其特征在于，该处理单元通过人脸检测算法获得该脸部目标，在该脸部目标中搜索鼻孔目标，且基于该鼻孔目标的位置，往水平方向搜索该耳侧位置区域； 其中该处理单元由该鼻孔目标中识别出鼻孔定位点，基于该鼻孔定位点设定嘴部区域，对该嘴部区域的图像进行图像处理以判断该人员的嘴部目标，且依据该嘴部目标在该嘴部区域决定该嘴部位置区域。10.根据权利要求7所述的装置，其特征在于，该处理单元依据该耳侧位置区域获得兴趣区域，将该图像序列中的当前图像与参考图像两者各自的该兴趣区域，执行图像相减算法，以获得目标区域图像，且该处理单元通过该参考图像的该兴趣区域，滤除该目标区域图像的噪声，以获得该目标物体。11.根据权利要求7所述的装置，其特征在于，该处理单元取得至少一嘴部图像，且依据该至少一嘴部图像取得多个嘴部特征，依据该些嘴部特征来判断该至少一嘴部图像为张开动作图像或闭合动作图像，在嘴部记录时间内，该处理单元依序记录该嘴部位置区域中所检测到的所有该闭合动作图像或该张开动作图像并转换成编码序列，且将该编码序列存入该嘴部动作信息。12.根据权利要求7所述的装置，其特征在于，在嘴部比对时间内，该处理单元将该嘴部位置区域的图像与多个样板图像进行比对，以产生嘴型编码，该处理单元将该嘴型编码存入编码序列中，且将该编码序列存入该嘴部动作信息。13.根据权利要求7所述的装置，其特征在于，该装置还包括: 警示模块，当该处理单元判断该人员正使用该手持装置时，通过该警示模块启动警示程序。
【文档编号】G06K9/00GK105989328SQ201510054941
【公开日】2016年10月5日
【申请日】2015年2月3日
【发明人】林伯聪, 许佳微
【申请人】由田新技股份有限公司