人员使用手持装置的检测方法以及系统的制作方法
【专利摘要】本发明提供一种人员使用手持装置的检测方法以及系统。图像获取装置用以取得人员的图像序列。存储单元用以存储图像序列。处理器通过图像数据，以获得特征训练样本，依据特征训练样本，分类成使用手持装置类样本以及未使用手持装置类样本，且检测人员的脸部物件，以决定图像序列中任一个图像画面内的兴趣区域。在此任一个图像画面中，处理器检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置。
【专利说明】
人员使用手持装置的检测方法以及系统
技术领域
[0001]本发明是有关于一种图像识别技术，且特别是有关于一种基于图像识别技术的人员使用手持装置的检测方法以及系统。【背景技术】
[0002]随着科技的进步，制造商不断开发诸如移动电话、平板电脑或便携式随身听等手持装置的功能，以使得手持装置不仅可接听电话、浏览网际网络，甚至可用以导航、购物、餐厅定位或交友等。由于手持装置可为人们带来许多便利，因此使得人们的生活逐渐无法脱离手持装置。[〇〇〇3]手持装置固然方便，但在一些特定场合中并不适合操作手持装置，其可能会影响到自己或他人。例如，驾驶者在驾驶汽车的过程中接听来电，将会使驾驶者分心，而造成意夕卜。另一方面，近年来诈骗案件频繁，诈骗集团通常会以电话诱骗受害者前往自动柜员机 (Automated Teller Machine;简称ATM)前进行操作，并藉以取得受害者的财产。然而，现今监控人员使用手持装置的系统通常会有处理速度不符合实际应用或识别效果差等问题。 有鉴于此，有需要提出一种有效且即时地监控人们使用手持装置的方法，以避免危害发生。
【发明内容】
[0004]本发明提供一种人员使用手持装置的检测方法以及系统，其可通过图像特征获取算法对人员使用与未使用手持装置的图像取得特征训练样本，且通过在单次图像画面中仅对单一兴趣区域检测人员是否使用手持装置，以提升判断人员使用手持装置的速度及准确度。[〇〇〇5]本发明提供一种人员是否使用手持装置的检测方法，适用于电子装置，此检测方法包括下列步骤。通过图像数据，以获得特征训练样本。依据特征训练样本，分类成使用手持装置类样本以及未使用手持装置类样本。获取人员的图像序列。依据图像序列检测人员的脸部物件，以决定图像序列中任一个图像画面内的兴趣区域。在此任一个图像画面中，检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置。
[0006]在本发明的一实施例中，上述在任一个图像画面中，检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置包括下列步骤。当在此任一个图像画面中检测到兴趣区域其中之一符合使用手持装置类样本时，在下一图像画面中继续检测相同的兴趣区域是否符合使用手持装置类样本或未使用手持装置类样本。
[0007]在本发明的一实施例中，上述在任一个图像画面中，检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置包括下列步骤。当在此任一个图像画面中检测到兴趣区域其中之一符合未使用手持装置类样本时，在下一图像画面切换至另一兴趣区域来检测是否符合使用手持装置类样本或未使用手持装置类样本。
[0008]在本发明的一实施例中，上述在任一个图像画面中，检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置包括下列步骤。当检测到兴趣区域其中之一符合使用手持装置类样本时，增加计数值。当检测到兴趣区域其中之一符合未使用手持装置类样本时，减少计数值。当计数值到达门槛值时，判断人员使用手持装置。
[0009]在本发明的一实施例中，上述的图像数据包括使用手持装置图像数据以及未使用手持装置图像数据，而取得图像数据的特征训练样本包括下列步骤。分别对使用手持装置以及未使用手持装置的人员获取图像训练序列。分析图像训练序列，以分别取得此人员的使用手持装置图像数据以及未使用手持装置图像数据。利用图像特征获取算法取得使用手持装置图像数据以及未使用手持装置图像数据的特征训练样本。
[0010]在本发明的一实施例中，上述依据图像数据的特征训练样本来分类成使用手持装置类样本以及未使用手持装置类样本包括下列步骤。依据图像数据的特征训练样本计算模块参数。依据模块参数建立分类器模块，以通过分类器模块将图像数据的特征训练样本分类成使用手持装置类样本以及未使用手持装置类样本。通过图像特征获取算法取得兴趣区域其中之一的特征信息。通过分类器模块判断特征信息是否符合使用手持装置类样本或未使用手持装置类样本。
[0011]本发明提供一种人员使用手持装置的检测系统，此检测系统包括图像获取装置、存储单元以及处理器。图像获取装置用以取得人员的图像序列。存储单元用以存储图像序列。处理器耦接图像获取装置以及存储单元，处理器通过图像数据以获得特征训练样本，依据特征训练样本，分类成使用手持装置类样本以及未使用手持装置类样本，且检测人员的脸部物件，以决定图像序列中任一个图像画面内的兴趣区域。在此任一个图像画面中，处理器检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置。
[0012]在本发明的一实施例中，当处理器在任一个图像画面中检测到兴趣区域其中之一符合使用手持装置类样本时，在下一图像画面中继续检测相同的兴趣区域是否符合使用手持装置类样本或未使用手持装置类样本。
[0013]在本发明的一实施例中，当处理器在任一个图像画面中检测到兴趣区域其中之一符合未使用手持装置类样本时，在下一图像画面切换至另一兴趣区域来检测是否符合使用手持装置类样本或未使用手持装置类样本。
[0014]在本发明的一实施例中，当处理器检测到兴趣区域其中之一符合使用手持装置类样本时，增加计数值。当处理器检测到兴趣区域其中之一符合未使用手持装置类样本时，减少计数值。当计数值到达门槛值时，处理器判断人员使用手持装置。当计数值到达门槛值时，处理器判断人员使用手持装置。
[0015]在本发明的一实施例中，上述的图像数据包括使用手持装置图像数据以及未使用手持装置图像数据。而处理器通过图像获取装置分别对使用手持装置以及未使用手持装置的人员获取图像训练序列，且分析图像训练序列，以分别取得此人员的使用手持装置图像数据以及未使用手持装置图像数据。并且，处理器利用图像特征获取算法取得使用手持装置图像数据以及未使用手持装置图像数据的特征训练样本。
[0016]在本发明的一实施例中，上述的处理器依据图像数据的特征训练样本计算模块参数。并且，处理器依据模块参数建立分类器模块，以通过分类器模块将图像数据的特征训练样本分类成使用手持装置类样本以及未使用手持装置类样本。并且，处理器通过图像特征获取算法取得兴趣区域其中之一的特征信息。并且，处理器通过分类器模块判断特征信息是否符合使用手持装置类样本或未使用手持装置类样本。
[0017]基于上述，本发明实施例可通过在任一个图像画面中依据人员的脸部物件所决定的其中一个兴趣区域中检测是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一个兴趣区域来进行检测。此外，本发明实施例还通过图像特征获取算法以及支持向量机来分类使用手持装置类样本或未使用手持装置类样本。藉此，便能快速且准确地判断人员是否使用手持装置。
[0018]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。【附图说明】
[0019]图1是依据本发明一实施例说明一种人员使用手持装置的检测系统的方块图；
[0020]图2是依据本发明一实施例说明一种人员使用手持装置的检测方法流程图；
[0021]图3是依据本发明一实施例说明取得图像数据的特征训练样本的流程图；
[0022]图4是依据本发明一实施例说明视窗区域、区块区域、单元区域以及象素的示意图；
[0023]图5是依据本发明一实施例说明方向梯度直方图的流程图；
[0024]图6A及6B是说明向量方向的范例；
[0025]图7是累积特征向量的范例；
[0026]图8是视窗区域的方向梯度直方图的范例；
[0027]图9是超平面的示意图范例；
[0028]图10是兴趣区域的范例；
[0029]图11是支持向量机器分类器模块的学习流程范例；
[0030]图12是手持装置检测步骤流程范例。
[0031]附图标记说明:
[0032]100:检测系统；
[0033]110:图像获取装置；
[0034]13〇:存储单元；
[0035]150:警示模块；
[0036]170:处理器；
[0037]S210 ?S290、S310 ?S350、S510 ?S590、S1105 ?S1190、S1210 ?S1290:步骤；
[0038]400、8〇0:视窗区域；
[0039]410、42〇:单元区域；
[0040]415:象素；
[0041]450、470:区块区域；
[0042]605?645:向量方向；
[0043]650、670、710、720、730、740:象素；
[0044]700、770:单元区域；
[0045]810:区块区域；
[0046]901 ?909:样本点；
[0047]910、920、940:超平面；
[0048]1000:脸部物件；
[0049]1010 ?17O:兴趣区域；
[0050]b:位移；
[0051]w:垂直于超平面的向量；
[0052]X:超平面上的样本点。
【具体实施方式】
[0053]诸如方向梯度直方图(Histogramof Oriented Gradient ;简称 HOG)或 Haar层叠(Cascade)等图像特征获取算法经常用来结合诸如支持向量机器(support vectormachine ;简称SVM)、适应性增强(adaptive boosting ;简称adaboost)等分类器，以通过机器学习方法对图像中所获取到的特征进行分类。据此，本发明实施例便是通过结合图像特征获取算法以及机器学习方法，来分类成使用手持装置类样本以及未使用手持装置类样本。此外，为了提升图像识别的速度，本发明实施例还仅针对一张图像画面中某一个兴趣区域进行检测，以决定是否在下一张图像画面切换至另一个兴趣区域，并通过上述分类器模块来判断人员是否使用手持装置。藉此，本发明实施例便能提供准确又快速的手持装置的使用状态的检测方法。以下提出符合本发明的精神的多个实施例，应用本实施例者可依其需求而对这些实施例进行适度调整，而不仅限于下述描述中的内容。
[0054]图1是依据本发明一实施例说明一种人员使用手持装置的检测系统的方块图。请参照图1，检测系统100包括图像获取装置110、存储单元130、警示模块150以及处理器170。本发明实施例的检测系统100可设置于交通工具(例如，汽车、船、火车等)内，并用以对驾驶者进行检测。此外，检测系统100也可设置于自动柜员机(Automated TellerMachine ;简称ATM)等自动交易装置，并用以判断例如是使用者是否受诈骗集团的电话指示而进行转帐操作。在其他实施例中，应用本发明实施例者可依据需求，将检测系统100设置于任何需要监控人员是否正使用手持装置的电子装置、设备或场所，本发明不加以限制。
[0055]图像获取装置110可以是电荷親合元件(Charge coupled device ;简称CO))镜头、互补金属氧化物半导体(Complementary metal oxide semiconductor transistors ；CMOS)镜头、或红外线镜头的摄影机、照相机。图像获取装置110用以获取人员的图像或图像序列，并将图像或图像序列存储至存储单元130。
[0056]需说明的是，在一些实施例中，图像获取装置110还具有照明元件(例如，发光二极管(Light Emitting D1de ;简称LED))，用以在光线不足时对待摄物体进行补光，以确保图像获取装置110所拍摄的图像具备高清晰度。
[0057]存储单元130可以是任何类型的固定或随机存取存储器(random access memory ；简称RAM)、只读存储器(read-only memory ;简称ROM)、快闪存储器(flash memory)、硬盘(Hard Disk Drive ;简称HDD)或类似元件或上述元件的组合。
[0058]警示模块150可以是显示模块(例如，液晶显示器(Liquid Crystal Display ;简称LCD)、有机电激发光显不器(Organic Electro-Luminescent Display;简称0ELD)等)、 灯光模块(例如，具备至少一个发光二极管的模块)、振动模块(例如，包括振动马达的模块)或扬声器(Speaker)模块(例如，单声道(mono)或立体声(stereo)扬声器)其中之一或其组合。
[0059]处理器170耦接图像获取装置110、存储单元130以及警示模块150。处理器170 可以是中央处理器(Central Processing Unit ;简称CPU)具有运算功能的芯片组、微处理器或微控制器(micro control unit;简称MCU)。本发明实施例处理器170用以处理本实施例的检测系统100的所有操作。处理器170可通过图像获取装置110取得图像或图像序列， 对图像或图像序列进行图像特征获取算法以及机器学习方法，并通过图像特征获取算法且载入分类器模块来对图像或图像序列进行图像识别，上述详细步骤待后续实施例说明。
[0060]为帮助理解本发明的技术，以下举一情境说明本发明的应用方式。假设本发明实施例的检测系统100设置于汽车上，驾驶者坐在驾驶位置(为方便说明，以下以“人员”作为此驾驶者)，检测系统100上的图像获取装置110可对人员进行拍摄。图像获取装置110 所获取到人员的图像可包含人员的脸部、肩部甚至是半身。此外，假设手持装置放置于排档附近或仪表板上方等汽车内的任何位置。以下将依据此情境搭配诸多实施例来进行详细说明。
[0061]图2是依据本发明一实施例说明一种人员使用手持装置的检测方法流程图。手持装置例如是功能型手机或智能手机等类型的移动电话。请参照图2,本实施例的方法适用于图1的检测系统100。下文中，将搭配检测系统100中的各项元件说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。
[0062]在步骤S210中，处理器170通过图像数据，以获得特征训练样本。在本实施例中， 图像数据包括使用手持装置图像数据以及未使用手持装置图像数据。举例而言，图3是依据本发明一实施例说明取得图像数据的特征训练样本的流程图。请参照图3,在步骤S310 中，处理器170通过图像获取装置110分别对使用手持装置以及未使用手持装置的人员获取图像训练序列。检测系统100例如是提供操作界面，以提示人员来分别拍摄使用手持装置以及未使用手持装置的图像画面。此图像训练序列例如是两张、四张或十张等至少包括两张使用手持装置以及未使用手持装置的训练图像所组成。
[0063]接着，在步骤S330中，处理器170分析图像训练序列，以分别取得此人员的使用手持装置图像数据以及未使用手持装置图像数据。由于上述图像训练序列同时包括使用手持装置以及未使用手持装置的训练图像，处理器170便可依据使用手持装置以及未使用手持装置的训练图像，分别取得训练图像中例如是图像大小、感光度(ISO值)、红绿蓝(Red、 Green、Blue ;简称 RGB)数据(或亮度-彩度(brightness-chroma ;简称 YUV)、HQ 等)等任何类型的图像数据，以分别作为使用手持装置图像数据以及未使用手持装置图像数据。
[0064]然后，在步骤S350中，处理器170利用图像特征获取算法取得使用手持装置图像数据以及未使用手持装置图像数据的特征训练样本。在一实施例中，图像特征获取算法是方向梯度直方图(Histogram of Oriented Gradient，简称H0G)算法。H0G算法例如会先将图像画面划分为多种不同大小及数量的区域。例如，图4是依据本发明一实施例说明视窗 (windows)区域、区块(block)区域、单元(cell)区域以及象素(pixel)的示意图。请参照图4，以单元区域410为例，单元区域410是由固定大小及数量的象素(例如，象素415)所组成的区域，各单元区域之间没有重叠(例如，单元区域410及420)。而以区块区域450为例，区块区域450是由固定大小及数量的单元区域(例如，单元区域410及420)所组成的区域，各区块区域之间允许重叠(例如，区块区域450及470)。再以视窗区域400为例，视窗区域400是由固定大小及数量的区块区域(例如，区块区域450及470)所组成的区域。在一实施例中，视窗区域也可作为兴趣区域(reg1n of interest ;简称ROI)。以下将举一实施例说明HOG算法应用于本发明的详细步骤。
[0065]图5是依据本发明一实施例说明方向梯度直方图的流程图。请同时参照图4及图5，在步骤S510中，处理器170计算各象素(例如，图4的象素415)的梯度强度及梯度方向。举例而言，处理器170通过边缘检测而对各象素进行梯度运算(gradient operat1n)(例如，使用罗伯特交错梯度运算子(Roberts cross-gradient operator)、索贝尔运算子(Sobel operator)、Prewitt运算子(Prewitt operator)等一阶梯度运算子，并藉以计算各象素的图像边缘的强度值(即，梯度强度)以及图像边缘的正交方向(即，梯度方向)。需说明的是，应用本发明实施例者可依据设计需求，通过不同梯度计算方法来取得各象素的梯度强度及梯度方向，本发明不加以限制。
[0066]接着，在步骤S530中，处理器170使用内插法将各梯度的向量强度依据梯度方向，分配给九个无视方向区域中邻近的两个向量方向。举例而言，图6A及6B是说明向量方向的范例。请先参照图6A，一个圆形被平均划分成18个向量方向(例如，向量方向610及615)。请接着同时参照图6A及6B，图6B的左方四个象素是经过步骤S510取得梯度强度以及梯度方向的示意图。以象素650为例，处理器170依据象素650的梯度强度以及梯度方向，通过内插法计算出在图6A中最接近的一个或两个向量方向(例如，向量方向610及615)，并计算象素650在所计算的向量方向上的分量大小，以取得如图6B右方象素670所显示的特征向量(例如，以向量方向610及615呈现的特征向量)。需说明的是，在其他实施例中，处理器170可划分成4个、8个或20个等向量方向，本发明实施例不加以限制。
[0067]需说明的是，在本范例中，处理器170仅以9个向量方向(例如，向量方向605?645)作为依据。若象素的梯度方向所计算出的向量方向为对称于向量方向605?645的相反方向，则其计算出的分量大小以负值计算。
[0068]然后，在步骤S550中，处理器170累积各单元区域中各象素的特征向量。举例而言，图7是累积特征向量的范例。请参照图7，假设图7左方的单元区域700包括象素710、720,730及740，象素710?740呈现经过步骤S530中依据图6A所示各向量方向所转换的特征向量。而图7右方的单元区域770是经过累积单元区域700中的所有象素710?740的特征向量所得的特征向量。也就是，累积象素710?740的特征向量在向量方向上的分量大小。
[0069]在步骤S570中，处理器170将各区块区域中的所有单元区域的特征向量组成各区块区域的特征，并将各单元区域的梯度强度(即，特征向量的大小)进行规格化(normalize)计算。接着，处理器170将视窗区域中的所有区块区域的特征结合，以形成视窗区域的HOG特征(步骤S590)。举例而言，图8是视窗区域的方向梯度直方图的范例。请参照图8，假设视窗区域800具有4*8 = 32个区块区域(例如，区块区域810)。以区块区域810为例，区块区域810的特征是通过步骤S570所计算而来。
[0070] 在一实施例中，处理器170可设定所载入的HOG算法的运行程序 HOGDescriptor():winSize (64, 128), blockSize(16, 16), blockStride(8, 8), cellSize(8 ，8)，nbins(9)。winSize即为视窗区域(或是兴趣区域)，在本实施例中，以80*104个象素作为视窗区域的大小。blockSize及cellSize分别是区块区域及单元区域的选定大小。 blockStride为邻近区块区域的平行及垂直距离。而nbins为将180度分割为几个描述梯度的区间(即，向量方向的数量)。因此，在上述设定下，一个视窗区域具有9*12 = 108个区块区域，各区块区域包括4个单元区域，而各单元区域具有9个向量描述(S卩，特征向量)。 也就是说，一个视窗区域共有108*4*9 = 3888个特征描述。需说明的是，在其他实施例中， H0G算法的运行程序可设定成不同的视窗区域大小、区块区域大小、单元区域大小、邻近区块区域的平行及垂直距离、或描述梯度的区间，本发明不以此为限。[0071 ]此外，本发明实施例的图像特征获取算法并不局限于H0G算法，在其他实施例中，Haar层叠算法、LBP算法、SIFT算法或SURF算法等都可应用于本发明中，以取得图像特征。
[0072]请继续参照图2,在步骤S230中，处理器170依据特征训练样本，分类成使用手持装置类样本以及未使用手持装置类样本。在一实施例中，处理器170依据图像数据的特征训练样本计算模块参数。并且，处理器170依据模块参数建立分类器模块，以通过分类器模块(例如，程序代码、程序等)将图像数据的特征训练样本分类成使用手持装置类样本以及未使用手持装置类样本。
[0073]举例而言，处理器170可利用支持向量机器方法来进行分类。具体而言，处理器 170先决定支持向量机器分类器的模块参数(例如，SVM类型、核心(kernel)类型、程度 (degree)、伽玛(gamma)等)。这些模块参数可以是事先定义或提供操作界面以供人员设定而来。接着，处理器170可将例如是图5流程所取得的视窗区域的各特征描述作为特征训练样本，并输入至通过上述模块参数所建立的分类器模块。处理器170可通过取出特征训练样本中靠近分类边界的支持向量(support vector)，来找出一个能够将特征训练样本分类的超平面(hyperplane)，以使此超平面放置在一个位置，两类样本(即，使用手持装置类样本以及未使用手持装置类样本)中接近这个位置的点距离的都最远，此超平面也可称作最大间隔超平面。
[0074]图9是超平面的示意图范例。请参照图9，“X”(例如，样本点901)及“〇”(例如， 样本点902)是将特征训练样本输入至分类器模块后所映射的样本点。而超平面920的数学形式可以采用公式(1)表示:
[0075]w ? x~b = 0(1)
[0076]其中x是超平面上的样本点，而w是垂直于超平面的向量，且b为位移。
[0077]为了取得最大间隔，处理器170要取得支持向量以及(与最大间隔超平面)平行且距离支持向量最近的超平面。因此，处理器170计算出超平面910及940,其可分别通过公式⑵及(3)来表示:
[0078]w ? x~b = 1(2)
[0079]w ? x~b = -1(3)
[0080]其中，样本点903、905及907以及样本点904、906、908及909为最接近超平面920 的样本点，样本点903、905及907以及样本点904、906、908及909分别重叠于超平面910 及940,且超平面910及940相距2/ | w |。因此，处理器170便可决定超平面920为最大间隔超平面。
[0081]藉此，由于本发明实施例是输入使用手持装置图像数据以及未使用手持装置图像数据，则处理器170便能通过分类器模块来将使用手持装置图像数据以及未使用手持装置图像数据的特征训练样本，分类成使用手持装置类样本以及未使用手持装置类样本。
[0082]需说明的是，在其他实施例中，处理器170也可使用适应性增强(adaboost)或类神经网络算法，来建立分类器模块，本发明不加以限制。
[0083]在步骤S250中，处理器170通过图像获取装置110获取人员的图像序列。例如，图像获取装置110可设定为每秒18张、30张、50张等拍摄速度，或仅拍摄两张图像，以对人员进行拍摄，并将获取的图像序列存储在存储单元130中。
[0084]在其他实施例中，处理器170也可事先设定启动条件。当符合此启动条件时，处理器170可致能图像获取装置110来获取人员的图像序列。例如，可在图像获取装置110的附近设置传感器(例如，红外线传感器)。检测系统100利用红外线传感器来检测是否有人员位于图像获取装置110可获取图像的范围内。倘若红外线传感器检测到在图像获取装置110前方有人员出现(即，符合启动条件)时，处理器170便会致能图像获取装置110开始获取图像序列。另外，检测系统100上也可设置启动钮，当此启动钮被按压时，处理器170才启动图像获取装置110。
[0085]此外，处理器170也可对获取到的图像序列执行背景滤除动作。例如，将第I张图像与第1+1张图像进行差分处理，I为正整数。之后，处理器170可将滤除背影的图像转为灰阶图像，藉此进行后续动作。
[0086]接着，由处理器170开始对上述图像序列的各张图像进行图像识别程序。在步骤S270中，处理器170检测人员的脸部物件，以决定图像序列中任一个图像画面内的兴趣区域。具体而言，处理器170分析图像序列以取得脸部特征(例如，眼睛、鼻子、嘴唇等)，再利用脸部特征的比对，来找出图像中的脸部物件。例如，存储单元130存储有特征数据库。此特征数据库包括了脸部特征样本(pattern)。而处理器170通过与特征数据库中的样本进行比对来获得脸部物件。针对检测脸部物件的技术，本发明实施例可利用适应性增强算法或其他人脸检测算法等算法来获得图像序列的各图像中的脸部物件。
[0087]在处理器170取得脸部物件后，便能决定兴趣区域。举例而言，图10是兴趣区域的范例。请参照图10，处理器170先决定脸部物件1000，便在脸部物件1000的左右脸侧附近决定兴趣区域1010、1020、1030、1050、1060及1070。在本发明实施例中，兴趣区域例如是对应于前述HOG算法中的视窗区域(例如，图4的视窗区域400或图8的视窗区域800)。需说明的是，应用本发明实施例者可依据设计需求，调整兴趣区域的位置、数量、大小，本发明不加以限制。
[0088]之后，在步骤S290中，在此任一个图像画面中，处理器170检测兴趣区域其中之一是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否切换至另一兴趣区域来进行检测，并藉以判断人员是否使用手持装置。
[0089]需说明的是，由于传统通过HOG算法的图像识别，通常需要对整张图像画面进行检测，但却造成识别速度缓慢且不符合实际应用。据此，本发明便是仅针对图像画面中的特定兴趣区域来进行检测，并且依据检测结果来决定是否切换另一兴趣区域，以提升识别速度。
[0090]例如，处理器170先对图10的兴趣区域1010作为图像序列中第一张图像画面进行检测。在一实施例中，处理器170通过图像特征获取算法取得兴趣区域其中之一的特征信息。并且，处理器170通过分类器模块判断特征信息是否符合使用手持装置类样本或未使用手持装置类样本。例如，处理器170通过前述H0G算法取得图10的兴趣区域1010中的H0G特征，并将这些H0G特征输入SVM分类器模块来判定此兴趣区域符合使用手持装置类样本或未使用手持装置类样本。
[0091]在一实施例中，当处理器170在任一个图像画面中检测到兴趣区域其中之一符合使用手持装置类样本时，在下一图像画面中继续检测相同的兴趣区域是否符合使用手持装置类样本或未使用手持装置类样本。例如，处理器170在图像序列的第三张图像画面中检测图10的兴趣区域1010,则在第四张图像画面中继续检测图10的兴趣区域1010。
[0092]而另一实施例中，当处理器170在图像序列的图像画面中检测到兴趣区域其中之一符合未使用手持装置类样本时，在下一图像画面切换至另一兴趣区域来检测是否符合使用手持装置类样本或未使用手持装置类样本。例如，处理器170在图像序列的第一张图像画面中检测图10的兴趣区域1010,则在第二张图像画面中继续检测图10的兴趣区域 1020。需说明的是，本发明实施例不加以限制兴趣区域的检测顺序，例如，处理器170可先检测图10的兴趣区域1010,再检测图10的兴趣区域1060,视设计需求来决定。
[0093]需说明的是，上述下一图像画面也可能是前述任一个图像画面后的第两张图像画面、第五张图像画面等，应用本发明实施例者可依据设计需求进行调整。
[0094]此外，在一些实施例中，当处理器170判断兴趣区域为检测到使用手持装置的情况下，将进一步确认判定的合理性。例如，处理器170判断的位置过于接近脸部，则会将检测结果滤掉(例如，重新判定为符合未使用手持装置类样本)。
[0095]此外，为了降低图像识别的错误率，本发明还另设置计数器，以通过多次检测来提升准确度。在一实施例中，当处理器170检测到兴趣区域其中之一符合使用手持装置类样本时，增加计数器的计数值(例如，加1)。而当处理器170检测到兴趣区域其中之一符合未使用手持装置类样本时，减少计数值(例如，减1)。并且，当计数值到达门槛值(例如，18 次、30次等)时，处理器170便判断人员使用手持装置。
[0096]在一些实施例中，当处理器170判断人员使用手持装置时，通过警示模块150启动警示程序。处理器170可产生提示信号至警示模块，警示模块便可依据提示信号来警示人员。例如，显示模块可显示文字、图像或图像说明警告事宜(例如，驾驶者正使用手持装置！)。灯光模块可以特定频率闪烁灯光或发出特定颜色的灯光(例如，红色、蓝色等)。振动模块例如是以产生固定频率或变动频率等振动。扬声器模块可发出提示音(例如，长音 “逼”声等)。
[0097]藉此，人员在驾驶汽车的过程中接听来电时，设置于汽车上的检测系统100便可快速检测到人员正使用手持装置，以提供使用手持装置的警示。此外，本发明实施例也可应用在自动交易装置或其他监控人员是否正使用手持装置的电子装置或场所。为使本发明更轻易被理解，以下将另举应用范例分别说明SVM分类器模块的训练步骤以及手持装置检测步骤。
[0098]图11是SVM分类器模块的学习流程范例。请参照图11，在步骤S1105以及S1110 中，处理器170分别取得使用手持装置的训练特征数据(S卩，使用手持装置图像数据)以及未使用手持装置的训练特征数据(即，未使用手持装置图像数据)。例如，处理器170通过图像获取装置110分别对使用手持装置以及未使用手持装置的人员拍摄多个图像，并依据这些图像产生手持装置的训练特征数据以及未使用手持装置的训练特征数据。
[0099]在步骤SI 130中，处理器170将这些图像产生手持装置的训练特征数据以及未使用手持装置的训练特征数据转换成例如是80*104象素大小(S卩，视窗区域)。接着，处理器170通过HOG图像特征获取算法取得HOG特征(步骤SI 150)，再设定线性(linear) SVM参数(步骤S1170)。然后，处理器170便可将HOG特征分类成使用手持装置类样本以及未使用手持装置类样本，已建立线性SVM分类器模块(步骤SI 190)。
[0100]另一方面，图12是手持装置检测步骤流程范例。请参照图12，处理器170通过图像获取装置110对人员获取图像序列，以将输入图像序列(步骤S1210)。图像序列中的图像画面例如是640*480象素，而若欲提升处理速度，可将解析度调低，例如是320*240象素。接着，处理器170依据输入的图像序列来判断是否检测到人脸(步骤S1220)。若处理器170检测到人脸，则处理器170依据检测的人脸设定兴趣区域(步骤S1230)。例如，在人脸的两侧分别画出上、中、下共六个兴趣区域(例如，图10中的兴趣区域1010?1070)。接着，处理器170对其中一个兴趣区域进行手持装置检测(步骤S1240)，其中处理器170先对此兴趣区域进行HOG图像特征获取算法以取得HOG特征(步骤S1245)，再通过SVM分类器模块来判断这些HOG特征是否符合使用手持装置类样本以及未使用手持装置类样本(步骤S1247)。若这些HOG特征符合使用手持装置类样本(步骤S1250)，则处理器170增加计数器的计数值(步骤S1280)，且继续对相同的兴趣区域进行检测。例如，若步骤S1240对图10的兴趣区域1070进行检测，则继续对图10的兴趣区域1070进行检测。而若处理器170检测到人脸或这些HOG特征符合未使用手持装置类样本(步骤S1260)，则在下一个图像画面切换另一个兴趣区域(步骤S1270)，并减少计数器的计数值(步骤S1280)。例如，若步骤S1240对图10的兴趣区域1060进行检测，则切换至图10的兴趣区域1020。接着，处理器170等待事件触发(步骤S1290)。例如，处理器170判断计数值是否到达门槛值(例如，18次)。若计数值到达门槛值，则处理器170触发警示信号，并通过警示模块150发出警示以告知人员。此外，处理器170会继续进行步骤S1240手持装置检测，直到计数值归零时，处理器170才会解除警示程序。
[0101]综上所述，本发明实施例所述的检测系统可通过图像特征获取算法取得图像特征，再将图像特征通过机器学习方法对来分类成使用手持装置类样本以及未使用手持装置类样本。此外，检测系统依据人员的脸部物件所决定的其中一个兴趣区域中检测是否符合使用手持装置类样本或未使用手持装置类样本，以决定是否在下一张图像画面中切换至另一个兴趣区域来进行检测，并藉以判断人员是否使用手持装置。藉此，便能通过图像特征获取算法以及机器学习方法来增加图像识别的精确度，还能改善图像特征获取算法的识别速度，进而提供快速且精确的手持装置使用状态的检测方法。驾驶者还能通过警示程序来提高警觉心，以降低意外发生率。
[0102]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【主权项】
1.一种人员使用手持装置的检测方法，适用于电子装置，其特征在于，该检测方法包括: 通过多个图像数据，以获得多个特征训练样本； 依据该些特征训练样本，分类成使用手持装置类样本以及未使用手持装置类样本； 获取人员的图像序列； 依据该图像序列检测该人员的脸部物件，以决定该图像序列中任一个图像画面内的多个兴趣区域；以及 在该任一个图像画面中，检测该些兴趣区域其中之一是否符合该使用手持装置类样本或该未使用手持装置类样本，以决定是否切换至另一该兴趣区域来进行检测，并藉以判断该人员是否使用手持装置。2.根据权利要求1所述的检测方法，其特征在于，在该任一个图像画面中，检测该些兴趣区域其中之一是否符合该使用手持装置类样本或该未使用手持装置类样本，以决定是否切换至另一该兴趣区域来进行检测，并藉以判断该人员是否使用该手持装置的步骤包括: 当在该任一个图像画面中检测到该些兴趣区域其中之一符合该使用手持装置类样本时，在下一图像画面中继续检测相同的该兴趣区域是否符合该使用手持装置类样本或该未使用手持装置类样本。3.根据权利要求1所述的检测方法，其特征在于，在该任一个图像画面中，检测该些兴趣区域其中之一是否符合该使用手持装置类样本或该未使用手持装置类样本，以决定是否切换至另一该兴趣区域来进行检测，并藉以判断该人员是否使用该手持装置的步骤包括: 当在该任一个图像画面中检测到该些兴趣区域其中之一符合该未使用手持装置类样本时，在下一图像画面切换至另一该兴趣区域来检测是否符合该使用手持装置类样本或该未使用手持装置类样本。4.根据权利要求1所述的检测方法，其特征在于，在该任一个该图像画面中，检测该些兴趣区域其中之一是否符合该使用手持装置类样本或该未使用手持装置类样本，以决定是否切换至另一该兴趣区域来进行检测，并藉以判断该人员是否使用该手持装置的步骤包括: 当检测到该些兴趣区域其中之一符合该使用手持装置类样本时，增加计数值； 当检测到该些兴趣区域其中之一符合未该使用手持装置类样本时，减少该计数值；以及 当该计数值到达门槛值时，判断该人员使用该手持装置。5.根据权利要求1所述的检测方法，其特征在于，该些图像数据包括使用手持装置图像数据以及未使用手持装置图像数据，而取得该些图像数据的该些特征训练样本的步骤包括: 分别对使用该手持装置以及未使用该手持装置的该人员获取至少两个图像训练序列； 分析该至少两个图像训练序列，以分别取得该人员的该使用手持装置图像数据以及该未使用手持装置图像数据；以及 利用图像特征获取算法取得该使用手持装置图像数据以及该未使用手持装置图像数据的该些特征训练样本。6.根据权利要求1所述的检测方法，其特征在于，依据该些图像数据的该些特征训练 样本来分类成该使用手持装置类样本以及该未使用手持装置类样本的步骤包括:依据该些图像数据的该些特征训练样本计算多个模块参数；依据该些模块参数建立分类器模块，以通过该分类器模块将该些图像数据的该些特征 训练样本分类成该使用手持装置类样本以及该未使用手持装置类样本；通过图像特征获取算法取得该些兴趣区域其中之一的多个特征信息；以及通过该分类器模块判断该些特征信息是否符合该使用手持装置类样本或该未使用手 持装置类样本。7.—种人员使用手持装置的检测系统，其特征在于，包括:图像获取装置，用以取得人员的图像序列；存储单元，用以存储该图像序列；以及处理器，耦接该图像获取装置以及该存储单元，该处理器通过多个图像数据以获得多 个特征训练样本，依据该些特征训练样本，分类成使用手持装置类样本以及未使用手持装 置类样本，且检测人员的脸部物件，以决定该图像序列中任一个图像画面内的多个兴趣区 域，在该任一个图像画面中，该处理器检测该些兴趣区域其中之一是否符合该使用手持装 置类样本或该未使用手持装置类样本，以决定是否切换至另一该兴趣区域来进行检测，并 藉以判断该人员是否使用手持装置。8.根据权利要求7所述的检测系统，其特征在于，当该处理器在该任一个图像画面中 检测到该些兴趣区域其中之一符合该使用手持装置类样本时，在下一图像画面中继续检测 相同的该兴趣区域是否符合该使用手持装置类样本或该未使用手持装置类样本。9.根据权利要求7所述的检测系统，其特征在于，当该处理器在该任一个图像画面中 检测到该些兴趣区域其中之一符合该未使用手持装置类样本时，在下一图像画面切换至另 一该兴趣区域来检测是否符合该使用手持装置类样本或该未使用手持装置类样本。10.根据权利要求7所述的检测系统，其特征在于，当该处理器检测到该些兴趣区域其 中之一符合该使用手持装置类样本时，增加计数值，当该处理器检测到该些兴趣区域其中 之一符合未该使用手持装置类样本时，减少该计数值，且当该计数值到达门槛值时，该处理 器判断该人员使用该手持装置。11.根据权利要求7所述的检测系统，其特征在于，该些图像数据包括使用手持装置图 像数据以及未使用手持装置图像数据，而该处理器通过该图像获取装置对使用该手持装置 以及未使用该手持装置的该人员获取至少两个图像训练序列，分析该至少两个图像训练序 列，以分别取得该人员的该使用手持装置图像数据以及该未使用手持装置图像数据，且利 用图像特征获取算法取得该使用手持装置图像数据以及该未使用手持装置图像数据的该 些特征训练样本。12.根据权利要求7所述的检测系统，其特征在于，该处理器依据该些图像数据的该 些特征训练样本计算多个模块参数，依据该些模块参数建立分类器模块，以通过该分类器 模块将该些图像数据的该些特征训练样本分类成该使用手持装置类样本以及该未使用手 持装置类样本，该处理器通过图像特征获取算法取得该些兴趣区域其中之一的多个特征信 息，且通过该分类器模块判断该些特征信息是否符合该使用手持装置类样本或该未使用手 持装置类样本。
【文档编号】G06K9/00GK105989348SQ201510092491
【公开日】2016年10月5日
【申请日】2015年3月2日
【发明人】林伯聪, 鄞铭佐, 方志恒
【申请人】由田新技股份有限公司