专利名称：用于拍摄/识别脸孔的方法和装置的制作方法
技术领域：
本发明涉及用于拍摄/识别脸孔的方法和装置，该方法和装置能够智能化地拍摄由一个摄象机所捕捉到的物体。尤其是，本发明涉及用于拍摄/识别脸孔的方法和装置，该方法和装置通过根据物体的移动调节摄象机来精确地拍摄和识别一个人的脸孔以区别出一个特定的人，并针对危险人物发出警报，以用于一个安全系统、一个影像识别系统、一个图象电话、一个因特网在线游戏和一个虚拟现实系统等。
为了拍摄一个脸孔，一个现有的无人监测或脸孔识别系统采用安装在诸如天花板或墙壁的所需位置的至少一个监测摄象机。通过采用来自摄象机的影像信号，现有的系统能够遥控监测一个特定范围或无人地记录该范围的整个实况。这种系统通常用于判定一个特定范围的状况。
但是，这种无人监测系统或脸孔识别系统将捕捉来自一个指定位置(诸如高度或距离)的范围的影像信号。因而，由于物体高度或物体和摄象机之间的距离的变化，影像信号是不规则的。此外，隐藏或快速移离摄象机的物体或脸孔几乎不能被识别。通过正面拍摄物体或采用遥控器或方向调节键人为地调节摄象机才能获得可识别的影像信号。
因此，现有系统采用这种不可识别影像信号难于在移动图象中识别出一个脸孔。由于通过恢复存储的数据难于发现一个完整的脸孔影像，在发生安全问题时，上述获得的影像数据不能提供充足的证据。此外，由于存储的数据属于移动图象类型，它需要高容量的存储单元用于存储这类移动图象，这是不必要的。
为了克服这类问题，需要开发一种技术，该技术通过根据物体的运动移动摄象机以便更精确地正面拍摄一个脸孔影像。
本发明旨在解决上述问题。本发明的目的在于提供一种拍摄脸孔的方法和装置，它能通过下述方式而将脸孔影像拍摄成静止的照片侦查摄像机所捕捉的目标物的肤色和运动；自动选择最合适的目标物；并且是使得摄像机自动追踪目标物而不需要任何人工操作；以及一种通过分析所捕捉到的目标物的脸孔影像而准确地识别出特定的人的方法和装置。
本发明的另一个目的在于提供一种用于识别脸孔的方法和装置，它通过分析所选定的目标物的脸孔影像信号而识别出具有危险因素的脸孔(例如，奇怪的面模、深色墨镜、压低的帽子等等)并针对危险人物发出警报，因而能预先处理任何可能发生的紧急事件。
为了实现上述目的，本发明的一个实施例提供一种拍摄脸孔的方法，包括初始分析步骤，通过对一部安装在预定位置的摄像机输入的影像信号中的脸孔数据取样进而确认该脸孔的位置，然后再选择检视区以便能追踪要识别的脸孔；摇/俯仰镜头或变焦距控制步骤，用来将摄像机朝着左/右、上/下或前/后方向移动以便能追踪位于选定区中的要识别脸孔；判断步骤，通过取样及分析在检视区中识别的脸孔的轮廓，判断出该脸孔是已经存在的还是异常的；以及存储及传送步骤，用来存储已判断过的脸孔的影像或将该影像传送至另一套识别系统。
在该实施例中，该拍摄脸孔的方法还可进一步包括如下步骤在分析及判断取样自检视区的脸孔轮廓之后，针对异常的脸孔发出警报。
为了实现上述目的，本发明的另一个实施例提供一种识别脸孔的方法，包括初始分析步骤，通过对一部安装在预定位置的摄像机输入的影像信号中的脸孔数据取样进而确认该脸孔的位置，然后再选择检视区以便能追踪要识别的脸孔；摇/俯仰镜头或变焦距控制步骤，用来将摄像机朝着左/右、上/下或前/后方向移动以便能追踪位于选定区中的要识别脸孔；判断步骤，通过取样及分析在检视区中识别出的脸孔的轮廓，以便判断该脸孔是已经存在的还是异常的；以及在脸孔是存在的情况下，通过产生检视区中的脸孔影像的三维信息来合成一个个人的面模，然后通过将该面模与以前存储的人的面模对比来识别一特定的人。
为了实现上述目的，本发明的又一个实施例提供一种识别脸孔的方法，包括下列步骤针对摄像机所捕捉的影像信号选择多个检视区；通过判断脸孔是否存在于相应的检视区而挑选出一特定的检视区；并且根据选定的检视区内目标物的移动而调整摄像机的方向；在判断脸孔是否存在之后，在脸孔存在于检视区的情况下，通过侦查影像信号的特性而重新整理影像；根据重新整理的影像之间的位移产生三维信息；并且利用三维信息合成目标物的面模；以及通过从数据库中已登记的面模中搜索该合成的面模，判断特定人的影像是否已经登记。
为了实现上述目的，本发明的又一个实施例提供一种识别脸孔的方法，包括下列步骤通过对摄像机输入的影像信号中的肤色数据和运动数据分别取样来选择多个检视区，通过侦查在相应检视区中影像信号的脸孔组件，恢复一特定检视区来选择出一个特定的检视区，通过恢复选定的检视区的特性来重新整理影像，并且通过利用重新整理的影像判断脸孔是否存在来调整摄像机的方向；针对脸孔存在于检视区的影像信号重新整理影像，根据重新整理的影像之间的位移产生三维信息，并且通过将该三维信息与参照面模相比较来合成一个人的面模；以及通过从数据库中已登记的面模中搜索该合成的面模，判断特定人的影像是否已经登记。
为了实现上述目的，本发明的又一个实施例提供一种拍摄脸孔的装置，包括影像输入单元，用于捕捉安装在预定位置的摄像机拍摄到的目标物的影像，并接受一系列影像信号；摇/俯仰镜头或变焦距驱动单元，用于使影像输入单元的摄像机朝着左/右、上/下或前/后方向移动；主控制器，用于控制摇/俯仰镜头或变焦距驱动单元，以便摄像机追踪目标物的运动；通过侦查从影像输入装置输入的影像信号中的目标物的肤色和运动，选择一检视区；从选定的检视区中的影像信号恢复脸孔部分；并且存储和显示脸孔部分；存储或恢复单元，用于存储来自主控制器的影像信号或从影像信号恢复脸孔部分；以及显示单元，用于输出从主控制器输出的与脸孔部分相对应的影像信号。
在该实施例中，该拍摄脸孔的装置还可进一步包括警报发生装置，用于在分析及判断取样自检视区的脸孔轮廓之后，针对异常的脸孔发出警报。
通过下面结合附图的详细描述，本发明的这些和其它特征、方面和优点会更加易于理解，附图中相同组件采用相同标号表示。附图中
图1是一示意性方框图，表示根据本发明一实施例的拍摄/识别脸孔的方法；图2是表示图1中主控制器的功能性方框图；图3表示影像输入过程的信号流程图；图4表示初始分析过程的信号流程图；图5表示判断过程的信号流程图；图6是屏幕和屏幕移动位置的参考图，表示摇/俯仰镜头或变焦距控制过程；图7是在拍摄区捕获到目标物时在离屏幕中心合适距离处拍摄目标物过程的参考图；图8是表示影像存储和传送过程的功能性方框图；图9表示用于恢复脸孔部分的脸孔样板(a)和输入的影像(b)；图10是根据本发明一个实施例的处理影像信号的步骤流程图，以便解释拍摄/识别脸孔的方法；图11是脸孔数据标准化过程的流程图；图12表示脸孔数据的轮廓取样阵列；图13是表示根据亮度的差异调节脸孔数据的轮廓强度的步骤；图14表示眼睛周围的样板；图15表示口周围的样板(a)和轮廓数据(b)；图16是一框图，表示根据本发明另一实施例的拍摄/识别脸孔的方法；图17是在图16中实施拍摄/识别的方法的流程图；图18是实施图16中实施拍摄/识别的另一种方法的流程图。
下面参照附图描述本发明的优选实施例。
图1-14是根据本发明一个实施例的说明脸孔拍摄/识别方法和装置的信号处理的线路结构的框图和流程图。图16-18是根据本发明另一个实施例的说明脸孔拍摄/识别方法和装置的信号处理的框图和流程图。
首先，参照图1-15描述本发明的第一个实施例。
图1是表示实施拍摄/识别脸孔的装置的线路结构的方框图。
如图中所示，本发明的装置包括影像输入单元10，通过捕获位于预定位置上的摄像机拍摄到的目标物的影像来接受一系列影像信号。该装置也包括摇/俯仰镜头或变焦距驱动单元20，用于使影像输入单元10的摄像机朝着左/右、上/下或前/后方向移动。该装置还包括主控制器30，用于控制摇/俯仰镜头或变焦距驱动单元20，以便摄像机追踪目标物的运动。主控制器30通过从影像输入单元10输入的影像信号中侦查目标物的肤色和运动来选择—检视区。主控制器30还恢复来自选定检视区中的影像信号的脸孔部分，并随后存储和传送影像信号的脸孔部分到下面将要讨论的显示单元。该装置还包括存储或恢复单元50，用于存储来自主控制器30的影像信号或恢复来自影像信号的脸孔部分。该装置当然也包括显示单元，用于输出与从主控制器30输出的与脸孔部分相对应的影像信号。
此外，本发明的装置还可包括一警报发生单元60，根据来自主控制器30的脸孔恢复结果，利用一可视的显示器、发声器来产生警报。
利用安装在外侧的摇/俯仰镜头或变焦距驱动单元20，影像输入单元10安装成可向上/下、左/右或前/后方向移动。此外，影像输入单元10包括一摄像机(例如，本发明中的数字摄像机)以便把镜头中捕捉的影像转换成一个定义成数字化程序(例如RGBYUV)的格式的影像信号。影像输入单元10也包括影像处理器，用于在固定的片格间隔内处理影像，并随后提供系列数字影像数据(例如，每秒15-30帧)。
附图2是表示图1中所示的主控制器30的功能性内部结构的方框图。如图中所示，主控制器30包含一个初始分析单元31，以便通过对显示由影像输入单元10所输入的影像的肤色或运动的部分取样，而选择一个检视区。主控制器30也包括一个判断单元32，可对检视区的脸孔轮廓取样，并能将此轮廓拿来与预定的脸孔样板进行比较，并能依照比较的结果而判断该脸孔是否已经存在或是为异常的，然后再选择准备追踪的目标等。主控制器30还包含一个目标物管理单元33，用来判断由判断单元32所选择的追踪目标是否位于拍摄区域中心，并随后计算及输出摄像机的调整值以便能追踪相对应目标物的运动。主控制器30还包括一个摇/俯仰镜头或变焦距的控制单元34，以便用来产生一个摇/俯仰镜头或变焦距的控制信号，因而能够依照目标物管理单元33的调整值而将影像输入单元10移向右/左，上/下，或前/后方向。除此之外，主控制器30还具有一个影像存储及传送单元35，以便用来存储经由影像输入单元10所捕捉的脸孔影像，并能将该影像分别传送至一显示单元40及存储或恢复单元50等。主控制器30也包括一个脸孔识别及恢复单元36，以便用来识别及恢复存储的脸孔影像，然后将识别结果传送给警报发生单元60。
如附图3中所示，初始分析单元31可通过，将从一个输入的影像信号S313所取样的当前的影像数据S314与以前存储的影像数据S315互作比较，因而能侦查一移动的部分S316。然后，初始分析单元31则可以侦查一个来自于影像输入单元10的影像信号中色彩要素(即是，红色R，绿色G，蓝色B或YUV)的比例是在肤色的范围之内的部分。接着，初始分析单元31即会选择一个肤色和运动皆会被侦查的部分S318作为检视区。
如附图4中所示，判断单元32，通过从由初始分析单元31而由一个摄像机拍摄区域S中所选定的检视区D而取得一个脸孔轮廓的样品S411。之后，判断单元32即会将以前存储的脸孔样板的尺寸转换成检视区D中的尺寸，然后再将样板与轮廓互作比较。然而，如果在检视区D中侦查到有一个近似于脸孔样板的轮廓，则判断单元32即会认定该脸孔是存在于检视区D中，S412。
此外，如附图5中所示，通过将样板与轮廓S511比较以判断是有一个脸孔存在之后，则判断单元32即会判断是否还有以前的追踪目标物存在，S512。在判定之后，判断单元32会依照当前选择的影像数据与以前存储的影像数据之间的比较结果，选择一个追踪目标物，S513，514。此时，在侦查到二个或更多个追踪目标物的情况下，判断单元32将会选择一个最接近于以前存储的追踪目标物的影像，来作为新的追踪目标物，S514。如果其中并无以前的追踪目标物存在时，则判断单元32将选择一个最接近于拍摄区域的中心位置的影像来作为新的追踪目标物，S513。
如图6中所示，目标物管理单元33读取在用摄像机拍摄到的整个区域中的一个屏幕的位置(SX，SY)，随后判断经由判断单元32所选择的追踪目标物是否位于摄像机拍摄区域(X，Y)的中心位置上。同时，目标物管理单元33会计算屏幕将移动到的位置(MX，MY)，若利用摇/俯仰镜头或变焦距的控制，摄像机大约可以覆盖整个区域(Pmax，Tmax)，并随后将摄像机的调整值输出给摇/俯仰镜头或变焦距的控制单元34。
如附图7中所示，摇/俯仰镜头或变焦距的控制单元34能产生一摇/俯仰镜头或变焦距的信号，以便能，依照来自于目标物管理单元33的摄像机调整值，而使得影像输入单元10的摄像机可以移向左/右，上/下或前/后(在图中是面向/背向着纸张)的方向。如附图7(B)中所示，如果摄像机侦查到目标物(d)，则摇/俯仰镜头或变焦距的控制单元34便会将该目标物(d)放置到，如附图7(c)中所示的屏幕的中心位置上。
如附图8中所示的信号流程，影像存储与传送单元35会将由影像输入单元10所捕捉的脸孔影像S611转换成为一固定的尺寸，S612，然后会以点状图像BMP的类型来存储该脸孔的影像，S613。然后，影像存储与传送单元35便会以一个预定的缩小格式之类型(即是JPEG)来长期存储该脸孔的影像。除此之外，影像存储与传送单元35也会将追踪目标物的影像传送至显示单元40，以便在屏幕上显示影像，S615，或者传送至脸孔识别及恢复单元36，以供用来识别脸孔，S616。
脸孔识别及恢复单元36可恢复一位人士的特性，以便能从输入的脸孔数据中找出该特定人士的脸孔。于是，脸孔识别及恢复单元36便会输出对应于该特性(与附图9(a)中的脸孔样板和附图9(b)中的脸孔影像相同的特性)的一个脸孔影像数据。
附图10是本发明的脸孔摄影/识别的方法的一项具体化实施例，并以概要的方式来说明影像信号处理的流程图。
如图中所示的，根据本发明的第一实施例的摄影/识别脸孔的方法包括初始分析步骤S101-S109，判断步骤S111-S119，以及影像存储及传送步骤S121。初始分析步骤S101-S109能通过安装在预定位置处的影像输入单元10拍摄的输入影像，并能对具有肤色与运动的部分取样，来选择一个检视区。判断步骤S111-S119能够自选择的检视区中所取样得到的脸孔轮廓，来选择一个追踪目标物，将该轮廓与一个预定的脸孔样板比较，然后再依据其比较结果来判断该脸孔是否存在或是为异常的。影像存储及传送步骤S121可以识别与恢复经由影像输入单元10所捕捉的脸孔影像，然后再存储输入的脸孔影像及取样自脸孔影像的追踪目标物的轮廓。
尽管在附图中并未示出，但是本发明的另一实施例，可以包括目标物管理步骤和摇/俯仰镜头或变焦距的控制步骤。目标物管理步骤可判断，在判断步骤中所选择的追踪目标物是否位于摄像机拍摄区域的中心处，并且然后计算出摄像机的调整值以便追踪相对应的追踪目标物的运动。摇/俯仰镜头或变焦距的控制步骤，可以控制摇/俯仰镜头或变焦距的功能以便能，依据于目标物管理步骤所计算得来的摄像机的调整值，来将影像输入单元10向左/右，上/下或前/后方向移动。
本发明的又一实施例，则进一步地包括警报生成步骤S120，可以在经过分析及恢复取样区域中的脸孔轮廓之后，发现脸孔为异常时，便产生一警报信号。
除此之外，本发明的又一实施例可包括以下步骤该脸孔存在于检视区时，在检视区中产生脸孔影像的三维信息，利用该三维信息合成一个人的面模，并随后将该合成的人的面模与以前存储在如数据库中的人的面模对比以识别某一位特定的人士，从而可顺利地应用于脸孔影像的识别工作上。
此外，本发明可以将通过初始分析步骤和摇/俯仰或变焦距的控制步骤，在检视区中所准确拍摄的瞬时的脸孔影像(在一张静止照片中的脸孔影像)存储在一个独立的存储单元中，以便可将它应用于一个影像识别装置，以供作为调查之用，或者应用于一个设计用来通过识别脸孔来控制机器的安全设备等。
附图11中所示的是具有眼睛阵列的脸孔数据标准化程度的流程图。附图12中所示为有关脸孔数据的轮廓取样阵列。附图13中所示为一项，依照亮度的差异，调整脸孔数据轮廓的强度的流程图。附图14中所示为眼部周围样板，而附图15中所示为一个样板(a)及在口部四周的轮廓数据(b)。
下面参照附图描述本发明的运作和效果。
请参考附图11，利用由脸孔数据中所恢复的眼睛的排列，来检查倾斜度，S711的脸孔数据随后被标准化了，S712，所以具有一固定尺寸及形状的脸孔数据可能取样，S713。
首先，请参考附图13，输入的脸孔数据的眼睛，鼻子，口，眉毛的轮廓特性被取样，S811。取样的轮廓布局由各图素来替代，S812。此外，为了能确定亮度的强度，利用输入脸孔数据来计算出平均亮度S813。之后，在将此平均亮度直接与图素的亮度互相比较S814，以便能产生水平线的轮廓取样数据S815。
首先，将利用影像输入单元10中的摄像机所输入的数字影像定义成一种格式，以供从事数字化的处理程序(例如，RGB或YUV)，并可提供可适用于影像处理器的解析度(如，具有640×480图素)。此时，将现有的输入影像与一个以前的输入影像相比较，然后将它更新成为一参考影像(为下次输入影像时作为另一个以前的影像)。除此之外，通过比较当前输入数据及以前的输入数据，来侦查一个追踪目标物的肤色和运动，并由此选择一个检视区。
之后，通过由影像输入单元10所输入的影像数据中取得影像样品，并侦查一个具有由RGB比例组成的肤色及运动的部分，主控制器30的初始分析单元31来选择用于恢复的范围。在完成侦查部分与运动之后，利用初始分析单元31来存储数据，然后使用此数据来侦查下一个影像的运动。其次，通过使用运动的数据并将检视区的数据传送给判断单元32等方式，初始分析单元31选择检视区。
通过恢复经过初始分析单元31分析过的检视区，判断单元32随后判断到底该脸孔是否存在。如附图12中所示，为了达到上述之目的，首先判断单元32从检视区的影像信号侦查中心位置处呈黑暗而上下部分则是呈明亮的轮廓。侦查轮廓的结果显示，可以获得眉毛、眼睛、鼻子的下半部、和口比较明显的一个轮廓S815。接着，判断单元32便需判断是否有脸孔存在于检视区中，以防止在经过和以前存储的脸孔样板相比较之后，会显示出检视区中的轮廓的数值会高于参考值的现象。由于检视区并无固定的尺寸，因而在比较之前，对于以前存储的样板尺寸则应该要变更。
之后，通过比较一个当前的脸孔取样数据和一个以前的数据，目标物管理单元33选择一个追踪目标物。假使在一个新的屏幕中侦查到一个脸孔时，则该脸孔即会变成为一个追踪目标物，当侦查到二个或更多个脸孔时，选择一个最接近于以前的目标物作为追踪目标物。如果其中并无以前的追踪目标物时，则最接近于屏幕中心位置处的一个脸孔，被选出来作为追踪目标物。
其次，摇/俯仰镜头或变焦距的控制单元34在追踪目标物偏离摄像机的中心位置的情况下，用来摇/俯仰镜头或变焦距操作摄像机，以便追踪目标物。控制单元34包括摇/俯仰镜头或变焦距的驱动单元20，它是被安装在影像输入单元10的摄像机上，因而使得该摄像机即可以接受主控制器上的摇/俯仰镜头或变焦距的控制单元34的指令而进行操作。摇/俯仰镜头或变焦距的驱动单元20则是能够以串列、序列、万用串列式汇流排(USB)，或无线通讯等方式，而联结至摇/俯仰镜头或变焦距的控制单元34。
在完成恢复输入的脸孔影像之后，影像存储及传送单元35便将输入的脸孔影像，以图像的类型，存储至独立的存储单元中，并可将影像与取样的特性一起传送至一个识别系统。
脸孔影像恢复单元36可侦查一位特定人士的特性，以便能找出存储于输入脸孔数据中的一个脸孔。脸孔影像恢复单元36随后输出与该特性相对应的脸孔影像数据。
此时，处理的数据(输入数据)为一个矩形影像数据，其中唯有脸孔部分才可取样。数据的尺寸或许可以，依照一个脸孔的尺寸而有所不同，然而数据的倾向性并不需一致。
因此，首先，检视一个脸孔的程序，利用脸孔元件的特性恢复眼睛，如附图10中所示的S101，S103。然后，利用眼睛的阵列使脸孔数据标准化，以便能使得脸孔的尺寸及形状都能一致化，如附图11中所示，S105。
之后，该程序对具有一致尺寸和形状的脸孔中的各个元件的轮廓进行取样，S107，S109，然后利用一个眼睛样板恢复眼睛部分，以便通过详细检验所恢复的眼睛来判断是否有误差S113。
循序地，该程序利用口部和口部四周的样板恢复口部，S115，因而得以通过详细检验所恢复的口部数据而来判断是否有误差S117。
此外，利用鼻子和鼻子四周的样板及眉毛和眉毛四周的样板(附图中并未明示)，该程序恢复鼻子部分和眉毛部分，以通过详细检验其所恢复的鼻子和眉毛而来判断是否有误差。
然后，利用眼睛和口部(可能地，也包括鼻子和眉毛)的检验结果，同步判断是否有误差存在，S119。
假使在眼睛、鼻子、口部、眉毛或综合的部分皆无误差存在时，则进行该人士脸孔图像数据的写人与存储，并将此恢复的数据传送至一位门房的安全系统或是一访客识别系统，以供辩识之用，S121。因此，如果有任何问题发生时，便能利用任一种恢复程序，轻易地恢复一位可疑人士的数据。
换句话说，如果在有关眼睛、鼻子、口部、眉毛或综合性的检验结果有误差存在时，即可判断该位人士是具有危险要素，例如，戴一个面罩，深色的太阳眼镜，一个下拉覆盖的帽子。在这情况之下，处理程序会产生警报信号，以致于可以让主管人员立即采取紧急措施应付，S120。
综上所述，本发明利用一部安装在入口处的摄像机，能快速又准确地拍摄脸孔，以便能写入陌生人的脸孔。除此之外，在事实上，由于本发明所存储的仅是静态的图像，而非如同既有的专利技术中所采用的动态图像，存储单元的容量是能够显著地降低。
而且，为了防止有异常人士佩戴一个面罩，深色的太阳眼镜或一个下拉覆盖的帽子进入，即是，一个具有危险要素的人士出现，本发明即会预先产生警报信号给主管或维修人员，以便采取紧急措施。
此外，因为可用来追踪脸孔的运动的摄像机是安装在门上，因而本发明便能比任何其他的监督系统更有效率地阻止罪犯。
更何况，本发明是可克服现有技术需要以脸孔正对着一个固定式的摄像机等的不方便性，由于摄像机是能智能地向上/下，左/右的方向移动，因此当使用影像电话时能正确地显示脸孔的正前方。
此外，由于该摄像机能对应高或矮的人，本发明可以提供一更方便的功能，而这是现有技术中无法办到的。
本发明同时也具有更大的效益，因它可以结合一套门禁系统共同来担任识别陌生人的责任，或是能使用于一间制造工厂或使用自动影像追踪技术的在线即时模拟游戏。
以下，为本发明脸孔识别方法的另一实施例，参照附图16至18，详细描述如下附图16为一发明另一实施例的用来拍摄及识别一张脸孔的方法的方框图，以阐明一种脸孔拍摄及识别系统的结构。
如附图中所示，一种影像输入单元100通过多部朝向预定方向的摄像机拍摄一个目标物。大体上来说，影像输入单元100至少配置二部CCD摄像机110。
一个预处理单元200可接收来自影像输入单元100的影像信号。预处理单元200可以消除影像信号里的杂讯，然后拮取一个有关该影像信号的轮廓的样品。
一个特性取样单元300可以，依据自预处理单元200输入的影像信号的轮廓，来恢复该影像信号的特性。
一个三维的信息取样单元400能通过使用，由特性取样单元300所取样的特性，使得预处理单元200的影像信号旋转、俯仰或移动来重整影像，并可通过利用重新整理的影像间的位移信息，来对该三维信息取样。
一个面模产生单元500，可以将自三维信息取样单元400所恢复的三维信息与一个预定的参考面模相互比较，并可针对每一位人士产生一新的面模。
一个数据库600包含若干从核准使用者的影像信号中获得的影像数据作为面模数据。
一个形状识别单元700通常为一中央处理单元CPU。形状识别单元700会将面模产生单元500中新产生的面模与在数据库600中的面模数据互作比较，然后判断该新的面模是否和面模数据相同。在此时，如果真的有一个面模是和数据库600中的新面模相同时，则经由摄像机所拍下的当前的影像，将被视为是以前已登记的面模，而此使用者则会被归类为是一位核准的使用者。否则，则该影像将会被辨认成为一位未登记的面模，而且该使用者亦会被归类为一个未被核准的使用者。
一个存储媒体800包括可供全套系统使用的一作业程序，以及识别脸孔时所必须使用的若干数据。上述存储媒体800的操作作业依照一项来自于形状识别单元700的控制信号，因而可以将以前就有的存储数据输出到形状识别单元700。存储媒体800可采用具备可能是一个半导体记忆卡片、硬盘、光盘等。
影像输入单元100是可以包含用来拍摄一个目标物的CCD摄像机110；可捕获来自摄像机的信号以及按照一定方式来显示此信号的影像捕获单元120；一种可通过利用一个由特性取样单元300所选定的检视区计算一个CCD摄像机的当前的旋转范围，而输出一个摄像机驱动控制信号的摄像机驱动控制单元130，以及一个，可以按照摄像机驱动控制单元130的摄像机驱动控制信号来转动摄像机至一指定方向的摄像机驱动单元140。
如附图17所示，为本发明的另一实施例，以说明用来拍摄及识别一张脸孔的方法的流程图；如附图中所示，该项方法包括步骤S200-S250，选择通过摄像机所捕获的影像信号的检视区的特性，重新整理影像，利用所恢复的脸孔元件来侦查一个和有脸孔的部分，针对具有脸孔的部分进行取样并检验其特性，然后调整摄像机的方向以便判断是否有脸孔存在。此方法更进一步地包括一项步骤S260，通过其特性，再次重新整理在检视区中是具有脸孔的影像信号的已重新整理影像，可按照重新整理的影像之间的位移信息来产生三维信息，并且能利用该三维信息而合成一个目标物的脸孔面模。上述方法则更进一步地包括一项步骤S270，从数据库的个人登记面模中搜寻合成的脸孔面模时，即可判断一位特定人士的影像是否已经登记。
附图18为本发明另一实施例的拍摄及识别一张脸孔的方法的流程图。此项方法是包括步骤S300-S340从摄像机输入的影像信号中，分别选取肤色数据和运动数据而选择至少一个检视区；利用在相对应区域中的亮度差，来对比样板与脸孔元件；并在判断过是否存有一个脸孔之后，调整摄像机的方向。本方法亦包括步骤S350-S370它可重新调整，在检视区中存在着一个脸孔的影像信号中的影像；依照重新整理过的影像之间的位移来产生三维的信息；以及通过比较该三维信息与一个参考面模，而合成一个个人的脸孔面模。本方法也更进一步地包括步骤S380-S400通过搜寻存储在数据库中的个人的登记面模，即可以判断某一特定人士的影像是否已经登记了。
本发明上述的各个实施例，其运作方式如下首先，如附图17中所示的实施例的运作，可参考附图15中的相关方框图而加以阐述。
影像输入单元100可接收来自CCD摄像机110以及影像捕获单元120的影像信号。预处理单元200可以消除杂讯，然后执行轮廓校正与过滤。
经过这样处理的影像信号随后被输入到一特性侦查单元300中。特性侦查单元300通过比较信号的影像中一个以前的影像与一个当前的影像之间的结果，而侦查一个目标物的运动，并因而产生运动的数据。特性侦查单元300可通过侦查其中含有色彩要素(如，R(红色)，G(绿色)，B(蓝色)或YUV)的比例皆属于肤色的范围内的部分，来产生一个肤色数据。
特性侦查单元300能够利用上述所产生的运动数据及色彩的数据，从影像输入单元100和预处理单元200输入的区域的影像信号中选择至少一个检视区，S210。特性侦查单元300可以通过识别，在选定的检视区中的脸孔元件来选择一个其中存有一个脸孔的区域，S210-1，然后再利用特性，即可重新整理经由CCD摄像机110及预处理单元200所输入的影像，S220。
其所产生的检视区中的运动和色彩数据，被侦查到的特性，和重新整理的检视区的影像数据等，皆可分别输入到三维信息取样单元400和摄像机驱动控制单元130。
摄像机驱动控制单元130会将存在于其所产生的检视区中的运动与肤色数据、被侦查过的特性、重新整理的影像数据与以前输入及处理过的检视区数据相比较。
如上所述，摄像机驱动控制单元130也可通过比较二个检视区的数据，而计算出检视区的移动距离，S230。此外，通过使CCD摄像机110旋转至相当于其移动的距离，而确定旋转距离和角度以便能再次拍摄到目标物。
已确定的CCD摄像机旋转距离和角度被输入到摄像机驱动单元140作为摄像机驱动控制信号。摄像机驱动单元140会接收摄像机驱动控制信号，然后会尽可能地使CCD摄像机110旋转一预定角度至某一方向，S240。只要一侦查到有新的目标物存在时，则上述的摄像机控制的操作事项即会重复地执行。
换句话说，三维信息取样单元400会收到该检视区中的运动与肤色数据、已侦查到的特性，以及由特性侦查单元300所重新整理的影像数据，随后会利用已侦查到的特性而再重新整理一次，然后利用重新整理过的影像特性，而判断是否有一个脸孔已经存在于检视区内，S250。
作为判断的结果，在检视区中具有一个脸孔的影像信号的三维信息，利用多个重新整理过的影像之间的位移信息，即可顺利产生。除此之外，若比较其所产生的三维信息与一个位于面模产生单元500中的参考面模，便能产生一个新的个人的面模，S260。
然后，将新产生的面模拿来与一个在数据库600中的面模数据作比较，以便能判断是否有相同的面模是存在于数据库中。如果已经有一相同的面模数据存在于数据库600中时，则新的面模将被视为是一个已登记过的面模，而现在被摄像机所捕捉的目标物，亦将被归类为已被核准的使用者。换句话说，假使在数据库600中并没有存在相同的面模时，则新的面模将被视为是一尚未登记的面模，并且该目标物则会被归类为一个未被核准的使用者，S270。
下面结合附图16中的框图阐述附图18中所示的另一实施例的运行。
当一个影像信号通过CCD摄像机110和影像输入单元100中的影像捕获单元120及预处理单元200而输入时，则特性侦查单元300即会判断输入的信号，并且会比较影像信号的当前的屏幕显示与以前的屏幕显示。依照比较的结果，一个目标物的运动可以被侦查以产生一个运动数据，而且若侦查到一个其色彩要素(如，R，G，B或YUV)的比例是属于肤色的范围之内的部分时，便会产生一个色彩数据，S310。
此外，在上述的程序中，特性侦查单元300利用上述程序中获得的运动数据和色彩数据，而在一个区域的影像信号中选择至少一个检视区，S320。
当检视区选定了之后，则本实施例的方法通过检验脸孔元件而侦查到一个脸孔存在的部分，S320-1，并且再挑选出相对应区域中的追踪目标物。于是借助让特性侦查单元300来侦查其特性，便能重新整理影像S330，然后通过重新整理的影像，本发明即可识别出在相对应的区域中存在着一追踪目标物，S340。如果在相对应的区域中有一个追踪目标物的脸孔时，则在小心地调整摄像机后重新整理影像使得在对应区域有一脸孔的影像讯号能位于屏幕的中心点上，S350。接着，在利用多个重新整理的影像的位移信息，产生三维的信息，S360。三维的信息会与在面模产生单元500中的参考面模互相比较，以便产生一个因人而异的新面模，S370。
如果并没有准确的脸孔时，则摄像机会通过计算出能指示摄像机的移动量的该摄像机的调整值，摄像机被调回复至正常的位置(一般拍摄位置)，S341。然后，利用其所接收到的影像信号，此实施例中所述的方法可以执行一项能产生皮肤数据及运动数据的步骤，S310。
将上述产生的新的面模和数据库600中的面模数据作比较以判断出该新的面模是否已经存在于数据库600中，S380。作为判断的结果，如果有相同的面模存在于数据库600中时，则新的面模即会被视为是一已登记的面模S390，而且该被摄像机捕捉到的目标也会被归类于核准的使用者。如果在数据库600中并无相同的面模时，则此新的面模则会被视为是一个尚未登记的面模，而该目标物也会被归类于未被核准的使用者。
因此，综上所述，本发明是可通过对影像信号的皮肤数据和运动数据取样而能识别一个脸孔，它可不断地调整摄像机的位置，同时将摄像机调整至某一角度直到可以顺利地完全识别脸孔，其效益主要是来自于它可以智能地，准确对准一个脸孔，而不需劳驾使用者移动身体至一适当位置来配合识别系统。
综上所述，已经详细地阐述本发明的脸孔摄影与识别的方法和装置。应理解，本发明的实施例只是为了说明的目的，并不是用来限制本发明。所有本领域技术人员在上述描述基础上显然作出的修改和变型均落入本发明的宗旨和范围内。
权利要求
1.一种拍摄脸孔的方法，包括初始分析步骤，通过对一部安装在预定位置的摄像机输入的影像信号中的脸孔数据取样进而确认该脸孔的位置，然后再选择检视区以便能追踪要识别的脸孔；摇/俯仰镜头或变焦距控制步骤，用来将摄像机朝着左/右、上/下或前/后方向移动以便能追踪位于选定区中的要识别脸孔；判断步骤，通过取样及分析在检视区中识别的脸孔的轮廓，判断出该脸孔是已经存在的还是异常的；以及存储及传送步骤，用来存储已判断过的脸孔的影像或将该影像传送至另一套识别系统。
2.如权利要求1所述的拍摄脸孔的方法，其特征在于，它更进一步包括如下步骤在分析及判断取样自检视区的脸孔轮廓之后，针对异常的脸孔发出警报。
3.如权利要求2所述的拍摄脸孔的方法，其特征在于，所述初始分析步骤包括下列步骤通过将当前取样的影像数据与以前存储的影像数据相比较来侦查移动部分；从当前取样的影像数据中侦查色彩要素的比例是在肤色的范围之内的部分；以及选择一个既侦查肤色又侦查移动的部分作为检视区。
4.如权利要求3所述的拍摄脸孔的方法，其特征在于，在检视区中识别出至少两个脸孔的情况下，该初始分析步骤会基于以前选择的目标物挑选出一个更为接近的影像作为新的追踪目标物。
5.如权利要求4所述的拍摄脸孔的方法，其特征在于，在没有以前选择的目标物可供追踪的情况下，该初始选择步骤会选择接近拍摄区的中心的影像作为新的追踪目标物。
6.如权利要求2所述的拍摄脸孔的方法，其特征在于，判断步骤通过基于影像数据的平均亮度对检视区中的脸孔轮廓取样，根据人和/或周围环境的特性调节该轮廓的强度。
7.如权利要求6所述的拍摄脸孔的方法，其特征在于，判断步骤将在检视区中取样的影像数据的轮廓与预定的脸孔样板对比，并在轮廓接近脸孔样板时判断该脸孔存在于检视区中。
8.如权利要求7所述的拍摄脸孔的方法，其特征在于，判断步骤通过将预定脸孔样板的尺寸转换成检视区的尺寸，将预定的脸孔样板与检视区中的轮廓进行对比。
9.如权利要求7所述的拍摄脸孔的方法，其特征在于，判断步骤包括下列步骤在用取样的脸孔轮廓代替预定样板的眼部之后，通过单独恢复眼睛，判断眼睛是否正常；在完成对眼睛的单独恢复后，用取样的脸孔轮廓代替预定样板的口鼻部之后，通过单独恢复口鼻，判断口鼻是否正常；以及在完成对口鼻的单独恢复后，通过用取样的脸孔轮廓的数字化数据代替预定样板的眼、口、鼻的数字化数据，判断脸孔是否完全正常。
10.如权利要求2所述的拍摄脸孔的方法，其特征在于，脸孔影像存储和传送步骤分别恢复和存储输入数据中的脸孔影像。
11.一种识别脸孔的方法，包括初始分析步骤，通过对一部安装在预定位置的摄像机输入的影像信号中的脸孔数据取样进而确认该脸孔的位置，然后再选择检视区以便能追踪要识别的脸孔；摇/俯仰镜头或变焦距控制步骤，用来将摄像机朝着左/右、上/下或前/后方向移动以便能追踪位于选定区中的要识别脸孔；判断步骤，通过取样及分析在检视区中识别出的脸孔的轮廓，判断该脸孔是已经存在的还是异常的；以及在脸孔是存在的情况下，通过产生检视区中的脸孔影像的三维信息来合成一个个人的面模，然后通过将该面模与以前存储的人的面模对比来识别一特定的人。
12.如权利要求11所述的识别脸孔的方法，其特征在于，还包括如下步骤在分析和判断取样自检视区的脸孔轮廓后，针对异常脸孔发出警报。
13.如权利要求12所述的识别脸孔的方法，其特征在于，所述初始分析步骤包括下列步骤通过将当前取样的影像数据与以前存储的影像数据相比较来侦查一个移动部分；从当前取样的影像数据中侦查色彩要素的比例是在肤色的范围之内的部分；以及选择既侦查肤色又侦查移动的部分作为检视区。
14.如权利要求13所述的识别脸孔的方法，其特征在于，在所述检视区中识别出至少两个脸孔的情况下，该初始分析步骤会基于以前选择的目标物挑选出一个更为接近的影像作为新的追踪目标物。
15.如权利要求14所述的识别脸孔的方法，其特征在于，在没有以前选择的目标物可供追踪的情况下，该初始选择步骤会选择接近拍摄区中心的影像作为新的追踪目标物。
16.如权利要求12所述的识别脸孔的方法，其特征在于，判断步骤通过基于影像数据的平均亮度对检视区中脸孔轮廓取样，根据人和/或周围环境的特性调节轮廓的强度。
17.如权利要求16所述的识别脸孔的方法，其特征在于，判断步骤将在检视区中取样的影像数据的轮廓与预定的脸孔样板对比，并在轮廓接近脸孔样板时判断该脸孔存在于检视区中。
18.如权利要求17所述的识别脸孔的方法，其特征在于，判断步骤通过将预定脸孔样板的尺寸转换成检视区的尺寸，将预定的脸孔样板与检视区中的轮廓进行对比。
19.如权利要求17所述的识别脸孔的方法，其特征在于，判断步骤包括下列步骤在用取样的脸孔轮廓代替预定样板的眼部之后，通过单独恢复眼睛，判断眼睛是否正常；在完成对眼睛的单独恢复后，用取样的脸孔轮廓代替预定样板的口鼻部之后，通过单独恢复口鼻，判断口鼻是否正常；以及在完成对口鼻的单独恢复后，通过用取样的脸孔轮廓的数字化数据代替预定样板的眼、口、鼻的数字化数据，判断脸孔是否完全正常。
20.一种识别脸孔的方法，包括下列步骤针对摄像机所捕捉的影像信号选择多个检视区；通过判断脸孔是否存在于相应的检视区而挑选出一特定的检视区；并且根据选定的检视区内目标物的移动而调整摄像机的方向；在判断脸孔是否存在之后，在脸孔存在于检视区的情况下，通过侦查影像信号的特性而重新整理影像；根据重新整理的影像之间的位移产生三维信息；并且利用三维信息合成目标物的面模；以及通过从数据库中已登记的面模中搜索该合成的面模，判断特定人的影像是否已经登记。
21.一种识别脸孔的方法，包括下列步骤通过对摄像机输入的影像信号中的肤色数据和运动数据分别取样来选择多个检视区；通过侦查在相应检视区中影像信号的脸孔组件，恢复一特定检视区来选择出一个特定的检视区；通过恢复选定的检视区的特性来重新整理影像；并且通过利用重新整理的影像判断脸孔是否存在来调整摄像机的方向；针对脸孔存在于检视区的影像信号重新整理影像；根据重新整理的影像之间的位移产生三维信息；并且通过将该三维信息与参照面模相比较来合成一个人的面模；以及通过从数据库中已登记的面模中搜索该合成的面模，判断特定人的影像是否已经登记。
22.一种拍摄脸孔的装置，包括影像输入单元，用于捕捉安装在预定位置的摄像机拍摄到的目标物的影像，并接受一系列影像信号；摇/俯仰镜头或变焦距驱动单元，用于使影像输入单元的摄像机朝着左/右、上/下或前/后方向移动；主控制器，用于控制摇/俯仰镜头或变焦距驱动单元，以便摄像机追踪目标物的运动；通过侦查从影像输入装置输入的影像信号中的目标物的肤色和运动，选择一检视区；从选定的检视区中的影像信号恢复脸孔部分；并且存储和显示脸孔部分；存储或恢复单元，用于存储来自主控制器的影像信号或从影像信号恢复脸孔部分；以及显示单元，用于输出从主控制器输出的与脸孔部分相对应的影像信号。
23.如权利要求22所述的装置，其特征在于，还包括警报发生单元，用于根据从主控制器的脸孔恢复结果发出警报。
24.如权利要求23所述的装置，其特征在于，主控制器包括初始分析单元，用于通过对影像输入单元输入的影像中显示肤色或运动的部分取样来选择检视区；判断单元，用于对检视区中脸孔的轮廓取样，将该轮廓与预定的脸孔样板进行对比；根据对比判断该脸孔是已存在的还是异常；然后选择出追踪目标物；目标物管理单元，用于判断由判断单元所选出的追踪目标物是否位于摄像机拍摄区域的中心；计算和输出为了追踪相应目标物的移动，摄像机的摄像机调整值；摇/俯仰镜头或变焦距控制单元，用于产生摇/俯仰镜头或变焦距控制信号，以便根据来自目标物管理单元的摄像机调整值使影像输入单元朝着左/右、上/下或前/后方向移动；影像存储和传送单元，用于存储影像输入单元所捕获的脸孔影像并将该影像传送至显示单元；以及脸孔识别和恢复单元，用于识别和恢复已存储的脸孔影像。
25.如权利要求24所述的拍摄脸孔的装置，其特征在于，初始分析单元通过将当前取样的影像数据与以前存储的影像数据进行比较来侦查运动部分；侦查色彩要素的比例在肤色范围内的部分；选择肤色和运动都被侦查的部分作为检视区。
26.如权利要求24所述的拍摄脸孔的装置，其特征在于，在将侦查的轮廓与以前已存储的脸孔样板进行比较之后，当侦查的轮廓与脸孔样板接近时，判断单元判断脸孔存在于检视区内。
27.如权利要求26所述的拍摄脸孔的装置，其特征在于，判断单元通过将以前存储的脸孔样板的尺寸转换成检视区的尺寸，将预定的脸孔样板与检视区中的轮廓进行对比。
28.如权利要求27所述的拍摄脸孔的装置，其特征在于，在侦查到两个或更多的追踪目标物的情况下，将当前取样的影像数据与以前存储的影像数据进行对比以选择一个追踪目标物时，判断单元选择一个最接近以前选定目标物的影像作为新的追踪目标物。
29.如权利要求27所述的拍摄脸孔的装置，其特征在于，在侦查到两个或更多的追踪目标物并且没有以前选定的目标物的情况下，将当前取样的影像数据与以前存储的影像数据进行对比以选择一个追踪目标物时，判断单元选择一个最接近拍摄区域中心的影像作为新的追踪目标物。
全文摘要
本发明提供一种拍摄/识别脸孔的方法和装置,它能通过下述方式而将脸孔影像拍摄成静止的照片:侦查摄像机所捕捉的目标物的肤色和运动;自动选择最合适的目标物;并且是使得摄像机自动追踪目标物而不需要任何人工操作;分析所捕捉到的目标物的脸孔影像而准确地识别出特定的人。由于本发明的方法和装置能通过分析所选定的目标物的脸孔影像信号而识别出具有危险因素的脸孔并针对危险人物发出警报,因而能预先处理任何可能发生的紧急事件。
文档编号G06K9/20GK1254904SQ99124868
公开日2000年5月31日 申请日期1999年11月18日 优先权日1998年11月18日
发明者金云龙, 金俊铉 申请人:株式会社新太吉