基于活跃度评价的视频假冒检测方法和系统与流程

本发明涉及对生物计量特征的真实视频和假冒视频的区分方法领域，并且特别应用于回放视频类型的假冒检测。

本发明能够在提供对于安全区域的访问或允许安全交易的识别或认证背景下实现。

背景技术：

众多控制依赖于以生物计量特征为基础的认证或识别，例如使得个体能够访问安全位置或处理安全交易。

一些控制通过记录个体的生物计量特征(例如，虹膜)的视频并将提取的生物计量特征与记录的个体的数据库进行比较以找到匹配来实现。

为了欺骗该控制，已经发展出其中冒名者使用从数据库窃取的生物计量样本来获得对于安全区域的访问或被允许执行交易的攻击。

这些攻击(即演示攻击)能够采用印刷攻击的形式，其中，使用高质量激光打印机或喷墨打印机印刷生物计量样本并且将其用于控制方法中。因而在控制过程中，记录印刷物的视频而非真正生物计量特征的视频。

攻击还能够采用回放视频攻击的形式，其中，在控制方法中使用播放生物计量样本的高质量电子视频。在该情况中，控制系统记录所播放的视频的新的视频，而不是生物计量特征的视频。

控制系统应当能够检测这样的演示攻击，从而是安全可靠的，并且因此应当能够确定记录的主体(例如真正生物计量特征、或回放视频、或生物计量样本的印刷物)的活跃度。

s.bharadwaj,t.i.dhamecha,m.vatsa和r.singh在2013年ieee计算机视觉和图形识别工作研讨会(105-110页，ieee，2013)的文献“利用面部放大的计算高效的面部假冒检测(computationallyefficientfacespoofingdetectionwithmotionmagnification)”中提出了一种用于对面部识别捕获装置上的演示攻击进行检测的方法。

该方法依赖于使用动作放大的幅度和纹理描述符，因而并不适用于诸如像虹膜之类依赖于回放视频攻击的其它类型的生物计量特征。

因而，需要一种使得能够检测虹膜识别中的回放视频攻击的方法。

技术实现要素：

本发明的一个目的是提供一种确定视频是假冒的还是生物计量特征的真正记录的方法，而不论该视频的主体是何种类型的生物计量特征。

因此，本发明的一个对象是一种确定生物计量特征的视频为假冒或活体生物计量特征(livebiometriccharacteristic)的真正记录的方法，其中，所述视频包括多个帧的时间序列，所述方法在包括处理单元的系统中实现，

其特征在于，所述方法包括以下步骤：

-预处理所述视频，所述预处理包括将所述视频的每个帧上的生物计量特征对准，

-确定所述视频的活跃度分数，该确定对于多个帧中的每个帧包括：

计算当前帧的动作强度和一组之前的帧中的每个帧的动作强度之间的差，

根据所述差推断所述当前帧的差分动作强度，

根据该多个帧的差分动作强度推断所述视频的动作强度，

将所述动作强度与预定的阈值相比较，并且基于所述视频的动作强度与该阈值的比较为所述视频分配活跃度分数，以及

-根据所述视频的活跃度分数，确定所述视频是生物计量特征的真正记录或假冒。

-在一些实施例中，该方法包括以下特征中的至少一个：帧的动作强度包括该帧的相位变化，所述视频的动作强度包括该视频的相位变化。

-根据所述视频的至少10个帧的差分动作强度推断所述视频的动作强度。

-用于计算与当前帧之间的动作强度差的该组帧包括在所述当前帧之前的3至8个帧，并且较优地为5个帧。

-每个帧被分为恒定大小的不重叠分块，并且通过针对当前帧中的每个分块计算该分块的动作强度与该组之前的帧中的每一个的对应分块的动作强度之间的差来计算两个帧之间的动作强度差，并且当前帧的差分动作强度通过以下方式获得：

针对当前帧中的每个分块选择所述分块与该组之前的帧中的每一个的对应分块之间的最大动作强度差，以及

将所述帧中的全部分块的最大动作强度相加。

-预处理步骤还包括放大视频中的动作的步骤。

-动作放大是相位变化放大并且包括：

使用快速傅立叶变换分解所述视频，

对相位应用带通滤波器，

对至少一些相位分量应用放大因数，以及

执行傅立叶逆变换以重构所述视频。

-视频上的生物计量特征为虹膜，并且所述视频的预处理包括对所述视频中的帧进行挑选(230)以移除眨眼。

-该方法还包括将所述视频的动作强度与第二阈值进行比较，并且为所述视频分配活跃度分数的步骤取决于所述动作强度与两个阈值之间的比较。

-通过对每个帧的差分动作强度应用s型函数进一步将每个帧的差分动作强度归一化。

-所述视频的动作强度为归一化差分强度的平均值，并且所述动作强度与第一阈值相比较，且当所述动作强度超过该阈值时，所述视频被认为是回放视频类型的假冒，并且分配给帧的活跃度分数为0。

-所述第二阈值低于所述第一阈值，所述视频的动作强度与所述第二阈值相比较，且当所述动作强度低于该阈值时，所述视频被认为是印刷物类型的假冒，并且分配给帧的活跃度分数为0。

本发明的另一对象是一种计算机程序产品，包括在由处理单元执行时适于执行根据之前介绍的方法的软件代码。

本发明的另一对象是一种处理单元，该处理单元配置为实施根据之前介绍的方法。

本发明的另一对象涉及一种认证或识别系统，该系统包括实施上述方法的处理单元以及视频摄像机，该视频摄像机适于采集生物计量特征的视频并且将所述视频发送到处理单元。

根据本发明的方法使得能够通过评价视频中的动作强度来区分回放视频攻击和生物计量特征的真正记录。

事实上，回放视频攻击相比于生物计量特征的真实记录具有更多的频率分量。因而，若视频的动作强度大于平均值，则可以认为该视频是假冒视频。

该方法在所评价的视频的动作强度为该视频的相位变化时尤其具有鲁棒性。

此外，将视频帧分解为分块使得处理更具有鲁棒性。

附图说明

通过以下本发明的特定实施例的更详细的描述并且如附图中所示，本发明的特征和优点将变得明显，在附图中：

-图1示意性示出了适于执行根据本发明的一个实施例的方法的认证或识别系统。

-图2a示意性示出了根据本发明的一个实施例的方法的主要步骤。

-图2b示意性示出了帧差分相位信息的计算步骤。

-图2c示意性示出了一个帧的差分相位信息的计算步骤的实施方式。

具体实施方式

认证或识别系统

参见图1，示出了一种认证或识别系统1。该系统较优地用于控制访问权限，例如控制希望进入安全区域的个体的访问权限。

系统1包括视频摄像机11和处理单元12，处理单元12有线或无线地连接到视频摄像机以从该摄像机接收视频记录。在一个实施例中，系统被集成在诸如智能电话、平板之类的便携式装置中。在另一实施例中，视频摄像机能够远离处理单元，例如在一种设置中，摄像机位于安全区域的入口处，并且处理单元位于单独的空间中。

视频摄像机11用于记录生物计量特征的视频记录，但是并不需要视频摄像机具有极高的分辨率。例如，智能手机的视频摄像机通常具有足以实现以下方法的分辨率。

在下文中，视频被认为是多个相同大小(像素数量)的n个帧的时间序列。

处理单元12具有计算装置并适于通过执行合适的软件代码来执行下文中公开的方法。

如上文中解释的，系统1被认为记录个体的活体生物计量特征的视频，但可以经受攻击，例如其中视频摄像机11记录生物计量特征的视频的播放视频的回放视频类型的攻击，或者其中视频摄像机11记录印刷在承载媒介(即，高质量纸张)上的生物计量特征的图像的视频的印刷攻击类型的攻击。

假冒检测方法

参见图2a，描述了一种确定视频是活体生物计量特征的假冒记录还是真正记录的方法。

第一步骤100是处理单元12加载视频以进行评定。该视频已经被摄像机11记录并且直接发送到单元12或存储在系统的数据库或存储器中以用于后续加载。

预处理

随后，该方法包括视频的预处理步骤200。

预处理包括：若已经记录的对象在记录过程中发生移动，则将视频的每个帧上的生物计量样本对准210。

此外，还可以对每个帧进行再构造220以仅在帧上保持生物计量特征的区域。

生物计量特征能够是各种类型的：虹膜、面部的形状、血管的图案等。然而，该方法较优地采用虹膜实现。

若所记录的生物计量特征为虹膜，则预处理还包括移除230与眼睛的眨动对应的帧，从而仅保持其中眼睛完全睁开并且虹膜图案可见的帧。

眨眼移除能够手动完成。替选地，眨眼能够被自动检测并移除，例如执行下述方法：

-jiang-weili，“基于多gabor响应波的眨眼检测(eyeblinkdetectionbasedonmultiplegaborresponsewaves)”，机械学习与控制论，2008年国际会议，卷5，编号30，2852、2856页，2008年7月12至15日，

-inhochoi，seungchulhan，daijinkim，“使用adaboost学习和分组的眼睛检测和眨眼检测(eyedetectionandeyeblinkdetectionusingadaboostlearningandgrouping)”，计算机通信和网络(icccn)，20世纪国际会议的2011年会议记录，卷，编号，1、4页，2011年7月31日至2011年8月4日，

-lee，wonoh，euichullee和kangryoungpark，“对于各种面部姿势的眨眼检测鲁棒性(blinkdetectionrobusttovariousfacialposes)”，神经学方法学报，193.2(2010)：356-372。

在移除眼睛眨动的帧之后，视频可以包含大约30个或更多个帧。较优地，视频包括至少15个帧以适当地实现该方法的剩余步骤。

可选且较优地，预处理还可以包括对视频的每个帧中的动作进行放大的额外步骤240。

该步骤较优地通过放大视频中的相位变化来实现。为此，诸如快速傅立叶变换之类的频率变换技术可以被实现以分解视频并将幅度与相位分离。

之后，将带通滤波器应用于相位以移除任何时间dc分量。带通滤波器较优地为butterworth带通滤波器。时间带通相位对应于帧中的动作。之后将相位与放大因数相乘以对相位放大。

之后，通过使用傅立叶逆变换来重构视频，并且因此完成动作增强。

在其它次优的实施例中，动作放大可以通过实施如n.wadhwa等人在“基于相位的视频动作处理(phase-basedvideomotionprocessing)”(acm图形学报，32(4)：80，2013)中公开的基于相位的欧拉视频放大来实现。

替选地，如h.-y.wu等人在“用于显示世界中的细微改变的欧拉视频放大(eulerianvideomagnificationforrevealingsubtlechangesintheworld)”(acm图形学报，32(4)：65，2012)中公开的欧拉视频放大也能够被实施以实现动作放大。

还可以实施其它方法，例如拉格朗日动作放大，或以下公开的方法：

-liuc.，torralbaa.，freemanw.t.，durandf.和adelsone.h.，2005年，“动作放大(motionmagnification)”，acm图形学报，24，519-526；或

-wang，j.，drucker，s.m.，agrawala，m.和cohen,m.f.，2006年，“卡通动画滤波器(thecartoonanimationfilter)”，acm图形学报，25，1169-1173。

确定视频的活跃度分数

一旦视频经过预处理，则该方法还包括确定视频的活跃度分数的步骤300。

较优地，为了实施该步骤，视频的每个帧可以被缩放310到更小的尺寸。例如，帧可以被缩放到100×100像素。这使得能够更快地处理视频。

而且，对于每个缩放后的帧，较优地为帧之间的相位变化的动作强度被归一化以使其数值在0到1的范围内。令f为视频的第j个帧的动作分量(例如，经放大的相位变化)。f为一个帧的像素与前一帧的对应像素之间的差的总和。例如，在帧被缩放到100×100像素的情况中：

其中ij为第j个帧。

归一化的动作分量norf(j)由下式给出：

其中，j＝1:n。

之后，对于多个帧j，确定帧的差分动作强度320。在动作放大包括放大动作强度的情况中，差分动作强度被称为帧的差分相位变化。可以参照图2b对该步骤进行进一步详述。

较优地，针对视频的至少6个帧、并且更优地针对视频的至少10个或11个帧来计算差分动作强度，这是因为基于差分动作强度的决定随着帧数量的增大更具有鲁棒性，特别是从第11个帧开始。

帧j的差分动作强度的确定包括对于当前帧j，计算帧j的动作强度与在帧j之前的一组帧中的每一帧的动作强度之间的差。

较优地，如图2c中所示，该组帧包括3至8个帧，并且较优地包括5个帧。

因而，在一优选实施例中，从第15个帧开始针对每个帧j实现该步骤。使用滑动窗口方法来计算差分动作强度，该滑动窗口方法具有5个帧的窗口大小(该组帧的基数)并且增加1个帧以检测例如相位相对于时间的改变率，即针对当前帧norf(j)，使用5个之前的帧norf(j-1)到norf(j-5)。

帧的差分动作强度的计算320如下。

例如如图2a中所示，在一个实施例中，每个帧首先被分为321特定且大小不变(bx×by)的不重叠分块。按照上述示例，分块大小可以是20×20像素，从而导致数量k个分块，k等于25。

分块的动作强度还被称为分块动作强度并且表示为norfb(j)k。在一个优选实施例中，分块的动作强度为归一化的分块相位变化。

之后，当前帧与一组之前的帧中的每一帧之间的动作强度的差322通过针对当前帧中的每个分块计算该分块的动作强度和该组之前的帧中的每一帧的对应分块的动作强度之间的差来确定。

对于特定分块k，当前帧与该组之前的帧之间的差分强度为：

dmi(j-5)k＝forfb(j)k-norfb(j-5)k

dmi(j-4)k＝norfb(j)k-norfb(j-4)k

dmi(j-3)k＝norfb(j)k-norfb(j-3)k

fmi(j-2)k＝norfb(j)k-norfb(j-2)k

dmi(j-1)k＝norfb(j)k-norfb(j-1)k

这适于全部k个分块(例如，k＝1，2，...，25)。

针对帧j的特定分块k的差分动作强度通过确定323在步骤322中计算的全部差的最大值来获得：

dmi(j)κ＝max{dmi(j-5)k,…,dmi(j-1)k}

之后，对于一个帧，针对整个帧j的全部分块累积的帧j的差分动作强度(记作cmi)在步骤324中通过将该帧中的全部分块k的全部差分动作强度相加来获得。

将帧分为更小的分块降低了处理单元的计算要求。

在另一实施例中，可以不将帧分为分块，因此差分动作强度确定的步骤320可以仅包括对帧j与该组之前的帧中的每一个之间的动作强度差进行计算的步骤325以及确定帧j的差分动作强度作为在步骤322’中计算的最大动作强度差的步骤326。在该实施例中，由于帧没有被分为分块，所以不存在中间步骤。

较优地，在步骤324或326中获得的差分动作强度进一步在步骤327中被归一化，以使得该差分动作强度之后能够与公共阈值进行比较。

为了将差分动作强度归一化，较优地应用单侧逻辑或s型函数(sigmoidfunction)。针对帧j的归一化差分动作强度被记作ncmi(j)。在使用单侧s型函数的情况中，ncmi(j)由下式表示：

在该示例中，已知使用单侧s型函数，则所获得的归一化差分动作强度在0.5和1之间的范围内。

之后，在步骤330期间，根据帧的归一化差分动作强度推断出视频的动作强度。在帧的差分动作强度为差分相位变化的情况中，视频的动作强度较优地为视频的相位变化。

视频的动作强度较优地通过在较优地6个或更多个帧，甚至更优地10个或更多个帧上计算帧的平均归一化差分动作强度m(ncmi(j))来获得，这些帧的差分动作强度已经在步骤320中计算。

最后，通过将视频的动作强度(例如，视频的相位变化)与表示为th的预定阈值进行比较340来获得帧j的活跃度分数(livenessscore)。该阈值的值可以是基于假冒视频数据库凭经验确定的。

对于回放视屏攻击，回放视频的记录包括多于活体生物计量特征的真正记录的频率分量。为此，对于回放视频攻击的平均归一化差分动作强度应当高于对于真正记录的平均归一化差分动作强度。

因此，如果平均归一化差分动作强度高于预定阈值，则认为视频是回放攻击视频并且将活跃度分数ls设为0。

在一个实施例中，如果平均归一化差分动作强度低于预定阈值th，则认为视频是生物计量特征的真正记录，并且将活跃度分数ls设为1。

该实施例被总结如下：

在一个替选实施例中，归一化差分动作强度能够与另一阈值th’相比较，该阈值th’低于第一阈值th并且对应于在其下帧被认为与图片的记录(印刷攻击)有关的阈值。

事实上，这样的视频具有不同的动作信息，并且特别地相比于个体的活体演示具有不同的相位变化。

在平均归一化差分动作强度低于第二阈值th’的情况中，视频被认为是印刷攻击视频并且将活跃度分数设为0。如果平均归一化差分动作强度介于第一阈值th和第二阈值th’之间，则认为视频是活体生物计量特征的真正记录并且将活跃度分数ls设为1。

这被总结如下：

一旦实现了确定活跃度分数的步骤，则对整个视频的真实性做出决定400。

基于至少10个或11个帧的决定已经表现出高精确度和低错误量。因而，以上技术使得甚至采用诸如智能手机的处理器之类的具有相对较低计算能力的处理单元也能够区分假冒视频和真正视频。