信息处理装置、程序和信息处理方法与流程

本发明涉及信息处理装置、程序和信息处理方法。

背景技术：

在日常的生活中，管理和维持被验者的健康是重要的。在日常的生活中，特别地，管理和维持正在驾驶车辆的驾驶员的健康对于事故的预防来说特别重要。在管理和维持驾驶员的健康时，经常取得心跳数、心跳变动、呼吸数或发汗等活体信息是有效的。

在活体信息中，与心跳数或心跳变动有关的信息大多被用作表示自主神经的状态的指标，在管理驾驶员的健康时是重要的信息。在直接取得与心跳或心跳变动有关的信息时，需要将用于测定心电图的电极等安装于胸部来计测心脏的活动，对驾驶员造成的负担较大。

因此，代替直接计测心脏的活动，存在将脉冲血氧计等接触式器件安装于指尖或耳垂并根据血管的容积变化而取得脉搏的方法。在该方法中，还另外需要始终在指尖或耳垂安装器件，对驾驶员造成的负担较大，在正在驾驶车辆时进行佩戴是不现实的。

作为不对被验者造成负担而以非接触的方式估计脉搏的方法，例如，如非专利文献1记载的那样，存在如下方法：利用摄像机对被验者的面部进行摄像，根据被验者的面部表面的微小亮度变化来估计脉搏。在非专利文献1中，在被验者的面部图像上设定多个计测区域，计算各计测区域中取得的亮度信号的频率功率谱。根据各区域中计算出的频率功率谱的峰值频率来估计脉搏，根据合成后的脉搏的频率功率谱的峰值来估计心拍数。

现有技术文献

非专利文献

非专利文献1：mayankkumar,etal.,“distanceppg:robustnon-contactvitalsignsmonitoringusingacamera”,biomedicalopticsexpress,6(5),1565-1588,2015

技术实现要素：

发明要解决的课题

但是，在现有技术中存在如下问题：当被验者的面部运动时，脉搏的估计精度降低。这是因为，当被验者的面部运动时，与面部的运动相当的分量作为频率功率谱的峰值出现，因此，不是将与脉搏相当的频率分量检测为脉搏，而是将与面部的运动相当的分量误检测为脉搏。

在正在驾驶车辆时，容易想到驾驶员的面部由于车辆的振动而运动的场景，因此，需要即使被验者的面部运动也高精度地估计脉搏。

因此，本发明的1个或多个方式的目的在于，在人的面部运动的情况下，也能够根据影像的帧而高精度地估计脉搏。

用于解决课题的手段

本发明的1个方式的信息处理装置的特征在于，所述信息处理装置具有：皮肤区域检测部，其从预定期间内的表示影像的多个帧中的各个帧中检测包含人的皮肤的区域即皮肤区域；计测区域设定部，其在所述皮肤区域设定多个计测区域；脉搏源信号提取部，其从所述多个计测区域中的各个计测区域中提取表示所述预定期间内的亮度变化的脉搏源信号，由此，提取分别与所述多个计测区域中的各个计测区域对应的多个所述脉搏源信号；相位一致度计算部，其计算表示构成多个所述脉搏源信号中的各个脉搏源信号的多个基础分量中的各个基础分量的相位在对应的基础分量彼此之间一致的程度的相位一致度，由此，计算分别与多个所述脉搏源信号中的各个脉搏源信号对应的多个相位一致度；以及脉搏估计部，其确定所述多个相位一致度中的所述相位一致的程度最高的相位一致度，根据与确定的所述相位一致度对应的基础分量估计所述人的脉搏。

本发明的1个方式的程序的特征在于，所述程序使计算机作为以下部分发挥功能：皮肤区域检测部，其从预定期间内的表示影像的多个帧中的各个帧中检测包含人的皮肤的区域即皮肤区域；计测区域设定部，其在所述皮肤区域设定多个计测区域；脉搏源信号提取部，其从所述多个计测区域中的各个计测区域中提取表示所述预定期间内的亮度变化的脉搏源信号，由此，提取分别与所述多个计测区域中的各个计测区域对应的多个所述脉搏源信号；相位一致度计算部，其计算表示构成多个所述脉搏源信号中的各个脉搏源信号的多个基础分量中的各个基础分量的相位在对应的基础分量彼此之间一致的程度的相位一致度，由此，计算分别与多个所述脉搏源信号中的各个脉搏源信号对应的多个相位一致度；以及脉搏估计部，其确定所述多个相位一致度中的所述相位一致的程度最高的相位一致度，根据与确定的所述相位一致度对应的基础分量估计所述人的脉搏。

本发明的1个方式的信息处理方法的特征在于，从预定期间内的表示影像的多个帧中的各个帧中检测包含人的皮肤的区域即皮肤区域，在所述皮肤区域设定多个计测区域，从所述多个计测区域中的各个计测区域中提取表示所述预定期间内的亮度变化的脉搏源信号，由此，提取分别与所述多个计测区域中的各个计测区域对应的多个所述脉搏源信号，计算表示构成多个所述脉搏源信号中的各个脉搏源信号的多个基础分量中的各个基础分量的相位在对应的基础分量彼此之间一致的程度的相位一致度，由此，计算分别与多个所述脉搏源信号中的各个脉搏源信号对应的多个相位一致度，确定所述多个相位一致度中的所述相位一致的程度最高的相位一致度，根据与确定的所述相位一致度对应的基础分量估计所述人的脉搏。

发明效果

根据本发明的1个或多个方式，在人的面部运动的情况下，也能够根据影像的帧而高精度地估计脉搏。

附图说明

图1是概略地示出实施方式1、2、4的脉搏估计装置的结构的框图。

图2的(a)～(c)是示出通过面部器官检测来设定计测区域的例子的概略图。

图3是用于说明计测区域的具体设定方法的概略图。

图4是概略地示出实施方式1中的相位一致度计算部的结构的框图。

图5的(a)和(b)是示出硬件结构例的概略图。

图6是示出实施方式1的脉搏估计装置的动作的流程图。

图7是示出实施方式1中的被验者的面部、摄像装置和环境光的光源的位置关系的概略图。

图8的(a)～(c)是示出在实施方式1中通过摄像装置对被验者的面部进行摄像而得到的图像的例子的概略图。

图9的(a)～(d)是示出在实施方式1中被验者的面部运动的情况下的计测区域中的亮度值平均的变化的曲线图。

图10是概略地示出实施方式2、4中的相位一致度计算部的结构的框图。

图11是概略地示出实施方式3的脉搏估计装置的结构的框图。

图12是概略地示出实施方式3中的相位一致度计算部的结构的框图。

图13是示出实施方式3中的被验者的面部、摄像装置和环境光的光源的位置关系的概略图。

图14的(a)～(c)是示出在实施方式3中通过摄像装置对被验者的面部进行摄像而得到的图像的例子的概略图。

图15的(a)～(f)是示出在实施方式3中被验者的面部运动的情况下的计测区域中的亮度值平均的变化的曲线图。

具体实施方式

实施方式1

图1是概略地示出作为实施方式1的信息处理装置的脉搏估计装置100的结构的框图。

脉搏估计装置100是能够执行作为实施方式1的信息处理方法的脉搏估计方法的装置。

如图1所示，脉搏估计装置100具有皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130、相位一致度计算部140和脉搏估计部150。

首先，对脉搏估计装置100的概要进行说明。脉搏估计装置100接受以预定的帧率fr对包含被验者的皮肤区域的空间进行摄像而得到的、由表示该空间的摄像图像的一连串的帧im(k)构成的影像的图像数据。这里，k表示分别分配给帧的帧编号。例如，在帧im(k)的下一个定时给出的帧是帧im(k+1)。而且，脉搏估计装置100按照某个特定的帧数tp，根据一连串的帧im(k-tp+1)～im(k)输出脉搏估计结果p(t)。这里，t表示按照特定的帧数tp分配的输出编号。例如，在脉搏估计结果p(t)的下一个定时给出的脉搏估计结果是脉搏估计结果p(t+1)。

这里，帧编号k和输出编号t是1以上的整数。帧数tp是2以上的整数。

另外，图像数据中包含的人即被验者的数量可以是1人，也可以是多人。为了简化说明，下面，设图像数据中包含的被验者的数量是1人来进行说明。

帧率fr例如优选为每1秒30帧。图像数据例如是彩色图像、灰度图像或距离图像。下面，为了简化说明，对图像数据是宽度为640像素、高度为480像素的8比特灰度的灰度图像的情况进行说明。此外，帧数tp能够设为任意的数值，但是，例如是与10秒相当的帧数，在上述例子中优选为300帧。

下面，对构成脉搏估计装置100的各部进行说明。

皮肤区域检测部110从作为输入信息而从作为摄像部的后述摄像装置提供的图像数据中包含的帧im(k)中，检测包含被验者的皮肤的区域即皮肤区域，生成表示检测到的皮肤区域的皮肤区域信息s(k)。生成的皮肤区域信息s(k)被提供给计测区域设定部120。

设实施方式1中的皮肤区域是与被验者的面部对应的区域来进行说明。但是，皮肤区域也可以是被验者的面部以外的区域。例如，皮肤区域可以是与眼睛、眉毛、鼻子、嘴、额头、脸颊或下巴等属于面部的部位对应的区域。此外，皮肤区域可以是与头、肩、手、脖子或脚等面部以外的身体部位对应的区域。另外，皮肤区域可以是多个区域。

皮肤区域信息s(k)能够包含表示有无检测到皮肤区域、以及检测到的皮肤区域在图像上的位置和尺寸的信息。这里，设皮肤区域信息s(k)是示出表示面部在图像上的位置和尺寸的矩形区域的信息来进行说明。

具体而言，在皮肤区域是与被验者的面部对应的区域的情况下，皮肤区域信息s(k)例如表示有无检测到被验者的面部、包围面部的矩形的中心坐标fc(fcx，fcy)、以及该矩形的宽度fcw和高度fch。

关于有无检测到面部，例如在能够检测到面部的情况下设为“1”，在无法检测到面部的情况下设为“0”。

此外，矩形的中心坐标由帧im(k)的坐标系来表现，将帧im(k)的左上方设为原点，将帧im(k)的右方向设为x轴的正方向，将帧im(k)的下方向设为y轴的正方向。

被验者的面部检测能够利用公知手段来实现。例如，能够利用使用haar-like特征量的级联型的面部检测器，提取包围被验者的面部的矩形区域。

计测区域设定部120接受帧im(k)和皮肤区域信息s(k)，在与皮肤区域信息s(k)所示的皮肤区域对应的图像区域中设定用于提取脉搏信号的多个计测区域，生成表示设定的多个计测区域的计测区域信息r(k)。生成的计测区域信息r(k)被提供给脉搏源信号提取部130。

计测区域信息r(k)能够包含表示rn(正整数)个计测区域在图像上的位置和尺寸的信息。各计测区域设为计测区域ri(k)(i＝1、2、…、rn)。这里，计测区域ri(k)设为四边形，设计测区域ri(k)的位置和尺寸是图像中的四边形的4个顶点的坐标值来进行说明。

下面，作为计测区域ri(k)的设定方法的一例，参照图2对使用面部器官检测的例子进行说明。

首先，计测区域设定部120在皮肤区域信息s(k)所示的皮肤区域sr中，检测ln(正整数)个图2的(a)或图2的(b)所示的面部器官(外眼角、内眼角、鼻子和嘴等)的界标，将存储有各界标的坐标值的向量设为l(k)。在图2的(a)和图2的(b)中，利用圆形表示界标。

面部器官检测能够利用公知手段来实现。例如，能够使用被称作constrainedlocalmodel(clm)的模型来检测面部器官的界标的坐标值。界标的数量ln没有特别限定，但是，图2的(a)所示的66点或图2的(b)所示的29点是优选的。界标数较多时，检测结果稳定，另一方面，处理量增加，因此，优选根据cpu等硬件来决定界标数。下面，将界标数ln设为66点来进行说明。

接着，计测区域设定部120以检测到的界标为基准来设定计测区域ri(k)的四边形的顶点坐标。例如，计测区域设定部120设定图2的(c)所示的四边形的顶点坐标，设定rn个计测区域ri(k)。这里，作为一例，将计测区域数rn设为12来进行说明。

使用图3对计测区域ri(k)的具体设定方法进行说明。

这里，对在皮肤区域sr的与脸颊对应的部分设定计测区域ri(k)的情况进行说明。

首先，计测区域设定部120选择面部的轮廓的界标a1和鼻子的界标a2。例如，计测区域设定部120首先选择鼻子的界标a2，选择从该鼻子的界标a2起最近的面部的轮廓的界标a1即可。

然后，计测区域设定部120设定辅助界标a1、a2、a3，以对界标a1与界标a2之间的线段进行四等分。

同样，计测区域设定部120选择面部的轮廓的界标b1和鼻子的界标b2，设定辅助界标b1、b2、b3，以对界标b1与界标b2之间的线段进行四等分。另外，界标b1例如从与界标a1相邻的鼻子的界标中选择即可。界标b2也从与界标a2相邻的面部的界标中选择即可。

接着，计测区域设定部120将由辅助界标a1、b1、b2、a2包围的四边形区域定义为一个计测区域r1。辅助界标a1、b1、b2、a2成为与计测区域r1对应的顶点坐标。

同样，计测区域设定部120将由辅助界标a2、b2、b3、a3包围的四边形区域定义为一个计测区域r2。辅助界标a2、b2、b3、a3成为与计测区域r2对应的顶点坐标。

计测区域设定部120通过对脸颊的其他部分和与下巴对应的部分执行同样的处理，设定计测区域ri(k)的四边形的顶点坐标。

然后，计测区域设定部120生成包含各计测区域ri(k)的4个顶点的坐标的信息作为计测区域信息r(k)，将该计测区域信息r(k)提供给脉搏源信号提取部130。

另外，在上述例子中，计测区域设定部120通过clm来检测界标的坐标，但是不限于此。例如，计测区域设定部120也可以使用kanade-lucas-tomasi(klt)跟踪器等跟踪技术。具体而言，计测区域设定部120也可以针对最初的帧im(1)，通过clm检测界标的坐标，从下一个帧im(2)起，通过klt跟踪器跟踪界标坐标，计算针对各帧im(k)的界标坐标。通过进行跟踪，可以不对各帧im(k)进行clm，因此，能够削减处理量。该情况下，跟踪引起的检测误差蓄积，因此，计测区域设定部120可以数帧执行一次clm，进行对界标的坐标位置进行复位等复位处理。

另外，计测区域的位置不限于图2的(c)所示的12个区域。例如，也可以包含额头部分，还可以包含鼻头区域。此外，计测区域设定部120也可以根据被验者而对设定区域进行变更。例如，针对刘海儿垂在额头的被验者，计测区域设定部120可以检测该情况并将额头区域从计测区域排除。此外，如果是佩戴着粗边框眼镜的被验者，则计测区域设定部120可以检测眼镜的位置并将该区域从计测区域排除。除此以外，如果是留着胡须的被验者，则计测区域设定部120可以将胡须的区域从计测区域排除。进而，计测区域可以与其他计测区域重叠。

返回图1，脉搏源信号提取部130接受帧im(k)和计测区域信息r(k)，从计测区域信息r(k)所示的多个计测区域ri(k)中的各个计测区域中，提取表示预定期间内包含的与帧数tp对应的期间内的亮度变化的脉搏源信号，生成表示提取出的脉搏源信号的脉搏源信号信息w(t)。另外，脉搏源信号是成为脉搏源的信号。生成的脉搏源信号信息w(t)被提供给相位一致度计算部140和脉搏估计部150。

脉搏源信号信息w(t)能够包含表示在计测区域ri(k)提取出的脉搏源信号wi(t)的信息。脉搏源信号wi(t)是tp量的时序数据，例如根据过去tp量的帧im(k-tp+1)、im(k-tp+2)、…、im(k)和计测区域信息r(k-tp+1)、r(k-tp+2)、…、r(k)来提取。

在进行提取时，脉搏源信号提取部130针对各帧im(k)计算各计测区域ri(k)的亮度特征量gi(j)(j＝k-tp+1、k-tp+2、…、k)。亮度特征量gi(j)是针对各计测区域ri(j)而根据帧im(j)上的亮度值来计算的值，例如是计测区域ri(j)内包含的像素的亮度值的平均或方差等。这里，设亮度特征量gi(j)是计测区域ri(j)内包含的像素的亮度值的平均来进行说明。将按照时序排列针对各帧im(k)计算出的gi(j)而得到的信号设为脉搏源信号wi(t)。即，设脉搏源信号wi(t)＝[gi(k-tp+1)、gi(k-tp+2)、…、gi(k)]。

然后，脉搏源信号提取部130生成汇集各计测区域ri(k)中的脉搏源信号wi(t)而得到的信息作为脉搏源信号信息w(t)。生成的脉搏源信号信息w(t)被提供给相位一致度计算部140和脉搏估计部150。

另外，脉搏源信号wi(t)在所述脉搏分量和面部的运动分量以外，还包含各种噪声分量。作为噪声分量，例如存在后述的摄像装置的元件缺陷引起的噪声等。为了去除这些噪声分量，优选进行滤波处理作为针对脉搏源信号wi(t)的预处理。

在滤波处理中，针对脉搏源信号wi(t)，例如使用低通滤波器、高通滤波器或带通滤波器实施处理。在以下的说明中，设为实施带通滤波来进行说明。

作为带通滤波器，例如能够使用巴特沃斯滤波器等。作为带通滤波器的截止频率，例如优选较低一方的截止频率为0.5hz，较高一方的截止频率为5.0hz。

另外，滤波处理的种类不限于上述带通滤波。此外，截止频率也不限于此。根据被验者的状态或状况设定滤波处理的种类和截止频率即可。

相位一致度计算部140接受脉搏源信号信息w(t)，计算表示脉搏源信号信息w(t)中包含的多个基础分量中的各个基础分量的相位在对应的基础分量彼此之间一致的程度的相位一致度，生成表示每个基础分量的相位一致度的相位一致度信息c(t)。相位一致度信息c(t)被提供给脉搏估计部150。这里，相位是基础分量的属性，因此，相位的一致度是属性的一致度，可以说相位一致度是属性一致度。因此，可以说相位一致度计算部140是属性一致度计算部。

具体而言，相位一致度计算部140从脉搏源信号信息w(t)所示的多个脉搏源信号中选择两个脉搏源信号的对。这里，将选择出的对即两个脉搏源信号设为第1脉搏源信号和第2脉搏源信号。相位一致度计算部140计算表示在构成第1脉搏源信号的多个基础分量中的各个基础分量与构成第2脉搏源信号的多个基础分量中的各个基础分量之间，相位在对应的基础分量彼此之间一致的程度的多个一致度。然后，相位一致度计算部140按照计算出的多个一致度，确定多个属性一致度。这里，多个属性一致度中的各个属性一致度对应于多个基础分量中的各个基础分量。

另外，相位一致度计算部140也可以选择一个对，还可以选择两个以上的对。

相位一致度计算部140在选择了多个对的情况下，确定按照对应的每个基础分量对多个对中计算出的多个一致度进行合计而得到的多个值作为多个相位一致度即可。

此外，相位一致度计算部140在选择了一个对，确定这一个对中计算出的多个一致度作为多个相位一致度即可。

下面，设相位一致度计算部140选择多个对来进行说明。

图4是概略地示出相位一致度计算部140的结构的框图。

相位一致度计算部140具有两个区域间相位一致度计算部141和相位一致度合计部142。

两个区域间相位一致度计算部141根据脉搏源信号信息w(t)，从脉搏源信号wi(t)的计算中使用的多个计测区域ri(k)中选择两个计测区域ru(k)、rv(k)的对，选择与两个计测区域ru(k)、rv(k)的对对应的两个脉搏源信号wu(t)、wv(t)的对。然后，两个区域间相位一致度计算部141计算选择出的两个脉搏源信号wu(t)、wv(t)的对中的基础分量的相位的一致度即两个区域间相位一致度cuv(t)。另外，在u、v＝1、2、…、rn中，设为满足u≠v。

另外，这种对至少生成一个即可，也可以生成多个对，计算多个两个区域间相位一致度cuv(t)。两个区域间相位一致度计算部141将汇集生成的两个区域间相位一致度cuv(t)而得到的信息作为两个区域间相位一致度信息n(t)提供给相位一致度合计部142。

详细说明由两个区域间相位一致度计算部141进行的基础分量的相位的一致度的计算动作。

在计算基础分量的相位的一致度时，首先，两个区域间相位一致度计算部141将脉搏源信号wi(t)分解成基础分量。下面，作为基础分量，以使用频率分量的情况为例进行说明。另外，基础分量是指构成脉搏源信号wi(t)的信号分量，是指在给出基础分量作为任意函数的自变量时能够表现脉搏源信号这样的信号分量。

首先，两个区域间相位一致度计算部141将脉搏源信号信息w(t)中包含的各计测区域ri(k)的脉搏源信号wi(t)分解成频率分量。在将脉搏源信号wi(t)分解成频率分量时，例如使用高速傅里叶变换(以下为fft)。通过fft，能够将作为时序数据的脉搏源信号wi(t)分解成频率分量的数据(各频率分量的大小(功率)和相位)。将对作为时序数据的脉搏源信号wi(t)进行fft时相对于各频率分量f的大小设为|fi(f、t)|，将相位设为∠fi(f、t)。另外，在进行fft的情况下，以奈奎斯特频率(采样频率的一半)为界而产生伪信号，因此，设为f＝0、δf、2×δf、…、sr×δf/2。这里，δf是由时序数据的长度即tp帧决定的值，当tp帧＝ts秒时，δf＝1/ts。

接着，两个区域间相位一致度计算部141从脉搏源信号wi(t)的计算中使用的多个计测区域ri(k)中选择两个计测区域ru(k)、rv(k)的对，计算两个计测区域ru(k)、rv(k)的对中的基础分量(频率分量)的相位的一致度即两个区域间相位一致度cuv(t)。两个区域间相位一致度cuv(t)例如被计算为计测区域u的相位∠fu(f、t)与计测区域v的相位∠fv(f、t)之差的绝对值。通过按照每个频率分量求出相位差的绝对值，能够计算各频率分量中的相位的一致度。

另外，该情况下，相位差的绝对值越小，则相位的一致度越高，相位差的绝对值越大，则相位的一致度越低。计算每个频率分量的相位的一致度，将排列后的一致度设为两个区域间相位一致度cuv(t)。

然后，两个区域间相位一致度计算部141通过汇集每个频率分量的两个区域间相位一致度cuv(t)，生成两个区域间相位一致度信息n(t)。

另外，两个区域间相位一致度计算部141也可以不针对全部频率分量计算相位的一致度，还可以仅针对满足特定条件的频率分量计算相位的一致度。例如，在频率分量的功率(大小)极小的情况下，能够视为噪声分量而不视为脉搏分量，因此，两个区域间相位一致度计算部141针对相应的频率分量，不计算相位的一致度。或着，也可以设为相位的一致度伪低，两个区域间相位一致度计算部141对相应的频率分量的相位的一致度给出常数。

相位一致度合计部142被提供两个区域间相位一致度信息n(t)，按照每个基础分量对两个区域间相位一致度cuv(t)进行合计，生成表示计测区域ri(k)间的每个基础分量的相位一致度的相位一致度信息c(t)。相位一致度信息c(t)被提供给脉搏估计部150。例如，按照每个频率分量将两个区域间相位一致度信息n(t)中包含的两个区域间相位一致度cuv(t)相加，由此计算相位一致度信息c(t)。

另外，相位一致度信息c(t)的计算方法不限于每个分量的相加，也可以使用相乘等。

此外，在两个区域间相位一致度计算部141从脉搏源信号wi(t)的计算中使用的多个计测区域ri(k)中仅选择由两个计测区域ru(k)、rv(k)构成的一个对的情况下，不需要设置相位一致度合计部142，相位一致度合计部142将两个区域间相位一致度信息n(t)作为相位一致度信息c(t)提供给脉搏估计部150即可。

返回图1，脉搏估计部150根据脉搏源信号信息w(t)和相位一致度信息c(t)来估计脉搏，输出表示估计出的脉搏的脉搏信息即脉搏估计结果p(t)。脉搏信息例如可以是估计出的脉搏的时序数据，也可以是心拍数。这里，为了简化说明，设为脉搏信息表示心拍数(每1分钟的拍数)。

例如，在输出心拍数作为脉搏估计结果p(t)的情况下，脉搏估计部150确定每个频率分量的相位一致度信息c(t)中的相位的一致度最高的基础分量即频率分量，根据确定的频率分量来估计脉搏。具体而言，脉搏估计部150设相位的一致度最高的频率分量相当于脉搏，输出与脉搏相当的频率分量的频率作为心拍数。

例如如图5的(a)所示，以上记载的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130、相位一致度计算部140和脉搏估计部150的一部分或全部能够由存储器1、以及执行存储器1中存储的程序的cpu(centralprocessingunit：中央处理单元)等处理器2构成。这种程序可以通过网络提供，此外，也可以记录在记录介质中来提供。即，这种程序例如可以作为程序产品来提供。

此外，例如如图5的(b)所示，皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130、相位一致度计算部140和脉搏估计部150的一部分或全部还能够由单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(applicationspecificintegratedcircuits：专用集成电路)或fpga(fieldprogrammablegatearray：现场可编程门阵列)等处理电路3构成。

图6是示出实施方式1的脉搏估计装置100的动作的流程图。

按照被输入摄像图像的每1帧，即在1帧期间内进行一次图6所示的动作。

首先，皮肤区域检测部110从作为输入信息而从后述摄像装置提供的帧im(k)中检测被验者的皮肤区域，生成表示检测到的皮肤区域的皮肤区域信息s(k)(s10)。生成的皮肤区域信息s(k)被提供给计测区域设定部120。

接着，计测区域设定部120接受帧im(k)和皮肤区域信息s(k)，从皮肤区域信息s(k)所示的皮肤区域设定用于提取脉搏信号的多个计测区域ri(k)，生成表示设定的计测区域ri(k)的计测区域信息r(k)(s11)。生成的计测区域信息r(k)被提供给脉搏源信号提取部130。

接着，脉搏源信号提取部130接受帧im(k)和计测区域信息r(k)，根据计测区域信息r(k)所示的各计测区域ri(k)内的亮度值，提取成为脉搏源的脉搏源信号wi(t)，生成表示提取出的脉搏源信号wi(t)的脉搏源信号信息w(t)(s12)。生成的脉搏源信号信息w(t)被提供给相位一致度计算部140和脉搏估计部150。

接着，相位一致度计算部140接受脉搏源信号信息w(t)，针对脉搏源信号信息w(t)所示的脉搏源信号wi(t)中包含的基础分量，计算计测区域ri(k)间的相位的一致度，生成表示每个基础分量的相位的一致度的相位一致度信息c(t)(s13)。相位一致度信息c(t)被提供给脉搏估计部150。

接着，脉搏估计部150根据脉搏源信号信息w(t)和相位一致度信息c(t)来估计脉搏，输出表示估计出的脉搏的脉搏估计结果p(t)(s14)。

接着，使用图7～图9对实施方式1的脉搏估计装置100的效果进行说明。

图7是示出被验者的面部、摄像装置160和环境光的光源161的位置关系的概略图。

如图7所示，设在被验者的面部的皮肤区域配置有计测区域a和计测区域b。

图8的(a)～(c)示出通过图7所示的摄像装置160对被验者的面部进行摄像而得到的图像的例子。

图8的(a)所示的图像是被验者的面部位于摄像装置160的中心时的例子。将这种位置设为基准位置。

图8的(b)所示的图像是被验者的面部位于比摄像装置160的中心更靠右侧时的例子。将这种位置设为右位置。

图8的(c)所示的图像是被验者的面部位于比摄像装置160的中心更靠左侧时的例子。将这种位置设为左位置。

在面部为右位置的情况下，与基准位置相比，计测区域a变亮，在面部为左位置的情况下，与基准位置相比，计测区域a变暗。

在面部为右位置的情况下，与基准位置相比，计测区域b变暗，在面部为左位置的情况下，与基准位置相比，计测区域b变亮。

图9的(a)～(d)示出被验者的面部按照基准位置、右位置、基准位置、左位置、基准位置、右位置、基准位置和左位置的顺序运动的情况下的计测区域a、b中的亮度值平均的变化。

图9的(a)示出被验者的面部如上所述运动的情况下的计测区域a的面部的运动分量的亮度值平均的变化，图9的(b)示出被验者的面部如上所述运动的情况下的计测区域a的面部的脉搏分量的亮度值平均的变化。

图9的(c)示出被验者的面部如上所述运动的情况下的计测区域b的面部的运动分量的亮度值平均的变化，图9的(d)示出被验者的面部如上所述运动的情况下的计测区域b的面部的脉搏分量的亮度值平均的变化。

如图9的(a)～(d)所示，当被验者的面部运动时，与其对应地，计测区域中的亮度值平均变化。此时，面部的运动分量的亮度值变化的频率根据计测区域而成为较近的值，但是，相位不同。

例如，如图9的(a)和(c)所示，在计测区域a和计测区域b中，变亮的定时和变暗的定时不同，换言之，在计测区域a较亮时，计测区域b变暗，因此，在观察亮度值变化作为信号分量时，各频率分量的相位不同。

另一方面，如图9的(b)和(d)所示，脉搏分量的亮度值变化的频率和相位在任何计测区域中都成为较近的值。

即，关于面部的运动引起的亮度值变化和脉搏引起的亮度值变化，存在相位不同或成为较近的值这样的差异，因此，通过对各计测区域内的基础分量的相位的一致度进行比较，能够辨别面部的运动引起的亮度值变化的分量和脉搏引起的亮度值变化的分量。

特别地，通过选定相位的一致度较高的基础分量作为脉搏分量，能够抑制面部的运动的影响，高精度地估计脉搏。

在计测区域内的亮度值变化中，具有上述的特征，因此，根据实施方式1的脉搏估计装置100，针对在计测区域间提取出的脉搏源信号的基础分量，根据相位的一致度来估计脉搏，由此，能够抑制面部的运动引起的精度降低，高精度地估计脉搏。

此外，从多个计测区域生成两个区域的对，针对各对，对基础分量的一致度进行计算和合计，由此，能够计算多个计测区域间的基础分量的相位一致度，因此，能够更高精度地估计脉搏。

另外，在实施方式1中，将图像数据设为灰度图像而进行了说明，但是，图像数据不限于此。例如，也可以使用rgb图像作为图像数据。此外，所述灰度图像也可以是由能够接收近红外光(例如光的波长为850nm或940nm等)的摄像装置取得的图像数据。该情况下，使用近红外光的照明装置对被验者进行照明，通过进行摄像，即使在夜间，也能够通过实施方式1的脉搏估计装置100估计脉搏。

另外，在实施方式1中，如图7所示，设为从上方照射环境光而进行了说明，但是不限于此。例如，也可以从侧方照射环境光。

另外，在实施方式1中，设脉搏估计结果p(t)是心拍数而进行了说明，但是不限于此。脉搏估计部150例如也可以设每个分量的相位一致度信息c(t)中的相位的一致度最高的分量相当于脉搏，使用相应的频率分量的数据进行傅里叶逆变换，对脉搏进行合成。

另外，在实施方式1中，将图像数据中包含的被验者的数量设为1人，但是不限于此。在2人以上的情况下，针对各被验者估计脉搏即可。

实施方式2

如图1所示，实施方式2的脉搏估计装置200具有皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130、相位一致度计算部240和脉搏估计部150。

实施方式2的脉搏估计装置200的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130和脉搏估计部150与实施方式1的脉搏估计装置100的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130和脉搏估计部150相同。

另外，脉搏估计装置200是能够执行实施方式2的信息处理方法即脉搏估计方法的装置。

实施方式2中的相位一致度计算部240从脉搏源信号信息w(t)所示的多个脉搏源信号中选择多对的两个脉搏源信号的对。然后，与实施方式1同样，相位一致度计算部240根据选择出的多个对中的各个对，计算表示相位在对应的基础分量彼此之间一致的程度的多个一致度。然后，相位一致度计算部240对多个对中的各个对设定权重系数，使用该权重系数对根据多个对中的各个对计算出的多个一致度进行加权，确定按照对应的每个基础分量进行合计后的值作为多个相位一致度。

这里，相位一致度计算部240能够设定权重系数，使得在根据多个对中的各个对计算出的多个一致度中包含相位的一致程度越高的一致度，则权重越重。

此外，相位一致度计算部240还能够设定权重系数，使得与多个对中的各个对对应的两个计测区域ru(k)、rv(k)的距离越长，则权重越重。

图10是概略地示出实施方式2中的相位一致度计算部240的结构的框图。

相位一致度计算部240具有两个区域间相位一致度计算部141、相位一致度合计部242和权重系数计算部243。

实施方式2中的相位一致度计算部240的两个区域间相位一致度计算部141与实施方式1中的相位一致度计算部140的两个区域间相位一致度计算部141相同。但是，实施方式2中的两个区域间相位一致度计算部141将两个区域间相位一致度信息n(t)提供给相位一致度合计部242和权重系数计算部243。

权重系数计算部243接受两个区域间相位一致度信息n(t)，计算针对两个区域间相位一致度信息n(t)所示的各两个区域间相位一致度cuv(t)的权重系数duv(t)，生成表示计算出的权重系数duv(t)的权重信息d(t)。权重信息d(t)被提供给相位一致度合计部242。

权重信息d(t)能够包含针对两个区域间相位一致度信息n(t)中包含的各两个区域间相位一致度cuv(t)的权重系数duv(t)。权重系数duv(t)例如取“0”～“1”之间的值。例如，在权重系数duv(t)为“0”时，针对相应的两个区域间相位一致度cuv(t)的权重小，在权重系数duv(t)为“1”时，针对相应的两个区域间相位一致度cuv(t)的权重大。在权重系数duv(t)为“0.5”时，是“0”与“1”的中间程度的权重。

权重系数duv(t)例如根据两个区域间相位一致度cuv(t)来决定。如上所述，当使用在各计测区域ri(k)内取得的基础分量的相位差的绝对值作为两个区域间相位一致度cuv(t)的情况下，基础分量的相位在两个计测区域ru(k)、rv(k)间越一致，则两个区域间相位一致度cuv(t)的各要素成为越小的值。因此，两个区域间相位一致度cuv(t)包含越小的值，则越存在相位在两个计测区域ru(k)、rv(k)间更加一致的基础分量。即，两个区域间相位一致度cuv(t)包含越小的值，则将对应的权重系数duv(t)设定为越大，由此，能够使用包含脉搏分量的两个计测区域ru(k)、rv(k)的对的信息计算计测区域ri(k)间的相位的一致度。

基于以上内容，例如，优选根据两个区域间相位一致度cuv(t)的最小值决定对应的权重系数duv(t)，使得相位越一致，则将权重设定为越大。

下面，作为决定权重系数duv(t)的方法，对使用两个区域间相位一致度cuv(t)的最小值的方法进行说明。

将两个区域间相位一致度cuv(t)可取的最大值设为cmax，将最小值设为cmin。此外，在将对应的两个区域间相位一致度cuv(t)中的最小值设为cuvmin(t)时，权重系数duv(t)利用下述的(1)式来计算。

duv(t)＝1.0-(cuvmin(t)-cmin)/(cmax-cmin)(1)

通过利用上述式子计算权重系数duv(t)，相位越一致，换言之，对应的两个区域间相位一致度cuv(t)包含越小的值，则能够将权重系数duv(t)设定为越大。

权重系数计算部243汇集针对各两个区域间相位一致度cuv(t)计算出的权重系数duv(t)，生成表示这些权重系数duv(t)的权重信息d(t)。权重信息d(t)被提供给相位一致度合计部242。

相位一致度合计部242接受两个区域间相位一致度信息n(t)和权重信息d(t)，生成计测区域间的每个基础分量的相位一致度信息c(t)，将生成的相位一致度信息c(t)提供给脉搏估计部150。

具体而言，相位一致度合计部242按照每个基础分量，使用对应的权重信息d(t)所示的权重系数duv(t)对两个区域间相位一致度信息n(t)所示的两个区域间相位一致度cuv(t)进行加权相加。

如下述的(2)式所示进行加权相加。

σu,v(duv(t)×cuv(t))(2)

如(2)式所示，相位一致度合计部242对两个区域间相位一致度信息n(t)所示的两个区域间相位一致度cuv(t)乘以对应的权重信息d(t)，按照每个基础分量进行相加，由此，生成表示计测区域ri(k)间的每个基础分量的相位的一致度的相位一致度信息c(t)。相位一致度信息c(t)被提供给脉搏估计部150。

如上所述，根据实施方式2的脉搏估计装置200，根据两个区域间相位一致度cuv(t)的最小值计算权重系数duv(t)，换言之，以两个区域间相位一致度cuv(t)的最小值越小则权重系数duv(t)越大的方式进行计算，由此，能够将重点放置于相位更加一致的计测区域ri(k)的对来计算计测区域ri(k)间的相位一致度。因此，实施方式2能够更高精度地估计脉搏。

另外，在实施方式2中，权重系数duv(t)根据两个区域间相位一致度cuv(t)的最小值来计算，但是，权重系数duv(t)的计算方法不限于这种方法。例如，也可以根据两个计测区域ru(k)、rv(k)间的距离来决定对应的权重系数duv(t)。关于亮度值平均的变化中包含的面部的运动分量，两个区域间相位一致度cuv(t)的计算中使用的两个区域间的距离较大时，容易出现相位的差异。因此，权重系数计算部243根据计测区域ri(k)在图像上的位置计算两个计测区域ru(k)、rv(k)间的距离，根据计算出的距离设定权重系数duv(t)。此时，权重系数计算部243设定权重系数duv(t)，使得距离越大，则权重系数duv(t)成为越大的值。

也可以使用上述的根据两个区域间相位一致度cuv(t)的最小值进行计算的方法或根据两个计测区域ru(k)、rv(k)间的距离进行计算的方法这两个权重系数计算方法以外的方法计算权重系数duv(t)，或者，还可以组合多个方法综合地决定权重系数duv(t)。

实施方式3

图11是概略地示出作为实施方式3的信息处理装置的脉搏估计装置300的结构的框图。

脉搏估计装置300是能够执行作为实施方式3的信息处理方法的脉搏估计方法的装置。

如图11所示，脉搏估计装置300具有皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130、相位一致度计算部340、脉搏估计部150和变动信息取得部370。

实施方式3的脉搏估计装置300的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130和脉搏估计部150与实施方式1的脉搏估计装置100的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130和脉搏估计部150相同。

变动信息取得部370根据计测区域信息r(k)确定各计测区域ri(k)的变动，生成表示确定的变动的变动信息m(t)。变动信息m(t)被提供给相位一致度计算部340。

变动信息m(t)能够包含表示各计测区域ri(k)在图像上的运动、尺寸的变化或形状的变化等的要素信息mi(t)。

图像上的运动例如是表示第e(e为2以上的整数)个帧im(e)中的计测区域ri(e)在图像上的位置与第e-1个帧im(e-1)中的对应的计测区域ri(e-1)在图像上的位置之差的二维向量。

计测区域ri(e)、ri(e-1)在图像上的位置例如能够使用计测区域ri(e)、ri(e-1)的重心位置。在使用重心位置的情况下，使用构成计测区域ri(e)、ri(e-1)的4个顶点的重心坐标作为重心位置即可。

尺寸的变化例如是第e个帧im(e)中的计测区域ri(e)的面积与第e-1个帧im(e-1)中的对应的计测区域ri(e-1)的面积之差。

形状的变化例如是表示第e个帧im(e)中的计测区域ri(e)的4个边的各边长度与合计长度之比(由于存在4个边，因此成为4个值)与第k-1个帧im(e-1)中的对应的计测区域ri(e-1)的4个边的各边长度与合计长度之比的差的四维向量。

要素信息mi(t)例如是上述信息的tp量的时序数据，例如根据过去tp+1量的计测区域信息r(k-tp)、r(k-tp+1)、…、r(k)来提取。

为了简化说明，在以下的说明中，要素信息mi(t)设为由表示各计测区域ri(k)的重心运动的二维向量构成的tp量的时序数据，变动信息m(t)设为汇集这些时序数据而得到的信息。

另外，要素信息mi(t)不需要是tp量的时序数据，也可以由任意数量的数据构成。

与实施方式2同样，实施方式3中的相位一致度计算部340也选择多对的由两个脉搏源信号构成的对，根据各个对，计算表示相位在对应的基础分量彼此之间一致的程度的多个一致度。然后，相位一致度计算部340对多个对中的各个对设定权重系数，使用该权重系数对根据多个对中的各个对计算出的多个一致度进行加权，确定按照对应的每个基础分量进行合计后的值作为多个相位一致度。

在实施方式3中，相位一致度计算部340能够根据变动信息m(t)设定权重系数，使得配置有与多个对中的各个对对应的两个计测区域ru(k)、rv(k)的方向越接近被验者运动的方向，则权重越重。

此外，相位一致度计算部340还能够根据变动信息m(t)设定权重系数，使得与多个对中的各个对对应的两个计测区域ru(k)、rv(k)的尺寸变化方式越近，则权重越重。

进而，相位一致度计算部340还能够根据变动信息m(t)设定权重系数，使得与多个对中的各个对对应的两个计测区域ru(k)、rv(k)的形状变化方式越近，则权重越重。

图12是概略地示出相位一致度计算部340的结构的框图。

相位一致度计算部340具有两个区域间相位一致度计算部141、相位一致度合计部242和权重系数计算部343。

实施方式3中的相位一致度计算部340的两个区域间相位一致度计算部141与实施方式1中的相位一致度计算部140的两个区域间相位一致度计算部141相同。但是，实施方式3中的两个区域间相位一致度计算部141将两个区域间相位一致度信息n(t)提供给相位一致度合计部242和权重系数计算部343。

实施方式3中的相位一致度计算部340的相位一致度合计部242与实施方式2中的相位一致度计算部240的相位一致度合计部242相同。但是，实施方式3中的相位一致度合计部242从权重系数计算部343取得权重信息d(t)。

权重系数计算部343接受两个区域间相位一致度信息n(t)和变动信息m(t)，使用变动信息m(t)计算针对两个区域间相位一致度信息n(t)所示的各两个区域间相位一致度cuv(t)的权重系数duv(t)，生成表示计算出的权重系数duv(t)的权重信息d(t)。权重信息d(t)被提供给相位一致度合计部242。

使用图13～图14对根据变动信息m(t)计算权重系数duv(t)的方法进行说明。

图13是示出被验者的面部、摄像装置160和环境光的光源161的位置关系的概略图。

如图13所示，设在被验者的面部的皮肤区域中配置有计测区域a、计测区域b和计测区域c。

图14的(a)～(c)示出通过图13所示的摄像装置160对被验者的面部进行摄像而得到的图像的例子。

图14的(a)所示的图像是被验者的面部位于摄像装置160的中心时的例子。将这种位置设为基准位置。

图14的(b)所示的图像是被验者的面部位于比摄像装置160的中心更靠右侧时的例子。将这种位置设为右位置。

图14的(c)所示的图像是被验者的面部位于比摄像装置160的中心更靠左侧时的例子。将这种位置设为左位置。

在面部为右位置的情况下，与基准位置相比，计测区域a和计测区域c变亮，在面部为左位置的情况下，与基准位置相比，计测区域a和计测区域c变暗。

在面部为右位置的情况下，与基准位置相比，计测区域b变暗，在面部为左位置的情况下，与基准位置相比，计测区域b变亮。

如图14的(a)～(c)所示，在面部的位置左右变化的情况下，在如计测区域a和计测区域b那样图像中的处于横向的位置关系的计测区域中，亮度变化的方式产生差异。

另一方面，在如计测区域a和计测区域c那样图像中的处于纵向的位置关系的计测区域中，亮度变化的方式相似。

即，在处于与面部的移动方向相同的方向的位置关系的计测区域中，亮度变化的方式不同，在处于与面部的移动方向垂直的方向的位置关系的计测区域中，亮度变化的方式相似。

图15的(a)～(f)示出被验者的面部按照基准位置、右位置、基准位置、左位置、基准位置、右位置、基准位置和左位置的顺序运动的情况下的计测区域a、b、c中的亮度值平均的变化。

图15的(a)示出被验者的面部如上所述运动的情况下的计测区域a的面部的运动分量的亮度值平均的变化，图15的(b)示出被验者的面部如上所述运动的情况下的计测区域a的面部的脉搏分量的亮度值平均的变化。

图15的(c)示出被验者的面部如上所述运动的情况下的计测区域b的面部的运动分量的亮度值平均的变化，图15的(d)示出被验者的面部如上所述运动的情况下的计测区域b的面部的脉搏分量的亮度值平均的变化。

图15的(e)示出被验者的面部如上所述运动的情况下的计测区域c的面部的运动分量的亮度值平均的变化，图15的(f)示出被验者的面部如上所述运动的情况下的计测区域c的面部的脉搏分量的亮度值平均的变化。

在面部的位置左右变化的情况下，如图15的(a)和图15的(c)所示，在图像中的处于横向的位置关系的计测区域(计测区域a和计测区域b)中，亮度值平均中包含的面部的运动分量的相位不同。

另一方面，如图15的(a)和图15的(e)所示，在图像中的处于纵向的位置关系的计测区域(计测区域a和计测区域c)中，亮度值平均中包含的面部的运动分量的相位相近。

返回图12，权重系数计算部343使用上述特征，根据变动信息m(t)计算权重系数duv(t)。具体而言，在计测区域ru(k)、rv(k)的对处于与变动信息m(t)中包含的二维向量相同的方向的位置关系的情况下，将针对两个区域间相位一致度cuv(t)的权重系数duv(t)设定为较大。另一方面，在计测区域ru(k)、rv(k)的对处于垂直方向的位置关系的情况下，将权重系数duv(t)设定为较小。

在计算权重系数duv(t)时，首先，权重系数计算部343确定变动信息m(t)中包含的代表性的运动向量即代表向量ms(t)(二维向量)。例如，权重系数计算部343例如确定变动信息m(t)中包含的二维向量的最大值作为代表向量ms(t)即可。

在计算代表向量ms(t)时，首先，权重系数计算部343针对变动信息m(t)中包含的rn个各计测区域的要素信息mi(t)，计算平均值m_ave(t)(具有tp个二维向量的数据)。接着，权重系数计算部343从平均值m_ave(t)中包含的二维向量中选择向量的长度最大的二维向量，将其设为选择向量m_max(t)。然后，权重系数计算部343设将选择向量m_max(t)转换为单位向量(长度为1的向量)而得到的向量为代表向量ms(t)。

接着，权重系数计算部343计算表示与各两个区域间相位一致度cuv(t)对应的计测区域间的相对位置关系的二维向量puv(t)。二维向量puv(t)例如是将计算成为两个区域间相位一致度cuv(t)的基础的2个计测区域ru(k)、rv(k)间的坐标值之差而成的二维向量puv_t(t)转换为单位向量而得到的。

最后，权重系数计算部343根据二维向量puv(t)和代表向量ms(t)计算权重系数duv(t)。权重系数duv(t)例如被计算为二维向量puv(t)与代表向量ms(t)的内积的绝对值。具体而言，利用下面的(3)式计算权重系数向量duv(t)。

duv(t)＝|puv(t)·ms(t)|(3)

(3)式中的“·”表示向量的内积。如果内积的绝对值是相同长度的向量彼此的内积的绝对值，如果2个向量接近垂直关系，则成为接近0的值，如果2个向量接近平行关系，则在正方向上成为较大的值。这里，二维向量puv(t)和代表向量ms(t)均是长度为1的单位向量，因此，如果接近垂直关系，则其内积成为接近“0”的值，如果接近平行关系，则其内积成为接近“1”的值。

因此，根据(3)式，在计测区域ru(k)、rv(k)处于与代表向量ms(t)相同的位置关系的情况下，即，在代表向量ms(t)和二维向量puv(t)接近平行的情况下，权重系数duv(t)增大。另一方面，在它们处于接近垂直的关系的情况下，权重系数duv(t)减小。

权重系数计算部343将汇集针对各两个区域间相位一致度cuv(t)计算出的权重系数duv(t)而得到的信息作为权重信息d(t)提供给相位一致度合计部242。

如上所述，根据实施方式3的脉搏估计装置300，根据面部的运动方向和计测区域ri(k)的位置关系，运动分量的相位的偏移程度变化，因此，通过根据计测区域ri(k)的运动向量计算权重系数，能够估计进一步去除了运动分量后的脉搏。

另外，在实施方式3中，将要素信息mi(t)设为表示各计测区域ri(k)的重心运动的二维向量，但是不限于此。如上所述，也可以使用计测区域ri(k)的4个顶点的运动，还可以使用计测区域ri(k)的尺寸或形状的变化，还可以组合使用它们。

例如，权重系数计算部343进行设定，使得如果变动信息m(t)中包含的计测区域ru(k)、rv(k)的尺寸变化方式相似，则增大权重系数duv(t)，如果它们的尺寸变化方式不相似，则将权重系数duv(t)设定为较小即可。它们的尺寸变化方式不相似是指，计测区域ru(k)、rv(k)中的各个计测区域呈现不同的运动方式。因此，在它们的尺寸变化方式不相似的情况下，运动分量的相位的偏移程度增大，容易辨别脉搏分量和运动分量。

另外，使用相似度判断它们的尺寸变化方式是否相似即可。相似度使用计测区域ru(k)、rv(k)中的各个计测区域的尺寸变化的时序数据来判断。例如，权重系数计算部343在将某个帧的尺寸设为“1”时，确定后续帧中的计测区域的尺寸如何转变。例如，权重系数计算部343确定从第1帧到第5帧如“1”、“0.9”、“0.8”、“0.8”和“0.9”那样转变的时序数据。

然后，权重系数计算部343在各计测区域ri(k)中确定这些时序数据，利用计测区域ru(k)、rv(k)的对计算这些时序数据的相关值。相关值取“-1”～“1”的值，使得如果变化相似则成为“1”，如果不相似则成为“-1”。权重系数duv(t)可以设定为，相关值越小，则权重系数duv(t)越大，相关值越大，则权重系数duv(t)越小，因此，权重系数计算部343例如利用下述的(4)式计算权重系数duv(t)。

权重系数duv(t)＝1-(两个计测区域ru(k)、rv(k)的相关值)(4)

此外，权重系数计算部343进行设定使得如果变动信息m(t)中包含的计测区域ru(k)、rv(k)的形状变化方式相似，则增大权重系数duv(t)，进行设定使得如果它们的形状变化方式不相似，则减小权重系数duv(t)即可。形状变化方式是否相似通过相似度来判断，相似度使用表示计测区域ru(k)、rv(k)的形状变化的四维向量的变化的时序数据来判断。

例如，权重系数计算部343根据表示计测区域ru(k)、rv(k)中的各个计测区域的形状变化的四维向量中的各个四维向量的要素计算相关值。这里，计算4个相关值，因此，权重系数计算部343使用计算出的4个相关值平均值，通过下述的(5)式计算权重系数duv(t)。

权重系数duv(t)＝1-(两个计测区域ru(k)、rv(k)的平均相关值)(5)

另外，权重系数计算部343例如也可以将“根据尺寸的变化计算出的权重系数”和“根据形状变化计算出的权重系数”的平均值设为针对计测区域ru(k)、rv(k)的对的最终权重系数duv(t)。

实施方式4

如图1所示，实施方式4的脉搏估计装置400具有皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130、相位一致度计算部440和脉搏估计部150。

实施方式4的脉搏估计装置400的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130和脉搏估计部150与实施方式1的脉搏估计装置100的皮肤区域检测部110、计测区域设定部120、脉搏源信号提取部130和脉搏估计部150相同。

另外，脉搏估计装置400是能够执行作为实施方式4的信息处理方法的脉搏估计方法的装置。

实施方式4中的相位一致度计算部440从脉搏源信号信息w(t)所示的多个脉搏源信号中选择多对的两个脉搏源信号的对。然后，与实施方式1同样，相位一致度计算部440根据选择出的多个对中的各个对，计算表示相位在对应的基础分量彼此之间一致的程度的多个一致度。然后，相位一致度计算部440对多个对中的各个对设定权重系数，使用该权重系数对根据多个对中的各个对计算出的多个一致度进行加权，确定按照对应的每个基础分量进行合计后的值作为多个相位一致度。

这里，相位一致度计算部440能够设定权重系数，使得在根据多个对中的各个对计算出的多个一致度中，与相位的一致程度高的计测区域对应的一致度的权重增大。此外，能够根据脉搏源信号wi(t)的振幅的大小，设定与计测区域ri对应的一致度的权重系数。

如图10所示，实施方式4中的相位一致度计算部440具有两个区域间相位一致度计算部141、相位一致度合计部242和权重系数计算部443。

实施方式4中的相位一致度计算部440的两个区域间相位一致度计算部141与实施方式1中的相位一致度计算部140的两个区域间相位一致度计算部141相同。但是，实施方式4中的两个区域间相位一致度计算部141将两个区域间相位一致度信息n(t)提供给相位一致度合计部242和权重系数计算部443。

权重系数计算部443接受两个区域间相位一致度信息n(t)，计算针对两个区域间相位一致度信息n(t)所示的各两个区域间相位一致度cuv(t)的权重系数duv(t)，生成表示计算出的权重系数duv(t)的权重信息d(t)。权重信息d(t)被提供给相位一致度合计部242。

权重信息d(t)能够包含针对两个区域间相位一致度信息n(t)中包含的各两个区域间相位一致度cuv(t)的权重系数duv(t)。权重系数duv(t)例如取“0”～“1”之间的值。例如，在权重系数duv(t)为“0”时，针对相应的两个区域间相位一致度cuv(t)的权重小，在权重系数duv(t)为“1”时，针对相应的两个区域间相位一致度cuv(t)的权重大。在权重系数duv(t)为“0.5”时，是“0”与“1”的中间程度的权重。

权重系数duv(t)例如根据与计测区域ru相关联的两个区域间相位一致度cui(t)的代表值eu(t)和与计测区域rv相关联的两个区域间相位一致度cvi(t)的代表值ev(t)来决定(i＝1、2、…、rn)。与计测区域ru相关联的两个区域间相位一致度的代表值eu(t)例如为与计测区域ru相关联的两个区域间相位一致度cui(t)的平均值。具体而言，关于两个区域间相位一致度cu1(t)、cu2(t)、…、curn(t)，将计算每个频率分量的相位的一致度的平均值而成的两个区域间相位一致度设为与计测区域ru相关联的两个区域间相位一致度的代表值eu(t)。在计测区域ru的脉搏源信号wu(t)中包含的脉搏信号的分量较强时，与计测区域ru相关联的两个区域间相位一致度cui在任何频率分量中，相位的一致度均增大。另一方面，在计测区域ru的脉搏源信号wu(t)中包含的脉搏信号的分量较弱时，与计测区域ru相关联的两个区域间相位一致度cui在任何频率分量中，相位的一致度均减小。即，在与计测区域ru相关联的代表值eu(t)较大的情况下，将与计测区域ru对应的权重系数dui设定为较大，在代表值eu(t)较小的情况下，将与计测区域ru对应的权重系数dui设定为较小，由此，能够将重点放在脉搏信号的分量较强，换言之具有相位与其他计测区域一致的分量的计测区域。

权重系数duv(t)根据与计测区域ru相关联的两个区域间相位一致度的代表值eu(t)和与计测区域ru相关联的两个区域间相位一致度的代表值ev(t)来计算。

在计算权重系数duv(t)时，首先，计算针对计测区域ru的权重系数du(t)和针对计测区域rv的权重系数dv(t)。权重系数du(t)和dv(t)的计算方法相同，因此，这里对du(t)的计算方法进行说明。

将两个区域间相位一致度的代表值eu(t)可取的最大值设为emax，将最小值设为emin。权重系数du(t)利用下述的(6)式来计算。将最大值预先确定为emax，将最小值预先确定为emin。

du(t)＝1.0-(eu(t)-emin)/(emax-emin)(6)

同样，在计算出dv(t)后，将权重系数duv(t)计算为du(t)和dv(t)的最小值。即，duv(t)＝min(du(t)、dv(t))。

通过利用上述式子计算权重系数duv(t)，能够将与脉搏信号的分量较强，换言之具有相位与其他计测区域一致的分量的计测区域相关联的权重系数设定为较大。

如上所述，根据实施方式4的脉搏估计装置400，相位一致度计算部440使用根据多个对中的各个对计算出的多个一致度，计算该对中包含的两个计测区域的代表值，能够设定权重系数，使得该代表值越高，则权重越重。另外，针对根据多个对中的各个对计算出的多个一致度的各计测区域的代表值例如是与计测区域ru相关联的两个区域间相位一致度cui(t)的代表值eu(t)，是与计测区域rv相关联的两个区域间相位一致度cvi(t)的代表值ev(t)。因此，实施方式4能够更高精度地估计脉拍。

权重系数计算部443汇集针对各两个区域间相位一致度cuv(t)计算出的权重系数duv(t)，生成表示这些权重系数duv(t)的权重信息d(t)。权重信息d(t)被提供给相位一致度合计部242。

相位一致度合计部242接受两个区域间相位一致度信息n(t)和权重信息d(t)，生成计测区域间的每个基础分量的相位一致度信息c(t)，将生成的相位一致度信息c(t)提供给脉搏估计部150。

相位一致度合计部242对两个区域间相位一致度信息n(t)所示的两个区域间相位一致度cuv(t)乘以对应的权重信息d(t)，按照每个基础分量相加，由此，生成表示计测区域ri(k)间的每个基础分量的相位的一致度的相位一致度信息c(t)。相位一致度信息c(t)被提供给脉搏估计部150。

脉搏估计部150根据脉搏源信号信息w(t)和相位一致度信息c(t)来估计脉搏，输出表示估计出的脉搏的脉搏信息即脉搏估计结果p(t)。例如，在输出心拍数作为脉搏估计结果p(t)的情况下，脉搏估计部150确定每个频率分量的相位一致度信息c(t)中的相位的一致度最高的基础分量即频率分量，根据确定的频率分量来估计脉搏。具体而言，脉搏估计部150设相位的一致度最高的频率分量相当于脉搏，输出与脉搏相当的频率分量的频率作为心拍数。

另外，在实施方式4中，将与计测区域ru相关联的两个区域间相位一致度的代表值eu(t)设为与计测区域ru相关联的两个区域间相位一致度cui(t)的平均值，但是不限于此。例如，也可以使用中央值或最小值，还可以按照每个频率分量设为相位的一致度高于阈值的次数。

另外，在实施方式4中，仅根据两个区域间相位一致度来决定针对各计测区域的权重的程度，但是不限于此。例如，如非专利文献1记载的那样，也可以根据脉搏源信号wi(t)的最大值与最小值之差或功率谱中的snr(signal-noise-ratio：信噪比)计算针对各计测区域的权重系数，还可以组合它们。作为组合的方法，例如，针对计测区域ru，将根据功率谱中的snr计算出的权重系数和根据两个区域间相位一致度计算出的权重系数的平均值设为针对计测区域的权重系数du(t)。

另外，在实施方式4中，设相位的一致度最高的频率分量相当于脉搏，输出与脉搏相当的频率分量的频率作为心拍数，但是，在相位一致而信号的振幅大于预期的情况下或小于预期的情况下，除了对应的频率分量以外，还可以输出相位的一致度最高的频率分量作为心拍数。

与脉搏相当的频率分量的振幅根据帧im(t)中的皮肤区域的明亮度(亮度值)、或被验者的肤色、厚度或血流量而变化。其中，帧im(t)中的皮肤区域的明亮度的影响较大，能够根据皮肤区域的明亮度来推测与脉搏相当的频率分量的振幅。例如，使用根据全部计测区域的平均亮度值iave(t)决定的针对频率分量的振幅的阈值θh(iave(t))和θl(iave(t))，仅将振幅为阈值θh以上且阈值θl以下的频率分量作为对象，确定相位的一致度最高的频率分量。

这样，通过根据振幅在规定范围内的频率分量估计心拍数，能够更高精度地估计心拍数。

标号说明

100、200、300、400：脉搏估计装置；110：皮肤区域检测部；120：计测区域设定部；130：脉搏源信号提取部；140、240、340、440：相位一致度计算部；141：两个区域间相位一致度计算部；142、242：相位一致度合计部；243、343、443：权重系数计算部；150：脉搏估计部；160：摄像装置；161：光源；370：变动信息取得部。