生物体信息处理装置和生物体信息处理方法与流程

本发明涉及一种监视人的生物体信息的生物体信息处理装置和生物体信息处理方法。

背景技术：

关于估计人的生物体信息的生命感测技术，例如期待其不局限于家庭护理、健康管理的领域，而应用到驾驶中的睡意探测、游戏中的用户的心理状态的获取、利用监视系统进行的异常者探测等各个领域。当前，关于感测生物体信息的设备，以与人的身体接触的方式使用的类型是主流，需要用户自身进行佩带，因此应用范围受限。

因此，作为用于以非接触的方式进行感测的构造之一，提出了一种根据利用照相机拍摄得到的图像来估计作为生物体信息的一例的脉搏数的技术。通过使用该技术，能够不使用户自身意识到生物体信息的感测地来对生物体信息进行感测，从而能够期待应用范围的扩大。例如，能够一边利用监视照相机进行拍摄，一边探测由于压力而脉搏变动变大的可疑人物。另外，能够同时感测一个照相机所拍摄到的多个人，这也是显著的优点。与接触型构造相比，无需针对每个用户准备单独的设备，还能够减少佩带于身体的麻烦感。

在此，作为观察(监视)人的生物体状态的现有技术，例如已知一种专利文献1所示的生物体状态观察系统。该生物体状态观察系统被输入由在时间上连续的多个帧构成的至少包含一个被观察者的图像，检测图像内的规定的区域并输出规定的区域的信息，从图像内的规定的区域检测图像内所包含的被观察者的生物体信息，将用于判定生物体状态的异常的规定的生物体参数与生物体信息的数据进行比较或者将该生物体参数与该数据的变化进行比较，来检测被观察者的生物体状态中发生的异常。由此，生物体状态观察系统不会使被观察者感到不舒服、不适，而能够进行被观察者的生物体信息的观察和生物体状态的异常的检测。在专利文献1中，进行比较时使用的生物体参数是规定的固定值或者经由网络而更新的值，在观察被观察者的生物体信息时，使用该生物体参数的值来决定存在异常的被观察者(被检者、生物体信息处理对象)。

另外，作为与使用照相机的脉搏估计技术有关的现有技术，例如已知一种专利文献2所示的脉搏计测装置。该脉搏计测装置计算所拍摄到的输入图像的特征量，根据所计算出的特征量来检测脉搏波的峰间隔，根据所检测出的脉搏波的峰间隔来计算脉搏数。另外，脉搏计测装置对表示每单位时间拍摄的帧数的帧率进行控制，使得真实的脉搏数与计算出的脉搏数中的具有基于采用率的有效的峰间隔的脉搏数之间的估计最大误差为规定值以下，该采用率表示有效的峰间隔的比例。

专利文献1：日本特开2014-36801号公报

专利文献2：日本特开2010-51592号公报

技术实现要素：

本公开的目的在于，即使在周边环境发生了变化的情况下，也能随着周边环境的变化从多个被检者(处理对象)之中实时且准确地探测可能存在异常的被检者或者成为需要注意的对象的被检者的脉搏数。

基于本公开的生物体信息处理装置具有输入图像数据的图像输入部、选择部、估计部、探测部以及输出部。选择部从由图像输入部输入的图像数据中选择处理对象的图像范围。估计部基于所选择出的处理对象的图像范围的图像数据，来估计与图像范围对应的处理对象的脉搏数。探测部根据所估计出的处理对象的脉搏数的相对比较，来探测可能存在异常的对象或者成为需要注意的对象的对象。输出部输出与所探测出的可能存在异常的对象或者需要注意的对象有关的信息。

另外，本公开是上述生物体信息处理装置中的生物体信息处理方法。该方法具有以下的步骤。输入图像数据的步骤。从所输入的图像数据中选择处理对象的图像范围的步骤。基于所选择出的处理对象的图像范围的图像数据来估计与相同的图像范围对应的处理对象的脉搏数的步骤。根据所估计出的处理对象的脉搏数的相对比较来探测可能存在异常的对象或者需要注意的对象的步骤。输出与所探测出的可能存在异常的对象或者需要注意的对象有关的信息的步骤。

根据本公开，即使在周边环境发生了变化的情况下，也能够随着周边环境的变化从多个被检者中实时且准确地探测可能存在异常的被检者或者成为需要注意的对象的被检者的脉搏数。

附图说明

图1a是示意性地表示人的心脏的收缩与血管中的光的吸收量之间的关系的一例的图。

图1b是表示光的强度的时间序列变化的一例的图。

图2是表示血红蛋白的光的每波长的吸收率的一例的图。

图3是表示第一实施方式的生物体信息处理装置的内部结构的一例的框图。

图4a是表示从照相机输入的多个被检者的拍摄图像的一例的图。

图4b是表示利用被检者区域选择部切出的每个被检者的指定范围的一例的图。

图4c是表示每个被检者的脉搏数的提取结果的一例的图。

图5是表示各实施方式的生物体信息处理装置的使用例的图。

图6是说明第一实施方式的生物体信息处理装置的动作过程的一例的流程图。

图7是表示第二实施方式的生物体信息处理装置的内部结构的一例的框图。

图8a是表示从照相机输入的多个被检者的拍摄图像的一例的图。

图8b是表示利用被检者区域选择部切出的每个被检者的指定范围的一例的图。

图8c是表示每个被检者的脉搏数的提取结果的一例的图。

图9是说明第二实施方式的生物体信息处理装置的动作过程的一例的流程图。

图10a是表示第三实施方式的生物体信息处理装置的内部结构的一例的框图。

图10b是示意性地表示各实施方式的生物体信息处理装置的动作概要的一例的图。

图11是表示以往的使用照相机的脉搏计算方法的一例的图。

图12是图11所示的脉搏计算方法中的问题的说明图。

图13是表示第三实施方式的生物体信息处理装置的脉搏计算方法的一例的图。

图14是表示各估计模块部内的波形检定部的动作例的说明图。

图15是说明第三实施方式的生物体信息处理装置的动作过程的一例的流程图。

图16是表示第四实施方式的生物体信息处理装置的内部结构的一例的框图。

图17是一个周期的观测波形的峰偏离了采样位置的情况下的问题的说明图。

图18是表示各估计模块部的插值部的动作的第一例的说明图。

图19是表示各估计模块部的插值部的动作的第二例的说明图。

图20是表示各估计模块部的插值部的动作的第三例的说明图。

图21是说明第四实施方式的生物体信息处理装置的动作过程的一例的流程图。

具体实施方式

首先，参照图1a和图1b来说明各实施方式的生物体信息处理装置中的脉搏数的估计原理。图1a是示意性地表示人的心脏的收缩与血管中的光的吸收量之间的关系的一例的图。图1b是表示光的强度的时间序列变化的一例的图。

在图1a中示出了血管的容积与人的心脏的收缩(systole)同步地变化的情况。当血管的容积相应于心脏的收缩而增大时，光(例如图2所示的特定波长区域的光)的吸收量增大，因此光的强度(lightintensity)也减少(参照图1b)。此外，在以下的说明中，脉搏波表示血液由于心脏的收缩而被推送到大动脉时所发生的血管内的压力变化向末梢方向传递时的波的运动。

在图1b中，横轴表示时间，纵轴表示通过光的吸收量的变化而获得的信号(光电脉搏波)的强度。也就是说，在图1b中，在出现峰时光的吸收量少，因此为血管的容积未增大的状态，在出现最小值时光的吸收量多，因此为血管的容积增大了的状态。此外，由于心脏与末梢部分的距离，未完全同步而出现些许延迟，但心脏的收缩与光电脉搏波的强度的变化基本上是同步地变动的。

图2是表示血红蛋白的光的每波长的吸收率的一例的图。在图2中，例如示出了血红蛋白(血液)容易吸收400nm的波长(也就是说绿色)的情况。此外，在以下的各实施方式中，利用绿色的光的成分的吸收率高的情况进行说明，但除此以外，例如也可以利用红色的光(例如超过1000nm的波长)的成分的反射率高的情况进行说明。

(第一实施方式)

以下，参照图3来说明第一实施方式的生物体信息处理装置的结构。图3是表示第一实施方式的生物体信息处理装置10的内部结构的一例的框图。图3所示的生物体信息处理装置10构成为包括照相机cm、图像输入部1、被检者区域选择部2(区域选择部)、被检者生物体信息提取部3(提取部)、异常探测部4、阈值保持更新部5、异常通知输出部6以及监视器7。此外，生物体信息处理装置10也可以构成为还包括异常通知获取装置ap1、…、apk(参照后文)。

照相机cm以规定的帧率(例如10fps：framepersecond，帧每秒)拍摄作为估计对象物的n个被检者并输出到图像输入部1。此外，照相机cm也可以不设置在生物体信息处理装置10的内部，例如也可以经由网络而与生物体信息处理装置10连接。网络是将无线网络或者有线网络作为接口来进行连接的因特网或者内部网。无线网络例如是无线lan(localareanetwork，局域网)、无线wan(wideareanetwork，广域网)、3g、lte(longtermevolution，长期演进)或者wigig(wirelessgigabit，无线千兆比特)。有线网络例如是ieee802.3或者以太网(ethernet(注册商标))。

图像输入部1从照相机cm连续地输入(获取)利用照相机cm以规定的帧率拍摄人而得到的图像数据的帧，并向被检者区域选择部2输出所述图像数据的帧。此外，在照相机cm和生物体信息处理装置10相独立地构成的情况下，图像输入部1连续地接收从照相机cm发送的图像数据的帧。

作为选择部的一例的被检者区域选择部2在由图像输入部1输入的图像数据的各帧(参照图4a)内选择并切出包含多个被检者(例如设为a先生/女士、b先生/女士、c先生/女士这三个人。以下相同。)中的各个被检者的图像范围、即指定范围rn1、rn2、rn3(参照图4b)，将a先生/女士的指定范围rn1、b先生/女士的指定范围rn2、c先生/女士的指定范围rn3中的各图像数据输出到被检者生物体信息提取部3。

图4a是表示从照相机cm输入的多个被检者的拍摄图像im1的一例的图。图4b是表示由被检者区域选择部2切出的每个被检者的指定范围的一例的图。例如在作为多个被检者的a先生/女士、b先生/女士、c先生/女士这三个人被照相机cm拍摄的情况下，被检者区域选择部2例如对拍摄图像im1的数据进行作为公知技术的人脸检测处理，由此分别检测出a先生/女士的指定范围rn1、b先生/女士的指定范围rn2、c先生/女士的指定范围rn3，选择并切出检测结果(a先生/女士的指定范围rn1，b先生/女士的指定范围rn2，c先生/女士的指定范围rn3中的各图像数据)。

作为估计部的一例的被检者生物体信息提取部3基于从被检者区域选择部2输出的各个包含被检者的图像范围、即指定范围rn1、rn2、rn3各自的图像数据，来估计与指定范围rn1、rn2、rn3分别对应的作为被检者(a先生/女士、b先生/女士、c先生/女士)的生物体信息的一例的脉搏数。被检者生物体信息提取部3将与估计结果、即a先生/女士、b先生/女士、c先生/女士各自的脉搏数有关的信息输出到异常探测部4。被检者生物体信息提取部3中的脉搏数的估计方法是公知技术，因此省略详细的说明。

作为脉搏数的估计方法的一例，被检者生物体信息提取部3基于与由被检者区域选择部2切出的指定范围rn1对应的a先生/女士的图像数据的多个帧内的肤色部分的像素值的至少一个周期的信号，来提取与一个周期相当的时间(脉搏波间隔，pwi：pulsewaveinterval)，使用所提取出的该pwi和数式(1)来推算a先生/女士的脉搏数(pulserate，脉率)。相同地，被检者生物体信息提取部3基于与由被检者区域选择部2切出的指定范围rn2、rn3对应的b先生/女士、c先生/女士的各图像数据的多个帧内的肤色部分的像素值的至少一个周期的信号，来提取与一个周期相当的时间(脉搏波间隔，pwi)，使用所提取出的该pwi和数式(1)分别推算b先生/女士、c先生/女士的脉搏数。

[式1]

pulserate＝60/pwi...(1)

作为探测部的一例的异常探测部4对从被检者生物体信息提取部3输出的多个被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的推算结果(估计结果)进行相对比较(例如最大值检索)，来探测可能存在异常的被检者或者成为需要注意的对象的被检者，并将探测结果输出到异常通知输出部6。另外，异常探测部4将进行相对比较时获得的阈值保存到阈值保持更新部5中。此外，本实施方式中所述的阈值是指在确定作为脉搏数的估计对象的多个被检者(例如a先生/女士、b先生/女士、c先生/女士)中的可能存在异常的被检者或者成为需要注意的对象的被检者时使用的脉搏数的判定值(最大值)。因而，在本实施方式中，获得了小于阈值的的脉搏数的被检者不被探测为可能存在异常的被检者、成为需要注意的对象的被检者。

首先，异常探测部4在将从被检者生物体信息提取部3输出的多个被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的推算结果(估计结果)中的a先生/女士的脉搏数作为阈值的初始值保存到阈值保持更新部5，之后对脉搏数的推算结果按顺序进行比较。

具体地说，异常探测部4对a先生/女士的脉搏数与b先生/女士的脉搏数进行相对比较，由此在b先生/女士的脉搏数比a先生/女士的脉搏数大的情况下(参照图4c)，将b先生/女士的脉搏数选择为阈值，将阈值保持更新部5的阈值更新为b先生/女士的脉搏数。接着，异常探测部4对b先生/女士的脉搏数与c先生/女士的脉搏数进行相对比较，由此在c先生/女士的脉搏数比b先生/女士的脉搏数大的情况下(参照图4c)，将c先生/女士的脉搏数选择为阈值，将阈值保持更新部5的阈值更新为c先生/女士的脉搏数。

并且，异常探测部4进行c先生/女士的脉搏数与a先生/女士的脉搏数的相对比较，由此在a先生/女士的脉搏数比c先生/女士的脉搏数大的情况下，将a先生/女士的脉搏数选择为阈值，将阈值保持更新部5的阈值更新为a先生/女士的脉搏数，但在c先生/女士的脉搏数比a先生/女士的脉搏数大的情况下(参照图4c)，将c先生/女士的脉搏数作为阈值保持到阈值保持更新部5。图4c是表示每个被检者的脉搏数的提取结果的一例的图。在图4c所示的例子中，c先生/女士的脉搏数比其他两个人(a先生/女士、b先生/女士)的脉搏数高，因此异常探测部4将与选择为阈值的脉搏数对应的c先生/女士探测为可能存在异常的被检者或者成为需要注意的对象的被检者。

阈值保持更新部5例如是使用ram(randomaccessmemory，随机存取存储器)、半导体存储器、hdd(harddiskdrive，硬盘驱动器)或者ssd(solidstatedrive，固态硬盘)构成的，将表示由异常探测部4选择出并被保持的脉搏数或者更新后的脉搏数的值保存为阈值。

异常通知输出部6基于从异常探测部4输出的探测结果，向监视器7输出与可能存在异常的被检者或者成为需要注意的对象的被检者有关的信息。

作为输出方式，例如在生物体信息处理装置10具有监视器7的情况下，异常通知输出部6将与可能存在异常的被检者或者成为需要注意的对象的被检者有关的信息以能够识别的方式显示在监视器7上(参照图5)。图5是表示各实施方式的生物体信息处理装置10或者图7所示的生物体信息处理装置10a的使用例的图。此外，作为能够识别的显示例，异常通知输出部6例如在监视器7上的相应的被检者p1的周围显示标记(例如感叹号、感叹符)，该标记表示是可能存在异常的被检者或者成为需要注意的对象的被检者。

在图5中，例如在本实施方式的生物体信息处理装置10设置于店铺的情况下，利用监视照相机(照相机cm)来拍摄店铺内的被检者(购物者)。而且，以非接触的方式估计四个被检者p11、p12、p13、p14的脉搏数。在设置于监视室(例如店铺的后院)的监视器7上，分别显示估计结果的脉搏数、表示存在可能存在异常的被检者或者成为需要注意的对象的被检者的标记。由此，店铺的负责人mr(例如店铺的店长)能够确认店铺内存在可能存在异常的被检者(购物者)或者成为需要注意的对象的被检者(购物者)。

另外，作为其它的输出方式，也可以是，例如在生物体信息处理装置10具有扬声器(未图示)的情况下，异常通知输出部6从扬声器输出与可能存在异常的被检者或者成为需要注意的对象的被检者有关的信息的声音。由此，店铺的负责人mr(例如店铺的店长)无需用眼睛看监视器7，仅通过来自扬声器的声音就能够简单地确认店铺内存在可能存在异常的被检者(购物者)或者成为需要注意的对象的被检者(购物者)。

监视器7例如是使用lcd(liquidcrystaldisplay，液晶显示器)或者有机el(electroluminescence，电致发光)构成的显示器，显示由照相机cm拍摄到的图像数据，并且，基于根据需要从异常通知输出部6输出的与相应的被检者有关的信息，在相应的被检者的周围显示标记，该标记表示可能存在异常的被检者或者成为需要注意的对象的被检者。例如在生物体信息处理装置10设置在店铺内的情况下，优选将监视器7设置于监视室(店铺的后院)。

异常通知获取装置ap1、…、apk(k：1以上的整数)被设置为来自异常通知输出部6的与可能存在异常的被检者或者成为需要注意的对象的被检者有关的信息的除了监视器7以外的输出目的地，例如支援处于监视室的店铺的负责人(例如店铺的店长)对监视器7的监视作业。异常通知获取装置ap1～apk例如是具有使用bluetooth(注册商标)的无线通信功能和振动功能的手环、具有无线通信功能的头戴式显示器、例如设置在店铺内的照明装置、声音输出装置中的任一个或者多个的组合。

例如，若异常通知获取装置ap1～apk是具有无线通信功能和振动功能的手环、且店铺内的各店员佩带有各异常通知获取装置ap1～apk(k为1以上的整数)，则各异常通知获取装置ap1～apk能够根据来自异常通知输出部6的输出使振动功能工作，来对店员通知存在可能存在异常的被检者或者成为需要注意的对象的被检者。由此，例如离监视室最近的店员通过参照监视器7上所显示的标记，能够保护相应的被检者、或者监视被检者是否会进行可疑的行为。

另外，例如若异常通知获取装置ap1～apk是具有无线通信功能的头戴式显示器、且同样地店铺内的各店员佩带有各异常通知获取装置ap1～apk(k为1以上的整数)，则各异常通知获取装置ap1～apk能够根据来自异常通知输出部6的输出在头戴式显示器上对店员通知存在可能存在异常的被检者或者成为需要注意的对象的被检者。由此，无需确认监视器7上显示的标记，例如离该被检者最近的店员就能够保护相应的被检者、或者监视被检者是否会进行可疑的行为。

另外，例如在异常通知获取装置ap1～apk是设置在店铺内的照明装置(例如led：lightemittingdiode，发光二极管)或者声音输出装置(例如扬声器)的情况下，各异常通知获取装置ap1～apk能够根据来自异常通知输出部6的输出，利用除店长、店员以外的人(例如购物者)很难注意到的照明模式或者声音的变化来对店员通知存在可能存在异常的被检者或者成为需要注意的对象的被检者。由此，无需确认监视器7上显示的标记，例如离相应的被检者最近的店员就能够在与照明模式、声音相应的店铺内的对象位置保护相应的被检者、或者监视被检者是否会进行可疑的行为。

接着，参照图6来说明本实施方式的生物体信息处理装置10的动作过程的一例。图6是说明第一实施方式的生物体信息处理装置10的动作过程的一例的流程图。

在图6中，图像输入部1从照相机cm连续地输入(获取)利用照相机cm以规定的帧率拍摄人而得到的图像数据的帧，并向被检者区域选择部2输出所述图像数据的帧(st1)。被检者区域选择部2在由图像输入部1输入的图像数据的各帧(参照图4a)内，选择并切出包含多个被检者(a先生/女士、b先生/女士、c先生/女士)中的各个被检者的图像范围、即指定范围rn1、rn2、rn3(图4b参照)(st2)。被检者区域选择部2将a先生/女士的指定范围rn1、b先生/女士的指定范围rn2、c先生/女士的指定范围rn3各自中的图像数据输出到被检者生物体信息提取部3。

被检者生物体信息提取部3基于从被检者区域选择部2输出的各个包含被检者的图像范围即指定范围rn1、rn2、rn3的各图像数据，来估计与各指定范围rn1、rn2、rn3对应的被检者(a先生/女士、b先生/女士、c先生/女士)的作为生物体信息的一例的脉搏数(st3)。被检者生物体信息提取部3将与估计结果即a先生/女士、b先生/女士、c先生/女士各自的脉搏数有关的信息输出到异常探测部4。在被检者生物体信息提取部3推算出全部的被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数之前(st4，“否”)重复进行步骤st2和步骤st3的处理。

另一方面，在被检者生物体信息提取部3推算出全部的被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的情况下(st4，“是”)，异常探测部4对从被检者生物体信息提取部3输出的多个被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的推算结果(估计结果)进行相对比较(例如最大值检索)(st5)，来探测可能存在异常的被检者或者成为需要注意的对象的被检者，将探测结果输出到异常通知输出部6。另外，异常探测部4将进行相对比较时获得的阈值保存到阈值保持更新部5。

异常通知输出部6基于从异常探测部4输出的探测结果，例如将与全部的被检者之中脉搏数最高的被检者有关的信息作为与可能存在异常的被检者或者成为需要注意的对象的被检者有关的信息输出到监视器7(st6)。异常通知输出部6例如在监视器7上的相应的被检者p1的周围显示标记(例如感叹号)，该标记表示是可能存在异常的被检者或者成为需要注意的对象的被检者。

根据以上说明，本实施方式的生物体信息处理装置10从拍摄n个被检者(例如a先生/女士、b先生/女士、c先生/女士)而得到的图像数据中选择各个被检者的图像范围即指定范围rn1、rn2、rn3，基于所选择出的各个被检者的图像范围即指定范围rn1、rn2、rn3的图像数据，来估计与图像范围对应的被检者的脉搏数。生物体信息处理装置10根据所估计出的n个被检者全部的脉搏数的相对比较，来探测可能存在异常的被检者或者成为需要注意的对象的被检者，输出与探测结果对应的与被检者有关的信息。

在估计被检者的生物体信息(例如脉搏数)时发生了周边环境的变化(例如室温、气温的变动)的情况下，脉搏数也相应于室温、气温的上升而上升。生物体信息处理装置10通过上述的处理，对全部的被检者进行各个被检者的脉搏数的估计结果的相对比较来探测脉搏数的值比其他的被检者的脉搏数的值高(引人注目)的被检者。因此，相比于估计脉搏数时使用固定的阈值的技术，生物体信息处理装置10能够随着周边环境的变化从多个被检者中实时且准确地探测可能存在异常的被检者或者成为需要注意的对象的被检者的脉搏数。

另外，生物体信息处理装置10对估计出的n个被检者的脉搏数按顺序进行比较，将与最高的脉搏数对应的被检者探测为可能存在异常的被检者或者成为需要注意的对象的被检者，因此，作为相对比较的结果，能够将脉搏数比其他的被检者的脉搏数高而引人注目的被检者探测为可能存在异常的被检者或者成为需要注意的对象的被检者。

另外，生物体信息处理装置10能够将估计出的n个被检者的脉搏数中的最高的脉搏数更新为阈值并进行保持，因此与使用固定的阈值的技术相比，例如在定期地估计多个被检者的脉搏数时，通过使用作为前次的估计时更新的最大值的阈值，能够随着周边环境的变化来探测具有可能存在异常的被检者或者成为需要注意的对象的被检者的脉搏数的被检者。

(第二实施方式)

图7是表示第二实施方式的生物体信息处理装置10a的内部结构的一例的框图。在图7所示的生物体信息处理装置10a中，对与图3所示的生物体信息处理装置10的各部相同的结构使用相同的标记来简化或省略说明，对不同的内容进行说明。

图7所示的生物体信息处理装置10a构成为包括照相机cm、图像输入部1、被检者区域选择部2、被检者生物体信息提取部3、异常探测部4a、阈值保持更新部5a、异常通知输出部6以及监视器7。此外，生物体信息处理装置10a也可以与第一实施方式相同地构成为还包括异常通知获取装置ap1、…、apk。在本实施方式的说明中，异常通知获取装置ap1、…、apk的结构与第一实施方式相同，因此省略说明。

作为探测部的一例的异常探测部4a对从被检者生物体信息提取部3输出的多个被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的推算结果(估计结果)进行相对比较(例如平均值推算)，来探测可能存在异常的被检者或者成为需要注意的对象的被检者，将探测结果输出到异常通知输出部6。另外，异常探测部4a将在进行相对比较时得到的阈值(平均值)保存到阈值保持更新部5a。此外，本实施方式中所述的阈值是在确定作为脉搏数的估计对象的多个被检者(例如a先生/女士、b先生/女士、c先生/女士)中的可能存在异常的被检者或者成为需要注意的对象的被检者时使用的脉搏数的判定值(平均值)。因而，在本实施方式中，获得的脉搏数小于阈值的被检者不被探测为可能存在异常的被检者、成为需要注意的对象的被检者。

首先，异常探测部4a推算从被检者生物体信息提取部3输出的多个被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的推算结果(估计结果)的平均值，将预先保存在阈值保持更新部5a中的阈值的初始值更新为推算出的平均值。

异常探测部4a对a先生/女士、b先生/女士、c先生/女士各自的脉搏数与阈值(平均值)进行相对比较。a先生/女士的脉搏数和c先生/女士的脉搏数均小于平均值(参照图8c)，因此，作为可能存在异常的被检者、成为需要注意的对象的被检者，将a先生/女士和c先生/女士排除。并且，异常探测部4a将脉搏数超过图8c所示的平均值的b先生/女士探测为可能存在异常的被检者或者成为需要注意的对象的被检者。图8c是表示每个被检者的脉搏数的提取结果的一例的图。在图8c所示的例子中，b先生/女士的脉搏数比其他二人(a先生/女士、b先生/女士)的脉搏数高且超过阈值，因此异常探测部4a将脉搏数超过阈值的b先生/女士探测为可能存在异常的被检者或者成为需要注意的对象的被检者。此外，图8a及图8b所示的各图与图4a及图4b所示的各图相同，因此省略说明。

阈值保持更新部5a例如是使用ram、半导体存储器、hdd或者ssd构成的，将由异常探测部4a推算出的各被检者的脉搏数的平均值保存为阈值。

接着，参照图9来说明本实施方式的生物体信息处理装置10a的动作过程的一例。图9是说明第二实施方式的生物体信息处理装置10a的动作过程的一例的流程图。在图9的说明中，关于与图6的说明相同的说明，标注相同的步骤编号来简化或省略说明，对不同的内容进行说明。

在图9中，在被检者生物体信息提取部3推算出全部的被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的情况下(st4，“是”)，异常探测部4a推算从被检者生物体信息提取部3输出的多个被检者(a先生/女士、b先生/女士、c先生/女士)的脉搏数的推算结果(估计结果)的平均值(st5a)，将预先保存在阈值保持更新部5a中的阈值的初始值更新为推算出的平均值(st7)。

并且，异常探测部4a使用在步骤st5a中推算出的阈值(平均值)来对a先生/女士、b先生/女士、c先生/女士的各脉搏数进行相对比较，a先生/女士的脉搏数和c先生/女士的脉搏数均小于平均值(参照图8c)，因此，作为可能存在异常的被检者、成为需要注意的对象的被检者，将a先生/女士和c先生/女士排除。并且，异常探测部4a将脉搏数超过图8c所示的平均值的b先生/女士探测为可能存在异常的被检者或者成为需要注意的对象的被检者(st6a)，将探测结果输出到异常通知输出部6。

异常通知输出部6基于从异常探测部4a输出的探测结果，例如将与全部的被检者中脉搏数超过作为阈值的平均值的少于n人的至少一个被检者(例如b先生/女士，参照图8c)有关的信息作为与可能存在异常的被检者或者成为需要注意的对象的被检者有关的信息输出到监视器7(st6a)。

根据以上说明，本实施方式的生物体信息处理装置10a对估计出的n个被检者(例如a先生/女士、b先生/女士、c先生/女士)的脉搏数的平均值进行推算，将与比这些脉搏数的平均值高的脉搏数对应的少于n个被检者(例如b先生/女士，参照图8c)探测为可能存在异常的被检者或者成为需要注意的对象的被检者。因此，作为相对比较的结果，生物体信息处理装置10a能够将脉搏数比成为估计对象的全部n个被检者的脉搏数的平均值高的被检者探测为可能存在异常的被检者或者成为需要注意的对象的被检者。

另外，生物体信息处理装置10a能够将估计出的n个被检者的脉搏数的平均值更新为阈值并进行保持，因此与使用固定的阈值的技术相比，例如在定期地估计多个被检者的脉搏数时，通过使用作为前次的估计时更新的平均值的阈值，能够随着周边环境的变化来探测具有可能存在异常的被检者或者成为需要注意的对象的被检者的脉搏数的被检者。

如以上那样，基于第一实施方式、第二实施方式的生物体信息处理装置例如不使用接触式的专用的脉搏数测定器，而使用拍摄对象物(例如被检者、处理对象。此外，对象物也可以不是人而是其它的动物。以下相同。)所得到的图像数据以非接触的方式估计作为生物体信息的一例的被检者的脉搏数，基于所估计出的被检者的脉搏数来探测可能存在异常的被检者或者成为需要注意的对象的被检者并输出。

更具体地说，各实施方式的生物体信息处理装置输入拍摄n(n：2以上的整数)个被检者而得到的图像数据。从所输入的图像数据中选择各个被检者的图像范围，基于所选择出的各个被检者的图像范围的图像数据，来估计与图像范围对应的被检者的脉搏数。另外，生物体信息处理装置根据所估计出的n个被检者的脉搏数的相对比较，来探测可能存在异常的被检者或者成为需要注意的对象的被检者，输出关于与该探测结果对应的被检者的信息。

各实施方式的生物体信息处理装置例如是台式或者膝上型的pc(personalcomputer，个人计算机)、智能手机、移动电话机、平板终端、pda(personaldigitalassistant，个人数字助理)等数据通信终端，也可以具有用于拍摄作为对象物的一例的人的照相机功能。

(第三实施方式)

以下，说明第三实施方式的生物体信息处理装置的结构。图10a是表示第三实施方式的生物体信息处理装置100的内部结构的一例的框图。图10b是示意性地表示本实施方式和后述的第四实施方式的生物体信息处理装置100、100a(图16)的动作概要的一例的图。

图10a所示的生物体信息处理装置100构成为包括照相机cm、图像输入部11、肤色提取部12、多个(例如三个)滤波部f1、f2、f3、多个(例如三个)估计模块部m1、m2、m3、信赖度判定部15、选择器16以及脉搏输出部17。估计模块部m1与滤波部f1相对应地设置，估计模块部m2与滤波部f2相对应地设置，估计模块部m3与滤波部f3相对应地设置。

照相机cm以规定的帧率(例如10fps：framepersecond，帧每秒)拍摄作为对象物的人并输出到图像输入部11。此外，照相机cm也可以不设置在生物体信息处理装置100的内部，例如也可以经由网络而与生物体信息处理装置100连接。网络是将无线网络或者有线网络作为接口进行连接的因特网或者内部网。无线网络例如是无线lan(localareanetwork，局域网)、无线wan(wideareanetwork，广域网)、3g、lte(longtermevolution，长期演进)或者wigig(wirelessgigabit，无线千兆比特)。有线网络例如是ieee802.3或者以太网(ethernet(注册商标))。

图像输入部11从照相机cm连续地输入(获取)利用照相机cm以规定的帧率拍摄人所得到的图像数据的帧，并11向肤色提取部12输出所述图像数据的帧。此外，在照相机cm和生物体信息处理装置100相独立地构成的情况下，图像输入部11连续地接收从照相机cm发送的图像数据的帧。

作为提取部的一例的肤色提取部12使用至少一个周期(周期已知)的帧数来提取由图像输入部11输入的图像数据的各帧内的规定范围(例如图10b所示的肤色区域fl1)的信号(例如像素值、亮度值)。在此，由肤色提取部12提取出的时间序列的信号例如是包含图10b所示的人脸的纸面下侧示出的噪声信号的原信号。肤色提取部12将提取出的规定范围的信号输出到各滤波部f1～f3。

滤波部f1、f2、f3是使用利用互不相同的滤波系数的带通滤波器构成的，除了滤波系数不同以外，各自的动作是共同的，因此例示滤波部f1的动作来进行说明。滤波部f1通过将从肤色提取部12输出的规定范围的信号(像素值)平均化，来去除例如照相机cm拍摄时所包含的噪声信号。

通过该平均化能够提取人的脉搏波，但很可能还包含身体的运动成分、噪声的残留成分，因此滤波部f1使用与滤波部f1对应的滤波系数将脉搏波的基本频率以外的频率成分滤除。滤波部f1的输出被输入到估计模块部m1。

例如以使30bpm～60bpm的信号通过滤波部f1的方式预先设定滤波部f1的滤波系数。此外，例如以使50bpm～90bpm的信号通过滤波部f2的方式预先设定滤波部f2的滤波系数。另外，例如以使70bpm～120bpm的信号通过滤波部f3的方式预先设定滤波部f3的滤波系数。

一般而言，安静时的成人的脉搏为60bpm～80bpm，但也考虑被检者(对象物、生物体信息处理对象)具有心动过缓或者心动过快的情况、运动、紧张时的影响，而将通过对象范围设定为30bpm～120bpm。另外，利用滤波部f1～f3将滤波的通过对象范围30bpm～120bpm分割为三个范围，由此滤波部f1～f3各自的输出信号接近正弦波(参照图10b所示的多频带滤波的各波形)。因此，能够提高使用各滤波部f1～f3的输出进行的脉搏波的估计精度。

估计模块部m1构成为包括波形检定部m1a和脉搏估计部m1b。以下，估计模块部m1、m2、m3的结构相同，因此例示估计模块部m1的动作进行说明。

作为检定部的一例的波形检定部m1a被输入滤波部f1的至少一个周期的输出信号，为了检测在滤波部f1中未能滤除的噪声信号的区间，判断所输入的至少一个周期的输出信号中是否存在满足规定条件(也就是说，满足数式(2)、数式(3))的信号(即噪声信号)的区间。波形检定部m1a将判断为满足规定条件的输出信号的区间作为无效(invalid)区间而排除(参照图14)。图14是表示各估计模块部m1、m2、m3内的波形检定部的动作例的说明图。

在图14中，例如示出了滤波部f1的至少一个周期的输出信号的振幅的时间序列的变化，p1、p2、p3、p4、p5、p6、p7例如是利用波形检定部m1a中包含的adc(analogdigitalconverter，模拟数字转换器)进行ad转换所得到的采样值。mpa(meanpeaktopeakamplitude，平均峰间振幅)表示各采样值p1～p7的峰间的振幅的平均值。ppa(peaktopeakamplitude，峰间振幅)表示各采样值p1～p7的峰间的振幅的最大值。

[式2]

ppa＞mpa×α，1.0＜α...(2)

[式3]

ppa＞mpa×β，0＜β＜1.0...(3)

其中，α是用于定义输出信号的振幅所允许的上限的系数，β是用于定义下限的系数。

根据数式(2)，波形检定部m1a能够排除滤波部f1的至少一个周期的输出信号的振幅与规定值(例如零)相比极端地大的信号。另外，根据数式(3)，波形检定部m1a能够排除滤波部f1的至少一个周期的输出信号的振幅与规定值(例如零)相比极端地小的信号。波形检定部m1a在判断为存在满足规定条件(即数式(2)、数式(3))信号的区间的情况下，将排除了相应的信号的区间后的至少一个周期的信号输出到脉搏估计部m1b和信赖度判定部15。

另一方面，波形检定部m1a在判断为不存在满足规定条件(即数式(2)、数式(3))的信号的区间的情况下，将滤波部f1的至少一个周期的输出信号按原样输出到脉搏估计部m1b和信赖度判定部15。波形检定部m1a的处理利用了人的脉搏的振幅在固定宽度中平缓地变化的见解，满足数式(2)、数式(3)的信号是干扰噪声的可能性高。此外，从其它的估计模块部m2、m3内的波形检定部(未图示)也向信赖度判定部15输入相同的输出信号。

作为估计部的一例的脉搏估计部m1b基于滤波部f1的至少一个周期的输出信号或者波形检定部m1a的至少一个周期的输出信号，按照数式(4)来计算人的脉搏值(pulserate，脉率)并输出到选择器16(参照图13)。图13是表示第二实施方式的生物体信息处理装置100的脉搏计算方法的一例的图。

[式4]

pulserate＝60/pwi...(4)

在此，参照图11和图12来说明以往的使用照相机的脉搏计算方法的问题。图11是表示以往的使用照相机的脉搏计算方法的一例的图。图12是图11所示的脉搏计算方法的问题的说明图。

在图11中，横轴表示时间，纵轴(未图示)表示由照相机拍摄到的图像的肤色区域的绿色的一个周期的信号wv0(即像素值)，例如在以8比特进行表示的情况下，示出0～255。另外，在图11和图12中，例如使用各采样值的差(即与前一个采样值的差)的计算结果，将从单调增加时的零点通过时间点起至下一个单调增加时的零点通过时间点为止的信号作为一个周期的信号wv0提取出来。

作为图11所示的脉搏数的计算例，在照相机的帧率为10fps、与一个周期的信号wv0对应的帧计数值(也就是说，为了获得一个周期的信号wv0而需要的图像数据的帧数)为9的情况下，脉搏数为10×60÷9≈67bpm。

在图12中，与图11同样地，横轴表示时间，纵轴(未图示)表示由照相机拍摄到的图像的肤色区域的绿色的一个周期的信号wv0(也就是说，像素值)，例如在以8比特进行表示的情况下，示出0～255。在此，在发生了从照相机传递的图像数据的帧的丢帧(也就是说，帧的获取侧的接收损失或者帧丢失)的情况下，与一个周期的信号wv0对应的帧计数值为8，计算出与本应计算出的脉搏数不同的脉搏数，产生误差。也就是说，当发生丢帧时，脉搏数为10×60÷8＝75bpm，与67bpm的差(8bpm)作为误差产生。

因此，包括本实施方式在内的各实施方式的生物体信息处理装置100、100a在脉搏估计部m1b中不使用与一个周期的信号wv0对应的帧计数值，而使用直到获得一个周期的信号wv0为止由图像输入部11输入的图像数据的帧的输入间隔(例如从照相机cm进行输入的输入间隔或者进行接收的接收间隔)的和，根据数式(4)来计算脉搏数。

在图13中，与图11同样地，横轴表示时间，纵轴(未图示)表示由肤色提取部12提取出的信号。换言之，图13所示的信号表示由照相机cm拍摄到的图像的肤色区域的绿色的一个周期的信号wv0(即像素值)，例如在以8比特进行表示的情况下，示出0～255。脉搏估计部m1b将为了获得一个周期的信号wv0所需的图像数据的帧的输入间隔t0、t1、t2、t3、t4、t5、t6、t7的和(＝0.01+0.01+0.02+0.01+0.01+0.01+0.01+0.01)用作上述的数式(4)所示的pwi(pulsewaveinterval，脉搏间隔)。

因而，在图13中发生了第三个帧的丢帧的情况下，为了获得一个周期的信号wv0所需的图像数据的帧数变为8。然而，脉搏估计部m1b使用包含从输入第二个帧起至输入下一个帧(图13所示的第四个帧)为止的输入间隔t2的、为了获得一个周期的信号wv0所需的图像数据的帧的输入间隔t0、t1、t2、t3、t4、t5、t6、t7的和。由此，脉搏估计部m1b能够与图11中未发生丢帧的情况同样地计算恰当的脉搏数(参照数式(4))。

作为判定部的一例的信赖度判定部15基于来自各个估计模块部m1、m2、m3的排除了满足规定条件(数式(3)、数式(4))的滤波部f1、f2、f3的输出信号的区间后的至少一个周期的输出信号或者不满足规定条件的滤波部f1、f2、f3的输出信号，来判定来自估计模块部的无效区间最少的至少一个周期的输出信号。换言之，滤波部f1、f2、f3的输出信号按原样地成为从各个估计模块部m1、m2、m3输出的信号。信赖度判定部15将判定结果(即与某一个估计模块部有关的信息)输出到选择器16。

信赖度判定部15例如在不存在无效区间的情况下赋予信赖度“100”来作为信赖度，根据满足数式(2)的无效区间的数量、满足数式(3)的无效区间的数量或者满足数式(2)和数式(3)这两方的无效区间的数量，按照规定的计算方法(例如使用无效区间的数量和作为判断无效区间的根据的数式(2)、数式(3)各式的规定的权重系数(已知)进行乘法运算并从“100”中减去乘法运算的结果的方法)来赋予信赖度。

作为输出部的一例的选择器16基于从信赖度判定部15输出的判定结果，选择来自估计模块部m1、m2、m3的输出(即、与估计模块部m1、m2、m3中分别估计出的脉搏数有关信息)中的与信赖度判定部15的判定结果对应的估计模块部的输出(与脉搏数有关的信息)并输出到脉搏输出部17。

例如，如图10b所示那样设为：在估计模块部m1中估计出的脉搏数为“70”且由信赖度判定部15判定出的信赖度为“60”，在估计模块部m2中估计出的脉搏数为“76”且由信赖度判定部15判定出的信赖度为“80”，在估计模块部m3中估计出的脉搏数为“78”且由信赖度判定部15判定出的信赖度为“70”。在该情况下，选择器16将获得最高的信赖度“80”的脉搏数“76”输出到脉搏输出部17。

作为输出部的一例的脉搏输出部17输出由选择器16选择出的与脉搏数有关的信息。例如在生物体信息处理装置100具有显示器(未图示)的情况下，脉搏输出部17将由选择器16选择出的与脉搏数有关的信息显示于显示器。另外，例如在生物体信息处理装置100具有扬声器(未图示)的情况下，脉搏输出部17将由选择器16选择出的与脉搏数有关的信息从扬声器输出。

接着，参照图15来说明本实施方式的生物体信息处理装置100的动作过程的一例。图15是说明第二实施方式的生物体信息处理装置100的动作过程的一例的流程图。

在图15中，图像输入部11从照相机cm连续地输入(获取)利用照相机cm以规定的帧率拍摄人所得到的图像数据的帧，并向肤色提取部12输出所述图像数据的帧(st11)。肤色提取部12使用至少一个周期(周期已知)的帧数来提取由图像输入部11输入的图像数据的各帧内的规定范围(例如图10b所示的肤色区域fl1)的信号(例如像素值、亮度值)(st12)。肤色提取部12将提取出的规定范围的信号输出到各滤波部f1～f3。

在步骤st13中，选择滤波部f1～f3的滤波系数(st13)。此外，如上述那样，例如以使30bpm～60bpm的信号通过滤波部f1的方式预先设定滤波部f1的滤波系数。例如以使50bpm～90bpm的信号通过滤波部f2的方式预先设定滤波部f2的滤波系数。同样地，例如以使70bpm～120bpm的信号通过滤波部f3的方式预先设定滤波部f3的滤波系数。在图15中，为了使说明易于理解，将从步骤st13到步骤st17的处理以时间序列的方式示出，但在生物体信息处理装置100中这些各处理是并列(并行)地进行的。

作为滤波处理的一例，滤波部f1通过将从肤色提取部12输出的规定范围的信号(像素值)平均化，来去除例如照相机cm拍摄时所包含的噪声信号(st14)。另外，作为滤波处理的其它例，滤波部f1使用与滤波部f1对应的滤波系数将脉搏波的基本频率以外的频率成分滤除(st14)。滤波部f1的输出被输入到估计模块部m1。

波形检定部m1a为了检测在滤波部f1中未能滤除的噪声信号的区间，基于滤波部f1的至少一个周期的输出信号来判断所输入的至少一个周期的输出信号中是否存在满足规定条件(即数式(2)、数式(3))的信号的区间，由此对波形进行检定(st15)。

波形检定部m1a将判断为满足规定条件的输出信号的区间作为无效(invalid)区间而排除，将排除了相应的信号的区间后的至少一个周期的信号输出到脉搏估计部m1b和信赖度判定部15。另一方面，波形检定部m1a在判断为不存在满足规定条件(即数式(2)、数式(3))的信号的区间的情况下，将滤波部f1的至少一个周期的输出信号按原样输出到脉搏估计部m1b和信赖度判定部15。

脉搏估计部m1b基于滤波部f1的至少一个周期的输出信号或者波形检定部m1a的至少一个周期的输出信号，按照数式(4)来计算人的脉搏值(pulserate，脉率)并输出到选择器16(st16)。

在步骤st17中，在滤波部f1～f3和估计模块部m1～m3中各自的处理未结束的情况下(st17，“否”)，在滤波部f1～f3和估计模块部m1～m3中，生物体信息处理装置100的动作均为待机状态，直到步骤st13～步骤st17的处理结束为止。

另一方面，在滤波部f1～f3和估计模块部m1～m3中各自的处理结束了的情况下(st17，“是”)，信赖度判定部15在st18中进行如下的处理。即，基于来自估计模块部m1、m2、m3的排除了满足规定条件的滤波部f1、f2、f3的输出信号的区间后的至少一个周期的输出信号或者不满足规定条件的滤波部f1、f2、f3的输出信号，来判定来自估计模块部的无效区间最少的至少一个周期的输出信号。规定条件例如是数式(3)、数式(4)。信赖度判定部15将判定结果(即、与某一个估计模块部有关的信息)输出到选择器16。

选择器16基于从信赖度判定部15输出的判定结果，选择来自估计模块部m1、m2、m3的输出(即、与估计模块部m1、m2、m3中估计出的脉搏数有关的信息)中的与信赖度判定部15的判定结果对应的估计模块部的输出(与脉搏数有关的信息)并输出到脉搏输出部17(st19)。脉搏输出部17输出由选择器16选择出的与脉搏数有关的信息(st19)。

根据以上说明，本实施方式的生物体信息处理装置100提取所输入的图像数据的规定范围(例如人的肤色区域fl1)的信号，使用不同的系数(例如滤波系数)在多个滤波部f1～f3中分别输出所提取出的规定范围的信号中的与不同系数对应的信号。生物体信息处理装置100在与滤波部f1～f3分别对应地设置的估计模块部m1～m3中，基于对应的滤波部的至少一个周期的输出信号以及与至少一个周期的输出信号对应的图像数据的帧的输入间隔，来估计人的脉搏值。而且，根据多个滤波部f1～f3的输出信号，从估计出的多个脉搏值中选择某一脉搏值来输出。

由此，生物体信息处理装置100即使在拍摄有用户的图像数据的帧发生了丢帧的情况下，也使用与通过图像数据所包含的用户的肤色区域的图像处理(例如使用规定的滤波系数的噪声除去处理)而获得的至少一个周期的信号对应的图像数据的多个帧的输入间隔以及血液吸收特定波长区域的光的性质来估计用户的脉搏数。因此，生物体信息处理装置100例如不使用接触式的专用的脉搏数测定器，而能够以非接触的方式高精度地估计用户的脉搏数。

另外，生物体信息处理装置100在与各滤波部对应的估计模块部中，将满足规定条件的滤波部的输出信号的区间作为无效区间而排除，基于排除了无效区间后的至少一个周期的输出信号以及与至少一个周期的输出信号对应的图像数据的帧的输入间隔来估计人的脉搏值。

由此，生物体信息处理装置100能够将满足规定条件的滤波部的输出信号的区间(例如振幅与规定值相比极端地大的信号、极端地小的信号的区间)作为无效区间而排除。因此，例如能够抑制干扰噪声的影响，能够使用与排除了无效区间后的至少一个周期的输出信号对应的图像数据的帧的输入间隔来高精度地估计人的脉搏值。

另外，生物体信息处理装置100基于排除了满足规定条件的各滤波部的输出信号的区间后的至少一个周期的输出信号，来判定无效区间最少的至少一个周期的输出信号，选择与判定出的该至少一个周期的输出信号对应地估计出的人的脉搏值。

由此，生物体信息处理装置100能够使用无效区间最少(换言之，受干扰噪声的影响最少)的至少一个周期的输出信号来选择人的脉搏值。

(第四实施方式)

图16是表示第四实施方式的生物体信息处理装置100a的内部结构的一例的框图。图17是一个周期的观测波形的峰偏离了采样位置的情况下的问题的说明图。在图16所示的生物体信息处理装置100a中，对与图10a所示的生物体信息处理装置100的各部相同的结构使用相同的标记来简化或省略说明，对不同的内容进行说明。

图16所示的生物体信息处理装置100a构成为包括照相机cm、图像输入部11、肤色提取部12、多个(例如三个)滤波部f1、f2、f3、多个(例如三个)估计模块部m1r、m2r、m3r、信赖度判定部15、选择器16以及脉搏输出部17。估计模块部m1r与滤波部f1相对应地设置，估计模块部m2r与滤波部f2相对应地设置，估计模块部m3r与滤波部f3相对应地设置。

估计模块部m1r构成为包括插值部m1c、波形检定部m1a以及脉搏估计部m1b。插值部m1c被输入滤波部f1的至少一个周期的输出信号，基于滤波部f1的至少一个周期的输出信号，对滤波部f1的至少一个周期的输出信号成为规定值(例如零)的位置(时刻)的差(时间差)进行插值(例如线性插值)，将插值后的至少一个周期的输出信号输出到波形检定部m1a和脉搏估计部m1b。在本实施方式中，在波形检定部m1a和脉搏估计部m1b中使用插值部m1c的输出。以下，估计模块部m1r、m2r、m3r的结构是相同的，因此例示估计模块部m1r的动作进行说明。

在此，参照图17来说明一个周期的观测波形的峰偏离了采样位置的情况下的问题。在图17中，横轴表示时间，纵轴(未图示)表示由肤色提取部12提取出的信号wv0。换言之，图17所示的信号表示由照相机cm拍摄到的图像的肤色区域fl1的绿色的一个周期的信号wv0(即像素值)，例如在以8比特进行表示的情况下，示出0～255。

在图17中，s1～s8例如是通过波形检定部m1a所包含的adc进行ad转换所得到的采样值，t1～t8是利用adc进行ad转换的采样时刻。准确地说，图17所示的信号wv0的一个周期是信号wv0的峰与下一个峰之间的时间(参照线段as1)，但当信号wv0的峰偏离了采样位置(采样时刻的采样值)时产生误差。具体地说，图17所示的信号wv0的一个周期是作为峰值的采样值s2的采样时刻t2与作为下一个峰值的采样值s7的采样时刻t7之间的时间(参照线段nt1)，因此产生同线段as1与线段nt1之差相应的误差，被输入到滤波部f1～f3的信号产生误差，因此人的脉搏的估计精度劣化。

因此，在本实施方式中，各个估计模块部m1r～m3r为了更准确地求出上述的数式(4)所示的pwi(脉搏间隔)，对被输入到各个估计模块部m1r～m3r的信号(即，各个滤波部f1～f3的输出信号)进行插值，由此导出一个周期的信号wv0(参照图18、图19、图20)。

(第一插值例)

图18是表示各估计模块部的插值部m1c的动作的第一例的说明图。在图18中，横轴表示时间，纵轴(未图示)表示由肤色提取部12提取出的信号wv1。换言之，图18所示的信号表示由照相机cm拍摄到的图像的肤色区域fl1的绿色的一个周期的信号wv1(即像素值)，例如在以8比特进行表示的情况下，示出0～255。

在图18所示的第一插值例中，插值部m1c例如对单调增加时或者单调减少时的信号wv1经过规定值(例如零)的横轴上的至少两个位置(时刻)的差(时间差)进行插值(即线性插值处理)，来估计至少一个周期的信号wv1。图18所示的线段as1及线段nt1与图17所示的线段as1及线段nt1相同，因此省略说明，在图19和图20中也同样。此外，在图18～图20的下部，对线段as1、nt1的长度与线段pr1、pr2或者pr3的长度进行了比较。

更具体地说，插值部m1c例如估计单调增加时的信号wv1经过零的位置与下一次单调增加时的信号wv1经过零时的位置的差(参照线段pr1)。为此，求出经过第一个单调增加时的信号wv1的至少两个位置(点a0(0，a0)和点a1(1，a1))的线段经过零的位置(线段pr1的左端)以及经过第二个单调增加时的信号wv1的至少两个位置(点b0(0，b0)和点b1(1，b1))的直线经过零的位置(线段pr1的右端)。a0、a1、b0、b1分别是信号wv1上的位置且是采样值。在图18中，使用单调增加时的信号wv1上的点进行了说明，但使用单调减少时的信号wv1上的点也同样。

通过插值部m1c的线性插值，利用数式(5)来表示点a0的横轴上的位置与线段pr1的左端之间的距离p0。同样地，通过插值部m1c的线性插值，利用数式(6)来表示点b0的横轴上的位置与线段pr1的右端之间的距离p1。由此，插值部m1c能够计算线段pr1的长度，与同线段as1之间的误差大的线段nt1相比，能够减少与线段as1之间的误差，因此能够提高脉搏数的估计精度。

[式5]

[式6]

(第二插值例)

图19是表示各估计模块部的插值部m1c的动作的第二例的说明图。在图19中，横轴表示时间，纵轴(未图示)表示由肤色提取部12提取出的信号wv1。换言之，图19所示的信号表示由照相机cm拍摄到的图像的肤色区域fl1的绿色的一个周期的信号wv1(即像素值)，例如在以8比特进行表示的情况下，示出0～255。

在图19所示的第二插值例中，插值部m1c例如求出经过获得最初的峰的单调增加时或者单调减少时的信号wv1上的两个点的直线与斜率同该直线的斜率相反且经过单调减少时或者单调增加时的信号wv1上的一个点的直线的交点。并且，插值部m1c同样地求出经过获得下一个峰的单调增加时或者单调减少时的信号wv1上的两个点的直线与斜率同该直线的斜率相反且经过单调减少时或者单调增加时的信号wv1上的一个点的直线的交点。插值部m1c使用这两个交点来进行插值(即、等角度直线拟合)，来估计至少一个周期的信号wv1。

更具体地说，插值部m1c例如求出经过单调增加时的信号wv1上的两个点(点a0(0，a0)和点a1(1，a1))的直线l0与斜率同该直线l0的斜率相反且经过单调减少时的信号wv1上的一个点(点a2(2，a2))的直线l1的交点。并且，插值部m1c例如同样地求出经过单调减少时的信号wv1上的两个点(点b1(1，b1)和点b2(2，b2))的直线n1与斜率同该直线n1的斜率相反且经过单调增加时的信号wv1上的一个点(点b0(0，b0))的直线n0的交点。a0、a1、a2、b0、b1、b2分别是信号wv1上的位置且是采样值。在图19中，使用单调增加时的信号wv1上的点对直线l0、n0进行了说明，使用单调减少时的信号wv1上的点对直线l1、n1进行了说明，但将单调增加时换成单调减少时也是同样的。

线段pr2表示直线l0与直线l1的交点的横轴上的位置同直线n0与直线n1的交点的在横轴上的位置的差。通过插值部m1c的等角度直线拟合，利用数式(7)来表示点a1的在横轴上的位置同直线l0与直线l1的交点的横轴上的位置之间的距离p0。同样地，通过插值部m1c的等角度直线拟合，利用数式(8)来表示直线n0与直线n1的交点的横轴上的位置同点b1的横轴上的位置之间的距离p1。由此，插值部m1c能够计算线段pr2的长度，与同线段as1之间的误差大的线段nt1相比，能够减少与线段as1之间的误差，因此能够提高脉搏数的估计精度。

[式7]

[式8]

(第三插值例)

图20是表示各估计模块部的插值部m1c的动作的第三例的说明图。在图20中，横轴表示时间，纵轴(未图示)表示由肤色提取部12提取出的信号wv1。换言之，图20所示的信号表示由照相机cm拍摄到的图像的肤色区域fl1的绿色的一个周期的信号wv1(即像素值)，例如在以8比特进行表示的情况下，示出0～255。

在图20所示的第三插值例中，插值部m1c使用经过获得最初的峰的信号wv1上的三个点的2次曲线的顶点以及经过获得下一个峰的信号wv1上的三个点的2次曲线的顶点进行插值(即、抛物线拟合)，来估计至少一个周期的信号wv1。

更具体地说，插值部m1c例如求出经过获得最初的峰的信号wv1上的三个点(点a0(0，a0)、点a1(1，a1)、点a2(2，a2))的2次曲线r0的顶点的横轴上的位置以及经过获得下一个峰的信号wv1上的三个点(点b0(0，b0)、点b1(1，b1)、点b2(2，b2))的2次曲线r1的顶点的横轴上的位置。a0、a1、a2、b0、b1、b2分别是信号wv1上的位置且是采样值。

线段pr3表示2次曲线r0的顶点的横轴上的位置与2次曲线r1的顶点的横轴上的位置的差。通过插值部m1c的抛物线拟合，利用数式(9)来表示点a1的横轴上的位置与2次曲线r0的顶点的横轴上的位置之间的距离p0。同样地，通过插值部m1c的等角度直线拟合，利用数式(10)来表示2次曲线r1的顶点的横轴上的位置与点b1的横轴上的位置之间的距离p1。由此，插值部m1c能够计算线段pr3的长度，与同线段as1之间的误差大的线段nt1相比，能够减少与线段as1之间的误差，因此能够提高脉搏数的估计精度。

[式9]

[式10]

图21是说明第四实施方式的生物体信息处理装置100a的动作过程的一例的流程图。在图21中，对与第三实施方式的生物体信息处理装置100的动作过程不同的内容进行说明，对相同的动作标注相同的步骤编号来简化或省略说明。

在图21中，在步骤st14之后，插值部m1c被输入滤波部f1的至少一个周期的输出信号，基于滤波部f1的至少一个周期的输出信号对滤波部f1的至少一个周期的输出信号成为规定值(例如零)的位置(时刻)的差(时间差)进行插值(例如线性插值)，将插值后的至少一个周期的输出信号输出到波形检定部m1a和脉搏估计部m1b(st20)。在波形检定部m1a和脉搏估计部m1b中，使用插值部m1c的输出。

例如，波形检定部m1a被输入来自插值部m1c的至少一个周期的输出信号，为了检测在滤波部f1中未能滤除的噪声信号的区间，判断所输入的至少一个周期的输出信号中是否存在满足规定条件(即数式(2)、数式(3))的信号(即噪声信号)的区间(st15)。另外，脉搏估计部m1b基于来自插值部m1c的至少一个周期的输出信号或者波形检定部m1a的至少一个周期的输出信号，按照数式(4)来计算人的脉搏值(pulserate，脉率)并输出到选择器16(st16)。步骤st15、步骤st16的处理的详细内容与第二实施方式相同，因此省略说明。步骤st16以后的处理与图15相同，因此省略说明。

根据以上说明，本实施方式的生物体信息处理装置100a基于与各估计模块部m1r、m2r、m3r对应的各滤波部f1、f2、f3的至少一个周期的输出信号，对滤波部f1、f2、f3的至少一个周期的输出信号成为规定值(例如零)的时间差进行插值，输出插值后的滤波部的至少一个周期的输出信号。

由此，生物体信息处理装置100a能够高精度地获得滤波部f1、f2、f3的至少一个周期的输出信号。因此，即使在一个周期的输出信号的峰偏离了采样位置的情况下，也能够使本应获得的准确的输出信号的峰间的时间差与实际获得的滤波部的输出信号的峰间的时间差之间的误差最小化。因此，能够估计更准确的人的脉搏值。

如以上那样，基于第三实施方式、第四实施方式的生物体信息处理装置具有输入拍摄人所得到的图像数据的图像输入部、提取部、多个滤波部、多个估计部以及输出部。提取部提取由上述图像输入部输入的图像数据的规定范围的信号。多个滤波部分别使用互不相同的系数，输出由提取部提取出的规定范围的信号中的与不同的系数对应的信号。多个估计部与多个滤波部分别相对应地设置，基于所对应的滤波部的一个周期的输出以及与该输出对应的图像数据的帧的输入间隔，来估计上述人的脉搏值。输出部根据多个滤波部的输出，从由多个估计部估计出的多个脉搏值中选择某一脉搏值来输出。

另外，基于本公开的生物体信息处理方法具有以下的步骤。输入拍摄人所得到的图像数据的步骤。提取所输入的图像数据的规定范围的信号的步骤。使用具有不同的系数的多个滤波部来输出所提取出的上述规定范围的信号中的、与不同的系数对应的各信号的步骤。基于各个滤波部的一个周期的输出以及与该输出对应的图像数据的帧的输入间隔来估计上述人的脉搏值的步骤。根据多个滤波部的输出从估计出的多个脉搏值中选择某一脉搏值来输出的步骤。

根据本公开，即使在发生了拍摄有用户的图像数据的帧的丢帧的情况下，通过进行获取到的图像数据中包含的用户的肤色区域的图像处理，也能够以非接触的方式高精度地估计用户的脉搏数。

各实施方式的生物体信息处理装置例如不使用接触式的专用的脉搏数测定器，而使用拍摄对象物(处理对象，例如人。也可以是其它的动物。以下相同。)所得到的图像数据以非接触的方式估计作为生物体信息的一例的人的脉搏数。

更具体地说，各实施方式的生物体信息处理装置被输入拍摄人所得到的图像数据的帧，提取所输入的图像数据的规定范围(例如肤色区域)的信号(像素值)，在各滤波部中使用不同的滤波系数输出所提取出的规定范围的信号中的与不同的系数对应的各信号。另外，生物体信息处理装置基于各滤波部的至少一个周期的输出信号以及与该输出信号对应的图像数据的帧的输入间隔，在与各滤波部对应的估计模块部中估计人的脉搏值，根据各滤波部的输出信号从在多个估计模块部中估计出的多个脉搏值中选择某一脉搏值来输出。

各实施方式的生物体信息处理装置例如是台式或者膝上型的pc(personalcomputer，个人计算机)、智能手机、移动电话机、平板终端、pda(personaldigitalassistant，个人数字助理)等数据通信终端，也可以具有用于拍摄作为对象物的一例的人的照相机功能。

以上，参照附图说明了各种实施方式，但本公开不限定于上述例子，这是不言而喻的。显而易见的是，本领域技术人员能够在权利要求所记载的范围内想到各种变形例或者修正例，应当理解，这些变形例或者修正例当然也属于本公开的技术范围内。

产业上的可利用性

本发明作为即使在周边环境发生了变化的情况下也能够随着周边环境的变化从多个被检者中实时且准确地探测可能存在异常的被检者或者成为需要注意的对象的被检者的脉搏数的生物体信息处理装置和生物体信息处理方法是有用的。

附图标记说明

1：图像输入部；2：被检者区域选择部；3：被检者生物体信息提取部；4、4a：异常探测部；5、5a：阈值保持更新部；6：异常通知输出部；7：监视器；10、10a、100、100a：生物体信息处理装置；11：图像输入部；12：肤色提取部；15：信赖度判定部；16：选择器；17：脉搏输出部；ap1、apk：异常通知获取装置；cm：照相机；f1、f2、f3：滤波部；fl1：肤色区域；m1、m2、m3、m1r、m2r、m3r：估计模块部；m1a：波形检定部；m1b：脉搏估计部；m1c：插值部。