呼吸状态估计装置、便携式设备、佩戴型仪器、程序、介质、呼吸状态估计方法以及呼吸状态估计器与流程

本发明涉及一种呼吸状态估计装置、便携式设备、佩戴型仪器、程序、介质、呼吸状态估计方法以及呼吸状态估计器。

背景技术：

在以往的呼吸状态估计装置中，存在使用心电图的装置和使用脉搏波的装置。在使用心电图的情况下，根据心电图来测定心跳间隔，并根据该心跳间隔的波动即心跳变动来估计呼吸状态。另外，在使用脉搏波的情况下，通过对脉搏波进行包络线解析来提取基线变动、并测定该基线变动图案，由此测定呼吸图案(例如参照专利文献1)。

专利文献1：日本特许第4581480号公报

技术实现要素：

发明要解决的问题

然而，在使用心电图的情况下，存在装置大型化、对受验者产生负担这样的问题。另外，在使用脉搏波的情况下，无法根据基线变动在短时间内估计呼吸状态。

用于解决问题的方案

在本发明的第一方式中，提供一种呼吸状态估计装置，具备：脉搏波信号获取部，其从生物体的部位获取脉搏波信号；脉搏数计算部，其基于脉搏波信号来计算生物体的脉搏数；以及呼吸状态估计部，其基于脉搏数来估计生物体的呼吸状态。

在本发明的第二方式中，提供一种便携式设备，具备：第一方式所记载的呼吸状态估计装置；以及显示器，其显示表示呼吸状态的信息。

在本发明的第三方式中，提供一种佩戴型仪器，具备：第一方式所记载的呼吸状态估计装置；以及显示器，其显示表示呼吸状态的信息。

在本发明的第四方式中，提供一种程序，其使计算机作为第一方式所记载的呼吸状态估计装置来发挥功能。

在本发明的第五方式中，提供一种计算机可读介质，其记录有第四方式所记载的程序。

在本发明的第六方式中，提供一种呼吸状态估计方法，包括以下步骤：从生物体的部位以光学方式获取脉搏波信号；基于脉搏波信号来计算生物体的脉搏数；以及基于脉搏数来估计生物体的呼吸状态。

在本发明的第七方式中，提供一种呼吸状态估计器，具备：影像获取部，其获取生物体的皮肤的影像；以及呼吸状态估计部，其基于影像来估计生物体的呼吸状态。

在本发明的第八方式中，提供一种呼吸状态估计装置，具备：脉搏波信号获取部，其从生物体的部位以光学方式获取脉搏波信号；脉搏波延迟时间计算部，其基于脉搏波信号来计算生物体的脉搏波延迟时间；以及呼吸状态估计部，其基于脉搏波延迟时间来估计生物体的呼吸状态。

此外，上述的发明的概要并没有列举出本发明的全部特征。另外，这些特征群的子组合也能够成为发明。

附图说明

图1示出呼吸状态估计装置100的结构的概要。

图2示出脉搏波信号获取部10的结构的概要。

图3示出脉搏波信号获取部10的信号处理的算法的一例。

图4示出窗口信号的截取方法的一例。

图5示出脉搏数计算部20的结构的一例。

图6示出脉搏数计算部20的信号处理的算法的一例。

图7示出汉宁窗函数的一例。

图8示出凯塞·贝塞尔衍生窗函数的一例。

图9示出比较例所涉及的呼吸状态估计方法的一例。

图10示出呼吸周期与脉搏数之间的相关性。

图11示出呼吸状态的估计方法的一例。

图12示出呼吸状态的估计方法的一例。

图13示出脉搏数变动与脉搏数变动速度之间的关系。

图14示出呼吸状态估计装置100的结构的一例。

图15示出脉搏波延迟时间计算部40的结构的一例。

图16示出脉搏波延迟时间计算部40的信号处理的算法的一例。

图17示出脉搏波延迟时间的计算方法的一例。

图18示出连续脉搏波延迟时间变动的一例。

图19示出呼吸状态的估计方法的一例。

图20示出实施方式1所涉及的呼吸状态估计装置100。

图21示出实施方式2所涉及的呼吸状态估计装置100。

图22示出使用了照明的固定重采样的一例。

图23示出计算机1900的硬件结构的一例。

具体实施方式

以下，通过发明的实施方式来对本发明进行说明，但是以下的实施方式并不是对权利要求书所涉及的发明进行限定。另外，实施方式中说明的特征的组合的全部未必均是发明的解决方案所必须的。

(实施例1)

图1示出呼吸状态估计装置100的结构的概要。呼吸状态估计装置100具备脉搏波信号获取部10、脉搏数计算部20以及呼吸状态估计部30。呼吸状态估计装置100基于从生物体1的部位获取到的脉搏波信号来估计呼吸状态。例如，呼吸状态是指吸气状态、呼气状态、无呼吸状态以及瞬时无呼吸状态。

脉搏波信号获取部10从生物体1的部位的影像获取脉搏波信号。脉搏波信号是包含脉搏波信息的影像的rgb信号或ycbcr信号。脉搏波信息是指与表示生物体1的部位中的血管的脉动的时间波形有关的信息。脉搏波信息包含与脉搏波示出峰值的时刻有关的信息。

例如，脉搏波信号获取部10从生物体1的部位的影像以光学方式获取脉搏波信号。在以光学方式获取脉搏波信号的方法中，存在使用摄像机影像的方法以及使用光电容积脉搏波(ppg：photoplethysmography)的方法。在使用摄像机影像的方法中，基于拍摄到生物体1的部位的影像中包含的血流信息来估计呼吸状态。另外，也可以基于影像的浓度变化来估计呼吸状态。在使用ppg的方法中，基于能够利用血红蛋白吸收光的性质来获取的血流量变化来估计呼吸状态。脉搏波信号获取部10将获取到的脉搏波信号输出到脉搏数计算部20。

脉搏数计算部20基于被输入的脉搏波信号来计算生物体1的脉搏数。通过使用规定的信号处理算法来计算生物体1的脉搏数。脉搏数计算部20可以以预先决定的间隔周期性地计算脉搏数。脉搏数计算部20将所计算出的脉搏数输出到呼吸状态估计部30。

呼吸状态估计部30基于被输入的脉搏数来估计生物体1的呼吸状态。例如，呼吸状态估计部30基于所计算出的脉搏数与下一次所计算出的脉搏数之间的比较来估计生物体1的呼吸状态。这样，呼吸状态估计部30将相邻的脉搏数进行比较来估计生物体1的呼吸状态，因此能够实时地估计生物体1的呼吸状态。另外，呼吸状态估计部30可以基于所计算出的脉搏数与下一次的下一次所计算出的脉搏数之间的比较来估计生物体1的呼吸状态。在该情况下，与根据基线信号估计呼吸状态的情况相比，呼吸状态估计部30不需要进行通过时间常数大的包络线检波来提取基线信号的处理，因此能够在短时间内估计呼吸状态。另外，呼吸状态估计部30可以根据脉搏数的变化来估计呼吸状态。例如，呼吸状态估计部30可以将脉搏数的变化量为预先决定的正的吸气估计阈值以上的情况估计为吸气状态、将脉搏数的变化量为预先决定的负的呼气估计阈值以下的情况估计为呼气状态、将脉搏数的变化量不为吸气估计阈值以上且不为呼气估计阈值以下的情况估计为瞬时无呼吸状态。这样，呼吸状态估计部30通过使用脉搏数的变化量，能够高精度地估计呼吸状态。也就是说，呼吸状态估计部30能够高精度地识别吸气状态、呼气状态、瞬时无呼吸状态。并且，呼吸状态估计部30只使用脉搏数的变化量就能够在短时间内估计呼吸状态。

图2示出脉搏波信号获取部10的结构的概要。脉搏波信号获取部10具备影像获取部11、跟踪信号生成部12、窗口截取部13以及信号校正部14。

影像获取部11获取生物体1的部位的影像。例如，影像获取部11具有摄像机，拍摄生物体1的部位的影像。生物体1的影像既可以是静止图像序列，也可以是运动图像。另外，影像获取部11也可以向生物体1照射光并获取其反射光。在该情况下，影像获取部11具有发光二极管以及光电二极管。

跟踪信号生成部12基于由影像获取部11获取到的影像来检测生物体1的测定对象区域。跟踪信号生成部12跟踪所检测出的区域中的脉搏波信号。跟踪信号生成部12将所生成的跟踪信号输出到窗口截取部13。

窗口截取部13以预先决定的窗口尺寸截取跟踪信号。在本说明书中，将截取出的跟踪信号称为窗口信号。另外，窗口尺寸是指窗口信号的时间宽度。窗口截取部13以预先决定的间隔截取窗口信号。窗口截取部13将截取出的窗口信号输出到信号校正部14。

信号校正部14对窗口信号进行校正。对窗口信号的校正包含信号的插值以及不需要频率的去除。例如，信号校正部14基于表示时间的基准信号来生成固定为预先决定的采样率的处理窗脉搏波。针对被截取出的每个窗口信号生成处理窗脉搏波。信号校正部14将校正后的信号作为处理窗脉搏波输出到脉搏数计算部20。

图3示出脉搏波信号获取部10的信号处理的算法的一例。脉搏波信号获取部10通过本例的算法来从摄像机影像中提取处理窗脉搏波。稳定地提取处理窗脉搏波是准确地估计呼吸状态所需要的基础技术。

在步骤s100中，影像获取部11获取生物体1的部位的影像。以1秒内大约30次(30fps)的帧频拍摄生物体1的部位的影像。例如，影像获取部11根据生物体1的部位的影像来观测皮肤血流。在生物体1的血液中，光的rgb成分中的g成分(绿色成分)的吸光特性与血红蛋白浓度相应地变化。脉搏波与血流量的变动对应，因此透过生物体1的光或在生物体1发生反射的光的g成分的变动的周期与生物体1的脉搏波的周期对应。即，生物体1的部位的影像中包含与脉搏波相应的g成分的变动波形。[0]之后，跟踪信号生成部12从所获取到的测定对象者影像中提取rgb信号。本例的测定对象者影像具有640×480的像素。

在步骤s101中，跟踪信号生成部12将所提取出的rgb信号变换为ycbcr信号。在此，y是亮度信号，cb、cr是色差信号。

在步骤s102中，跟踪信号生成部12根据亮度信号y检测脸部区域和对象区域roi。对象区域roi是基于亮度信号y确定的。对象区域roi是血管以能够检测出包含脉搏波信息的色差信号的变化的程度集中的区域。例如，作为生物体1的部位，跟踪信号生成部12检测毛细血管密集的鼻子区域，由此能够检测具有高的s/n比(信噪比)的处理窗脉搏波。

在步骤s103中，跟踪信号生成部12根据在步骤s102中检测出的对象区域roi的位置信息以及尺寸信息来提取对象区域roi。另外，跟踪信号生成部12获取所提取出的对象区域roi中的cb+cr信号。本例的对象区域roi是50×50像素的区域。

在步骤s104中，跟踪信号生成部12基于所获取到的cb+cr信号来对对象区域roi进行高斯滤波。在对象区域roi的周边伴随生物体1的运动而混入对象区域roi以外的区域的信号。通过高斯滤波，能够增大对象区域roi的中心部分的强度并抑制对象区域roi的周边部。也就是说，通过高斯滤波对可靠性低的对象区域roi的周边的信号进行滤波。

在步骤s105中，基于滤波后的信号来生成对任意时刻的值进行标记得到的cb+cr跟踪信号。通过采用cb+cr跟踪信号能够减少运算量并稳定地提取脉搏波波形。例如，cb+cr跟踪信号是在整个对象区域roi内对各像素的cb+cr信号进行合计所得到的值。或者，cb+cr跟踪信号是各像素的cb+cr信号的平均。即，设定为在对象区域roi中得出一个cb+cr跟踪信号的值。

在步骤s106中，窗口截取部13从cb+cr跟踪信号截取窗口信号。窗口信号是按预先决定的窗口尺寸和周期截取的。

在步骤s107中，信号校正部14通过样条插值将摄像机/帧的帧频波动校正为固定采样率。为了校正帧频的波动，使用影像中包含的基准信号。基准信号是表示影像获取部11获取到生物体1的影像的准确的时刻的信号。例如，基准信号是影像帧中包含的时间戳。

在步骤s108中，利用带通滤波器bpf将脉搏波成分以外的波长区域截止。cb+cr跟踪信号中有时包含与外部环境或生物体的运动对应的频率低的信号。因此，带通滤波器bpf将与一般的生物体1的脉搏数hr对应的0.75hz～4hz(脉搏数45～240)以外的波长区域截止。由此，能够将生物体1的脉搏以外的噪声截止。

图4示出窗口信号的截取方法的一例。窗口截取部13以使多个窗口信号以预先决定的时间间隔重叠的方式从cb+cr跟踪信号截取多个窗口信号。第一窗口信号是最近的窗口信号。将与第一窗口信号相邻的窗口信号分别设为第二窗口信号～第四窗口信号。在本说明书中，将相邻的窗口信号之间的偏移称为重叠偏移时间。

重叠偏移时间与脉搏数计算部20计算脉搏数的周期相等。即，脉搏数计算部20每隔重叠时间的偏移量计算脉搏数。本例的重叠偏移时间为彼此相等的时间。例如在呼吸周期为15秒的情况下，将重叠偏移时间设为1秒。重叠偏移时间优选小于呼吸的半个周期。

窗口尺寸可以设定为任意的大小。本例的窗口尺寸为大约200帧。但是，窗口尺寸优选为生物体1的脉搏周期以上。脉搏周期是1次脉搏所需要的时间。

图5示出脉搏数计算部20的结构的一例。脉搏数计算部20具备窗函数乘法部21、合并输出部22以及离散频率变换部23。

窗函数乘法部21对被输入的处理窗脉搏波乘以预先决定的窗函数。窗函数可以是汉宁窗、凯塞·贝塞尔衍生窗、高斯窗、汉明窗、图基窗(tukeywindow)、布莱克曼窗(blackmanwindow)等信号处理中一般使用的函数。窗函数乘法部21将乘以窗函数来进行处理所得到的处理窗脉搏波作为加窗处理脉搏波输出到合并输出部22。

合并输出部22生成将采样数据合并到所输入的加窗处理脉搏波而得到的合并窗口信号。可以在乘以窗函数后的窗口信号之前、乘以窗函数后的窗口信号之后或者乘以窗函数后的窗口信号之前和之后合并采样数据。例如，在合并输出部22进行加窗处理脉搏波的零扩展的情况下，采样数据为零。通过进行加窗处理脉搏波的零扩展，加窗处理脉搏波的分辨率提高。合并输出部22将所生成的合并窗口信号输出到离散频率变换部23。

离散频率变换部23对合并输出部22所输出的合并窗口信号进行离散频率变换，来计算脉搏波特征量。脉搏波特征量是通过对合并窗口信号执行高速傅立叶变换(fft：fastfouriertransform)而得到的fft频谱。离散频率变换部23能够根据基于高分辨率的合并窗口信号所得到的fft频谱来计算高分辨率的脉搏数。离散频率变换部23将所计算出的脉搏数输出到呼吸状态估计部30。

图6示出脉搏数计算部20的信号处理的算法的一例。被输入到脉搏数计算部20的处理窗脉搏波是通过脉搏波信号获取部10去除了不需要的成分后的可靠性高的脉搏波。脉搏数计算部20使用所截取出的处理窗脉搏波来实施步骤s201～203的处理以计算准确的脉搏数。

在步骤s201中，窗函数乘法部21使用汉宁窗函数或凯塞·贝塞尔衍生窗函数来对处理窗脉搏波执行加窗处理。由此，能够进行时间上的加权。另外，可以选择窗函数以使处理窗脉搏波的两端的脉冲强度相等。

在步骤s202中，合并输出部22将采样数据合并到加窗处理脉搏波的后面来生成合并窗口信号。例如，采样数据是与乘以窗函数后的处理窗脉搏波的两端的脉冲强度相等的数据。在该情况下，本例的采样数据为零。另外，合并窗口信号的尺寸被零扩展成为2的幂数的尺寸。通过进行零扩展，能够使分辨率与合并采样数据前相比有所提高。

在步骤s203中，离散频率变换部23对合并窗口信号执行fft，计算fft频谱。fft的频率分辨率δf通过采样数n和采样率fs而被决定为δf＝fs/n。因而，采样数n越多，则分辨率δf越得到改善。

例如在不对点数为128的窗口信号进行零扩展而直接进行基于fft的频率分析的情况下，频率分辨率为0.23hz。如果用脉搏数表示则为14bpm，因此不能检测脉搏数小于14bpm的变动。另一方面，当对相同的点数为128的窗口信号添加896个零信号而使采样数为1024时，频率分辨率为0.029hz。如果用脉搏数表示则为1.7bpm。零扩展后的采样数没有限制，但是优选为2的幂数，更优选为256、512、1024、2048、4096。

如以上所述，脉搏数计算部20根据30hz这种低采样率的处理窗脉搏波来计算合并窗口信号。因此，在以光学方式获取脉搏波信号的情况下，不对采样频率进行上采样就能够测定高分辨率的脉搏数变动。通过使用高分辨率的脉搏数，呼吸状态的估计精度得到提高。

图7示出汉宁窗函数。汉宁窗函数是fft用窗函数的一例。汉宁窗函数是帧的两端为零那样的窗函数。另外，通过下述的(数式1)公式来表示汉宁窗函数w(n)。

[数式1]

在此，n表示采样要素，n表示采样数。

汉宁窗函数是窗中心时间(帧数64附近)具有权重的函数。因此，以窗中心时间处的脉搏波为中心来测定脉搏数。例如在30hz的帧频下将窗口尺寸设为128采样数来基于fft进行脉搏数测定的情况下，如果使用汉宁窗则进行以大约4秒前的脉搏波为中心的脉搏数测定。即，有时由于从脉搏数测定时间到中心时间的时间差而产生响应时间。

图8示出凯塞·贝塞尔衍生窗函数kbd(kaiser-bessel-derivedwindow)的一例。kbd窗函数与汉宁窗函数同样，是帧的两端为零那样的窗函数。

通过凯塞窗wk的项，使用公式由下述的(数式2)公式来表示kbd窗函数dk。

[数式2]

(数式2)公式定义了长度为2n的窗。在此，dk满足针对改进离散余弦变换(mdct：modifieddiscretecosinetransform)的下面的princen/bradley条件。即，在wn-k＝wk的情况下，dk用dk²+dk+n²＝1表示。另外，kbd窗还满足另一个mdct条件、即对象性dk＝d2n-1-k。

关于kbd窗函数，帧数为40～90附近的权重大。另一方面，关于汉宁窗函数，加权集中在帧数为64附近的地方。由此，kbd窗函数与汉宁窗函数相比，针对接近最新的提取样本的脉搏波的权重更高。因此，kbd窗更易于反映接近最新的提取样本的脉搏波的值，因此能够提高呼吸状态估计的响应。

(比较例)

图9示出比较例所涉及的呼吸状态的估计方法的一例。图9的(a)示出脉搏波的随时间的变化。图9的(b)示出脉搏波的随时间的变化以及基线变动。图9的(a)示出将图9的(b)的一部分的脉搏波放大后的波形。在图9中，周期t表示脉搏波的周期，周期t表示基线变动的周期。在比较例的呼吸状态估计方法中，利用基线变动的周期t与呼吸周期对应来估计呼吸状态。

例如，脉搏波的周期t为大约1秒左右，与此相对，基线变动的周期t为大约15秒左右。另外，在比较例的呼吸状态估计方法中，与基线变动的图案相应地估计呼吸状态。因此，比较例的呼吸状态估计方法在15秒左右内只能估计1次呼吸状态。这样，在比较例的方法中，无法实时地估计呼吸状态，从而无法进行平滑的呼吸状态的估计。

另外，基线变动被估计为是在没有受验者的身体运动等干扰的情况下进行呼吸所产生的变动。另外，基线变动的周期t具有与脉搏波的周期t的频率相比更接近以光学方式获取生物体1的图像的情况下产生的噪声的频率。因而，在比较例的呼吸状态估计方法中，因受验者运动引起的误差以及获取影像时产生的误差的影响变大，从而无法准确地估计呼吸状态。

图10示出呼吸周期与脉搏数之间的关系。本例的受验者除了处于通常状态、憋气状态以外，还使呼吸周期按3bpm、6bpm以及12bpm这3个等级变化。

呼吸状态估计部30根据脉搏数计算部20输出的脉搏数来计算高分辨率的连续脉搏数变动。通过与对脉搏数的周期性的测定相应地进行标记来跟踪连续脉搏数变动。然后，呼吸状态估计部30根据连续脉搏数变动来估计呼吸状态。

通常状态是生物体1如平常那样重复进行吸气和呼气的状态。生物体1的吸气和呼气与脉搏数的变动连动。具体地说，当生物体1进行吸气时脉搏数上升，当生物体1进行呼气时脉搏数下降。由此，通过观测脉搏数的上升和下降，能够实时地检测呼吸状态。

憋气状态是不进行吸气和呼气的状态，或者是与几乎没有进行吸气和呼气同等的状态。也就是说，憋气状态与所谓的无呼吸状态相对应。与通常状态的区间相比，在憋气状态下脉搏数的变动小。

呼吸周期3bpm是指在1分钟内吸气和呼气各重复进行3次。在本例中，吸气和呼气彼此相等，分别为10秒。同样地，呼吸周期6bpm是指在1分钟内吸气和呼气各重复进行6次。在呼吸周期为6bpm时，吸气和呼气分别为5秒。呼吸周期12bpm是指在1分钟内吸气和呼气各重复进行12次。在呼吸周期为12bpm时，吸气和呼气分别为2.5秒。

当分别比较呼吸周期为3bpm、6bpm以及12bpm时的脉搏数时，可知脉搏数的变动周期与呼吸周期一致。即，能够通过测定脉搏数的变动周期来计算呼吸周期。

如以上所述，脉搏数的变化与呼吸状态具有相关性。即，呼吸状态估计装置100通过对脉搏数的变化进行解析，能够实时地检测呼吸的周期和呼吸状态。

图11示出呼吸状态的估计方法的一例。纵轴表示脉搏数，横轴表示时间。本例的呼吸状态估计部30根据连续的3点处的脉搏数的测定结果来估计呼吸状态。呼吸状态估计部30实现基于高分辨率连续脉搏数的平滑的呼吸状态的估计。

时刻tc、tc-1、tc-2分别表示脉搏数的测定时间。将当前时刻设为时刻tc，将过去的时刻设为时刻tc-1，将更靠过去的时刻设为tc-2。另外，将时刻tc、tc-1、tc-2处的脉搏数分别设为prc、pr(c-1)、pr(c-2)。在此，优选的是，从时刻tc-2至时刻tc为止的期间比生物体1的呼吸周期小。

在脉搏数连续上升的情况下，呼吸状态估计部30估计为生物体1处于吸气状态。例如，在prc-pr(c-1)≥0且pr(c-1)-pr(c-2)≥0且prc-pr(c-2)≥tr的情况下，估计为是吸气状态。此外，tr是指吸气估计阈值。本例的吸气估计阈值tr是5bpm。即，在从时刻tc-2至时刻tc为止的期间内脉搏数始终不减少且脉搏数增加了5bpm以上的情况下，估计为是吸气状态。

另一方面，在脉搏数连续减少的情况下，呼吸状态估计部30估计为生物体1处于呼气状态。例如，在prc-pr(c-1)≤0且pr(c-1)-pr(c-2)≤0且prc-pr(c-2)≤-tr的情况下，估计为是呼气状态。在本例中，将-tr用作呼气估计阈值。然而，作为呼气估计阈值，也可以使用与吸气估计阈值不同的值。如以上所述，在从时刻tc-2至时刻tc为止的期间内脉搏数始终不增加且脉搏数降低了5bpm以上的情况下，估计为是呼气状态。

另外，在不符合吸气状态和呼气状态的情况下，呼吸状态估计部30估计为生物体1处于瞬时无呼吸状态。另外，呼吸状态估计部30也可以在脉搏数的变化量不为吸气估计阈值以上且不为负的呼气估计阈值以下时，估计为是瞬时无呼吸状态。而且，在瞬时无呼吸状态的连续时间变为无呼吸估计阈值ta以上的情况下，呼吸状态估计部30估计为生物体1处于无呼吸状态。例如，无呼吸估计阈值ta可以是5秒。

图12示出呼吸状态的估计方法的一例。纵轴表示脉搏数，横轴表示时间。本例的呼吸状态估计部30根据连续的4点处的脉搏数的测定结果来估计呼吸状态。

时刻tc、tc-1、tc-2、tc-3分别表示脉搏数的测定时间。将当前时刻设为时刻tc，按距当前时刻近至远的顺序将过去的时刻分别设为时刻tc-1、tc-2、tc-3。另外，将时刻tc、tc-1、tc-2、tc-3处的脉搏数分别设为prc、pr(c-1)、pr(c-2)、pr(c-3)。此外，优选的是，从时刻tc-3至时刻tc为止的期间比生物体1的呼吸周期小。

在脉搏数为连续上升变动的情况下，呼吸状态估计部30估计为生物体1处于吸气状态。上升变动是指脉搏数大致处于上升的倾向的变动。例如，在三个相邻两点之间的脉搏数变动(prc-pr(c-1)、pr(c-1)-pr(c-2)、pr(c-2)-pr(c-3))中的两个以上的相邻两点之间的脉搏数变动不为负的情况下，呼吸状态估计部30估计为吸气状态。

另一方面，在脉搏数为连续下降变动的情况下，呼吸状态估计部30估计为生物体1处于呼气状态。下降变动是指脉搏数大致处于减少倾向的变动。例如，在三个相邻两点之间的脉搏数变动(prc-pr(c-1)、pr(c-1)-pr(c-2)、pr(c-2)-pr(c-3))中的两个以上的相邻两点之间的脉搏数变动不为正的情况下，呼吸状态估计部30估计为呼气状态。

另外，在不符合吸气状态和呼气状态的情况下，呼吸状态估计部30估计为生物体1处于瞬时无呼吸状态。另外，呼吸状态估计部30也可以是在脉搏数的变化量不为吸气估计阈值以上且不为负的呼气估计阈值以下时，估计为是瞬时无呼吸状态。而且，在瞬时无呼吸状态的连续时间变为无呼吸估计阈值ta以上的情况下，呼吸状态估计部30估计为生物体1处于无呼吸状态。例如，无呼吸估计阈值ta可以是5。

图13示出脉搏数变动与脉搏数变动速度之间的关系。图13的(a)的纵轴表示脉搏数(bpm)，横轴表示时间(秒)。图13的(b)的纵轴表示脉搏数变动速度(bpm)，横轴表示时间(秒)。

本例的受验者与图10所示的情况同样，除了处于通常状态、憋气状态以外，还使呼吸周期按3bpm、6bpm以及12bpm这3个等级变化。如图13所示，脉搏数变动的周期与脉搏数变动速度的周期一致。即，脉搏数变动速度与脉搏数同样地，与呼吸状态具有相关性。因而，呼吸状态估计装置100通过计算脉搏数和脉搏数变动速度中的至少一个，能够估计出生物体1的呼吸状态。

(实施例2)

实施例1所涉及的呼吸状态估计装置100根据基于fft的脉搏数变动来估计呼吸状态。另一方面，实施例2所涉及的呼吸状态估计装置100代替使用脉搏数变动而使用脉搏波延迟时间变动来估计呼吸状态。脉搏波延迟时间是指处理窗脉搏波的自相关的延迟时间。

图14示出呼吸状态估计装置100的结构的一例。实施例2所涉及的呼吸状态估计装置100与实施例1所涉及的呼吸状态估计装置100的不同之处在于，实施例2所涉及的呼吸状态估计装置100具备脉搏波延迟时间计算部40来代替脉搏数计算部20。

脉搏波延迟时间计算部40基于脉搏波信号获取部10获取到的脉搏波跟踪信号来计算生物体1的脉搏波延迟时间。脉搏波延迟时间计算部40将所计算出的脉搏波延迟时间输出到呼吸状态估计部30。

呼吸状态估计部30根据被输入的脉搏波延迟时间来计算高分辨率的连续脉搏波延迟时间变动。通过对周期性地测定出的脉搏波延迟时间进行标记，来跟踪连续脉搏波延迟时间变动。呼吸状态估计部30基于连续脉搏波延迟时间变动来估计生物体1的呼吸状态。

图15示出脉搏波延迟时间计算部40的结构的一例。脉搏波延迟时间计算部40具备偏置变动去除部41、自相关计算部42以及延迟时间计算部43。

偏置变动去除部41用于从被输入的处理窗脉搏波中去除偏置变动成分。去除偏置变动成分的方法可以是对处理窗脉搏波进行一阶微分。另外，偏置变动去除部41可以具备高通滤波器。此外，脉搏波延迟时间计算部40在偏置稳定的状态下被输入处理窗脉搏波的情况下，不需要具备偏置变动去除部41。偏置变动去除部41将去除了偏置变动成分后的处理窗脉搏波作为加窗处理脉搏波输出到自相关计算部42。

自相关计算部42计算被输入的加窗处理脉搏波的自相关系数。自相关计算部42将所计算出的自相关系数输出到延迟时间计算部。

延迟时间计算部43基于自相关计算部42所输出的加窗处理脉搏波的自相关系数来输出脉搏波延迟时间。脉搏波延迟时间是从自身的自相关系数峰值起至相邻的自相关系数峰值为止的时间。

图16示出脉搏波延迟时间计算部40的信号处理的算法的一例。被输入到脉搏波延迟时间计算部40的处理窗脉搏波是通过脉搏波信号获取部10去除了不需要的成分后的可靠性高的脉搏波。脉搏波延迟时间计算部40使用所截取出的处理窗脉搏波来执行步骤s301～步骤s303以计算准确的脉搏波延迟时间。

图17示出脉搏波延迟时间的计算方法的一例。图17的(a)示出脉搏波跟踪强度。图17的(b)示出脉搏波跟踪速度。图17的(c)示出自相关系数的随时间的变化。图17的(a)～图17的(c)的横轴都是采样率为30hz的情况下的采样数。

在步骤s301中，偏置变动去除部41针对处理窗脉搏波执行一阶微分处理。由此，得到去除了偏置变动后的加窗处理脉搏波。例如，图17的(a)所示的脉搏波跟踪强度的曲线通过被进行一阶微分而成为图17的(b)所示的脉搏波跟踪速度的曲线。此外，偏置变动去除部41可以通过从处理窗脉搏波中去掉所生成的偏置变动近似成分来去除偏置的变动。在去掉偏置变动近似成分时，可以使用对频率比脉搏周期的频率低的偏置变动成分进行近似所得到的曲线。

在步骤s302中，自相关计算部42计算加窗处理脉搏波的自相关系数。例如，图17的(c)是计算出图17的(b)所示的脉搏波跟踪速度的自相关系数的例子。在计算自相关系数时，可以使用一般的信号处理技术中使用的自相关函数。自相关计算部42能够通过计算自相关系数来计算与自身的自相关系数峰值相邻的自相关系数峰值。

在步骤s303中，延迟时间计算部43通过计算自身的自相关峰值与相邻的自相关峰值之间的时间差，来计算脉搏波延迟时间。所计算的脉搏波延迟时间的分辨率由加窗处理脉搏波的采样频率来决定。由此，可以通过对处理窗脉搏波、加窗处理脉搏波进行上采样来提高脉搏波延迟时间的分辨率。例如，上采样中使用样条插值。

图18示出连续脉搏波延迟时间变动的一例。纵轴表示脉搏波延迟时间(1/30秒)，横轴表示时间(秒)。本例的受验者除了处于通常状态、憋气状态以外，还使呼吸周期按3bpm、6bpm以及12bpm这3个等级变化。

连续脉搏波延迟时间变动与生物体1的吸气和呼气连动。但是，连续脉搏波延迟时间变动同呼吸周期之间的关系与图10所示的脉搏数变动同呼吸周期之间的关系上下相反。具体地说，当生物体1进行吸气时脉搏波延迟时间下降，当生物体1进行呼气时脉搏波延迟时间上升。由此，通过观测脉搏波延迟时间的上升和下降，能够实时地估计生物体1的呼吸状态。

图19示出呼吸状态的估计方法的一例。纵轴表示脉搏波延迟时间，横轴表示时间。本例的呼吸状态估计部30根据连续的3点处的脉搏波延迟时间的测定结果来估计呼吸状态。呼吸状态估计部30实现基于高分辨率的连续脉搏波延迟时间的平滑的呼吸状态的估计。

时刻tc、tc-1、tc-2分别表示脉搏波延迟时间的测定时间。将当前时刻设为时刻tc，将过去的时刻设为时刻tc-1，将更靠过去的时刻设为tc-2。另外，将时刻tc、tc-1、tc-2处的脉搏波延迟时间分别设为plc、pl(c-1)、pl(c-2)。在此，优选的是，从时刻tc-2至时刻tc为止的期间比生物体1的呼吸周期小。

在脉搏波延迟时间连续上升的情况下，呼吸状态估计部30估计为生物体1处于呼气状态。例如在plc-pl(c-1)≥0且pl(c-1)-pl(c-2)≥0且plc-pl(c-2)≥tr的情况下，估计为是呼气状态。此外，tr是指呼气估计阈值。即，在从时刻tc-2至时刻tc为止的期间内脉搏波延迟时间始终不减少且脉搏波延迟时间增加了呼气估计阈值tr以上的情况下，估计为是呼气状态。

另一方面，在脉搏波延迟时间连续减少的情况下，呼吸状态估计部30估计为生物体1处于吸气状态。例如，在plc-pl(c-1)≤0且pl(c-1)-pl(c-2)≤0且plc-pl(c-2)≤-tr的情况下，估计为是吸气状态。在本例中，将-tr用作吸气估计阈值。然而，作为吸气估计阈值，也可以使用与吸气估计阈值不同的值。如以上所述，在从时刻tc-2至时刻tc为止的期间内脉搏波延迟时间始终不增加且脉搏波延迟时间下降了呼气估计阈值tr以上的情况下，估计为是吸气状态。

另外，在不符合吸气状态和呼气状态的情况下，呼吸状态估计部30估计为生物体1处于瞬时无呼吸状态。另外，呼吸状态估计部30也可以在脉搏波延迟时间的变化量不为吸气估计阈值以下且不为正的呼气估计阈值以上时，估计为是瞬时无呼吸状态。而且，在瞬时无呼吸状态的连续时间变为无呼吸估计阈值ta以上的情况下，呼吸状态估计部30估计为生物体1处于无呼吸状态。例如，无呼吸估计阈值ta可以是5秒。

如以上所述，呼吸状态估计装置100通过使用脉搏波延迟时间，能够实时地估计生物体1的呼吸状态。另外，呼吸状态估计装置100也可以通过同时利用基于脉搏数对呼吸状态的估计以及基于脉搏波延迟时间对呼吸状态的估计来提高呼吸状态的估计精度。

(实施方式1)

图20示出实施方式1所涉及的呼吸状态估计装置100。本例的呼吸状态估计装置100被搭载在智能手机4。智能手机4具备摄像机5以及显示器6。智能手机4是便携式设备的一例，也可以搭载便携式电话、触摸面板等呼吸状态估计装置100。

摄像机5以光学方式获取受验者2的影像。摄像机5是影像获取部11的一例。本例的摄像机5获取包含受验者2的单个部位的影像。本例的受验者2的单个部位是鼻子3。另外，摄像机5可以检测受验者2的单个部位的运动来跟踪拍摄该部位。例如，在受验者2的单个部位向摄像机的摄像区域外移动的情况下，摄像机5控制摄像机5的平遥、俯仰、变焦等来进行追踪以使单个部位处于摄像机5的摄像区域内。

显示器6显示由呼吸状态估计装置100估计出的受验者2的呼吸状态。显示器6也可以设置在智能手机4的外部。受验者2能够通过实感来获知实时显示于显示器6的呼吸状态。

本例的呼吸状态估计装置100使用了受验者2的鼻子3的影像，但是也可以使用受验者2的指尖的影像。例如，呼吸状态估计装置100使用设置在智能手机4的背面的光学式指纹传感器来获取指尖的影像。另外，受验者2的单个部位不限于鼻子3和指尖。鼻子3和指尖由于毛细血管集中，因此血红蛋白浓度变高。因此，当使用鼻子3的影像和指尖的影像时，脉搏波信息的提取灵敏度和脉搏信息的计算精度变高。并且，也可以使用佩戴于指尖的单个光电容积脉搏波计来提取脉搏波信息。

这样，本例的呼吸状态估计装置100以光学方式提取脉搏波信息来输出呼吸状态，因此对受验者2的负担小。并且，本例的呼吸状态估计装置100是从影像中提取脉搏波信息的结构，因此能够不与受验者2接触且无约束地估计呼吸状态。此外，如果在受验者2的影像内存在多个人，则呼吸状态估计装置100能够同时估计多个人的呼吸状态。

(实施方式2)

图21示出实施方式2所涉及的呼吸状态估计装置100。本例的呼吸状态估计装置100被安装在腕带型ppg传感器7内。另外，呼吸状态估计装置100的一部分可以安装在能够与腕带型ppg传感器7进行通信的智能手机4内。

腕带型ppg传感器7是利用了光电容积脉搏波传感器的佩戴型仪器的一例。腕带型ppg传感器7具备发光二极管8以及光电二极管9。发光二极管8向受验者2的腕部位照射光。光电二极管9检测被受验者2的血红蛋白吸收后的光。由此，腕带型ppg传感器7以光学方式获取包含与受验者2的血流量变化有关的信息的脉搏波信号。

腕带型ppg传感器7将受验者2的影像或所估计出的呼吸信息通过无线发送到智能手机4。无线使用bluetooth(注册商标)以及wi-fi(注册商标)等无线网络。智能手机4在从腕带型ppg传感器7被输入了呼吸信息的情况下，将呼吸信息显示于显示器6。另外，智能手机4在从腕带型ppg传感器7被发送了受验者2的影像的情况下，可以基于该影像来估计呼吸信息。此外，在腕带型ppg传感器7具备显示器6和呼吸状态估计装置100的情况下，也可以将呼吸信息显示于腕带型ppg传感器7所具备的显示器6。

图22示出使用了照明的固定重采样的一例。在图22中，○符号表示固定采样率，×符号表示影像采样率。

固定采样率是指呼吸状态估计装置100获取影像的理想的频率。例如，呼吸状态估计装置100以30hz的固定采样率获取影像。

影像采样率是指呼吸状态估计装置100进行获取的实际的采样率。例如在呼吸状态估计装置100搭载于智能手机4等便携式终端的情况下，影像采样率产生波动。因此，在影像采样率与固定采样率之间产生偏移。另外，当影像采样率产生波动时，变得不清楚所获取到的脉搏数的准确的时间，从而呼吸信息的估计精度变差。

另一方面，由交流电源驱动的照明所发出的光不被人的眼睛所察觉，但是以固定的亮度频率准确地进行动作。另外，在呼吸状态估计装置100获取到的影像中包含计算照明的相位所需的信息。能够根据预先决定的区域的照明的反射光的强度来计算照明的相位。预先决定的区域可以是影像中所包含的物体的一部分的区域。优选的是，预先决定的区域不移动。另外，呼吸状态估计装置100也可以不对照明的反射光进行拍摄，而直接对照明的光进行拍摄。例如，呼吸状态估计装置100事先计算预先决定的区域的反射光的最大强度和最小强度。由此，呼吸状态估计装置100能够通过测定预先决定的区域的反射光的强度，来根据影像计算照明的相位。即，在与影像采样率设为目标的相位之间产生了偏移的情况下，能够基于照明的相位来校正该影像的相位。这样，呼吸状态估计装置100能够通过以照明的亮度频率校正影像采样率的波动来提高呼吸信息的估计精度。换言之，呼吸状态估计装置100能够将反映于图像中的照明作为基准时钟使用。

如以上所述，呼吸状态估计装置100能够以光学方式高精度地估计生物体1的呼吸状态。呼吸状态估计装置100从生物体1的部位以光学方式计算脉搏数，因此不对生物体1产生负担就能够估计呼吸状态。另一方面，当从生物体1的部位以光学方式计算脉搏数时，由于生物体1的运动等而容易包含低频的噪声。然而，呼吸状态估计装置100使用频率比利用基线变动的呼吸状态的估计方法的频率高的区域，因此易于去除噪声。

另外，呼吸状态估计装置100每隔窗口信号的重叠时间的偏移量计算脉搏数，因此能够在任意的时间检测脉搏数。也就是说，即使在不清楚下一个脉冲是否到来的状态下也能够估计呼吸状态。呼吸状态估计装置100能够不依赖于脉搏数而实时地估计呼吸状态。即，呼吸状态估计装置100能够实现平滑的呼吸的检测。呼吸状态的实时测定能够应用于实时地引导生物体1的呼吸法的应用程序中。

图23示出本实施方式所涉及的计算机1900的硬件结构的一例。本实施方式所涉及的计算机1900具备：cpu周边部，其具有通过主控制器2082而相互连接的cpu2000、ram2020、图形控制器2075以及显示装置2080；输入输出部，其具有通过输入输出控制器2084而与主控制器2082连接的通信接口2030、硬盘驱动器2040以及cd-rom驱动器2060；以及传统输入输出部，其具有与输入输出控制器2084连接的rom2010、软盘驱动器2050及输入输出芯片2070。

主控制器2082将ram2020、以高传送速率访问ram2020的cpu2000以及图形控制器2075连接。cpu2000基于rom2010和ram2020中保存的程序进行动作，对各部进行控制。图形控制器2075获取cpu2000等在设置于ram2020内的帧缓冲器上生成的图像数据，使该图像数据显示在显示装置2080上。图形控制器2075也可以取代上述方式而在内部包含用于保存由cpu2000等生成的图像数据的帧缓冲器。

输入输出控制器2084将主控制器2082、作为比较高速的输入输出装置的通信接口2030、硬盘驱动器2040、以及cd-rom驱动器2060连接。通信接口2030经由网络而与其它装置之间进行通信。硬盘驱动器2040保存计算机1900内的cpu2000所使用的程序和数据。cd-rom驱动器2060从cd-rom2095读取程序或数据，并经由ram2020将该程序或数据提供给硬盘驱动器2040。

另外，输入输出控制器2084上连接有rom2010、以及软盘驱动器2050和输入输出芯片2070这种比较低速的输入输出装置。rom2010保存计算机1900在启动时所执行的引导程序和/或依赖于计算机1900的硬件的程序等。软盘驱动器2050从软盘2090读取程序或数据，并经由ram2020将该程序或数据提供给硬盘驱动器2040。输入输出芯片2070将软盘驱动器2050与输入输出控制器2084相连接，并且例如经由并口、串口、键盘口、鼠标口等将各种输入输出装置与输入输出控制器2084相连接。

要经由ram2020而提供给硬盘驱动器2040的程序被保存到软盘2090、cd-rom2095或ic卡等记录介质，由使用者来提供。程序从记录介质被读出，经由ram2020而被安装到计算机1900内的硬盘驱动器2040，并在cpu2000中被执行。

在计算机1900中被安装且使计算机1900作为呼吸状态估计装置发挥功能的程序具备脉搏波信号获取块、脉搏数计算块、呼吸状态估计块。这些程序或块各自对cpu2000等产生作用来使计算机1900作为呼吸状态估计装置发挥功能。

这些程序中描述的信息处理通过被读入到计算机1900，来作为软件与上述的各种硬件资源相协作的具体手段即脉搏波信号获取部10、脉搏数计算部20以及呼吸状态估计部30而发挥功能。而且，通过这些具体手段，来实现与本实施方式中的计算机1900的使用目的相应的信息的运算或加工，由此构建与使用目的相应的特有的呼吸状态估计装置100。

另外，在计算机1900中被安装且使计算机1900作为脉搏波测定装置发挥功能的程序具备脉搏波信号获取块、脉搏数计算块、呼吸状态估计块。这些程序或块各自对cpu2000等产生作用来使计算机1900作为脉搏波测定装置发挥功能。

并且，这些程序中描述的信息处理通过被读入到计算机1900，来作为软件与上述的各种硬件资源相协作的具体手段即脉搏波信号获取部10、脉搏波延迟时间计算部40以及呼吸状态估计部30而发挥功能。而且，通过这些具体手段，来实现与本实施方式中的计算机1900的使用目的相应的信息的运算或加工，由此构建与使用目的相应的特有的呼吸状态估计装置100。

另外，在计算机1900中被安装且使计算机1900作为脉搏波测定装置发挥功能的程序具备脉搏波信号获取块、脉搏波延迟时间计算块、呼吸状态估计块。这些程序或块各自对cpu2000等产生作用来使计算机1900作为脉搏波测定装置发挥功能。

作为一例，在计算机1900与外部的装置等之间进行通信的情况下，cpu2000执行被下载到ram2020上的通信程序，基于通信程序中描述的处理内容来对通信接口2030指示通信处理。通信接口2030受到cpu2000的控制，来读出在设置于ram2020、硬盘驱动器2040、软盘2090或cd-rom2095等存储装置上的发送缓存区域等中存储的发送数据后发送至网络，或者将从网络接收到的接收数据写入到设置于存储装置上的接收缓存区域等。这样，通信接口2030既可以通过dma(直接存储器存取)方式来与存储装置之间传送发送接收数据，也可以代替该方式，通过由cpu2000从传送源的存储装置或通信接口2030读出数据、并将数据写入到传送目的地的通信接口2030或存储装置来传送发送接收数据。

另外，cpu2000从硬盘驱动器2040、cd-rom驱动器2060(cd-rom2095)、软盘驱动器2050(软盘2090)等外部存储装置中保存的文件或数据库等中将全部或所需部分通过dma传送等读入到ram2020，并对ram2020上的数据进行各种处理。然后，cpu2000将结束了处理的数据通过dma传送等写回到外部存储装置。在这种处理中，ram2020可以被视作暂时保持外部存储装置的内容的存储装置，因此在本实施方式中将ram2020和外部存储装置等总称为存储器、存储部或存储装置等。本实施方式中的各种程序、数据、表、数据库等各种信息被保存在这种存储装置上，成为信息处理的对象。此外，cpu2000还能够将ram2020的一部分保持为高速缓冲存储器，在高速缓冲存储器上进行读写。在这种方式中也同样，高速缓冲存储器承担ram2020的功能的一部分，因此在本实施方式中，除了区别表示的情况以外，高速缓冲存储器也包含在ram2020、存储器和/或存储装置中。

另外，cpu2000对从ram2020读出的数据进行由程序的命令串指定的包括本实施方式中记载的各种运算、信息的加工、条件判断、信息的检索/置换等在内的各种处理后写回到ram2020。例如，cpu2000在进行条件判断的情况下，判断是否满足本实施方式中示出的各种变量与其它变量或常量相比为大、小、以上、以下、相等等条件，在条件成立的情况下(或不成立的情况下)分支为不同的命令串或调用子程序。

另外，cpu2000能够对存储装置内的文件或数据库等中保存的信息进行检索。例如，在存储装置中保存有将第一属性的属性值与第二属性的属性值分别对应起来的多个条目的情况下，cpu2000从存储装置中保存的多个条目中检索与指定了第一属性的属性值的条件一致的条目，并读出该条目中保存的第二属性的属性值，由此能够得到与满足规定的条件的第一属性相对应的第二属性的属性值。

以上示出的程序或块也可以保存在外部的记录介质中。作为记录介质，除了能够使用软盘2090、cd-rom2095以外，还能够使用dvd或cd等光学记录介质、mo等光磁记录介质、磁带介质、ic卡等半导体存储器等。另外，也可以将与专用通信网络或因特网连接的服务器系统中设置的硬盘或ram等存储装置用作记录介质，经由网络向计算机1900提供程序。

以上，使用实施方式来对本发明进行了说明，但是本发明的技术范围不限定于上述实施方式所记载的范围。本领域技术人员明确可知能够对上述实施方式施加各种变更或改进。根据权利要求书的记载明确可知这种施加了变更或改进的方式也能够包含在本发明的技术范围内。

应当留意的是，关于权利要求书、说明书以及附图中示出的装置、系统、程序以及方法中的动作、过程、步骤以及阶段等各处理的执行顺序，只要没有特别注明“先于…”、“在…之前”等、并且不是前面的处理的输出在后面的处理中使用的情况，就能够以任意的顺序实现。关于权利要求书、说明书以及附图中的动作流程，为了方便而使用“首先，”、“接着，”等来进行了说明，但是并不意味着必须以此顺序来实施。

附图标记说明

1：生物体；2：受验者；3：鼻子；4：智能手机；5：摄像机；6：显示器；7：腕带型ppg传感器；8：发光二极管；9：光电二极管；10：脉搏波信号获取部；11：影像获取部；12：跟踪信号生成部；13：窗口截取部；14：信号校正部；20：脉搏数计算部；21：窗函数乘法部；22：合并输出部；23：离散频率变换部；30：呼吸状态估计部；40：脉搏波延迟时间计算部；41：偏置变动去除部；42：自相关计算部；43：延迟时间计算部；100：呼吸状态估计装置。