使用心理生理学模型表示受试者的思想状态的制作方法

本发明是针对用于在给定多个生理学输入的情况下表示受试者的思想状态的系统和方法。

背景技术：

交感神经和副交感神经系统是作为外周神经系统(PNS)的部分的运动自主神经系统(ANS)的两个分支。这些系统主要在我们的意识之外控制内脏功能，例如心率、血压等。交感神经部分一般负责身体的兴奋状态，例如“战斗还是逃跑(fight or flight)”响应。副交感神经部分一般负责放松状态。例如紧张、挫败、快乐等思想状态是经常导致生理学响应的神经功能。ANS的神经支配远离大脑的各种器官结构，且可引起生理学参数的可检测到的改变，所述参数可以用可穿戴装置来测量，例如具有适当传感器的智能手表。这些类型的装置可能此包括众多EEG电极的头盔穿戴于身体上容易得多。紧张、挫败、愉快、疲劳和焦虑是人的思想状态的几个方面。人身体可能由于广泛多种外部刺激而经历这些情形。例如在这些情形下的重复或延长的发作等异常增加会有损长期健康且破坏身体响应于需要快速身体响应的事件的能力，例如快速地将手抽离热的火焰，或者有效地解决涉及与另一个体的交互的不利情形。举例来说，在呼叫中心环境中，接线员在与顾客沟通时(例如，在应对发怒的顾客时，或在接线员的角色冲突或不明确时)经常经历紧张。

因此，此项技术中需要的是用于在给定多个生理学输入的情况下表示受试者的思想状态的方法。

合并的参考文献

以下美国专利、美国专利申请以及公开案以全文引用的方式并入本文。

《根据在近端和远端动脉位点处获得的时间系列信号确定动脉脉搏传导时间(Determining Arterial Pulse Transit Time From Time-Series Signals Obtained At Proximal And Distal Arterial Sites)》，Mestha等人的第14/515,618号美国专利申请。

《在从视频获得的生理学信号中的心房颤动与窦性心律之间进行区别(Discriminating Between Atrial Fibrillation And Sinus Rhythm In Physiological Signals Obtained From Video)》，Mestha等人的第14/242,322号美国专利申请。

《根据VPG和ECG/EKG信号确定动脉脉搏波传导时间(Determining Arterial Pulse Wave Transit Time From VPG And ECG/EKG Signals)》，Mestha等人的第14/268,656号美国专利申请。

《根据PPG和ECG/EKG信号确定脉搏波传导时间(Determining Pulse Wave Transit Time From PPG And ECG/EKG Signals)》，Mestha等人的第14/596,344号美国专利申请。

《用于监视受试者的心房颤动的方法和设备(Method And Apparatus For Monitoring A Subject For Atrial Fibrillation)》，Mestha等人的第13/937,740号美国专利申请。

《用于监视受试者的功能血氧饱和度的方法和设备(Method And Apparatus For Monitoring A Subject For Functional Blood Oxygen Saturation)》，Mandel等人的第13/937,782号美国专利申请。

《用于监视受试者的分数血氧饱和度的方法和设备(Method And Apparatus For Monitoring A Subject For Fractional Blood Oxygen Saturation)》，Mestha等人的第13/937,949号美国专利申请。

《用于呼吸功能评估的呼吸型式识别(Breathing Pattern Identification For Respiratory Function Assessment)》，Mestha等人的第14/044,043号美国专利申请。

《从正被监视心脏功能的受试者的视频进行连续心脏信号产生(Continuous Cardiac Signal Generation From A Video Of A Subject Being Monitored For Cardiac Function)》，Kyal等人的第13/871,766号美国专利申请。

《处理源视频以用于所关注信号的实时增强(Processing Source Video For Real-Time Enhancement Of A Signal Of Interest)》，Tanaka等人的第13/745,283号美国专利申请。

《用于从呼吸属性产生计算机控制信号的系统和方法(System And Method For Producing Computer Control Signals From Breath Attributes)》，Furst等人的第14/257,393号美国专利申请。

《处理视频以用于呼吸速率估计(Processing A Video For Respiration Rate Estimation)》，Mestha等人的第13/529,648号美国专利申请。

《用于体积估计的手持式蜂窝式设备(Handheld Cellular Apparatus For Volume Estimation)》，Wu等人的第13/920,241号美国专利申请。

《从正被监视心脏功能的受试者的视频确定心律失常(Determining Cardiac Arrhythmia From A Video Of A Subject Being Monitored For Cardiac Function)》，Mestha等人的第14/245,405号美国专利申请。

《产生用于呼吸功能评估的流速-容量环(Generating A Flow-Volume Loop For Respiratory Function Assessment)》，Mestha等人的第14/023,654号美国专利申请。

《处理视频以用于潮式胸廓容积估计(Processing a Video for Tidal Chest Volume Estimation)》，Bernal等人的第13/486,637号美国专利申请。

《用于呼吸功能分析的实时视频处理(Real-Time Video Processing For Respiratory Function Analysis)》，Kyal等人的第14/195,111号美国专利申请。

《经由深度感测的空间-时间呼吸力学的无接触监视(Non-Contact Monitoring Of Spatio-Temporal Respiratory Mechanics Via Depth Sensing)》，Bernal等人的第14/223,402号美国专利申请。

《用于从视频确定呼吸速率的系统和方法(System And Method For Determining Respiration Rate From A Video)》，Mestha等人的第14/519,641号美国专利申请。

《从受试者的视频确定呼吸型式(Determining A Respiratory Pattern From A Video Of A Subject)》，Prasad等人的第14/742,233号美国专利申请。

《用于以时间系列信号确定基于视频的脉搏传导时间的系统和方法(System And Method For Determining Video-Based Pulse Transit Time With Time-Series Signals)》，Mestha等人的第14/026,739号美国专利申请。

《用于监视受试者的所需生理学功能的视频采集系统和方法(A Video Acquisition System And Method For Monitoring A Subject For A Desired Physiological Function)》，Xu等人的第13/921,939号美国专利申请。

《基于胸廓容积的分钟通气量估计(Minute Ventilation Estimation Based On Chest Volume)》，Bernal等人的第13/486,715号美国专利申请。

《基于深度图的分钟通气量估计(Minute Ventilation Estimation Based On Depth Maps)》，US 8,971,985

《从2D单眼视频的呼吸功能估计(Respiratory Function Estimation From A 2D Monocular Video)》，US 8,792,969

《用热成像系统监视呼吸(Monitoring Respiration With A Thermal Imaging System)》，US 8,790,269

《经由受约束的源分离从多通道源数据估计心脏脉搏恢复(Estimating Cardiac Pulse Recovery From Multi-Channel Source Data Via Constrained Source Separation)》，US 8,617,081

《心率变异性的基于视频的估计(Video-Based Estimation Of Heart Rate Variability)》，US 8,977,347

《从多通道源视频数据的连续心脏脉搏率估计(Continuous Cardiac Pulse Rate Estimation From Multi-Channel Source Video Data)》，US 8,855,384。

《从正被监视心脏功能的受试者的视频确定心律失常(Determining Cardiac Arrhythmia From A Video Of A Subject Being Monitored For Cardiac Function)》，US 8,768,438

《用中点缝合从多通道源视频数据的连续心脏脉搏率估计(Continuous Cardiac Pulse Rate Estimation From Multi-Channel Source Video Data With Mid-Point Stitching)》，US 9,036,877

《用于无接触心律感测的系统和方法(Systems And Methods For Non-Contact Heart Rate Sensing)》，US 9,020,185

技术实现要素：

所公开的是用于在给定多个生理学输入的情况下表示受试者的思想状态的系统和方法。在一个实施例中，接收生理学特征的向量。将生理学特征的向量提供到包括多个模型的心理生理学模型，所述多个模型将所述生理学特征拟合到各自表示不同思想状态的心理学量。以本文更完整公开的方式，接着聚集所述心理学量以获得代表所述受试者的总体思想状态的聚集输出。一旦已经表示所述受试者的思想状态，接着便可以采取补救行动。

从以下详细描述和附图将容易明了本文公开的方法的特征和优点。

附图说明

本文公开的主题的前述和其它特征及优点将从以下结合附图做出的详细描述中显而易见，附图中：

图1示意性地示出ANS对心脏的影响；

图2示出针对以下两种不同情感状态的两个心率曲线图：挫败和感谢；

图3是说明用于从多个生理学输入表示受试者的思想状态的本发明方法的一个实例实施例的流程图；以及

图4是用于执行如相对于图3的流程图描述的用于表示受试者思想状态的本发明方法的各种方面的特殊用途的功能框图。

具体实施方式

所公开的是一种多参数数据驱动的向量化模型，其包括多个生理学输入(例如，皮肤温度、心率变异性、吸气-呼气心率、呼吸速率、氧饱和度、脉搏到达时间/脉搏传导时间、血压、皮肤电反应、姿势、移动、面部表情、语音声调和音高等)和多个心理学输出(例如，紧张、感谢、挫败、觉醒等)。心理学输出经聚集以表示受试者的思想状态。接着可响应于已经表示受试者的思想状态而采取补救行动。

应理解，本领域的技术人员将容易理解使用基于无接触的成像方法从受试者获得生理学信号的各种方面，如Lalit K.Mestha、Edgar Bernal、Beilei Xu和Survi Kyal的若干合并参考文献中所公开。此人也将容易熟悉使用基于接触的方法从受试者获得生理学信号。参见：《生理学控制系统：分析、模拟和估计(Physiological Control Systems：Analysis，Simulation，and Estimation)》Wiley-IEEE Press(1999)，ISBN-13：978-0780334083，其以全文引用的方式并入本文。

非限制性定义

“受试者”指代生物。虽然术语“人”或“患者”可以贯穿本公开而使用，但应了解，受试者可以是除了人之外的事物，例如灵长类动物。因此，这些术语的使用不应视为将所附权利要求的范围严格限制于具有呼吸功能的人类。

也称为“生理学参数”的“生理学特征”是直接从受试者获得，根据从受试者感测的信号而获得，或者是关于受试者的生理学状况。生理学特征可以是以下各项中的任一者：功能血氧饱和度、分数血氧饱和度、流速-容量环、呼气储备量、吸气储备量、余气量、肺活量、吸气量、功能残气量、总肺活量、潮式呼吸、分钟通气量、呼吸速率、以及受试者的呼吸型式，如医学领域中一般理解。生理学特征可以进一步是以下各项中的任一者：峰峰脉搏动力学的Poincaré绘图、受试者的心脏信号的至少一段的脉搏谐波强度、受试者的经正规化心跳的频率、受试者的心脏信号的至少一段的峰峰间隔、心脏收缩和心脏舒张测量、心输出量、心率变异性、血压、随着时间的血管扩张、血流速度、脉搏率、脉搏振幅、体温，以及电皮肤反应、皮肤电导反应、皮肤电导水平、皮肤电反应，以及皮肤电阻，如医学感测技术中也一般理解。生理学特征也可以例如是生理学信号的统计特征、信号振幅、信号频率以及生理学信号的一个或多个信号特性，如信号处理领域中一般理解。根据本发明的教示，将含有生理学特征的多个值的向量提供到心理生理学I/O模型。应注意，提供到心理生理学I/O模型的生理学特征也可以是上文提到的任何一个特征(即，标量)。

“生理学信号”是通过基于接触和基于无接触的感测而获得的信号。生理学信号可以是以下各项中的任一者：心电图信号、心冲击图信号、脑电图(EEG)信号、超声心动图(ECG/EKG)信号、肌电图(EMG)信号、心音图(PCG)信号、视频体积图(VPG)信号、皮肤电反应(GSR)信号、来自点辐射计的信号，以及来自温度计的信号，如这些装置一般所理解。生理学信号也可以是眼睛移动、肌肉颤搐、语音声调、语音音高、受试者的呼吸型式的音频信号，以及代表受试者的姿势或面部表情的信号。应了解，生理学信号可以是参考信号，例如参考心脏信号，或者可以是用户输入。

“基于接触的感测手段”指代用于使用一个或多个传感器获得生理学信号的系统和方法，所述传感器物理地触碰受试者或者放置于受试者穿戴的衣服上。传感器与广泛多种医学感测装置中的任一者相关联，所述装置包含例如心电图装置、心冲击图装置、脑电图装置、超声心动图装置、肌电图装置、心音图装置以及皮肤电反应装置，如这些装置在此些技术中一般所理解。

“基于无接触的感测手段”指代使用不需要与受试者的物理接触的系统和方法从受试者获得生理学信号。这些方法包含如若干合并参考文献中公开的基于视频的感测技术。基于视频的感测技术包含以下各项中的任一者：单色视频相机、彩色视频相机、单频带红外相机、热范围中的多频带红外相机、多频谱相机、高光谱相机、热范围中的高光谱红外相机，以及包括以上任何组合的混合视频装置，如这些视频成像装置在成像领域中所理解。

“心理生理学模型”是输入/输出(I/O)模型，其接收生理学特征的向量作为输入，且产生心理学量作为输出。在一个实施例中，所述心理生理学模型包括多个拟合函数，所述函数如下经聚集以获得聚集输出：

其中f_n是第n个拟合函数(例如，线性回归、最小二乘、样条、二次逼近、仿射变换、特征向量、基本向量等)，其各自将至少一个生理学特征拟合到至少一个心理学量，可以是包括从受试者获得的特征的向量，其中j是特征的数目，且W_n是应用于第n个函数的权重。对于拟合函数的勘察，参见：《曲线拟合的数值方法(Numerical Methods of Curve Fitting)》，P.G.Guest(作者)，Cambridge University Press，(2012)，ISBN-13：978-1107646957。还参见《数值方法：使用MA TLAB(Numerical Methods：Using MA TLAB)》，George Lindfield(作者)，John Penny(作者)，Academic Press，第三版(2012)，ISBN-13：978-0123869425，以上两者以全文引用的方式并入本文。

在一个实施例中，所述心理生理学模型采取以下线性形式，其产生心理学量的向量，如以下给出：

y＝Aθ

其中A是回归矩阵A，其含有某一形式的心理生理学模型，且θ是含有所述心理生理学模型的参数的矩阵。在一个实施例中，θ如下给出：

其中M_jk是不同的参数。

由于矩阵A可以是非正方矩阵且因此不可逆，因此无法使用矩阵运算来求解θ。因此，我们形成残差方程：

r＝y-Aθ

且接着形成残差的平方的和：

S＝rr^T＝(y-Aθ)(y-Aθ)^T (5)

现在通过相对于θ区分方程(5)且使所得方程等于零来最小化S。这产生如下给出的标准最小二乘解：

θ＝(A^TA)^-1A^Ty

方程(6)用以获得表示人的心理生理学的参数矩阵(即，思想状态估计矩阵)。

“预处理生理学信号”意味着执行以下各项中的任一者：加权、滤波、消除趋势、平均化、丢弃、上取样、下取样、平滑、变换、同步、正规化，以及选择样本批次来表示生理学信号。可以自动和手动地执行预处理。

“接收向量”既定广泛解释且包含：检索、捕获、获取、产生或另外获得生理学特征。用于从多个特征产生向量的方法在数学领域中是良好确立的。

如本文使用的“心理学量”指代受试者的思想的状态。实例心理学量是疲劳、害怕、紧张、饥饿、感谢、警觉、挫败、焦虑、生气、快乐、觉醒、困倦，仅举几例。图2示出针对以下两种不同情感状态的两个心率曲线图：挫败和感谢。在挫败期间，心率变化是不规则的，且含有大的波动。随着情感失调发生的不稳定和小的心跳波动指示交感神经和副交感神经系统彼此不同步。一般在典型的休息期期间，在吸气期间的心率较高(例如，85bpm)且在呼气期间的心率较低(例如，75bpm)，差为10bpm。

响应于已经使用本发明教示表示受试者的思想状态而采取“补救行动”以取决于情况而促进、避免或另外补救情况。这些行动可以采取多种形式中的任一者，例如让受试者休息或让他们回家、为所述人指派不同的工作职能、让所述人休息一会儿、为所述人提供帮助或辅助、召唤专业帮助或辅助、对人提供药物、对人提供反馈，和类似形式。补救行动可以进一步为例如在人驾驶时自动降低交通工具速度，或者关闭由人正操作的机器。补救行动还可以包括自动改变人周围的照明，因为研究表明使人暴露于不同照明(例如，蓝色)或不同颜色(例如，粉红色)可以具有平静效果且潜在地减少紧张。

“传送心理学量”意味着将心理生理学模型的输出以电子方式经由有线或无线网络传输到以下各项中的任一者：存储器、存储装置、智能手表、智能电话、显示器、iPad、平板PC、膝上型计算机、工作站以及远程装置。这些通信可以采取信号的形式。

应了解，如本文使用的“接收”、“提供”、“传送”、“聚集”、“执行”、“预处理”、“加权”、“滤波”、“消除趋势”、“平均化”、“丢弃”、“上取样”、“下取样”、“平滑”、“变换”、“同步”、“正规化”、“选择”和类似者的步骤包含根据任何特定情境或者出于任何特定目的而应用多种信号处理技术以及数学运算中的任一者。应了解，这些步骤可以通过微处理器而促进或另外实现，所述微处理器执行机器可读程序指令以使得可以有效地执行既定功能性。

实例流程图

现在参见图3的流程图，其说明用于从多个生理学输入表示人的思想状态的本发明方法的一个实例实施例。流程处理在步骤300开始且立即前进到步骤302。

在步骤302，使用基于接触和/或基于无接触的感测手段接收受试者的生理学参数的向量。

在步骤304，将生理学参数的向量提供到包括多个模型的心理生理学模型，所述多个模型将生理学参数拟合到各自表示不同思想状态的心理学量。

在步骤306，聚集心理学量以获得表示受试者的思想状态的聚集输出。

在步骤308，做出是否将采取补救行动的确定。如果是这样，那么在步骤310采取补救行动。由于存在反馈/干预的众多情形，因此不存在“一体适用的”补救。举例来说，在顾客-接线员交互例行发生的呼叫中心环境中，通过在工作时间期间重复地评估受试者的思想状态可以更有效地管理脚本对话。

在步骤312，做出是否继续监视此受试者的确定。如果是这样，那么处理相对于步骤302而重复，其中接收此受试者的生理学参数的下一向量以用于处理。处理以类似方式重复。否则，在此实施例中，停止进一步处理。

应了解，本文描绘的流程图是说明性的。流程图中的一个或多个操作可以按不同次序执行。可以添加、修改、增强或合并其它操作。希望其变化属于所附权利要求书的范围内。

信号处理系统的框图

现在参见图4，其示出用于执行如相对于图3的流程图描述的用于表示受试者思想状态的本发明方法的各种方面的特殊用途的功能框图。此专用处理器400能够执行机器可读程序指令以用于执行本文公开的方法。

在图4中，通信总线402用作将专用计算机系统400的其它所说明组件互连起来的信息高速公路。所述专用计算机并入有能够执行机器可读程序指令的中央处理单元(CPU)404。CPU与共同构成存储器存储装置的只读存储器(ROM)406和随机存取存储器(RAM)408通信。此存储器可以用于存储足以实行本文描述的任何功能性的机器可读程序指令以及其它程序数据和结果。

磁盘控制器410与一个或多个存储装置414介接。存储装置可以包括外部存储器、压缩驱动器、快闪存储器、USB驱动器、记忆棒或者具有可装卸式媒体的装置，例如CD-ROM驱动器412和软盘驱动器416。这些存储装置可以用于实施数据库。实例计算机可读媒体例如为软磁盘、硬盘驱动器、存储器、CD-ROM、DVD、磁带、磁盒或者其它数字或模拟媒体或类似物，其能够在其上实施计算机可读程序、一个或多个逻辑指令或者其它机器可执行代码或命令，其实施且促进本文描述的功能、能力和方法。计算机程序(也称为计算机控制逻辑)可以存储在主存储器和/或辅助存储器中。也可以经由通信接口接收计算机程序。计算机可读媒体进一步能够存储数据、机器指令、消息包或者其它机器可读信息，且可以包含非易失性存储器。显示接口418实现以例如音频、图形、文本和类似物等各种格式在显示装置420上显示信息。接口424经由键盘426和鼠标428实现用户输入。根据本发明的各种实施例，此接口有用于用户回顾和键入关于任何所显示信息的信息。与外部装置的通信可以使用实例通信端口422而发生。这些端口可以安置成通过有线或无线链路与因特网或内联网通信。实例通信端口包含调制解调器、例如以太网卡等网络卡、路由器、PCMCIA插槽和卡、USB端口和类似物，其能够将数据从一个装置传送到另一装置。还示出生理学信号采集装置402，其可为本文描述的能够经由任何通信端口将所采集的生理学信号或生理学参数传送到专用计算机400的任何装置。这些信号可以是能够通过通信接口传输和/或接收的数字、模拟、电磁、光学、红外或其它信号。这些信号可以使用例如电线、电缆、光纤、电话线、蜂窝式链路、RF或者此些技术中当前已知或随后已开发的其它信号传输手段来实施。

各种实施例

本文描述的方法的一个或多个方面既定并入于具有计算机可用或机器可读媒体的制品中，包含一个或多个计算机程序产品。所述制品可以包含于可由机器架构读取的至少一个存储装置上，所述架构实施能够执行本文描述的方法的一个或多个方面的可执行程序指令。所述制品可以单独地或者作为附件、更新、升级或产品套件的部分而单独地装运、出售、租赁或另外提供。

将了解，上文公开的以及其它特征和功能或其替代方案可以合意地组合到许多其它不同系统或应用程序中。各种当前未预见或未预期的替代方案、修改、变化或其中的改进可以变为显而易见和/或随后由本领域的技术人员做出，这些也既定由所附权利要求书涵盖。本发明的教示可以使用对象或面向对象的软件开发环境来部分或完全地以软件实施，所述开发环境提供可以在多种计算机、工作站、服务器、网络或其它硬件平台上使用的便携式源代码。本发明的一个或多个能力可以在虚拟环境中利用专门程序来仿真或者可以利用现成的软件。将了解，各种上文公开的以及其它特征和功能或其替代方案可以组合到其它系统或应用程序中。各种当前未预见或未预期的替代方案、修改、变化或其中的改进可以变为显而易见和/或随后由本领域的技术人员做出，这些也既定由所附权利要求书涵盖。

所陈述的实施例视为说明性的而不是限制性的。在不脱离本发明的精神和范围的情况下可以做出对上述实施例的改变。通过相关技术的一般知识，适用领域的技术人员可根据本文提供的功能性描述使用任何已知或稍后开发的系统、结构、装置和/或软件而以硬件或软件来实施本发明的教示而不需要过度实验。包含专利和专利申请的任何印刷出版物的教示各自特此以全文引用的方式单独地并入。