语音控制的健康监测系统和方法与流程

文档序号:32330657发布日期:2022-11-25 22:04阅读:26来源:国知局
1.本公开涉及用于对受试者进行健康监测的系统和方法。2.背景3.能够使用语音的技术以其方便和简单的可访问性成为与消费者电子设备交互的标准方法,实现更高效和更快速的操作。语音技术在医学上的应用主要局限于护理清单、恐慌呼叫和再配药(prescriptionrefills)。这主要是由于这些能够使用语音的设备不具备直接测量和监测受试者生理参数的能力。与持续性状况不同,突然或间歇发作的阵发性状况需要一种可以立即持续使用的家庭筛查解决方案,并需要一种简单的方式,诸如语音来启动健康检查。此外,许多人处于卧床不起或生活在健康状况不佳的情况下。这些人有跌倒或经历突发健康事件的风险,诸如呼吸暂停、压力、溃疡、心房颤动或心脏病发作。如果该人独自居住,则没有人注意到早期警报、观察情况或呼救。4.概述5.本文公开了用于受试者的语音控制的或能够使用语音的健康监测的系统和方法的实现。6.在实现中,一种设备包括:被配置成支撑受试者的基板;被配置成捕获关于受试者的声学信号和力信号的多个非接触传感器;被配置成与受试者通信的音频接口;以及与多个传感器和音频接口连接的处理器。该处理器被配置成从声学信号和力信号中的一个或更多个确定生物信号,以监测受试者的健康状态,并检测声学信号中语音的存在。该音频接口被配置成基于由于受试者的健康状态而需要的动作和检测到的语音中的口头命令中的至少一个,与受试者或关联于受试者的实体中的至少一个交互地通信。7.附图简述8.当结合附图阅读时,从下面的详细描述可以最好地理解本公开。强调的是,根据通常的做法,附图的各种特征不是按比例绘制的。相反,为了清楚起见,各种特征的尺寸被任意扩展或减小。9.图1是一种用于语音控制的健康监测系统的系统架构。10.图2a-图2j是传感器放置和配置的图示。11.图3是用于获取传感器数据的处理流水线。12.图4是用于分析力传感器数据的处理流水线。13.图5是用于分析来自音频传感器的音频传感器数据的处理流水线。14.图6是用于使用具有语音能力的设备来分析音频传感器数据的处理流水线。15.图7是用于识别语音的处理流水线。16.图8是用于睡眠呼吸障碍(sdb)检测和响应的处理流水线。17.详细描述18.本文公开了用于受试者的语音控制的或能够使用语音的健康监测的系统和方法的实现。该系统和方法可以用于被动地和连续地监测受试者的健康并与受试者进行口头交互以启动健康检查、提供关于受试者健康状态的信息或执行诸如记录与健康相关的事件或呼叫紧急服务的动作。受试者的健康和安乐可以使用与受试者口头交互的系统来监测。示例是睡眠监测、心脏监测、呼吸监测、运动监测和睡眠呼吸障碍监测。受试者可以使用他/她的语音与系统交互,以请求由系统执行动作或者获得关于受试者健康状态的信息。该系统可以被用于在受试者无法胜任或丧失能力的情况下响应受试者伙伴的命令。19.该系统和方法使用一个或更多个非接触传感器,诸如音频或声学传感器、加速度计、压力传感器、负载传感器、重量传感器、力传感器、运动传感器或振动传感器来捕获声音(语音和呼吸障碍)以及身体的机械振动(心脏和肺的运动和生理移动),并将其转换为用于筛查和识别健康状态和疾病状况的生物信号信息。20.在实现中,系统包括放置在受试者附近以记录声学信号的一个或更多个麦克风或音频传感器、放置在受试者附近以回放音频的一个或更多个扬声器、使用一个或更多个非接触传感器(诸如加速度计、压力传感器、负载传感器、重量传感器、力传感器、运动传感器或振动传感器)以记录身体的机械振动的生理测量系统、语音识别系统、语音合成器以及处理器,该处理器被配置成记录受试者的音频和生物信号,处理它们,检测受试者的语音,处理受试者的语音,并启动对受试者的语音的响应。在实现中,一个或更多个麦克风或音频传感器和一个或更多个非接触传感器可以放置在基板(诸如床、沙发、椅子、检查台(examtable)、地板等)下方,或者被内置到基板中。例如,一个或更多个麦克风或音频传感器和一个或更多个非接触传感器可以被放置或定位在控制箱、腿、床架、床头板或墙壁的内部、下方,或者附接到控制箱、腿、床架、床头板或墙壁。在实现中,处理器可以在设备(控制箱)中或在计算平台(云)中。21.在实现中,处理器被配置成使用一个或更多个非接触传感器,诸如加速度计、压力传感器、负载传感器、重量传感器、力传感器、运动传感器或振动传感器来记录身体的机械力和振动,包括心脏和肺的运动和生理移动。处理器进一步增强这些数据以执行心脏分析(包括确定心率、心跳计时、变异性和心跳形态以及它们从基线或范围的对应变化)、呼吸分析(包括确定呼吸频率、呼吸阶段、深度、计时和变异性、以及呼吸形态以及它们从基线或范围的对应变化)以及运动分析(包括确定移动幅度、时间、周期性和模式以及它们从基线或范围的对应变化)。处理器被配置成记录声学信息,过滤掉不想要的干扰,并增强声学信息以用于分析确定。22.例如,处理器可以使用增强的声学信息来识别睡眠呼吸障碍。然后,处理器可以确定对检测到的睡眠呼吸障碍的适当响应,诸如通过改变床(例如,坚固性)或卧室(例如,照明)的可调节特征,或者播放声音以使睡眠者改变位置或转换到较轻的睡眠状态,并因此帮助停止、减少或改变呼吸障碍。例如,处理器可以使用增强的声学信息将不规则的肺或身体移动与肺或身体声音相关联。喘息或其他不正常的声音就是一个例子。例如,处理器可以使用增强的声学信息来检测语音是否已经被启动。处理器将音频流与电子命令的字典进行比较,以丢弃不相关的对话,并确定与系统交互的口头命令是否已经启动。23.在实现中,处理器被配置成处理语音识别。例如,处理器可以执行语音识别。这可以包括检测触发(例如,预置的关键词或短语)和确定上下文。例如,关键词可以是“afib”,用于触发注释(标记)心脏记录或生成警报。例如,处理器可以通过api与其他负责识别和合成语音的具有语音能力的设备(诸如和)进行通信。24.在实现中,处理器被配置成对所识别的语音进行分类并启动响应。响应可以是开始与受试者的交互式会话(例如,回放音调或播放合成语音)或执行响应动作(例如,打开/关闭家庭自动化功能,用健康状态标记对数据进行标记以用于受试者或受试者的医生的未来访问,或者呼叫紧急服务)。该响应还可以包括与连接到家庭自动化系统或通知系统的其他具有语音能力的设备通信。该系统还可以被用于基于分析创建事件,该事件可以是被发送到云中用于危急状况的可听音调或消息。25.传感器通过有线、无线地或光学地连接到处理器,处理器可能在互联网上并运行人工智能软件。可以用本地存在的处理器来本地分析来自传感器的信号,或者可以通过有线或其他方式将数据联网到可以处理和分析实时和/或历史数据的另一计算机和远程储存器。该处理器可以是用于机械力传感器和音频传感器的单个处理器,或者是用于处理机械力并与其他具有语音能力的设备交互的一组处理器。可增加诸如血压传感器、温度传感器、血氧传感器、脉搏血氧传感器的其他传感器,以用于加强监测或健康状态评估。该系统可以使用人工智能和/或机器学习来训练用于处理力信号、音频信号和其他传感器信号的分类器。26.在实现中,能够使用语音的设备可以充当语音识别器或语音合成器,以支持与受试者的单向和双向通信。语音识别器使用语音到文本,而语音合成器使用文本到语音,两者都基于预定义关键词或短语的字典。该系统包括双向音频(麦克风和扬声器),以实现与患者的双向通信(受试者的语音作为命令,设备在接收到命令时做出响应)。该系统可以附加地包括到其他语音助理设备(诸如和)的接口,以处理受试者的语音,或播放合成的响应,或两者兼而有之。27.本文描述的系统和方法可以由受试者在经历并发症或状况的征兆或表现出与健康相关的状况的早期警告信号时使用,或者可以在远程医疗应用中由医生指导时使用。例如,该系统可以被用于家庭压力测试,其中传感器数据可以被用于监测心率变异性指数,以量化动态自主调节或心率恢复。28.该系统可以通过编程来限制与其进行口头交互的人数或个人。例如,系统可能只接受和响应来自一个人(受试者)或来自受试者伙伴的口头命令。在这种情况下,语音识别将具有仅对某些个人进行响应的声音识别。电子命令可以包括但不限于口头请求,以用于:对受试者进行特定健康检查(例如,心脏检查或压力测试),给出关于受试者健康状态的更新,当受试者经历健康事件或状况时标记数据,向受试者的医生发送健康报告,呼叫紧急服务,通过与第三方的api集成订购产品(例如,从互联网卖家购买某物),和/或与家庭自动化的可调功能交互。该系统可以与诸如平板电脑或智能手机的其他通信手段集成以提供视频通信。29.图1是用于语音控制的或能够使用语音的健康监测系统(shms)100的系统架构。shms100包括连接到计算平台120或与计算平台120通信(统称为“连接到”计算平台120)的一个或更多个设备110。在实现中,机器学习训练平台130可以连接到计算平台120。在实现中,具有语音能力的设备150可以连接到计算平台120和一个或更多个设备110。在实现中,用户可以经由连接的设备140访问数据,该连接的设备140可以从计算平台120、设备110、具有语音能力的设备150或其组合接收数据。一个或更多个设备110、计算平台120、机器学习训练平台130、具有语音能力的设备150和所连接的设备140之间的连接可以是有线、无线、光学、其组合等。shms100的系统架构是说明性的,并且可以包括附加的、更少的或不同的设备、实体等,这些设备、实体可以类似地或不同地构建,而不偏离本文的说明书和权利要求的范围。此外,所示的设备可以执行其他功能,而不脱离本文的说明书和权利要求的范围。30.在实现中,设备110可以包括音频接口111、一个或更多个传感器112、控制器114、数据库116和通信接口118。在实现中,设备110可以包括用于适用和适当的机器学习技术的分类器119,如本文所述。一个或更多个传感器112可以检测由于受试者关于一个或更多个传感器112的活动和/或配置而引起的振动、压力、力、重量、存在和运动的声音、波模式、和/或声音与的波模式的组合。在实现中,一个或更多个传感器112可以生成一个以上的数据流。在实现中,一个或更多个传感器112可以是相同类型的。在实现中,一个或更多个传感器112可以是时间同步的。在实现中,一个或更多个传感器112可以测量基板、家具或其他对象上的部分重力。在实现中,一个或更多个传感器112可以独立地捕获一个流(即,多变量信号)中的多个外部数据源,例如,来自一个或更多个受试者或对象的体重、心率、呼吸频率、振动和运动。在实现中,每个传感器112捕获的数据与由其他传感器112的至少一个、一些、全部或组合捕获的数据相关。在实现中,幅度变化是相关的。在实现中,变化的速率和幅度是相关的。在实现中,变化的阶段和方向是相关的。在实现中,一个或更多个传感器112放置对质量中心的位置进行三角化表示。在实现中,一个或更多个传感器112可以放置在床、椅子、客车等的腿下方或内置在腿中。在实现中,一个或更多个传感器112可以放置在婴儿床的边缘下方或内置在婴儿床的边缘中。在实现中,一个或更多个传感器112可以放置在地板下方或内置在地板中。在实现中,一个或更多个传感器112可以放置于表面区域下方或内置于表面区域中。在实现中,一个或更多个传感器112位置被用于创建覆盖由传感器包围的整个区域的表面地图。在实现中,一个或更多个传感器112可以测量来自在由一个或更多个传感器112包围的区域内任何地方的源的数据,该源可以直接位于一个或更多个传感器112之上,靠近一个或更多个传感器112或远离一个或更多个传感器112。一个或更多个传感器112相对于受试者不是侵入性的。31.一个或更多个传感器112可以包括一个或更多个非接触传感器,诸如用于捕获声音(语音和睡眠呼吸障碍)的音频、麦克风或声学传感器,以及用于测量基板、家具或其他对象上的部分重力的传感器,包括加速度计、压力、负载、重量、力、运动或振动以及身体的机械振动(心脏和肺的运动和生理移动)。32.音频接口111提供双向音频接口(麦克风和扬声器)以实现与患者的双向通信(受试者的语音用作命令,并且设备在接收到命令时进行响应)。33.控制器114可以将本文中关于图3-图8所描述的过程和算法应用于传感器数据,以确定处于静止和运动中的单个或多个受试者的生物测定参数和其他特定于人的信息。分类器119可以将本文中关于图3-图8所描述的过程和算法应用于传感器数据,以确定处于静止和运动中的单个或多个受试者的生物测定参数和其他特定于人的信息。分类器119可将分类器应用于传感器数据,以经由机器学习确定生物测定参数和其他特定于人的信息。在实现中,分类器119可由控制器114实现。在实现中,传感器数据和生物测定参数以及其他特定于人的信息可以存储在数据库116中。在实现中,传感器数据、生物测定参数和其他特定于人的信息,和/或它们的组合可以经由通信接口118传输到或发送到计算平台120,用于处理、存储和/或其组合。通信接口118可以是任何接口,并且使用任何通信协议在原端点和目的地端点之间通信或传送数据。在实现中,设备110可以是使用一个或更多个传感器112从受试者收集数据,以供控制器114和/或计算平台120使用的任何平台或结构,如本文所述。例如,设备110可以是基板、框架、腿和多个负载或其它传感器112的组合,如图2中所述。设备110和其中的元件可以包括实现本文描述的设备、系统和方法所期望或必需的其他元件。然而,由于这些元件和步骤在本领域中是公知的,并且由于它们并不有助于更好地理解所公开的实施例,因此本文可能不提供对这些元件和步骤的讨论。34.在实现中,计算平台120可以包括处理器122、数据库124和通信接口126。在实现中,计算平台120可以包括用于适用且适当的机器学习技术的分类器129,如本文所述。处理器122可以从传感器112或控制器114获得传感器数据,并且可以将本文中关于图3-图8所描述的过程和算法应用于传感器数据,以确定处于静止和运动中的单个或多个受试者的生物测定参数和其他特定于人的信息。在实现中,处理器122可以从控制器114获得生物测定参数和其他特定于人的信息,以存储在数据库124中,用于时间分析和其他类型的分析。在实现中,分类器129可以将本文中关于图3-图8所描述的过程和算法应用于传感器数据,以确定处于静止和运动中的单个或多个受试者的生物测定参数和其他特定于人的信息。分类器129可将分类器应用于传感器数据,以经由机器学习确定生物测定参数和其他特定于人的信息。在实现中,分类器129可以由处理器122实现。在实现中,传感器数据和生物测定参数以及其他特定于人的信息可以存储在数据库124中。通信接口126可以是任何接口,并且使用任何通信协议在原端点和目的地端点之间通信或传送数据。在实现中,计算平台120可以是基于云的平台。在实现中,处理器122可以是基于云的计算机或场外控制器。在实现中,处理器112可以是用于机械力传感器和音频传感器两者的单个处理器,或者是用于处理机械力并与具有语音能力的设备150交互的一组处理器。计算平台120和其中的元件可以包括实现本文所述的设备、系统和方法所期望或必需的其他元件。然而,由于这些元件和步骤在本领域中是公知的,并且由于它们并不有助于更好地理解所公开的实施例,因此本文可能不提供对这些元件和步骤的讨论。35.在实现中,机器学习训练平台430可以访问和处理传感器数据以训练和生成分类器。分类器可以被传输或发送到分类器129或分类器119。36.在实现中,shms100可以互换地或附加地包括能够使用语音的设备150作为双向语音接口。在实现中,能够使用语音的设备150可以替换音频接口111或者可以与音频接口111一起工作。能够使用语音的设备150可以与设备100和/或计算平台120通信。在实现中,具有语音能力的设备150可以是通过api与设备100或计算平台120通信的语音助理设备(诸如和)。能够使用语音的设备150可以充当语音识别器或语音合成器,以支持与受试者的单向和双向通信。37.图2a-图2j是传感器放置和配置的图示。如本文所述,shms100可以包括一个或更多个音频输入传感器200,诸如麦克风或声学传感器。图2a-图2j中示出了传感器相对于床230和周围环境的放置和配置。例如,2019年10月8日提交的美国专利申请号16/595,848描述了适用于本文所述传感器放置和配置的示例床和环境,其全部公开内容在此通过引用并入。38.图2a示出了控制箱(控制器)240内的一个或更多个音频输入传感器200的示例。图2b示出了附接到靠近床230的床头板250上的一个或更多个音频输入传感器200的示例。图2c示出了安装到靠近床230的墙壁260上的一个或更多个音频输入传感器200的示例。图2d示出了在床230的腿270内或附接到床230的腿270上的一个或更多个音频输入传感器200的示例。图2e示出了集成在床230的腿270下方的力传感器箱280内的一个或更多个音频输入传感器200的示例。图2f示出被放置到床230的床架290中或附接到床230的床架290上的一个或更多个音频输入传感器200的示例。39.在实现中,shms100可以包括一个或更多个扬声器210。图2g示出了控制箱(控制器)240内的一个或更多个扬声器210的示例。图2f示出了被放置到床230的床架290中或附接到床230的床架290上的一个或更多个扬声器210的示例。图2h示出了集成在床230的腿270下方的力传感器箱280内的一个或更多个扬声器210的示例。图2i示出了安装到靠近床230的墙壁260上的一个或更多个扬声器210的示例。图2j示出了附接到靠近床230的床头板250上的一个或更多个扬声器210的示例。40.图2a-图2e和图2g是具有单向音频通信的系统的示例,图2f和图2h-图2j是具有双向音频通信的系统的示例。41.图3是处理流水线300,用于获得诸如但不限于力传感器数据、音频传感器数据和其他传感器数据的传感器数据,并处理力传感器数据、音频传感器数据和其他传感器数据。42.从传感器310接收模拟传感器数据流320。传感器310可以使用一个或更多个非接触传感器(诸如加速度计、压力、负载、重量、力、运动或振动传感器)来记录身体的机械力和振动,包括心脏和肺的运动和生理移动。数字化器330将模拟传感器数据流数字化为数字传感器数据流340。成帧器(framer)350从数字传感器数据流340生成数字传感器数据帧360,该数字传感器数据流340包括固定或自适应时间窗内的所有数字传感器数据流值。加密引擎370对数字传感器数据帧360进行编码,使得数据被保护免受未经授权的访问。压缩引擎380压缩加密数据以减小将要保存在数据库390中的数据的大小。这降低了成本,并在读取时间期间提供了更快的访问。数据库390可以是本地的、离站储存器、基于云的储存器或其组合。43.从传感器311接收模拟传感器数据流321。传感器311可以记录包括受试者的呼吸和语音的音频信息。数字化器331将模拟传感器数据流数字化为数字传感器数据流341。成帧器351从数字传感器数据流341生成数字传感器数据帧361,该数字传感器数据流341包括固定或自适应时间窗内的所有数字传感器数据流值。加密引擎371对数字传感器数据帧361进行编码,使得数据被保护免受未经授权的访问。在实现中,加密引擎371可以将数字音频传感器数据帧361滤波到较低和较窄的频带。在实现中,加密引擎371可以使用掩模模板来掩蔽数字音频传感器数据帧361。在实现中,加密引擎371可以使用数学公式变换数字音频传感器数据帧361。压缩引擎380压缩加密数据以减小将要保存在数据库390中的数据的大小。这降低了成本,并在读取时间期间提供了更快的访问。数据库390可以是本地的、离站储存器、基于云的储存器或其组合。44.在图3中示出的处理流水线300是说明性的,并且可以包括图3中示出的块或模块的任何、全部,不包括图3中示出的块或模块或者包括图3中示出的块或模块的组合。图3中所示的处理顺序是说明性的,并且处理顺序可以在不偏离本说明书或权利要求的范围的情况下变化。45.图4是用于处理力传感器数据的预处理流水线400。预处理流水线400处理数字力传感器数据帧410。降噪单元420去除或衰减可能对每个传感器具有相同或不同水平影响的噪声源。降噪单元420可以使用各种技术,包括但不限于减法、输入数据帧的组合、自适应滤波、小波变换、独立分量分析、主分量分析和/或其他线性或非线性变换。信号增强单元430可以提高输入数据的信噪比。信号增强单元430可以被实现为输入数据帧的线性或非线性组合。例如,信号增强单元430可以组合信号增量以增加信号强度,用于更高分辨率算法分析。子采样单元440、441和442对数字增强传感器数据进行采样,并且可以包括下采样、上采样或重采样。子采样可以实现为多级采样或多阶段采样,并可以使用相同或不同的采样率,用于心脏、呼吸和咳嗽分析。46.心脏分析450确定心率、心跳计时、变异性和心跳形态以及它们从基线或预定义范围的对应变化。2020年4月1日提交的美国临时申请专利序列号63/003,551中示出了用于心脏分析的示例过程,该美国临时申请的全部公开内容在此通过引用并入。呼吸分析460确定呼吸频率、呼吸阶段、深度、计时和变异性、以及呼吸形态和它们从基线或预定义范围的对应变化。2020年4月1日提交的美国临时申请专利序列号63/003,551中示出了用于呼吸分析的示例过程,该美国临时申请的全部公开内容在此通过引用并入。运动分析470确定移动幅度、时间、周期性和模式以及它们从基线或预定义范围的对应变化。健康和睡眠状态分析480组合来自心脏分析450、呼吸分析460和运动分析470的数据,以确定受试者的健康状态、睡眠质量、异常事件、疾病和状况。47.在图4中示出的处理流水线400是说明性的,并且可以包括图4中示出的块或模块的任何、全部,不包括图4中示出的块或模块或者包括图4中示出的块或模块的组合。图4中所示的处理顺序是说明性的,并且处理顺序可以在不偏离本说明书或权利要求的范围的情况下变化。48.图5是用于分析音频传感器数据的示例过程500。流水线500处理数字音频传感器数据帧510。降噪单元520去除或衰减可能对每个传感器具有相同或不同水平影响的环境噪声源或其他噪声源。降噪单元520可以使用各种技术,包括但不限于减法、输入数据帧的组合、自适应滤波、小波变换、独立分量分析、主分量分析和/或其他线性或非线性变换。信号增强单元530可以提高输入数据的信噪比。语音启动检测器540确定受试者是否在与系统进行口头通信。检测器540将音频流与电子命令的字典进行比较,以丢弃不相关的对话,并确定545是否启动了用于交互的口头命令。49.如果没有启动口头命令,则将使用睡眠呼吸障碍分析器550分析增强的数字音频传感器数据帧以检测呼吸失调(breathingdisturbances)。睡眠呼吸障碍分析器550使用数字音频传感器数据帧510、数字力传感器数据帧410或两者来确定呼吸失调。睡眠呼吸障碍分析器550使用包络检测算法、时域分析、谱域分析或时频域分析来识别睡眠呼吸障碍的存在、强度、幅度、持续时间和类型。50.如果确定口头命令已经被启动,则语音识别器560处理增强的数字音频传感器数据帧以识别语音的上下文。在实现中,语音识别器560包括电子命令识别器,该电子命令识别器将受试者的语音与电子命令的字典进行比较。在实现中,语音识别器使用人工智能算法来识别语音。在实现中,语音识别器560使用语音到文本引擎来将受试者的口头命令转换成文本串。响应分类程序(responsecategorizer)570处理来自语音识别器的输出,并确定是否应该发起交互式会话580或者是否应该执行响应动作590。交互式会话的示例是回放音调或播放合成语音。响应动作的示例是打开/关闭家庭自动化功能、用健康状态标记对数据进行标记以用于受试者或受试者的医生的未来访问、呼叫紧急服务或与另一具有语音能力的设备交互。51.图5中示出的处理流水线500是说明性的,并且可以包括图5中示出的部件、块或模块的任何、全部,不包括图5中示出的部件、块或模块或者包括图5中示出的部件、块或模块的组合。图5中所示的处理顺序是说明性的,并且处理顺序可以在不偏离本说明书或权利要求的范围的情况下变化。52.图6是用于通过与具有语音能力的设备交互来分析音频传感器数据的示例过程600。在实现中,具有语音能力的设备可以是充当语音识别器的语音助理设备(诸如和),该语音助理设备通过api进行通信。53.流水线600从具有语音能力的设备接收语音数据610。降噪单元620去除或衰减可能对语音数据具有相同或不同水平影响的环境噪声源或其他噪声源。降噪单元620可以使用各种技术,包括但不限于减法、输入数据帧的组合、自适应滤波、小波变换、独立分量分析、主分量分析和/或其他线性或非线性变换。信号增强单元530可以提高语音数据的信噪比。语音启动检测器640确定受试者是否在与系统进行口头通信。检测器640将语音数据与电子命令的字典进行比较,以丢弃不相关的对话,并确定645是否启动了用于交互的口头命令。54.如果没有启动口头命令,则将使用睡眠呼吸障碍分析器650分析增强的数字语音数据帧以检测呼吸失调。睡眠呼吸障碍分析器650使用语音数据610、数字力传感器数据帧410或两者来确定呼吸失调。睡眠呼吸障碍分析器650使用包络检测算法、时域分析、谱域分析或时频域分析来识别睡眠呼吸障碍的存在、强度、幅度、持续时间和类型。55.如果确定口头命令已经被启动,则语音识别器660处理语音数据帧以识别语音的上下文。在实现中,语音识别器660包括电子命令识别器,该电子命令识别器将受试者的语音与电子命令的字典进行比较。在实现中,语音识别器使用人工智能算法来识别语音。在实现中,语音识别器660使用语音到文本引擎将受试者的口头命令转换成文本串。响应分类程序670处理来自语音识别器的输出,并确定是否应该发起交互式会话680或是否应该执行响应动作690。对应于所分类的响应的命令通过api被发送675到具有语音能力的设备。在实现中,能够使用语音的设备可以充当语音合成器以发起交互式会话680。在实现中,能够使用语音的设备还可以连接到家庭自动化系统或通知系统以执行响应动作690。交互式会话的示例是回放音调或播放合成语音。响应动作的示例是打开/关闭家庭自动化功能,用健康状态标记对数据进行标记以用于受试者或受试者的医生的未来访问,呼叫紧急服务或与另一具有语音能力的设备交互。56.图6中示出的处理流水线600是说明性的,并且可以包括图6中示出的部件、块或模块的任何、全部,不包括图6中示出的部件、块或模块或者包括图6中示出的部件、块或模块的组合。图6中所示的处理顺序是说明性的,并且处理顺序可以在不偏离本说明书或权利要求的范围的情况下变化。57.图7是用于通过语音识别器识别语音的示例过程700。如图5中所述,在确定已经启动语音之后,语音识别器接收710增强的音频数据流。语音识别器通过语音处理检测720与特定请求匹配的电子命令的部分,即检测触发。语音识别器将语音转换成730文本。语音识别器将文本串与电子命令的字典750进行匹配740。语音识别器确定760语音的上下文。上下文是受试者的口头请求的一般类别。例如,示例是运行健康检查、标记或注释用于健康相关的事件的数据、与受试者的医生通信、与紧急服务通信、订购产品以及与家庭自动化交互。语音识别器对上下文进行编码770,并为响应分类程序570准备上下文。58.图7中示出的处理流水线700是说明性的,并且可以包括图7中示出的部件、块或模块的任何、全部,不包括图7中示出的部件、块或模块或者包括图7中示出的部件、块或模块的组合。图7中所示的处理顺序是说明性的,并且处理顺序可以在不偏离本说明书或权利要求的范围的情况下变化。59.图8是用于睡眠呼吸障碍(sdb)检测和响应的示例过程800。接收如在图3和图4中那样处理的数字力传感器帧810。对数字力传感器帧810执行呼吸分析830。呼吸分析830可以包括滤波、组合、包络检测和其他算法。在呼吸分析830的输出上计算850频谱或时间频谱。接收如在图3和图5中那样处理的数字音频力传感器帧820。对数字音频力传感器帧820执行包络检测840。在包络检测840的输出上计算860频谱或时间频谱。对数字力传感器帧810和数字音频传感器帧820执行融合传感器处理870,诸如归一化幅度或频率参数、互相关或相干性或类似的相似性度量,以用于创建组合信号或特征集合。60.使用包络、时域、频域、时频和来自力和音频传感器的融合的参数来确定880睡眠呼吸障碍(sdb)。实现包括基于阈值的技术、模板匹配方法、或使用分类器来检测睡眠呼吸障碍。一旦检测到睡眠呼吸障碍,过程880确定睡眠呼吸障碍的强度(例如,轻度、轻微、中度、重度)、幅度、持续时间和类型。如果检测到885睡眠呼吸障碍,则为检测到的sdb确定适当的响应890,诸如改变床(例如,坚固性)、卧室(例如,照明)的可调功能,播放声音以使睡眠者改变定位,或转变到较轻的睡眠状态,并因此帮助停止、减少或改变呼吸障碍。61.图8中示出的处理流水线800是说明性的,并且可以包括图8中示出的部件、块或模块的任何、全部,不包括图8中示出的部件、块或模块或者包括图8中示出的部件、块或模块的组合。图8中所示的处理顺序是说明性的,并且处理顺序可以在不偏离本说明书或权利要求的范围的情况下变化。62.图7是用于从msmda数据确定重量的方法700的流程图。方法700包括:获得710msmda数据;校准720msmda数据;对校准后的msmda数据执行730叠加分析;将msmda数据变换740为重量;最终确定750重量;并输出760重量。63.方法700包括获得710msmda数据。如所述,从预处理流水线600生成msmda数据。64.方法700包括校准720msmda数据。校准过程将多个传感器读数与期望值或范围进行比较。如果值不同,则调整msmda数据以校准到期望值范围。校准是通过关闭所有其他源(即将它们设置为零)来实现的,以便确定新对象的重量。例如,床、被褥和枕头的重量是在新对象之前确定的。例如,在使用之前建立设备的基线。在实现中,一旦受试者或对象(统称为“项目(item)”)在设备上,就确定并保存项目基线。这样做使得可以使用本文描述的方法正确地处理来自具有多个项目的设备的数据。65.方法700包括对校准后的msmda数据执行730叠加分析。叠加分析提供了由每个单独作用的独立传感器引起的读数之和。叠加分析可以实现为来自所有传感器的响应的代数和、加权和或非线性和。66.方法700包括将msmda数据变换740为重量。可以使用各种已知或将已知的技术来将传感器数据,即msmda数据变换为重量。67.方法700包括最终确定750重量。在实现中,最终确定重量可以包括平滑、对照范围进行检查、对照字典或过去的值进行检查。在实现中,最终确定重量可以包括由于诸如床类型、床大小、睡眠者的位置、睡眠者的定位、睡眠者的取向等的其他因素而进行的调整。68.方法700包括并输出760重量。重量被存储以用于本文所述的方法。69.可以用硬件、软件或其任何组合来实现控制器200、控制器214、处理器422和/或控制器414(以及存储在其上和/或其此执行的算法、方法、指令等)的实现。例如,硬件可以包括计算机、知识产权(ip)核、专用集成电路(asic)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微码、微控制器、服务器、微处理器、数字信号处理器或任何其他合适的电路。在权利要求中,术语“控制器”应该被理解为以单独或组合的形式包括前述硬件中的任何一个。70.此外,在一个方面,例如,控制器200、控制器214、处理器422和/或控制器414可以使用通用计算机或具有计算机程序的通用处理器来实现,该计算机程序在被执行时,执行本文所述的任何相应方法、算法和/或指令。此外或替代地,例如,可以利用专用计算机/处理器,其可以包含用于执行本文所述的任何方法、算法或指令的其它硬件。71.控制器200、控制器214、处理器422和/或控制器414可以是一个或多个专用处理器、数字信号处理器、微处理器、控制器、微控制器、应用处理器、中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列、任何其他类型的集成电路或集成电路的组合、状态机、或它们在分布式架构、集中式架构、基于云的架构和/或这些架构的组合中的任何组合。72.通常,一种设备包括:被配置成支撑受试者的基板;被配置成捕获关于受试者的声学信号和力信号的多个非接触传感器;被配置成与受试者通信的音频接口;以及与多个传感器和音频接口连接的处理器。该处理器被配置成从声学信号和力信号中的一个或更多个确定生物信号,以监测受试者的健康状态,并检测声学信号中语音的存在。该音频接口被配置成基于由于受试者的健康状态而需要的动作和检测到的语音中的口头命令中的至少一个,与受试者或关联于受试者的实体中的至少一个交互地通信。73.在实现中,处理器还被配置成通过以下至少一项来加密数字化声学信号:将数字化声学信号滤波到较低和较窄的频率,使用掩模模板或加密密钥掩蔽数字化声学信号,以及使用数学公式变换数字化声学信号。在实现中,处理器还被配置成将声学信号与电子命令的字典进行比较,以丢弃不相关的对话,确定口头命令的存在,在确定了口头命令时识别语音上下文,并执行以下中的至少一项:基于口头命令和语音上下文,经由音频接口发起与受试者或另一实体中的至少一个的交互式会话,以及基于口头命令和语音上下文确定响应动作。在实现中,音频接口还被配置成识别和响应来自所指定的个人的声音命令。在实现中,处理器还被配置成:将声学信号与电子命令的字典进行比较,以丢弃不相关的对话,确定口头命令的存在;分析声学信号以在未能检测到口头命令时检测呼吸失调,并确定对于检测到睡眠呼吸障碍(sdb)的响应动作。在实现中,多个非接触传感器被配置成从受试者相对于基板的动作中捕获力信号,该处理器还被配置成基于该力信号执行心脏分析、呼吸分析和运动分析中的至少一个以确定受试者的健康状态。在实现中,在执行呼吸失调分析以确定受试者的健康状态时,处理器还被配置成:基于一个或更多个相似性度量来融合力信号和声学信号以生成融合信号,使用融合信号、力信号和声学信号检测睡眠呼吸障碍(sdb),并确定对于检测到sdb的响应动作。在实现中,其中响应动作是以下中的一个或更多个:可听音调、可听消息、用于家庭自动化设备的触发、用于语音助理设备的触发、对实体或紧急服务的呼叫、标记数据用于未来访问、数据库条目和健康检查。在实现中,处理器还被配置成确定sdb的强度、幅度、持续时间和类型。74.通常,一种系统包括:被配置成与受试者或关联于受试者的实体中的至少一个通信的具有语音能力的设备;以及与具有语音能力的设备通信的设备,该设备包括:被配置成支撑受试者的基板;多个非接触传感器,该非接触传感器被配置成捕获关于受试者的声学信号和来自受试者相对于基板的动作的力信号;以及与多个传感器和音频接口连接的处理器。该处理器被配置成:基于力信号和声学信号监测受试者的健康状态,并检测声学信号中的口头命令。具有语音能力的设备被配置成基于由于受试者的健康状态而需要的响应动作和口头命令的检测中的至少一个与至少受试者或实体交互地通信。75.在实现中,处理器还被配置成通过以下至少一项来加密数字化声学信号:将数字化声学信号滤波到较低和较窄的频率,使用掩模模板或加密密钥掩蔽数字化声学信号,以及使用数学公式变换数字化声学信号。在实现中,处理器还被配置成将声学信号与电子命令的字典进行比较,以丢弃不相关的对话,确定口头命令的存在,在确定了口头命令时识别语音上下文,并执行以下中的至少一项:基于口头命令和语音上下文,经由具有语音能力的设备发起与受试者或实体中的至少一个的交互式会话,以及基于口头命令和语音上下文确定响应动作。在实现中,具有语音能力的设备还被配置成识别和响应来自所指定的个人的声音命令。在实现中,处理器还被配置成基于力信号执行至少呼吸分析,将声学信号与电子命令的字典进行比较以丢弃不相关的对话,确定口头命令的存在,在未能检测到口头命令时基于一个或更多个相似性度量将力信号和声学信号融合为生成的融合信号,以使用融合信号、力信号和声学信号检测睡眠呼吸障碍(sdb),并确定对于检测到sdb的响应动作。在实现中,处理器还被配置成确定sdb的强度、幅度、持续时间和类型。在实现中,响应动作是以下中的一个或更多个:可听音调、可听消息、用于家庭自动化设备的触发、用于语音助理设备的触发、对实体或紧急服务的呼叫、标记数据用于未来访问、数据库条目和健康检查。76.通常,一种用于确定项目特定参数的方法包括:从相对于基板上的受试者放置的多个非接触传感器捕获音频信号和力信号;从音频信号和力信号中确定至少生物信号信息;检测声学信号中语音的存在;以及基于由于受试者的健康状态而需要的动作和在检测到的语音中发现的口头命令中的至少一个,与受试者或关联于受试者的实体中的至少一个交互地通信。77.在实现中,该方法还包括通过以下至少一项来加密数字化声学信号:将数字化声学信号滤波到较低和较窄的频率,使用掩模模板或加密密钥掩蔽数字化声学信号,以及使用数学公式变换数字化声学信号。在实现中,该方法还包括:将声学信号与电子命令的字典进行比较,以丢弃不相关的对话,确定口头命令的存在,在确定了口头命令时识别语音上下文,并执行以下中的至少一项:基于口头命令和语音上下文,经由音频接口发起与受试者或另一实体中的至少一个的交互式会话,以及基于口头命令和语音上下文确定响应动作。在实现中,该方法还包括识别和响应来自所指定的个人的声音命令。在实现中,该方法还包括将声学信号与电子命令的字典进行比较,以丢弃不相关的对话,确定口头命令的存在,分析声学信号以在未能检测到口头命令时检测呼吸失调,并确定对于检测到睡眠呼吸障碍(sdb)的响应动作。在实现中,该方法还包括基于力信号执行心脏分析、呼吸分析和运动分析中的至少一个以确定受试者的健康状态。在实现中,该方法还包括执行呼吸失调分析以确定受试者的健康状态,该执行还包括基于一个或更多个相似性度量融合力信号和声学信号以生成融合信号,使用融合信号、力信号和声学信号检测睡眠呼吸障碍(sdb),以及确定对于检测到sdb的响应动作。在实现中,响应动作是以下中的一个或更多个:可听音调、可听消息、用于家庭自动化设备的触发、用于语音助理设备的触发、对实体或紧急服务的呼叫、标记数据用于未来访问、数据库条目和健康检查。在实现中,该方法还包括确定sdb的强度、幅度、持续时间和类型。在实现中,该方法还包括:基于捕获的力信号执行至少呼吸分析,将声学信号与电子命令的字典进行比较,以丢弃不相关的对话;确定口头命令的存在;在未能检测到口头命令时基于一个或更多个相似性度量将力信号和声学信号融合为生成的融合信号;使用融合信号、力信号和声学信号检测睡眠呼吸障碍(sdb);以及确定对于检测到sdb的响应动作。78.通常,一种设备包括:被配置成支撑受试者的基板;被配置成捕获关于受试者的力信号的多个非接触传感器;与多个传感器连接的处理器,该处理器被配置成从力信号确定生物信号以监测受试者的健康状态;以及音频接口,该音频接口被配置成基于由于受试者的健康状态而需要的动作和经由具有语音能力的设备接收的口头命令中的至少一个,与受试者或关联于受试者的实体中的至少一个交互地通信。79.通常,一种设备包括:被配置成支撑受试者的基板;被配置成捕获关于受试者的声学信号和力信号的多个非接触传感器;被配置成与受试者通信的音频接口;以及与多个传感器和音频接口连接的处理器。该处理器被配置成从声学信号和力信号中的一个或更多个确定生物信号以监测受试者的健康状态,并从语音检测实体接收声学信号中检测到的语音。该音频接口被配置成基于由于受试者的健康状态而需要的动作和检测到的语音中的口头命令中的至少一个,与受试者或关联于受试者的实体中的至少一个交互地通信。80.本文中使用的词语“示例”、“方面”或“实施例”意为用作示例、实例或说明。本文中描述为使用这些词中的一个或更多个的任何方面或设计不必被解释为比其它方面或设计优选或有利。相反,词语“示例”、“方面”或“实施例”的使用旨在以具体方式呈现概念。如在本技术中所使用的,术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说,除非另有说明或从上下文中是清楚的,否则“x包括a或b”旨在表示自然包含的排列中的任一个。也就是说,如果x包括a;x包括b;或x包括a和b二者,那么在前述实例中的任一个下满足“x包括a或b”。另外,如在本技术和所附权利要求中使用的冠词“一(a)”和“一(an)”通常应该被解释为意指“一个或更多个”,除非另有说明或从上下文中清楚地针对单数形式。81.尽管已经结合某些实施例描述了本公开,但应当理解,本公开不限于所公开的实施例,相反,其旨在覆盖包括在所附权利要求范围内的各种修改和等效布置,所述范围将符合最广泛的解释,以便包括法律允许的所有此类修改和等效结构。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1