紧急情况事件检测与响应系统的制作方法

紧急情况事件检测与响应系统
1.对相关申请的交叉引用
2.本技术要求于2019年4月12日提交的美国临时申请62/833,522的权益，其全部内容通过引用并入本文。
技术领域
3.所描述的实施例涉及紧急情况事件的检测，特别是检测和响应影响用户的紧急情况事件，以及发起响应流程以向用户提供援助。


背景技术：

4.许多老年人在他们的住所中单独生活。这意味着可能发生诸如突发疾病、跌倒或其他伤害等医疗紧急情况的重大风险，致使受害者无法获得快速援助——例如，通过能够拨打电话或吸引路人的注意。已经做出了一些尝试来应对该挑战，诸如通过向人们提供可以被人物理激活以请求监控机构的援助的设备。


技术实现要素：

5.紧急情况事件检测和响应系统检测与系统的用户相关联的紧急情况事件的发生并且基于检测的紧急情况来发起紧急情况响应流程。响应系统的用户(在本文中也被称为护理接受方)可以与可穿戴设备相关联并且可以在他或她的家中具有基站和一个或多个可移动或固定无线设备，该无线设备包含能够检测紧急情况事件的传感器。紧急情况事件可以基于来自用户的语音或非语音音频输入、由可穿戴设备、基站和/或可移动或固定无线设备的数据监控、或通过物理按钮按压中的一个或多个而被检测。响应于检测到紧急情况事件已经发生，并且在一些实施例中，响应于确认与用户的紧急情况事件，系统通过通知呼叫中心并且联系与用户相关联的一个或多个看护方来触发紧急情况响应流程。看护方可以访问响应系统应用以接收关于所检测的紧急情况的更新并且联系用户和/或与呼叫中心相关联的提供方。
具体实施方式
6.图1图示了根据实施例的紧急情况响应系统100的框图。使用用户客户端设备110、看护方客户端设备120和紧急情况响应提供方客户端设备130的一个或多个用户经由网络140来与响应系统150通信。在备选配置中，不同的和/或附加的组件可以被包括在紧急情况响应系统100。
7.用户客户端设备110、看护方客户端设备120和紧急情况响应提供方客户端设备130是能够接收被动或主动用户输入以及经由网络140来发送和/或接收数据的计算设备。在一个实施例中，客户端设备110、120和130是诸如台式或膝上型计算机的常规计算机系统，被配置为实现本文所描述的方法。备选地，客户端设备110、120和130可以是具有计算机功能性的其他设备，诸如个人数字助理(pda)、移动电话、智能电话、专用设备、物联网(iot)
设备或其他合适的设备。客户端设备110、120和130被配置为经由网络140来与响应系统150通信。
8.响应系统150可以使用任何多种通信标准、协议和技术，包括但不限于全球移动通信系统(gsm)、增强型数据gsm环境(edge)、高速下行链路分组接入(hsdpa)、宽带码分多址(w-cdma)、码分多址(cdma)、时分多址(tdma)、无线保真(wi-fi)(例如，ieee 802.11)、zigbee、z-wave、低功耗广域网(lpwan)、窄带物联网(nb-iot)、互联网协议语音(voip)、wi-max、电子邮件协议(例如，互联网消息访问协议(imap)和/或邮局协议(pop))、即时消息收发(例如，可扩展消息收发和在线协议(xmpp)、用于即时消息收发和在线杠杆扩展的会话发起协议(simple)、和/或即时消息收发和在线服务(imps))和/或短消息服务(sms))，或任何其他合适的通信协议。在一个实施例中，紧急情况响应系统100的组件可以在使用wi-fi和lte协议之间交替。
9.在一个实施例中，客户端设备110、120和130分别执行允许客户端设备110、120和130的用户与响应系统150交互的应用102、104和106。例如，客户端设备110、120和130执行浏览器应用以通过网络140启用客户端设备110、120和130与响应系统150之间的交互。在另一实施例中，客户端设备110、120、和130通过在客户端设备110、120和130的本地操作系统上运行的应用编程接口(api)来与响应系统150交互，本地操作系统诸如苹果公司的或google公司的安卓
tm
操作系统。
10.用户客户端设备110可以与被配置为监控用户健康数据的可穿戴无线设备(未示出)相关联。在一个实施例中，可穿戴设备包括接触用户皮肤的背面和包括被配置为接收用户输入的一个或多个输入元素(诸如，按钮)的正面。例如，如果用户割伤了自己、感觉头晕等，她可能会按下按钮。可穿戴设备可以包括允许收集用户健康数据的传感器，诸如用户的心率、脉搏、活动数据等。在一些实施例中，可穿戴设备包括诸如加速度计和/或陀螺仪的一个或多个传感器，其能够检测到用户已经跌倒并且通知响应系统150。可穿戴设备可以包括能够接收语音输入并且向可穿戴设备的用户输出音频的扬声器和/或麦克风。
11.在一些实施例中，用户客户端设备110与基站、一个或多个无线设备和一个或多个射频(rf)设备(未示出)相关联，该一个或多个射频设备检测事件的发生并且向响应系统150发送事件数据。在一个实施例中，基站是固定位置的收发器，并且无线设备(在本文中也被称为智能按钮)与基站相关联并且可以被放置在用户的环境中(例如，在用户家的卧室和/或浴室中)。无线设备可以是便携式的或固定的。例如，在一个实施例中，无线设备可以在用户家中从房间移动到另一房间，而在另一实施例中，无线设备被固定到表面(诸如，墙壁)。基站和无线设备包括能够检测跌倒或其他紧急情况事件可能已经发生的一个或多个传感器。例如，在一个实施例中，基站包括麦克风，该麦克风可以检测基站所在环境中出现的噪声。基站将所检测的噪声数据发送到响应系统150，响应系统150将检测到的噪声与符合紧急情况事件(诸如，用户跌倒或玻璃破碎)的噪声剖面(“noise profile”)进行比较，以确定紧急情况事件是否已经发生。备选地，在一些实施例中，在本地执行噪声剖面比较，诸如在基站、无线设备或用户客户端设备110处。符合紧急情况事件的噪声剖面可以由响应系统150和/或用户客户端存储设备110存储，并且由实施方随时间补充。
12.在一些实施例中，基站还包括扬声器，其响应于来自响应系统150的指令和/或在
预定义时间输出音频。例如，如果响应系统150检测到紧急情况事件已经发生(诸如，响应于可穿戴设备上的按钮按压或检测到与用户跌倒或玻璃破碎的噪声剖面至少具有阈值等级的相似性的音频输入)，响应系统150指示基站通过扬声器来输出音频。基站可以输出语音提示，要求用户确认是否发生了紧急情况事件。如果基站检测到用户已经确认紧急情况或未检测到对语音提示的响应，则基站将确认报告给响应系统150，触发紧急情况响应流程，如下面所讨论。相反，如果基站检测到用户的否定响应(即，未发生紧急情况事件)，则基站向响应系统150发送响应，从而触发误报警流程。在一些实施例中，如果未检测到对第一语音提示的响应，则基站输出一个或多个附加语音提示。例如，基站可以以越来越高的音量来输出第二或连续的语音提示，并且如果没有检测到对提示的响应，则可以通知响应系统150。
13.rf设备是射频雷达，其创建房间、物体和周围环境的三维地图。这种环境监控可以被用于移动、姿势、动态或静止位置以及呼吸等级。在一个实施例中，rf设备可以被用来确定可能发生了紧急情况事件。例如，rf设备可以监控接收的无线电信号的接收信号强度(rss)，以检测用户环境中的物理变化。可以使用指示身体变化的训练数据(例如，与用户跌倒相关联的rss读数)来训练rf设备，并且可以将信号强度中的变化与训练数据进行比较。如果接收信号的rss偏离训练数据小于阈值量，则rf设备通知响应系统150紧急情况事件可能已经发生。
14.响应系统150分析从可穿戴设备、基站、无线设备和/或rf设备接收的数据(例如，使用机器学习或人工智能)，并且响应于确定已经发生了紧急情况事件而触发紧急情况响应流程。在图1中所示的实施例中，响应系统150包括紧急情况检测模块155、响应模块160、用户简档数据存储库165和紧急情况响应提供方170。在其他实施例中，响应系统150可以包括用于各种应用的附加的、更少的或不同的组件。未示出诸如网络接口、安全功能、负载平衡器、故障转移服务器、管理和网络操作控制台的常规组件，以免混淆所描述的系统架构的细节。
15.响应系统150的每个用户与用户简档相关联，该用户简档被存储在用户简档数据存储库165中。用户简档包括由用户明确共享的、关于用户的声明性信息，并且还可以包括由响应系统150推断的简档信息。在一个实施例中，用户简档包括多个数据字段，每个字段描述对应用户的一个或多个属性。存储在用户简档中的信息的示例包括个人简介、人口统计和医疗信息，诸如已知的医疗状况、有效处方、先前检测的紧急情况事件的细节等。用户简档还可以存储针对每个用户的紧急情况联系信息，诸如针对一个或多个看护方的联系信息以及在检测到紧急情况事件的情况下应当联系看护方的顺序。此外，在一些实施例中，响应系统150可以将存储在用户简档中的数据提供给紧急情况响应提供方的紧急情况响应提供方客户端设备130，紧急情况响应提供方被指派给检测到的紧急情况事件。
16.紧急情况检测模块155基于从可穿戴设备、基站、无线设备和/或rf设备接收的数据来检测紧急情况事件的发生(或未发生)。例如，在一个实施例中，响应于通过可穿戴设备接收到用户输入，诸如按钮按压(例如，如果用户感觉虚弱或割伤了自己)，紧急情况检测模块155检测到紧急情况事件已经发生了。在另一实施例中，紧急情况事件检测可以基于从无线设备接收的传感器数据。例如，如果固定到用户浴室的墙壁上的固定传感器确定用户已经有45分钟没有离开浴室，则紧急情况检测模块155确定可能的紧急情况事件并且触发紧
急情况响应流程。紧急情况事件检测还可以由到可穿戴设备、基站或无线设备的用户音频输入来触发。例如，紧急情况检测模块155可以对用户语音输入执行语音识别，并且将接收的输入与特定于紧急情况事件检测的语法或语言模型进行比较。响应于检测到用户输入指示可能的紧急情况，紧急情况检测模块155指示响应模块160发起紧急情况响应流程。更进一步地，基于从基站接收的噪声数据(例如，非语音音频输入)，紧急情况检测模块155可以检测到紧急情况事件已经发生。例如，紧急情况检测模块155可以基于先前收集的传感器数据将接收的噪声数据与紧急情况事件(诸如，用户跌倒或玻璃破碎)的已知噪声剖面进行比较。响应于噪声数据与紧急情况事件的噪声剖面相匹配(即，至少具有阈值等级的相似性)，紧急情况检测模块155确定紧急情况事件可能已经发生。在其他实施例中，基于由rf设备执行的环境监控来检测紧急情况事件。
17.在一些实施例中，紧急情况检测模块155确定紧急情况事件已经发生并且指示响应模块160发起紧急情况响应流程而不提示用户确认紧急情况。例如，紧急情况检测模块155可能检测到用户已经按下了可穿戴设备上的按钮、已经通过用户应用102来请求援助、和/或已经向基站或无线设备提供了指示紧急情况的音频输入(例如，尖叫或大喊)，或者已经说出了触发列表上的一个或多个词(例如，“救命”、“紧急情况”、“哎哟”等)。响应于确定这些事件中的一个或多个事件已经发生，紧急情况检测模块155自动地触发紧急情况响应流程。
18.在其他实施例中，紧急情况检测模块155在指示响应模块160发起紧急情况响应流程之前，提示用户客户端设备110和/或关联的可穿戴设备或基站确认紧急情况事件已经发生。例如，如上所述，基站向用户输出语音提示。在一个实施例中，对语音提示的肯定回答指示已经发生了紧急情况事件。例如，语音提示可以询问用户是否跌倒了、用户是否需要帮助、用户是否已经受到伤害等。备选地，对语音提示的否定回答是紧急情况的指示。例如，语音提示可以询问用户是否还好。基站将接收的音频数据发送给紧急情况检测模块155，紧急情况检测模块155分析音频数据以确定用户是否对语音提示做出响应。在一些实施例中，与响应系统150相关联的人类监控方分析接收的数据，以确定紧急情况事件是否已经发生(例如，如果紧急情况检测模块155不能做出至少具有阈值置信等级的确定性确定，这可以由实施方来选择)。
19.在一些实施例中，紧急情况检测模块155确定用户没有在阈值时间段(例如，10秒)内响应语音提示或者从基站接收的音频数据不是清晰可听的或不符合人声，并且指示基站输出第二语音提示，该第二语音提示要求用户确认是否已经发生紧急情况事件。在一些实施例中，第二语音提示包括与第一语音提示相同的语言，但是从基站以更高的音量输出。备选地，以与第一语音提示相同的音量来输出第二语音提示。基站将接收的音频数据发送给紧急情况检测模块155，以确定用户是否已经确认紧急情况。在一个实施例中，响应于确定用户还没有对第二语音提示做出响应，紧急情况检测模块155指示基站输出一个或多个附加语音提示。备选地，如果紧急情况检测模块155没有检测到用户对紧急情况的确认或者缺少确认，则紧急情况检测模块155确定已经发生紧急情况事件并且触发紧急情况响应流程。
20.紧急情况检测模块155将接收的音频数据与特定于紧急情况事件检测的语法或语言模型进行比较，以确定用户是否已经确认了紧急情况。如果紧急情况检测模块155确定尚未发生紧急情况事件(例如，基于用户确认用户没有跌倒、不需要帮助等的音频输入)，则紧
急情况检测模块155指示响应模块160发起误报警流程。
21.响应于接收到触发误报警流程的指令，响应模块160向用户简档数据存储库165查询与用户相关联的、针对一个或多个看护方的联系信息并且查询用户(例如，通过可穿戴设备、基站或用户客户端设备110上的音频输出)以确定用户是否想要联系看护方中的一个或多个看护方。例如，响应模块160可能确定用户的看护方是她的儿子并且可能指示基站输出语音提示，询问用户她是否想给她的儿子打电话。如果用户的回答是肯定的，则响应模块联系用户的儿子(例如，通过看护方应用104或移动电话或voip呼叫)。
22.备选地，响应模块160通过看护方客户端设备120上的看护方应用104直接向看护方发送消息。在不止一个看护方与用户相关联的实施例中，响应模块160仅联系第一看护方、一个以上的看护方或所有看护方，具体取决于用户指定的设置。例如，用户可能将她的女儿指定为第一看护方，将她的儿子指定为第二看护方，并且将她的妹妹指定为第三看护方，并且可以指示响应系统150在检测到紧急情况或误报警的情况下联系她的女儿，她的女儿和儿子，或者她的女儿、儿子和姐姐。
23.响应模块160通过看护方应用104通知一个或多个看护方120发生了误报警，并且使看护方能够采取与误报警相关联的一个或多个行动。例如，看护方可以通过看护方应用104来提供输入，请求通过基站或可穿戴设备来与用户通信。以这种方式，看护方可以直接与用户交谈而不需要用户通过用户客户端设备110进行通信。附加地，看护方可以向看护方应用104提供输入，以报告紧急情况事件。例如，在与用户交谈之后，看护方可能确定已经发生了紧急情况事件——即使用户输入指示误报警。看护方可以通过看护方应用104将与紧急情况响应提供方170相关联的个人(诸如，人工代理、医生或护士)添加到用户和看护方之间的呼叫中，从而触发紧急情况响应流程。在一个实施例中，紧急情况响应提供方170是电话呼叫中心。响应于接收到将提供方添加到呼叫中的看护方输入，响应模块160发起客户端设备110、120和130之间的会议桥。如果响应模块160确定看护方客户端设备120不再参与呼叫(即，看护方已经挂断)，则会议桥在用户客户端设备110和紧急情况响应提供方客户端设备130之间保持活动直到呼叫结束。
24.如果紧急情况检测模块155确定已经发生紧急情况事件(例如，基于音频输入或缺乏对语音提示的用户响应或基于看护方的输入)，则紧急情况检测模块155指示响应模块160发起紧急情况响应流程。响应模块160联系紧急情况响应提供方170(在本文中也被称为“呼叫中心”)，其将检测到的紧急情况指派给与一个或多个紧急情况响应提供方客户端设备130相关联的一个或多个提供方。在一个实施例中，响应于确定已经发生了紧急情况事件(例如，如果用户没有对来自基站的一个或多个语音提示做出响应)，紧急情况响应中心自动呼叫911或其他紧急情况或医疗服务并且代表用户请求援助。备选地，响应系统150在被指派的提供方和用户之间发起呼叫。用户可以通过用户客户端设备110、可穿戴设备或基站上的用户应用102来与提供方进行通信，并且提供方可以通过紧急情况响应提供方客户端设备130上的提供方应用106来与用户进行通信。提供方可以与用户交谈以确定紧急情况事件的范围和对紧急情况事件的适当响应。例如，如果紧急情况响应中心没有自动联系紧急情况或者医疗服务，则提供方可以确定用户是否需要医疗援助和/或是否应该联系一个或多个看护方。
25.在用户和提供方之间发起呼叫之后，响应模块160通过看护方应用104或通过移动
或voip呼叫将紧急情况事件通知给看护方中的一个或多个看护方。如上所述，在多于一个的看护方与用户相关联的实施例中，响应模块160通知第一看护方、多于一个的看护方或所有看护方。一个或多个看护方可以通过看护方应用104访问有关检测到的紧急情况的信息。例如，在一个实施例中，看护方应用104包括允许看护方向一个或多个其他看护方发消息的界面元素，提供输入以指示响应系统150呼叫用户的紧急情况联系人(例如，邻居或家庭成员)，查看用户与所指派的提供方之间的呼叫状态，和/或加入用户与提供方之间的呼叫。响应模块160基于来自用户、提供方或一个或多个看护方的输入来更新紧急情况响应的状态，并且生成用于在看护方应用104上显示的馈送。例如，馈送可以通知看护方：响应系统150在基站上与用户连接，提供方结束了与用户的呼叫，紧急情况医疗队已被派往用户家，等等。在紧急情况事件解决之后，响应系统150通过看护方应用104或通过移动电话或voip呼叫联系一个或多个看护方以提供针对紧急情况的详细报告。
26.图2图示了根据实施例的用于紧急情况事件检测和响应的方法200的流程图。图2的步骤是从执行方法200的响应系统150的角度而被图示出的。然而，一些或所有步骤可以由其他实体或组件来执行。此外，一些实施例可以并行执行这些步骤，以不同的顺序执行这些步骤，或者执行不同的步骤。
27.在202处，响应系统150接收由与用户相关联的、一个或多个无线设备所收集的音频数据。在各种实施例中，音频数据可以是语音数据或非语音音频数据。例如，如以上关于图1所描述的，无线设备可以是可穿戴设备、基站和/或便携式或固定无线设备，其被配置为从用户接收被动或主动输入(例如，经由语音、按钮按压等)。
28.在接收的音频数据是非语音音频数据的实施例中，紧急情况检测模块155将接收的音频数据与关联于诸如跌倒的紧急情况事件的噪声剖面进行比较204。如果紧急情况检测模块155确定206在接收的音频数据和噪声剖面之间存在至少阈值等级的相似性，则紧急情况检测模块155确定可能已经发生了紧急情况事件。相反，如果在接收的用户数据和噪声剖面之间不存在阈值等级的相似性，则紧急情况检测模块155确定紧急情况事件很可能未发生并且继续监控从一个或多个无线设备接收的音频数据。在一些实施例中，响应于紧急情况检测模块155确定紧急情况事件可能未发生，响应模块160触发误报警流程。在接收的音频数据是语音输入的实施例中，紧急情况检测模块155对输入执行语音识别并且将识别的输入与特定于紧急情况事件检测的语法或语言模型进行比较，以确定紧急情况事件是否可能已经发生。
29.在紧急情况检测模块155确定紧急情况事件可能已经发生(例如，基于语音或非语音音频数据)的实施例中，响应模块160向一个或多个无线设备(诸如，可穿戴设备、基站和/或无线设备)发送指令以输出语音提示，要求用户确认紧急情况的发生。在一些实施例中，响应系统150响应于从一个或多个无线设备接收到确认紧急情况的音频数据(例如，诸如响应于询问用户她是否摔倒的语音提示的“救命”、“我摔倒了”、“是的”或者响应于询问用户她是否还好的“不好”的用户语音输入)而触发紧急情况响应流程。在其他实施例中，响应于紧急情况检测模块155基于从无线设备接收的音频数据或者缺乏接收的音频数据，来确定用户在阈值时间段逝去(例如，在语音提示输出的5秒内)之前没有对语音提示做出响应而发起紧急情况响应流程。此外，在一些实施例中，响应于确定用户没有对初始语音提示做出响应，紧急情况检测模块155指示无线设备输出第二语音提示以请求对紧急情况事件的确
认，并且如果未检测到用户对第二语音提示的响应，则触发紧急情况响应流程。
30.所描述的实施例基于与紧急情况事件(例如，跌倒或玻璃破碎)的噪声剖面相匹配的非语音音频数据或与特定于紧急情况事件检测的语言模型相匹配的被识别语音音频数据来发起紧急情况响应流程。在其他实施例中，紧急情况响应流程由用户手动触发(例如，经由可穿戴设备或基站上的按钮按压)来触发，基于指示紧急情况的其他非语音音频数据(例如，尖叫或大喊)，和/或基于射频信号的rss。
31.图1中所示的实体是使用一个或多个计算机来实现的。图3是图示了根据一个实施例的用于担当客户端设备110、120或130或响应系统150的计算机系统300的框图。所图示的是耦合到芯片组304的至少一个处理器302。耦合到芯片组304的还有存储器306、存储设备308、键盘310、图形适配器312、指向设备314和网络适配器316。显示器318耦合到图形适配器312。在一个实施例中，芯片组304的功能性由存储器控制器集线器320和i/o控制器集线器322提供。在另一实施例中，存储器306直接耦合到处理器302而不是芯片组304。
32.存储设备308是任何非暂态计算机可读存储介质，诸如硬盘驱动器、光盘只读存储器(cd-rom)、dvd或固态存储器设备。存储器306保存由处理器302使用的指令和数据。指向设备314可以是鼠标、轨迹球或其他类型的定点设备，并且与键盘310结合使用以将数据输入到计算机系统300中。图形适配器312在显示器318上显示图像和其他信息。网络适配器316将计算机系统300耦合到网络140。
33.如本领域中已知的，计算机300可以具有与图3中所示的那些不同的和/或其他的组件。此外，计算机300可以缺少某些图示的组件。例如，充当响应系统150的计算机可以由链接在一起成为一个或多个分布式系统的多个刀片服务器形成并且缺少诸如键盘和显示器的组件。此外，存储设备308可以是本地的和/或是远离计算机300的(诸如，包含在存储区域网络(san)内)。前面的描述是出于说明的目的而提出的；它并不旨在穷尽的或将本发明限制为所公开的精确形式。相关领域的技术人员可以了解，根据上述公开内容，许多修改和变化是可能的。
34.本说明书的一些部分在对信息的操作的算法和符号表示方面来描述实施例。这些算法描述和表示通常被数据处理领域的技术人员用来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能计算上或逻辑上进行描述，但是应当理解为由计算机程序或等效电路微代码等来实现。此外，在不失一般性的情况下，有时也证明将这些操作布置称为模块是方便的。所描述的操作及其关联的模块可以被具化在软件固件硬件或其任何组合中。
35.可以单独地或与其他设备结合利用一个或多个硬件或软件模块来执行或实现本文描述的任何步骤操作或过程。在一个实施例中，软件模块由计算机程序产品来实现，该计算机程序产品包括计算机可读介质，该计算机可读介质包含计算机程序代码，该计算机程序代码可以由计算机处理器执行以用于执行所描述的任何或所有步骤操作或过程。
36.实施例还可以涉及一种用于执行本文的操作的装置。该装置可以为所需目的而被特别构造和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以被存储在非暂态有形计算机可读存储介质或适合于存储可以耦合到计算机系统总线的电子指令的任何类型的介质中。此外，本说明书中提及的任何计算系统可以包括单个处理器或者可以是采用多处理器设计以提高计算能力的架构。
37.实施例还可以涉及通过本文描述的计算过程所产生的产品。这样的产品可以包括从计算过程产生的信息，其中该信息被存储在非暂态有形计算机可读存储介质上，并且可以包括计算机程序产品或本文描述的其他数据组合的任何实施例。
38.最后，在说明书中使用的语言主要是为了可读性和指导目的而选择的，并且其可能没有被选择来划定或限定本发明的主题。因此，本发明的范围旨在不受此详细描述的限制，而是由基于本文的申请所发布的任何权利要求来限制。