SP02小程序：AI辅助SP02测量APP的制作方法

sp02小程序：ai辅助sp02测量app
1.相关申请的交叉引用
2.本技术要求于2020年5月8日提交的美国申请16/869,740的优先权，该美国申请在此通过引用明确地整体并入至本技术中。


背景技术：
1.技术领域
3.公开的主题涉及用于体积描记图和血氧饱和度分析的系统。
4.2.相关技术的描述
5.相关技术无法充分弥合医学分析与一般公众之间的差距，并且对各种健康参数的测试和关于这些测试的建议可能不容易获得。
6.因此，存在对包括恶化的肺部功能的参数的不足的早期检测，以及对血氧饱和度相关的症状的监测，例如肺炎或运动相关的健康状况。


技术实现要素：

7.提供了一种例如经由小程序部署的外周血氧饱和度(spo2)测量系统，其可能有助于恶化的肺部功能的早期检测并监测血氧饱和度相关的症状，例如肺炎或运动相关的健康状况。现成的现代移动电话以及不断增强的外周图像分析能力——其作为包括本机应用和web应用的元素的混合web应用被嵌入在社交app内——使其作为用于健康状况评定的快速且方便的方式更容易接触到用户。通过考虑可用性、可访问性和准确性，本文中所述的实施方式可以通过利用移动电话摄像装置和社交app来提供用户spo2估计。
8.本文中描述了可以用于测量组织的微血管床中的血容量变化的光学体积描记图(optical plethysmogram，ppg)信号。可以通过使用脉搏血氧计来获得ppg信号，该脉搏血氧计监测向皮肤的真皮和皮下组织的血液灌注，并且随后可以使用ppg信号来估计被报告为spo2的血液中的氧气量。然而，代替使用脉搏血氧计，本文中的实施方式描述了利用现代移动电话和社交媒体app的通过使用视频捕获功能和捕获的视频的逐帧分析来测量spo2的替选方法。这种解决方案提供了spo2测量的合理近似，并且除了现代手机和社交app之外，对于用户来说不需要外部硬件。
9.根据示例性实施方式，存在一种装置和一种方法，其包括：至少一个存储器，所述至少一个存储器被配置成存储计算机程序代码；以及至少一个硬件处理器，所述至少一个硬件处理器被配置成访问所述计算机程序代码并按照所述计算机程序代码指示进行操作。计算机程序代码包括：视频捕获代码，其被配置成使至少一个硬件处理器控制移动电话的摄像装置捕获皮肤的至少一部分的视频；提取代码，其被配置成使至少一个硬件处理器从视频中提取至少一个光体积描记图(ppg)信号；确定代码，其被配置成使至少一个硬件处理器基于关于在皮肤的一部分处的血流的ppg信号来确定外周血氧饱和度(spo2)值；以及显示代码，其被配置成使至少一个硬件处理器控制移动电话的显示器显示spo2值。
10.根据示例性实施方式，装置和方法包括还包括社交媒体app代码的计算机程序代码，该社交媒体app代码被配置成使至少一个硬件处理器从外部服务器请求小程序，其中，小程序包括视频捕获代码、提取代码、确定代码和显示代码。
11.根据示例性实施方式，装置和方法包括扫描代码，该扫描代码被配置成：使至少一个硬件处理器控制摄像装置扫描代码，以及响应于扫描该代码，实现被配置成使至少一个硬件处理器从外部服务器请求小程序的社交媒体app代码，并且小程序包括模型-视图-视图模型。
12.根据示例性实施方式，装置和方法包括还包括分析代码的计算机程序代码，该分析代码被配置成：使至少一个硬件处理器实现对ppg信号的统计处理，以及实现基于统计处理的结果确定是否进行以下中至少之一：更改ppg信号的一部分以及去除ppg信号的一部分。
13.根据示例性实施方式，统计处理包括确定在视频的多个帧之中在预定时间内ppg信号的峰和谷中的至少一者的数目。
14.根据示例性实施方式，统计处理包括确定在视频的多个帧之中在预定时间内ppg信号的多个峰和多个谷之中的ppg信号的峰和谷中的至少一者的方差。
15.根据示例性实施方式，装置和方法包括还包括移动平均值代码的计算机程序代码，该移动平均值代码被配置成实现沿ppg信号的移动平均值。
16.根据示例性实施方式，ppg信号指示由视频捕获的红光的量。
17.根据示例性实施方式，皮肤的一部分位于移动电话的用户的手指处。
附图说明
18.公开的主题的其他特征、性质和各种优势将根据以下详细描述和附图更加明显，在附图中：
19.图1是根据实施方式的系统的简化框图的示意图示。
20.图2是根据实施方式的系统的简化流程图的示意图示。
21.图3a是根据实施方式的简化框图的示意图示。
22.图3b是根据实施方式的简化坐标图表的示意图示。
23.图4是根据实施方式的系统的简化框图的示意图示。
具体实施方式
24.图1是根据实施方式的系统100的简化框图的图示。
25.在图1中示出有移动电话104，该移动电话104具有各种电路系统103和摄像装置105。摄像装置105与移动电话的显示器110示出在移动电话104的同一侧上，但是应当理解，摄像装置105可以以其他方式例如与显示器110相比在移动电话104的相对侧或另一侧上定位。
26.电路系统103包括接口103、处理器112和存储器113，并且电路系统103与摄像装置105、光源119和显示器110互连。在本文中涵盖如本领域普通技术人员将理解的其他互连方案。
27.图1还示出了移动电话104可连接至网络106，并且还示出了这样的网络类似地可
连接至服务器116，该服务器116类似地具有电路系统，例如接口108、处理器114和存储器115。这样联网的连接可以经由各种因特网连接，所述各种因特网连接包括移动网络和本地网络中的一个或更多个。
28.图1示出了具有各种脉管系统102的皮肤101的截面的简化视图。脉管系统102可以携带血液，并且通过周期性脉搏或以其他方式，血液可以在具有皮肤的身体中循环。移动电话104被配置成捕获与这种循环相关的各种参数的视频。例如，取决于移动电话104，可以将摄像装置105放置为足够靠近皮肤101或与皮肤101接触，从而记录与循环相关的参数中的一个或更多个，例如可见光或其他。
29.例如，由于血液会携带细胞，例如氧合血红蛋白和脱氧血红蛋白，因此皮肤101的有关的光例如红光和红外光可能会周期性改变，并且在有或没有来自可以是一个或更多个发光二极管的光源119的照明辅助的情况下，可以通过摄像装置105经由视频捕获来记录这种改变。
30.从皮肤101捕获的视频、例如图3a的图表300中示出的帧301可以通过app或app的小程序来分析。例如，许多社交媒体app的web嵌入式架构允许容易地分发小程序：易于接触到用户，即使没有安装也易于在用户的移动电话上部署。然而，移动电话的本机视频捕获功能的可访问性以及实时(例如，30fps)分析视频的能力对小程序提出了兼容性和计算挑战。实施方式通过在广泛可用于移动电话的app平台、例如微信平台上部署小程序并且然后通过采用包括例如以下所述的采样的高性能分析来在这样的问题上进行改善。
31.关于采样，由于通过在移动电话104的摄像装置105上放置一个或更多个手指来获得ppg信号，因此由于不稳定的测量过程例如摇晃或者在皮肤101处或附近的不恒定的手指压力，获取的信号可能不稳定。因此，为了减轻不稳定信号对spo2测量准确度的影响，首先评估捕获的ppg信号的质量，并且只选择适当采样的数据用于进行下游处理。
32.此外，关于spo2测量，尽管脉搏血氧计可以基于氧合血红蛋白和脱氧血红蛋白对红光和红外光的不同吸收度来测量spo2。然而，如果红外光根据实施方式通过移动电话104的摄像装置105被滤除，则这样的实施方式可以代替我们使用来自利用获得的视频的获得的ppg信号的rgb光来估计spo2。可以应用校准和移动平均值策略来去除噪声数据并提高数据质量。
33.如下所述，在提供spo2测量和建议方面，可以在移动电话104处执行各种处理并且可以在服务器116处执行各种处理。移动电话104可以通过社交媒体app经由在app中搜索或者经由对码109例如条形码、qr码或其他可识别的一个符号或多个符号进行扫描来访问小程序。
34.根据实施方式，小程序架构遵循模型-视图-视图模型(mvvm)，其中数据模型驱动例如移动电话104的显示器110和用户交互界面处的显示器。查看器模型通过数据绑定对ui视图进行服务，并且对逐帧视频的分析在移动电话104上被执行，并且信号处理、采样和spo2计算以不同的频率被实时执行。
35.图2是根据使用mvvm的实施方式的系统的简化流程图的示意图示。
36.根据实施方式，步骤201可以由小程序执行，并且步骤202可以由移动电话104和/或服务器116可以连接的一个或更多个各种各样的云服务来执行。
37.在s1处，移动电话104例如通过对社交媒体app例如微信进行搜索或通过对码109
进行扫描来尝试访问小程序，并且移动电话104的用户可能会根据小程序的条款来要求认证和用户协议。在s2处，可以向用户显示公平使用协议，并且在s3处，如果确定已接受s1和s2中包括的条款，则移动电话104可以向用户提供指令，例如音频指导和在显示器110上的指令显示中的任意一个，并且可以等待来自用户的有关是否尝试实现sp02测量的指令。
38.在s5处，移动电话104的用户已请求小程序实现spo2测量，或者已请求小程序确定移动电话104是否支持spo2测量的实现。
39.在s6处，小程序已将请求传输至云服务，以确定移动电话104是否支持spo2测量的实现，并且传输至作为电话支持数据库查询的云服务查询以确定移动电话104是否能够实现spo2测量。例如，移动电话104或服务器116可能会传输一个或更多个标识参数，例如移动电话104的模型、移动电话104的一个或更多个硬件部件的数据，并且可能会传输移动电话104的一个或更多个操作参数，例如每秒视频捕获帧、fps、视频质量、可用电池等等。
40.在s7处，如果云服务已经确定移动电话104与实现spo2测量不兼容，则向小程序和向移动电话104提供这种指示的传输返回，该移动电话104然后输出表明移动电话104与实现spo2测量不兼容的警告，例如可听信息或显示信息。
41.在s8处，如果云服务确定移动电话104与实现spo2测量兼容，则向小程序提供这种指示的传输返回，该小程序然后继续实现spo2测量。
42.在s9处，小程序已尝试收集如本文中所述的视频数据，并通过小程序确定例如是否可能已经发生了一个或更多个测试错误或异常，并且如果没有发生，则该过程继续进行s10，在s10处小程序确定获得的视频数据的质量是否满足预定标准。如果在s9和s10中的任意一处达到否的结果，则该过程可以返回至s8。这样的步骤s9和s10可以通过小程序在移动电话104处实现，或者由移动电话104获得的一个或更多个数据可以相对于小程序被传输至服务器116或其他云服务以进行这种实现。
43.图3b是根据实施方式的简化坐标图表302的示意图示。坐标图表302包括ppg信号303，并且一个或更多个这种信号可以根据实施方式使用，从由移动电话的摄像装置105捕获的视频数据获得，并且在s9处，由于来自视频的ppg信号303可以是周期性的，因此对数据质量的评估可以基于：给定周期例如周期305、305、306、321、322和323中的任意一个或更多个内的诸如峰307、308、309、310的峰的数目；以及诸如峰307、308、309、310的峰的方差，诸如谷311、312、313的谷的方差，或者这种峰和谷中的任一者之间的方差的组合。ppg信号303可能对应于一个或更多个频率的光，例如随着在图表302的x轴上的时间在y轴上绘制的红光的强度。红光可以是特定波长的光，例如从625nm至740nm的波长或波长范围。这种方差将被理解为关于各个值可以与该组这些值的平均值相距的距离的统计测量，并且图3b中所示的分布仅出于说明性目的，因为还可以根据因素例如移动电话参数、用户参数例如健康以及在通过小程序实现期间移动电话104的处理来获得其他分布。此外，如果诸如峰307、308、309、310的峰的数目小于在周期304、305、306、321、322、323中的一个或更多个周期期间的预期数目，则在该周期内的ppg信号303被认为是低质量，并且因此被丢弃，并且该周期以外的其他部分可以保留以进行分析。同样，如果方差大于特定阈值，则例如在周期304、305、306、321、322、323中的任意一个内的这种ppg信号或其部分也会被拒绝或从ppg信号303的分析中去除。例如，由于相对于周期304和306中的一个或更多个具有大于一定阈值的方差，因此周期305可能会自低质量起从分析中被去除。经验上确定峰的数目及其方差的阈值。此
外，可以采用移动平均值，使得例如窗口314可以被求平均并沿ppg信号303进行移动，这可以减少数据负担，并可以使ppg信号303平滑。因此，可以改善数据质量。
44.根据示例性实施方式，在s11处，小程序将ppg信号303的处理结果传输至云服务，该云服务然后可以实现有关分析接收到的数据的ai服务。然而，根据小程序，可以跳过s11，并且该过程可能直接从s10流向s12。
45.在s12处，以上分析的输出结果可以通过小程序显示在移动电话104的显示器110处。结果例如结果118可以直接向用户指示spo2值，并且结果118可以包括有关该spo2值的各种患者诊断问题的请求，以及/或者可以向移动电话104的用户提供建议。
46.此外，在s13处，可以由云服务存储结果118以及ppg信号303数据中的任何一个。
47.症状检查和spo2测量的组合长期使在线医学诊断与一般公众之间的差距更接近，并且通过社交媒体app的小程序的提供将使差距甚至更小。本文中所述的实施方式提供了spo2的快速估计，该spo2的快速估计可以通过症状qa模型进一步扩展，以用于进一步的医疗辅助诊断。
48.小程序的示例性mvvm设计允许在没有架构变化的情况下通过添加更多的模块来扩展功能，最终使移动电话104作为方便的工具箱来访问医疗响应者工具，以改善一般公众的知识，减少误诊，减轻患者与医疗保健专业人员之间的误解和冲突(如果有)，并改善公共健康，并从广告或在线诊断中获得可能的利润。
49.本文中所述的实施方式可以用作监测spo2随时间的改变的初步spo2测量，该spo2测量可能会揭示关于健康相关状况的指示，这可能会或可能不会是明显的。对于拥有现代移动电话和社交媒体app的任何人，他们都可以扫描条形码并在没有其他硬件的情况下启动小程序。这种实施方式使得用户能够进行简单且快速的spo2水平的测试，并在需要时提供可能的建议。
50.上面所述的技术可以实现为使用计算机可读指令且物理地存储在一个或更多个计算机可读介质中的计算机软件，或者可以通过专门配置的一个或更多个硬件处理器来实现。例如，图4示出了适合于实现公开的主题的特定实施方式的计算机系统400。
51.可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，该计算机软件可能会受到汇编、编译、链接或类似的机制来创建包括指令的代码，这些指令可以通过计算机中央处理单元(cpu)、图形处理单元(gpu)等直接执行或通过解释、微代码执行等执行。
52.指令可以在如下各种类型的计算机或其部件上执行，其包括例如个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
53.图4中所示的关于计算机系统400的部件在本质上是示例性的，并且不旨在提出关于实现本公开内容的实施方式的计算机软件的使用或功能的范围的任何限制。部件的配置也不应被解释为具有与在计算机系统400的示例性实施方式中所示的部件中的任何一个或组合相关的任何依赖性或要求。
54.计算机系统400可以包括某些人机接口输入设备。这样的人机接口输入设备可能会通过以下来对由一个或更多个人类用户进行的输入作出反应：例如，触觉输入(例如：击键、滑动、数据手套移动)；音频输入(例如：语音、拍手)；视觉输入(例如：手势)；嗅觉输入(未描绘)。人机接口设备也可以用来捕获不一定与由人类进行的有意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像摄像装
置获得的摄影图像)、视频(例如，二维视频、包括立体视频的三维视频)。
55.输入人机接口设备可以包括以下中的一个或更多个(描绘的每一者中的仅一个)：键盘401、鼠标402、触控板403、触摸屏410(例如，显示器110)、操纵杆405、麦克风406、扫描仪408、摄像装置407。
56.计算机系统400还可以包括某些人机接口输出设备。这样的人机接口输出设备可能会通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感官。这样的人机接口输出设备可以包括：触觉输出设备(例如，由触摸屏410或操纵杆405进行的触觉反馈，但是还可以存在不用作输入设备的触觉反馈设备)；音频输出设备(例如：扬声器409、耳机(未描绘))；视觉输出设备(例如，包括crt屏、lcd屏、等离子体屏、oled屏的屏410，每个屏有或没有触摸屏输入功能，每个屏有或没有触觉反馈能力-其中的一些可能能够通过诸如立体输出的手段输出二维视觉输出或超过三维的输出；虚拟现实眼镜(未描绘)；全息图显示器和烟箱(未描绘))；以及打印机(未描绘)。
57.计算机系统400还可以包括人机可访问存储设备及其相关联的介质，例如，包括带有cd/dvd 411的cd/dvd rom/rw 420或类似介质的光学介质、拇指驱动器422、可移动硬盘或固态驱动器423、诸如磁带和软盘(未描绘)的传统磁性介质、基于专用rom/asic/pld的设备，例如安全加密狗(未描绘)等。
58.本领域技术人员还应该理解的是，如结合本公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其他暂态信号。
59.计算机系统400还可以包括到一个或更多个通信网络498的接口499。例如，网络498可以是无线的、有线的、光学的。网络498还可以是本地的、广域的、城域的、车辆和工业的、实时的、延迟容忍的等。网络498的示例包括局域网，例如以太网、无线lan、包括gsm、3g、4g、5g、lte等的蜂窝网络、包括线缆tv、卫星tv和地面播放tv的tv有线或无线广域数字网络、包括canbus的车辆和工业网络等。某些网络498通常需要附接至某些通用数据端口或外围总线(450和451)(例如，诸如计算机系统400的usb端口)的外部网络接口适配器；其他通常通过附接至如下所述的系统总线(例如，到pc计算机系统中的以太网接口或到智能电话计算机系统中的蜂窝网络接口)而集成至计算机系统400的芯中。使用这些网络498中的任何一个，计算机系统400可以与其他实体进行通信。这种通信可以是单向仅接收的(例如，广播tv)、单向仅发送的(例如canbus到某些canbus设备)、或双向的，例如使用局域或广域数字网络到其他计算机系统。可以在如上所述的这些网络和网络接口中的每个上使用某些协议和协议堆栈。
60.上述人机接口设备、人机可访问存储设备和网络接口可以附接至计算机系统400的芯440。
61.芯440可以包括一个或更多个中央处理单元(cpu)441、图形处理单元(gpu)442、图形适配器417、呈现场可编程门区域(fpga)443形式的专用可编程处理单元、某些任务的硬件加速器444等。这些设备以及只读存储器(rom)445、随机存取存储器446、内部大容量存储设备例如内部非用户可访问硬盘驱动器、ssd等447可以通过系统总线448连接。在一些计算机系统中，系统总线448可以以一个或更多个物理插头的形式进行访问，以使得能够通过其他cpu、gpu等来进行扩展。外围设备可以直接附接至芯的系统总线448，或者可以通过外围总线449附接。外围总线的架构包括pci、usb等。
62.cpu 441、gpu 442、fpga 443和加速器444可以执行某些指令，这些指令组合可以构成上述计算机代码。该计算机代码可以存储在rom 445或ram 446中。过渡数据也可以存储在ram 446中，而永久数据可以存储例如在内部大容量存储设备447中。对存储器设备中的任何一个的快速存储和检索可以通过使用高速缓冲存储器来实现，这些高速缓冲存储器可以与一个或更多个cpu 441、gpu 442、大容量存储设备447、rom 445、ram 446等紧密相关联。
63.计算机可读介质可以在其上具有用于执行各种计算机实现操作的计算机代码。介质和计算机代码可以是针对本公开内容的目的而专门设计和构建的那些介质和计算机代码，或者介质和计算机代码可以是计算机软件领域技术人员公知和可用的种类。
64.作为示例，而不是通过限制的方式，具有架构的计算机系统400、尤其是芯440可以提供作为处理器(包括cpu、gpu、fpga、加速器等)执行一个或更多个有形的计算机可读介质中体现的软件的结果的功能。这种计算机可读介质可以是与如上面介绍的用户可访问大容量存储设备以及具有非暂态性质的芯440的某些存储设备例如芯内部大容量存储设备447或rom 445相关联的介质。实现本公开内容的各种实施方式的软件可以存储在这种设备中，并由芯440执行。根据特定需求，计算机可读介质可以包括一个或更多个存储器设备或芯片。该软件可能会使芯440，尤其是其中的处理器(包括cpu、gpu、fpga等)执行本文中描述的特定过程或特定过程的特定部分，包括定义ram 446中存储的数据结构以及根据由软件定义的过程修改这种数据结构。另外或作为替选方案，计算机系统可以提供作为逻辑硬连线的结果的或以其他方式在电路(例如：加速器444)中体现的功能，该功能可以代替软件或与软件一起操作以执行本文中描述的特定过程或特定过程的特定部分。对软件的引用可以包括逻辑，并且对逻辑的引用可以包括软件，如果适当的话。对计算机可读介质的引用可以包括存储用于执行的软件的电路(例如，集成电路(ic))、体现用于执行的逻辑的电路或两者，如果适当的话。本公开内容涵盖了硬件和软件的任何合适的组合。
65.尽管本公开内容已经描述了几个示例性实施方式，但是存在属于本公开内容的范围内的变化、置换和各种替代等同物。因此，应当理解，本领域技术人员将能够设计出许多系统和方法，这些系统和方法尽管在本文中未明确示出或描述，但是体现了本公开内容的原理，并且因此在其精神和范围内。