用于确定对象的医学状况的超声装置和方法与流程

本发明涉及一种用于基于发音运动(articulatory movement)确定对象的医学状况的超声装置。本发明还涉及一种基于发音运动确定对象的医学状况的方法。本发明还涉及用于确定对象的医学状况的超声系统以及用于执行确定对象的医学状况的方法步骤的计算机程序。

背景技术：

例如由于帕金森病的许多退行性健康疾病，诸如影响人的运动功能的神经疾病，导致患者言语障碍(impairment)。障碍的进展能够随着时间而增加，并且对疾病的进展的监测对于诊断或评价物理或药物治疗的有效性能够是重要的。

用于基于声学信息并且使用生理学技术监测诸如帕金森病的疾病的音频言语分析在本领域中是公知的，然而，该技术需要患者的高水平的协作，这对于用户而言能够并不总是可能的并且不舒服。此外，不能够实现可以用于精确确定疾病的进展的客观测量结果。其他技术基于电磁关节造影术并且利用应变仪，应变仪由于所需的皮肤接触而是侵入性的，并且对用户而言是不舒服的。

还已知的是将从超声反射信号提取的特征用于自动言语和说话者识别以及语音活动检测。

根据McLoughlin等人：“Mouth state detection from low frequency ultrasound reflection”(circuits，systems and signal processing，Cambridge，MS，US，第34卷、第1279-1304页(2014年10月9日))公开了一种非接触低频超声方法，其可以根据空气传播反射确定对象的唇是打开的还是闭合的。所述方法能够通过使用低复杂度检测算法来准确地区分打开唇和闭合唇状态，并且对于干扰性听得见噪声高度鲁棒。

技术实现要素：

本发明的目的是提供一种超声装置，其能够为用户精确且舒适地检测发音运动，以便确定对象的医学状况。本发明的另一个目的是提供一种用于确定对象的医学状况的对应的超声系统。本发明的另一目的是提供用于确定对象的医学状况的对应方法和用于实施这种方法的计算机程序。

在本发明的第一方面中，提供了一种用于确定对象的医学状况的超声装置，包括：

-超声采集单元，其用于接收从对象反射的超声波并且用于提供对应于对象的发音运动的超声信号，

-处理单元，其耦合到超声采集单元，以用于确定超声信号随时间的频率变化，以及

-评价模块，其用于随时间评价超声信号，优选地评价超声信号随时间的频率变化，并且用于基于超声信号随时间的频率变化来确定对象的医学状况。

在本发明的另一方面中，提供了一种用于确定对象的医学状况的方法，包括以下步骤：

-接收来自超声采集单元的对应于对象的发音运动的超声信号，

-确定超声信号的频率变化，并且

-评价超声信号并且基于超声信号的频率变化来确定对象的医学状况。

在本发明的另一方面中，提供了一种用于确定对象的医学状况的超声系统，包括：

-超声换能器，其包括用于发射超声波的超声发射器和用于接收从所述对象反射的超声波并用于提供对应于所述对象的发音运动的超声信号的超声采集单元，

-处理单元，其耦合到超声采集单元，以用于确定超声信号随时间的频率变化，

-评价模块，其连接到处理单元，以用于确定对象的医学状况，

-数据接口，其用于将评价单元连接到存储单元并且用于接收对象的发音运动的先前测量的结果，其中，评价模块适于基于超声信号随时间的频率变化和先前测量的结果来确定对象的医学状况。

在本发明的另一方面中，提供了一种计算机程序产品，所述计算机程序产品评价超声信号的频率变化并且用于基于超声信号随时间的频率变化来确定对象的医学状况，所述计算机程序产品包括具有在其中实现的计算机可读代码的计算机可读介质，所述计算机可读代码被配置为使得在由合适的计算机或处理单元运行时使所述计算机或处理单元执行上述方法中的任何。所述计算机程序产品可以包括可从通信网络下载或从通信网络下载的，或可存储在计算机可读存储介质上或存储在计算机可读存储介质上的计算机可读程序代码，所述计算机可读程序代码当在计算机或处理单元上运行时使计算机或处理单元执行根据本发明的方法的任何实施例的步骤。该计算机程序产品可以适于与包括服务器设备和客户端设备的系统一起工作。步骤的部分可以在服务器设备上执行，而步骤的其它部分或另一部分在客户端设备上执行。如本领域中已知的，服务器和客户端设备可以彼此远离并通过有线或无线通信连接。备选地，所有步骤都在服务器设备或客户端设备上执行。服务器设备和客户端设备可以具有用于使用有线或无线通信协议彼此通信的通信设备。

本发明的优选实施例在从属权利要求中限定。应该理解的是，所要求保护的方法与要求保护并且在从属权利要求中所限定的设备具有相似和/或相同的优选实施例。

本发明基于以下想法：基于超声波来确定对象的面部的运动。面部在超声波的方向上的运动引起由于多普勒效应的背散射超声波的频率的移位，使得能够检测平行于入射超声波束的运动。如此检测到的面部运动对应于对象的发音运动，使得可以提供发音运动的客观和可重复的评价。此外，由于检测是基于超声的，并且检测到超声波方向上的运动，因此要测量的对象或患者可以正常说话并且不需要持续发声。因此，测量的舒适度实质性改进。因此，可以为神经疾病的监测提供发音运动的精确和舒适的测量。作为超声信号随时间的频率的变化的测量的结果，神经状况或疾(病例如帕金森病、多发性硬化症(MS)、运动神经元病(肌肉萎缩性侧索硬化症)、癫痫症或多种其他状况或疾病)的变化或进展可被检测到。

在本发明的实施例中，超声信号的频率变化对应于相对于超声采集单元的对象的运动或对象的部分的运动。这是能够通过低技术努力来精确确定对象的发音运动。

在本发明的实施例中，超声采集单元适于接收超声波而不需要与对象接触。换言之，超声采集单元适于以非接触或无接触的方式接收超声波。超声采集单元优选地瞄准对象的嘴部以捕获发音运动，其中，超声采集单元和对象之间的距离优选地在20cm和100cm之间。由于用户不需要佩戴传感器或需要接触测量单元，因此这能够提供对用户而言舒适的非侵入式测量。

在本发明的实施例中，处理单元适于基于超声信号确定发音运动的幅度和/或速度，并基于幅度和/或速度确定医学状况。这是能够利用低技术努力从超声信号中提取特定参数，使得测量结果可重现并能够与其他测量结果客观地进行比较。

在本发明的实施例中，处理单元包括频率分析单元，以用于确定超声信号的不同频率值并基于不同频率值确定医学状况。例如，这能够例如基于傅立叶变换以低技术努力有效地评价频域中的超声信号。

在本发明的实施例中，处理单元还适于确定超声信号的累积能量并基于累积能量确定医学状况。这能够确定指示由对象的运动产生的多普勒频移的单个参数，使得可以考虑频率信息和能量的变化以确定医学状况。

还优选地，处理单元适于将超声信号的累积能量确定为时间相关性累积频率能量。这能够确定相应频带中的言语能量随时间的变化，使得可以改进测量的准确性。

在优选实施例中，处理单元适于基于超声信号确定能谱并基于能谱确定医学状况。这能够提供发音退化的鲁棒检测并提供对对象疾病的鲁棒监测。

在另一优选实施例中，处理单元适于确定能谱的方差值并基于方差值确定医学状况。这能够根据超声信号的能谱确定另一个客观参数，使得可以提供与其他测量结果的可重现的比较。

在实施例中，超声装置还包括数据接口，以用于将评价单元连接到存储单元并且用于接收对象的发音运动的先前测量结果，其中，评价单元适于基于频率变化和先前测量的结果来确定对象的医学状况。这能够通过低技术努力来确定疾病的进展或治疗的有效性。

在本发明的实施例中，超声装置还包括声音检测单元，以用于检测从对象接收的声音并确定对象的声学活动。这能够确定对象的言语活动并排除对象的其他运动活动被检测到。这能够避免错误测量。此外，能够包括基于接收到的超声信号的非发音运动检测器，以确保仅监测发音运动。

在实施例中，评价单元包括用于基于超声信号的频率变化来确定对象的医学状况的评价模型。这能够利用某些分类和/或经验或指示来确定发音活动的障碍并确定是否存在疾病的正向或负向进展。通常，这能够改进测量评价。在实施例中，评价模型包括等式或特性曲线，其包括作为频率变化或从频率变化导出的特性参数的函数的医学状况或言语障碍。

如上所述，超声装置可以基于超声信号的评价并且基于超声信号的所确定的频率变化来确定要测量的对象的面部的运动，使得对象的发音运动可以被精确和可重复地确定。由于测量基于从对象接收的超声波，因此可以在不使用接触式传感器等的情况下为用户舒适地执行测量，使得可以实现非侵入式测量。特别是基于超声信号的频域的评价提供了确定对象的平行于入射超声波的传播方向的运动，使得可以实现对象的医学状况的精确测量和鲁棒确定的可能性。

附图说明

参考下文描述的(一个或多个)实施例，本发明的这些方面和其它方面将显而易见并得到茶树。在以下附图中，

图1示出了用于基于发音运动确定对象的医学状况的超声装置的示意图；

图2示出了包括频率分析单元的超声装置的详细示意图；

图3A、B示出了对象的不同医学状况的超声信号的两个谱图；

图4A、B示出了对象的不同医学状况的不同言语能量图；以及

图5示出了对象的不同医学状况的不同言语能谱。

具体实施方式

图1示出了总体上由10指代的超声装置的示意图。超声装置10被应用于检查对象12或患者12的面部。超声装置10包括超声单元14，超声单元14具有至少一个超声换能器16，所述至少一个超声换能器包括用于发送和接收超声波22的一个或多个换能器元件18、20。

超声换能器16指向对象12的面部或嘴部，其中，换能器元件18中的一个将超声波22发射到对象12的面部，并且换能器元件20中的一个接收从对象12的面部反射或背散射的超声波23。在对象12的发音期间(即在言语产生期间)面部的运动导致由于多普勒效应的反射或背散射的超声波23的频率的移位，使得由换能器元件20接收的超声波包括关于可以由超声单元14测量的对象12的发音运动的信息。随着时间，可以从反射或背散射的超声波23检测和提取发音运动的速度和幅度的变化，如下所述。

基于接收到的背散射或反射的超声波23，超声单元14通常提供对应于或包括对象12的发音运动的超声信号24。

在优选实施例中，换能器16包括一对单个超声发射器和单个超声接收器元件，如图1所示。

由于多普勒效应，背散射或反射的超声波23与发射的超声波22不同，其中，超声波22的频率的变化源自于对象12或对象12的部分(例如，嘴部或唇)的运动。变化的频率f_r可以通过下式计算：

其中，f_c是发射的超声波22的频率，v是要测量的对象12或对象12的部分的速度，c是声速，并且Δf是由对象12的运动产生的多普勒频移。假设速度v对于朝向换能器16的运动是正的，并且对于远离超声换能器16的运动是负的。由于多普勒效应的物理学，仅平行于超声波22的传播方向的运动分量可以导致多普勒频移。

在某些实施例中，超声采集单元14还可以包括温度传感器以估计声速c的值，从而产生多普勒频移f_r的可靠估计。

超声采集单元14被操纵或引导到对象12的面部或嘴部，以便捕获对象12的发音运动。可以机械地或以软件来实施操纵。根据发射的超声波22的水平和发射换能器元件18的波束宽度，换能器16到对象12的距离可以在20cm和100cm之间。对象12和换能器16之间的距离优选地为50cm。超声采集单元14可以安装在计算机监测器或独立支架上，以便测量对象12的发音运动并提供超声信号24。

在本发明的另一优选实施例中，用户与超声装置14之间的距离在测量会话之间保持相对恒定以准确比较和/或跟踪医学状况。出于该目的，可以使用腮托。此外，超声单元14和对象12之间的距离可以在测量开始之前通过以脉冲模式操作超声发射器18并且计算由超声接收器20接收的超声波脉冲在用户和装置之间的行进时间来计算。该距离可以被呈现在监测器上，因此用户可以在启用监测系统之前舒适地调节其位置。

超声装置10还包括处理单元26，处理单元26耦合到超声采集单元14并且从超声采集单元14接收超声信号24。处理单元基于多普勒频移来确定超声信号的频率变化，并且确定频率变化的至少一个特性参数，所述特性参数是针对发音运动的特性并且可以与其他测量结果进行比较或者用于确定对象12的医学状况。

根据超声信号24确定的特性参数可以是除了发射的超声波22的载波频率之外的频带中的信号能量。在本发明的实施例中，特性参数被确定为在发射的超声波22的载波频率外部的频带中随时间的平均累积能量。如下所述，可以针对受损发音观察该平均累积能量的下降或减少。在另一个实施例中，从超声信号24提取所有频带上的平均能谱作为特性参数。

在另一个实施例中，能谱的方差值被确定为特性参数以确定对象12的医学状况。

超声信号的频率变化和提取的特性参数的确定的结果可以被存储在数据库28中以用于进一步评价。结果和特性参数可以被存储，包括：测量的时间，其包含日期、月份和年份；或识别相应的测量的识别号。此外，还可以存储由麦克风记录的音频信号以用于可能的将来分析，诸如将来自麦克风的声学能量与来自分析的超声信号的发音能量进行比较。

本领域技术人员能够意识到，数据库28可以物理地存储在超声装置10中，或者可以存储在不同的定位中，如远程云数据库服务器。

超声装置10可以包括比较器模块30，比较器模块30连接到处理单元26或者可以是处理单元26的部分，并且接收基于超声信号24的频率变化确定的特性参数。比较器模块30连接到数据库28并比较从处理单元26接收到的特性参数和在对象12的发音运动的先前测量期间已经确定的来自数据库28的特性参数。比较器模块30比较来自处理单元26和数据库28的特性参数，并确定对应的比较器值。超声装置10还包括评价模块32，评价模块32连接到处理单元26和比较器模块30或者可以是处理单元26的部分。

在另外的优选实施例中，当对象未运动时的反射超声载波信号的能量被用于对由处理单元26计算的特征进行归一化，使得可以准确地比较得到的特征与先前会话中计算并存储在数据库28中的特征之间的比较。

评价模块32评价从处理单元26接收到的特性参数，并基于超声信号26确定对象12的医学状况。评价模块32确定发音运动是否为未受损或受损发音。对于超声装置10包括提供比较值的比较模块30的情况，评价模块确定发音运动是否示出退化的障碍或障碍由于施用药物或理疗是否改进。

评价模块32可以并入针对与提取的特性特征有关的特定状况的言语障碍的模型，以确定障碍的正向或负向进展是否正在发生。这些模型能够基于额外的数据库和由专家进行的分类，其分类可以连续更新。模型也可以存储在云或外部数据库中。

在实施例中，言语障碍的模型基于由专家基于障碍严重性和/或医学状况标记的特征数据。然后可以使用这些数据簇基于患者的提取的特征来对患者的医学状况进行分类。可以用于分类的方法包括k最近邻(KNN)。

在另一个实施例中，在患有特定医学状况(例如帕金森病)的大患者群体上收集与言语障碍有关的特征数据，并且由一位或多位专家评估言语障碍的严重性。然后基于这些点在特征对严重性图上的最佳拟合曲线来估计模型，例如，线性回归或高阶回归。换言之，估计方程以对取决于提取的特性特征的言语障碍的严重性进行建模。

评价模块32可以连接到用于显示评价的结果和发音运动的测量的结果的监测器(未示出)。

在实施例中，超声装置10还包括用于测量从对象12接收的声学信号的麦克风。麦克风连接到处理单元26。处理单元26确定对象的语音活动或言语活动是否可以被检测以便确定对象12是否实际上在说话或者对象是否以其他方式运动。这可以排除发音运动的错误测量。麦克风优选地捕获大带宽中的信号，例如，在20Hz至20000Hz的人类的听力范围内的。

在实施例中，处理单元26还包括用于分析超声信号并确定是否显著的非发音运动被实现的算法，在这种情况下，处理单元26可以补偿这些或者提示对象12重复测量。

在超声装置10还包括用于测量从对象12接收到的声学信号的麦克风的实施例中，评价模块可以存储包括声学和发音域特征的模型，以确定给定的医学状况和/或对象的言语障碍的进展。这样的特征的范例可以包括但不限于例如声学能量与发音能量的比例。

超声装置10还可以包括用于向对象12呈现词语或表达的序列的显示器，使得对象12可以重复和发音由显示单元显示的相应词语。这允许系统改进测量的可重复性，因为其简化了随时间的提取的特性特征之间的比较。此外，在预先记录的音频信号提示对象12重复测试序列中的词语或短语的情况下，可以使用耳机或扬声器。

图2示出了连接到超声采集单元14的处理单元26的详细示意性框图。

如上所述，处理单元26接收来自超声采集单元14的与对象12的发音运动相对应的超声信号24。处理单元26包括混合模块34，以用于将来自例如40kHz的载波频率的超声信号24降混到4kHz的降混频率。降混信号36被提供给重采样模块38，重采样模块38对降混信号36进行重采样以避免混叠。重采样信号40被提供给分割模块42，以用于确定相应时间相关性重采样信号40的时间块，并将时间块提供给频率分析单元44。频率分析单元44执行傅里叶变换，并且尤其是快速傅里叶变换(FFT)并将频率块46提供给块分析单元48，块分析单元48确定频率块46的频率能量。提取模块50从频率能量提取特性参数并将所述特性参数提供给评价模块32。

图3A、B示出了超声信号24的谱图。超声信号24的频率被示出为时间相关的，其中，图3A示出了正常(未受损)发音运动的超声信号24，并且图3B示出了对象12的受损发音运动的超声信号24。从图3A和B可以看出，受损发音运动导致检测到的运动的下降的速度和幅度，这导致超声波23的载波频带旁边的更小的多普勒频移和降低的频率能量。为了超声信号24的评价，利用超声波23的载波频带(4kHz)旁边的频带中的频率能量。载波频带外部的频带也称为信息频带。

在本发明的一个实施例中，确定信息频带随时间的平均累积能量。超声信号24的信息频带随着时间的对应能量在图4A、B中示出，其中，图4A中所示的能量对应于正常的未受损发音运动，并且图4B中所示的能量对应于受损发音运动。图4A、B示出了障碍导致减少的平均累积能量。

在本发明的另一个实施例中，平均能谱是基于所有频段确定的。图5中示出了对应的平均能谱。在4kHz处的峰值对应于载波频率并且在载波频率(4kHz±50Hz)之外，反射的超声波或超声信号24的能量对于正常发音运动(实线)而言较大，并且受损发音运动的能量(虚线)减少。载波外部的平均能谱下面的面积可以用作或被确定为用于区分未受损和受损发音运动的特性特征。

基于根据超声信号24确定的这些特性特征，可以确定发音退化的鲁棒检测。

因此，能够提供对发音运动的精确和可比较和可重现测量。

尽管已经在附图和前述描述中详细说明和描述了本发明，但是这样的说明和描述被认为是说明性的或示例性的而不是限制性的；本发明不限于所公开的实施例。通过研究附图、公开内容和权利要求，本领域技术人员在实践请求保护的本发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。

计算机程序可以存储/分布在合适的介质上，诸如与其他硬件一起或作为其他硬件的部分提供的光存储介质或固态介质，但也可以以其他形式分布，例如经由互联网或其他有线或无线电信系统分布。处理器或处理单元是采用一个或多个微处理器的控制器的范例，所述微处理器可以使用软件(例如，微码)来编程以执行所需的功能。然而，控制器可以在使用或不使用处理器的情况下实施，并且还可以被实施为执行某些功能的专用硬件和执行其他功能的处理器(例如，一个或多个编程的微处理器和相关电路)的组合。

用于通过在处理单元26上执行以执行本发明的方法的计算机程序代码可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++等等，以及常规过程编程语言，诸如“C”编程语言或类似的编程语言。程序代码可以作为独立的软件包(例如，应用)完全在处理单元26上执行，或者可以部分在处理单元26上执行，部分在远程服务器上执行。在后者情况下，远程服务器可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到可头戴式计算设备，或者可以例如通过互联网使用互联网服务提供商连接到外部计算机。

以上参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各方面。应该理解的是，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实现以完全或部分地在处理单元26上执行，使得指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的设备。这些计算机程序指令也可以存储在计算机可读介质中，所述计算机可读介质可以指导包括便携式计算设备的心肺复苏引导系统以特定方式运行。

例如，计算机程序指令可以被加载到便携式计算设备上以使得在便携式计算设备和/或服务器上执行一系列操作步骤以产生计算机实现的过程，使得执行在便携式计算设备和/或服务器上的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的过程。该计算机程序产品可以形成包括便携式计算设备的患者监测系统的部分。

可以在本公开的各种实施例中采用的控制器组件的范例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。

在各种实施方式中，处理器或控制器可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM。存储介质可以用一个或多个程序编码，所述程序当在一个或多个处理器和/或控制器上执行时以所需的功能实施。各种存储介质可以被固定在处理器或控制器内，或者可以是可运送的，使得其上存储的一个或多个程序可以被加载到处理器或控制器中。

权利要求中的任何附图标记不应被解释为对范围的限制。