基于多模态数据采集的喉功能分析系统

1.本发明涉及医疗技术领域，特别涉及一种基于多模态数据采集的喉功能分析系统。


背景技术：

2.喉部，作为人体生理结构中复杂而又重要的组成成分之一，其健康状况至关重要，在医疗科学方面，对喉部结构的深入研究，以及对喉部疾病的诊断与治疗，均需要对相关的喉部功能数据进行处理与分析。
3.目前，对喉部的分析与研究，涉及到高数摄影(hsdi)、电声图(egg)、喉肌电图(emg)等数据采集的技术手段；其中，高速摄影是根据光学声门表面区域的变化判断喉部的健康情况的，但是其忽略了声门垂直方向上的运动，且设备成本高，数据采集过程复杂；电声图所测量的是声门的深度电导，因此反映了垂直和水平的接触，然而却因为信号的信息量有限，无法运用于临床病例分析；现有的喉部肌电图采集，大多属于植入型采集，主要反映喉部的肌肉运动情况，属于有创的检查方式；然而，由于喉部的复杂的生理结构，其健康情况会反映到语音的发音，声门的闭合，肌肉的运动等多方面的表现形式；而综上所述的现有的研究技术，均仅通过单一信号对喉部进行分析，无法为分析喉部复杂的结构性和功能性提供更加全面且有效的数据支持。


技术实现要素：

4.本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于多模态数据采集的喉功能分析系统，能够通过无创的多模态数据采集手段实时同步采集、处理和分析人体喉部的多路生理信号，从而为分析喉部复杂的结构性和功能性提供更加全面且有效的数据。
5.为达到上述目的，本发明实施例提出了一种基于多模态数据采集的喉功能分析系统，包括：多模态数据采集设备，所述多模态数据采集设备包括传感器模块，所述多模态数据采集设备通过所述传感器模块安装在待采集者身上以对所述待采集者的人体喉部的多模态数据进行同步采集；微型中央控制处理器，所述微型中央控制处理器与所述多模态数据采集设备电性连接，以便根据控制信号控制所述多模态数据采集设备对所述待采集者的人体喉部的多模态数据进行同步采集，并实时接收所述多模态数据采集设备采集的人体喉部的多模态数据，以及对所述人体喉部的多模态数据进行处理及发送；用户终端，所述用户终端与微型中央控制处理器进行通信连接，以接收所述微型中央控制处理器发送的处理后的多模态数据，并对所述处理后的多模态数据进行存储及分析。
6.根据本发明提出的基于多模态数据采集的喉功能分析系统，通过将多模态数据采集设备上的传感器模块安装在待采集者身上以对待采集者的人体喉部的多模态数据进行同步采集；以及将多模态数据采集设备与微型中央控制处理器电性连接，以便根据控制信号控制多模态数据采集设备对待采集者的人体喉部的多模态数据进行同步采集，并实时接
收多模态数据采集设备采集的人体喉部的多模态数据，以及对人体喉部的多模态数据进行处理及发送；用户终端与微型中央控制处理器进行通信连接，以接收微型中央控制处理器发送的处理后的多模态数据，并对处理后的多模态数据进行存储及分析；由此，能够通过无创的多模态数据采集手段实时同步采集、处理和分析人体喉部的多路生理信号，从而为分析喉部复杂的结构性和功能性提供更加全面且有效的数据。
7.另外，根据本发明上述实施例提出的基于多模态数据采集的喉功能分析系统还可以具有如下附加的技术特征：
8.可选地，所述传感器模块包括：呼吸传感器，所述呼吸传感器设置在所述待采集者的人体腹部，以对所述待采集者的呼吸信号进行采集；振动传感器，所述振动传感器设置在所述待采集者的舌骨上下肌群处，以对所述待采集者发音时肌肉的振动信号进行采集；语音传感器，所述语音传感器设置在所述待采集者的嘴部下方，以对所述待采集者的语音声学信号进行采集；肌电传感器，所述肌电传感器设置在所述待采集者的舌骨上下肌群处，以对所述待采集者的喉部表面肌群的多通道表面肌电信号进行采集；电声门传感器，所述电声门传感器的感应电导的两个电极放置在所述待采集者的颈部甲状软骨的两边，以对所述待采集者的声门闭合运动的电声门信号进行采集。
9.可选地，所述多模态数据采集设备还包括：电源模块，所述电源模块用以给所述多模态数据采集设备供电；滤波模块，所述滤波模块用以滤除采集人体喉部的多模态数据过程所产生的高低频噪声，以确认模拟信号的采集带宽；驱动模块，所述驱动模块用以针对采集的人体喉部的多模态数据和多模态数据采集设备所产生的50hz工频干扰，提高信号在带宽内的信噪比；转换模块，所述转换模块用以对采集的人体喉部的多模态数据进行同步转换，由模拟信号转换成数字信号以确保信号高精度采集；传输模块，所述传输模块用以将所述转换模块转换后的数字信号传输至所述微型中央控制处理器。
10.可选地，所述人体喉部的多模态数据包括呼吸信号、振动信号、语音声学信号、多通道表面肌电信号和电声门信号。
11.可选地，所述微型中央控制处理器包括：控制信号模块，所述控制信号模块用以初始化所述多模态数据采集设备，并设置相应的多模态数据采集参数，以便根据所述多模态数据采集参数调控所述多模态数据采集设备对所述人体喉部的多模态数据进行同步采集；数据通信模块，所述数据通信模块用以接收所述多模态数据采集设备同步采集到的所述人体喉部的多模态数据；数据处理模块，所述数据处理模块用以初步处理所述多模态数据，对所述多模态数据进行格式编码以生成多模态数据包；无线网络模块，所述无线网络模块用以将所述多模态数据包，通过无线网络协议传输至用户终端。
12.可选地，所述用户终端包括：网络通信模块，所述网络通信模块用以与所述微型中央控制处理器构建无线连接，实时地接收所述微型中央控制处理器发送的多模态数据包；数据实时存储模块，所述数据实时存储模块用以对所述多模态数据包进行格式解码以转化成可处理的文件格式，并通过构建的数据库进行实时存储；数据动态绘制模块，所述数据动态绘制模块用以动态显示多模态数据的实时波形，实现数据的可视化展示；深度分析模块，所述深度分析模块用以分布处理多模态数据，通过特征点标定，分析不同数据的特性，并通过多模态数据不同的特性融合，以机器学习方式对不同的喉功能和病理进行分类。
13.可选地，所述用户终端与所述微型中央控制处理器之间通过wifi、4g网络、或者5g
网络进行无线通信。
附图说明
14.图1为根据本发明实施例的基于多模态数据采集的喉功能分析系统的结构示意图；
15.图2为根据本发明一个实施例的基于多模态数据采集的喉功能分析系统的多模态数据采集设备的方框示意图；
16.图3为根据本发明一个实施例的基于多模态数据采集的喉功能分析系统的微型中央控制处理器的方框示意图；
17.图4为根据本发明一个实施例的基于多模态数据采集的喉功能分析系统的用户终端的方框示意图。
具体实施方式
18.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
19.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
20.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
21.如图1所示，该基于多模态数据采集的喉功能分析系统包括多模态数据采集设备10、微型中央控制处理器20以及用户终端30。
22.其中，多模态数据采集设备10包括传感器模块11，多模态数据采集设备10通过传感器模块11安装在待采集者身上以对待采集者的人体喉部的多模态数据进行同步采集。
23.作为一个实施例，上述人体喉部的多模态数据包括呼吸信号、振动信号、语音声学信号、多通道表面肌电信号和电声门信号。
24.作为一个具体实施例，如图2所示，传感器模块包括：呼吸传感器111、振动传感器112、语音传感器113、肌电传感器114和电声门传感器110；其中，呼吸传感器111设置在待采集者的人体腹部，以对待采集者的呼吸信号进行采集；振动传感器112设置在待采集者的舌骨上下肌群处，以对待采集者发音时肌肉的振动信号进行采集；语音传感器113设置在待采集者的嘴部下方，以对待采集者的语音声学信号进行采集；肌电传感器114设置在待采集者的舌骨上下肌群处，以对待采集者的喉部表面肌群的多通道表面肌电信号进行采集；电声门传感器110的感应电导的两个电极放置在待采集者的颈部甲状软骨的两边，以对待采集者的声门闭合运动的电声门信号进行采集。
25.需要说明的是，多模态数据采集设备10通过对多通道可编程增益放大器的设计与引用，实现对呼吸信号，多通道表面肌电信号，振动信号，语音信号，电声门信号的同步实时采集，放大器可满足1至12倍的可调信号增益，最高24位的高精度采样，以及250sps至
32ksps的高速数据采集速率。
26.作为一个实施例，语音传感器113设置在待采集者的嘴部下方2-3厘米处，本发明对此不作具体限定。
27.作为一个具体实施例，如图2所示，多模态数据采集设备10还包括：电源模块12、滤波模块13、驱动模块14、转换模块15和传输模块16；其中，电源模块12用以给多模态数据采集设备供电；滤波模块13用以滤除采集人体喉部的多模态数据过程所产生的高低频噪声，以确认模拟信号的采集带宽；驱动模块14用以针对采集的人体喉部的多模态数据和多模态数据采集设备所产生的50hz工频干扰，提高信号在带宽内的信噪比；转换模块15用以对采集的人体喉部的多模态数据进行同步转换，由模拟信号转换成数字信号以确保信号高精度采集；传输模块16用以将转换模块转换后的数字信号传输至微型中央控制处理器以进行下一步处理。
28.需要说明的是，上述电源模块12为多模态数据采集设备提供多种可调的工作电源环境，以确保多模态数据采集设备正常运行；驱动模块14为多功能rld右腿的驱动模块；转换模块15为多通道a/d数据的转换模块，用于进行模数转换，以将多路模拟信号转换成对应的数字信号。
29.其中，微型中央控制处理器20与多模态数据采集设备10电性连接，以便根据控制信号控制多模态数据采集设备10对待采集者的人体喉部的多模态数据进行同步采集，并实时接收多模态数据采集设备10采集的人体喉部的多模态数据，以及对人体喉部的多模态数据进行处理及发送。
30.也就是说，通过将多模态数据采集设备10与微型中央控制处理器20进行电性连接，微型中央控制处理器20根据控制信号控制控制多模态数据采集设备10对待采集者的人体喉部的多模态数据进行同步采集，并实时接收多模态数据采集设备10采集的人体喉部的多模态数据，以及对人体喉部的多模态数据进行处理，并将处理后的数据通过无线网络发送给用户终端30，其中控制信号可通过检测到用户按下采集按键时获取。
31.作为一个具体实施例，如图3所示，微型中央控制处理器30包括：控制信号模块21、数据通信模块22、数据处理模块23和无线网络模块24；其中，控制信号模块21用以初始化多模态数据采集设备10，并设置相应的多模态数据采集参数，以便根据多模态数据采集参数调控多模态数据采集设备10对人体喉部的多模态数据进行同步采集；数据通信模块22用以接收多模态数据采集设备10同步采集到的人体喉部的多模态数据；数据处理模块23用以初步处理多模态数据，对多模态数据进行格式编码以生成多模态数据包；无线网络模块24用以将多模态数据包通过无线网络协议传输至用户终端30。
32.也就是说，控制信号模块21与多模态数据采集设备10连接用于根据控制信号对多模态数据采集设备10的采集进行控制，无线网络模块24与多模态数据采集设备10连接用于接收多模态数据采集设备10同步采集到的人体喉部的多模态数据，并将采集到的人体喉部的多模态数据发送给数据处理模块23，以便数据处理模块23初步处理多模态数据，以对多模态数据进行格式编码以生成多模态数据包，数据处理模块23与无线网络模块24相连接以通过无线网络模块24将多模态数据包通过无线网络协议传输至用户终端30。
33.需要说明的是，微型中央控制处理器20按时序要求接收多模态数据，对多模态数据进行初步的处理整合，格式编码成多模态数据包，并通过无线网络传输的形式，将多模态
数据包发送用户终端30。
34.作为一个实施例，微型中央控制处理器20采用时钟主线控制计数，无线通信网络传输设计以及多任务中断调度设计的方法控制多模态数据采集设备10，可实现呼吸信号，多通道表面肌电信号，振动信号，语音信号和电声门信号的实时同步采集以及多模态数据的格式编码和无线网络通信传输。
35.其中，用户终端30与微型中央控制处理器20进行通信连接，以接收微型中央控制处理器20发送的处理后的多模态数据，并对处理后的多模态数据进行存储及分析。
36.也就是说，用户终端30与微型中央控制处理器20通过无线网络进行通信，接收微型中央控制处理器20发送的多模态数据包，并进行存储、显示、处理和分析。
37.作为一个实施例，如图4所示，用户终端30包括：网络通信模块31、数据实时存储模块32、数据动态绘制模块33和深度分析模块34；其中，网络通信模块31用以与微型中央控制处理器20构建无线连接，实时接收微型中央控制处理器20发送的多模态数据包；数据实时存储模块32用以对多模态数据包进行格式解码以转化成可处理的文件格式，并通过构建的数据库进行实时存储；数据动态绘制模块33用以动态显示多模态数据的实时波形，实现数据的可视化展示；深度分析模块34用以分布处理多模态数据，通过特征点标定，分析不同数据的特性，并通过多模态数据不同的特性融合，以机器学习方式对不同的喉功能和病理进行分类。
38.作为一个实施例，用户终端30与微型中央控制处理器20之间通过wifi、4g网络、或者5g网络进行无线通信，本发明对此不作具体限定。
39.另外，基于多模态数据采集的喉功能分析系统采用以下步骤实现：
40.步骤s1：将多模态数据采集设备10的电声门传感器110的感应电导的两个电极放置在颈部甲状软骨的两边；将呼吸传感器111放置在人体腹部；将振动传感器112放置在放舌骨上下肌群的位置；将语音传感器113放置于低于嘴部的2-3厘米处；将肌电传感器114放置于舌骨上下肌群的位置。
41.步骤s2：完成多模态数据采集设备10的佩戴后，开启多模态数据采集设备10，通过微型中央控制处理器20，对多模态数据采集设备10的各个模块进行相应的初始化工作，以使多模态数据采集设备10处于待机状态。
42.步骤s3：微型中央控制处理器20的无线网络模块24，根据网络参数的设置，与用户终端30构成通信连接。
43.步骤s4：用户按下采集按键，微型中央控制处理器20向多模态数据采集设备10发送采集指令，多模态数据采集设备10开始同步采集多模态数据，将同一时刻的多模态数据打包成数据包，向微型中央控制处理器20发送。
44.步骤s5：微型中央控制处理器20接收到数据包后，对数据包进行初步的处理整合，并通过无线网络传输的形式，将数据包发送至用户终端30。
45.步骤s6：用户终端30在接收到数据包后，通过构建数据库，对数据包进行实时的存储，并在客户端界面上动态显示多模态数据波形。
46.需要说明的是，用户终端30中包括的数据深度分析模块34，首先通过单模态数据特征处理，标记各个模态信息的特性，再将多模态数据特征信号进行融合处理，通过机器学习的方式，进一步挖掘多模态数据的特征。
47.作为一个实施例，上述用户终端30可为智能软件客户端。
48.综上所述，根据本发明提出的基于多模态数据采集的喉功能分析系统，通过将多模态数据采集设备上的传感器模块安装在待采集者身上以对待采集者的人体喉部的多模态数据进行同步采集；以及将多模态数据采集设备与微型中央控制处理器电性连接，以便根据控制信号控制多模态数据采集设备对待采集者的人体喉部的多模态数据进行同步采集，并实时接收多模态数据采集设备采集的人体喉部的多模态数据，以及对人体喉部的多模态数据进行处理及发送；用户终端与微型中央控制处理器进行通信连接，以接收微型中央控制处理器发送的处理后的多模态数据，并对处理后的多模态数据进行存储及分析；由此，能够通过无创的多模态数据采集手段实时同步采集、处理和分析人体喉部的多路生理信号，从而为分析喉部复杂的结构性和功能性提供更加全面且有效的数据。
49.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
50.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
51.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
52.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
53.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
54.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
55.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精
神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
56.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
57.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
58.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
59.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
60.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。