一种基于多模态视觉的脉搏波采集系统及方法

1.本发明涉及脉搏波采集技术领域，尤其涉及一种基于多模态视觉的脉搏波采集系统及方法。


背景技术：

2.在中医号脉过程中，医师用手指在桡动脉处施加不同压力，依据中指腹感觉和经验感知脉象的状况，此过程会较多的依赖“个人意愿”，加上中医相授多以口诀和经验，若无多年训练，也很难对脉象进行客观的分析。所以发展出一种脉象仪，其可通过现代技术手段实现脉象信号的客观化和智能化采集。
3.但是，现有的脉象采集设备基本基于压力传感器来对脉搏波进行检测，在检测过程中需要花费较长时间来调整以便压力传感器落在脉象位置上，调整过程不便捷且速度较慢。并且，在脉象采集过程中，手部会轻微的晃动，给脉搏波带来了漂移等，影响了采集精度。
4.因此，现有技术还有待改进和提高。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多模态视觉的脉搏波采集系统及方法，旨在解决现有技术中脉象采集设备采集效率低且采集精度低的问题。
6.为了解决上述技术问题，本发明所采用的技术方案如下：
7.第一方面，本发明提供一种基于多模态视觉的脉搏波采集系统，其中，所述系统包括：脉搏波采集设备以及感知薄膜，所述感知薄膜粘贴在腕部脉搏波位置处；
8.所述感知薄膜包括：脉象感知薄膜与脉象校准薄膜，所述脉象感知薄膜用于提取脉搏波的波动信息，所述脉象校准薄膜用于提取扰动信息；
9.所述脉搏波采集设备包括：
10.双目相机，所述双目相机朝向所述感知薄膜设置，所述双目相机用于采集所述脉象感知薄膜与脉象校准薄膜的视频图像，以得到多模态视频流，所述双目相机包括可见光相机与红外相机；
11.腕部支撑枕，所述腕部支撑枕位于所述双目相机的下方，用于支撑腕部。
12.在一种实现方式中，所述系统还包括：
13.波动信息提取模块，用于分别从所述可见光相机与所述红外相机采集到的所述脉象感知薄膜对应的视频图像中提取腕部脉搏的波动信息；
14.扰动信息提取模块，用于分别从所述可见光相机与所述红外相机采集到的所述脉象校准薄膜对应的视频图像中提取扰动信息；
15.扰动补偿模块，用于对所述波动信息进行扰动补偿；
16.脉搏波输出模块，用于将补偿后的所述可见光相机的波动信息与补偿后的所述红
外相机的波动信息进行融合，输出脉搏波。
17.在一种实现方式中，所述脉象感知薄膜粘贴在腕部桡动脉位置处，且所述脉象感知薄膜的长边与桡动脉平行，以使得完全覆盖脉搏波位置；所述脉象校准薄膜粘贴在所述脉象感知薄膜的一侧。
18.在一种实现方式中，所述脉象感知薄膜上设置有呈阵列排布的若干黑色实心圆形图案。
19.在一种实现方式中，所述脉象感知薄膜的尺寸为2cm*4cm，所述黑色实心圆形图案的直径为：0.06mm～0.1mm。
20.在一种实现方式中，所述脉象校准薄膜上设置有呈阵列排布的若干灰黑色实心正方形图案。
21.在一种实现方式中，所述脉象校准薄膜的尺寸为2cm*2cm，所述灰黑色实心正方形图案的边长为0.06mm～0.1mm。
22.在一种实现方式中，所述脉象采集设备还包括：
23.底座，所述底座上设置所述腕部支撑枕；
24.连杆，所述连杆的底端与所述底座连接；
25.相机支架，所述相机支架的一端与所述连杆的顶端连接，所述相机支架的另一端上设置所述双目相机，所述双目相机与所述相机支架通过螺丝连接。
26.在一种实现方式中，所述腕部支撑枕上设有与腕部紧密贴合的曲面。
27.第二方面，本发明实施例还提供一种基于上述方案中任意一项所述的基于多模态视觉的脉搏波采集系统的脉搏波采集方法，其特征在于，所述方法包括：
28.启动所述可见光相机与所述红外相机，并在确保图像清晰的前提下分别采集所述脉象感知薄膜与所述脉象校准薄膜的视频图像，得到多模态视频流；
29.分别从所述可见光相机与所述红外相机采集到的所述脉象感知薄膜对应的视频图像中提取腕部脉搏的波动信息；
30.分别从所述可见光相机与所述红外相机采集到的所述脉象校准薄膜对应的视频图像中提取扰动信息；
31.基于所述扰动信息对所述波动信息进行扰动补偿；
32.将补偿后的所述可见光相机的波动信息与补偿后的所述红外相机的波动信息进行融合，输出脉搏波。
33.有益效果：与现有技术相比，本发明提供了一种基于多模态视觉的脉搏波采集系统，所述系统包括：脉搏波采集设备以及感知薄膜，所述感知薄膜包括：脉象感知薄膜与脉象校准薄膜，所述脉象感知薄膜用于提取脉搏波的波动信息，所述脉象校准薄膜用于提取扰动信息；所述脉搏波采集设备包括：双目相机与腕部支撑枕，所述双目相机朝向所述感知薄膜，所述双目相机用于采集所述脉象感知薄膜与脉象校准薄膜的视频图像，以得到多模态视频流，所述双目相机包括可见光相机与红外相机；所述腕部支撑枕位于所述双目相机的下方，用于支撑腕部。由于本发明采用双目相机来对脉搏波进行采集，有效提高了采集效率，且通过使用脉象校准薄膜剔除了肢体动作的扰动，提高了脉搏波的采集精度，以便得到更为精确的脉搏波。
附图说明
34.图1为本发明实施例提供的基于多模态视觉的脉搏波采集系统的原理框架图。
35.图2为本发明实施例提供的基于多模态视觉的脉搏波采集系统中的脉搏波采集设备的结构示意图。
36.图3为本发明实施例提供的基于多模态视觉的脉搏波采集系统中脉象感知薄膜与脉象校准薄膜的示意图。
37.图4是本发明实施例提供的基于多模态视觉的脉搏波采集方法的较佳实施例的流程图。
38.附图标号：
[0039][0040]
具体实施方式
[0041]
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0042]
由于现有的脉象采集设备基本基于压力传感器来对脉搏波进行检测，在检测过程中需要花费较长时间来调整以便压力传感器落在脉象位置上，调整过程不便捷且速度较慢。并且，在脉象采集过程中，手部会轻微的晃动，给脉搏波带来了漂移等，影响了采集精度。为此，本实施例提供一种基于多模态视觉的脉搏波采集系统，通过本实施例的系统，可有效提高采集效率以及采集精度。具体地，本实施例中的系统包括：脉搏波采集设备以及感知薄膜。如图1中所示，所述感知薄膜包括：脉象感知薄膜201与脉象校准薄膜203，所述脉象感知薄膜201用于提取脉搏波的波动信息，所述脉象校准薄膜203用于提取扰动信息。具体地，如图2中所示，本实施例中的脉搏波采集设备包括：底座101、连杆102、相机支架103、双目相机105以及腕部支撑枕108。本实施例底座101上设置腕部支撑枕108，连杆102竖直设置在底座101上，且连杆102的顶端与相机支架103的一端连接，相机支架103的另一端上设置
双目相机105，所述双目相机105朝向所述感知薄膜设置。本实施例中的双目相机105是通过螺丝104与相机支架103连接的。本实施例中，所述双目相机105包括可见光相机106与红外相机107，所述可见光相机106与红外相机107均用于采集所述脉象感知薄膜201与脉象校准薄膜203的视频图像，以得到多模态视频流100，由于本实施例采用双目相机105，相对于现有的只采用单一的可见光相机106，本实施例增加了红外相机107，可用于采集腕部的视频图像，从而使得采集的信息更加丰富，增加了一种数据来源，且采用双目相机105可同时采集不同模态的视频图像，从而提高效率，并且本实施例通过使用脉象校准薄膜203剔除了肢体动作带来的扰动，提高了脉搏波的采集精度，以便得到更为精确的脉搏波。
[0043]
在具体应用时，本实施例首先在腕部桡动脉位置处粘贴脉象感知薄膜201，且该脉象感知薄膜201长边与桡动脉平行，使得脉象感知薄膜201完全覆盖脉搏波位置。脉象校准薄膜203粘贴在脉象感知薄膜201的一侧。然后再将手臂放置在腕部支撑枕108上，使腕部曲面紧密贴合。具体地，如图3所示，图3中的a图为脉象感知薄膜201，b图为脉象校准薄膜203。本实施例中的所述脉象感知薄膜201上设置有呈阵列排布的若干黑色实心圆形图案202，所述脉象感知薄膜201的尺寸为2cm*4cm，所述黑色实心圆形图案202的直径为：0.06mm～0.1mm，具体应用时，直径可为0.08mm。本实施例中的所述脉象校准薄膜203上设置有呈阵列排布的若干灰黑色实心正方形图案204，所述脉象校准薄膜203的尺寸为2cm*2cm，所述灰黑色实心正方形图案204的边长为0.06mm～0.1mm，具体应用时，直径可为0.08mm。脉象感知薄膜201上具有黑色实心圆形图案202以及脉象校准薄膜203上具有灰黑色实心正方形图案204的一面朝向双目相机105，方便双目相机105分别针对脉象感知薄膜201与脉象校准薄膜203进行视频图像采集，且本实施例采用一对高对比度、高密度的感知薄膜，不仅更加精确地反映脉搏波带来的波动状况，而且脉象感知薄膜201专用于感知脉搏波，脉象校准薄膜203专用于校准，用以较少干扰，可以提高脉搏波的感知精度。
[0044]
在具体应用时，本实施例中的基于多模态视觉的脉搏波采集系统还包括波动信息提取模块301、扰动信息提取模块302、扰动补偿模块303以及脉搏波输出模块304。具体地，在进行视频图像采集时，本实施例中的可见光相机106和红外相机107同时获取脉象感知薄膜201和脉象校准薄膜203的视频图像，以此得到多模态视频流100。在得到多模态视频流100之后，本实施例中的波动信息提取模块301通过欧拉影像放大技术，分别从所述可见光相机106与所述红外相机107采集到的所述脉象感知薄膜201对应的视频图像中提取腕部脉搏的波动信息，该波动信息为脉搏震动的波形图。本实施例中欧拉影像放大技术是一种可以检测微型震动的技术，已经成功应用于多个场景，因此本实施例拟采用欧拉影像技术来实现脉搏波波动的检测。当脉搏发生波动时，所采集到的视频图像中的每个像素的灰度值会发生变化，因此从连续的若干视频帧中，得出图像中各个像素的变化规律，即灰度值的周期性变化，从灰度值的周期性变化就可以确定波动的幅值，从而就可以采集到腕部脉搏的波动信息。
[0045]
而由于在进行脉搏波的采集时，不可避免地会会发生手部晃动等肢体动作，容易在采集到的图像中带来伪影，会出现模糊情况，降低脉象信号的质量。为了消除这些肢体动作带来的干扰，本实施例的扰动信息提取模块302分别从所述可见光相机106与所述红外相机107采集到的所述脉象校准薄膜203对应的视频图像中提取扰动信息，这些扰动信息反映的是肢体动作所带来的干扰。接着，本实施例的扰动补偿模块303所述波动信息进行扰动补
偿。具体地，分别针对可见光相机106和红外相机107获取到的波动信息进行相应的扰动补偿，就可以分别得到补偿后的可见光相机106的拨动信息以及补偿后的红外相机107的波动信息。最后，本实施例的脉搏波输出模块304将补偿后两个波动信息进行波形融合，就可以得到脉搏波。由此可见，本实施例采用可见光相机106与红外相机107同时获取脉象感知薄膜201与脉象校准薄膜203的视频图像，在可见光相机106的视频图像中，采用欧拉影像放大技术，提供腕部的波动信息以及扰动信息，从腕部波动信息中剔除扰动信息，此时补偿后的波动信息就为可见光下的脉搏波。然后在红外相机107的视频图像中，同样采用欧拉影像放大技术，提供腕部的波动信息以及扰动信息，从腕部波动信息中剔除扰动信息，此时补偿后的波动信息就为红外光下的脉搏波。然后再将不同相机所得到的脉搏波进行融合，得到增强的脉搏波信号。本实施例设置颜色对比强烈且比较密集的脉象感知薄膜201和脉象校准薄膜203贴在腕部，有利于更为精确地对脉搏波进行提取。并且红外相机107具有更强穿透能力，因此能在可见光的基础上获取更为丰富的腕部皮肤的信息，为检测脉搏提供了帮助，基于两种相机所检测的信息更为准确，有利于提高脉搏波的准确度。当然，本实施例也可以采集不同视角下的腕部的视频图像，通过上述同样的方法进行分析，从而不同视角下提取脉搏波。
[0046]
基于上述实施例，本发明还提供一种基于多模态视觉的脉搏波采集方法，如图4所示，本实施例中方法包括如下步骤：
[0047]
步骤s100、启动可见光相机与红外相机，并在确保图像清晰的前提下分别采集脉象感知薄膜与脉象校准薄膜的视频图像，得到多模态视频流；
[0048]
步骤s200、分别从可见光相机与红外相机采集到的脉象感知薄膜对应的视频图像中提取腕部的波动信息；
[0049]
步骤s300、分别从可见光相机与红外相机采集到的脉象校准薄膜对应的视频图像中提取扰动信息；
[0050]
步骤s400、基于扰动信息对波动信息进行扰动补偿；
[0051]
步骤s500、将补偿后的可见光相机的波动信息与补偿后的红外光的波动信息进行融合，输出脉搏波。
[0052]
具体实施时，本实施例首先在腕部桡动脉位置处粘贴脉象感知薄膜，且该脉象感知薄膜长边与桡动脉平行，使得脉象感知薄膜完全覆盖脉搏波位置。脉象校准薄膜粘贴在脉象感知薄膜的一侧。然后再将手臂放置在腕部支撑枕上，使腕部曲面紧密贴合。在进行视频图像采集时，本实施例启动可见光相机与红外相机，并在确保图像清晰的前提下，可见光相机和红外相机同时获取脉象感知薄膜和脉象校准薄膜的视频图像，以此得到多模态视频流。在得到多模态视频流之后，本实施例通过欧拉影像放大技术，分别从所述可见光相机与所述红外相机采集到的所述脉象感知薄膜对应的视频图像中提取腕部脉搏的波动信息，该波动信息为脉搏震动的波形图。然后，本实施例分别从所述可见光相机与所述红外相机采集到的所述脉象校准薄膜对应的视频图像中提取扰动信息，这些扰动信息反映的是肢体动作所带来的干扰。接着，本实施例基于所述扰动信息对所述波动信息进行扰动补偿。具体地，分别针对可见光相机和红外相机获取到的波动信息进行相应的扰动补偿，就可以分别得到补偿后的可见光相机的拨动信息以及补偿后的红外相机的波动信息。最后，本实施例将补偿后两个波动信息进行波形融合，就可以得到脉搏波。由此可见，本实施例采用可见光
相机与红外相机同时获取脉象感知薄膜与脉象校准薄膜的视频图像，在可见光相机的视频图像中，采用欧拉影像放大技术，提供腕部的波动信息以及扰动信息，从腕部波动信息中剔除扰动信息，此时补偿后的波动信息就为可见光下的脉搏波。然后在红外相机的视频图像中，同样采用欧拉影像放大技术，提供腕部的波动信息以及扰动信息，从腕部波动信息中剔除扰动信息，此时补偿后的波动信息就为红外光下的脉搏波。然后再将不同相机所得到的脉搏波进行融合，得到增强的脉搏波信号。
[0053]
本实施例中的基于多模态视觉的脉搏波采集方法的各个步骤的实现原理与上述实施例中基于多模态视觉的脉搏波采集系统的实现原理是相同的，此处不再赘述。
[0054]
综上，本发明公开了一种基于多模态视觉的脉搏波采集系统及方法，所述系统包括：脉搏波采集设备以及感知薄膜，所述感知薄膜包括：脉象感知薄膜与脉象校准薄膜，所述脉象感知薄膜用于提取脉搏波的波动信息，所述脉象校准薄膜用于提取扰动信息；所述脉搏波采集设备包括：双目相机与腕部支撑枕，所述双目相机朝向所述感知薄膜，所述双目相机用于采集所述脉象感知薄膜与脉象校准薄膜的视频图像，以得到多模态视频流，所述双目相机包括可见光相机与红外相机；所述腕部支撑枕位于所述双目相机的下方，用于支撑腕部。由于本发明采用双目相机来对脉搏波进行采集，有效提高了采集效率，且通过使用脉象校准薄膜剔除了肢体动作的扰动，提高了脉搏波的采集精度，以便得到更为精确的脉搏波。
[0055]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。