雷达感测心律方法及其系统与流程

1.本发明是有关一种雷达感测心律方法及其系统，特别是通过深度学习能自动找寻特征，再使网路自行找寻二维图像资讯中的心跳频率与其他非心跳频率的关联性，最后检测出心律的方法及其系统。


背景技术：

2.人工智能时代的来临正在改变这个社会的结构，以直接或间接的方式影响到我们的日常生活，我们都希望能够通过人工智能解决问题，以提升生活品质，其中人工智能与医疗结合一直是个热门的议题，在疾病的判断、预测的应用也屡见不鲜，由于医疗讯号的复杂性及所需的精准性，使用传统的演算法处理方式往往会有诸多限制，利用大数据资料提供的客观数据，结合深度学习使得电脑可以快速的学习，进而预测、判断、分类、决策，将原本需要到医院经过受到长期训练的医生诊断才能判别出的疾病，通过各种智能型穿戴仪器及家庭式的测量仪器，将专业的诊断融入我们的日常生活中，以改善我们的生活品质并达到及早预防的效果，如此不但可以解决医疗人力资源不足的窘况，搭配测量仪器的进步，也使得人工智能超越人为判别成为可能。
3.基于雷达的非接触式vital signs检测已有很多雷达都有这项应用，例如uwb，cw doppler radar and fmcw，尽管所有的方法都是在受控的环境和一定的条件下都能正常检测，但仍需要解决实际环境所带来的不确定性，才能使雷达有足够能力在各种场域下检测vital signs，而这些不确定性包括未知的身体状态、sensor晃动与部署、是否有效消除呼吸harmonics和杂乱的环境是否能够可靠的检测等，通常大家为了解决这些不确定性，会加入更多的信号处理分析、更多雷达或是雷达与其他感测器结合。
4.因此，为了得到更可靠的测量与动态补偿(measurements and motion compensation)，故本发明提出了一套深度学习演算法，希望通过短时距傅立叶变换(short-time fourier transform，stft)把讯号转成二维图像资讯(spectrogram)，并通过深度学习能自动找寻特征，再使网路自行找寻spectrogram中的心跳频率与其他非心跳频率的关联性，最后检测出心律，如此将能解决以上所提到的不确定性，因此本发明应为一最佳解决方案。


技术实现要素：

5.为解决上述现有技术中不足，本发明的主要目的在于提供一种雷达感测心律方法。
6.本发明雷达感测心律方法，其步骤为：
7.通过对准至少一雷达感测器对朝向至少一对象进行收集一原始讯号；
8.将该原始讯号转换为一二维图像资讯，再将二维图像资讯通过神经网路模型中进行学习，并通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，并能够将心跳频率取出。
9.更具体的说，所述雷达感测器为一毫米波雷达。
10.更具体的说，所述原始讯号能够先经过滤波处理之后，再进行傅立叶变换以将讯号转换成该二维图像资讯。
11.更具体的说，所述滤波处理能够通过高通滤波或/及带通滤波，用以将该原始讯号保留在人体心律的频域范围内。
12.更具体的说，所述神经网路模型使用avgpooling对res_block进行改良。
13.更具体的说，所述为了讯号取样的正确性，故需先进行对象是否离开的检测与判断。
14.本发明雷达感测心律系统，包括：至少一雷达感测器，用以朝向至少一对象进行收集一原始讯号；至少一伺服器设备，与该雷达感测器进行连线，而该伺服器设备能够接收该原始讯号，将该原始讯号转换为一二维图像资讯，再将二维图像资讯通过神经网路模型中进行学习，并通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，用以自动将心跳频率取出。
15.更具体的说，所述伺服器设备包括至少一个处理器及至少一个电脑可读取记录媒体，这些电脑可读取记录媒体储存有至少一个应用单元，其中该电脑可读取记录媒体更进一步储存有电脑可读取指令，当由这些处理器执行这些电脑可读取指令时，能够使该应用单元进行运作，用以将该原始讯号转换为一二维图像资讯，再将二维图像资讯通过神经网路模型中进行学习，并通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，用以自动将心跳频率取出。
16.更具体的说，所述应用单元包括：一输入模组，用以输入至少一个具有原始讯号的数据文件；一滤波处理模组，与该输入模组相连接，用以将该原始讯号经过滤波处理；一二维图像转换模组，与该滤波处理模组相连接，用以进行傅立叶变换以将讯号转换成该二维图像资讯；以及一神经网路学习模组，与该二维图像转换模组相连接，用以将该二维图像资讯输入进入该神经网路学习模组内，而该神经网路学习模组使用avgpooling对res_block进行改良出一神经网路模型，并将该二维图像资讯于神经网路模型中进行学习，以通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，并能够将心跳频率取出。
17.更具体的说，所述滤波处理模组能够通过高通滤波或/及带通滤波，用以将该原始讯号保留在人体心律的频域范围内。
18.本发明的有益效果是：
19.(1)本发明提出了一套深度学习演算法，希望通过短时距傅立叶变换把讯号转成二维图像资讯，并通过深度学习能自动找寻特征，再使自行找寻spectrogram中的心跳频率与其他非心跳频率的关联性，最后检测出心律，如此将能解决以上所提到的不确定性。
20.(2)本发明提出改良后的res-net做特征提取，使avgpooling在spectrogram里扮演着特征保留的角色，可使resnet训练时不会丢失掉spectrogram中的任何一个特征，使神经能够更能准确地在spectrogram中学习，也更容易收敛。
附图说明
21.下面结合附图和具体实施方式对本发明作进一步详细的说明。
22.图1：本发明雷达感测心律方法及其系统的流程示意图；
23.图2：本发明雷达感测心律方法及其系统的系统架构示意图；
24.图3：本发明雷达感测心律方法及其系统的伺服器设备示意图；
25.图4：本发明雷达感测心律方法及其系统的应用单元架构示意图；
26.图5a：现有神经网路模型示意图；
27.图5b：本发明雷达感测心律方法及其系统的改良后的的神经网路模型示意图；
28.图6a-1：本发明雷达感测心律方法及其系统的原始讯号没有经过滤波器处理的原始讯号波形图；
29.图6a-2：本发明雷达感测心律方法及其系统的原始讯号没有经过滤波器处理的傅立叶变换波形图；
30.图6a-3：本发明雷达感测心律方法及其系统的原始讯号没有经过滤波器处理的转换后的时频谱图；
31.图6b-1：本发明雷达感测心律方法及其系统的原始讯号经过高通滤波器处理的原始讯号波形图；
32.图6b-2：本发明雷达感测心律方法及其系统的原始讯号经过高通滤波器处理的傅立叶变换波形图；
33.图6b-3：本发明雷达感测心律方法及其系统的原始讯号经过高通滤波器处理的转换后的时频谱图；
34.图6c-1：本发明雷达感测心律方法及其系统的原始讯号经过带通滤波器处理的原始讯号波形图；
35.图6c-2：本发明雷达感测心律方法及其系统的原始讯号经过带通滤波器处理的傅立叶变换波形图；
36.图6c-3：本发明雷达感测心律方法及其系统的原始讯号经过带通滤波器处理的转换后的时频谱图；
37.图7：本发明雷达感测心律方法及其系统的检测流程图；
38.图8：本发明雷达感测心律方法及其系统的投票实施示意图。
39.附图标记说明
40.1：雷达感测器
41.2：伺服器设备
42.21：处理器
43.22：电脑可读取记录媒体
44.221：应用单元
45.2211：输入模组
46.2212：滤波处理模组
47.2213：二维图像转换模组
48.2214：神经网路学习模组
49.101～102：步骤
50.701～708：步骤。
具体实施方式
51.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
52.请参阅图1，为本发明雷达感测心律方法及其系统的流程示意图，由图中可知，其步骤为：
53.通过对准至少一雷达感测器对朝向至少一对象进行收集一原始讯号101；
54.将该原始讯号转换为一二维图像资讯，再将二维图像资讯通过神经网路模型中进行学习，并通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，并能够将心跳频率取出102。
55.而本发明的雷达感测心律系统，如图2～4所示，包括：
56.至少一雷达感测器1，用以朝向至少一对象进行收集一原始讯号，其中雷达感测器为一毫米波雷达；
57.至少一伺服器设备2，与该雷达感测器1进行连线，而该伺服器设备2能够接收该原始讯号，将该原始讯号转换为一二维图像资讯，再将二维图像资讯通过神经网路模型中进行学习，并通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，用以自动将心跳频率取出。
58.而该伺服器设备2至少包括一个处理器21及一个电脑可读取记录媒体22，这些电脑可读取记录媒体22储存有至少一个应用单元221，其中该电脑可读取记录媒体22更进一步储存有电脑可读取指令，当由这些处理器21执行这些电脑可读取指令时，能够使该应用单元221进行运作，用以将该原始讯号转换为一二维图像资讯，再将二维图像资讯通过神经网路模型中进行学习，并通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，用以自动将心跳频率取出。
59.而该应用单元221包括：
60.一输入模组2211，用以输入至少一个具有原始讯号的数据文件；
61.一滤波处理模组2212，与该输入模组2211相连接，用以将该原始讯号经过滤波处理，其中该滤波处理模组能够通过高通滤波或/及带通滤波，用以将该原始讯号保留在人体心律的频域范围内；
62.一二维图像转换模组2213，与该滤波处理模组2212相连接，用以进行傅立叶变换以将讯号转换成该二维图像资讯；以及
63.一神经网路学习模组2214，与该二维图像转换模组2213相连接，用以将该二维图像资讯输入进入该神经网路学习模组内，而该神经网路学习模组使用avgpooling对res_block进行改良出一神经网路模型，并将该二维图像资讯于神经网路模型中进行学习，以通过神经网路模型自动过滤杂讯，以进行学习该二维图像资讯的心跳频率与非心跳频率的关联性，并能够将心跳频率取出。
64.由于原始讯号(raw signal)为原始未经处理的信号，为了改善输入讯号品质，故对它做快速傅立叶转换(fft)后可以发现此讯号在0hz附近有一个非常大的杂讯信号，因此我们做了以下两个步骤，说明如下：
65.高通滤波器(high-pass filter)，去滤除此一非常大的杂讯讯号，目的是要保留人体心律0.8hz以前的频域部分。
66.带通滤波器(band pass filter，即bpf)，因为心跳的频率为每分钟50-120下，换算至频率为0.8hz-2hz之间，通过bpf是要使整个原始讯号(raw signal)锁定在人体心律0.8～2.0hz的频域范围内，故利用此步骤能将讯号限制在此一频率去进行心律的估算。
67.而本发明能够利用短时距傅立叶变换(short-time fourier transform，stft)把讯号转成时频多维(time-frequency dimension)，以将1d讯号转成2d图像的时频谱图，而短时距傅立叶变换说明如下：
68.短时距傅立叶变换是加上视窗讯号后有序列性的fourier transforms，用于决定随时间变化的讯号局部部分的正弦频率和相位，其与傅立叶转换最大的差别是在于傅立叶转换并不能给予关于讯号频率随时间改变的任何资讯。
69.简单来说，在连续时间的例子，将这个窗函数沿着时间轴挪移，所得到一系列的傅立叶变换结果排开则成为二维表象。数学上，这样的操作可写为：
[0070][0071]
其中w(t)是窗函数，x(t)是待变换的讯号。x(t，w)是w(t-τ)x(τ)的傅立叶变换，随着t改变，窗函数会在时间轴上位移。本发明选择短时距傅立叶变换的原因是将原始讯号(raw signal)做转换后再接着反转换回原函数，损失近乎为零，所以很适合用来做时频分析(time-frequency analysis)。
[0072]
而本发明基于如图5a的res_block进行改良，将原本使convolution部分与缩小空间维度的部分，换成avgpooling进行训练，最后加上一层globalavgpooling2d以及两层的dense做最后的特征提取，如图5b所示，使用avgpooling的原因是因为原先架构使用于图像中，在图像上pixel and pixel(像素和像素)比较没有关连性，而图像本就是一个非常复杂的输入，因此本发明设计res_block便可以使用maxpooling来降低维度，是一项非常可靠的降维方式，或是想保留pixel and pixel邻近间关系，也可将降维任务改成convolution，效果也相当不错，两种方式都可使网路更快收敛，然而我们会选择avgpooling的原因，是因为我们回归任务的图像是时频谱图，即二维图像资讯(spectrogram)，二维图像资讯的每一条时间轴与下一条时间轴都有关联性，因此如果使用maxpooling会丧失许多特征，convolution直觉上相对比较好，因此我们刚开始选择的是convolution来降低维度，本发明将降维的任务替换成avgpooling后，效果反而比原先使用convolution还要好，因此我将所有的convolution降维的任务，全部改成avgpooling，也在我们资料库中有非常好的表现。
[0073]
而图5b中的*8是代表框选范围内重叠8次，而框选范围内的下方的符号是指添加的位置。
[0074]
而本发明的实施例中使用频率调变连续波雷达(frequency modulated continuous wave radar)来当我们的雷达感测器1，利用毫米波(millimetrewave)能检测到微小讯号特性，录制我们的资料库，而本实施例中，将雷达感测器1架设高度为以心脏为基准向上1.8米的位置，接收的范围讯号为20厘米，测量角度为正负20度，此外，还搭配一脉
搏计，并将测量出来的脉搏作为本实施例中的ground truth。
[0075]
而本实施例中，先通过高通滤波器(high-pass filter)将接近0频的位置隔绝，但保留一些在0.8hz之前的部分，最后在利用带通滤波器(band pass filter)把0.8～2.0hz之间留下，并且保留一些在遮罩范围外的频率，目的是要使网路看广一点，不然有些心律在0.8～1hz或是1.8～2.0hz之间会因为filter而失去原有的频段，最后将滤波后的raw signal使用stft转成时频谱图，如图6a-1、6a-2、6a-3、6b-1、6b-2、6b-3、6c-1、6c-2、6c-3所示，其中分别是没有经过滤波器、经过高通滤波器、经过带通滤波器的结果。
[0076]
而当输入讯号做讯号前处理后并转换得到二维图像资讯后送进神经网路中训练，本实施例中使用adam优化器，初始learning rate设定在10-3、batch size设定在25、总共training epochs设定在100，且根据验证集损失函数采用patient为10的early stop，最后loss function使用mean absoluteerror(mae)计算损失并回调函数。
[0077]
而本实施例中，若是提出得res_net18对raw signal做1d回归，但效果非常差，也非常难收敛，即便使用bandpass filter也很难改善难以收敛的事实，原因是因为raw signal太复杂了，故本实施例中将1d的raw signal做stft转成二维图像资讯后，将2d的rawsignal送进res_net18训练，训练结果也有明显的转变，从原先会overfitting到能收敛。
[0078]
本发明找了一个比较能代表实际心律与预测心律的loss function，这loss function是mae，通过mae可以使我们计算所有test里的整体对groundtruth的误差，若loss越低，代表全体结果越靠近真实心律，而本实施例中拿mae loss function做验证，若在前处理中加入适当的filter，也可使网路能够有更好的收敛表现，以此证明利用hpf与bpf做前处理可有效地使神经网路收敛。
[0079]
如下表一所示，证明了在我们于本实施例中所录制的资料库中(all_data是指全部录制的资料，而avg_data是指随机挑选，以当作心律平均资料库)，如果将原先的resnet做改良，把所有降低维度的工作交给avgpooling可以得到较好的结果，也证实了若应用在雷达那么复杂的任务中以及取样频率低的情形，要使神经网路做time-frequency analysis，就必须保留更多的相依资讯，也必须先使神经网路特别关注于某些区域，否则会因为损失太多特征导致最后学习结果一样，而经过实际值与预测值比较可知，本发明提出的方法运用于本实施例中提出的资料库是可以收敛的，也可以使网路越来越逼近ground truth。
[0080]
表一
[0081]
[0082][0083]
表一使用不同的layer做降维所得到的表现，表中c是等于conv2d，a是等于avgpooling。
[0084]
而由上述实施例可知，利用high pass filter与bandpass filter能够减少呼吸讯号对心跳讯号的影响，也同时使神经网路训练有更好的表现，且通过short-time fourier transform将1d讯号转成2d讯号，可改善在1d resnet难以收敛的问题，并加上改良后的res-net做特征提取，使avgpooling在二维图像资讯里扮演着特征保留的角色，可使resnet训练时不会丢失掉二维图像资讯中的任何一个特征，使神经网路能够更能准确地在二维图像资讯中学习，也更容易收敛。
[0085]
另外，为了讯号取样的正确性，故需先进行对象是否离开的检测与判断，如图7所示，流程如下：
[0086]
每组overall signal为6秒钟的信号，我们对其每秒钟的信号取20个取样点(sampling)，因此读取后会有120个取样点701，再对此输入的120个取样点做快速傅立叶转换(fft)702，我们可以得到输入的6秒信号的频谱；
[0087]
而fft cut此部分为保留0.2hz-3.4hz频率其余的过滤703，为的是我们发现原本信号在0hz附近会有一个很大的杂讯，因此我们必须通过此步骤做过滤我们不需要的信号；
[0088]
之后，对于过滤完的频谱我们再做反快速傅立叶转换(ifft)来得到我们过滤后的讯号704，最后再做标准化(normalization)来做后续的计算705；
[0089]
基于做过标准化的信号，我们对其计算出此6秒信号的平均值后去判断他是否在我们规定的阈值内706，若平均值在阈值内我们就认定这6秒的信号为有人的；
[0090]
而阈值的设定我们是依据数据库去做计算707，对数据库每笔资料做平均值之后，去寻找最大值与最小值当作我们此阶段的阈值；
[0091]
而利用阈值去判断是否有人会造成一个问题，就是判断结果可能会飘忽不定，因此我们利用投票机制去解决此问题708。
[0092]
另外，如图8所示，上方数字为时间点下方数字为投票数，投票数的初始值为0，假设有人的时间点为0，因此在时间点1时票数会加1，而因为人在时间点10才离开，因此此段时间的投票数会持续加1至最大值9就停止加1，而判断是否有人必须达到阈值5票才会判定为有人的情况，因此可以发现在时间点为5时才开始判断为有人。而人在时间点10的时候离开，因此在时间点为11的投票数减1，直到投票数减至阈值才认定没有人。
[0093]
本发明所提供的雷达感测心律方法及其系统，与其他现有技术相互比较时，其优点如下：
[0094]
本发明提出了一套深度学习演算法，希望通过短时距傅立叶变换把讯号转成二维图像资讯，并通过深度学习能自动找寻特征，再使网路自行找寻二维图像资讯中的心跳频率与其他非心跳频率的关联性，最后检测出心律，如此将能解决以上所提到的不确定性。
[0095]
本发明提出改良后的res-net做特征提取，使avgpooling在二维图像资讯里扮演着特征保留的角色，可使resnet训练时不会丢失掉spectrogram中的任何一个特征，使神经网路能够更能准确地在二维图像资讯中学习，也更容易收敛。
[0096]
以上说明内容仅为本发明较佳实施例，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。