一种基于FMCW雷达的舌姿检测系统与方法

本发明涉及了一种舌姿检测系统与方法，具体涉及一种基于fmcw雷达的舌姿检测系统和方法。

背景技术：

光和电磁波是人类观察和感知世界的主要媒介，随着科技的不断发展，电磁波的应用也越来越广，如5g、物联网、无人驾驶等，尤其是随着5g的发展，各种基于电磁波的感知也已成为学术和工程上的研究热点。

在多种感知手段中新近出现的舌姿识别系统有着极为宽广的应用场景。首先，在军事行动等多种特殊场景中，舌姿识别系统能够提供有效的无声交互；另外，在全球范围内，由脊髓损伤引起的瘫痪病例正在逐年上升,每年约有250,000至500,000例新的脊髓损伤病例。根据损伤的严重程度，患者可能会遭受部分或全身瘫痪和活动受限。例如，遭受高颈神经(c1-c4)损伤的患者的手臂、手、躯干和腿部出现瘫痪。此类患者只能将头、舌和眼的运动用作姿势识别和环境控制的输入。在这三种姿势输入中，舌头是一大批瘫痪患者的常用输入器官。这是由于两个原因：首先，舌头是一种柔软的器官，可以用来执行大量姿势。第二，舌头受颅神经控制，颅神经嵌在颅骨中，在脊髓损伤期间不易受损。因此，它同样适合于大量瘫痪患者的姿势识别。

基于fmcw(调频连续波)雷达的舌姿检测作为新兴技术，克服了传统识别方案的诸多问题，应用前景广阔，然而由于动态舌姿具有复杂多样、时空特征多变的特点，给人机交互和舌姿识别的研究带来了许多新的挑战，该技术在具有极大研究价值的同时，还具备很大的挑战性。

技术实现要素：

为了解决背景技术中的问题，本发明提供了一种基于fmcw雷达的舌姿检测系统与方法。

本发明利用雷达收发射频前端通过开关切换可获取六组iq中频信号，传输至信号处理模块进行中频信号处理输出多普勒频移变化数据，多普勒频移变化数据传输至识别模块，识别模块对多普勒频移变化数据进行处理和分类，进而通过终端界面进行显示结果。

本发明的技术方案如下：

一、一种基于fmcw雷达的舌姿检测系统

舌姿检测系统包括若干个雷达收发射频前端、若干个信号处理模块、识别模块，雷达收发射频前端的输出端与信号处理模块的输入端相连，信号处理模块的反馈端与雷达收发射频前端的控制端相连，信号处理模块的输出端与识别模块的输入端相连，识别模块的输出端与终端界面相连；雷达收发射频前端发射fmcw雷达信号到被检测舌头发生反射产生fmcw雷达回波信号，并返回到雷达收发射频前端，雷达收发射频前端将fmcw雷达回波信号进行去噪放大后输出iq中频信号，iq中频信号输入信号处理模块，信号处理模块处理后输出多普勒频移变化数据，识别模块对多普勒频移变化数据进行处理得到舌头复杂运动特征并进行舌头复杂运动特征的分类，实现舌姿的智能识别并将结果传输给终端界面，最终通过终端界面进行显示，识别模块还将舌头复杂运动特征反馈回信号处理模块，信号处理模块根据反馈回来的舌头复杂运动特征生成对应的发射参数传输给雷达收发射频前端，实现fmcw雷达信号的不断调节。

所述雷达收发射频前端包括发射端和接收端，所述发射端包括压控振荡器、低通滤波器、本振信号发生器、第一混频器、功率分配器、两个放大器、两个开关和两个发射机；压控振荡器的输出端依次经低通滤波器、第一混频器和功率分配器连接，压控振荡器的控制端作为雷达收发射频前端的控制端并与信号处理模块相连，第一混频器还与本振信号发生器相连，功率分配器依次经一个放大器、一个开关和一个发射机相连，功率分配器还依次经另一个放大器、另一个开关和另一个发射机相连；

所述接收端包括两个接收机、两个低噪声放大器、四个混频器、两个移相器；第一接收机经第一低噪声放大器后与第二混频器相连，功率分配器与第二混频器相连，第二混频器的输出作为雷达收发射频前端的第一输出端，第一低噪声放大器还与第三混频器相连，功率分配器经一个移相器后与第三混频器相连，第三混频器的输出作为雷达收发射频前端的第二输出端；第二接收机经第二低噪声放大器后与第四混频器相连，功率分配器与第四混频器相连，第四混频器的输出作为雷达收发射频前端的第三输出端，第二低噪声放大器还与第五混频器相连，功率分配器经另一个移相器后与第五混频器相连，第五混频器的输出作为雷达收发射频前端的第四输出端。

所述信号处理模块包括四个滤波放大处理模块、四个数模转换器、压控波形生成和运算单元；雷达收发射频前端的第一输出端与第一滤波放大处理模块相连，第一滤波放大处理模块经第一数模转换器后连接到运算单元上；雷达收发射频前端的第二输出端与第二滤波放大处理模块相连，第二滤波放大处理模块经第二数模转换器后连接到运算单元上；雷达收发射频前端的第三输出端与第三滤波放大处理模块相连，第三滤波放大处理模块经第三数模转换器后连接到运算单元上；雷达收发射频前端的第四输出端与第四滤波放大处理模块相连，第四滤波放大处理模块经第四数模转换器后连接到运算单元上；运算单元与压控波形生成模块的控制端相连，压控波形生成模块的输出端与压控振荡器的控制端相连。

所述雷达收发射频前端为毫米波fmcw雷达。

所述识别模块为计算机终端。

所述滤波放大处理模块包括前置低噪声放大器、高通滤波器、可变增益放大器和低通滤波器。

二、采用舌姿检测系统的一种基于fmcw雷达的舌姿检测方法

雷达收发射频前端的发射端有三种发射状态，雷达收发射频前端的接收端中每个接收机均接收到三组接收信号，最后雷达收发射频前端输出六组iq中频信号，信号处理模块对每组iq中频信号进行解调计算得到多普勒频移变化数据并将多普勒频移变化数据传输至识别模块，识别模块计算多普勒频移变化数据中的舌头复杂运动特征，利用舌头复杂运动特征对多普勒频移变化数据进行分类，实现舌姿的智能识别并将结果传输给终端界面，最终通过终端界面进行显示；

识别模块将多普勒频移变化数据对应的舌头复杂运动特征反馈给信号处理模块的运算单元，运算单元根据反馈的舌头复杂运动特征来判断被检测舌头的运动状态并同时计算被检测舌头与雷达收发射频前端的距离，从而来确定被检测舌头的运动过程；根据被检测舌头的运动过程，运算单元输出该运动过程中发射端最佳的发射参数，压控波形生成模块改变生成的电压形状，从而改变发射的fmcw雷达信号。

所述发射参数具体为fmcw雷达信号t(t)的参数a1、a2、a3、b1、b2、b3、c，公式如下：

t(t)＝a1sinb1t+a2sinb2t+a3sinb3t+c＝atcos(2πftt)

其中，a1、a2、a3、b1、b2、b3、c均为常数，at表示发射的fmcw雷达信号的幅度，ft表示发射的fmcw雷达信号的发射频率；

运算单元根据反馈的舌头复杂运动特征调整参数a1、a2、a3、b1、b2、b3、c的值，将参数a1、a2、a3、b1、b2、b3、c输出到压控波形生成模块中，从而使发射频率ft发生改变。

所述反馈的舌头复杂运动特征包括iq中频信号中两路的i路回波信号i(t)和两路的q路回波信号q(t)的幅度相位φ和多普勒频率fd，i路回波信号i(t)和q路回波信号q(t)的公式如下：

其中，at表示发射的fmcw雷达信号的幅度，ar(t)表示接收的fmcw雷达回波信号的幅度，fd表示接收的fmcw雷达回波信号的多普勒频率，φ为初始状态下舌头与雷达收发射频前端之间的距离形成的相位；

所述多普勒频移fd满足fd＝fr-ft，其中，ft表示发射的fmcw雷达信号的发射频率，fr表示接收的fmcw雷达回波信号的接收频率；

并且发射频率ft和接收频率fr之间满足下述关系：

其中，c表示光速，v表示舌头移动的速度。

本发明的有益效果：

1)雷达电磁波感知为非接触式感知，系统的普适性更强；

2)基于毫米波雷达频段的舌姿识别，数据流是雷达信号，即使信号泄露，攻击方很难直接看到任何有用的信息，这对系统的安全性提供了一定的保障；

3)基于毫米波雷达的舌姿识别可以集成在能耗低、体积小的高速处理芯片上，这为嵌入到便携式设备中提供了可能。

附图说明

图1为本发明系统模块示意图；

图2为本发明雷达模块以及信号处理模块示意图；

图3为本发明发射信号拟合波形示意图；

图4为本发明的算法流程示意图；

图5为本发明终端界面示意图；

图中：雷达收发射频前端(1)；信号处理模块(2)；识别模块(3)；终端界面(4)。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

如图1所示，舌姿检测系统包括若干个雷达收发射频前端1、若干个信号处理模块2、识别模块3，雷达收发射频前端1的输出端与信号处理模块2的输入端相连，信号处理模块2的反馈端与雷达收发射频前端1的控制端相连，信号处理模块2的输出端与识别模块3的输入端相连，识别模块3的输出端与终端界面4相连，雷达收发射频前端1为毫米波fmcw雷达，识别模块3为计算机终端；雷达收发射频前端1发射fmcw雷达信号到被检测舌头发生反射产生fmcw雷达回波信号，并返回到雷达收发射频前端1，雷达收发射频前端1将fmcw雷达回波信号进行去噪放大后输出iq中频信号，iq中频信号输入信号处理模块2，信号处理模块2处理后输出多普勒频移变化数据，识别模块3对多普勒频移变化数据进行处理得到舌头复杂运动特征并进行舌头复杂运动特征的分类，实现舌姿的智能识别并将结果传输给终端界面4，最终通过终端界面4进行显示，识别模块3还将舌头复杂运动特征反馈回信号处理模块2，信号处理模块2根据反馈回来的舌头复杂运动特征生成对应的发射参数传输给雷达收发射频前端1，实现fmcw雷达信号的不断调节，提升fmcw雷达探测灵敏度和提高检测的效果。

如图2所示，雷达收发射频前端1包括发射端和接收端，发射端包括压控振荡器、低通滤波器、本振信号发生器、第一混频器、功率分配器、两个放大器、两个开关和两个发射机；压控振荡器的输出端依次经低通滤波器、第一混频器和功率分配器连接，压控振荡器的控制端作为雷达收发射频前端1的控制端并与信号处理模块2相连，第一混频器还与本振信号发生器相连，功率分配器依次经一个放大器、一个开关和一个发射机相连，功率分配器还依次经另一个放大器、另一个开关和另一个发射机相连；

接收端包括两个接收机、两个低噪声放大器、四个混频器、两个移相器；第一接收机经第一低噪声放大器后与第二混频器相连，功率分配器与第二混频器相连，第二混频器的输出作为雷达收发射频前端1的第一输出端，第一低噪声放大器还与第三混频器相连，功率分配器经一个移相器后与第三混频器相连，第三混频器的输出作为雷达收发射频前端1的第二输出端；第二接收机经第二低噪声放大器后与第四混频器相连，功率分配器与第四混频器相连，第四混频器的输出作为雷达收发射频前端1的第三输出端，第二低噪声放大器还与第五混频器相连，功率分配器经另一个移相器后与第五混频器相连，第五混频器的输出作为雷达收发射频前端1的第四输出端。

信号处理模块2包括四个滤波放大处理模块、四个数模转换器、压控波形生成和运算单元；雷达收发射频前端1的第一输出端与第一滤波放大处理模块相连，第一滤波放大处理模块经第一数模转换器后连接到运算单元上；雷达收发射频前端1的第二输出端与第二滤波放大处理模块相连，第二滤波放大处理模块经第二数模转换器后连接到运算单元上；雷达收发射频前端1的第三输出端与第三滤波放大处理模块相连，第三滤波放大处理模块经第三数模转换器后连接到运算单元上；雷达收发射频前端1的第四输出端与第四滤波放大处理模块相连，第四滤波放大处理模块经第四数模转换器后连接到运算单元上；运算单元与压控波形生成模块的控制端相连，压控波形生成模块的输出端与压控振荡器的控制端相连。

滤波放大处理模块包括前置低噪声放大器、高通滤波器、可变增益放大器和低通滤波器，用于处理iq中频信号。

具体实施中，滤波放大处理模块主要由前置低噪放、高通滤波器、可变增益放大器和低通滤波器四部分组成。前置低噪放主要由高精度运算放大器op211构成，可实现低噪声、低功耗、高带宽等特性，可实现放大接收到的微弱的iq中频信号和降低噪声对iq中频信号的干扰；采用高通滤波器ad8671和低通滤波器ad8671，高通滤波器滤除所泄露的调制信号、电源噪声和近距离低频干扰信号，低通滤波器滤除电路内部和信号中的高频谐波分量；可变增益调整电路主要由可变增益放大器ad603组成，可变增益调整电路根据滤波后信号大小调整增益，将不同的iq中频信号放大到模数转换器可以进行采样分辨的幅度，以便运算单元能够正常工作。

雷达收发射频前端1的发射端有三种发射状态，雷达收发射频前端1的接收端中每个接收机均接收到三组接收信号，最后雷达收发射频前端1输出六组iq中频信号，信号处理模块2对每组iq中频信号进行解调计算得到多普勒频移变化数据并将多普勒频移变化数据传输至识别模块3，识别模块3计算多普勒频移变化数据中的舌头复杂运动特征，利用舌头复杂运动特征对多普勒频移变化数据进行分类，实现舌姿的智能识别并将结果传输给终端界面4，最终通过终端界面4进行显示；

识别模块3将多普勒频移变化数据对应的舌头复杂运动特征反馈给信号处理模块2的运算单元，运算单元根据反馈的舌头复杂运动特征来判断被检测舌头的运动状态并同时计算被检测舌头与雷达收发射频前端1的距离，从而来确定被检测舌头的运动过程，即被检测舌头是接近还是远离雷达收发射频前端1；根据被检测舌头的运动过程，运算单元输出该运动过程中发射端最佳的发射参数，压控波形生成模块改变生成的电压形状，从而改变发射的fmcw雷达信号，用于提升探测灵敏度和效果。

发射参数具体为由三阶非线性函数来拟合的fmcw雷达信号t(t)的参数a1、a2、a3、b1、b2、b3、c，公式如下：

t(t)＝a1sinb1t+a2sinb2t+a3sinb3t+c＝atcos(2πftt)

其中，a1、a2、a3、b1、b2、b3、c均为常数，at表示发射的fmcw雷达信号的幅度，ft表示发射的fmcw雷达信号的发射频率；

运算单元根据反馈的舌头复杂运动特征调整参数a1、a2、a3、b1、b2、b3、c的值，将参数a1、a2、a3、b1、b2、b3、c输出到压控波形生成模块中，从而使发射频率ft发生改变。

反馈的舌头复杂运动特征包括iq中频信号中两路的i路回波信号it和两路的q路回波信号qt的幅度相位φ和多普勒频率fd，i路回波信号it和q路回波信号qt的公式如下：

其中，at表示发射的fmcw雷达信号的幅度，art表示接收的fmcw雷达回波信号的幅度，fd表示接收的fmcw雷达回波信号的多普勒频率，φ为初始状态下舌头与雷达收发射频前端1之间的距离形成的相位，从而根据相位φ来计算检测舌头与雷达收发射频前端1之间的距离；

多普勒频移fd满足fd＝fr-ft，其中，ft表示发射的fmcw雷达信号的发射频率，fr表示接收的fmcw雷达回波信号的接收频率；

并且发射频率ft和接收频率fr之间满足下述关系：

其中，c表示光速，v表示舌头移动的速度，舌头移动的速度v约为0.02m/s～0.05m/s。

当舌头动作幅度大且频率低时，调整a1、a2、a3、b1、b2、b3、c的值，使发射信号为接近锯齿波的波形1；当舌头动作幅度小、高动态且频率低时，例如讲话时，则调整a1、a2、a3、b1、b2、b3、c的值，使发射信号为接近反锯齿波的波形2；当舌头动作幅度小且频率高时，调整a1、a2、a3、b1、b2、b3、c的值，使发射信号为接近三角波的波形3；当检测到的脸部肌肉干扰较大时，调整c的值，使发射信号频宽增加以降低干扰。

实施例：

雷达参数主要包括发射天线数ntx、接收天线数nrx、调频起始频率f1、调频斜率ks、调频周期tc、每帧调频周期nchirp、帧周期tf、一个周期的adc采样点数nadc、adc采样周期tadc、adc采样率fs等，这些参数由应用场景的最大测量距离dmax、距离分辨率dres、最大测量速度vmax、速度分辨率vres与帧率frate等主要指标来确定，几种指标分别满足公式

dmax＝nadc×dres(1)

其中，c为光速，λ为调制中心频率对应波长，b为有效调频带宽，有效调频带宽b由调制斜率ks和adc采样周期tadc共同确定：

调制中心频率对应波长λ由调制起始频率f1和调频带宽b共同确定：

调制周期tc用来调节最大测量速度vmax和速度分辨率vres，需要满足：

其中，τc-idle为发射1个周期扫频信号后的空闲时间。

帧周期tf用来调节帧率frate，需要满足：

tf＝nchirp×tc+τf-idle(9)

其中，τf-idle为发射nchirp个周期扫频信号后的空闲时间。

对于采用时分复用(timedivisionmultiplexing,tdm)的多发多收(multipleinputmultipleoutput,mimo)方式，帧周期tf需要满足：

tf＝ntx×nchirp×tc+τf-idle(10)

通常将雷达硬件支持的参数上限作为雷达参数设计的先决条件，与舌姿识别应用相关的毫米波雷达参数上限包括发射功率决定的最大测量距离dm-max，天线设计决定的水平及垂直方向最大视场角θfov与虚拟通道数nchan-h和nchan-v，最大扫频带宽bmax，最大调频斜率最小调频斜率最大adc采样率与最小adc采样率等。

在对距离分辨率dres要求较高的应用场景中，应使距离分辨率dres尽可能小，根据公式(2)，需要有效调频带宽b尽可能大，根据公式(6)，有效调频带宽b由调频斜率ks，adc采样点数nadc和adc采样率fs共同确定。

在距离分辨率dres确定后，根据公式(1)，adc采样点数nadc可以由最大测量距离dmax确定。

调频斜率ks与adc采样率fs可以由公式(6)和公式(8)共同确定，但同时要满足fs-min≤fs≤fs-max和ks-min≤ks≤ks-max的条件。

人的舌头有运动速度上限，如果调频周期tc设置不合理，最大测量速度vma偏小会导致速度模糊，最大测量速度vmax偏大会导致vres＝2vmax/nchirp偏大，根据公式(8)和(10)，设计准则为：在满足目标最大运动速度测量需求的前提下，使得速度分辨率vres尽可能小，从而能够捕捉更细微的舌头运动，但同时也要考虑每帧调频周期nchirp可能影响的帧率大小。

根据公式(5)，帧周期tf的大小决定了得到距离多普勒谱图的帧率，从而决定了对舌姿的时间分辨率，帧率越高，舌姿能够被帧周期划分得更精细，但帧周期tf的设置同时也要考虑硬件的实时处理能力，即需要数据处理设备能够在一个帧周期内完成雷达数据处理、特征剔除和舌姿分类的全过程运算。

用一个三阶非线性函数来拟合发射的fmcw雷达信号：

t(t)＝a1sinb1t+a2sinb2t+a3sinb3t+c＝atcos(2πftt)(11)

通过改变参数a1、a2、a3、b1、b2、b3、c的值可以改变发射的fmcw雷达信号的波形和频率，例如，当a1＝-2、a2＝-1、b1＝1、b2＝2、b3＝3、c＝1.5时，发射信号为周期为2π、幅度为3的锯齿波。对于一定的动作，特定的频率扫描方式会获得信噪比更高的有效舌姿信息，运算单元接收识别模块反馈的舌头复杂运动特征后，会改变扫频参数，经过多次反馈后得到最佳的扫描频段。

fmcw雷达回波信号r(t)为r(t)＝ar(t)cos(2π(ft+fd)t+φ)，得到中间i路回波信号i′(t)，公式如下：

中间i路回波信号i′(t)通过低通滤波器滤除高频分量2ft+fd，得到i路回波信号：(12)

中间q路回波信号q′(t)，公式如下：

中间q路回波信号q′(t)通过低通滤波器滤除高频分量2ft+fd，得到q路回波信号：

多普勒频移fd满足fd＝fr-ft，其中，ft表示发射的fmcw雷达信号的发射频率，fr表示接收的fmcw雷达回波信号的接收频率；

并且发射频率ft和接收频率fr之间满足下述关系：

其中，c表示光速，v表示舌头移动的速度，舌头移动的速度约为0.02m/s～0.05m/s。

当舌头动作幅度大且频率低时，调整a1、a2、a3、b1、b2、b3、c的值，使发射信号为接近锯齿波的波形1；当舌头动作幅度小、高动态且频率低时，例如讲话时，则调整a1、a2、a3、b1、b2、b3、c的值，使发射信号为接近反锯齿波的波形2；当舌头动作幅度小且频率高时，调整a1、a2、a3、b1、b2、b3、c的值，使发射信号为接近三角波的波形3；当检测到的脸部肌肉干扰较大时，调整c的值，使发射信号频宽增加以降低干扰。

由于雷达工作在24ghz，多普勒频移范围为[2.7，8.0]hz，如图4所示，识别模块对多普勒频移变化数据进行处理获得恢复的i路回波信号和q路回波信号，通过对恢复的i路回波信号和q路回波信号进行反正切运算，获得相位差信号θ：

对相位差信号θ进行求导获得导数，如果导数为正值，代表被检测舌头接近雷达收发射频前端；如果导数为负值，代表被检测舌头远离雷达收发射频前端，从而对被检测舌头的状态进行判断。识别模块结合六组多普勒频移变化数据处理后的舌头复杂运动特征确定舌姿进行分类，最终实现舌姿的智能识别并在终端界面上显示。

具体实施中，如图5所示，终端界面4接收到识别模块3的信号后，根据对应的舌姿会亮起对应的指示灯。当被检测舌头从中部向指示灯1所在方向移动时，指示灯1左会亮起；当被检测舌头从指示灯1所在方向向中部移动时，指示灯1右会亮起；当被检测舌头从中部向指示灯2所在方向移动时，指示灯2右会亮起；当被检测舌头从指示灯2所在方向向中部移动时，指示灯2左会亮起；当被检测舌头从中部向指示灯3所在方向移动时，指示灯3下会亮起；当被检测舌头从指示灯3所在方向向中部移动时，指示灯3上会亮起。

本发明整体系统架构简洁，可移植性高，可应用于多种特殊场景下的无声交互，为残障人士交流提供了新途径，对比传统高度侵入式的检测系统有着显著的改进。