一种基于雷达及模式识别的行人姿态识别方法及系统与流程

文档序号:15589033发布日期:2018-10-02 18:43阅读:192来源:国知局

本发明涉及雷达信号处理及图像识别技术领域,尤其涉及一种基于雷达及模式识别的行人姿态识别方法及系统。



背景技术:

现有技术中对行人的姿态识别大多采用光学摄像机获取图像,然后对获取的图像进行图像识别处理,这样方式中由于受到光照条件、天气、烟雾等环境因素干扰,尤其是在夜间,其识别效果大大折扣,识别准确度不高,甚至出现无法识别的情况,稳定性非常差。因此,这种方式已经不能满足全天24小时等高要求的场合。



技术实现要素:

本发明所要解决的技术问题是针对上述现有技术的不足,提供一种基于雷达及模式识别的行人姿态识别方法及系统

本发明解决上述技术问题的技术方案如下:

依据本发明的一个方面,提供了一种基于雷达及模式识别的行人姿态识别方法,包括如下步骤:

步骤1:对雷达信号的回波信号进行预处理,得到输出信号;

步骤2:将所述输出信号中的静止目标进行抑制处理;

步骤3:搜索经过抑制处理后的所述输出信号中的行人所处距离单元;

步骤4:对所述行人所在距离单元对应的回波信号进行时频分析,得到回波信号时频图;

步骤5:利用卷积神经网络对所述回波信号时频图进行识别,得到人姿态识别结果。

本发明的有益效果是:本发明的基于雷达及模式识别的行人姿态识别方法,通过对雷达回波的分析,实时的给出行人姿态识别结果。同时,该方法基于雷达实现,相比于光学摄像机,该发明不受光照条件、天气、烟雾等因素干扰,能够全天时、全天候工作。本发明方法工程可实现性强,能够有效地对行人姿态进行高准确率识别,同时不易受各种环境因素影响,系统稳健性好。

在上述技术方案的基础上,本发明还可以做如下改进:

进一步:所述步骤1中,所述对回波信号进行预处理具体包括:

步骤11:对所述对回波信号进行去调频处理,具体如下:

假设雷达信号sref(τ)表示如下:

st(τ)=exp{jπ(2fcτ+γτ2)}

其中,fc为发射频率,τ为快时间,t为慢时间,γ为调频频率;

所述雷达信号对应的回波信号sr(t,τ)可表示为:

sr(t,τ)=armexp{jπ(2fc(τ-td(t))+γ(τ-td(t))2)}τ∈(0,tp]

其中,arm为一个幅值常数,tp为一个频率调制周期,td(t)为时延,c为光速,a0、a1分别为目标的运动参数;

则对所述回波信号进行去调频处理,计算公式为:

s0(t,τ)表示去调频处理后的回波信号,sr(t,τ)表示所述雷达信号的回波信号,表示去调频处理后的回波信号的快时间相位,表示解调频参考信号sref(τ)的共轭信号;

步骤12:将经过去调频后的所述回波信号s0(t,τ)进行傅里叶变换;

步骤13:对傅里叶变换后的所述回波信号srm(t,f)进行离散采样,得到所述输出信号,表示为srm(m,n)。令t=mδt,f=nδf,其中δt,δf为采样间隔,m为慢时间索引,且m=0,1,2,…m,m为慢时间采集脉冲数,n为快时间索引,且n=0,1,2,…n,n为快时间采样点数。

上述进一步方案的有益效果是:通过对所述回波信号进行去调频处理,实现了射频信号向基带信号的转换,降低了信号采样率需求,进而使得采集硬件系统更加容易实现,通过对去调频处理后的回波信号进行傅里叶变换,实现了脉冲压缩处理,使单个脉冲的目标回波能量积累,进而可以获取雷达场景中物体的位置和回波能量信息。

进一步:所述步骤2中,对所述输出信号沿慢时间维度t采用三脉冲对消方法进行静止目标抑制,且经过抑制后的输出信号表示为sbs(m′,n);

其中,wi(i=0,1,2)为三阶脉冲对消器的权值,srm(m′,n)表示经过去调频后的输出信号,m′表示经过抑制后的输出信号的慢时间索引,且m′=0,1,2,…m-2。

上述进一步方案的有益效果是:通过对所述输出信号进行静止目标抑制处理,可以对场景中不用于识别的静置物体(如墙壁等)的特征进行抑制,提高了信噪比,使得行人对应的回波能量的多脉冲积累,进一步提高信噪比,待识别的行人的特征凸显出来,便于后续进行姿态识别,提高识别精度和识别效率。

进一步:所述步骤3的具体实现为:

步骤31:将经过抑制后的输出信号sbs(m′,n)沿慢时间维度求和,得到回波能量序列se(n),计算公式为:

其中,m为回波的总脉冲数,

步骤32:选取所述回波能量序列se(n)中能量最大的距离单元n0,并将第n0个距离单元标记为行人所处距离单元。

上述进一步方案的有益效果是:通过搜索行人所处距离单元,可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

进一步:所述步骤4的具体实现为:

选取行人所在的距离单元n0对应的经过抑制后的所述输出信号sbs(m′,n0),采用滑窗的方式,对经过抑制后的所述输出信号sbs(m′,n0)进行短时傅里叶变换处理,得到所述回波信号时频图。

上述进一步方案的有益效果是:通过对经过抑制后的所述输出信号进行短时傅里叶变换处理,可以实现行人微动特征信号的提取,以便后续根据行人的微动特征识别行人姿态。

进一步:所述步骤5具体包括:

步骤51:初始化所述卷积神经网络的参数和行人姿态分类信息;

步骤52:通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签,并利用所述行人姿态分类信息对所述卷积神经网络进行训练,采用批处理梯度下降法调整所述卷积神经网络参数,使得所述卷积神网络的姿态分类结果与行人的姿态相吻合,并将所述卷积神经网络的参数保存;

步骤53:利用训练后的所述卷积神经网络对目标行人的所述回波信号时频图进行识别分类,获得行人姿态实时分类结果。

上述进一步方案的有益效果是:通过对所述卷积神经网络进行训练,实现对行人姿态样本库的学习和训练,获取并构建所述卷积神经网络的权系数,并通过对目标行人对应的回波信号时频图进行识别,可以实时获取人体微动时频特征信号,识别人体当前的运动姿态。

依据本发明的另一个方面,提供了一种基于雷达及模式识别的行人姿态识别系统,包括预处理模块,用于对雷达信号的回波信号进行预处理,得到输出信号;抑制模块,用于将所述输出信号中的静止目标进行抑制处理;搜索模块,用于搜索经过抑制处理后的所述输出信号中的行人所处距离单元;分析模块,用于对所述行人所在距离单元对应的回波信号进行时频分析,得到回波信号时频图;识别模块,用于利用卷积神经网络对所述回波信号时频图进行识别,得到人姿态识别结果。

本发明的基于雷达及模式识别的行人姿态识别系统,通过对雷达回波的分析,实时的给出行人姿态识别结果。同时,该方法基于雷达实现,相比于光学摄像机,该发明不受光照条件、天气、烟雾等因素干扰,能够全天时、全天候工作。本发明方法工程可实现性强,能够有效地对行人姿态进行高准确率识别,同时不易受各种环境因素影响,系统稳健性好。

在上述技术方案的基础上,本发明还可以做如下改进:

进一步:所述预处理模块包括:去调频子模块,用于对所述对回波信号sr(t,τ)进行预处理;变换子模块,用于将经过去调频后的所述回波信号s0(t,τ)进行傅里叶变换;采样子模块,用于对傅里叶变换后的所述回波信号srm(t,f)进行离散采样,得到所述输出信号。

上述进一步方案的有益效果是:通过对所述回波信号进行去调频处理,实现了射频信号向基带信号的转换,降低了信号采样率需求,进而使得采集硬件系统更加容易实现,通过对去调频处理后的回波信号进行傅里叶变换,实现了脉冲压缩处理,使单个脉冲的目标回波能量积累,进而可以获取雷达场景中物体的位置和回波能量信息。

进一步:所述搜索模块包括计算子模块,用于将经过抑制后的输出信号sbs(m′,n)沿慢时间维度求和,得到回波能量序列se(n);标记子模块,用于选取所述回波能量序列se(n)中能量最大的距离单元n0,并将第n0个距离单元标记为行人所处距离单元。

上述进一步方案的有益效果是:通过搜索行人所处距离单元,可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

进一步:所述识别模块包括初始化子模块,用于初始化所述卷积神经网络的参数和行人姿态分类信息;训练子模块,用于通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签,并利用所述行人姿态分类信息对所述卷积神经网络进行训练,采用批处理梯度下降法调整所述卷积神经网络参数,使得所述卷积神网络的姿态分类结果与行人的姿态相吻合;识别子模块,用于利用训练后的所述卷积神经网络对目标行人的所述回波信号时频图进行识别分类,获得行人姿态实时分类结果。

上述进一步方案的有益效果是:通过对所述卷积神经网络进行训练,实现对行人姿态样本库的学习和训练,获取并构建所述卷积神经网络的权系数,并通过对目标行人对应的回波信号时频图进行识别,可以实时获取人体微动时频特征信号,识别人体当前的运动姿态。

附图说明

图1为本发明的基于雷达及模式识别的行人姿态识别方法流程示意图;

图2a为本发明的样本行人正踏步姿态对应的时频图;

图2b为本发明的样本行人正常行走姿态对应的时频图;

图2c为本发明的样本行人摔倒姿态对应的时频图;

图2d为本发明的样本行人蹲下姿态对应的时频图;

图3a为本发明的卷积神经网络识别得到的正常行走姿态对应的时频图;

图3b为本发明的卷积神经网络识别得到的蹲下姿态对应的时频图;

图3c为本发明的卷积神经网络识别得到的正踏步姿态对应的时频图;

图3d为本发明的卷积神经网络识别得到的摔倒姿态对应的时频图;

图4为本发明的基于雷达及模式识别的行人姿态识别系统结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。

如图1所示,一种基于雷达及模式识别的行人姿态识别方法,包括如下步骤:

步骤1:对雷达信号的回波信号进行预处理,得到输出信号;

步骤2:将所述输出信号中的静止目标进行抑制处理;

步骤3:搜索经过抑制处理后的所述输出信号中的行人所处距离单元;

步骤4:对所述行人所在距离单元对应的回波信号进行时频分析,得到回波信号时频图;

步骤5:利用卷积神经网络对所述回波信号时频图进行识别,得到人姿态识别结果。

本发明的基于雷达及模式识别的行人姿态识别方法,通过对雷达回波的分析,实时的给出行人姿态识别结果。同时,该方法基于雷达实现,相比于光学摄像机,该发明不受光照条件、天气、烟雾等因素干扰,能够全天时、全天候工作。本发明方法工程可实现性强,能够有效地对行人姿态进行高准确率识别,同时不易受各种环境因素影响,系统稳健性好。

在本发明的实施例中,所述步骤1中,所述对回波信号进行预处理具体包括:

步骤11:对所述对回波信号进行去调频处理,具体计算公式如下:

s0(t,τ)表示去调频处理后的回波信号,sr(t,τ)表示所述雷达信号的回波信号,表示去调频处理后的回波信号的快时间相位,表示解调频参考信号sref(τ)的共轭信号;

其中,我们假设雷达信号st(τ)表示如下:

st(τ)=exp{jπ(2fcτ+γτ2)}

其中,fc为发射频率,τ为快时间,t为慢时间,γ为调频频率;

那么所述雷达信号对应的回波信号sr(t,τ)可表示为:

sr(t,τ)=armexp{jπ(2fc(τ-td(t))+γ(τ-td(t))2)}τ∈(0,tp]

其中,arm为一个幅值常数,tp为一个频率调制周期,td(t)为时延,c为光速,a0、a1分别为目标的运动参数。

步骤12:将经过去调频后的所述回波信号s0(t,τ)进行傅里叶变换;

步骤13:对傅里叶变换后的所述回波信号srm(t,f)进行离散采样,得到所述输出信号,表示为srm(m,n)。令t=mδt,f=nδf,其中δt,δf为采样间隔,m为慢时间索引,即距离单元,且m=0,1,2,…m,m为慢时间采集脉冲数,n为快时间索引,且n=0,1,2,…n,n为快时间采样点数,即距离单元数。

通过对所述回波信号进行去调频处理,实现了射频信号向基带信号的转换,降低了信号采样率需求,进而使得采集硬件系统更加容易实现,通过对去调频处理后的回波信号进行傅里叶变换,实现了脉冲压缩处理,使单个脉冲的目标回波能量积累,进而可以获取雷达场景中物体的位置和回波能量信息。

在上述实施例中,所述步骤2中,对所述输出信号沿慢时间维度t采用三脉冲对消方法进行静止目标抑制,且经过抑制后的输出信号表示为sbs(m′,n);

其中,wi(i=0,1,2)为三阶脉冲对消器的权值,srm(m′,n)表示经过去调频后的输出信号,m′表示经过抑制后的输出信号的慢时间索引,且由于三阶脉冲对消方法导致慢时间脉冲有两个相互抵消,因此m′=0,1,2,…m-2。

通过对所述输出信号进行静止目标抑制处理,可以对场景中不用于识别的静置物体(如墙壁等)的特征进行抑制,提高了信噪比,使得行人对应的回波能量的多脉冲积累,进一步提高信噪比,待识别的行人的特征凸显出来,便于后续进行姿态识别,提高识别精度和识别效率。

优选地,在上述实施例中,所述步骤3的具体实现为:

步骤31:将经过抑制后的输出信号sbs(m′,n)沿慢时间维度求和,得到回波能量序列se(n),计算公式为:

其中,m为回波的总脉冲数,

步骤32:选取所述回波能量序列se(n)中能量最大的距离单元n0,并将第n0个距离单元标记为行人所处距离单元。

通过搜索行人所处距离单元,可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

优选地,本发明实施例中,所述回波能量序列se(n)中能量最大的距离单元n0通过下式标记为行人所处距离单元:

其中,最大值对应的取值变量为n。

在上述实施例中,所述步骤4的具体实现为:

选取行人所在的距离单元n0对应的经过抑制后的所述输出信号sbs(m′,n0),采用滑窗的方式,对经过抑制后的所述输出信号sbs(m′,n0)进行短时傅里叶变换处理,得到所述回波信号时频图。

实际中,对经过抑制后的所述输出信号sbs(m′,n0)进行短时傅里叶变换处理,得到时频输出信号stf(m”,l),然后再根据时频输出信号stf(m”,l)绘制所述回波信号时频图。所述时频输出信号stf(m”,l)的表达式为:

其中,nd为滑窗窗长,m”为短时傅里叶变换后的慢时间脉冲索引,l为短时傅里叶变换后的频率索引。

通过对经过抑制后的所述输出信号进行短时傅里叶变换处理,可以实现行人微动特征信号的提取,以便后续根据行人的微动特征识别行人姿态。

在上述实施例中,所述步骤5具体包括:

步骤51:初始化所述卷积神经网络的参数和行人姿态分类信息;

步骤52:通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签,并利用所述行人姿态分类信息对所述卷积神经网络进行训练,采用批处理梯度下降法调整所述卷积神经网络参数,使得所述卷积神网络的姿态分类结果与行人的姿态相吻合,并将所述卷积神经网络的参数保存;

如图2a、2b、2c和2d所示,分别表示进行网络训练后的四种样本行人姿态对应的时频图,其中图2a表示正踏步姿态对应的时频图,图2b表示正常行走姿态对应的时频图,图2c表示摔倒姿态对应的时频图,图2d表示蹲下姿态对应的时频图。

步骤53:利用训练后的所述卷积神经网络对目标行人的所述回波信号时频图进行识别分类,获得行人姿态实时分类结果。

通过对所述卷积神经网络进行训练,实现对行人姿态样本库的学习和训练,获取并构建所述卷积神经网络的权系数,并通过对目标行人对应的回波信号时频图进行识别,可以实时获取人体微动时频特征信号,识别人体当前的运动姿态。

本实施例中,所述卷积神经网络的参数和行人姿态分类信息具体为:设置所述卷积神经网络的层数和分类数,具体的,设置卷积神经网络由卷积层、全连接层和损失层组成,行人姿态分类为无动作、蹲下、起立、摔倒、正踏步、侧踏步、正常走等多种类别。

另外,这里,所述样本行人姿态实验即为采用步骤1至步骤4的方法,以样本行人为目标进行试验,分别获取样本行人姿态的时频图与样本行人当前姿态的标签,然后在利用训练好的所述卷积神经网络对目标行人的所述回波信号时频图进行识别,得到最终的行人姿态识别结果,即行人姿态为无动作、蹲下、起立、摔倒、正踏步、侧踏步、正常走等多种类别中的一种。

本发明中,设置卷积神经网络深度为7层,主要由卷积层和全连接层构成,整个网络深度较浅,网络参数少,网络训练时间短,网络处理速度较快。

如图3a、3b、3c和3d所示,分别表示卷积神经网络识别得到的目标行人姿态类别,其中图3a表示卷积神经网络识别得到的行人姿态对应的时频图,对应正常行走姿态,图3b表示卷积神经网络识别得到的行人姿态对应的时频图,对应蹲下姿态,图3c表示卷积神经网络识别得到的行人姿态对应的时频图,对应正踏步姿态,图3d表示卷积神经网络识别得到的行人姿态对应的时频图,对应摔倒姿态。

如图4所示,一种基于雷达及模式识别的行人姿态识别系统,包括预处理模块,用于对雷达信号的回波信号进行预处理,得到输出信号;抑制模块,用于将所述输出信号中的静止目标进行抑制处理;搜索模块,用于搜索经过抑制处理后的所述输出信号中的行人所处距离单元;分析模块,用于对所述行人所在距离单元对应的回波信号进行时频分析,得到回波信号时频图;识别模块,用于利用卷积神经网络对所述回波信号时频图进行识别,得到人姿态识别结果。

本发明的基于雷达及模式识别的行人姿态识别系统,通过对雷达回波的分析,实时的给出行人姿态识别结果。同时,该方法基于雷达实现,相比于光学摄像机,该发明不受光照条件、天气、烟雾等因素干扰,能够全天时、全天候工作。本发明方法工程可实现性强,能够有效地对行人姿态进行高准确率识别,同时不易受各种环境因素影响,系统稳健性好。

在上述实施例中,所述预处理模块包括:去调频子模块,用于对所述对回波信号sr(t,τ)进行预处理;变换子模块,用于将经过去调频后的所述回波信号s0(t,τ)进行傅里叶变换;采样子模块,用于对傅里叶变换后的所述回波信号srm(t,f)进行离散采样,得到所述输出信号。通过对所述回波信号进行去调频处理,实现了射频信号向基带信号的转换,降低了信号采样率需求,进而使得采集硬件系统更加容易实现,通过对去调频处理后的回波信号进行傅里叶变换,实现了脉冲压缩处理,使单个脉冲的目标回波能量积累,进而可以获取雷达场景中物体的位置和回波能量信息。

在上述实施例中,所述搜索模块包括计算子模块,用于将经过抑制后的输出信号sbs(m′,n)沿慢时间维度求和,得到回波能量序列se(n);标记子模块,用于选取所述回波能量序列se(n)中能量最大的距离单元n0,并将第n0个距离单元标记为行人所处距离单元。通过搜索行人所处距离单元,可以便于后续将行人对应的回波信号从整个输出信号中提取出来。

在上述实施例中,所述识别模块包括初始化子模块,用于初始化所述卷积神经网络的参数和行人姿态分类信息;训练子模块,用于通过样本行人姿态实验获得样本行人姿态的时频图与样本行人当前姿态的标签,并利用所述行人姿态分类信息对所述卷积神经网络进行训练,采用批处理梯度下降法调整所述卷积神经网络参数,使得所述卷积神网络的姿态分类结果与行人的姿态相吻合;识别子模块,用于利用训练后的所述卷积神经网络对目标行人的所述回波信号时频图进行识别分类,获得行人姿态实时分类结果。通过对所述卷积神经网络进行训练,实现对行人姿态样本库的学习和训练,获取并构建所述卷积神经网络的权系数,并通过对目标行人对应的回波信号时频图进行识别,可以实时获取人体微动时频特征信号,识别人体当前的运动姿态。

本发明的实施例还提供了一种基于雷达及模式识别的行人姿态识别装置,包括:存储器和处理器;

所述存储器,用于存储有计算机程序;

所述处理器,用于当读取所述存储器存储的所述计算机程序时,执行所述的行人姿态识别方法。

本发明的实施例还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现所述的行人姿态识别方法。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1