手持式毫米波成像系统及成像方法

1.本发明涉及毫米波成像技术领域，具体是涉及手持式毫米波成像系统及成像方法。


背景技术：

2.目前世界范围内恐怖袭击事件频频发生，面对日益严峻的安防形势，在人流较多的公共场合进行人员安检显得尤为重要。随着人们对安全问题的关注日益增强，对安检设备尤其是用于人体检测的设备的安全性、高效性和智能化都提出了更高的要求。金属探测器、红外成像仪、x射线安检仪等传统的安检手段用于人体检测都存在自身局限性。毫米波成像技术是对人体安全的成像技术，被视为新一代人员安检的关键技术，成为了目前研究的热点。但是目前市面上所研发出的毫米波成像系统大多体积大、成本高、功耗高。因此低成本、高分辨率、便携式的手持式毫米波成像系统研发有着重大意义。
3.毫米波安检技术，主要分为主动式和被动式两种，首先介绍被动式毫米波安检技术。“被动”一词是指这种技术不需要对被测目标发射电磁波，而是通过被动接收目标自然状态下辐射和反射的毫米波能量，利用目标场景相应的能量分布图像来发现目标。而主动成像体制的系统会向被测目标发射毫米波，通过接收被测目标的反射波进行反演成像，受环境因素影响更小，可同时获得精准的幅度和相位信息，实现三维重建获得更高图像质量。
4.主动式毫米波成像系统中，相关的现有技术用于人体安检的主动毫米波成像按扫描方式的不同可以分为siso系统、mimo系统、pa系统等。
5.1)siso：最著名的siso系统便是pnnl研发的一系列全息成像系统。20世纪90年代，pnnl的mc makin、collins和sheen等人致力于开发基于线性阵列进行平面扫描的安检系统，先后开发了12.5-18ghz波段74单元线阵、ka波段(27-33ghz)128单元线阵、22-47.5ghz波段128单元线阵，24-40ghz波段以及100-110ghz波段线阵的安检系统样机，均是按照设定好的时序对线性阵列进行开关控制，同一时间只有一对收发天线接通。系统工作时，阵列水平安装，阵列方向进行电扫描，垂直阵列方向通过机械扫描完成，单次检测的扫描时间约为3-10秒。
6.2)mimo：目前很多研究人员开发了基于合成孔径雷达的mimo系统和相应的成像算法，其中最具代表性的当数rohde&schwarz gmb h的qps200和qps201系统。其中qps201系统扫描面阵总宽度为1m
×
2m，包括32个“口”字型稀疏阵列单元，每个单元包括94(或96)个发射天线(相对的两个红色线阵)和94(或96)个接收天线(相对的两个蓝色线阵)。该系统利用70-80ghz的步进频连续波(stepped-frequency continuous wave,sfcw)信号对目标进行一次完整扫描最快可以在32ms内完成，再通过bp算法对待测区域内的每一个目标点进行重建，其测试分辨率在1m远处可以达到2mm。
7.3)pa系统：相控阵扫描一般用在防空雷达等军事领域，在人体安检领域的应用相对较少。不过其快速精准的波束扫描优势，也吸引了一些研究机构将该技术应用到人体安检系统中来。agilent公司在2006年前后设计了一种平面可编程控制的具有15000个阵元的
毫米波相控阵面板，采用纯电扫描的方式实现了对人体目标的三维实时扫描。系统工作时待测目标正对扫描面板站立，发射天线将24ghz的单频毫米波源照射到相控阵面板上，针对每个位置处的像素点，可以根据发收天线的位置以及相控阵的位置，计算出每个通道的相位延时，使照射到面板的毫米波通过波束合成精确聚焦到该指定目标像素点处，经目标点反射回相控阵面板的回波再经面板聚焦到接收天线位置处，如此往复，对待测区域内所有目标点完成扫描以后，只需根据每个点处的回波能量进行成像便得到目标区域的三维mmw图像。由于该相控阵系统每秒可以实现10^7次电扫描，所以对常规的人体安检场景尺寸进行扫描可以实现实时。该系统在50cm处的空间分辨率达到了3mm。


技术实现要素：

8.本发明提供了一种低成本、高分辨率、便携式的手持式毫米波成像系统。采用的技术方案是：手持式毫米波成像系统，包括三维空间数据接收模块、雷达回波信号接收模块、多传感器数据融合模块、毫米波距离徒步成像模块和危险物智能检测模块，所述三维空间数据接收模块获取空间坐标信息发送到多传感器数据融合模块，所述雷达回波信号接收模块获取雷达回波信号发送到多传感器数据融合模块，所述多传感器数据融合模块将空间坐标信息与雷达回波信号采用isal算法进行融合，所述毫米波距离徒步成像模块对融合后的信号对融合后的信号基于fpga实现rma算法以进行毫米波图像成像，所述危险物智能检测模块对毫米波图像危险物品进行检测和分类。
9.本发明技术方案具有如下有益效果：
10.1)本方案将数据采集、解析、成像集成在一块fpga soc开发板，最终实现的系统，其毫米波工作频段为60-64ghz，成像分辨率256x256，功耗小于10瓦，总成本约为目前市面上毫米波成像系统的十分之一左右。
11.2)基于fpga实现的成像算法速度约为cpu的66倍，若包含数据读写则为cpu的1024倍。
12.3)可用于各种复杂环境，如丛林、机场等一些列户外室内环境。
13.4)为了解决fpga soc对毫米波雷达数据的快速处理及硬件各端口的兼容设计，创新应用soc高速数据处理方式。
14.5)提出基于fpga的毫米波系统集成方案。
附图说明
15.图1为本系统的原理框图；
16.图2为虚拟天线阵列图，图中tx1、tx2、tx3为三个发射天线，rx1、rx2、rx3、rx4为四个接收天线，λ为波长；
17.图3为雷达回波信号采集电路；
18.图4为毫米波雷达成像算法fpga加速示意图。
具体实施方式
19.下面结合附图对本发明的方案的效果进行详细介绍。如图1所示，本手持式毫米波成像系统包括三维空间数据接收模块1、雷达回波信号接收模块2、多传感器数据融合模块
3、毫米波距离徒步成像模块4和危险物智能检测模块5，所述多传感器数据融合模块3将三维空间数据接收模块1获取的空间坐标(x,y,z)信息，与雷达回波信号接收模块2接收的雷达回波信号进行融合，并进行运动补偿。然后将处理后的信号输入毫米波距离徒步成像模块4进行成像。进一步危险物智能检测模块5对毫米波图像危险物品进行智能检测和分类。下面对各模块进行详细介绍。
20.一、三维空间数据接收模块：手持式毫米波成像系统在对检测目标进行扫描时，需要时刻确定其在三维空间中的坐标位置(x,y,z)。
21.本模块使用pmw3901光流传感器进行水平方向(x,y)定位，pmw3901是pixart公司最新的高精度低功耗光学追踪模组，可直接获取x-y方向运动速度信息，实现对地高度8cm以上进行有效测量。pwm3901工作电流小于9ma，工作电压为vdd(1.8～2.1v)，vddio(1.8～3.6v)，使用4线spi接口通信。
22.上电流程：
23.pmw3901mb虽然可执行内部上电自复位，但仍建议每次上电时，对power_up_reset寄存器执行写操作。具体顺序如下：
24.首先对vddio供电，然后对vdd供电，中间延迟不应超过100ms。注意确保供电稳定。
25.等待至少40ms。
26.先拉高，然后再拉低ncs，以复位spi口。
27.写0x5a到power_up_reset寄存器，或切换至nreset管脚。
28.等待至少1ms。无论运动管脚状态如何，一次读取寄存器0x02、0x03、0x04、0x05和0x06。
29.本模块使用vl53l1x进行垂直方向z定位。vl53l1x芯片内部集成了激光发射器和spad红外接收器。芯片通过探测光子发送和接收时间差，计算光子飞行距离，最远测量距离可达两米，适合中短距离测量的应用。
30.vl53l1x初始化步骤如下：
31.1.等待硬件初始化完成；
32.2.数据初始化；
33.3.静态初始化，装载数据；
34.4.设置测量距离模式；
35.5.设置单次测量最长等待时间；
36.6.设置测量频率(时间间隔)；
37.7.设置测量区域roi(可选)；
38.8.启动测量。
39.二、雷达回波信号接收模块，该模块采用毫米波雷达传感器iwr6843，iwr6843雷达芯片将dsp、mcu、雷达加速器和毫米波传感器集成在一颗芯片上，在超小封装中实现了出色的集成度，能够达到更高的性能。同时在60-64ghz和76-81ghz的频率下，将距离解析为波长的毫米波系统的精度可达到毫米级，通过mimo单元形成12个虚拟天线阵列(如图2所示，图中左侧为实物图右侧为等效图)，通过发射和接收低功率的调频连续(fmcw)毫米波，主动获得目标的空间位置、速度、反射强度等信息。
40.芯片下压框，内径等于芯片外径-2mm，四周定位孔与芯片定位框的对齐，每单元等
效天线口径6波长，由单片simo分时构成12个siso单站收发天线阵。四单元将每单元12等效siso单站收发天线阵，线性组成48siso单站收发天线阵，总长24波长，约88.896mm。
41.雷达回波信号采集电路如图3所示。该模块使用zynq7020 fpga soc作为高速数据采集核心，其中雷达数据通过协议执行器(protocol excute)进行数据解码，将解码的数据通过通用数据解析器(data parsing)对雷达的tlv/hsi或者其他数据包的结构进行解析和数据缓存，这一操作将任意数据包的结构、数据协议和数据传输隔离，通过一定时序规则的协议执行器连接，便可以将数据传输至解析器进行解析得到流化数据，进入雷达数据提取(raw_data_excuter),得到原生adc数据，并将该数据通过协议转换代码转换为xilinx器件统一的axis总线接入dmaip，通过内置的arm a9将数据存入内存进行统一的管理和调度。
42.三、多传感器数据融合模块
43.手持式毫米波成像系统在对检测目标进行扫描时，整个扫描过程大约需要3秒钟的时间。而在3秒钟内手持式毫米波成像系统的运动幅度较大，每个天线扫描的物体位置和姿态衡量不再是同一个，无法生成高质量的图像。
44.因此需要获取每次雷达采集时刻的空间坐标(x,y,z)信息，将其与雷达回波信号进行融合并进行运动补偿。本发明采用isal算法来进行运动补偿。
45.isal运动补偿原理：在isal成像信号处理流程中，包络对齐和相位误差补偿，均十分重要。一般isar成像运动补偿以优化算法迭代次数或最终相位误差大小作为结束优化的判断条件，这类评判条件往往需要根据实际数据预估后再进行设置，不具有普适性。而sal成像运动补偿过程中需要分别对包络对齐和相位误差补偿的效果进行评价，以保证包络对齐的精度足够高并且减小其对相位误差估计精度的负面影响。
46.本发明采用的isal算法中先进行包络对齐，再进行相位误差补偿。
47.1)包络对齐
48.包络对齐完成后的图像是一维距离像，完美对齐时的距离像包络顶点在图像上应该是分布于方位向的水平直线，对于单个散射点，包络宽度越窄越好，这也代表包络曲线的能量分布更加集中，也就是所有距离单元的能量沿方位向上累积后，具有更加明显的锐度差异。为描述这种差异，通常选择信号包络对比度(image envelope contrast，iec)作为包络对齐效果的评价指标，信号包络对比度越大，说明对齐效果越好，其数学表达式为
[0049][0050]
式中，v0为待估计参数速度，m、n分别为距离向和方位向单元个数。fr表示频率,ta表示速度,为补偿后的图像包络。
[0051]
2)相位误差补偿
[0052]
相较于包络对齐，相位误差估计需要更高精度以保证方位向良好聚焦。图像熵(image entropy，ie)作为isal成像相位误差估计的评价函数已在多项工作中得以应用。熵越小，说明图像能量分布越集中，散射点聚焦效果越好，图像越清晰。图像熵有多种不同形式，结合实际问题选择frieden所定义的熵，具体表示为
[0053]
[0054]
式中，v,a,w是待估计运动参数速度、加速度和转速。d表示图像的强度密度。表示待估计参数速度。
[0055]
产生包络倾斜的主要原因是存在径向平动速度，其在慢时间轴上为一次项分布并与快时间耦合，导致每个回波数据沿快时间压缩后，当前包络与前一时刻包络错位，如此累计下距离像倾斜且方位向数据无法正常压缩。通过估计目标运动速度完成包络对齐，再将速度估计值作为相位误差补偿中速度估计的初始化条件之一，这样提高相位误差补偿操作中速度估计的精度。通常，当评价函数在迭代计算过程中单峰可微时传统优化方法通常是有效的，例如包络对齐操作中对运动速度估计利用dfp算法便能达到较好的效果。当待优化变量增多评价函数复杂化，评价函数存在多个极值且不可微或求导复杂时，传统优化算法容易陷入局部极值，很难实现最优化操作，例如相位估计操作中需估计多个运动参数，此时采用传统基于梯度或者导数的优化方法求解待优化问题效果会明显变差。智能群优化算法具有较强的全局搜索能力，例如遗传算法、粒子群算法和蝙蝠算法等。相较于其他智能群优化算法，蝙蝠算法具有模型简单、结构简单、效率高等优点，因此本发明利用蝙蝠算法全局估计搜索isal成像目标的最优运动参数并联合补偿相位误差。
[0056]
四、毫米波距离徒步成像模块
[0057]
距离徙动rma的关键是正确获取目标的三维空间谱支撑，而目标的散射函数与目标的空间谱支撑是互为傅里叶变换对的关系，通过对回波信号的预处理得到空间谱信息，从而可以得到目标图像。基于毫米波雷达的mimo成像系统的目标空间谱支撑区比sar形式复杂得多，在远场条件下，利用等效阵列的思想可以对该系统的回波预处理过程进行简化，但在近场条件下，必须通过约束系统的阵列构型来获得满足一定条件的空间谱，进而进行成像。
[0058]
基于rma算法的毫米波雷达mimo三维成像流程如下：
[0059]
1.获取四维回波数据s(xm,xn,z,k)，k表示波数；
[0060]
2.对四维回波数据沿扫描方向(xm,xn,k)做三维傅里叶变换，得到四维波数域；
[0061]
3.对波数域回波数据进行插值及维度转换，得到三维波数域图像重构数据；
[0062]
4.三维波数域回波数据做三维傅里叶逆变换，得到最终三维图像重构数据。
[0063]
根据rma的传输特性，使用利用fpga并行处理的优势进行算法移植以加速rma算法实现效率是可行的。
[0064]
雷达板采集到的原始数据可以通过sd卡和以太网获取原生的雷达数据，数据格式以bin文件形式给出，每次chrip对应一个bin文件，假设雷达采样位置为(x,y,0)，待成像目标空间坐标为(x
′
,y
′
,z0)，目标反射率为p(x
′
,y
′
)，则雷达接收到的后向散射数据为：
[0065][0066]
r表示收发天线的中心位置到目标的距离，目标到雷达的平均距离为z0。上式中r-2
可以使用(z0r)-1
替代，对于静止目标，z0为常数可以忽略。最终接收到的数据可以近似表示为：
[0067]
[0068]
球面波可认为是平面波的叠加，则
[0069][0070]
其中
[0071][0072]kx
，ky分别为x,y对应的傅立叶变换的空间频率，j是虚数单位，相当于i。
[0073]
所以
[0074][0075]
改变积分顺序可以发现对应反射率函数的二维傅里叶变换，即ft
2d
[p(x,y)]＝p(k
x
,ky)，p(x,y)表示目标在(x,y)处的反射率,p(kx,ky)为其对应的二维傅里叶变换，d是dimention的首字母，2d指做二维傅里叶变换。
[0076]
而又表示二维傅里叶逆变换。所以
[0077][0078]
则可以重构二维目标反射率：
[0079][0080]
本发明中rma算法采用fpga加速，可以提取关键的数据链路以及数据处理方式如图4所示，图中，pad为空间补零操作、fft为快速傅里叶变换、match为匹配滤波、ifft为逆快速傅里叶变换。数据通过前后补0后，要进行2次正向傅里叶变换，4次矩阵转置处理，2次反向傅里叶变换，以及一次匹配滤波矩阵点乘运算，其中的转置过程和傅里叶变换过程以及匹配滤波的复数乘加过程，在计算机中是一个相当耗时的过程，因此，便将将数据的复数信号转为两个有符号数据，并对double类型的数据进行一定的量化转换为int16类型，经过验证，数据量化前后对成像结果影响不大，使用fpga进行点乘运算和正/反傅里叶变换，在不影响计算效率的情况下对逻辑资源进行合理复用以节约硬件成本，至此本发明选取了便于计算机处理的高精确度的rma成像算法，并根据其算法特性对硬件电路进行了合理的设计，理论计算后，其成像效率能达到普通pc机的50-70倍。
[0081]
五、危险物智能检测模块
[0082]
本模块采用vgg16卷积神经网络和faster r-cnn深度学习网络相结合，对毫米波图像危险物品进行智能检测和分类。可参考文献：[1504.08083]fast r-cnn(arxiv.org)。[1409.1556v4]very deep convolutional networks for large-scale image recognition(arxiv.org)。
[0083]
faster r-cnn作为目前主流的深度学习网络之一，它非常明显的优势在于用区域建议网络代替了选择搜索算法(selective search，ss)，大大提高了检测速度的同时，还极
大地提升了目标检测的准确度。faster r-cnn包含了两个部分，分别是rpn和fast r-cnn，并且这两个部分共享卷积神经网络提取的特征。rpn主要负责提取建议区域，而fastr-cnn主要负责对建议区域进行分类和定位。
[0084]
区域建议网络rpn是目前表现最突出的区域建议提取算法，它主要利用3
×
3的滑动窗口在输入的特征图上通过卷积实现建议区域的提取，既可以减少时间的消耗，又能够高效地预测出目标候选区域。实验以vgg16为例，所提取的特征图的大小为51
×
39
×
256，表示高、宽和通道数分别为51、39和256。
[0085]
该卷积特征再次进行卷积计算，高、宽和通道数仍然保持不变，又会得到一个51
×
39
×
256的特征，对于该卷积特征有51
×
39个建议区域，每一个建议区域都在原图中对应着3种长宽比分别为2∶1、1∶2、1∶1，以及3种尺度分别为128、256、512共9种不同尺寸的检测框，即anchor。因此共有51
×
39
×
9个anchor，检测的目标是对每个anchor是否包含物体进行判断。