数据采集系统以及方法与流程

1.本发明涉及一种数据采集系统以及数据采集方法。


背景技术：

2.随着老龄化社会的到来，对独居老人健康状况的监控和分析的需求越来越大，特别是老人的日常行为、活动习惯等与其健康状态息息相关，例如，非专利文献1(research progress of factors that influence longevity【communication on contemporary anthropology,2011,5,63-69】)的研究阐释了老年人的作息、运动等生活习惯影响其身体健康。因此需要对老人的日常行为、活动轨迹等数据进行采集。
3.为了通过自动化的手段得到老年人的生活习惯信息，需要使用传感器实时地采集老人的行为、活动数据。在现有技术中，已经存在使用传感器采集人体行为数据的方法。非专利文献2(mobile devices to monitor physical activity and health data【cisti,lisbon,2017,pp.1-4】)公开了使用可穿戴设备采集老人的身体数据，专利文献3(us20080152192a1)公开了使用摄像头对人体的行为进行识别和监控，非专利文献4(基于空间聚类的fmcw雷达双人行为识别方法【福州大学学报(自然科学版)】)提出了一种利用毫米波雷达检测到的点云对人体行为进行简单识别的方法，非专利文献5(real-time human motion behavior detection via cnn using mmwave radar【ieee sensors letters】)提出了一种利用毫米波雷达的多普勒谱对人体行为进行简单分类的方法。


技术实现要素：

4.发明要解决的问题
5.然而，在非专利文献1中仅阐释了老年人的作息、运动等生活习惯影响其身体健康。非专利文献2公开了基于穿戴设备和手机采集老人的身体数据，但是手机软件操作复杂，穿戴设备也会给老人带来不便。专利文献3使用摄像头对人体的行为进行识别，无法得到老人的位置以及时间信息，而且监视摄像头会给老人带来心理上的不适。非专利文献4、非专利文献5仅提出了基于毫米波雷达的动作识别算法，在行为检测方面由于没有考虑时间尺度的影响，检测准确度低。
6.另外，在工厂的车间、写字楼等建筑物中也需要对利用者人的日常行为、活动轨迹等数据进行采集，以便与利用者的位置、行为等相应地控制照明等设施。
7.因此，本发明的目的在于提供一种数据采集系统以及方法，能够在完全不影响利用者的情况下，收集利用者的行动轨迹、识别集利用者的行为。
8.解决问题的技术手段
9.为了实现上述目的，本发明的一实施方式为一种数据采集系统，其对建筑物中的利用者的综合行为数据进行采集，所述数据采集系统的特征在于，具备：侧装式雷达，其安装于所述建筑物的房间内的墙壁，采集所述利用者的位置；顶装式雷达，其安装在所述房间的顶部，采集检测范围内的多普勒谱以及点云，并从所述点云中获取属于人体部分的点云，
进而生成外包属于人体部分的点云的外包络椭球，将所述多普勒谱、属于人体部分的点云的点的个数、以及所述外包络椭球的信息作为检测信息而输出；以及处理中心，其根据时间信息以及从所述侧装式雷达获取到的所述利用者的位置生成所述利用者的行动轨迹，根据从所述顶装式雷达获取到的所述检测信息对所述利用者的行为进行识别，生成行为识别结果，进而与所述时间信息相对应地将所述行动轨迹与所述行为识别结果整合为所述综合行为数据。
10.另外，本发明的另一实施方式为一种数据采集方法，其对建筑物中的利用者的综合行为数据进行采集，所述数据采集方法的特征在于，具备以下步骤：通过安装于所述建筑物的房间内的墙壁的侧装式雷达采集所述利用者的位置；处理中心根据时间信息以及从所述侧装式雷达获取到的所述利用者的位置生成所述利用者的行动轨迹，并根据所述行动轨迹以及预先存储在所述处理中心的安装在所述房间的顶部的顶装式雷达的安装位置信息以及检测张角，判断所述利用者是否进入某一个所述顶装式雷达的检测范围；在所述利用者进入某一个所述顶装式雷达的检测范围时，所述处理中心使该顶装式雷达开始工作；所述顶装雷达在开始工作时，采集检测范围内的多普勒谱以及点云，并从所述点云中获取属于人体部分的点云，进而生成外包属于人体部分的点云的外包络椭球，将所述多普勒谱、属于人体部分的点云的点的个数、以及所述外包络椭球的信息作为检测信息而输出至所述处理中心；以及所述处理中心根据从所述顶装式雷达获取到的所述检测信息对所述利用者的行为进行识别，生成行为识别结果，进而与所述时间信息相对应地将所述行动轨迹与所述行为识别结果整合为所述综合行为数据。
11.发明的效果
12.本发明采用雷达收集利用者的位置、行为数据。雷达具有一定的材料穿透性，可以安装在房间中肉眼不可见的区域，既不会像穿戴设备那样给利用者带来不便，也不会像摄像头一样给利用者带来心理负担。并且，本发明采用侧装式雷达与顶装式雷达两种雷达结合的方式，改善了单一种类雷达因为采集数据不充分，导致检测结果劣化的现象，能够实现同时从宏观、微观两个尺度采集利用者的行为数据，采集的数据准确度高。
附图说明
13.图1为本发明的数据采集系统的整体构成框图。
14.图2为本发明的侧装式雷达的安装示意图。
15.图3为本发明的多个侧装式雷达安装在建筑物内的示意图。
16.图4为本发明的侧装式雷达的安装俯视图。
17.图5为本发明的侧装式雷达的安装侧视图。
18.图6为本发明的顶装式雷达的安装示意图。
19.图7为本发明的顶装式雷达生成的外包属于人体的点云的外包络椭球的示意图。
20.图8为本发明中的扩展lstm神经网络处理流程的示意图。
21.图9为本发明的数据采集方法的流程图。
具体实施方式
22.以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书
所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表本发明的特征仅限于该实施方式。恰恰相反，结合实施方式作本发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
23.图1为本发明的数据采集系统的整体构成框图。
24.如图1所示，本发明的数据采集系统具备多个侧装式雷达、多个顶装式雷达、以及处理中心。顶装式雷达采集利用者的位置信息，侧装式雷达采集检测范围内的多普勒谱以及点云，并从所述点云中获取属于人体部分的点云，进而生成外包属于人体部分的点云的外包络椭球。顶装式雷达将所述多普勒谱、属于人体部分的点云的点的个数、以及所述外包络椭球的信息作为检测信息而输出。处理中心根据时间信息以及从所述侧装式雷达获取到的所述利用者的位置生成所述利用者的行动轨迹，根据从所述顶装式雷达获取到的所述检测信息对所述利用者的行为进行识别，生成行为识别结果，进而与所述时间信息相对应地将所述行动轨迹与所述行为识别结果整合为综合行为数据。
25.虽然在图1中示出了多个侧装式雷达以及多个顶装式雷达，但是根据实际的应用场景，例如在建筑物只有一个较小的房间时，也可以只具有一个侧装式雷达以及一个顶装式雷达。在本发明中，对侧装式雷达以及顶装式雷达的数量没有限制。
26.在本发明中，侧装式雷达优选检测范围大覆盖面广的雷达，由此能够实现对利用者行走轨迹的追踪；顶装式雷达优选监测范围小但灵敏度高的雷达，由此能够捕捉利用者的微运动信息，弥补了侧装式雷达细节捕捉不足的缺陷。并且，在本发明中，侧装式雷达以及顶装式雷达优选毫米波雷达。
27.顶装式雷达利用本领域已知的算法，例如“rangfft+dopplerfft”算法得到多普勒谱并且利用本领域已知的算法，例如“rangfft+dopplerfft+anglefft”算法(或者“beamforming”算法)以及公开的cfar算法得到点云，并利用本领域已知的算法，例如dbscan或者knn等点云聚类算法得到属于人体部分的点云。
28.处理中心可以是具有硬盘等储存部、cpu等处理部、以及输入输出接口的计算机等。处理中心整合得到的综合行为数据包括时间、位置、行为等信息。该综合行为数据例如为下表所示。通过该综合行为数据，能够知晓利用者在某时刻处于某个位置进行了某种动作。
29.时间位置行为年/月/日23:12:29(12.5,8.7,1.2)坐年/月/日23:12:30(12.7,8.6,1.2)坐
………
年/月/日07:50:10(4.3,7.1,1.2)躺
30.在本发明中，为了减轻侧装式雷达的数据量以及处理负荷，侧装式雷达采集的利用者的位置信息优选为相对于所述侧装式雷达的相对位置信息，并在处理中心预先存储有侧装式雷达的安装位置信息。
31.下面，参照图2-图5，对侧装式雷达的安装位置信息以及侧装式雷达的数据的处理进行说明。
32.图2为本发明的侧装式雷达的安装示意图。图3为本发明的多个侧装式雷达安装在建筑物内的示意图。图4为本发明的侧装式雷达的安装俯视图。图5为本发明的侧装式雷达的安装侧视图。
33.如图2所示，侧装式雷达安装于建筑物的房间内的墙壁，采集房间内的利用者相对于侧装式雷达的相对位置信息，即所述利用者在以所述侧装式雷达中的某一点为原点的三维直角坐标系中的位置坐标信息。在图2中，以梯形图案表示侧装式雷达，并示意性地表示了侧装式雷达的检测范围。
34.图3为本发明的多个侧装式雷达安装在建筑物内的示意图。如图3所示，在建筑物的的每个房间各安装有一台侧装式雷达，一共安装有4台侧装式雷达。这些雷达通过连续线与处理中心形成雷达拓扑结构。由此，实现了雷达监测范围的全屋覆盖。另外，在本发明中，在建筑物安装有多台侧装式雷达时，将第n台侧装式雷达标记为mmw_side_n。由此，如图4-5所示，侧装式雷达(在图4-5中，使用圆黑点表示侧装式雷达)的安装位置信息包括在以建筑物的某一点(在图4中，为建筑物的左下角)为原点的三维直角坐标系中的安装坐标信息(mmw_side_n_x,mmw_side_n_y,mmw_side_n_z)、所述侧装式雷达相对于所述墙壁的水平方向的水平安装倾角(mmw_side_n_θ)、所述侧装式雷达相对于所述墙壁的垂直方向的垂直安装倾角
35.当利用者进入到房间时，该房间内的毫米波雷达mmw_side_n捕捉到人体相对于侧装式雷达的相对位置(ref_x,ref_y,ref_z)，并附加该侧装式雷达名mmw_side_n发送给处理中心，数据格式例如为[mmw_side_n,ref_x,ref_y,ref_z]。只要利用者仍在房间中，该房间内的侧装式雷达mmw_side_n都会不间断地向处理中心输出利用者的相对位置信息。
[0036]
当利用者离开房间时，该房间的侧装式雷达因无法检测到利用者的位置，因此停止向处理中心发送利用者的相对位置信息。
[0037]
如果利用者离开原房间进入另外的房间，则由另外的房间的侧装式雷达mmw_side_m对利用者的相对位置信息进行检测，并将相对位置信息发送给处理中心，数据格式例如为[mmw_side_m,ref_x,ref_y,ref_z]。
[0038]
处理中心根据上述安装位置信息(mmw_side_n_x,mmw_side_n_y,mmw_side_n_z，mmw_side_n_θ，)以及该第n台侧装式雷达采集到的相对位置信息，算出利用者在所述建筑物中的绝对位置信息，并基于时间信息以及所述绝对位置信息生成所述利用者的行动轨迹。在此，绝对位置信息为所述利用者在以所述建筑物的某一点(在图4中，为建筑物的左下角)为原点的三维直角坐标系，即顶装式雷达的安装位置信息中使用的三维直角坐标系中的位置坐标信息。
[0039]
具体来说，在本发明中，处理中心通过以下公式算出所述绝对位置信息：
[0040][0041]
其中，r＝r
pitchryaw
，
[0042][0043][0044]
为所述绝对位置信息，为所述相对位置信息，mmw_side_n_x、mmw_side_n_y、mmw_side_n_z为所述侧装式雷达的所述安装坐标信息，mmw_side_n_θ为所述侧装式雷达的所述水平安装倾角，为所述侧装式雷达的所述垂直安装倾角。
[0045]
处理中心处理通过上述公式将利用者的相对位置信息转换成绝对位置信息之后，并附加时间信息current_time，转换后的绝对位置信息格式例如为[current_time，x，y，z]，处理中心按照时间信息的先后顺序对来自各台侧装式雷达的绝对位置信息进行排序，由此获得利用者的行动轨迹，从而实现了全屋覆盖式的利用者的行动轨迹追踪。
[0046]
此外，使用直接算出的利用者的绝对位置信息而获得的行动轨迹在可能存在波动，需要对行动轨迹进行平滑滤波。在本发明中，处理中心通过以下公式对所述行动轨迹进行平滑滤波：
[0047]
[x
k y
k zk]
t
＝[raw_x
k raw-y
k raw_zk]
t
*α+[x
k-1 y
k-1 z
k-1
]
t
*(1-α)，
[0048]
其中，[raw-x
k raw-y
k raw-zk]
t
为平滑滤波前的现在时刻的所述绝对位置信息，[x
k-1 y
k-1 z
k-1
]
t
为平滑滤波后的上一时刻的所述绝对位置信息，[x
k y
k zk]
t
为平滑滤波后的现在时刻的所述绝对位置信息，α为规定的权重，且0＜α＜1。另外，当α越靠近0时，平滑滤波后的所述绝对位置信息越接近直接算出的绝对位置信息，噪声可能越大，而当α越靠近1时，平滑滤波后的所述绝对位置信息越平滑，而越可能与直接算出的绝对位置信息的差别越大。因此，权重α可以根据需要适当地设定。
[0049]
由此，本发明针对侧装式雷达，实现了“n台雷达+1数据中心”的雷达拓扑结构，并采用上述公式算出利用者的行动轨迹，能够实现侧装式雷达监测范围的全屋覆盖，并能够解决因为建筑物结构复杂引起的数据采集盲区问题。
[0050]
并且，在图3中示出了在建筑物中的每个房间安装一台侧装式雷达的情况，但是也可以在每个房间安装多台侧装式雷达。此外，在图5中，为了方便示出侧装式雷达的z轴(高度方向)的坐标，并没有采用与图4相同原点的三维直角坐标系，但是不同的原点并不影响侧装式雷达的z轴(高度方向)的坐标值。
[0051]
接下来，参照图6-图9，对顶装式雷达以及顶装式雷达的数据的处理进行说明。
[0052]
如图6所示，顶装式雷达安装在每个房间的重点区域(床、沙发、餐桌)的顶部，采集监测范围内目标的点云和多普勒数据。在图6中，以圆黑点表示顶装式雷达，并示意性地表示了侧装式雷达的检测范围。在一个房间内可以安装一台或是多台顶装式雷达。在建筑物中安装有多台顶装式雷达的情况下，将第n台顶装式雷达标记为mmw_top_n，并在处理中心中预先存储所有顶装式雷达相对于建筑物的安装位置，即在图4所示的三维直角坐标系中的坐标信息(mmw_top_n_x,mmw_top_n_y,mmw_top_n_z)以及检测张角。另外，虽然可以使顶
装式雷达始终处于工作状态，但是，这样将会增加输入至处理中心的数据量以及电力消耗量。因此，在本发明中，处理中心根据上述行动轨迹、所述顶装式雷达的安装位置信息以及检测张角，判断所述利用者是否进入该所述顶装式雷达的检测范围，当利用者进入该顶装式雷达的检测范围时，使该顶装式雷达开始工作。由此能够减少输入至处理中心的数据量以及电力消耗量。
[0053]
如上所述，在顶装式雷达基于公开的算法获得属于人体部分的点云以及多普勒谱随后，生成如图7所示的外包属于人体部分的点云的外包络椭球。该外包络椭球的信息包括以所述外包络椭球的三轴长度(a,b,c)以及所述外包络椭球的中心坐标(x,y,z)。在此，所述外包络椭球的中心坐标(x,y,z)为所述外包络椭球的中心在以从所述顶装式雷达的中心向下垂直的垂线与地面交点为原点的三维直角坐标系中的坐标。如此，安装在不同的房间的顶装式雷达对于利用者相同的行为能够获得相似乃至相同的外包络椭球的三轴长度(a,b,c)以及所述外包络椭球的中心坐标(x,y,z)，能够在后续的行为识别处理中获得更加精确的识别结果。此外，也可以以顶装式雷达的中心作为该三维直角坐标系的原点。
[0054]
随后，顶装式雷达将属于人体部分的点云的点的个数n、外包络椭球的三轴长度(a,b,c)、所述外包络椭球的中心坐标(x,y,z)以及多普勒谱作为检测信息输出至处理中心。
[0055]
处理中心接收顶装毫米波雷达mmw_top_n检测到的信息，信息格式例如为处理中心将接收到的信息导入扩展lstm神经网络，对利用者的行为进行识别。
[0056]
具体来说，如图8所示，该扩展lstm神经网络包括两个lstm网络块、以及事先训练好的dnn网络，所述处理中心将所述外包络椭球的中心坐标(x,y,z)、所述外包络椭球的三轴长度(a,b,c)、所述属于人体部分的点云的点n的个数输入至一个所述lstm网络块，即将[x，y，z，a，b，c，n]输入至一个lstm网络块(lstm block 1)，并将所述多普勒谱输入至另一个所述lstm网络块(lstm block 2)，之后，将两个所述lstm网络块的输出整合为输出矩阵。该输出矩阵例如为将lstm block 1的输出排列在第一行，将lstm block 2的输出排列在第二行的二维矩阵。
[0057]
随后将所述输出矩阵展平为一维矩阵，将所述一维矩阵输入至所述dnn网络，由所述dnn网络输出所述行为识别结果。
[0058]
在本发明中，事先使用大量的已有的数据以及与其相对应的行为，对dnn网络进行训练。具体来说，将[x，y，z，a，b，c，n]输入至一个lstm网络块(lstm block 1)，所述多普勒谱输入至另一个所述lstm网络块(lstm block 2)，并将两个所述lstm网络块的输出整合为输出矩阵，随后将所述输出矩阵展平为一维矩阵，将所述一维矩阵输入至所述dnn网络，由所述dnn网络输出行为识别结果，并根据与输入的相对应的行为对dnn网络输出行为识别结果进行校正，直至dnn网络输出的行为识别结果正确率达到规定值以上，由此获得事先训练好的dnn网络。
[0059]
由此，本发明针对顶装式雷达，提出了一种基于时间尺度的、同时利用点云包络信息和多普勒谱信息的数据模型，并配合使用扩展lstm神经网络，提高了顶装式雷达识别人体动作的准确度。
[0060]
接着，参照图9，对本发明的数据采集方法的流程进行说明。
[0061]
图9为本发明的数据采集方法的流程图。如图9所示，本发明的数据采集方法对建筑物中的利用者的综合行为数据进行采集，所述数据采集方法具备以下步骤：
[0062]
通过安装于所述建筑物的房间内的墙壁的侧装式雷达采集所述利用者的位置(步骤s1)；处理中心根据时间信息以及从所述侧装式雷达获取到的所述利用者的位置生成所述利用者的行动轨迹(步骤s2)，并根据所述行动轨迹以及预先存储在所述处理中心的安装在所述房间的顶部的顶装式雷达的安装位置信息以及检测张角，判断所述利用者是否进入某一个所述顶装式雷达的检测范围(步骤s3)；在所述利用者进入某一个所述顶装式雷达的检测范围时，所述处理中心使该顶装式雷达开始工作(步骤s3中为是)；在所述利用者没有进入所述顶装式雷达的检测范围时(步骤s3中为否)，返回步骤s1，进行由侧装式雷达检测利用者的位置；所述顶装雷达在开始工作时，采集检测范围内的多普勒谱以及点云，并从所述点云中获取属于人体部分的点云，进而生成外包属于人体部分的点云的外包络椭球，将所述多普勒谱、属于人体部分的点云的点的个数、以及所述外包络椭球的信息作为检测信息而输出至所述处理中心(步骤s4)；以及所述处理中心根据从所述顶装式雷达获取到的所述检测信息对所述利用者的行为进行识别，生成行为识别结果(步骤s5)，进而与所述时间信息相对应地将所述行动轨迹与所述行为识别结果整合为所述综合行为数据(步骤s6)。
[0063]
此外，在本发明中，重复上述步骤s1-s6，直至系统关闭或者利用者离开建筑物。
[0064]
以上对本发明的实施方式进行了说明，但实施方式仅作为举例说明，并不具有限定本发明范围的意图。这些实施方式能够通过其他各种形态实施，在不超出本发明主旨的范围内进行各种各样的省略、置换、变更、组合。这些实施方式和其变形包含在本发明范围和主旨中的同时，也包含在权利要求书中记载的发明以及与其均等的范围内。