本发明涉及一种融合zed视觉的人体健康特征大数据智慧计算方法与装置。
背景技术:
随着社会经济的不断发展,健康观念逐步深入人心,参加户外运动的人数日益壮大。与此同时,因运动个体的运动量过大导致的运动事故率也节节攀高。因此,在户外运动中对人体的健康情况进行实时监测,有效的保障运动者安全的问题就十分有意义。
近些年,信息多元化的发展,以及计算机技术、微电子技术和多传感器网络日益成熟,信息融合作为一种有效的信息综合处理方法,在目标识别、故障诊断、态势估计、图像处理、遥感等领域发展迅猛。但是目前,信息融合技术在生理信息领域的应用研究还处于初级阶段,尤其是运动保健、体育等领域。
目前,穿戴设备可以快速准确地测出测量心率、汗液、体温、睡眠、步数、血压、葡萄糖水平等人体健康数据。但是人体是庞大而复杂的有机系统,只通过简单的一项生理指标信息很难对人体健康状态进行准确的判断。借助信息融合技术,利用神经网络建立人体健康评估模型,通过对这些人体健康数据的智能融合,从而监测人体的身体健康状况。
因此,在户外运动过程中,实时监测人体健康数据并进行智能融合、运动环境以及人体位置,可以很大程度上防止户外运动意外事故的发生,保障生命安全。
技术实现要素:
本发明提供了一种融合zed视觉的人体健康特征大数据智慧计算方法与装置,通过无人机装载双目相机zed对运动环境中运动人体的识别,跟踪以及基于穿戴设备的健康检测数据,结合pid神经网络和深度置信网络模型进行人脸检测和人体健康评估计算,从而有效保障人的安全。
一种融合zed视觉的人体健康特征大数据智慧计算方法,包括以下步骤:
步骤1:构建人体健康特征数据库;
所述人体健康特征数据库包括人体自然体征数据库和人体极限运动数据库;
其中,所述人体自然体征数据库包括不同人的脸部图像和对应的身高,且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像;
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据,所述健康数据是指在运动过程中10s内采集的心率、血压和体温;
步骤2:依据搭载在无人机上的zed相机获取的人体身高,筛选出待识别人体群并且获取对应的脸部图像数据块;
步骤3:基于hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别;
步骤3.1:将待识别人体的脸部图像数据块,利用mapreduce进行切片,并为每一个数据分片构造一个map任务;
步骤3.2:利用inputformat类将每个数据分片转换成<key/value>对,以key记录每个数据分片起点的存储位置,以value记录每个数据分片的数据长度;
步骤3.3:对步骤3.2得到的所有<key/value>对对应的脸部图像数据进行map操作;
所述map操作是指对一个数据分片中的脸部图像依次进行预处理、gabor特征提取、pca降维处理后,采用在hadoop平台训练得到的基于pid神经网络的脸部识别模型进行识别;
步骤3.4:利用reduce函数融合所有map操作输出的识别结果;
其中,所述在hadoop平台训练得到的基于pid神经网络的脸部识别模型是指将脸部图像训练数据按照步骤3.1-3.2的过程利用mapreduce进行多次数据分片处理,并将每个数据分片对应的训练数据,训练基于pid神经网络的脸部识别模型,将所有训练完后的基于pid神经网络的脸部识别模型中的权值和阈值求平均,直到最终基于pid神经网络的脸部识别模型的精度满足设定的识别精度或者执行mapreduce次数达到设定的最大执行次数;
步骤4:利用识别结果,使得无人机跟踪待识别人体,并与待识别人体的穿戴设备进行通信,获取待识别人体的健康数据传输至远程服务器;
步骤5:将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络dbn的数据融合模型,计算得到待识别人体的健康检测程度。
进一步地,所述基于pid神经网络脸部识别模型的构建过程如下:
步骤3.3.1:对每一幅训练图像进行预处理和garbor特征提取,并对提取的图像gabor特征进行pca降维,得到降维矩阵;
步骤3.3.2:利用mapreduce对训练图像数据和对应的图像编号进行切片,依次将每个数据分片中所有训练图像的降维矩阵对应的特征向量作为输入层节点,输出层节点为数据分片中每个训练图像的编号,对pid神经网络进行训练,得到基于pid神经网络的脸部识别模型;
其中,最大迭代次数为100,训练学习率为0.1,在训练过程中,所述pid神经网络的权值和阈值采用自适应花授粉算法进行寻优获得。
进一步地,所述pid神经网络的权值和阈值采用自适应花授粉算法进行寻优获得的过程如下:
步骤a1:种群花粉个体的位置作为pid神经网络的权值和阈值,初始化种群;
种群规模的取值范围为[50,200],变异因子初始值的取值范围为[0.04,0.15],最大迭代次数的取值范围为[120,500],最大搜索精度的取值范围为[0.005,0.12];
步骤a2:设定适应度函数,并获取种群中的最优个体;
将种群个体位置对应的pid神经网络的权值和阈值代入基于pid神经网络的人脸识别模型中,并利用种群个体位置确定的基于pid神经网络的权值和阈值的人脸识别模型计算出输出值,将输出值和实际值的均方差mse的倒数作为第一适应度函数f1(x);
步骤a3:计算每个个体的适应值,并保留适应度值最小的个体;
步骤a4:随机生成rand1,按照下式计算转换概率p,以调节花授粉算法中全局搜索和局部搜索之间的转化;
p=0.8+0.2×rand1
步骤a5:随机生成rand∈[0,1],若转换概率p>rand,计算ε,并利用ε进行局部搜索;
步骤a6:计算更新后的所有个体的适应度值,判断是否达到最大迭代次数或者最大搜索精度,若达到,则以适应度最大的个体作为最优个体,输出最优个体对应的pid神经网络的权值和阈值,否则返回步骤a4,进行下一次迭代。
进一步地,所述基于深度置信网络dbn的数据融合模型的构建过程如下:
将人体极限运动量训练数据库中各种运动量的人体健康数据以及对应的眼部、嘴部特征作为输入层节点,对深度置信网络dbn进行预训练,对预训练结束后得到的深度置信网络dbn,采用bp算法,使用输入数据对应的健康评估状态对深度置信网络dbn进行微调,使深度置信网络dbn进每一层的初始化权值矩阵w、可见层偏置c、隐藏层偏置b达到最优,得到基于深度置信网络dbn的数据融合模型;
其中,所述深度置信网络dbn学习速率设为0.01,最大迭代次数1000次;
所述眼部特征和嘴部特征是指从脸部图像中分别提取出的眼部图像和嘴部图像进行滤波处理后,利用pca降维得到的特征;
所述深度置信网络dbn包括4层,第一层rbm将输入视为显层,输入人体健康数据以及对应的眼部、嘴部特征,最后一层rbm包括4个单元,输出四种健康评估结果;
所述眼部图像区域获取过程如下:
步骤s1.1:采用直方图均衡化法对脸部图像进行预处理;
从而减轻光照在后续人脸特征提取的影响程度。
步骤s1.2:利用肤色特征从步骤s1.1获得预处理图像中,分割出人脸区域;
步骤s1.3:对分割出来的人脸区域进行二值化处理,使得人脸区域中的肤色区域像素为白色,非肤色区域像素为黑色;
人脸区域中非肤色区域包括眼睛、眉毛、嘴巴、头发;
步骤s1.4:对步骤s1.3获得的二值化图像进行水平积分投影,以投影曲线第二个低谷处为人眼中心的垂直坐标y,并以y为中心确定一个竖直宽度为90mm的条形区域;
眉毛和眼睛在竖直位置上是相对靠近的黑色区域;
步骤s1.5:对确定的条形区域进行形态学处理后,再通过反色操作得到两个最大的连通区域;
排除鼻梁、鬓角等暗区域对眼部的干扰。
步骤1.6:对步骤s1.5获得的两个连通区域进行垂直积分投影,以投影曲线中的两个波峰区域并按照人眼大致形状对所述连个连通区域的宽度进行限定,获得眼部图像区域;
所述嘴部图像获取过程如下
步骤s2.1:利用唇色与肤色的差异,从脸部图像获得嘴部感兴趣区域;
对获取的嘴部感兴趣区域的图像先进行肤色约束,排除胡须、嘴唇内腔的阴影区域等黑色部分;
步骤2.2:对嘴部感兴趣区域进行像素颜色的fisher线性变换处理,将嘴部感兴趣区域的图像分割成相互孤立的多个独立区域;
步骤2.3:利用八连通成分标示算法对所述的每个孤立的独立区域进行区域标示,获取各独立区域的坐标位置和像素个数等;
步骤2.4:根据嘴唇的大小形状以及和脸部的相对约束关系对所有独立区域进行判断,嘴部图像区域;
所述嘴唇的大小形状以及嘴唇和脸部的相对约束关系至少包括以下一条:
a)嘴部区域位于人脸图像下半部分的中间位置,且嘴部宽度中心线位于人脸的中心对称线附近;
b)嘴部区域的宽度小于人脸图像宽度的1/2,且大于人脸图像宽度的1/3;
c)嘴部区域内唇色像素总数大于人脸图像宽度的6倍,且小于人脸图像宽度的15倍;
d)嘴部区域内唇色像素总数大于人脸图像高度的6倍,且小于人脸图像高度的15倍;
所述深度置信网络dbn使用的bp反向传播微调阶段采用水循环算法进行寻优获得;
所述人体健康数据包括在各种运动量下10s内的血压、心率以及体温;
0%极限运动量对应健康评估分数为0;10%的极限运动量,对应健康评估分数为0.1,依次类推,达到100%极限运动量,对应健康评估分数为1;
将健康评估分数属于区间[0,0.7)的人体健康标记为1000,健康评估分数属于区间[0.7,0.8)的人体健康标记为0100,健康评估分数属于区间[0.8,0.9)的人体健康标记为0010,健康评估分数属于区间[0.9,1]的人体健康标记为0001。
进一步地,所述深度置信网络dbn使用的bp反向传播微调阶段采用水循环算法进行寻优获得的过程如下:
步骤b1:设置初始参数;
确定降雨层总个数n_pop为50,其中河流与海洋的总数8,作为最优解的海洋个数为1,极小值d_max=0,05,最大迭代次数max_iteration为500;
步骤b2:降雨层初始化,生成初始降雨,河流和海洋;
以预训练过程中得到的深度置信网络dbn各层的初始化权值矩阵w、可见层偏置c、隐藏层偏置b作为其中一个降雨层,每一个降雨层作为基于深度置信网络dbn的数据融合模型中各层的初始化权值矩阵w、可见层偏置c、隐藏层偏置b;
步骤b3:依次将降雨层代入预训练完成的基于深度置信网络dbn的数据融合模型中计算结果,将计算结果和实际值的均方误差的倒数作为第二适应度函数;
步骤b4:以适应度大的降雨层作为大海,以适应度次小的降雨层作为河流,其余的降雨层作为流入河流或海洋的溪流;
步骤b5:使溪流汇入河流,使河流流入海洋;
步骤b6:如果发现溪流的解比河流的更好,则它们互相交换位置:若河流的解比海洋的解较优,则河流与海洋交换位置;最终海洋为最优解。
步骤b7:检查是否满足蒸发条件:判断河流与海洋的适应度值之差的绝对值是否小于极小值d_max,如果满足蒸发条件,则从种群中去掉该河流,并重新进行降雨过程,随机生成新的降雨层加入种群,返回步骤b4继续一次迭代,否则,减小d_max值,进入步骤b8;
步骤b8:判断是否到达最大迭代次数,若是则输出最优的降雨层对应的基于深度置信网络dbn的数据融合模型的最优参数,若不是,则返回步骤b4,继续下一次迭代。
进一步地,所述远程服务器依据接收到人体健康检测结果,并发出预警指令至人体穿戴设备上:
若分数达到[0.7,0.8),服务器向手环发送指令,手环做出一级震动,提醒该个体休息;
若分数达到[0.8,0.9)服务器向手环发送指令,手环做出二级震动,提醒该个体身体状态已不适合继续运动;
若分数达到0.9,服务器向手环发送指令,手环做出三级震动,提醒该个体身体状态必须要停止运动,同时无人机会发出警报。
若分数位于区间[0,0.7),无反应;
进一步地,在进行户外运动监测过程中,每架无人机的电量实时向远程服务器反馈,远程服务器根据反馈的电量,对无人机发出指令:
当无人机剩余电量大于等于20%,保持监测状态;
当无人机剩余电量小于20%,无人机返回充电区;同时,远程服务器指派一架电量充足的无人机飞去指定区域继续监测。
进一步地,所述步骤3.3.1中对每一幅训练图像进行预处理,是指对脸部图像分别进行几何预处理、灰度预处理以及人脸肤色检测;
所述几何预处理是将人脸图像变换到同一位置和同一大小;
所述灰度预处理是将彩色图像进行灰度化处理。
同时消除噪声,增加对比度,进行光线补偿,改善图像的效果。
所述人脸肤色检测是指基于脸部肤色的人脸检测,除去照片中的非人脸区域,提取出包含人脸特征的轮廓。
一种融合zed视觉的人体健康特征大数据智慧计算平台,包括:
人体健康特征数据库,包括人体自然体征数据库和人体极限运动数据库;
其中,所述人体自然体征数据库包括不同人的脸部图像和对应的身高,且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像;
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据,所述健康数据是指在运动过程中10s内采集的心率、血压和体温;
脸部图像视觉筛选模块,依据搭载在无人机上的zed相机获取的人体身高,筛选出待识别人体群并且获取对应的脸部图像数据块;
hadoop平台识别模块,采用上述方法基于hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别;
追踪模块,依据hadoop平台识别模块的识别结果,使得无人机跟踪待识别人体,并与待识别人体的穿戴设备进行通信,获取待识别人体的健康数据传输至远程服务器;
健康测量模块,将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络dbn的人体健康评估模型,采用上述的方法得到待识别人体的健康程度。
进一步地,所述无人机包括飞行装置以及搭载在飞行装置上的电池模块、gps模块、无线通信模块、惯性装置、zed模块和补光模块。
有益效果
本发明提供了一种融合zed视觉的人体健康特征大数据智慧计算方法与装置,通过无人机装载双目相机zed对运动环境的监测以及对环境中运动人体的识别、跟踪,以及结合穿戴设备的健康数据融合,对人体健康特征进行计算,并且相对于现有技术具有以下优点:
1.将脸部识别和云计算相结合,利用mapreduce并行分布式运行机制,提升脸部识别效率,缩短训练周期;
2.采用pca主成分分析处理基于多尺度gabor滤波后的图像特征维,大大的降低了数据处理量,有效的提高了人脸识别的效率和准确率;
3.采用自适应花授粉算法对pid神经网络进行优化,克服训练结果可能会陷入局部最优、学习过程收敛速度慢的缺点,从而提高了脸部识别的准确率和效率;
4.通过水循环算法优化的深度学习模型dbn融合人体眼睛、嘴部图像和健康体征数据(心率、体温、血压)对疲劳程度进行检测,能够准确地表示人体的疲劳程度并作出合理决策;
附图说明
图1为脸部智能识别方法示意图;
图2为深度置信网络dbn模型结构示意图;
图3为本发明所使用的hadoop框架示意图;
图4为本发明所述平台的结构示意图;
图5为本发明所述方法的流程示意图。
具体实施方式
下面将结合附图和实例对本发明做进一步地说明。
如图5所示,一种融合zed视觉的人体健康特征大数据智慧计算方法,包括以下步骤:
步骤1:构建人体健康特征数据库;
所述人体健康特征数据库包括人体自然体征数据库和人体极限运动数据库;
其中,所述人体自然体征数据库包括不同人的脸部图像和对应的身高,且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像;
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据,所述健康数据是指在运动过程中10s内采集的心率、血压和体温;
采集系统中每个人的极限运动量,同时分别记录下在不同运动量下(极限运动量的10%、20%……100%),测量10s内个体的健康数据,包括心率、血压、体温;
建立人体健康数据的评分机制,最高为1,最低为0。其中0%极限运动量对应分数1;10%的极限运动量,对应分数0.9。依次类推,达到极限运动量,对应分数0。
步骤2:如图4所示,依据搭载在无人机上的zed相机获取的人体身高,筛选出待识别人体群并且获取对应的脸部图像数据块;
每个zed基于自身的双目视觉,得出视野内所有人体的身高数据,与待识别目标在数据库中的身高信息进行比对,筛选出与其身高差距±3cm的若干个体。
zed相机获取该若干个体脸部图像,拍摄授权人脸部40帧图像。利用hadoop平台的mapreduce并行分布式运行机制,快速识别目标个体,并传回指令给无人机的车载控制器,对目标个体持续追踪。
步骤3:如图3所示,基于hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别;
离线训练过程:将事先采集的脸部图像库中的大量脸部图像进行并行训练。
将系统中人体进行编号,如个体1编号000001,个体2编号000002。
步骤3.1:将待识别人体的脸部图像数据块,利用mapreduce进行切片,并为每一个数据分片构造一个map任务;
步骤3.2:利用inputformat类将每个数据分片转换成<key/value>对,以key记录每个数据分片起点的存储位置,以value记录每个数据分片的数据长度;
其中,所述在hadoop平台训练得到的基于pid神经网络的脸部识别模型是指将脸部图像训练数据按照步骤3.1-3.2的过程利用mapreduce进行多次数据分片处理,并将每个数据分片对应的训练数据,训练基于pid神经网络的脸部识别模型,将所有训练完后的基于pid神经网络的脸部识别模型中的权值和阈值求平均,直到最终基于pid神经网络的脸部识别模型的精度满足设定的识别精度或者执行mapreduce次数达到设定的最大执行次数;
户外运动环境下运动人体实时的脸部识别:将待识别人体脸部图像数据块实时输入脸部识别模型;
其中,户外运动环境下运动人体实时的脸部识别过程中将脸部图像训练数据按照步骤3.1-3.2的过程利用mapreduce进行多次数据分片处理;
步骤3.3:对步骤3.2得到的所有<key/value>对对应的脸部图像数据进行map操作;
所述map操作是指对一个数据分片中的脸部图像依次进行预处理、gabor特征提取、pca降维处理后,采用在hadoop平台训练得到的基于pid神经网络的脸部识别模型进行识别;
步骤3.4:利用reduce函数融合所有map操作输出的识别结果;
服务器根据输出的识别结果生成指令并传送给无人机:
其中,输出的识别结果为一个6×40的矩阵,矩阵的每一个列向量为个人编号或者接近某一个体编号。若追踪的个体编号为000001,则通过判断6×40的矩阵中每一列与000001的相似程度来进行确定目标个体的脸部图像。生成指令并发送给其中一个无人机对个体进行追踪,其余无人机协同追踪。
其中,所述脸部识别智能模型建立过程如下:
a)脸部图像预处理
对脸部图像分别进行几何预处理和灰度预处理,几何预处理是将人脸图像变换到同一位置和同一大小;灰度预处理是将彩色图像进行灰度化处理,同时消除噪声,增加对比度,进行光线补偿,改善图像的效果。
通过基于脸部肤色的人脸检测,除去照片中的非人脸区域,提取出包含人脸特征的轮廓。
b)脸部特征提取:如图1所示,采用gabor小波滤波器后再利用主成分分析法进行降维处理;
本实例采用5个中心频率和8个方向组成的40个滤波器对人脸图像进行特征提取,即v=1,2……5,u=1,2……8。kv和
人脸的特征提取通过与gabor小波滤波器卷积获得。
主成分分析法:通过特征的线性组合来实现人脸图像的降维
a.假设人脸图像i的像素为m×n,则通过与gabor卷积后共有40mn个像素点,将这40mn个像素点依次排列起来作为一个列向量xi。输入n张人脸图像,依次表示为x1、x2……xn,每个xi维数为m=40mn,则可以表示为x=[x1、x2……xn]m*n;
b.先计算样本每一维的均值,然后计算观察值与均值之间的偏差,在计算样本协方差矩阵;
c.计算协方差矩阵的特征值和特征向量;
d.计算总能量,选取贡献率大的特征值和对应的特征向量;
其中,总能量指的是所有特征值相加的和;贡献率是指前q个特征值之和与所有特征值之和的比值;如果贡献率大于90%,那么只需要提取前q个特征值与其相对应的特征向量,从而降低了样本数据的维数。
e.计算前q个特征值所对应的特征向量组成的矩阵,计算降维后的样本矩阵。根据上一步得到的新特征向量,用原始的协方差矩阵乘以此新特征向量组成的矩阵,则可以得到人脸图片降维后的样本矩阵。
c)脸部识别模型
pid神经网络:将每个脸部图像的降维之后的特征向量作为输入,输出为对应的编号,如000001。设置最大迭代次数设置为100,训练学习率为0.1。
采用自适应花授粉算法优化pid神经网络的权值和阈值;
所述pid神经网络的权值和阈值采用自适应花授粉算法进行寻优获得的过程如下:
步骤a1:种群花粉个体的位置作为pid神经网络的权值和阈值,初始化种群;
种群规模的取值范围为[50,200],变异因子初始值的取值范围为[0.04,0.15],最大迭代次数的取值范围为[120,500],最大搜索精度的取值范围为[0.005,0.12];
步骤a2:设定适应度函数,并获取种群中的最优个体;
将种群个体位置对应的pid神经网络的权值和阈值代入基于pid神经网络的人脸识别模型中,并利用种群个体位置确定的基于pid神经网络的权值和阈值的人脸识别模型计算出输出值,将输出值和实际值的均方差mse的倒数作为第一适应度函数f1(x);
步骤a3:计算每个个体的适应值,并保留适应度值最小的个体;
步骤a4:随机生成rand1,按照下式计算转换概率p,以调节花授粉算法中全局搜索和局部搜索之间的转化;
p=0.8+0.2×rand1
步骤a5:随机生成rand∈[0,1],若转换概率p>rand,计算ε,并利用ε进行局部搜索;
步骤a6:计算更新后的所有个体的适应度值,判断是否达到最大迭代次数或者最大搜索精度,若达到,则以适应度最大的个体作为最优个体,输出最优个体对应的pid神经网络的权值和阈值,否则返回步骤a4,进行下一次迭代。
步骤4:利用识别结果,使得无人机跟踪待识别人体,并与待识别人体的穿戴设备进行通信,获取待识别人体的健康数据传输至远程服务器;
在户外运动环境中,目标个体随着运动量的增加,人体血压,心率,体温等特征数据会发生明显变化。目标个体佩戴的手环具有人体健康数据检测模块以及无线通信模块。手环通过实时监测目标个体在运动中的血压,心率,体温,并将这些人体健康数据通过无线通讯模块传输至服务器(每10s内发送一次)。
步骤5:人体健康数据融合测量;
将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络dbn的人体健康评估模型,得到待识别人体的健康检测程度。
所述深度置信网络dbn结构如图2所示;
所述基于深度置信网络dbn的人体健康评估模型的构建过程如下:
将人体极限运动量训练数据库中各种运动量的人体健康数据以及对应的眼部、嘴部特征作为输入层节点,对深度置信网络dbn进行预训练,对预训练结束后得到的深度置信网络dbn,采用bp算法,使用输入数据对应的健康评估状态作为深度置信网络dbn的输出层结果,对深度置信网络dbn进行微调,使深度置信网络dbn进每一层的初始化权值矩阵w、可见层偏置c、隐藏层偏置b达到最优,得到基于深度置信网络dbn的人体健康评估模型;
其中,所述深度置信网络dbn学习速率设为0.01,最大迭代次数1000次;
所述眼部特征和嘴部特征是指从脸部图像中分别提取出的眼部图像和嘴部图像进行滤波处理后,利用pca降维得到的特征;
所述深度置信网络dbn包括4层,第一层rbm将输入视为显层,输入人体健康数据以及对应的眼部、嘴部特征,最后一层rbm包括4个单元,输出四种健康评估结果;
dbn采用4个rbm组成的深层结构,其结构为80-171-171-171-4。第一层rbm将输入视为显层,共有80个节点,对应着50个眼部、脸部特征向量和血压、心率以及体温这3个人体健康体征的30维向量。最后一层是dbn的输出,包括4个单元,得出个体的身体状态评分;
其中四个输出单元的输出对应着四种健康评估结果,如1000,则对应评分区间[0,0.7);如0100,则对应评分区间[0.7,0.8);
采用5个中心频率和8个方向组成的40个gabor小波滤波器对眼睛和嘴部图像进行特征提取,通过pca对其进行降维,得到眼睛和嘴部图像的特征矩阵,并将其组合成一个矩阵,共50个特征。
所述眼部图像区域获取过程如下:
步骤s1.1:采用直方图均衡化法对脸部图像进行预处理;
从而减轻光照在后续人脸特征提取的影响程度。
步骤s1.2:利用肤色特征从步骤s1.1获得预处理图像中,分割出人脸区域;
步骤s1.3:对分割出来的人脸区域进行二值化处理,使得人脸区域中的肤色区域像素为白色,非肤色区域像素为黑色;
人脸区域中非肤色区域包括眼睛、眉毛、嘴巴、头发;
步骤s1.4:对步骤s1.3获得的二值化图像进行水平积分投影,以投影曲线第二个低谷处为人眼中心的垂直坐标y,并以y为中心确定一个竖直宽度为90mm的条形区域;
因为眉毛和眼睛在竖直位置上是相对靠近的黑色区域;
步骤s1.5:对确定的条形区域进行形态学处理后,再通过反色操作得到两个最大的连通区域;
排除鼻梁、鬓角等暗区域对眼部的干扰。
步骤1.6:对步骤s1.5获得的两个连通区域进行垂直积分投影,以投影曲线中的两个波峰区域并按照人眼大致形状对所述连个连通区域的宽度进行限定,获得眼部图像区域;
所述嘴部图像获取过程如下
步骤s2.1:利用唇色与肤色的差异,从脸部图像获得嘴部感兴趣区域;
对获取的嘴部感兴趣区域的图像先进行肤色约束,排除胡须、嘴唇内腔的阴影区域等黑色部分;
步骤s2.2:对嘴部感兴趣区域进行像素颜色的fisher线性变换处理,将嘴部感兴趣区域的图像分割成相互孤立的多个独立区域;
步骤s2.3:利用八连通成分标示算法对所述的每个孤立的独立区域进行区域标示,获取各独立区域的坐标位置和像素个数等;
步骤s2.4:根据嘴唇的大小形状以及和脸部的相对约束关系对所有独立区域进行判断,嘴部图像区域;
所述嘴唇的大小形状以及嘴唇和脸部的相对约束关系至少包括以下一条:
a)嘴部区域位于人脸图像下半部分的中间位置,且嘴部宽度中心线位于人脸的中心对称线附近;
b)嘴部区域的宽度小于人脸图像宽度的1/2,且大于人脸图像宽度的1/3;
c)嘴部区域内唇色像素总数大于人脸图像宽度的6倍,且小于人脸图像宽度的15倍;
d)嘴部区域内唇色像素总数大于人脸图像高度的6倍,且小于人脸图像高度的15倍;
所述深度置信网络dbn使用的bp反向传播微调阶段采用改进狼群算法进行寻优获得;
所述人体健康数据包括在各种运动量下10s内的血压、心率以及体温;
0%极限运动量对应健康评估分数为0;10%的极限运动量,对应健康评估分数为0.1,依次类推,达到100%极限运动量,对应健康评估分数为1;
将健康评估分数属于区间[0,0.7)的人体健康标记为1000,健康评估分数属于区间[0.7,0.8)的人体健康标记为0100,健康评估分数属于区间[0.8,0.9)的人体健康标记为0010,健康评估分数属于区间[0.9,1]的人体健康标记为0001。
所述深度置信网络dbn使用的bp反向传播微调阶段采用水循环算法进行寻优获得的过程如下:
步骤b1:设置初始参数;
确定降雨层总个数n_pop为50,其中河流与海洋的总数8,作为最优解的海洋个数为1,极小值d_max=0,05,最大迭代次数max_iteration为500;
步骤b2:降雨层初始化,生成初始降雨,河流和海洋;
以预训练过程中得到的深度置信网络dbn各层的初始化权值矩阵w、可见层偏置c、隐藏层偏置b作为其中一个降雨层,每一个降雨层作为基于深度置信网络dbn的数据融合模型中各层的初始化权值矩阵w、可见层偏置c、隐藏层偏置b;
步骤b3:依次将降雨层代入预训练完成的基于深度置信网络dbn的数据融合模型中计算结果,将计算结果和实际值的均方误差的倒数作为第二适应度函数;
步骤b4:以适应度大的降雨层作为大海,以适应度次小的降雨层作为河流,其余的降雨层作为流入河流或海洋的溪流;
步骤b5:使溪流汇入河流,使河流流入海洋;
步骤b6:如果发现溪流的解比河流的更好,则它们互相交换位置:若河流的解比海洋的解较优,则河流与海洋交换位置;最终海洋为最优解。
步骤b7:检查是否满足蒸发条件:判断河流与海洋的适应度值之差的绝对值是否小于极小值d_max,如果满足蒸发条件,则从种群中去掉该河流,并重新进行降雨过程,随机生成新的降雨层加入种群,返回步骤b4继续一次迭代,否则,减小d_max值,进入步骤b8;
步骤b8:判断是否到达最大迭代次数,若是则输出最优的降雨层对应的基于深度置信网络dbn的数据融合模型的最优参数,若不是,则返回步骤b4,继续下一次迭代。
步骤6:在进行户外运动监测过程中,每架无人机的电量会实时向服务器反馈。服务器根据反馈的电量,对无人机发出指令:
当无人机剩余电量大于等于20%,保持监测状态。
当无人机剩余电量小于20%,无人机返回充电区;同时,服务器指派一架电量充足的无人机飞去指定区域继续监测。
步骤7:当待测目标终止运动,离开该户外环境。无人机返回充电区,准备下一次任务。
一种融合zed视觉的人体健康特征大数据智慧计算装置,包括:
人体健康特征数据库,包括人体自然体征数据库和人体极限运动数据库;
其中,所述人体自然体征数据库包括不同人的脸部图像和对应的身高,且所述脸部图像包括在不同光照强度下获得的各种正面图像、左脸图像以及右脸图像;
所述人体极限运动数据库包括人体健康特征数据库中每个人在不同极限运动的各种运动量情况下的健康数据,所述健康数据是指在运动过程中10s内采集的心率、血压和体温;
脸部图像视觉筛选模块,依据搭载在无人机上的zed相机获取的人体身高,筛选出待识别人体群并且获取对应的脸部图像数据块;
hadoop平台识别模块,采用上述方法基于hadoop平台对待识别人体脸部图像数据块进行待识别人体的快速识别;
追踪模块,依据hadoop平台识别模块的识别结果,使得无人机跟踪待识别人体,并与待识别人体的穿戴设备进行通信,获取待识别人体的健康数据传输至远程服务器;
健康测量模块,将获取的待识别人体的健康数据和对应的眼部、嘴部特征输入基于深度置信网络dbn的人体健康评估模型,采用上述的方法得到待识别人体的健康程度。
所述无人机包括飞行装置以及搭载在飞行装置上的电池模块、gps模块、无线通信模块、惯性装置、zed模块和补光模块。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。