一种实时检测生理的眼镜装置及方法与流程

本发明涉及图像识别领域，特别是涉及一种实时检测生理的眼镜装置及方法。

背景技术：

在现代社会中，极端主义分子在日常生活中对无辜百姓的迫害、对人民群众带来的心理压力以及对社会造成的恶劣影响仍然不能够小觑，而且部分抱着消极心理的极端主义分子更是可能会造成人员伤亡的情况发生。所以能够在极端分子行动前进行辨识是十分必要的。但是目前辨识人员的心理或者生理压力往往是通过接触式的仪器进行辨识。如果在人群密集的环境进行排查，其一，会造成人员恐慌；其二，排查过程中给了极端分子心理准备的时间；其三，排查过程中人员可能更为集中，方便极端分子行动；其四，排查过程消耗的时间、人力和资源较多。因此一种非接触式，较为隐蔽的生理或心理检测方式是十分必要的。

由于人体皮肤是半透明的，因此光线会透射到皮肤下面的动脉血管层，动脉血管中的血红蛋白会吸收部分透射光，剩余光线会在动脉血管层形成反射光；随着人体心脏跳动的收缩和舒张，动脉血管的血红蛋白密度跟随心脏跳动而波动，当心脏收缩时，动脉血管中的血红蛋白密度变高，会吸收更多的透射光，使得反射光的强度变弱，反之，当心脏舒张时，动脉血管中的血红蛋白密度变低，会吸收更少的透射光，使得反射光的强度变强，因此通过对反射光变化的分析能够得到心率等生理指标。

技术实现要素：

本发明的目的是解决现有技术的不足，提供一种实时检测生理的眼镜装置及方法，结构简单，使用方便。

一种实时检测生理的眼镜装置，包括镜架、视频获取装置、人脸采集装置、血谱分析装置、无线通讯装置以及显示装置；所述视频获取装置、人脸采集装置以及显示装置设置于镜架；血谱生理分析装置设置于后台的处理器中；视频获取装置与人脸采集装置以及显示装置电性连接；血谱生理分析装置与人脸采集装置以及显示装置之间设置无线通讯装置；视频获取装置包括摄像机，摄像机设置于镜架的侧面。

一种基于上述装置的实时检测生理的方法，其特征在于，包括如下步骤：

步骤1：视频获取装置获取非压缩视频流，传输到人脸采集装置；视频获取装置获取编码视频流传输到显示装置；

步骤2：人脸检测装置接收非压缩视频流，进行初步处理得到人脸血谱信息，将设定时长的人脸血谱信息打包，通过无线传输发送到血谱生理分析装置；

步骤3：血谱生理分析装置接收人脸血谱信息压缩包，解压获得人脸血谱信息，并进行生理指标分析，获得生理指标分析结果，将生理指标分析结果通过无线传输，传输到显示装置；

步骤4：显示装置接收编码视频流以及生理指标分析结果并进行实时显示，返回步骤1。

进一步的，所述步骤1中视频获取装置获取非压缩视频流以及编码视频流的步骤包括：

步骤1.1：光学传感器捕捉输入镜头的光线，将光学信号转换为电信号传输给图像处理装置；

步骤1.2：图像处理装置接收电信号，将电信号转换为帧图像，并将帧图像按照时序进行编排，获得设定帧率的实时非压缩视频流，将非压缩视频流传输给人脸采集装置以及编码器；

步骤1.3：编码器接收非压缩视频流，进行h.264或h.265编码，获得编码视频流，将编码视频流传输给显示装置。

进一步的，所述步骤2中，人脸检测装置进行初步处理的步骤包括：

步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；

步骤2.2：根据人脸特征点的分布定位人脸区块；

步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；

步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；

步骤2.5：将打包后的人脸血谱信息传输至血谱分析装置。

进一步的，所述步骤2.4中，人脸血谱信息的打包包括如下步骤：

步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，ri,gi,bi)}，其中1≤i≤s*v，s表示设定的打包人脸血谱信息的时长，v表示视频每秒包含的帧图像数量，r、g、b表示人脸区块的rgb信息；

步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,r1,g1,b1),…,(k1,s*v,rs*v,gs*v,bs*v)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；

步骤2.43：分别得到k2、…kj区块的序列；其中j表示该帧图像中人脸特征点的个数；

步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号；

步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1帧的时间戳表示该s时长范围内的第1帧图像的时间戳。

进一步的，所述步骤3中，生理指标分析包括心率、呼吸、血压的分析；

血谱分析装置的分析过程包括如下步骤：

步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；

步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定；

步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：

步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；

步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；

步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱；

步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线；

步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；

步骤3.5：将步骤3.4获得的生理指标分析结果发送给显示装置。

进一步的，所述生理指标包括心率、呼吸、血压指标；生理指标在一个坐标系中展示或者一项生理指标对应一个坐标系进行展示。

本发明的有益效果在于：

采用本发明能够在被观察人员无生理感知的情况下得知被观察人员的生理波动情况，能够及时对存在危险的被观察人员进行处理；

本发明是设置显示装置，能够将编码视频流、生理指标分析结果进行实时显示，便于直观地观察被观察人员的生理波动情况。

附图说明

图1为本发明的外观设计图；

图2为本发明的流程图；

图3为本发明的人脸检测装置流程框图；

图4为本发明的血谱分析装置流程框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

如图1所示，一种实时检测生理的眼镜装置，包括镜架、视频获取装置、人脸采集装置、血谱分析装置、无线通讯装置以及显示装置。

所述视频获取装置、人脸采集装置以及显示装置设置于镜架。血谱生理分析装置设置于后台的处理器中。视频获取装置与人脸采集装置以及显示装置电性连接；血谱生理分析装置与人脸采集装置以及显示装置之间设置无线通讯装置。

所述视频获取装置设置于镜架。视频获取装置包括摄像机，所述摄像机可以为一个或两个，摄像机设置于镜架的侧面。摄像机采集的实时视频的帧率能够根据需求进行调节，在本实施例中为每秒30帧。摄像机包括镜头、光学传感器、图像处理装置以及编码器。摄像机还包括红外装置，能够根据设定选择红外或非红外模式。所述红外装置包括红外补光灯以及红外滤波片。所述红外补光灯能够发出设定红外波长的红外光线，在本实施例中为940nm。所述红外滤波片能够滤除非目标频段的红外光。

如图2所示，一种实时检测生理的方法，包括如下步骤：

步骤1：视频获取装置获取非压缩视频流，传输到人脸采集装置；视频获取装置获取编码视频流传输到显示装置；

步骤2：人脸检测装置接收非压缩视频流，进行初步处理得到人脸血谱信息，将设定时长的人脸血谱信息打包，通过无线传输发送到血谱生理分析装置；

步骤3：血谱生理分析装置接收人脸血谱信息压缩包，解压获得人脸血谱信息，并进行生理指标分析，获得生理指标分析结果，将生理指标分析结果通过无线传输，传输到显示装置；

步骤4：显示装置接收编码视频流以及生理指标分析结果并进行实时显示，返回步骤1。

在步骤1中，所述视频获取装置负责采集实时视频，实时视频中需要有被观察人员的人脸信息。视频获取装置获取非压缩视频流以及编码视频流的步骤包括：

步骤1.1：光学传感器捕捉输入镜头的光线，将光学信号转换为电信号传输给图像处理装置；其中如果视频获取装置采用红外模式，则光线会先经过红外滤波片，只有设定波长的光线能够传输到光学传感器；

步骤1.2：图像处理装置接收电信号，将电信号转换为帧图像，并将帧图像按照时序进行编排，获得设定帧率的实时非压缩视频流，将非压缩视频流传输给人脸采集装置以及编码器；

步骤1.3：编码器接收非压缩视频流，进行h.264或h.265编码，获得编码视频流，将编码视频流传输给显示装置。

如图3所示，在步骤2中，所述人脸检测装置进行初步处理的步骤包括：

步骤2.1：根据时间顺序选择一帧图像，对图像进行人脸跟踪检测，得到人脸特征点；

步骤2.2：根据人脸特征点的分布定位人脸区块；

步骤2.3：提取各个人脸区块的区块信息，得到该帧图像的人脸血谱信息；

步骤2.4：对其余每一帧图像进行步骤2.1～2.3的处理，得到一段时间的人脸血谱信息并进行打包；

步骤2.5：将打包后的人脸血谱信息通过无线传输，传输至血谱分析装置。

在步骤2.1中，所述人脸跟踪检测为对图像中的人脸进行检测、跟踪，获得图像中的人脸转动角度以及人脸检测框。在步骤2.2中，所述人脸特征点包括嘴唇、鼻子、眼眶、眉毛、额头、人脸轮廓。获得人脸特征点j个，j≥1，根据人脸特征点在人脸检测框中的坐标值来划分人脸区块。在步骤2.3中，区块信息包括人脸区块的rgb或灰度值信息，不同的生理指标对应不同区块的区块信息，其中对于彩色图像，提取人脸区块的rgb信息；对于黑白图像，提取人脸图像的灰度值信息，并且r＝g＝b＝灰度值。在本实施例中，为了提升准确度，对于待检测的生理指标可以同时采集多个相关的区块信息。在步骤2.4中，进行打包的人脸血谱信息的时间范围能够根据设定进行调节。设定每s秒打包一次，视频每秒包含v帧图像，根据每帧图像中人脸特征点的个数，将图像划分为j个人脸区块，对人脸区块进行编号，分别标记为k1、k2、…kj。在步骤2.5中所述无线传输包括4g传输、5g传输以及wifi传输。人脸血谱信息的打包包括如下步骤：

步骤2.41：获取每一帧每一个特定区块的平均值序列，{(区块编号，帧序号i，ri,gi,bi)}，1≤i≤s*v；

步骤2.42：将步骤1.41中获得的特定区块的平均值序列根据区块编号进行排序得到帧图像序列，{(k1,1,r1,g1,b1),…,(k1,s*v,rs*v,gs*v,bs*v)}；将s*v个帧图像序列按时间排序的得到k1区块的序列；

步骤2.43：分别得到k2、…kj区块的序列；

步骤2.44：获取人脸编号以及第一帧图像的时间戳；所述人脸编号为图像采集装置采集的人脸数据的编号，比如第1份s秒时长人脸视频的人脸编号为1；

步骤2.45：根据{人脸编号，第1帧的时间戳，打包帧数，k1区块序列，k2区块序列…kj区块序列}的顺序，对s秒时长的人脸血谱信息进行打包；所述第1帧的时间戳表示该s时长范围内的第1帧图像的时间戳。

如图4所示，在步骤3中，所述血谱分析装置从人脸采集装置接收打包的人脸血谱信息，对人脸血谱信息进行生理指标分析，所述生理指标分析包括心率、呼吸、血压的分析。所述血谱分析装置的分析过程包括如下步骤：

步骤3.1：接收人脸血谱信息压缩包，并解压得到人脸血谱信息；

步骤3.2：对特定区块分别按照时序组合人脸血谱信息；其中组合人脸血谱信息为根据生理指标的分析要求将一个及以上的人脸血谱信息压缩包的内容按时间顺序拼接组成设定时长的人脸血谱信息；所述特定区块根据检测目标进行确定，比如心率检测对应区块k1、k4；

步骤3.3：进行生理指标分析，所述生理指标分析包括如下步骤：

步骤3.31：将步骤3.2中获得的设定时长的人脸血谱信息进行小波函数滤波处理；目的是过滤掉非目标频段的信息，以心率的分析为例，进行小波函数滤波能够过滤掉非心率频段的信息；

步骤3.32：将滤波后的人脸血谱信息按照设定的时间长度进行切片；

步骤3.33：对每一块切片后的人脸血谱信息进行傅里叶变换得到与切片对应的目标频谱，比如心率频谱；

步骤3.34：将每一块目标频谱求平均值，并按照时间顺序进行排序得到目标变动曲线，比如心率变动曲线；

步骤3.4：从特定区块的目标变动曲线中挑选信号质量最好的作为最终的生理指标分析结果；

步骤3.5：将步骤3.4获得的生理指标分析结果发送至显示装置。

其中，在步骤3.32中切片后的人脸血谱信息可以重叠或部分重叠。在步骤3.4中，根据信噪比来判断特定区块的信号质量，信噪比越高，则认为信号质量越好。在步骤3.3实施过程中，以k1区块rgb信息中g信号的心率分析为例，设定按照每秒30帧采样，采样时长为60秒，得到1800个采样数据，采样数据构成采样集{g1,…,gi,….g1800}；将这1800个采样数据送入小波变换滤波器，得到频率范围在0.67-2.33hz频率信息段的x个数据，其中x≤1800，而0.67-2.33hz为正常情况下人体的心率范围；采用150个采样点的离散傅里叶变换公式，以150个点作为切片长度；计算每个采样点的平均心率，以第5秒的心率为例：第5秒的采样点是第150号，选取前后各75个采样点，即第76号采样点～225号采样点形成150个采样数据，输入离散傅里叶变换公式得到150个{频率点，幅度}数据；从150个{频率点，幅度}数据中选择幅度最大采样数据，将该采样数据中的频率点*60作为第5秒的平均心率；将每个采样点的平均心率按照时间顺序构成心率变动曲线。

在步骤4中，显示装置接收视频获取装置获取的编码视频流，接收血谱分析装置获得的生理指标分析结果，并进行实时显示。其中显示装置可以为投影式。生理指标包括心率、呼吸、血压；显示器上实时展示生理指标的过程中，各项生理指标在一个坐标系中展示或者一项生理指标对应一个坐标系进行展示。

以上所述，只是本发明的具体实施例，并非对本发明做出任何形式上的限制，在不脱离本发明的技术方案基础上，所做出的简单修改、等同变化或修饰，均落入本发明的保护范围。