一种近红外浅层皮下组织成像装置及认知负荷分析方法与流程

本发明涉及浅层皮下组织红外成像和图像分析领域，特别是对近红外成像从而进行对认知负荷以及情绪的分析。

背景技术：

现有的近红外皮下组织红外成像多用于浅层血管成像。在专利：一种基于近红外光谱技术的静脉动态特性分析装置及其分析方法中，作者通过透射光对于静脉血管进行分析；在专利：一种流动血液成像装置中，作则通过发射不同波段的近红外光来对流动血液成像，进而改善心血管图成像的清晰度。但该类方案并没有对红外成像与认知负荷和情绪进行进一步的分析。

同时也有一些对于认知负荷以及情绪识别相关的技术中应用到了近红外成像。在专利：一种情绪调控的训练方法、装置、设备以及系统中，作者在改系统中使用了近红外成像，但主要用于获取受训者的血氧数据；在专利：情绪识别装置及方法、头戴式显示设备、存储介质中，作者使用近红外成像来获取人体的热量。该类方案并没有针对近红外成像进行系统的分析。

现有的浅层皮下组织红外成像技术在认知负荷以及情绪识别中存在以下问题：

1、缺少对浅层皮下组织红外成像的具体分析；

2、对红外成像的信息利用比较少，多数仅利用了一种信息(比如血流速度、温度)。

技术实现要素：

针对上述问题，本发明提出一种认知负荷分析方法，包括：模型构建步骤，获取用户的身体参数，以及该用户对应的认知负荷状态；以该身体参数及该认知负荷状态训练机器学习模型，获得认知负荷模型；模型分析步骤，根据该用户当前的身体参数，通过该认知负荷模型，获取该用户当前的认知负荷状态。

本发明所述的认知负荷分析方法，其中该身体参数为该用户身体部位处的皮下组织的血管直径；该身体参数包括该用户第一身体部位处的第一血管直径w1和该用户第二身体部位处的第二血管直径w2；

该模型构建步骤包括：获取该第一身体部位处的第一近红外图像，对该第一近红外图像进行高斯滤波、图像降噪和同态滤波，通过六角锥体模型提取该第一近红外图像的色调通道数据并进行图像分割，获得第一血管图像，根据定向局部对比度检测血管边界，得到第一血管直径w1；获取该第二身体部位处的第二近红外图像，对该第二近红外图像进行高斯滤波、图像降噪和同态滤波，通过六角锥体模型提取该第二近红外图像的色调通道数据并进行图像分割，获得第二血管图像，根据定向局部对比度检测血管边界，得到第二血管直径w2；以t0时刻的第一血管直径和t0+δt时刻的第一血管直径获得第一身体部位的第一血管直径差以t0时刻的第二血管直径和t0+δt时刻的第二血管直径获得第二身体部位的第二血管直径差以t0时刻的第一血管直径和第二血管直径获得该用户的身体部位血管直径差对δw1、δw2和δw进行特征提取，以构建为训练数据集，以该数据集对机器学习模型进行训练，以获得该认知负荷模型；其中，δt为测量时间间隔。

本发明所述的认知负荷分析方法，其中以近红外浅层皮下组织成像装置测量该第一身体部位处的第一近红外图像和该第二身体部位处的第二近红外图像，其中该第一身体部位为太阳穴，该第二身体部位为鼻部。

本发明所述的认知负荷分析方法，其中该认知负荷模型的输出为该用户的认知负荷状态，该认知负荷状态为：低负荷或中负荷或高负荷。

本发明还提出一种近红外浅层皮下组织成像装置，包括：镜架；第一近红外传感器，设置于该镜架的对应人体太阳穴的位置，用于采集用户太阳穴处的近红外图像；第二近红外传感器，设置于该镜架的对应人体鼻部的位置，用于采集该用户鼻部的近红外图像；数据传输模块，用于将该第一近红外传感器采集的近红外图像和该第二近红外传感器采集的近红外图像传输至数据处理系统的处理器；该数据传输模块通过数据线进行数据传输。

本发明还提出一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于执行如前所述的认知负荷分析方法。

本发明还提出一种数据处理系统，包括：如前所述的近红外浅层皮下组织成像装置；如前所述的计算机可读存储介质；处理器，该处理器调取并执行该计算机可读存储介质中的计算机可执行指令，对该近红外浅层皮下组织成像装置获取的近红外图像进行针对用户的认知负荷分析。

附图说明

图1是本发明的近红外浅层皮下组织成像装置结构示意图。

图2是本发明的认知负荷分析方法流程图图。

图3是本发明的数据处理系统示意图。

具体实施方式

在研究时，发明人发现近红外可以提取浅层皮下组织信息(包括并不限于血流速度、血管宽度、血压、血氧)，在血液流动加快以及血管扩张的情况下，同时血管局部组织的温度会有一定程度的升高，同时，人在处于不同认知负荷状态以及不同的情绪下，部分部位(包括并不限于额头、鼻尖、鼻梁、太阳穴)的浅层皮下组织会呈现不同的状态。

因此本发明提出通过近红外成像来对浅层皮下组织进行分析，进而对认知负荷进行分析。

本发明的目的是解决现有技术中存在的获取情绪以及认知负荷时装备的入侵性，提出了一种以及通过近红外浅层皮下组织成像装置以及认知负荷分析方法。

本发明的关键点包括：

1、使用具有相对体积小、可扩展、便携可移动等特点红外成像模组作为信号输入源；

2、提供对于浅层皮下组织信息(包括并不限于血流速度以及血管扩张程度)的分析；

3、全新的红外信息分析角度：分析用户的认知负荷；

4、提供由红外成像信号到认知负荷的转换。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明提出的一种红外浅层皮下组织成像装置以及认知负荷分析方法进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

图1是本发明的近红外浅层皮下组织成像装置结构示意图。如图1所示，本发明的近红外浅层皮下组织成像装置采用智能眼镜结构，包括：镜架1、第一近红外传感器2-1、第二近红外传感器2-2，以及数据传输模块3，其中，第一近红外传感器2-1设置于镜架1的对应人体头部太阳穴的位置，以采集用户太阳穴处皮下组织的近红外图像，第二近红外传感器2-2设置于镜架1的对应人体鼻部的位置，以采集用户鼻部处皮下组织的近红外图像，通过在眼镜的不同部位放置近红外成像传感器，可以收集鼻部、太阳穴周边等佩戴者面部的近红外图像信息；数据传输模块3用于将第一近红外传感器2-1和第二近红外传感器2-2采集的近红外图像传输至数据处理系统的处理器，于本实施例中，数据传输模块3采用数据线进行有线模式的数据传输，也可以采用例如蓝牙、wifi等进行基于无线协议的无线传输，本发明并不以此为限。

本发明通过对近红外浅层皮下组织成像装置所采集到的近红外图像进行处理，可以对皮下血管进行成像。通过分析血管图像，得到血管宽度、血压、血氧等血液特征。基于不同部位的血管与血液参数，提取学习特征。将提取的特征输入到机器学习(如随机森林)或神经网络模型中，模型输出即为佩戴着当前的认知负荷和情绪状态。此模型通过预先收集数据进行训练得到。

图2是本发明的认知负荷分析方法流程图图。如图2所示，基于血管宽度的认知负荷识别方法的一个实施案例为：

步骤s1，通过近红外浅层皮下组织成像装置分别采集得到当前时刻t0时太阳穴部位和鼻部部位浅层皮下组织的近红外图像；

步骤s2，通过近红外图像获得太阳穴部位和鼻部部位浅层皮下组织的血管直径w1，w2；对太阳穴部位的近红外图像进行高斯滤波，降噪；对所得图像进行同态滤波，过滤光线干扰；将处理后的图像转换至hsv(hue,saturation,value，也称六角锥体模型)空间，提取h通道参数；基于knn聚类算法进行图片分割，得到太阳穴部位的血管图像；对鼻部部位的近红外图像做同样处理；

步骤s3，基于定向局部对比度检测血管边界；基于左右边界像素空间坐标信息，可直接计算得到太阳穴部位的特定血管直径以同样方式得到鼻部部位的特定血管直径

通过以上方式获得t0+δt时刻太阳穴部位的特定血管直径和鼻部部位的特定血管直径δt为相邻图像帧时间间隔；

步骤s4，提取机器学习特征；

对等数据进行特征提取，获得太阳穴部位的特定血管直径差鼻部部位的特定血管直径差以及t0时刻的两处部位血管直径差

步骤s5，通过用户实验，收集被试数据δw1、δw2、δw，以训练基于支持向量机的机器学习模型。模型输入为步骤s4中的机器学习特征，模型输出为当前认知负荷大小(如低负荷、中负荷、高负荷)

步骤s6，基于此模型实时识别用户当前认知负荷；也可以针对用户进行情绪识别，需在步骤s5中将机器学习模型输出调整为情绪类型(如平静、高兴、悲伤)，为提升识别精度，可加入血压、血氧等其他相关血液参数。

本发明的主要技术创新点在于，基于与眼镜集成的近红外浅层皮下组织成像装置，对比多个头部部位的血管血液参数以得到当前认知负荷或情绪。这是因为在当用户处在不同认知负荷或情绪时，血液在头部的流动将发生变化。例如，高认知负荷时，血液将更多的从鼻部流向额部。

图3是本发明的数据处理系统示意图。如图3所示，本发明实施例还提供一种数据处理系统，包括前述的近红外浅层皮下组织成像装置、计算机可读存储介质及处理器。本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令被数据处理系统的处理器执行时，通过对近红外浅层皮下组织成像装置采集到的近红外图像进行处理，以实现对用户的认知负荷分析。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器、fpga、asic等)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。

相对于现有技术，本发明提供一种新的非入侵技术来对情绪、认知负荷多种心理信号进行分析，利用可扩展模组搭建识别系统，增强了系统的移动性、实用性，并且实现了血管成像、血流分析、情绪专注度识别等多种关键功能。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。