一种非侵入式人体热舒适的AI感知方法与流程

本发明属于计算机视觉、机器学习和建筑物理领域，尤其涉及一种面向智能建筑或智能自动驾驶的非侵入式人体热舒适的检测方法。

背景技术：

根据年度统计报告，全球每年21%的能源消耗来自商用住宅和居民住宅，在一些城市化进程比较快的国家和地区，能源消耗以每年以32%的速度增长。在建筑能源消耗中，50%来自供热、通风和空调系统（hvac，以下统称中央空调系统）。如果能够实时的检测人体热舒适程度，有针对性的调节室内参量（温度、湿度、气流等），或进行局部供暖/供冷，则可以在满足个体热舒适需求的同时，达到建筑节能目的，服务于“以人为本”的智能建筑理念。

在这样的愿景下，建筑行业面临一个问题，即怎么测人体热舒适。迄今为止，所有的方法可以分为3大类，概述如下：

问卷调查法：主要是通过纸质或互联网问卷形式，了解建筑使用者的热偏好，以此作为环境调节的依据。利弊：能够很好的反应建筑使用者的心理状态，体现“以人为本”的思想，但需要用户的持续和频繁反馈，可操作性偏弱；此外，问卷调查法难以满足实时性要求。

环境监测法：通过传感器对室内的温度、湿度、空气流速等参量进行监测。利弊：具有较好的实用性，可以有效的通过室温、湿度等参量的监测，对室内环境进行调节，但缺少建筑使用者的参与，难以满足个体热舒适。

生理检测法：通过各种生理测量传感器，捕获人体的热舒适性，它涉及的参量有皮肤温度、脉搏等。生理检测法又分侵入式、半侵入式和非侵入式三种。利弊：该方法通过传感器直接捕获建筑使用者的生理参量，以评估个体热感觉，能较好的反应建筑使用者的热感觉。但侵入式和半侵入式测量法，需要在人体安装传感器。因此，侵入式和半侵入式的检测法可以满足实验室研究的需要，但实用性偏弱。非侵入式的生理检测法，可以远距离的感知用户的个体热感觉，不需要在人体安装传感器，加之计算机视觉技术（如视频放大技术）和机器学习（如深度学习）的发展，该方法将是“以人为本”智能建筑的发展方向。

鉴于上述方法各自的利弊，目前在国内外建筑行业，普遍采用“环境监测法”。有的建筑，基于环境监测法，提供固定的室内温度、湿度和气流；有的建筑会提供用户侧的调节阀或温控器，让用户根据自己的需要，进行调节。

固定参量（温度、湿度、气流等），该方法的实施，是依据国际标准化组织（iso:internationalorganizationforstandardization）和美国采暖、制冷与空调工程师学（ashrae:americansocietyofheating,refrigerationandair-conditioningengineers）对“热舒适环境”的定义，即“至少80％的建筑物居住者对热环境的温度范围满意”。根据此定义，至少有20%的用户被忽略了，而且也很难达到80%的人满意，并且在此过程中，用户的个体感受完全被忽略了。

比如，部分国家的住宅室温常年控制在25℃左右，以所监测室温数据为例，室温一直保持在24.1℃-25.7℃；而在中高纬度地区的室内空气质量标准规定冬季采暖室温为16℃-24℃，但实际操作时，有些区域会高出该范围很多，达到27℃甚至30℃。这种固定室温的冷热供给方式，没有将建筑使用者的个体差异性和时变性考虑在内。此外，研究显示，即便是微小的室温调节（比如1℃），对整个建筑的能耗影响也是很大的。而且，在人离开办公室之后，依然保持供暖，在一定程度上造成能源的浪费。

温度调控器，除了固定参量外，更多的建筑具有提供温度调节器。该方法也是目前国内空调行业的普通方法。用户根据自己的需要，调高或降低温度。该方法能够反应用户热舒适的感受，但是缺点明显。一方面，温控有较强的滞后性；另一方面，需要用户不断的介入，尤其在夜间休息时，无法操控。对于供暖系统而言，目前用户无法知道具体温度，只能依据经验切换档位。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的旨在提供一种非侵入式人体热舒适的ai感知方法，为中央空调系统（hvac）提供有效的反馈信号，从而实时或预测性地控制室内温度。在满足人体热舒适的同时，达到建筑节能的目标。本发明所涉及的技术，旨在与hvac相交互，可以应用于智能建筑，也可以应用于智能自动驾驶，以及其它涉及hvac的应用。

为了实现上述目的，本发明的技术解决方案为：一种非侵入式人体热舒适的ai感知方法，其特征在于包括：

数据采集和预处理，采用计算机视觉采集人体皮肤的图像数据，并数据处理后构建兴趣域图片和皮肤温度之间的地址映射表；

定义并提取皮肤敏感指数，引入不同人体对外部冷热刺激的皮肤敏感程度差异作为权重系数，参与网络训练；

构建非侵入式皮肤感知热舒适的深度学习网络并训练生成网络模型，利用纹理特征提取模块对地址映射表进行特征提取，利用ssi特征提取模块对皮肤敏感指数进行特征提取，利用特征融合与训练模块对两部分所提取的特征进行融合并进一步训练，保存并优选所得网络模型，继而进行皮肤温度预测。

优选的，上述非侵入式人体热舒适的ai感知方法中，所述预处理的方法包括：去除图片噪声并提取兴趣域图片，采集得到人体皮肤温度并做线性插值，而后建立兴趣域图片与人体皮肤温度之间的地址映射关系，形成地址映射表。

进一步优选的，上述非侵入式人体热舒适的ai感知方法中，提取兴趣域图片前还包括：利用图像的微变放大处理法对皮肤纹理中变化的部分放大，其余保持不变。

优选的，上述非侵入式人体热舒适的ai感知方法中，所述皮肤敏感指数的定义方法为：利用hsv颜色空间、提取皮肤颜色s通道并构建线性模型t=k×s+b,其中t是实时人体皮肤温度，s是饱和度，b为定义的静态体温，且定义k为反应皮肤温度变化快慢的皮肤敏感指数。

所述皮肤敏感指数的计算方法包括：对采集得到的图像数据分离为单帧图像，并分别区域分割得到数个兴趣域图片，继而对每个兴趣域图片提取皮肤颜色s通道，求均值得饱和度s，根据线性模型t=k×s+b求解每一位受试者最后取均值所得的皮肤敏感指数k。

进一步优选的，上述非侵入式人体热舒适的ai感知方法中，所述皮肤敏感指数k为一次性图像数据采集、计算所得的常量，或者随环境变化、时间延续若干次图像采集、计算所得的函数变量。

优选的，上述非侵入式人体热舒适的ai感知方法中，采集所得的图像数据包括训练集、测试集和验证集三个独立部分，其中训练集参与训练生成网络模型，验证集参与训练计算得到网络模型的误差、并校准搜索方向，测试集参与训练测试网络模型的有效性。

优选的，上述非侵入式人体热舒适的ai感知方法中，非侵入式皮肤感知热舒适的深度学习网络并训练生成网络模型，还包括比较验证，构建一个以上异构的学习网络并在相同图像数据和训练方式的基础上生成对比网络模型，或同类方法的现成对照模型，分别进行皮肤温度预测，并参照侵入式标准设备采集得到的皮肤温度实际值，计算绝对误差验证由非侵入式皮肤感知热舒适的深度学习网络所训练生成的网络模型的有效性。

更优选的，上述非侵入式人体热舒适的ai感知方法中，比较验证所异构的学习网络仅包括纹理特征提取模块与训练模块两部分。

更优选的，上述非侵入式人体热舒适的ai感知方法中，比较验证所异构的学习网络包括纹理特征提取模块、ssi特征提取模块与训练模块三部分，且ssi特征提取模块平移接入纹理特征提取模块中，在前端与兴趣域图片融合。

与现有技术相比，本发明具有突出的实质性特点和显著的进步性，表现为：

（1）、克服了人体热舒适检测中皮肤变化的微变性、个体间差异性和个体内时变性的三大挑战；

应用微变放大技术与人体热舒适检测相结合，对皮肤纹理的微弱变化进行放大，继而用于特征提取，提高了检测的精度。

提出高权重系数皮肤敏感指数（skinsensitivityindex,英文简写为ssi），以表征各个人体不同热舒适反应特点，在所构建的网络模型中，ssi作为独立参量参与网络训练，寻找皮肤温度的最佳值。

实时高帧率检测皮肤温度并基于分段平稳的思想，设定分段平稳信号的断点间隔，降低了计算的复杂度。

（2）、节约能源，通过实时检测人体的舒适程度，交互反馈信号并由hvac实时控制调节房间温度、湿度和气流，进行能源的优化，实现节能环保。

（3）、可操作性，利用非侵入式人体热舒适的检测方法，较之于现有的侵入式和半侵入式方式，摆脱了传感器的依附缠身，人体活动受限消除，具有较好的可操作性。

附图说明

图1为本发明非侵入式皮肤感知热舒适的深度学习网络的架构图。

图2为本发明比较验证时第一受试者的皮肤温度曲线比较示意图。

图3为本发明比较验证时第二受试者的皮肤温度曲线比较示意图。

图4为本发明比较验证时第三受试者的皮肤温度曲线比较示意图。

图5为本发明比较验证时第四受试者的皮肤温度曲线比较示意图。

图6为本发明比较验证时误差统计箱线比较示意图。

图7为本发明比较验证时误差分布比较示意图。

具体实施方式

考察了现有技术对人体热舒适检测手段的诸多不足和havc系统控制固定或人工参与等缺陷明显的应用体验。本发明人依托于计算机视觉和机器学习的发展，致力于为供暖和供冷系统增加“触觉和视觉”的能力，实时感知人体舒适程度，从而提供实时有效的反馈信号参与温度调节器自动运作。在海量数据的基础上，不断学习用户行为习惯，实现预测功能，从而做到提前调节，最大可能满足用户热舒适需求，最终实现真正意义上的以人为本。

为此，本发明开拓一个全新的而言分支，创新提出了一种非侵入式人体热舒适的ai感知方法，其技术实现的概述特征方案包括以下三部分步骤：

数据采集和预处理，采用计算机视觉采集人体皮肤的图像数据，并数据处理后构建兴趣域图片和皮肤温度之间的地址映射表；

定义并提取皮肤敏感指数，引入不同人体对外部冷热刺激的皮肤敏感程度差异作为权重系数，参与网络训练；

构建非侵入式皮肤感知热舒适的深度学习网络并训练生成网络模型，利用纹理特征提取模块对地址映射表进行特征提取，利用ssi特征提取模块对皮肤敏感指数进行特征提取，利用特征融合与训练模块对两部分所提取的特征进行融合并进一步训练，保存并优选所得网络模型，继而进行皮肤温度预测。

为更直观地理解该ai感知方法的具体实现，下面结合附图详述其具体实施。

一、数据采集和预处理

1.1、主观生理实验

主观生理实验的目的，是获取验证本发明所需要的原始数据。

实验环境与数据：共计采集图像数据（视频）144万帧，开展实验的环境中，干球室温22.2±0.2℃，相对湿度36.9±2.5%；采集实际皮肤温度的传感器误差为±0.125°c；参与实验的受试者平均年龄为23.9±3.9岁，平均体重为52.2±6.5kg，体重指数（bmi:bodymassindex）为19.9±2.2kg/m²。

主观实验步骤：1）实验准备：调控环境温度湿度，受试者到达后统一休息10分钟，准恒定水温的温水（45°c）；2）热刺激：受试者的手放在温水中浸泡10分钟；3）数据采集：利用普通视觉传感器，在工作台上对受试者手背进行数据采集，采集的内容包括视频和真实皮肤温度，其中视频的采集频率是24帧/秒。

1.2、数据预处理与地址映射表制作

本发明对所采集的视频数据，首先做去噪的预处理；其次提取兴趣域（roi），兴趣域主要集中在手背，尺寸为150×150；再者，对采集得到的皮肤温度做线性插值，达到每隔5秒一个皮肤温度值；最后，构建roi图片和皮肤温度之间的地址映射表，也称之为label。该label是后续网络训练的重要源头。

二、皮肤敏感指数（ssi）及其特征提取

2.1、ssi定义

ssi是一种热舒适指数，它能够反应人体在冷热情况下，皮肤温度变化的快慢。它的作用和意义在于，克服人体热舒适变化的个体差异性。基于ssi，可以对不同人的热舒适性进行识别，也可以对群组进行分类，当个体的有效特征纳入皮肤温度的求解时候，可以提升算法的预测精准度。首先阐述其定义如下：

当人体皮肤遇到热/冷刺激时，其血液的循环会发生相应的改变，继而在皮肤颜色和纹理上有所呈现。本发明了用hsv（hue,saturation,value）颜色空间，提取皮肤颜色s通道，并构建了一个线性的模型：t=k×s+b（1）。

其中，t是实际皮肤温度，s是饱和度，参量b其实是t=k×s+b所表示的直线在纵坐标上的截距，在本发明中将其定义为静态体温，k反应了皮肤温度变化的快慢。本发明中，将k定义为皮肤敏感指数（ssi：skinsensitivityindex）。ssi作为一个高权重的系数，反应了皮肤对于外部热刺激的敏感程度。

2.2、ssi计算

基于本发明做开展的主观生理实验，能够获得皮肤的实际温度，也能够捕获对应的视频数据。因此，本发明按照如下步骤求解ssi：（1）提取视频的每一帧；（2）区域分割获得roi；（3）从每张roi图片中，提取s通道，并求得s的均值；（4）基于公式（1）为每位受试者求解ssi，由于每位受试者有多张roi图片，因此可以对ssi取平均值。

关于ssi的采集，在实际应用过程中，可以集中性的对对房间内的用户进行数据采集，以求得每一个人的ssi，这样一次性的数据采集是值得的。本发明暂且将ssi定义为一个常量，而客观上，ssi极有可能是随环境变化、时间延续若干次图像采集、计算所得的函数变量。

三、微变放大处理

发明首次微变放大技术与热舒适检测相结合，实际上，皮肤纹理的变化是及其微弱的，且难以感知。为了放大这种微弱的变化，本发明中采用了微变放大技术。令c（x,t）表示随着时间变化的皮肤图片，以一维情况为例，假设变化函数为：

c（x,t）=f（x+h（t））（2），

其中，h（t）表示变化的部分，f作为函数表征c（x,t）和h（t）之间的关系。如果皮肤的图片被放大，本发明仅对变化的部分做放大处理，其余不变。基于这一思想，对式（2）做泰勒展开，得到：

c（x,t）=f（x+（1+ξ）*h（t））（3），

其中，ξ是微变放大系数，它在实际调试中，由网络训练而得。根据公式（3），只有变化的部分被放大了1+ξ倍，其余则保持不变；从而将不可见的部分变得可见，有利于后续提取特征。

四、nisdl网络训练与模型生成

为了实现良好的皮肤温度检测效果，本发明构建了一个深度学习网络（non-invasivemeasuringmethodofthermalcomfortbasedonskinsensitivityindexanddeeplearning，简称为nisdl）。如图1所示，该网络主要有三部分组成：纹理特征提取与训练模块，ssi特征提取模块、特征融合与训练模块。需要说明的是：深度学习是一类网络结构或方法的统称。针对不同的应用场景和需求，需要搭建不同的网络，并且根据具体的应用，调试出不同的网络参量。

4.1、三个模块的功能说明

1）纹理特征提取与训练模块：该模块主要完成对皮肤图片的特征提取。经过微变放大处理和roi提取的皮肤图片，其尺寸为150×150×3，150×150表示兴趣域的尺寸，3表示颜色空间的通道数。在该模块中，本发明实施例构建了一个200层的网络，前面的199层网络，用于提取特征，最后增加一个平均池化层用于数据处理。该199层网络，其输出形式是4×4×1920的三维矩阵，在平均池化层之后，本模块的输出是一个向量，维度是1×1920。需要说明的是，图3中的n表示一次导入的图片数量，当一个批次导入n张roi图片时，则本模块的输出为n×1920。

2）ssi特征提取模块：该模块主要有1个卷积层和1个平均池化层组成。ssi的数据组成一个1920×1的向量，经过卷积层和池化层的提炼之后，输出640×1的向量。需要说明的是，这里的640是在调试过程中根据预测精度设定，并非提前预设。同理，当导入的图片是n时则本模块的输出是n×640。

3）特征融合与训练模块：经过前述1）、2）两个模块的特征提取与训练之后，本模块进行特征融合和进一步的训练，主要由3个全连接层构成，针对前期的训练，完成特征的进一步提取和降维，最终输出n×1的向量。

4.2、网络训练与模型生成

在正式的网络训练中，本发明按图1所示作为一个整体网络进行处理，训练的相关说明详细阐述如下：

1）、微变放大处理过程中，微变放大系数为10，也就是公式（3）中的ξ=10；

2）、为了验证本发明所提出的ssi和网络架构，本发明共采集144万帧视频的图像数据，并将数据分为训练集、验证集和测试集；

3）、训练集共计108万帧，测试集36万帧，验证集500帧，三者相互独立；训练集的作用，是生成网络模型，验证集的作用，是在训练过程中计算出模型的误差，不断校准，为最优模型的选取，选择更优的搜索方向；测试集的作用，是测试训练所生成模型的有效性；

4）、训练过程中，鉴于计算机内存的限制，每批次导入32帧图片，即32帧/batch，为了达到更好的训练效果，参量epoch设置为8；

5）、训练过程中，每隔30000帧保存一次网络模型，并通过验证集检验其误差，校准网络训练方向；epoch=1，2，3，…，8时，分别保存一次网络模型；

6）、针对众多保存的网络模型，分别利用测试集，获得误差，最终选择最佳模型并保存。模型的名称形式为“*.h5”。

五、比较验证

图1是本发明所构建的nisdl网络，在此基础上，为了验证所提ssi和nisdl网络的有效性，做如下准备：

5.1、nisdl（去掉ssi）

ssi作为一个高权重的因子，影响整个网络训练的精度，需要用切实的数据来验证。本发明在图1基础上，直接剔除“ssi特征提取模块”，其它保持不变，包括网络训练的方式，数据等等，继而生成新的网络模型，得到新的皮肤温度预测值。这样做的目的，是比较有ssi和无ssi的预测差异。若“无ssi”的效果变差，说明所提出的ssi是有效的。

5.2、nisdl（ssi前置）

在完成“去ssi”的验证后，本发明将ssi平移至前端，也就是将“ssi特征提取模块”接入图1的‘*’处，在前端和roi图片融合，进入网络训练。这样做的作用，是验证，ssi放前面和放后面的差异，验证整个网络的鲁棒性。

5.3、结果比较

为了评估nisdl方法的有效性，采用绝对误差，公式为：error=|tp（i）–tr（i）|，i=1，2，3，…（4）。其中，tp（i）表示皮肤温度的预测值，tr（i）表示皮肤温度的实际值。参量i表示具体某一帧的roi图片。

从图2-图5中，反映了本发明所提方法的有效性。在图2中表示了皮肤温度的比较。“实际值”表示皮肤温度的真实值，本发明采用侵入式方法，在主观实验阶段获得实际值。“基准线”表示同类方法的现成对照模型所获得的皮肤温度树脂曲线。nisdl（去掉ssi）、nisdl（ssi在前）是本发明异构的对比网络模型，用于与本发明所需要保护的nisdl（ssi在后）网络架构比较。纵观图2-图5所示，可以看出本发明所得到的皮肤温度数值曲线，更加贴近实际值。

如图6所示的误差箱线图，从该箱线图，可以看出从左到右，平均误差分别为0.5793，0.3594，0.3351和0.2647，误差中位值分别为0.3430，0.3085，0.2381和0.2282，单位均为℃。显然，本发明的该nisdl（ssi在后）网络架构，比“基准线”和另外两个nisdl的异构模型性能优越。

如图7所示的误差分布情况，横坐标表示几个误差区间，纵坐标表示该误差区间，绝对误差的比例。从图6可以看出，在nisdl的基础上，去掉ssi之后，网络的预测误差大幅度降低，[0，0.25）误差区间的比例变成37.6404%；而不论ssi在前，还是ssi在后，[0，0.25）之间的误差比例分别为52.2472%和55.6180%，且误差大多分布在[0，0.25）和[0.25，0.5）两个区间内，且在[0.5，0.75）及后面的区间内，分布的比例下降特别快。图7所示说明“ssi在后”的网络要比“ssi在前”的网络好。综上所述，本发明所提的nisdl网络架构性能卓著，优于同类方法和异构模型。

综上实施例结合图示的详细描述可知，应用本发明该非侵入式人体热舒适的ai安之方法，具有突出的实质性特点和显著的进步性，具体表现为以下三个突出的方面：

（1）、重点克服了人体热舒适检测中皮肤变化的微变性、个体间差异性和个体内时变性的三大挑战：即应用微变放大技术与人体热舒适检测相结合，对皮肤纹理的微弱变化进行放大，继而用于特征提取，提高了检测的精度。提出高权重系数皮肤敏感指数（英文简写为ssi），以表征各个人体不同热舒适反应特点，在所构建的网络模型中，ssi作为独立参量参与网络训练，寻找皮肤温度的最佳值。实时高帧率检测皮肤温度并基于分段平稳的思想，设定分段平稳信号的断点间隔，降低了计算的复杂度。

（2）、节约能源，通过实时检测人体的舒适程度，交互反馈信号并由hvac实时控制调节房间温度、湿度和气流，进行能源的优化，实现节能环保。

（3）、可操作性，利用非侵入式人体热舒适的检测方法，较之于现有的侵入式和半侵入式方式，摆脱了传感器的依附缠身，人体活动受限消除，具有较好的可操作性。

以上详细描述了本发明的优选实施方式，但是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内进行修改或者等同变换，均应包含在本发明的保护范围之内。