一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台的制作方法

本发明属于人机交互领域，涉及一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台。

背景技术

使用化妆品是现代女性生活中不可分割的一部分，化妆品在美化女性面容的同时也使一些健康问题被掩盖。现代社会快节奏的生活方式，长期的使用电子产品，睡眠时间的减少以及无规律的饮食——极易导致现代女性在健康方面出现问题，这些问题在初期有可能不属于病态的，而是属于亚健康状态。

根据《亚健康中医临床指南》：亚健康是指人体处于健康和疾病之间的状态。处于亚健康状态者，不能达到健康标准，表现为一定时间内的活力下降，记忆力减退，注意力不集中，思维缓慢，环境适应能力减退等症状。而女性长期处于亚健康状态，会导致内分泌紊乱，睡眠质量下降，情绪易于波动，脱发，体重发生变化等情况。

中医理论是中华民族的文化瑰宝，同时有别于西医针对病理问题的思维方式——中医讲求通过天人合一的整体理念来调节人体的阴阳五行平衡状态。而在中医的望闻问切中，望诊和切诊是当代中医重要的判断患者病情的方式。运用视觉观察患者的形体、面色、舌苔和舌体，根据形色变化确定病位、病性，成为望诊。脉诊又称切诊，是通过按触人体不同部位的脉搏以体察脉象变化方法。

现代女性大量的使用化妆品会将女性面部肌肤的许多问题掩盖掉，比如：眼部的分泌物，肌肤的色泽，眼睑的水肿等特征。而中医中的望诊正是通过这些特征来判断患者病情的。所以，当代女性的生活方式为中医给女性诊断带来一定阻力。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，实现现代女性爱美需求与现代中医理疗的平衡点：1，针对用户：利用每天卸妆后和化妆前的时段，通过静态面部信息采集模块和脉搏信息采集模块对自身的健康状态进行监控——不仅能够方便女性的日常生活，而且还有助于采集到用户的真实生理特征；2，通过采集到用户的真实面部细节生理特征——可以使用具有中医望诊专家知识库的计算机视觉系统对用户的健康状态进行精准评估；3，通过采集到用户的脉搏特征——可以使用具有中医脉诊专家知识库的递归神经网络系统对用户的健康状态进行精准评估；4，针对长期处于亚健康状态的用户——利用每天化妆时间养成对面部数据和脉搏数据采集的习惯，可以建立用户个体专用数据库，以此训练深度学习模型进行改进；5，将面部信息经过望诊提取的特征与脉搏信息通过脉诊提取的特征通过wide&deep算法进行特征信息融合实现在特征级别的多源异构数据的融合学习，以此从多维信息来准确定位用户的亚健康病位和病性。

为达到上述目的，本发明提供如下技术方案：

一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，包括多维传感器信号采集单元、信息融合单元、信号控制与处理单元；

多维传感器信号采集单元包括智能手环脉搏传感器单元和用户面部信息采集单元，智能手环脉搏传感器单元用于动态采集用户脉搏信息，用户面部信息采集单元用于采集用户面部图像和舌苔图像；智能手环脉搏传感器单元包括红外传感器和数模信号转换模块；用户面部信息采集单元包括数字摄像头和视频信息存储设备；

信息融合单元通过wide&deep算法进行时域信息融合：使用lstm算法对脉搏信号进行特征提取作为wide部分，再使用fast-rcnn算法对用户面部信息进行特征提取作为deep部分，最后利用协同滤波对脉搏特征和面部特征进行综合特征提取；

信号控制与处理单元包括健康检测专家系统和健康提示app，将采集的用户脉搏信息和用户面部信息通过高速总线传输到gpu处理器，将特征提取和健康状态评定在gpu处理器中进行，健康检测专家系统根据中医的望诊和脉诊作为先验知识对提取的用户面部特征和脉搏特征进行健康综合评估，再通过高速总线回传到用户手机的app上，健康提示app根据用户的健康综合评估给出作息、饮食和运动建议并推送给用户。

进一步，所述梳妆台还包括语音识别助手系统，用于在用户化妆的过程中通过语言问答对用户健康状态主观感受进行信息采集。

进一步，所述梳妆台通过前期在大量女性非用户本人脉搏数据的训练集上对基于rnn的lstm算法进行参数和网络结构优化，再将用户信息输入到改进型基于rnn的lstm算法，通过用户初期数据的自适应学习，掌握用户的在中医上的脉象特征；通过前期在大量女性非用户本人面部图像和舌苔图像的训练上对fast-rcnn算法进行参数和网络结构优化，再将用户信息输入到改进型fast-rcnn算法，通过用户初期数据的自适应学习，掌握用户的在中医上的望诊的面象和舌象特征；

对提取的用户脉象特征，面象特征和舌象特征使用wide&deep算法进行综合特征提取，即将基于改进型fast-rcnn算法提取的脉象特征进行线性编码并作为wide&deep算法的widemodel，再将基于改进型基于rnn的lstm算法提取的面象和舌象特征作为wide&deep算法的deepmodel。

进一步，所述用户面部信息的采集与提取具体包括以下步骤：

s11：对用户的面部、五官设置若干关键点进行标注；

s12：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，进行一次面部细节数据采集；

s13：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；

s14：利用已经建立的用户素颜面部特征数据集作为训练集对fast-rcnn算法进行参数和网络架构优化；

s15：使用训练过的fast-rcnn算法对用户本人采集的面部细节数据进行自动补光的定向特征提取；

s16：使用用户本人的面部细节定向特征存入健康检测专家系统中，即根据专家系统对望诊中对眼睛、耳朵、舌体和舌苔的先验知识给出对用户的望诊诊断评估。

进一步，所述用户脉搏信息的采集与提取具体包括以下步骤：

s21：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，利用智能手环进行一次配合面部细节数据采集的脉搏数据采集；

s22：晚上入睡前，通过app点击进行一次全睡眠状态下脉搏数据采集；

s23：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；

s24：利用已经建立的用户清醒状态和睡眠状态下的特征数据集作为训练集对基于rnn的lstm算法进行参数和网络架构优化；

s25：使用训练过的lstm算法对用户本人采集的脉搏数据进行特征提取；

s26：使用用户本人的脉搏数据特征存入健康检测专家系统中，即根据专家系统对脉诊中脉搏的频率、振幅、力度和周期性变化规律的先验知识给出对用户的脉诊诊断评估。

进一步，所述信息融合单元进行时域信息融合具体包括以下步骤：

s31：使用one-hote编码将用户本人的脉搏数据特征进行逻辑回归；

s32：通过model-based协同过滤，即用一组隐含因子来联系用户本人的脉诊特征和用户本人的望诊特征，以此综合判断用户的健康状况；

s33：根据语音识别助手系统采集到的用户的健康信息形成用户本人专用数据库先验知识；

s34：根据综合健康状况，用户本人专用数据库先验知识和健康监测系统的专家库，在手机app上给出用户在饮食，作息，心理和运动等方面的建议。

本发明的有益效果在于：

1、能够兼顾当代女性在化妆方面的生活习惯与中医诊断的数据采集准确性；

2、能够比传统方案更好适应用户本人在面诊和脉诊的个体差异性；

3、可以通过长期的健康数据采集，及早发现用户的亚健康问题，并给出预警；

4、通过系统自带专家库，给出用户定制亚健康状态中医调理方案。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的算法整体原理图；

图2为本发明的流程图；

图3为本发明的系统硬件图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1-图3所示，一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，包括多维传感器信号采集单元、信息融合单元、信号控制与处理单元；

多维传感器信号采集单元包括智能手环脉搏传感器单元和用户面部信息采集单元，智能手环脉搏传感器单元用于动态采集用户脉搏信息，用户面部信息采集单元用于采集用户面部图像和舌苔图像；智能手环脉搏传感器单元包括红外传感器和数模信号转换模块；用户面部信息采集单元包括数字摄像头和视频信息存储设备；

信息融合单元通过wide&deep算法进行时域信息融合：使用lstm算法对脉搏信号进行特征提取作为wide部分，再使用fast-rcnn算法对用户面部信息进行特征提取作为deep部分，最后利用协同滤波对脉搏特征和面部特征进行综合特征提取；

信号控制与处理单元包括健康检测专家系统和健康提示app，将采集的用户脉搏信息和用户面部信息通过高速总线传输到gpu处理器，将特征提取和健康状态评定在gpu处理器中进行，健康检测专家系统根据中医的望诊和脉诊作为先验知识对提取的用户面部特征和脉搏特征进行健康综合评估，再通过高速总线回传到用户手机的app上，健康提示app根据用户的健康综合评估给出作息、饮食和运动建议并推送给用户。

梳妆台还包括语音识别助手系统，用于在用户化妆的过程中通过语言问答对用户健康状态主观感受进行信息采集。

梳妆台通过前期在大量女性非用户本人脉搏数据的训练集上对基于rnn的lstm算法进行参数和网络结构优化，再将用户信息输入到改进型基于rnn的lstm算法，通过用户初期数据的自适应学习，掌握用户的在中医上的脉象特征；通过前期在大量女性非用户本人面部图像和舌苔图像的训练上对fast-rcnn算法进行参数和网络结构优化，再将用户信息输入到改进型fast-rcnn算法，通过用户初期数据的自适应学习，掌握用户的在中医上的望诊的面象和舌象特征；

对提取的用户脉象特征，面象特征和舌象特征使用wide&deep算法进行综合特征提取，即将基于改进型fast-rcnn算法提取的脉象特征进行线性编码并作为wide&deep算法的widemodel，再将基于改进型基于rnn的lstm算法提取的面象和舌象特征作为wide&deep算法的deepmodel。

用户面部信息的采集与提取具体包括以下步骤：

s11：对用户的面部、五官设置若干关键点进行标注；

s12：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，进行一次面部细节数据采集；

s13：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；

s14：利用已经建立的用户素颜面部特征数据集作为训练集对fast-rcnn算法进行参数和网络架构优化；

s15：使用训练过的fast-rcnn算法对用户本人采集的面部细节数据进行自动补光的定向特征提取；

s16：使用用户本人的面部细节定向特征存入健康检测专家系统中，即根据专家系统对望诊中对眼睛、耳朵、舌体和舌苔的先验知识给出对用户的望诊诊断评估。

用户脉搏信息的采集与提取具体包括以下步骤：

s21：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，利用智能手环进行一次配合面部细节数据采集的脉搏数据采集；

s22：晚上入睡前，通过app点击进行一次全睡眠状态下脉搏数据采集；

s23：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；

s24：利用已经建立的用户清醒状态和睡眠状态下的特征数据集作为训练集对基于rnn的lstm算法进行参数和网络架构优化；

s25：使用训练过的lstm算法对用户本人采集的脉搏数据进行特征提取；

s26：使用用户本人的脉搏数据特征存入健康检测专家系统中，即根据专家系统对脉诊中脉搏的频率、振幅、力度和周期性变化规律的先验知识给出对用户的脉诊诊断评估。

信息融合单元进行时域信息融合具体包括以下步骤：

s31：使用one-hote编码将用户本人的脉搏数据特征进行逻辑回归；

s32：通过model-based协同过滤，即用一组隐含因子来联系用户本人的脉诊特征和用户本人的望诊特征，以此综合判断用户的健康状况；

s33：根据语音识别助手系统采集到的用户的健康信息形成用户本人专用数据库先验知识；

s34：根据综合健康状况，用户本人专用数据库先验知识和健康监测系统的专家库，在手机app上给出用户在饮食，作息，心理和运动等方面的建议。

实施例一：

首先，训练识别准确率高并且稳定的算法模型，其实施步骤如下：

1、对前期收集的非用户面部细节数据(包含眼部，鼻子，口部，舌苔和面部肌肤细节)进行标注分类——标注出处于健康状态的画面特征；

2、使用第一步建立的数据集作为训练集测试搭建的fast-rcnn算法框架——并根据测试准确率，系统稳定性和硬件资源消耗率对算法参数和框架进行调节；

3、根据前期收集的非用户脉搏数据——标注出处于健康状态的脉搏信号特征；

4、使用第三步建立的数据集作为训练集测试搭建的基于rnn的lstm算法框架——并根据测试准确率，系统稳定性和硬件资源消耗率对算法参数和框架进行调节；

5、通过智能梳妆台采集用户的面部细节数据，并建立用户的专用数据库；

6、通过智能梳妆台附带的智能手环采集用户的脉搏数据，并建立用户的专用数据库；

7、使用第二步改进的fast-rcnn算法框架对用户的面部眼部，鼻子，口部，舌苔和面部肌肤细节数据流进行特征提取做为wide&deep算法的deep部分，使用第四步改进的rnn的lstm算法框架对驾驶员的脉搏数据进行特征提取做为wide&deep算法的wide部分——进行测试并根据测试准确率，系统稳定性和硬件资源消耗率对算法参数进行调节；

实施例二：

其次，具备能够比传统方案更好适应用户本人在面诊和脉诊的个体差异性，其实施步骤如下：

1、通过wide&deep算法对用户建立的专用数据库进行单独的特征提取和特征级融合提取；

2、将系统自带的健康检查中医专家库对用户当天面部细节特征按照中医的望诊先验知识进行匹配，并形成用户健康状态评估；

3、将系统自带的健康检查中医专家库对用户当天脉搏特征按照中医的脉诊先验知识进行匹配，并形成用户健康状态评估；

4、利用智能语音助手通过与用户的对话，收集用户对当天健康状态的主观自我评价，通过中医的问诊先验知识实现对用户体质和心理健康状态的评估；

5、将系统自带的健康检查中医专家库对用户当天面部细节特征，脉搏特征和主观自我评价按照中医的整体诊断理念的先验知识进行匹配，并形成用户综合健康状态评估。

实施例三：

再次，可以通过长期的健康数据采集，及早发现用户的亚健康问题，并给出预警。其实施步骤如下：

1、利用现代女性每天晚上卸妆和使用面膜补水的时间间隙完成在子时前的望诊和脉诊环节，对当代女性没有带来生活上的不可操作性——可以促进用户养成良好的健康检测习惯；

2、利用现代女性每天早上进行面部肌肤护理和化妆之前的时段完成可以对用户在睡眠过程中产生的分泌物(眼部分泌物，舌苔积垢)进行原始的图像采集——这些细节对于望诊的望五官有着重要的原始信息提取作用；

3、根据30天的用户专用数据库建立，比对系统自带的中医监测系统专家库——建立用户体质参数模型：以此作为加权因子反向传播到wide&deep算法，lstm算法和fast-rcnn算法；

4、当用户出现标准健康模型之外的生理指标突变时，会通过智能语音助手向用户确认自我健康状态评估情况，并对标准健康模型添加用户的专用加权因子——将其标注为样本差异化特征；

5、当出现突发病情恶化和长期疾病质变时，智能健康中医检测系统会提示用户到医院进行专业检测，并进一步确定病情。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。