一种基于智能红外感知的桌面伴侣系统及其控制方法与流程

本发明涉及机器人领域，涉及一种基于智能红外感知的桌面伴侣系统及其控制方法。

背景技术：

随着人工智能时代的到来，机器人广泛应用于各个领域。工业，农业，教育，服务业等均能看到机器人的身影。使用机器人帮助人类更好的进行生产，生活，是机器人出现的初衷。桌面机器人作为服务类机器人，是以更好的为用户提供人性化服务为目的。目前的桌面服务类机器人，拥有孩童般的稚嫩声音和一些拟人化动作，还可以表达一定的情感。能够实现语音交互，进行简单的人机互动问答；实现人脸识别和追踪，智能家居等设备的语音操控；拥有播放儿歌、英语、报天气等功能。虽然功能多样，但是仅是以多种多样的功能实现对用户的陪伴，满足用户娱乐需求，并不能智能感知用户的潜在需求而主动做出交互反应，从而缓解用户的情绪及状态。当用户未提出某种需求时，桌面机器人就仅仅是桌面上的摆件。只是在用户通过语音或按键提出用户需求后才做出交互反应，因此现有桌面机器人仍未能实现深入的人机交互。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于智能红外感知的桌面伴侣系统及其控制方法。

为实现上述目的，本发明采用如下技术方案：

一种基于智能红外感知的桌面伴侣系统,所述系统包括数据检测模块、智能分析模块和执行模块；所述数据检测模块采集用户人体温度数据，并将数据传送至智能分析模块；所述智能分析模块根据人体温度数据，通过智能分析得到用户状态，并根据人体状态控制执行模块动作。

进一步的，所述数据检测模块包括低分辨率红外热成像传感器、mcu最小系统、供电模块和通信模块；所述mcu最小系统与低分辨率红外热成像传感器、通信模块和供电模块分别连接。

进一步的，所述数据检测模块采用堆叠式设计，第一层为低分辨率红外热成像传感器和mcu最小系统；第二层为电源模块，第三层为通信模块，三层pcb之间使用一组插接端子连接。所述的低分辨率红外热成像传感器的实时数据感知用户体温，对用户身体健康状况进行检测。

进一步的，所述通信模块采用基于zigbee自组网技术的通信模块。

进一步的，所述执行模块包括usb可调速风扇，语音装置和音乐播放装置。

一种基于智能红外感知的桌面伴侣系统的控制方法，包括以下步骤：

步骤s1:通过低分辨率红外热成像传感器采集人体的体温分布数据，并通过通信模块传输至智能分析模块；

步骤s2:智能分析模块通过深度学习模型对人体的体温分布数据进行分析，得到用户状态；

步骤s3:智能分析系统根据分析得到的用户状态，控制usb可调速风扇，语音装置和音乐播放装置进行动作。

进一步的，所述用户状态包括体温状况、身体舒适度、工作效率和心情状况。所述的智能分析模块通过深度学习模型分析感知用户身体舒适度，调节风扇转速；所述的智能分析系统通过深度学习模型分析感知用户工作效率，通过语音装置对久坐和低效进行提醒。

本发明与现有技术相比具有以下有益效果：

本发明堆叠式设计的数据检测模块利用低分辨率红外传感器对人体进行近距离深度感知，并通过深度学习模型进行智能分析，以贴合用户需求为宗旨与用户进行人机交互。

附图说明

图1是本发明系统结构示意图；

图2是本发明一实施例中数据检测模块示意图；

图3是本发明一实施例中深度学习方法实现图；

图4是本发明一实施例中数据集标签示意图；

图5是本发明一实施例中数据格式转换图；

图6是本发明一实施例中深度学习模型结构图；

图7是本发明一实施例中部分检测项准确率；

图8是本发明一实施例中机器人工作示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于智能红外感知的桌面伴侣系统,所述系统包括数据检测模块、智能分析模块和执行模块；所述数据检测模块采集用户人体温度数据，并将数据传送至智能分析模块；所述智能分析模块根据人体温度数据，通过智能分析得到用户状态，并根据人体状态控制执行模块动作，所述数据检测模块包括低分辨率红外热成像传感器、mcu最小系统、供电模块和通信模块；所述mcu最小系统与低分辨率红外热成像传感器、通信模块和供电模块分别连接。

在本实施例中，所述数据检测模块采用堆叠式设计，第一层为低分辨率红外热成像传感器和mcu最小系统；第二层为电源模块，第三层为通信模块，三层pcb之间使用一组插接端子连接。所述的低分辨率红外热成像传感器的实时数据感知用户体温，对用户身体健康状况进行检测。所述通信模块采用基于zigbee自组网技术的通信模块。

在本实施例中，所述执行模块包括usb可调速风扇，语音装置和音乐播放装置。

一种基于智能红外感知的桌面伴侣系统的控制方法，包括以下步骤：

步骤s1:通过低分辨率红外热成像传感器采集人体的体温分布数据，并通过通信模块传输至智能分析模块；

步骤s2:智能分析模块通过深度学习模型对人体的体温分布数据进行分析，得到用户状态；

步骤s3:智能分析系统根据分析得到的用户状态，控制usb可调速风扇，语音装置和音乐播放装置进行动作。所述用户状态包括体温状况、身体舒适度、工作效率和心情状况。所述的智能分析模块通过深度学习模型分析感知用户身体舒适度，调节风扇转速；所述的智能分析系统通过深度学习模型分析感知用户工作效率，通过语音装置对久坐和低效进行提醒。

本实施例通过低分辨率红外热成像传感器以非接触式方式测量人体的体温分布情况，主要是人体头部的温度分布情况。利用深度学习方法通过神经网络模型对人体温度的变化特征和各种状态心情状况，工作状态等做匹配学习。根据不同状态下的温度分布特征对用户状态进行分类，分类为高效或低效，心情偏好或心情偏差，舒适或不适……如图3：深度学习方法实现图。

步骤01：初始数据收集。即通过低分辨率红外热成像传感器测量实时数据，传给上位机，并保存为文本文件。mcu最小系统使用iic接口与低分辨率红外传感器通讯，读取其测得的数据，通过zigbee自组网模块实现数据传输，上位机部分通过串口与zigbee自组网模块通信。上位机接收数据，得到性别不同，身材不同，年龄不同的对象在不同天气，不同办公环境下不同心情，不同工作状态的样本数据，并保存为文本文件。数据收集过程中要求被收集对象为不同年龄不同性别，并处于不同心情不同工作状态下。根据数据收集对象的心情状态，工作状态等对数据文件分类并分别放入不同文件夹中。针对五个检测项——是否有人在桌面前，体温状况（正常与偏离正常），身体舒适度（舒适与不适），工作效率（高效与低效），心情状况的种类对文件夹下的子文件夹分别命名。如图4：数据集标签示意图，对数据集标注例如图中所示的数据标签。

步骤02：数据格式转换，建立温度数据库。将文本文件中的各个txt文件中的温度数据转换为[样本数，64]的矩阵，并生成对应的标签，及独热（one_hot）标签。如图5：数据格式转换图。该图为工作效率文件夹经过数据格式转换后的数据信息，可知在该数据集中共有10572个样本。

步骤03：数据集生成。将所有图像与其对应的标签文件合成一个用于训练的、可以进行高效读取的tf_record文件,最终5类数据集——是否有人在桌面前，体温状况，身体舒适度，工作效率，心情状况分别得到2个tf_record文件：训练集，测试集。

步骤04：建立深度学习初始模型。根据所实现的功能特点采用不同深度学习模型实现分类判断。是否有人在桌面前办公，体温状况（正常与偏离正常）及身体舒适度（舒适与不适）及工作效率（高效与低效）及心情状况（心情偏好与心情偏差）的判断均为二分类问题，均采用适合以单通道灰度图为输入的cnn网络lenet5，由此建立5个模型分别对应训练是否有人在桌面前办公，体温状况，身体舒适度，工作效率，心情状况文件下所对应的温度数据图像库。模型最大执行步数均为50000，初始学习率为0.001，学习率衰减参数为0.99，参数的二次正则化超参数为0.0001，批次大小为50。如图6：深度学习模型结构图。

步骤05：训练初始模型，得到目标模型。上述步骤建立的5个初始模型通过前向-反向传播算法分别在对应的温度数据库上进行训练，得到最终的目标模型。5个目标模型分别对应具有检测是否有人在桌面前，体温状况，身体舒适度，工作效率，心情状况的温度特征知识。

步骤06：固化模型用于实时检测。模型性能随迭代次数上升，每隔300s保存一次训练模型，并用测试集验证测试效果，观察模型性能变化，当模型性能达到稳定时，将模型中所含的训练变量剔除，只保留前向传播的神经元权重与偏置的常量，将待检测的温度数据灰度图像输入到固化后的目标模型中输出置信度得分。如图7：部分检测项准确率，为检测项是否有人在桌面前和工作效率的准确率。

步骤07：模型嵌入，实时应用。将目标模型嵌入至系统的智能分析模块中，当系统运行时，低分辨率红外热成像传感器采集到新数据，通过iic接口与mcu最小系统通信输入到智能分析模块，通过前向传播算法计算结果，得到判断结果。首先初步判断——每隔10min检测是否有人开始在桌面前办公，如果检测到没有人在桌面前办公，机器人处于低功耗休眠状况；否则机器人开始工作进行深度判断，即得到体温状况，身体舒适度，工作效率，心情状况的分类判断，根据结果控制机器人作出相应的反应。当用户心情发生变化时，便基于用户情绪进行语音交互；对用户身体健康状况进行监测，当用户体温异常时，发出提醒；当用户工作效率较低时，对久坐和低效工作进行提醒；根据用户身体舒适度调节风扇转速；当用户心情发生微妙变化时，配合心情不同播放不同的音乐。过程如图8：机器人工作示意图。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。