一种智慧教室学生健康安全监测边缘计算平台

本发明属于教育信息化，更具体地说，是涉及一种智慧教室学生健康安全监测边缘计算平台。

背景技术：

1、学生健康检测主要在学生体温方面进行监测。人的体温会因为很多状况而发生改变，测量体温可以发现和记录身体异常情况。人们手持红外测温仪为人们测量体温，并在访客登记表中手写记录信息成为我们不再陌生的现象。目前常见的测温工具主要有体温计、测温枪以及红外成像测温三类。体温计分为水银体温计与电子体温计。由于水银对人体具有危害性，水银体温计逐步退出历史舞台。测温枪主要依靠传感器接收人体的红外线来判断体温，一般只需3-5秒即可完成单人温度测量。现有的体温测量不能实现实时的8h监控。且现测温记录方式大多采用手写记录本的方式，人工成本高且数据管理与查阅不便，实现体温异常人员的健康追踪记录难度高。

2、现有红外热辐射成像技术实现不接触即可测温，主要通过将人体发出的不可见红外能量转变为可见的热图像，达到“通行即测温”的效果。这是因为身体每时每刻都将向四周散射红外线。不接触即可测温的红外热辐射成像技术的采用避免了交叉接触，并且与红外测温摄像头的联合使用可以实现快速多人同时测温。

3、学生的心理健康已经初步得到重视，但是测量方式多采用量表的方式。存在学生的行为、情绪无法被动识别的问题，而且存在学生故意隐瞒实际情况问题。同时采用量表的方式，占用学生大量的时间，影响正常的教学秩序。学生心理状况亟需及时健康干预与有效的心理疏导，但如何测评学生心理健康状态成为一个难题。

技术实现思路

1、本发明所要解决的技术问题是提供一种智慧教室学生健康安全监测边缘计算平台，通过计算机技术帮助教育机构和监护人员对学生的健康进行安全监测，使学生的健康安全监测数字化、智能化、减少人工成本的同时，使得体温异常人员数据监测实现实时动态追踪。

2、为解决上述技术问题，本发明所采取的技术方案是：

3、一种智慧教室学生健康安全监测边缘计算平台，包括被动式人体红外测温系统、多路双目视觉图像采集系统和基于fpga的边缘计算；

4、其中，被动式人体红外测温系统进行基础数据采集，通过传感器采集和捕捉人体散发的红外能量，生成稳定的红外图像，此图像通过对不同温度的部位添加以不同的颜色，从而区分出不同部位的不同温度；

5、多路双目视觉图像采集系统包含多组双目视觉单元，多组双目视觉单元能够以任意的角度部署于智慧教室的任意位置，获取人体的肢体动作图像，以人体视觉的方式获取场域中的三维立体视觉数据，多组双目视觉单元通过图像数据采集器将采集的图像数据传输至暂存器中，为上行数据提供数据缓存；

6、系统技术框架基于核心fpga计算机的强大算力，通过外围的网络通信技术与物联网系统，可提供针对教学环境下的中小学生健康监测能力；系统的核心为fpga的异构人工智能计算平台，提供足够的人工智能算力；除此之外，基于物联网的基础设备，通过mqtt协议，为人体温度采集的数据回传提供通信基础；

7、在软件层面上，依靠强大的通信网络与5g技术的支持，针对中小学生的健康监测数据能够通过网络的方式进行展示；在跨平台的微信小程序端，关于学生健康的风险信息可以及时推送到用户手中；在网页端，用户也可通过相关的网站页面获取及时有效的中小学生健康信息。

8、优选地，被动式人体红外测温系统采用被动式红外测温摄像头，同时配合红外热辐射成像技术，从教学环境中获取学生的实时体温情况，配合fpga搭建的ai计算能力，运用深度学习算法和边缘计算技术，将体温超过阈值的人体抓取出来；基于实时的体温异常情况抓取可将学生在日常教学过程中其心理的变化在体温方面的变化动态的显示出来，为学生情绪与行为边缘计算提供部分基础依据。

9、优选地，系统通过摄像头获取学生的人脸数据和行为、动作，数据采集后输入fpga平台，进行边缘计算，结算结果传输到云端；对来自智慧教室摄像头的图像进行筛选和分析，通过ai行为拆解算法和人体面部表情算法对学生的肢体动作和面部表情进行识别计算，在本计算平台中，经过ai计算的数据会以数据层的方式进行存储，包括人体面部表情识别数据层和人体肢体动作识别层，本计算平台会将得出的两个数据层叠加后采用数据加密算法处理后送至云端数据汇总服务器中；云端服务器将灵活调动算力为人体行为意图进行分析和计算，此种计算能够同时为几个班级，甚至几座学校的多个班级的学生进行人体动作与行为的计算与输出反馈。

10、优选地，在智慧教室中，学生的健康安全不仅需要对每一个学生的实时生命体征进行检测，也要对学生从其行为上所体现的心理健康方向进行安全监测；人的个体意识和心理活动通常会以个体的肢体动作和个体的行为以及运动轨迹所体现出来；在学生个体的行为检测过程中，可利用边缘计算技术对每个学生个体进行轨迹预测和状态预警；

11、优选地，基于轨迹计算的深度行为识别即通过智慧教室中内置的双目视觉图像获取设备对每个个体进行图像获取，通过对图像数据进行分析后得出此帧图像与下一帧图像中，人体肢体动作的变化状态和人体的位置变化，将在此得到的数据送入深度学习算法模型中进行处理，所述深度学习算法模型主要为基于人体肢体识别的动作捕捉算法和运行轨迹预测算法。

12、优选地，基于卷积神经网络(cnn)的轨迹提和预测算法包括以下步骤：

13、s1：数据预处理：对原始轨迹数据进行预处理，包括数据清洗、去噪、数据对齐等操作，以保证数据的准确性和一致性；

14、s2：数据切分：将预处理后的轨迹数据切分成固定长度的序列，作为cnn模型的输入；

15、s3：特征提取：利用cnn模型对轨迹序列进行特征提取，包括卷积层、池化层、激活函数操作，从而得到轨迹序列的特征表示；

16、s4：特征融合：将特征提取得到的轨迹序列特征进行融合，可以采用加权平均、拼接方式；

17、s5：特征降维：对融合后的特征进行降维处理，可以采用主成分分析(pca)、线性判别分析(lda)方法。

18、s6：轨迹重构：根据降维后的特征，利用逆变换方法将轨迹数据重构出来；

19、s7：轨迹评估：对重构出来的轨迹数据进行评估，包括轨迹长度、轨迹形状、轨迹速度等指标的计算，以了解学生在教室内的行为特征；

20、s8：轨迹建模：根据轨迹评估的结果，建立学生在教室内的行为模型，可以采用机器学习算法、神经网络算法；

21、s9：轨迹预测：根据建立的行为模型，对学生在教室内未来行为进行预测，以提供教师或者学校管理者参考。

22、优选地，从算法到fpga边缘计算平台的部署实施流程包括以下步骤：

23、f1：首先，需要将cnn模型转换为fpga可执行的形式；这可以通过使用高级综合工具(hls)来实，将cnn模型转换为硬件描述语言(hdl)代码；

24、f2：接下来，需要将hdl代码综合到fpga芯片；这可以通过使用fpga开发工具来实现，例如xilinxvivado或intelquartusprime；

25、f3：在综合完成后，需要将轨数据输入到fpga芯片中；这可以通过使用fpga开发板上的输入接口来实现，例如hdmi接口或usb接口；

26、f4：fpga芯片将轨迹数据输入到cnn模型中进行处理，并输出轨迹特征；

27、f5：轨迹特征将被传输到fpga芯片上的后续处理模块中，例如特征融合、特征降维、轨迹重构；

28、f6：最后，fpga芯片将输出处理后的轨迹数据，例如轨迹长度、轨迹形状、轨迹速度指标。

29、优选地，所述双目视觉单元搭载两台技术参数相同的清晰度为1080p的摄像机，通过放置于此单元的数据控制板相连接，双目视觉单元能够以人体视觉的方式获取场域中的三维立体视觉数据，采用此双目视觉单元获取人体的肢体动作图像，能够获取更多维度的数据信息。

30、采用上述技术方案所产生的有益效果在于：

31、1、本发明是一个国内外首款中小学生健康监测平台，包括生理健康和心理健康。系统技术框架基于核心fpga计算机的强大算力，核心为fpga的异构人工智能计算平台，依靠强大的通信网络与5g技术的支持，针对中小学生的健康监测数据能够通过网页端、跨平台的微信小程序端等终端进行展示。

32、2、学习氛围感知、学习者行为理解、学习者多模态的情感计算都是研究学习者的重要研究方向，本项目是人工智能边缘计算平台针对于教育领域的创新应用。本发明通过摄像头获取学生行为并进行实时采集，数据采集后输入fpga平台，进行边缘计算，通过情感预防模型对学生的表情、行为、心理、情感进行分析，结算结果传输到云端。

33、3、目前，中国的智慧教室中，还没有一个常态化、被动式的中小学健康检测边缘计算技术解决方案。本发明采用被动式红外测温摄像头，配合红外热辐射成像技术，配合fpga搭建的ai计算能力，运用深度学习算法和边缘计算技术，将体温超过阈值的人体抓取出来，从而做到实时、准确和极低的出错率。