一种面向智慧服装的人工智能与数字孪生系统及方法

1.本发明属于智能服装领域，更具体地，涉及一种面向智慧服装的人工智能与数字孪生系统及方法。


背景技术：

2.随着服装产业的创新发展，智能服装已经广泛被应用于生活健康、医疗健康、安全防护、军事装备等多个领域中，并朝着材料更加智能化、功能更加全面化、服务更加多样化的方向发展。智能穿戴设备能够改善医疗资源分配不均的差异，让落后地区也能公平享受医疗服务；同时，针对儿童安全问题与老龄化人口健康问题，可通过智能服装对他们的生理状态及日常活动状态进行实时监测，提供充分的保护。
3.而现有的智能服装只是对人体具有简单检测功能的服装，获取的数据量较少，用户状态判断不够准确，展示不够直观，产品功能不够全面，实用性较差，无法满足用户实际需求。例如，公开号为cn 107432739 a的中国专利公开了“一种用于健康监控的智能服装系统”，根据所述方案，可以采集人体心率、体温和加速度等信息，并设有远程智能终端。但该方案检测数据较少，仅凭人体腰部的三轴加速度传感器难以有效对用户当前姿态进行判断，检测算法比较简陋，缺乏用户反馈，没有用户交互，也无法查看历史数据，对用户的保护性较差。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种面向智慧服装的人工智能与数字孪生系统及方法，其目的在于实时监测、记录并展示用户自身状态，当识别到用户姿势不正确时提醒用户，在检测到用户发生危险时自动发出警告，并通知亲属，保障用户健康。
5.为实现上述目的，按照本发明的一个方面，提供了一种面向智慧服装的人工智能与数字孪生系统，包括智能服装模块和数字孪生模块；其中智能服装模块包括服装、传感器模块和无线通信模块，用于获取用户数据，与数字孪生模块进行数据交互；数字孪生模块包括深度学习算法模块、数字孪生体模块和云服务器模块，其中云服务器模块中嵌入有深度学习算法模块，云服务器模块利用深度学习算法模块中的深度学习算法判断并保存用户当前状态，使用数字孪生体模块中数字孪生技术将用户实体映射到数字孪生体进行实时展示与交互；所述深度学习算法模块包括数据预处理模块和神经网络模块；数据预处理模块用于对传感器数据进行预处理以获得神经网络模块的输入数据；神经网络模块使用一种结合注意力的神经网络对带标签的数据进行有监督训练，以准确判断用户生理状态，所述神经网络模块包括一次连接的两个用于控制网络中信息流的控制单元，一个中间状态单元，一个注意力单元以及一个输出单元。
6.进一步的，所述神经网络模块的具体处理过程为：
将数据预处理模块处理之后的数据作为输入；使用两种控制单元来控制网络中的信息流，分别是重置单元rs与更新单元up，重置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，；其中，是网络的待优化参数；是网络的偏置参数；m
t
是某一时刻t由数据预处理模块生成的二维参数矩阵；s
t-1
是网络前一刻的输出；δ(x)是一个非线性函数，表示一个r
×
c的矩阵，，对x中每一行和每一列的值进行遍历，将值压缩到0到1之间，其中z代表整数集；网络中的中间状态单元获取的中间状态由hs表示，，其中，是中间状态的待优化参数；b
hs
是中间状态的偏置参数；符号
∘
表示阿达马积，是一个二元运算，其输入为两个相同形状的矩阵，输出是具有同样形状的、各个位置的元素等于两个输入矩阵相同位置元素乘积的矩阵；网络中的中注意力单元获取的注意力由中间状态的加权和形成，具体为，，其中wa表示注意力的权重矩阵，sw
t
指注意力的中间状态，sa
t
指最后计算得出的注意力值；网络中的输出单元在t时刻的输出为s
t
，，式中，λ为一个超参数，将最后的单元状态通过δ非线性函数来得到用户状态输出。
7.进一步的，所述智能服装模块中的传感器模块包括姿态传感器、心率传感器、红外温度传感器和gps芯片；红外温度传感器捕获人体当前温度，心率传感器捕获人体当前心率；姿态传感器用于获取各部位姿态传感器的欧拉角、加速度和坐标；不同传感器的工作周期不同，姿态传感器以0.2s为一个周期，心率传感器以30s为一个周期，红外温度传感器以300s为一个周期；15个姿态传感器分布于人体各处关键节点上，具体的，颈椎、胸部、腹部各1个，肩、手肘、手腕、臀部、膝盖、脚踝左右各1个。
8.进一步的，所述智能服装模块中的无线通信模块还包含线性马达，无线通信模块
使用蓝牙技术与智能服装上的传感器连接，使用无线通信技术与服务器进行数据传输，实现个传感器数据的实时采集与数据管理，当收到服务器特定指令时，控制线性马达进行振动，以用来提示用户。
9.进一步的，数据预处理模块将获取到的传感器数据组合成一个一维向量，其中，分别代表15个传感器的数据，hr代表人体心跳数据，bt代表人体温度数据，并使用人工标注的方式生成人体活动标签l，包括多种人体状态：走、健走、跑步、跳跃、静坐、平躺、侧躺、睡眠、翘二郎腿、弯腰驼背、跌倒、心率异常；输入时将每1s获取到的5个一维向量v进行最大值和最小值筛选生成2个一维向量v
max
和v
min
，将这2个一维向量与最初的5个一维向量进行拼接组成一个二维矩阵进行运算，将m与l送入神经网络模块进行训练。
10.进一步的，所述的数字孪生模块根据映射函数，构成一个实体与孪生体之间的五元组的表示，d=(re,vt,ad,td,mr)，式中的re代表现实实体，指现实中存在的实体部分，即云服务器模块；vt代表虚拟孪生体，即数字孪生体模块，使用数字建模技术对实体在物理和生理两个维度进行特征展示，并呈现于web、手机app等用户端；ad代表实体的活动数据，具体为多个传感器对实体进行多源采集获得的数据；td代表孪生体数据，即通过神经网络模块获得的用户状态数据；mr代表实体与孪生体之间的映射关系。
11.本发明还公开了一种面向智慧服装的人工智能与数字孪生方法，包含以下步骤：s1：通过传感器获取人体当前温度、心率和身体各部位的欧拉角、加速度和坐标；s2：通过无线通信模块获得传感器数据，并与云服务器进行数据交互；其中无线通信模块内置线性马达；s3：云服务器利用深度学习算法判断并保存用户当前状态，，其中深度学习算法的输入数据通过对步骤s1中的传感器数据进行预处理得到；s4：根据用户当前状态，并利用数字孪生技术将用户实体映射到数字孪生体进行展示与交互；s5：当服务器判断用户长时间处于不良状态时发出特定指令，无线通信模块中的线性马达会振动以提示用户，当服务器判断用户遇到危险时会自动报送用户当前状态与坐标。
12.进一步的，上述的步骤s3中所述的深度学习算法具体包括以下步骤：s31：将同时刻获取到的传感器数据组合成一个一维向量，并对多个获取到的一维向量进行最大值与最小值筛选生成两个新的最值向量，通过拼接前述所有的向量生成一个二维矩阵，使用人工标注的方式对二维矩阵数据进行分类，生成人体活动标签l；s32：使用一种结合注意力的神经网络判断用户当前状态，具体处理过程如下；
将步骤s31处理之后的数据作为输入；使用两种控制单元来控制网络中的信息流，分别是重置单元rs与更新单元up，重置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，；其中，是网络的待优化参数；是网络的偏置参数；m
t
是某一时刻t生成的二维参数矩阵；s
t-1
是网络前一刻的输出；δ(x)是一个非线性函数，表示一个r
×
c的矩阵，，对x中每一行和每一列的值进行遍历，将值压缩到0到1之间，其中z代表整数集；网络中的中间状态由hs表示，，其中，是中间状态的待优化参数；b
hs
是中间状态的偏置参数；符号
∘
表示阿达马积，是一个二元运算，其输入为两个相同形状的矩阵，输出是具有同样形状的、各个位置的元素等于两个输入矩阵相同位置元素乘积的矩阵；网络中的注意力由中间状态的加权和形成，具体为，，其中wa表示注意力的权重矩阵，sw
t
指注意力的中间状态，sa
t
指最后计算得出的注意力值；网络在t时刻的输出为s
t
，，式中，λ为一个超参数，将最后的单元状态通过δ非线性函数来得到用户状态输出。
13.进一步的，上述的步骤s4中所述的数字孪生技术根据映射函数，构成一个实体与孪生体之间的五元组的表示；数字孪生体可以展示用户当前状态，用户可以通过操作数字孪生体对无线通信模块发出特定指令，让无线通信模块报送当前传感器信息或产生振动。
14.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：（1）本发明提供的一种面向智慧服装的人工智能与数字孪生系统及方法，使用一
种结合注意力的神经网络，相较其他神经网络，利用非线性函数简化了神经网络的计算，通过注意力提高数据的利用率，使得重要的数据获得更大的权重，提高了网络的准确率；（2）本发明提供的一种面向智慧服装的人工智能与数字孪生系统及方法，在系统运行过程中可以通过对用户身体状况实时识别，精确判断用户行为类别与健康状态；对现实实体所对应的数字孪生体进行计算与推演，直观反应用户状态变化，当用户操作数字孪生体发出特定指令或系统识别出异常状态时，可以发出警示并采取相应措施，从而有效保障用户生命安全、减少危险发生的风险。
附图说明
15.图1是本发明实施例提供的一种面向智慧服装的人工智能与数字孪生系统流程示意图。
16.图2是本发明实施例提供的姿态传感器分布的示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
18.图1所示，是实施例提供的一种面向智慧服装的人工智能与数字孪生系统流程示意图；实施例提供的一种面向智慧服装的人工智能与数字孪生系统由智能服装模块和数字孪生模块构成。
19.其中，智能服装模块包括服装、传感器模块和无线通信模块，用于获取用户数据，与数字孪生模块进行数据交互；数字孪生模块包括深度学习算法模块、数字孪生体模块和云服务器模块，其中云服务器模块中嵌入有深度学习算法模块，云服务器模块利用深度学习算法模块中的深度学习算法判断并保存用户当前状态，使用数字孪生体模块中数字孪生技术将用户实体映射到数字孪生体进行实时展示与交互，当检测到用户遇到危险时自动警告。
20.上述传感器模块包括姿态传感器、心率传感器、红外温度传感器和gps芯片；其中，红外温度传感器捕获人体当前温度，心率传感器捕获人体当前心率；姿态传感器用于获取各部位姿态传感器的欧拉角、加速度和坐标；不同传感器的工作周期不同，姿态传感器以0.2s为一个周期，心率传感器以30s为一个周期，红外温度传感器以300s为一个周期；gps芯片用于定位；其中，15个姿态传感器分布于人体各处关键节点上，具体的，颈椎、胸部、腹部各1个，肩、手肘、手腕、臀部、膝盖、脚踝左右各1个，如图2所示。
21.无线通信模块用于数据的交互，还包含线性马达，无线通信模块使用蓝牙技术与智能服装上的传感器连接，使用无线通信技术与服务器进行数据传输，实现个传感器数据的实时采集与数据管理，当收到服务器特定指令时，可以控制线性马达进行振动，以用来提
示用户。
22.数字孪生模块包括深度学习算法模块、数字孪生体模块和云服务器；其中，深度学习算法模块包括数据预处理模块和神经网络模块；数据预处理模块将获取到的传感器数据组合成一个一维向量，其中，分别代表15个传感器的数据，hr代表人体心跳数据，bt代表人体温度数据，并使用人工标注的方式生成人体活动标签l，包括多种人体状态：走、健走、跑步、跳跃、静坐、平躺、侧躺、睡眠、翘二郎腿、弯腰驼背、跌倒、心率异常，输入时将每1s获取到的5个一维向量v进行最大值和最小值筛选生成2个一维向量v
max
和v
min
，将这2个一维向量与最初的5个一维向量进行拼接组成一个二维矩阵进行运算，将m与l送入神经网络模块进行训练。
23.神经网络模块使用一种结合注意力的神经网络对带标签的数据进行有监督训练，以准确判断用户生理状态，所述神经网络模块包括一次连接的两个用于控制网络中信息流的控制单元，一个中间状态单元，一个注意力单元以及一个输出单元。所述神经网络模块的具体处理过程为：使用两种控制单元来控制网络中的信息流，分别是重置单元rs与更新单元up，重置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，；其中，是网络的待优化参数；是网络的偏置参数；m
t
是某一时刻t由数据预处理模块生成的二维参数矩阵；s
t-1
是网络前一刻的输出；δ(x)是一个非线性函数，表示一个r
×
c的矩阵，，对x中每一行和每一列的值进行遍历，将值压缩到0到1之间，其中z代表整数集；网络中的中间状态单元获取的中间状态由hs表示，
，其中，是中间状态的待优化参数；b
hs
是中间状态的偏置参数；符号
∘
表示阿达马积，是一个二元运算，其输入为两个相同形状的矩阵，输出是具有同样形状的、各个位置的元素等于两个输入矩阵相同位置元素乘积的矩阵；网络中的注意力单元获取的注意力由中间状态的加权和形成，具体为，，其中wa表示注意力的权重矩阵，sw
t
指注意力的中间状态，sa
t
指最后计算得出的注意力值；网络中的输出单元在t时刻的输出为s
t
，，式中，λ为一个超参数（默认为0.3），将最后的单元状态通过δ非线性函数来得到用户状态输出。
24.通过传感器获得的数据v，判断用户当前状态，并给出人体活动标签l，将多个数据作为训练集对神经网络进行多轮训练，将表现最好的网络权重进行保存，用于预测。在预测时，加载训练好的网络权重，获取用户当前传感器数据，送入网络，网络运算后输出用户当前状态。
25.数字孪生体模块根据映射函数，构成一个实体与孪生体之间的五元组的表示，d=(re,vt,ad,td,mr)，式中的re代表现实实体，指现实中存在的实体部分，即云服务器模块；vt代表虚拟孪生体，即数字孪生体模块，使用数字建模技术对实体在物理和生理两个维度进行特征展示，并呈现于web、手机app等用户端；ad代表实体的活动数据，具体为多个传感器对实体进行多源采集获得的数据；td代表孪生体数据，即通过神经网络模块获得的用户状态数据；mr代表实体与孪生体之间的映射关系。
26.云服务器模块作为整个体系的计算中心，负责虚拟孪生体的具体展现，采用分布式计算方法，使用数据仓库的方式对用户数据进行存储。具体的，通过unity等软件进行建模，构建用户数字孪生体画像，通过深度学习算法计算智能服装模块上传的传感器数据，给出精确判断，立体反应用户当前状态，当识别用户遇到情况时采取相应操作；存储数据存放在数据仓库里，以用户信息为主题，可以生成报表进行导出，交给医生进行分析；用户情况不仅可由用户自身翻阅，也通过授权后交予用户的监护人、子女或医生查看，这样一来，本发明不仅可以更好的照看子女或者老人，判断他们现在的活动状况，还可以交给医护人员分析身体状况；基于数字孪生模块，患者可在与各地的专家进行线上会诊时提供长期的活动数据，帮助医生判断身体状况，调整日常生活习惯。
27.通过授权后，用户的监护人、子女可操作数字孪生体或云服务器在判断用户长时间处于不良状态（翘二郎腿为30秒、弯腰驼背为3分钟、久坐为45分钟）后，发送对应指令给无线通讯模块，通过线性马达使得服装震动，达到提示用户的作用；当判断用户遇到危险时（跌倒、心率异常等），根据预留的紧急联系方式自动联系亲属，报送用户当前状态与坐标，保护用户生命安全。
28.本发明实施例提供一种面向智慧服装的人工智能与数字孪生方法，包含以下步骤：s1：通过传感器获取人体当前温度、心率和身体各部位的欧拉角、加速度和坐标；
s2：通过无线通信模块获得传感器数据，并与云服务器进行数据交互；其中无线通信模块内置线性马达；s3：云服务器利用深度学习算法判断并保存用户当前状态，其中深度学习算法的输入数据通过对步骤s1中的传感器数据进行预处理得到；s4：根据用户当前状态，利用数字孪生技术将用户实体映射到数字孪生体进行展示与交互；s5：当服务器判断用户长时间处于不良状态时发出特定指令，无线通信模块中的线性马达会振动以提示用户，当服务器判断用户遇到危险时会自动报送用户当前状态与坐标。
29.进一步的，步骤s3中所述的深度学习算法包括以下步骤：s31：将同时刻获取到的传感器数据组合成一个一维向量，并对多个获取到的一维向量进行最大值与最小值筛选生成两个新的最值向量，通过拼接前述所有的向量生成一个二维矩阵，使用人工标注的方式对二维矩阵数据进行分类，生成人体活动标签l；s32：使用一种结合注意力的神经网络判断用户当前状态，具体处理过程如下；将步骤s31处理之后的数据作为输入；使用两种控制单元来控制网络中的信息流，分别是重置单元rs与更新单元up，重置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，置单元控制保留过去状态的数量，更新单元控制新状态中保留多少旧状态的副本，；其中，是网络的待优化参数；是网络的偏置参数；m
t
是某一时刻t生成的二维参数矩阵；s
t-1
是网络前一刻的输出；δ(x)是一个非线性函数，表示一个r
×
c的矩阵，，对x中每一行和每一列的值进行遍历，将值压缩到0到1之间，其中z代表整数集；网络中的中间状态由hs表示，，其中，是中间状态的待优化参数；b
hs
是中间状态的偏置参数；符号
∘
表示阿达马积，是一个二元运算，其输入为两个相同形状的矩阵，输出是具有同样形状的、各个位置的元素等于两个输入矩阵相同位置元素乘积的矩阵；网络中的注意力由中间状态的加权和形成，具体为
，，其中wa表示注意力的权重矩阵，sw
t
指注意力的中间状态，sa
t
指最后计算得出的注意力值；网络在t时刻的输出为s
t
，，式中，λ为一个超参数，将最后的单元状态通过δ非线性函数来得到用户状态输出。
30.进一步的，步骤s4中所述的数字孪生技术根据映射函数，构成一个实体与孪生体之间的五元组的表示；数字孪生体可以展示用户当前状态，用户可以通过操作数字孪生体对无线通信模块发出特定指令，让无线通信模块报送当前传感器信息或产生振动。
31.本发明提供的一种面向智慧服装的人工智能与数字孪生系统及方法，可以精确采集用户生理数据，使用一种结合注意力的神经网络，简化网络复杂度的同时实时准确的判断用户当前状态，并利用数字孪生体进行展示与交互，当用户发出特定指令或系统识别出异常状态时，及时发出警示并采取相应措施，从而有效保障用户生命安全、减少危险发生的风险，具有一定应用价值。
32.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。