一种艾滋病患者用药依从性监测方法与流程

本发明涉及用药依从性监测领域，具体涉及一种艾滋病患者用药依从性监测方法。

背景技术：

艾滋病，即获得性免疫缺陷综合征(aids)，其病原体为人类免疫缺陷病毒(hiv)，亦称艾滋病病毒。截至2017年底，我国报告的现存活hiv/aids患者758610例，当年新发现hiv/aids患者134512例(其中95％以上均是通过性途径感染)，当年报告死亡30718例，艾滋病已成为严重威胁我国公众健康的重要公共卫生问题。

高效联合抗病毒治疗(haart)能降低艾滋病的发病率和死亡率，有效地缓解症状，延长患者生存时间。要达到抗病毒治疗的预期效果，必须规律且终生服用抗病毒药物，因此用药依从性是影响治疗效果的一个关键因素。若患者服药依从性小于95％，则为依从性差，容易导致病毒耐药发生率增加，影响治疗效果。由于抗病毒药物的不良反应及耐受性往往容易影响患者的服药依从性，进而影响抗病毒治疗的成败，所以适时监测患者服药过程及服药后人体不良反应对于提高治疗效果至关重要。

目前对患者用药依从性监测的主要方法是由患者利用手机app自行记录用药情况，中国专利”cn105320533a一种针对男男性接触者(msm)行为干预的手机软件”要求使用者通过手机app反馈每日、每周性行为等并进行线上评估，从而对其进行艾滋病相关知识教育，以及对性行为、hiv阳性者抗病毒治疗服药依从性等进行干预，预防艾滋病病毒感染，促进患者用药依从性。

由于服用艾滋病抗病毒药物会出现头痛、恶心、呕吐、腹泻、失眠等副作用，包括对肝等身体器官造成损害，以及艾滋病患者易受负面情绪影响，患者服药依从性较差，基于手机软件由患者自行记录用药情况的这种方法，患者往往不会主动使用手机软件记录日常用药，这样情况往往需要艾滋病患者被动接受用药记录，以评估患者服药依从性。

技术实现要素：

针对现有技术中的上述不足，本发明提供的一种艾滋病患者用药依从性监测方法可主动对患者进行用药依赖性监测。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种艾滋病患者用药依从性监测方法，其包括以下步骤：

s1、采用kinect深度传感器采集患者服药过程的骨架序列数据，记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图；

s2、基于患者服药过程的骨架序列数据构建无向时空图；

s3、在骨架图上寻找每个节点的邻居节点集，并根据邻居节点与骨架重心的距离将邻居节点集划分为根节点本身、向心节点和离心节点；

s4、根据无向时空图构建时空图长短期记忆网络；

s5、将向心节点、离心节点和根节点作为时空图长短期记忆网络的输入，对时空图长短期记忆网络进行训练；

s6、采用与步骤s1至步骤s3相同的方法采集患者日常生活中的骨架序列数据对应的根节点、向心节点和离心节点，并将其作为待识别数据；

s7、采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在服药过程，完成艾滋病患者用药依从性监测。

进一步地，步骤s1中患者服药过程包括打开药盒、取出药丸、喝水服药和关上药盒。

进一步地，步骤s1中记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图的具体方法包括以下子步骤：

s1-1、采用kinect深度传感器以30帧每秒的采样速率获取患者关节在三维坐标系中的坐标；

s1-2、判断骨架节点是否出现遮挡，若是则取前后骨架数据完整的临近两帧中对应骨架节点的坐标平均值作为该遮挡位置处骨架节点的坐标值，进入步骤s1-3；否则直接进入步骤s1-3；

s1-3、根据人体骨架结构的连通性，将每个关节连接到连续帧中的相同关节，得到保留了骨架节点间的相对空间位置关系和对应骨骼点的时序关系的骨架图。

进一步地，步骤s2的具体方法为：

基于患者服药过程的骨架序列数据，在每一帧内按照人体的自然骨架连接关系构造空间图，获取节点矩阵集合v＝{vnk|n＝1,...,n；k＝1,...,k}，其中n为总帧数，k为关节点数；将帧与帧之间的边表示人体对应骨骼点的时序关系，获取骨架节点间的连接边集e；进而构建无向时空图g＝(v,e)。

进一步地，步骤s3的具体方法包括以下子步骤：

s3-1、在骨架图上节点vtk的邻居集d(vtk)＝{vti|dist(vti,vtk)≤l上定义组合函数；其中dist(vti,vtk)为从节点vti到节点vtk的任何关节的最小长度；l＝1，即表示1邻居节点集；

s3-2、将人体骨骼关节按照两个臂、两根腿和躯干分为五个身体部分，并根据公式

寻找任一个节点作为根节点时，其相邻节点是向心节点或离心节点；其中nc＝{nc|c＝1,2,3,4,5}表示五个身体部分的重心，nc(vtj)表示节点vtj所属部分，节点vtj为输入节点；vtj表示t时刻的节点j；root表示根节点；centripetal表示向心节点；centrifugal表示离心节点；nci表示从根节点i到所属身体部分重心点nc的距离；ncj表示从相邻节点j到所属身体部分重心点nc的距离；其中身体部分重心为该身体部分骨架节点坐标的几何中心，即该身体部分中骨架所有关节的平均坐标。

进一步地，步骤s4中时空图长短期记忆网络包括向心节点序列模型、离心节点序列模型和根节点序列模型；其中，

根节点序列模型为：

向心节点序列模型为：

离心节点序列模型为：

时空图长短期记忆网络的整体类别输出为：

yt＝(whht+bt)

yt为时空图长短期记忆网络在t时刻的输出；和分别为向心节点、离心节点和根节点骨架序列；xt为根节点、向心节点和离心节点的整体骨架序列；ht-1为t-1时刻的总隐含状态，ht为t时刻的总隐含状态，ht⁰、ht¹和ht²分别为根节点、向心节点和离心节点在t时刻的隐含状态；和分别为根节点、向心节点和离心节点群时间遗忘门；和分别为根节点、向心节点和离心节点群空间遗忘门；ot为t时刻记忆单元输出门；和分别为根节点、向心节点和离心节点记忆单元输出门；和分别为t时刻根节点、向心节点和离心节点输入；和分别为根节点、向心节点和离心节点输入门；和分别为根节点、向心节点和离心节点群时间细胞状态；和分别为根节点、向心节点和离心节点群空间细胞状态；和分别为根节点、向心节点和离心节点t时刻的细胞状态；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点输入序列的权重；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点的偏置；和分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；和分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态的权重；和分别为空间遗忘门对应于根节点、向心节点和离心节点的偏置；和分别为输入门对应于根节点、向心节点和离心节点输入序列的权重；和分别为输入门对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输入门对应于根节点、向心节点和离心节点的偏置；和分别为输入对应于根节点、向心节点和离心节点输入序列的权重；和分别为输入对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输入g对应于根节点、向心节点和离心节点的偏置；和分别为输出门对应于根节点、向心节点和离心节点输入序列的权重；和分别为输出门对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输出门对应于根节点、向心节点和离心节点的偏置；bo和bt分别为输出门和网络模型的偏置；为输入序列权重；为节点隐含状态权重；wh为总隐含状态权重；concatenate[·]为concatenate函数；σ(·)为sigmoid函数；tanh(·)为双曲正切函数；

进一步地，步骤s7的具体方法为：

将待识别数据作为训练后的时空图长短期记忆网络的输入，获取训练后的时空图长短期记忆网络的输出结果，将该输出结果与患者服药过程的骨架序列数据对应的结果进行比对，若相似度高于阈值，则判定该待识别数据中存在服药过程，否则判断该待识别数据中不存在服药过程，完成艾滋病患者用药依从性监测。

本发明的有益效果为：本发明引入时空图长短期记忆网络，以图的形式表示患者用药过程骨架关节之间的自然连接，以构建多帧中对应关节点的连接边表示上下文动作变化，学习骨架动作的时空演化模式，对艾滋病患者服药过程动作行为进行识别，实现对患者用药依从性的主动监测。

附图说明

图1为本发明的流程示意图；

图2为骨架节点结构图；

图3为人体骨架时空图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1、图2和图3所示，该艾滋病患者用药依从性监测方法包括以下步骤：

s1、采用kinect深度传感器采集患者服药过程的骨架序列数据，记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图；

s2、基于患者服药过程的骨架序列数据构建无向时空图；

s3、在骨架图上寻找每个节点的邻居节点集，并根据邻居节点与骨架重心的距离将邻居节点集划分为根节点本身、向心节点和离心节点；

s4、根据无向时空图构建时空图长短期记忆网络；

s5、将向心节点、离心节点和根节点作为时空图长短期记忆网络的输入，对时空图长短期记忆网络进行训练；

s6、采用与步骤s1至步骤s3相同的方法采集患者日常生活中的骨架序列数据对应的根节点、向心节点和离心节点，并将其作为待识别数据；

s7、采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在服药过程，完成艾滋病患者用药依从性监测。

步骤s1中患者服药过程包括打开药盒、取出药丸、喝水服药和关上药盒。步骤s1中记录患者关节位置，并检查患者骨架节点的完整性，形成骨架图的具体方法包括以下子步骤：

s1-1、采用kinect深度传感器以30帧每秒的采样速率获取患者关节在三维坐标系中的坐标；

s1-2、判断骨架节点是否出现遮挡，若是则取前后骨架数据完整的临近两帧中对应骨架节点的坐标平均值作为该遮挡位置处骨架节点的坐标值，进入步骤s1-3；否则直接进入步骤s1-3；

s1-3、根据人体骨架结构的连通性，将每个关节连接到连续帧中的相同关节，得到保留了骨架节点间的相对空间位置关系和对应骨骼点的时序关系的骨架图。

步骤s2的具体方法为：基于患者服药过程的骨架序列数据，在每一帧内按照人体的自然骨架连接关系构造空间图，获取节点矩阵集合v＝{vnk|n＝1,...,n；k＝1,...,k}，其中n为总帧数，k为关节点数；将帧与帧之间的边表示人体对应骨骼点的时序关系，获取骨架节点间的连接边集e；进而构建无向时空图g＝(v,e)。

步骤s3的具体方法包括以下子步骤：

s3-1、在骨架图上节点vtk的邻居集d(vtk)＝{vti|dist(vti,vtk)≤l上定义组合函数；其中dist(vti,vtk)为从节点vti到节点vtk的任何关节的最小长度；l＝1，即表示1邻居节点集；

s3-2、将人体骨骼关节按照两个臂、两根腿和躯干分为五个身体部分，并根据公式

寻找任一个节点作为根节点时，其相邻节点是向心节点或离心节点；其中nc＝{nc|c＝1,2,3,4,5}表示五个身体部分的重心，nc(vtj)表示节点vtj所属部分，节点vtj为输入节点；vtj表示t时刻的节点j；root表示根节点；centripetal表示向心节点；centrifugal表示离心节点；nci表示从根节点i到所属身体部分重心点nc的距离；ncj表示从相邻节点j到所属身体部分重心点nc的距离；其中身体部分重心为该身体部分骨架节点坐标的几何中心，即该身体部分中骨架所有关节的平均坐标。

步骤s4中时空图长短期记忆网络包括向心节点序列模型、离心节点序列模型和根节点序列模型；其中，

根节点序列模型为：

向心节点序列模型为：

离心节点序列模型为：

时空图长短期记忆网络的整体类别输出为：

yt＝(whht+bt)

yt为时空图长短期记忆网络在t时刻的输出；和分别为向心节点、离心节点和根节点骨架序列；xt为根节点、向心节点和离心节点的整体骨架序列；ht-1为t-1时刻的总隐含状态，ht为t时刻的总隐含状态，ht⁰、ht¹和ht²分别为根节点、向心节点和离心节点在t时刻的隐含状态；和分别为根节点、向心节点和离心节点群时间遗忘门；和分别为根节点、向心节点和离心节点群空间遗忘门；ot为t时刻记忆单元输出门；和分别为根节点、向心节点和离心节点记忆单元输出门；和分别为t时刻根节点、向心节点和离心节点输入；和分别为根节点、向心节点和离心节点输入门；和分别为根节点、向心节点和离心节点群时间细胞状态；和分别为根节点、向心节点和离心节点群空间细胞状态；和分别为根节点、向心节点和离心节点t时刻的细胞状态；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点输入序列的权重；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；和分别为t时刻时间遗忘门对应于根节点、向心节点和离心节点的偏置；和分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态权重；和分别为空间遗忘门对应于根节点、向心节点和离心节点隐含状态的权重；和分别为空间遗忘门对应于根节点、向心节点和离心节点的偏置；和分别为输入门对应于根节点、向心节点和离心节点输入序列的权重；和分别为输入门对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输入门对应于根节点、向心节点和离心节点的偏置；和分别为输入对应于根节点、向心节点和离心节点输入序列的权重；和分别为输入对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输入g对应于根节点、向心节点和离心节点的偏置；和分别为输出门对应于根节点、向心节点和离心节点输入序列的权重；和分别为输出门对应于根节点、向心节点和离心节点隐含状态的权重；和分别为输出门对应于根节点、向心节点和离心节点的偏置；bo和bt分别为输出门和网络模型的偏置；为输入序列权重；为节点隐含状态权重；wh为总隐含状态权重；concatenate[·]为concatenate函数；σ(·)为sigmoid函数；tanh(·)为双曲正切函数；

步骤s7的具体方法为：将待识别数据作为训练后的时空图长短期记忆网络的输入，获取训练后的时空图长短期记忆网络的输出结果，将该输出结果与患者服药过程的骨架序列数据对应的结果进行比对，若相似度高于阈值，则判定该待识别数据中存在服药过程，否则判断该待识别数据中不存在服药过程，完成艾滋病患者用药依从性监测。

在本发明的一个实施例中，还可以采用kinect深度传感器采集患者服药后不良反应行为作为的骨架序列数据，并将该数据作为时空图长短期记忆网络的输入进行训练，得到与不良反应对应的对照输出。然后采用训练后的时空图长短期记忆网络对待识别数据进行识别，判断待识别数据中是否存在不良反应过程，若存在不良反应过程，则表示患者大概率已用药，此时可适当降低步骤s7中的相似度阈值，进而辅助对艾滋病患者用药依从性的监测。

综上所述，本发明提出一种基于3d骨架的st-glstm深层网络学习模型，以识别艾滋病患者服药动作及服药后的人体不良反应行为，对患者用药依从性进行监测。本发明通过构建骨架时空图，以关节点拓扑结构表示节点间空间位置关系，以时间序列边缘的形式表达关节点的活动轨迹，设计符合骨架时空图的图长短期记忆(glstm)网络模型，包括向心、离心点群时间与空间遗忘门和向心点群时间与空间细胞状态，通过构建时空遗忘门与时空细胞状态，模拟骨架数据的时空状态，同时融合学习骨架根节点的向心点、离心点等邻居节点的时空特征，提高患者用药过程动作识别精度，完成对患者用药依从性的监测。