基于含时空多重注意力残差机制的患者识别方法及其系统

1.本发明涉及一种在非接触测量方式下追踪识别属于真正患者的方法,尤其是利用注意力机制在异质结构图中识别出患者的一种非接触式测量下含时空的多重注意力残差机制的患者识别方法,以及实现该方法的系统,属于人工智能医疗检测领域。


背景技术：

2.健康问题成为人们最关心的问题，因而各类体检出现状况的人群都会涌入医疗机构，给那些真正亟需诊断和治疗的病人的看病效率大打折扣，也出现了繁复混杂的医疗数据，致使专业人员很难、也几乎不可能在各大医疗机构中实现统一的医疗数据的整合以及对真正属于病患或疑似随访者的医疗信息提取从而进行相关的医学研究。
3.现有技术通过仪器检测数据的追踪，仅仅获得检测的结果，仍然需要结合病历进行分析而确知是否得病或已经不健康或亚健康，无法高效率地进行科学研究资料的获取，一般需要研究者或医生针对性地利用计算机系统对医疗数据进行人工的记录和整理。要在就诊者-医疗机构-科室-仪器这样的多元关系中找出所需要的病患或不健康、亚健康信息，并进一步整合是一个不小的大数据处理问题。
4.具体考虑数据处理时,各就诊者在不同的实体之间发生联系,即就诊者在医疗机构、不同科室、医疗器械、不同就诊者之间存在访问关系，本质是一个图的关系网络，并且是异质图，即各节点指向之间是相互的。具体这些图反映了节点、路径、子图之间的所感兴趣的研究对象的连通情况。对于一些重要的节点、路径、子图必须考虑如何加以利用以预测到所期望的结果。
5.然而这些节点、路径、子图时随着时间和空间变化，不同的时期和地域所反映的同一类节点、路径和子图的重要性也是不同的。现有技术对于异质图的算法考虑仅仅局限在图结构本身，并未考虑图所表征的时空特性。
6.因此，异质图在识别预测对象时的重要性计算中仅仅考虑异质图结构本身或仅仅考虑含时或含空的异质图结构不能客观地提取到所需要的重要性信息。


技术实现要素：

7.本发明从就诊者的医疗历程出发，从图的概念着手考虑以下几个问题：第一分析就诊者的就诊轨迹中所遇到的节点的特点，第二就诊者的就诊规律，第三，基于含时空的图的人工智能模型的构建。本发明的患者包括医学确诊的病患、医学疑似病患(例如病灶存在变化建议继续随访)、亚健康人群(医学数据显示偏移正常一定范围但未出现不可接受的症状，且在医学上建议继续观察或建议采取预防措施的人群)。就诊者包括患者、普通随访人群、体检人群。本发明的“特定”是表示对于所有路径、异构图g、所有地域、所有时期而言，分别选择了至少部分的子路径、子图、子地域、子时期，即剩余项r和残差项res的并集，相应的向量表示即为特定的向量表示。
8.为解决现有技术的医疗数据中识别就诊者是否真正属于病患的，从而获取有效医
疗信息的问题，从实现上述三个考虑的问题出发，以最终从海量的医疗数据中获取所需要的研究资料，本发明一方面提供了基于含时空多重注意力残差机制的患者识别方法，其特征在于包括如下步骤：
9.s1非接触测量数据集d以及患者诊断结果的深度学习模型m的构建；
10.s2根据所述数据集d建立基于含时空多重注意力残差机制的患者识别模型a；
11.s3获取待测数据,利用所述模型a识别患者，并根据所述深度学习模型m获得所识别的患者的健康状况分类。
12.其中s1具体包括：
13.s1-1网络系统的架构，s1-2非接触测量数据的获取，s1-3基于诊断数据的深度学习模型m 建立。
14.其中s1-1包括：
15.s1-1-1在不同医疗机构中部署至少一个数据集成安全网关bn(n∈[2,+∞],n∈z
+
)，利用所述至少一个数据集成安全网关bn对相应的至少一个医疗数据资源an进行加密；
[0016]
s1-1-2设置专线网络，核心交换机，通过专线网络进行交互并传输至核心交换机实现数据的集成，同时存储于数据库服务器sv中。
[0017]
其中s1-2包括：在所述至少一个数据集成安全网关bn所在的医疗机构用非接触式测量仪(例如生命体征雷达检测仪)对被测试者的生命体征信号进行检测，收集测试数据，同时收集就诊者的性别、年龄基本信息，进行用户群划分，并传送至相应的医疗资源an中，同时存储于数据库服务器sv中，形成数据集d。
[0018]
其中s1-3包括：积累数据库服务器sv中的测试数据,建立本地区域化的诊断数据(即包括测试数据以及包括诊断结果在内的诊断信息),基于诊断数据进行深度学习，并且诊断数据随着医疗资源数据的不断扩大和变化随时进行深度学习的优化，最终获取测试数据-诊断结果形式的深度学习模型m。
[0019]
其中，所述深度学习模型包括：卷积神经网络模型cnn、对抗生成网络gan、支持向量机svm、循环神经网络rnn。cnn从真实测量数据集的特征提取中获得诊断结果的归类，gan利用随机测量数据的判断训练而获得待测数据的实际准确归类，svm也是从数据到分类的有力工具，而rnn 则关注数据的时间积累从而获得特征的规律，从而从单独一个测量数据中预测其诊断结果。由于深度学习的模型m能够针对不同的非测量数据识别出多个不同的诊断结果，从而为注意力机制的识别结果的分类提供了基础。
[0020]
其中深度学习模型m建立过程为：
[0021]
s1-3-1所述数据库服务器sv调用数据集d，分为训练集d1、验证集d2和测试集d3；
[0022]
s1-3-2利用训练集d1中非接触测量信号数据，即一个周期性的生命体征的微动电压，是经过信号处理单元的放大、滤波、电平搬移和模数转换处理后而获得，作为深度学习模型m的输入端，而输出端通过全连接层fc和softmax函数为就诊者提供健康、亚健康、患病、病重四个分类；
[0023]
s1-3-3通过交叉熵损失函数反向传播优化模型网络参数，使用验证集d2验证准确率，当准确率大于预设值90-95％时即获得深度学习模型m。
[0024]
其中s2具体包括：
[0025]
s2-1建立属性异构信息网络模型ahin；由于就诊者-医疗机构-科室-仪器-时间五
个实体的多元关系中在图论中属于异构图关系，即五个实体作为节点，其之间的关系存在有向的连接关系，即医疗机构和就诊者之间存在选择关系，有些医疗机构对特定的疾病有专长，就诊者就倾向于前往这类医疗机构就诊，因而五个实体中从能够反映真正患者的就诊轨迹的规律上看其重要性也是不同的。例如，医疗机构的专长决定了看有些疾病可能人数很多，而另一些疾病的则少，根据病患的病情不同，一些科室可能就访的频次也不同，甚至无需与之发生联系，比如大多数情况无需前往手术室，一旦前往则大概率存在病患。而对于健康人群的体检则一般无需关注医疗机构专长而只要具备体检设定点或前往指定医院即可，具有不确定因素。
[0026]
因此我们从上述五个实体出发考虑就诊者的医疗路径在其成为本发明所定义的病患中的重要性，从而通过对路径的情况分类而使用注意力机制去捕捉这些重要性信息，最终通过一种多层的感知机制对是否属于病患做出判断，从而能够从就诊者本身出发，跳过海量的医疗数据搜寻而直接通过模型a挑选出来属于病患的具体的人，无需查询具体详细医疗数据而只关注就诊者与其他实体之间是否有过属于访问关系。因此理解就诊者在各个实体之间访问的行为轨迹成为识别的关键所在，对此需要构建属性异构信息网络模型ahin(attributedheterogeneous information network)。
[0027]
s2-1具体包括：
[0028]
s2-1-1对就诊者的所有就诊记录抽取出来，并从中构建了就诊者、医院、科室药物、非接触式测量仪、日期五个实体；其中，将所述就诊记录中药物和科室直接合并，只考虑就诊者是否存在从科室就诊出来进行取药的情况不考虑具体药物的品种。一则消除图的复杂性，二则也更符合病患的就诊轨迹特点。
[0029]
日期单位为天。由此，注意力机制就会排除基本在360天左右定点去某家医疗机构就诊的情况，也即这情况很可能就是每年定期体检的人群而非病患，但仍然不排除随访人群，于是科室药物实体成为关注的重要节点，对于随访者一般只会定期专门去往专门的仪器设备科室(放射科、核磁共振科室等)进行专业的详细检查，不会采用本发明非接触式测量仪，因此非接触式测量仪也是判断患者的重要关注的轨迹节点。
[0030]
s2-1-2通过对真实就诊场景中的不同类型五个实体及其相互关系建模成ahin，表示为异构图 g＝{v，e，x}，其中v为不同类型实体集，即节点集合(包括就诊者、医院、科室药物、非接触式测量仪、日期五个实体的节点)，为关系集，x为信息矩阵，设就诊者节点集在所述数据集d中每个就诊者u∈u都拥有一个标签lu
*
∈{0，1}，* 表示上标，表示该就诊者是否属于患者，当不属于时为0，属于则为1，将数据集d划分为训练集dtr
l
＝{(u
l
，lu
l
)}，验证集dv
l
＝{(u'
l
,lu'
l
)}，以及最终用于预测就诊者是否属于病的概率的测试集dt
l
＝{(u"
l
,lu"
l
)},训练集、验证集、测试集比例为1-5:1:5-1,下标l表示时空标记，即当研究的节点是在同一时期的，则l表示这一时期的某一地域含时空节点，记作l＝tr；而当研究的节点是在同一地域的，则l表示这一地域的某一时期的含时空节点,记作l＝rt，下同。
[0031]
根据前面所分析的实体作为节点的在之间相互关系不同地位和病患与非病患路径的特点，在异构图g建立之后需要借助图论将图中基于结构信息和语义对数据集d进行处理。
[0032]
在s2-1之后步骤s2-2包括：选取以就诊者为端点的语义路径，根据选取的语义路径找到邻居节点，具体包括：
[0033]
s2-2-1定义元路径和多重语义路径，具体地，元路径表示为记作元路径a1a2…al+1
，其中描述了就诊者a1和a
l+1
之间的元路径复合关系；多重路径表示为记作多重路径a1a2…al+1
，其中描述了就诊者a1和a
l+1
之间的多重路径复合关系，表示合成算符；
[0034]
结合实际的患者与非患者的就诊轨迹一般特点，我们选取如下路径形式：设就诊者p、医院h、科室药物c、非接触式测量仪n、日期t，所选取的路径为：
[0035]
元路径：ptp、php、pcp、pnp、ptp；
[0036]
二重路径：phcp、pcnp、phtp、pctp、pntp；可以理解的是phnp的情况与pcnp情况可以合并，因为不论是在医疗机构就诊还是在具体的某一科室中就诊，都指向了非接触式测量仪n，只要跟踪仪器就能获得有效的信息，同时考虑到减少运算量，我们仅仅考虑pcnp情况。此外对于逻辑上排除的路径也不予考虑，比如pchp，即就诊时逻辑上时到了医疗机构之后才寻访某个科室。而日期t由于是独立实体，具有可交换性，因此涉及t的排序变化对于重要性计算都是等同的。例如phtp和pthp是等同的，即h和t是可交换的。
[0037]
三重路径：phcnp、phctp、pcntp,同理phntp路径不考虑；
[0038]
四重路径：phcntp。
[0039]
s2-2-2选取基于所述所选取的路径的合适的邻居，具体包括:
[0040]
s2-2-2-1基于元路径的邻居集合。给定属性异构信息网络中的就诊者u，基于元路径的邻居被定义为ahin中就诊者u的给定元路径下的聚合邻居集；
[0041]
s2-2-2-2基于多重路径采样的邻居集合。给定属性异构信息网络中的就诊者u，基于多重路径采样的邻居被定义为ahin中用户u的给定多重路径下的聚合邻居集；
[0042]
s2-2-2-3构建异构子图，通过元路径和多重路径分解成多个不同程度的子图结构,记为设元路径数为n，则元路径合并形成多路径后，异构图将被分解为n个不同层次的元路径子图，对于多重路径子图同理定义。
[0043]
为进一步构建模型a，首先需要分析基于元路径和多重路径的邻居对基于真实数据集d的患者识别的影响，然后提出引入了一种基于多重注意机制的模型运用于患者识别。
[0044]
在s2-2之后步骤s2-3包括构建基于异构图的含时空多层次(多重)注意力残差机制的患者识别模型hgmharpr
l
(heterogeneousgraphbasedmultihierarchicalattentionresidualmechanismforpatientrecognizationlmode)作为基于含时空注意力残差机制的患者识别模型a，具体包括：
[0045]
s2-3-1特定时或空的节点聚合；
[0046]
利用定义好的元路径和多重路径采样的方式得到对于特定时或空的基于这些路径的邻居集合，通过集成邻居的特征信息来更加准确的表达就诊者的向量表示p，即p所代表的是特定时期(例如1-3年)或特定地域(以地理区域或某些疾病的地理分布)。根据以上
的实体重要性和路径特点分析，每个实体作为含时空异构图中的节点，其基于元路径或者多重路径的邻居在学习特定任务的节点向量表示时都有不同的重要性，例如，对于某一个年份的某一地理区域，对就诊者-医疗机构-就诊者模式的路径php的邻居集合里，每个邻居节点的特征与目标节点的特征的相似度有差异，对于我们通过邻居节点学习到目标节点的特征表示有着不同的影响；而这一路径php在其他时期和地理区域，这种影响也会不同，因此考虑到时空特性，我们在这里引入节点注意力机制，它可以学习到每个节点在不同时空的不同的重要性，并将这些有意义的邻居的向量表示聚合在一起形成对于特定路径的节点的向量表示。
[0047]
具体包括：s2-3-1-1给定通过路径ρ连接的节点对(i
l
，j
l
)，将重要性定义为这就表示着邻居节点j
l
对于目标节点i
l
的重要性度量。基于路径ρ的节点对(i
l
，j
l
)的重要性公式可以如下表示：
[0048][0049]
其中p
il
，p
jl
分别代表的是就诊者节点i
l
和就诊者节点j
l
的向量表示，ρ代表的连接两个节点的路径，a
nodel
是执行节点注意力残差机制的深层神经网络。
[0050]
实际上，在给定的同一条采样路径下，所有目标节点的邻居都是通过相同的连接模式被采样到，因此对于给定采样路径ρ，所有基于采样路径的节点对都共享a
nodel
。以下在路径、子图、子地域、子时期聚合的情况同样共享相应的注意力残差机制的深层神经网络。在得到邻居域中某个邻居节点j
l
目标节点i
l
的重要性之后，为了方便比较不同邻居节点的重要性系数，s2-3-1-2通过softmax函数对重要性做归一化的处理：
[0051][0052]
其中表示路径ρ中那些对预测结果影响不大的节点对应的权重系数，即重要性系数在第一预设范围[0.2,0.3]内，而而和分别为和对应归一化前的重要性，a
ρ
为路径ρ的节点注意力向量，其标注上标转置符a1之后代表对节点注意力向量进行转置操作，||为拼接操作，af为激活函数，对于路径ρ，为与节点i
l
相连的所有节点个数 (即邻居域节点个数)。af包括relu、leakyrelu、sigmoid、tanh。
[0053]
正如从公式(2)中可以看到的，(i
l
，j
l
)的权重系数取决于它们的特征向量p
xl
(x＝i，j，k)。权重系数是非对称的，因为它们对彼此的贡献程度也是不同的。这是因为目标节点发生变化，它的邻居域也会随之改变。它们拥有不同的邻居，所以归一化项(分母)会有很大的不同。
[0054]
接着步骤s2-3-1-3对节点i
l
的基于元路径或多重路径的向量表示通过邻居的投影特征与相应的系数进行残差聚合，如下所示：
[0055][0056]
其中表示的是节点i
l
在路径ρ上学习到的向量表示，σ是激活函数，优选地σ为
relu、 leakyrelu、sigmoid或tanh，f为第一控制指标，且m
(0)
∈[0.7,1]，为表示的路径ρ中邻居节点总数，表示对取整,且个权重系数为对应的路径选取方式是随机选取一种情况的或取遍所有可能情况
[0057]
应理解的是，当取遍所有可能情况时公式(3)中对于的求和是对于所有可能情况的，后文公式(5)(12)(16)(20)同理。
[0058]
由于最后预测值和真实值总是存在残差，因此不是所有的路径对于注意力机制都是重要的，一些反而是一种噪音，因此我们考虑注意力残差机制，通过作为噪音来控制注意力机制的性能，并且认为噪音来自那些权重系数较小某些节点，和f取值范围的选择会在后面路径和子图学习中获得不同向量表示。当m
(0)
为1时，即a
nodel
为一般节点注意力机制计算得到重要性而不为1时则a
nodel
为节点注意力残差机制(为描述统一,与一般节点注意力机制统称为节点注意力残差机制)计算得到重要性
[0059]
目标节点的向量表示都是由路径ρ采样得到的邻居聚合的。每个注意力权重系数都是针对单条特定的元路径或者多重路径生成的，因此我们认为它是特定语义的，通过这种方式能够捕获一种语义信息。
[0060]
异构图呈现出无标度的特性使得图数据的方差较大。我们将节点注意力扩展到多头注意力，使训练过程更加稳定，解决了方差大的问题。
[0061]
为此，将节点注意力残差机制重复k次，并将每次学习到的向量表示拼接起来，
[0062][0063]
在特定的子图结构中(即以就诊者为端点的那些子图)，给定路径集ρ＝{ρ1,ρ2,
…
,ρm}(即以就诊者为端点的特定子图结构中对于给定m
(0)
＝1时的所有路径)，邻居节点的特征在经过节点注意力残差机制的学习后，我们可以得到m组路径特定的节点向量表示，记作
[0064]
这里必须注意的是，公式(4)中虽然分出残差项但是与其相乘的p
il
是对应的邻居节点下的向量表示，而对于与剩余项(即上标为r的权重系数或重要性)相乘的向量表示则是剩余项相应的节点的向量表示。
[0065]
s2-3-2特定时或空的路径聚合。通常，子图中每个节点都包含多种类型的语义信息。前面节点注意力机制学习到了子图上每条路径上的节点向量表示。然而，特定单条路径的节点向量表示只能从一个方面反映节点信息。为了学习更全面的节点向量表示，需要将每条路径揭示的语义信息组合到每个不同的子图中，融合这些语义信息。
[0066]
在特定的任务中，每条路径对节点向量表示的都有不同的影响。在我们构建的异构图g 中，连接目标节点的路径采样的意义都不同，通过路径采样得到的与目标患者同一
科室就诊的患者集合和同一天有过就诊记录的患者集合学习到的向量表示，对于我们要判断目标患者是否为患者有着不一样的重要程度。因此在这一部分，我们需要学习不同路径对于我们最终任务的影响力。
[0067]
而对于路径的关注度系数可以反映不同路径对节点向量表示的影响力。我们提出一种路径注意力机制来自动学习不同路径的重要性，因此，
[0068]
s2-3-2-1聚合特定子图中的路径ρr中的节点向量表示，生成特定子图的向量表示，表达如下：
[0069][0070]
其中z
kl
代表的是特定子图的向量表示，ρr＝{ρ1,ρ2,
…
,ρn}代表特定子图中的路径集合 (可以是同种路径，也可以是不同种路径),为在路径ρr中的重要性在第二预设范围 [0.1,0.2]内,[0.1,0.2]内,为路径ρr的节点向量表示(已重复k次拼接),路径ρr总数n
res
为对应路径中的节点向量表示的总数，ρr即为权重系数对应的邻居节点所在路径的集合(注意ρr的上标r表示与中的上标r都是表述残余)，g为第二控制指标，且m
(1)
∈[0.8,1]，[m
(1)nres
]表示对m
(1)nres
取整，且[m
(1)nres
]个权重系数为对应的路径选取方式是随机选取一种情况或取遍所有可能情况对应的路径选取方式是随机选取一种情况或取遍所有可能情况和分别为重要性为和对应的节点向量表示。
[0071]
在这里就可以看到的不同能够控制到z
kl
的向量表示不同(也即选取路径由ρr所控)，从而影响到后续的聚合。由于残差的考虑，后续的数据体量减少，第二预设范围相应减小，以兼顾残差的调整同时争取保留更多的学习数据。
[0072]
为了了解子图中不同路径的对于最终任务的影响程度，我们采用注意力机制去赋予不同路径不同的权重。我们首先通过对变换后的路径向量表示与路径注意力向量q0的相似性来衡量路径特定的节点向量表示的重要性，如下所示：
[0073][0074]
其中表示路径的重要性，q
0l
代表路径注意力向量，w
0l
是权重矩阵，b
0l
是偏置向量。且σ、w
0l
、b
0l
对于子图中所有路径(包括特定任务的路径)的向量表示都共享，获得特定子图中的每条路径a
node
中的节点向量表示的重要性之后，通过softmax函数做归一化的处理为得到：
[0075][0076]
这里我们又看到，由于从计算得来，因此实际上也受到和f取值范围
的影响。
[0077]
s2-3-2-2将学习到子图中每条路径的的权重作为系数，对所有路径ρr特定的向量表示进行加权求和，得到特定子图向量表示z
kl
，其中对于子图给定的一组特定路径ρr的节点向量表示作为输入，每条路径的重要性表示为：
[0078]apathl
为路径注意力残差机制的深层神经网络；
[0079]
s2-3-2-3单独聚集每个子图内的指定路径的向量表示，并生成n'个特定子图的向量表示，表示为n'为特定子图数(例如子图为所有元路径、二重路径、三重路径的三类子图集合，则特定子图数为3，再例如一种情况是一共有三类子图集合，只是其中至少一类中存在元路径、二重路径、三重路径中的至少两种，即存在混合路径种类，则特定子图数还是为3)。注意到在路径注意力机制聚合中，每个子图的过程都是相对独立的，显然 n'＜n。
[0080]
s2-3-3特定时或空的子图的聚合，获得第一最终的节点向量表示z
l
。子图上特定单条路径的节点向量只能从一个方面反映节点信息。在上一节中我们可以看到，同一节点在每条路径上向量表示对于最终任务的重要性是不同的。一般来说，当同一节点位于不同的网络结构中时，它对目标节点也可能扮演不同的角色。现有研究表示不同子图对于最终任务的影响程度也有所不同。在这里，为了学习不同子图的重要性，提出了一种子图注意力机制。类似于路径注意力机制的聚合过程，给定子图特定的向量表示集合不同子图对于最终任务的重要性，表示如下：
[0081][0082][0083]
于是得到第一最终的节点向量表示a
subgraphl
为子图注意力残差机制的深层神经网络，为在子图集中的重要性在第三预设范围[0.05,0.1]内,h 为第三控制指标，且m
(2)
∈[0.9,1]，[m
(2)nres(2)
]表示对m
(2)nres(2)
取整，n
res(2)
表示对应的子图的向量表示的总数，且[m
(2)nres(2)
]个权重系数为对应的子图选取方式是随机选取一种情况或取遍所有可能情况方式是随机选取一种情况或取遍所有可能情况和分别为重要性为和
对应的子图的向量表示，是子图集中的元素。
[0084]
在此，我们注意到公式(10)中的即来自于公式(5)，因此的不同又能够控制到z
l
的向量表示不同，从计算得来，因此实际上也受到和f、g的取值范围的影响。
[0085]
s2-3-4不同时期或地域的聚合，获得第二最终的向量表示z'
l
。同一时期或地域的第一最终的节点z
l
上特定单条路径的节点向量表示同样不足以全面反映节点信息。在上一节中子图聚合中仍然可以看到，同一第一最终节点z
l
在每条子图路径上向量表示对于最终任务的重要性是不同的,即存在不同的重要性一般来说，当第一最终节点z
l
节点位于不同的时期和地域网络结构中时，我们意识到:它对目标节点也可能对重要性的贡献也有所不同。
[0086]
对于不同时期(ti(i＝1,2
…
,n'),n'为时期数)的医疗系统，由于其呈现的时期性特点，对于不同地域的不同子图对于最终任务的影响程度也有所不同；对于不同地域 (rgi(i＝1,2
…n(2)
),n
(2)
为地域数)的医疗系统，由于其呈现的地区性特点，对于不同时期的不同子图对于最终任务的影响程度也有所不同。这是因为不同疾病呈现出不同的时空特性，影响到就诊者为端点的路径、子图重要性贡献。
[0087]
为了学习不同时期和地域中不同子图的重要性，提出了一种时期和地域注意力机制。类似于路径注意力机制的聚合过程，当l＝tr时，给定子图特定的向量表示集合并加上不同地域rgi中子图对于最终任务的重要性；当l＝rt时，给定子图特定的向量表示集合并加上不同时期ti中子图对于最终任务的重要性，表示如下：
[0088]
当l＝tr时，第一最终的节点z
l
＝z
tr
表示为同一地域的不同时期的第一最终的节点，对此，先单独聚集每个地域rgi,i∈[1,n
(2)
],i∈z
+
(z
+
为正整数集)内的指定第一最终的节点的向量表示，并生成r＝n
(2)
个指定地域的向量表示为同理，类似于子图注意力机制的聚合过程，给定地域特定的向量表示集合不同地域对于最终任务的重要性，可以表示如下：
[0089][0090][0091][0092]
最后，我们需要融合每个特定地域所包含的信息，聚合特定地域子图的节点向量表示来获得第二最终的向量表示z'
tr
：
[0093]
此时，为在子图集
中的重要性在第四预设范围[0.02,0.05]内,l为第四控制指标，且m
(3)
∈[0.95,1]， [m
(3)nres(3)
]表示对m
(3)nres(3)
取整，n
res(3)
表示对应的子时期的向量表示的总数，且 [m
(3)nres(3)
]个权重系数为对应的子地域选取方式是随机选取一种情况或取遍所有可能情况种情况或取遍所有可能情况和分别为重要性为和对应的子地域图的向量表示，是子图集中的元素；
[0094]
当l＝rt时，第一最终的节点z
l
＝z
rt
表示为同一时期的不同地域的第一最终的节点，对此，先单独聚集每个时期ti,i∈[1,n'],i∈z
+
(z
+
为正整数集)内的指定第一最终的节点的向量表示，并生成t＝n'个指定时期的向量表示为同理，类似于子图注意力机制的聚合过程，给定地域特定的向量表示集合不同时期对于最终任务的重要性，可以表示如下：
[0095][0096][0097][0098]
最后，我们需要融合每个特定时期所包含的信息，聚合特定时期子图的节点向量表示来获得第二最终的向量表示z'
rt
：
[0099]
此时，为在子图集中的重要性在第四预设范围[0.02,0.05]内,l为第四控制指标，且m
(3)
∈[0.95,1]， [m
(3)nres(3)
]表示对m
(3)nres(3)
取整，n
res(3)
表示对应的子地域的向量表示的总数，且 [m
(3)nres(3)
]个权重系数为对应的子时期选取方式是随机选取一种情况或取遍所有可能情况有可能情况和分别为重要性为和对应的子时期的向量表示,是子图集中的元素；
[0100]
其中a
subregion
和a
subtime
分别为子地域和子时期注意力残差机制的深层神经网络，π
ti
、τ
ri
分别表示子图、特定地域、特定时期的重要性，q
1l
和q2、q'2分别代表子图、特定地域、特定时期的注意力向量，w
1l
和w2、w2'是权重矩阵，b1和b2、b'2是偏置向量,重要性、注意力向量、权重矩阵、偏置向量分别在各自的子图集、特定地域、特定时期之间共享,p为子图集所有特定子图总数即n',q为子地域集或子时期
集中所有子地域总数r＝n
(2)
或子时期总数t＝n'。具体地说，π
ti
、τ
ri
越大则分别代表子图、特定地域、特定时期对最终任务来说越重要。
[0101]
并且在此，我们注意到公式(14)和(18)中的和都来自于z
l
也即与公式(5)z
kl
相关，因此的不同还能够控制到和的向量表示不同，因此π
ti
、τ
ti
实际上也都受到和f、g、h取值范围的影响。这是我们利用残差聚合的思想来实现不同的向量表示下的学习，丰富了网络性能，即便验证证明残差项的忽略并不能带来预测准确率的提升，由于m
(0)
、 m
(1)
、m
(2)
、m
(3)
的值都能取到1，因此我们的残差机制至少不会比原先的准确率差。
[0102]
s2-3-5将第一最终的向量表示z
l
和第二最终的向量表示z'
tr
和z'
rt
输入多层感知机(mlp) 进行病患识别，使用训练集dtr
l
训练模型，采用交叉熵作为损失函数(loss)，通过反向传播最小化函数来优化模型权值，交叉熵分别被表示为：
[0103]
和
[0104]
其中y
l
是具有标签的节点索引的集合，y和分别是节点的标签和第二最终的向量表示的预测，w是分类器的参数，当使用验证集dv
l
预测准确率acc大于预设阈值thres， loss趋于稳定值时认为获得了给定路径集{ρ1,ρ2,
…
,ρm}的基于注意力机制的患者识别模型a，记作a＝{a
tr
,a
rt
}，其中a
tr
＝mlp[region(subgraph
tr
{path
tr
[node
tr
(ρ1,ρ2,
…
,ρm)]})]， a
rt
＝mlp[time(subgraph
rt
{path
rt
[node
rt
(ρ1,ρ2,
…
,ρm)]})]其中node
tr
(ρ1,ρ2,
…
,ρm)和 node
rt
(ρ1,ρ2,
…
,ρm)表示分别在特定时期和地域节点聚合(其形式即公式(4))， path
tr
[node
tr
(ρ1,ρ2,
…
,ρm)]和path
rt
[node
rt
(ρ1,ρ2,
…
,ρm)]表示分别在特定时期和地域节点聚合基础上的特定时期和地域路径聚合(其形式即公式(5))， subgraph
tr
{path
tr
[node
tr
(ρ1,ρ2,
…
,ρm)]}和subgraph
rt
{path
rt
[node
rt
(ρ1,ρ2,
…
,ρm)]}表示分别在特特定时期和地域路径聚合基础上的特定时期和地域子图聚合(其形式即公式(12))， region(subgraph
tr
{path
tr
[node
tr
(ρ1,ρ2,
…
,ρm)]})和 time(subgraph
rt
{path
rt
[node
rt
(ρ1,ρ2,
…
,ρm)]})表示分别在特定时期和地域子图聚合基础上的不同地域和时期聚合(其形式即公式(16)，(20))，mlp[
·
]为多层感知机。
[0105]
在基于异构图g模型中，我们使用上述通过注意力机制框架来学习权重，并逐层聚合信息，从而得到有意义的就诊者节点向量表示。最后将就诊者节点向量表示用于进行预测就诊者是否是病患。
[0106]
s3具体包括：
[0107]
s3-1根据l取值不同，获取相应的测试集dt
l
作为待测数据，将其中就诊者的向量表示输入到所述模型a＝{a
tr
,a
rt
}中识别出患者的概率其中pu为第u个患者的向量表示；
[0108]
s3-2将a
tr
,a
rt
中预测的概率大于预设值pos
p
的最大者对应的患者的非接触式测量的测试数据输入到深度学习模型m中得到被识别的患者的具体诊断分类，而较小者对应的深度学习模型m识别的具体诊断分类作为参考分类class
ref
；若利用a
tr
,a
rt
计算的大于预设值pos
p
的概率值相等，则任选一者作为具体诊断分类，此时无参考分类。
[0109]
s3-3将所有概率大于预设值pos
p
的患者的诊断分类class和参考分类class
ref
存
到数据库服务器sv中形成医疗数据信息库i(d,m,a,class,class
ref
)，其中d,m,a分别为数据集、深度学习模型以及基于含时空多重注意力残差机制的患者识别模型。
[0110]
本发明的另一个方面，提供了基于含时空多重注意力残差机制的患者识别系统，其特征在于包括非接触式测量仪、非接触式测量网络系统、客户端，其中非接触式测量仪用于对就诊者进行非接触式生命体征测量仪，包括了发射天线、接收天线，等效采样接收机、信号处理单元、方波激励源和时序控制单元，其中，
[0111]
所述非接触式测量仪为生命体征雷达检测仪，其方波激励源产生的一路方波驱动发射电路形成双极型发射高斯脉冲，连续向对就诊者发射；生命体征雷达检测仪的方波激励源产生的另一路方波通过时序控制单元的精确延时后驱动取样脉冲产生电路，形成单极性取样高斯脉冲；双极型发射高斯脉冲经发射天线发射后，遇到就诊者发生反射，接收天线恰好接收该回波脉冲信号，经过精确延时的取样脉冲也正好到来；等效采样接收机对回波信号进行累积，得到一个输出电压信号，生命体征发生变化，等效采样接收机输出电压信号也随之改变，就诊者发生的微弱周期运动，通过回波信号的频率或相位的变化，等效采样接收机便可以获得一个周期性的生命体征的微动电压信号；电压信号经过信号处理单元的放大、滤波、电平搬移和模数转换处理后，传送至医疗机构中设置的非接触式测量网络系统中；
[0112]
所述非接触式测量网络系统包括：以太网，核心交换机、专线网络、至少一个数据集成网关bn，与所述至少一个数据集成网关bn可数据交互的相应的至少一个医疗资源an,以及数据库服务器sv，其中，以太网用于接收非接触式生命体征测量仪和/或和客户端的数据交互，并且以太网与核心交换机、核心交换机与专线网络，专线网络与至少一个数据集成网关bn，以及核心交换机与数据库服务器sv之间可数据交互；
[0113]
所述数据库服务器sv用于调用数据集进行深度学习模型以及基于含时空多重注意力残差机制的患者识别模型的建模以实现本发明第一个方面的基于含时空多重注意力残差机制的患者识别。
[0114]
本发明的第三个方面，提供一种非暂时性存储介质，其中存储有可由所述数据库服务器 sv运行而实现上述患者识别方法的计算机可读程序。
[0115]
有益效果
[0116]
(1)基于含时空注意力残差机制的患者识别模型避免了繁重的医疗数据搜寻而直接从就诊者信息出发获得是否属于患者的识别结果，大大提高了资料整合效率；
[0117]
(2)通过非接触式测量的深度学习进一步对基于含时空注意力残差机制的患者识别模型识别的患者进行诊断结果的分类，从而为医学研究提供了较为快捷完备的系统的研究资料；
[0118]
(3)利用注意力残差机制实现了重要性的噪音的学习和消除，并起到不会比原先的网络准确率差的效果；同时噪音的消除也使得后级各层次的聚合计算荷载降低，综合考虑了准确率以及载荷的算法。
[0119]
(4)注意力残差机制由于考虑到含时空的影响因素，为预测数据的准确性提供了更加丰富可靠的网络性能。
附图说明
[0120]
图1元路径(a)、二重路径(b)、三重路径(c)和四重路径(d)定义示意图，
[0121]
图2按路径种类聚合的基于含时空多重注意力残差机制的患者识别模型a的构建流程示意图，
[0122]
图3本发明实施例3的非接触式测量下基于含时空注意力残差机制的患者识别系统结构组成示意图，
[0123]
图4医疗数据信息库i(d,m,a,class,class
ref
)建立流程示意图。
[0124]
其中附图标记，1生命体征雷达检测仪，2非接触式测量网络系统。
具体实施方式
[0125]
实施例1
[0126]
本实施例对于本发明的原理进行说明，非接触式测量下基于含时空多重注意力残差机制的患者识别方法，基本原理是利用ahin建模真实就诊场景，将患者识别问题建模为ahin中的一个分类问题，并通过元路径和多重路径来捕获ahin中的交互信息。其次，通过多层注意力残差机制将这些交互信息汇聚进行学习。最后将学习到的向量表示信息输入多层感知机 (mlp)进行患者识别，即本发明所提出的hgmharpr
l
模型的完整内容。
[0127]
其中，在步骤s1中，在结构化的非接触测试数据经过处理后，建立了异构图g。需要通过图表示学习算法将数据转化成低维向量表示，采用基于语义路径的方法抽取网络中的结构信息和丰富语义对数据进行处理。
[0128]
s2-1中根据元路径和多重语义路径的定义，本实施例就诊者ahin中元路径和多重语义路径的含义进一步阐名。如图1(a)所示，我们构建了一个ahin来对就诊场景进行建模。实体属性异构网络中包含多种类型的对象(即包括就诊者p、医院h、科室药物c、非接触式测量仪n、日期t五个实体的节点)，具有丰富的属性和关系。
[0129]
在ahin中，两个就诊者可以通过多条元路径连接，例如就诊者-科室药物-就诊者(pcp)、就诊者-非接触式测量仪-就诊者(pnp)、就诊者-日期-就诊者(ptp)。不同的元路径总是表达不同的语义。例如，路径pcp表示该元路径连接的两个就诊者在同一个科室看过病或都采用过药物。而路径ptp表示该元路径连接的两个就诊者在同一天有过就诊记录。两个就诊者可以通过多条多重语义路径连接。例如1(b)，路径phtp表示该路径连接的两个就诊者同一天在同一个家医疗机构看过病。通过路径phntp与就诊者连接的表示与其同一天在同一家医疗机构的同一台非接触式测量仪上检测过。同理图1(c)和1(d)个多重路径情况以此类比分析。
[0130]
异构图g中目标节点表征的学习的关键在于如何准确的传播聚合邻居的信息。基于上述的元路径和多重语义路径的定义去选取基于语义路径合适的邻居。
[0131]
s2-2中基于元路径的邻居集合以及基于多重路径采样的邻居集合我们举例来说明就诊 ahin中选取的邻居节点。例如给出元路径php，就诊者x的邻居是y和z。同样，基于多重路径phntp的就诊者x的邻居只有y。显然，基于元路径的邻居和基于多重路径的邻居都可以利用ahin中不同方面的结构信息。选取合适的节点之后，我们需要将这些邻居节点的特征信息聚合并传播给目标节点，用以学习目标节点的最终向量表示。
[0132]
在s3中，我们首先对真实就诊场景和医疗数据进行观察，分析了基于元路径和多
重路径的邻居对基于真实数据的患者识别的影响，然后提出引入了一种基于多重注意机制的模型a 运用于患者识别检测。我们在图2中展示了该模型的总体结构。首先，我们基于不同的元路径和多重路径聚合每个用户的邻居，以整合ahin中多个方面的结构信息去更好地进行表示学习。在此基础上，通过语义关注度区分元路径和多重路径的差异，得到特定任务特定语义节点向量的最优加权组合。最后考虑不同的异构子图对于最终目的的重要性，我们对异构子图这一层也采用了注意力机制学习不同子图的偏好。
[0133]
对于真实患者以及测试数据集d观察可以看出，患者通常更倾向于多实体之间发生连接关系，通过不同类型实体的交互紧密的聚合在一起。患者更倾向于在同一家医院进行就诊或者同一科室留下医疗记录，而体检人员明显地与非测量仪器n发生连接关系。为了验证不同交互关系下的患者的聚合情况，我们在真实数据集上进行实验。我们首先基于两条元路径php 和ptp收集每个患者基于元路径的邻居，我们统计患者的数量。并根据不同的路径分为多个组，计算每个小组的患者的比例。如表1，通过观察结果表示不同的基于元路径的邻居对患者的影响程度(提升率)不同。可以看到不同的语义路径对于患者有不同的重要性，因此能够采用注意力机制去捕获这些不同的重要性。
[0134]
表1元路径php和ptp中不同患者节点邻居数的统计患者数量提升率比对表
[0135]
患者节点邻居数123＞3php1300276058506300ptp380540800770
[0136]
实施例2
[0137]
如图2所示，以就诊者节点向量维输入端，通过节点注意力残差机制、路径注意力残差机制、子图注意力残差机制(采用每一类特定子图中采用单一路径种类，即如图2所示的、每一类仅包含元路径，或二重或其他更多重路径)、地域或时期注意力残差机制而获得第一最终的向量表示z
l
即以及第二最终的向量表示z'
tr
或z'
rt
，利用多层感知机mlp输出患者的预测概率，通过交叉熵损失函数loss进行反向传播，调整各注意力残差机制参数和mlp网络参数，最后当准确率acc大于阈值thres(70-80％)时认为已经建立了hgmharpr
l
模型，即完成基于含时空多重注意力残差机制的患者识别模型a的构建。表2给出了不同的训练集dtr
l
，验证集dv
l
，以及最终用于预测就诊者是否属于病的概率的测试集dt
l
比例的条件下，hgmharpr
l
模型的预测准确率acc的结果。
[0138]
表2 hgmharpr
l
模型的预测准确率acc的结果
[0139]
dtr
l
:dv
l
:dt
l
1:1:42:1:24:1:1acc0.850.820.84
[0140]
实施例3
[0141]
如图3所示，本实施例给出了本发明非接触式测量下基于含时空多重注意力残差机制的患者识别系统，包括生命体征雷达检测仪1、非接触式测量网络系统2、客户端，其中生命体征雷达检测仪1用于对就诊者进行非接触式生命体征测量仪，包括了发射天线、接收天线，等效采样接收机、信号处理单元、方波激励源和时序控制单元，其中，生命体征雷达检测仪的方波激励源产生的一路方波驱动发射电路形成双极型发射高斯脉冲，连续向对就诊
者发射；生命体征雷达检测仪的方波激励源产生的另一路方波通过时序控制单元的精确延时后驱动取样脉冲产生电路，形成单极性取样高斯脉冲；双极型发射高斯脉冲经发射天线发射后，遇到就诊者发生反射，接收天线恰好接收该回波脉冲信号，经过精确延时的取样脉冲也正好到来；等效采样接收机对回波信号进行累积，得到一个输出电压信号，生命体征发生变化，等效采样接收机输出电压信号也随之改变，就诊者发生的微弱周期运动，通过回波信号的频率或相位的变化，等效采样接收机便可以获得一个周期性的生命体征的微动电压信号；电压信号经过信号处理单元的放大、滤波、电平搬移和模数转换处理后，传送至医疗机构中设置的非接触式测量网络系统2中；
[0142]
所述非接触式测量网络系统2包括：以太网，核心交换机、专线网络、至少一个数据集成网关bn，与所述至少一个数据集成网关bn可数据交互的相应的至少一个医疗资源an,以及数据库服务器sv，其中，以太网用于接收非接触式生命体征测量仪和/或和客户端的数据交互，并且以太网与核心交换机、核心交换机与专线网络，专线网络与至少一个数据集成网关bn，以及核心交换机与数据库服务器sv之间可数据交互；
[0143]
所述数据库服务器sv用于调用数据集d进行深度学习模型cnn以及基于含时空多重注意力残差机制的患者识别模型a的建模以实现本发明第一个方面的非接触式测量下基于含时空多重注意力残差机制的患者识别。
[0144]
其中深度学习模型cnn建立过程为：
[0145]
s1-3-1所述数据库服务器sv调用数据集d，分为训练集d1、验证集d2和测试集d3；
[0146]
s1-3-2利用训练集d1中非接触测量信号数据，即一个周期性的生命体征的微动电压，是经过信号处理单元的放大、滤波、电平搬移和模数转换处理后而获得，作为深度学习模型cnn的输入端，而输出端通过全连接层fc和softmax函数为就诊者提供健康、亚健康、患病、病重四个分类；
[0147]
s1-3-3通过交叉熵损失函数反向传播优化学习模型网络参数，使用验证集d2验证准确率，当准确率大于预设值90-95％时即获得深度学习模型cnn。
[0148]
接着深度学习模型m将用于步骤s3：
[0149]
s3-1根据l取值不同，获取相应的测试集dt
l
作为待测数据，将其中就诊者的向量表示输入到所述模型a＝{a
tr
,a
rt
}中识别出患者的概率其中pu为第u个患者的向量表示； s3-2将a
tr
,a
rt
中预测的概率大于预设值80％的最大者对应的患者的非接触式测量的测试数据输入到深度学习模型m中得到被识别的患者的具体诊断分类，而较小者对应的具体诊断分类作为参考分类class
ref
；若利用a
tr
,a
rt
计算的大于预设值80％的概率值相等，则任选一者作为具体诊断分类，此时无参考分类。
[0150]
s3-3将所有概率大于预设值80％的患者的诊断分类class和参考分类class
ref
存到数据库服务器sv中形成医疗数据信息库i(d,m,a,class,class
ref
)，其中d,m,a分别为数据集、深度学习模型以及基于含时空多重注意力残差机制的患者识别模型。(如图4所示,其中模型a部分如图2所示)。