一种基于多任务学习的肺结节合并焦虑抑郁初筛方法与流程

本发明属于人工智能心理学，特别涉及一种基于多任务学习的肺结节合并焦虑抑郁初筛方法。

背景技术：

1、随着ct对肺癌筛查的普及，肺结节的检出率不断提高。肺结节是指影像学表现为肺周围孤立或多发的直径≤3cm，局灶性、类圆形的实性或亚实性密度增高影，不伴有肺不张、肺门淋巴结肿大和胸腔积液。虽然大多数肺结节都是良性病变，但在肺结节的发现和长期随访过程中，很多患者承受着巨大的心理压力，产生焦虑、抑郁等不良情绪。

2、有研究显示，肺结节患者发生焦虑的概率高达39％，由于患者缺乏对肺结节的正确认识，导致其过高评价了结节的肺癌风险，给患者增加了一定的心理负担。此外，焦虑和抑郁可以抑制患者的免疫功能，增加肿瘤恶化的风险，导致生活质量下降。对于接受肺结节手术的病人，如果患者术前出现心理困扰，可能导致术后认知功能下降，疼痛加重，术后不良事件发生率以及相应的医疗服务投资增加。

3、已有学者关注肺结节患者的的焦虑、抑郁情绪，但大多数研究对焦虑抑郁检测方法以量表为主，现有的焦虑抑郁检测方法中可信度较高的主要是汉密尔顿焦虑量表(hamilton anxietyscale，hama)和汉密尔顿抑郁量表(hamiltondepressionscale，hamd)。一般医务人员采用填写量表的方式与患者交谈，同时观察患者的表情及肢体动作，对患者进行评分，以此诊断患者焦虑、抑郁情绪。在上述过程中，合并焦虑、抑郁患者的面部微表情往往会有特征性的表现，这些微表情的识别无法通过肉眼完成。

4、目前医疗对肺结节患者的焦虑、抑郁关注度较低，并且对此类患者的情绪障碍诊断存在一定的缺陷，继而导致肺结节合并焦虑、抑郁患者等不到相应的治疗，具体表现在以下几个方面：

5、(1)传统量表评估的方式要求操作医生具有一定心理学知识，患者需要主动配合整个调查过程。但大部分呼吸专科医生缺乏专业的心理学知识，一些肺结节患者年纪较大，文化程度不高，难以配合量表的填写。

6、(2)量表评估的过程中，评估的结果受医生和患者的主观因素干扰，患者的焦虑、抑郁严重程度得不到准确评估，无法制定个体化治疗方案，导致焦虑抑郁的干预不足或过度医疗；

7、(3)肺结节合并焦虑、抑郁的患者在定期随访肺结节的同时，需要同时对患者的心理状态进行动态评估，了解其病情是否改善，但反复多次量表评估，患者配合度较差，可行度低，难以执行。

8、以上多种因素，一定程度上导致肺结节患者的焦虑和抑郁得不到准确评估和有效的治疗。

9、因此，发明一种基于多任务学习的肺结节合并焦虑抑郁初筛方法来解决上述问题很有必要。

技术实现思路

1、针对上述问题，本发明提供了一种基于多任务学习的肺结节合并焦虑抑郁初筛方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于多任务学习的肺结节合并焦虑抑郁初筛方法，包括数据预处理模块、特征提取模块、特征交互模块以及多任务学习模块；

3、数据预处理模块：对于连续帧人脸图像，使用开源工具openface将非人脸区域像素值置为(0,0,0)，得到人脸感兴趣区域(roi region of interest)图像序列；

4、特征提取模块：包括肺结节特征提取和面部微表情特征提取；

5、特征交互模块：采用区域互注意力机制来交互肺部ct特征和面部微表情特征；

6、多任务学习模块：包括焦虑抑郁预测模块和肺结节检测模块。

7、进一步的，所述数据预处理模块的具体方法为：

8、微表情通常在人脸的特定区域中出现，而不是涉及整个人脸，例如嘴角、眉毛、面颊、鼻子，因此为了更准确地捕获和分析微表情，使用面部动作单元(aus action units)来表示人脸各区域肌肉的细微动作；

9、借助开源工具openface逐帧提取人脸图像的aus强度(0-5)，并获取每张人脸的关键点坐标，当au强度≥2，则认为该动作发生；

10、利用先验知识并结合人脸关键点坐标，给每个au划分出相应的区域，所有au值大于等于2的区域，将像素置为1，其余区域置为0，得到人脸微表情区域二值图序列；

11、由于ct图像的像素强度通常用亨氏单位(hounsfield hu值)来表示，参考medicaldetectiontoolkit中肺结节检测时的处理方案，将肺部ct图像的hu值截断至(-1200-600)，并统计像素值的均值方差再做归一化。

12、进一步的，所述特征提取模块中的肺结节特征提取的方法为：

13、使用3d-unet来提取肺部ct的特征图；

14、此外对于肺部ct特征图，使用一个rpn(region proposal network)来得到初步的肺结节候选位置。

15、进一步的，所述特征提取模块中的面部微表情特征提取的方法为：

16、首先逐帧将人脸图像和微表情区域二值图分别送入cnn backbone，得到各自的特征图序列；

17、再对同一帧的人脸和微表情特征图逐元素点积，从而得到对微表情区域进行增强的面部特征图序列；

18、最后将面部特征图序列送入lstr(long short-term transformer)(xu m,xiongy,chen h,et al.long short-term transformer for online action detection[j].advances in neural information processing systems,2021,34:1086-1099.)来对长时间序列特征进行建模，得到全局面部微表情特征。

19、进一步的，所述特征交互模块的具体方法为：

20、使用了mask-attention模块，只在rpn得到的肺结节候选位置内和面部微表情特征进行交互，特征交互编码器整体上与transformer编码器结构类似，不同的是在self-attention模块前后分别插入了mask-attention和cross-attention模块。

21、进一步的，所述mask-attention模块为：让rpn得到的肺结节候选位置外的区域不参与相似度计算，将这些不参与运算的地方在softmax时置为0；首先得到rpn候选位置二值图，候选区域内为1外为0，把它作为mask输入至特征交互编码器，从而将肺部ct特征(feature1)的masked attention限制在肺结节候选位置内。

22、进一步的，所述mask-attention模块的公式如下：

23、

24、注意力掩码mrpn在坐标(x，y)的值为：

25、

26、其中，m(x，y)∈{0，1}是rpn候选区域的二值化输出。

27、进一步的，所述cross-attention模块为，将query替换为面部微表情的特征嵌入(feature 2)，使得mask后的肺部ct特征能够与面部微表情特征进行关联，最后经过feedforward输出得到交互特征。

28、进一步的，所述多任务学习模块中的焦虑抑郁预测模块的具体方法为：患者焦虑抑郁程度主要是根据量表得分来进行区分；在这里使用两个回归头来对患者焦虑抑郁得分别进行预测；因为是初筛系统，最后针对不同任务之间的loss差异，对回归的分数设定一个动态加权损失函数的阈值来判定患者是否患有焦虑抑郁；

29、所述多任务学习模块中的肺结节预测模块为：用一个检测头来检测肺结节位置以及肺结节属性(良性、恶性)。

30、进一步的，所述动态加权损失函数为：

31、ltotal＝wdepressionldepression+wanxietylanxiety+wiouliou+wclslcls

32、其中，ldepression、lanxiety分别是焦虑、抑郁预测模块的损失函数，采用均方误差损失；liou是肺结节边界框损失函数，采用i0u loss；lcls是肺结节良恶性二分类的损失函数，采用bce loss；

33、wdepression、wanxiety、wiou、wcls是可学习的损失函数权重，定义任务k的权重wk:

34、

35、

36、其中t为训练批次，k为任务序号，λk是不同任务的学习速率，用上一轮和上上一轮训练的loss比率来表示。如果任务k的前后两轮loss下降过快，λk会相对变小，从而使得相应的权重wk减小；此外，由于多任务学习中不同任务的loss之间存在量级不统一的情况，为了找到两个任务之间的正确平衡，首先对每个任务进行单独训练，得到它们收敛时的梯度大小grad_k，用来统一不同任务权重的量级。

37、本发明的技术效果和优点：

38、1、本发明提出的基于多任务学习的肺结节合并焦虑抑郁初筛方法可以将肺结节特征与面部微表情特征联系起来，给医生一个初步的肺结节和焦虑抑郁筛查结果，以便及时发现病人的肺结节和心理异常情况并进行干预和治疗；

39、2、本发明提出的面部微表情特征提取方法，分别提取人脸图像与微表情区域二值化图像，对两者的特征图进行点积使得模型在特征提取过程中更加关注与微表情相关的人脸区域；

40、3、本发明提出的区域互注意力机制，仅在肺结节建议区域内和面部微表情特征进行交互，在特征融合的同时降低了计算量；

41、4、本发明提出的动态加权损失函数，可以有效缓解多任务学习的训练过程中不同任务之间损失函数差异过大的问题。

42、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书和附图中所指出的结构来实现和获得。