一种糖尿病无创风险预测方法

技术特征：
1.一种糖尿病无创风险预测方法，该方法包括以下内容：获取或构建包含糖尿病病人和健康人人脸图像的数据集，对数据集中的图像样本进行预处理，定位出人脸图像特征点，获得多个关键区域，将关键区域裁剪、拼接并标记糖尿病诊断信息，获得标记好的样本数据集；构建残差注意力网络，对标记好的样本进行有监督的机器学习，通过训练调参后获得糖尿病无创风险预测模型。2.根据权利要求1所述的糖尿病无创风险预测方法，其特征在于，所述数据集中的样本图像为在相同自然环境状态(光照、角度、表情)下通过高清摄像头采集的大量受试者正脸面部图像，为自建糖尿病患者和健康人人脸图像的数据集，具体过程是：招募大量糖尿病受试者和健康人受试者，设置纳排标准：所有受试者年龄需在40～90岁之间；面部皮肤无明显的疤痕，且面部图像采集当日没有化妆，其中糖尿病受试者需满足已在二级及以上医疗机构做出过明确的糖尿病诊断；健康人受试者血糖范围满足空腹全血血糖:3.9～6.1毫摩/升、餐后1小时:6.7-9.4毫摩/升、餐后2小时:≤7.8毫摩/升，或三个月内的体检报告中糖化血红蛋白h1a1c<6.5％,且无糖尿病史；所有受试者在年龄、性别等方面无明显统计学差异；在一间光照良好的房间里，受试者端坐在桌子的一端，将头部固定在额托支架上，桌子的另一端放置一台高清摄像机，通过调整额托支架的高度，确保摄像机能够清晰的拍摄到受试者正脸的面部图像，整个样本采集的过程，尽可能保证受试者拍照角度、表情以及外部光照条件一致。3.根据权利要求1所述的糖尿病无创风险预测方法，其特征在于，标注采用dlib工具包中预训练好的模型“shape_predictor_68_face_landmarks.dat”进行68点标定，利用opencv进行图像化处理，在人脸上画出68个点；根据68个特征点的坐标，进行关键区域的定位及裁剪；所述关键区域为避开包括眉毛、眼睛、鼻子、嘴巴的面部器官所在区域内分散选择，关键区域形状为矩形。4.根据权利要求3所述的糖尿病无创风险预测方法，其特征在于，设置四个关键区域，分别为额头区域(a)、左颊区(b)、右颊区(c)、下鄂区(d)；具体操作方式是：首先采用机器学习工具包dlib中的人脸特征点检测方法，对人脸样本进行68个关键点位的轮廓标注，每个点的坐标记为p
i
(x,y)，i＝1～68；以p9(x,y)所在的水平轴为横坐标轴记为x轴，p1(x,y)所在的垂直轴为纵坐标轴记为y轴，同时根据特征点之间的坐标关系划定4个大小相同的正方形关键区域(64
×
64像素)，分别记为a、b、c、d；若要准确的定位关键区域在人脸图像中的位置，必须先定位关键区域中心点的坐标，记关键区域a、b、c、d中心点的坐标分别为p
a
(x,y)、p
b
(x,y)、p
c
(x,y)、p
d
(x,y)；关键区域a在人脸中轴线上方额头区域附近，p
a
(x,y)的横坐标取鼻尖特征点34的横坐标记为p
34
(x)，纵坐标取眉毛最高点的特征点对应的纵坐标记为p
max-high
(y)，同时加上关键区域像素值64对应长度的一半记为h，p
a
(x,y)的计算公式为：p
a
(x,y)＝(p
34
(x),p
max-high
(y)+h)
ꢀꢀꢀꢀ
(1)关键区域b、c分别在人脸的左右脸颊附近，p
b
(x,y)、p
c
(x,y)的计算公式为：p
b
(x,y)＝(p
42
(x),p
32
(y))
ꢀꢀꢀꢀ
(2)p
c
(x,y)＝(p
47
(x),p
36
(y))
ꢀꢀꢀꢀ
(3)
p
b
(x,y)的横纵坐标分别为左眼最低处的特征点42的横坐标记为p
42
(x)，鼻子最左侧特征点32的纵坐标p
32
(y)；p
c
(x,y)的横纵坐标分别为右眼最低处的特征点47的横坐标记为p
47
(x)，鼻子最右侧特征点36的纵坐标记为p
36
(y)；关键区域d在嘴巴下方的中轴线附近，p
d
(x,y)的横坐标为嘴巴最下端特征点58的横坐标，记为p
58
(x)，其纵坐标为特征点58与特征点9的垂直距离的一半；p
d
(x,y)的具体计算公式为：四个关键区域的中心点坐标确认后，便能根据中心点坐标计算出每个正方形的关键区域四个顶点的具体坐标，计算公式为：p
n,左上
(x,y)＝(p
n
(x)-h,p
n
(y)+h)
ꢀꢀꢀꢀ
(5)p
n,左下
(x,y)＝(p
n
(x)-h,p
n
(y)-h)
ꢀꢀꢀꢀ
(6)p
n,右上
(x,y)＝(p
n
(x)+h,p
n
(y)+h)
ꢀꢀꢀꢀꢀ
(7)p
n,右下
(x,y)＝(p
n
(x)+h,p
n
(y)-h)
ꢀꢀꢀꢀ
(8)其中，n代表a、b、c、d；h为关键区域像素值64对应长度的一半；每张人脸图像裁剪后的关键区域均按照a、b、c、d的顺序拼接为面部组合图(128
×
128像素)，数据集中所有样本的拼接顺序保证都相同。5.根据权利要求1所述的糖尿病无创风险预测方法，其特征在于，所述残差注意力网络为采用pytorch机器学习库搭建的56层的残差注意力网络，具体的网络架构是：标记好的样本图像被输入残差注意力网络，首先经第一个卷积层和最大池化层进行1次卷积和最大池化操作，然后穿插的经过3个残差单元和3个注意力模块，3个残差单元分别记为第一个残差单元、第二个残差单元和第三残差单元，再经过平均池化操作后到达全连接层，最终使用归一化指数函数softmax连接残差注意力网络末端的全连接层进行糖尿病风险预测，输出预测结果；每一个注意力模块分成两个分支，一个分支叫主分支，另一分支是软掩码分支，特征图首先经过1个残差单元进行预处理操作，然后分别进入主分支和软掩码分支，主分支主要包括2个串联的残差单元，软掩码分支包含快速前馈扫描和自上而下反馈两个步骤，特征图先经过两次下采样操作增大感受野，达到最低分辨率后，再通过相同数量的上采样操作将特征图的尺寸放大到与输入的原始特征图一致形成注意力特征图，紧接着接2个1
×
1的卷积层，最后通过sigmoid激活函数得到混合域的注意力；此外，在下采样和上采样之间添加了跳跃连接，以融合不同比例特征图的特征信息；软掩码分支的输出先与主分支输出进行矩阵相乘，其结果再与主分支输出进行矩阵相加，最后再经过p个残差单元即得到注意力模块的输出；注意力模块中的残差单元采用bottleneck结构以减少参数量，bottleneck结构中第一层卷积核大小为1
×
1，通道数为64；第二层卷积核大小为3
×
3，通道数为64；第三层卷积核大小为1
×
1，通道数为256，卷积层之间的激活函数设置为relu，bottleneck结构的输出为第三层卷积层的输出与identityblock的输出之和，大小为112
×
112；所述第一个卷积层包含大小为7
×
7的卷积核、步长为2
×
2，通道数为64，填充模式设置
为valid，卷积层的输出为112
×
112；所述最大池化层的池化窗口大小为3
×
3，步长为2
×
2，经过最大池化操作后输出的特征图大小为56
×
56；第一个残差单元采用bottleneck结构以减少参数量。bottleneck结构中第一层卷积核大小为1
×
1，通道数为64；第二层卷积核大小为3
×
3，通道数为64；第三层卷积核大小为1
×
1，通道数为256；各卷积层之间的激活函数设置为relu。bottleneck结构的输出为第三层卷积层的输出与identityblock的输出之和，大小为56
×
56。第一个残差单元后连接第一个注意力模块，该注意力模块的输出大小为：56
×
56；第一个注意力模块后连接第二个残差单元，也采用bottleneck结构，设置3层卷积以减少参数量，其中第一层卷积核大小为1
×
1，通道数为128；第二层卷积核大小为3
×
3，通道数为128；第三层卷积核大小为1
×
1，通道数为512；各卷积层之间的激活函数设置为relu；bottleneck结构的输出为第三层卷积层的输出与identityblock的输出之和，大小为28
×
28；第二个残差单元后连接第二个注意力模块，该注意力模块的输出大小为：28
×
28；第二个注意力模块后连接第三个残差单元，也采用bottleneck结构，设置3层卷积以减少参数量，其中第一层卷积核大小为1
×
1，通道数为256；第二层卷积核大小为3
×
3，通道数为256；第三层卷积核大小为1
×
1，通道数为1024；各卷积层之间的激活函数设置为relu；bottleneck结构的输出为第三层卷积层的输出与identityblock的输出之和，大小为14
×
14；第三个残差单元后连接第三个注意力模块，该注意力模块的输出大小为：14
×
14；第三个注意力模块后连接第四个残差单元，采用3个串联的bottleneck结构，设置3层卷积以减少参数量，每个bottleneck中第一层卷积核大小为1
×
1，通道数为512；第二层卷积核大小为3
×
3，通道数为512；第三层卷积核大小为1
×
1，通道数为2048；各卷积层之间的激活函数设置为relu，第四个残差单元的输出大小为7
×
7；第四个残差单元输出的特征图进行平均池化的操作，池化窗口的大小为7
×
7，步长为1
×
1，经过平均池化的特征图大小为1
×
1；最后使用归一化指数函数softmax连接残差注意力网络末端的全连接层进行糖尿病风险预测。6.根据权利要求1所述的糖尿病无创风险预测方法，其特征在于，标记好的样本数据集随机划分为训练集、验证集、测试集，具体的，随机划分是指将样本数据集进行shuffle操作后，将样本数据集划分成5个大小相似的互斥子集，每次都用其中4个子集的并集作为训练集，余下那1个子集作为测试集；在测试集中，随机划分50％的样本作为验证集，且测试集、验证集和训练集均包括相同比例的糖尿病和健康人样本。训练调参过程中进行模型效果判别时采用5折交叉验证的方法，每次选择不同的1份样本作为测试集，其他4份样本作为训练集，重复5次实验，根据验证集上的性能进行模型调参，基于测试集上的判别效果估计模型的泛化能力，取5次模型测试的平均值作为最终模型的评价指标，得到性能良好的风险预测模型。

技术总结
本发明公开了一种糖尿病无创风险预测方法，属于智能医疗领域，包括下列步骤：招募受试者，构建包含糖尿病病人和健康人人脸图像的数据集；进行图像预处理；定位人脸图像特征点，将关键区域裁剪、拼接并标记相对应的诊断信息；将标记好的样本数据集随机划分为训练集、验证集、测试集；构建残差注意力网络，对样本进行有监督的机器学习；根据验证集上的性能进行模型调参，基于测试集上的判别效果评估模型的泛化能力，采用交叉验证的方法得到性能良好的风险预测模型。本发明构建的风险预测模型能够通过分析受试者面部图像特征，进行快速、无创、准确的糖尿病风险预测，为糖尿病的大范围筛查、辅助诊断提供了一种新方法。助诊断提供了一种新方法。助诊断提供了一种新方法。


技术研发人员：张冰 郭立川 宋欣 齐峰 白晶 张媛 高瑞军 王朝 姚柏韬
受保护的技术使用者：天津医科大学朱宪彝纪念医院（天津医科大学代谢病医院、天津代谢病防治中心）
技术研发日：2021.11.11
技术公布日：2022/2/11