基于跨模态关系推理的眼部检测数据的分类方法及装置

文档序号:26007998发布日期:2021-07-23 21:27阅读:来源:国知局

技术特征:

1.一种基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,包括:

获取视野vf数据和视盘数据;

将所述vf数据和所述视盘数据输入已训练的卷积神经网络模型,得到所述vf数据和所述视盘数据对应的分类结果,其中,所述卷积神经网络模型对所述vf数据和所述视频数据的处理过程包括:分别提取所述vf数据和所述视盘数据的数据特征,得到vf数据特征和视盘数据特征,对所述vf数据特征和所述视盘数据特征进行联合处理,得到所述vf数据的增强特征和所述视盘数据的增强特征,将所述vf数据的增强特征和所述视盘数据的增强特征进行特征融合,得到融合特征,将所述融合特征进行分类,得到所述分类结果。

2.如权利要求1所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,对所述vf数据特征和所述视盘数据特征进行联合处理,得到所述vf数据的增强特征,包括:

根据所述vf数据特征和所述视盘数据特征确定由所述视盘数据特征转换得到的vf数据特征;

根据所述vf数据特征和所述由所述视盘数据特征转换得到的vf数据特征,得到vf增强特征,所述vf增强特征为所述vf数据的增强特征;

对所述vf数据的数据特征和所述视盘数据的数据特征进行联合处理,得到所述视盘数据的增强特征,包括:

根据所述vf数据特征和所述视盘数据特征确定由所述vf数据特征转换得到的视盘数据特征;

根据所述视盘数据特征以及由所述vf数据特征转换得到的视盘数据特征,得到视盘增强特征,所述视盘增强特征为所述视盘数据的增强特征。

3.如权利要求2所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,所述由所述视盘数据特征转换得到的vf数据特征根据以下方式确定:

根据所述vf数据特征和所述视盘数据特征确定用于所述视盘数据特征向所述vf数据特征转换的第一全局关系向量,以及,确定用于所述视盘数据特征向所述vf数据特征转换的第一局部关系向量;

根据所述第一全局关系向量和所述第一局部关系向量确定由所述视盘数据特征转换得到的vf数据特征。

4.如权利要求3所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,所述根据所述视盘数据特征和所述vf数据特征确定用于所述视盘数据特征向所述vf数据特征转换的第一全局关系向量,包括:

将所述视盘数据特征与所述vf数据特征进行拼接,得到拼接向量;

对所述拼接向量执行映射操作,得到所述拼接向量的映射值;

根据所述映射值确定用于所述视盘数据特征向所述vf数据特征转换的第一全局关系向量。

5.如权利要求3所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,根据所述视盘数据特征和所述vf数据特征确定用于所述视盘数据特征向所述vf数据特征转换的第一局部关系向量,包括:

将所述vf数据特征划分为6个vf区域,以及,将所述视盘数据特征划分为6个视盘区域;

根据所述6个vf区域和6个视盘区域确定6个特征区域对,每一个所述特征区域对分别与一个vf区域和一个视盘区域一一对应;

对每一个特征区域对的所述vf区域和所述视盘区域,确定所述vf区域中的vf数据特征和所述视盘区域中的视盘数据特征之间关系向量,得到用于所述视盘数据特征向所述vf数据特征转换的第一局部关系向量。

6.如权利要求4所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,所述将所述视盘数据特征与所述vf数据特征进行拼接,得到拼接向量,包括:

若所述vf数据特征的维度和所述视盘数据特征的维度不一致,则对所述vf数据特征的维度和/或所述视盘数据特征的维度进行调整,得到维度一致的所述vf数据特征和所述视盘数据特征;

根据维度一致的所述vf数据特征和所述视盘数据特征进行拼接,得到拼接向量。

7.如权利要求1至6任一项所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,所述vf数据为模式偏差概率图数据,所述视盘数据为通过光学相干断层扫描oct对视盘进行环扫描后得到的oct图数据。

8.如权利要求7所述的基于跨模态关系推理的眼部检测数据的分类方法,其特征在于,在获取模式偏差概率图数据和oct图数据之后,包括:

对所述模式偏差概率图数据进行第一预处理,所述第一预处理包括归一化处理;

对所述oct图数据进行第二预处理,所述第二预处理包括归一化处理和尺度缩放处理;

所述将所述vf数据和所述视盘数据输入预训练的卷积神经网络模型,包括:将经过所述第一预处理后的所述模式偏差概率图数据和经过所述第二预处理后的所述oct图数据输入预训练的卷积神经网络模型。

9.一种基于跨模态关系推理的眼部检测数据的分类装置,其特征在于,包括:

数据获取单元,用于获取视野vf数据和视盘数据;

分类结果输出单元,用于将所述vf数据和所述视盘数据输入已训练的卷积神经网络模型,得到所述vf数据和所述视盘数据对应的分类结果,其中,所述卷积神经网络模型对所述vf数据和所述视频数据的处理过程包括:分别提取所述vf数据和所述视盘数据的数据特征,得到vf数据特征和视盘数据特征,对所述vf数据特征和所述视盘数据特征进行联合处理,得到所述vf数据的增强特征和所述视盘数据的增强特征,将所述vf数据的增强特征和所述视盘数据的增强特征进行特征融合,得到融合特征,将所述融合特征进行分类,得到所述分类结果。

10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。


技术总结
本申请适用于人工智能技术领域,提供了基于跨模态关系推理的眼部检测数据的分类方法及装置,包括:获取视野VF数据和视盘数据;将VF数据和视盘数据输入已训练的卷积神经网络模型,得到VF数据和视盘数据对应的分类结果,其中,卷积神经网络模型对VF数据和视频数据的处理过程包括:分别提取VF数据和视盘数据的数据特征,得到VF数据特征和视盘数据特征,对VF数据特征和视盘数据特征进行联合处理,得到VF数据的增强特征和视盘数据的增强特征,将VF数据的增强特征和视盘数据的增强特征进行特征融合,得到融合特征,将融合特征进行分类,得到分类结果。通过上述方法,能够得到更准确的分类结果。

技术研发人员:乔宇;张秀兰;宋迪屏;李飞;熊健;何军军;付彬
受保护的技术使用者:中国科学院深圳先进技术研究院;中山大学中山眼科中心
技术研发日:2021.03.29
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1