基于跨模态关系推理的眼部检测数据的分类方法及装置

本申请属于人工智能技术领域，尤其涉及基于跨模态关系推理的眼部检测数据的分类方法、装置、终端设备及计算机可读存储介质。

背景技术：

青光眼是世界范围内首位不可逆性致盲眼病，这是一种异质性疾病，会损害视神经并导致视力丧失。由于青光眼具有不可逆及渐进的视力丧失的特性，因此早期发现和及时治疗青光眼对于预防视野丧失、失明至关重要。

在临床上，医护人员会对病患的眼睛进行结构评估，比如对病患的眼睛进行光学相干断层扫描(opticalcoherencetomography，oct)检测。oct是一种非接触且非侵入性的成像方式，它可以提供各种视网膜结构的客观和定量评估。医护人员通过对oct检测所呈现的图像(后续简称oct图数据)进行查阅、分析后，得出诊断结果。考虑到医护人员查阅及分析oct检测所呈现的图像需要耗费较多的时间，因此，现有方法中，通常结合卷积神经网络(convolutionalneuralnetworks，cnns)对oct图数据进行分析，得出是否为青光眼的分类结果，医护人员再将该分类结果与其他数据结合分析，得出诊断结果。但由于青光眼的表现很复杂，因此，上述cnns输出的分类结果的准确性较低，对医护人员的辅助作用较低，故需要提供一种新的分类结果确定方法。

技术实现要素：

本申请实施例提供了一种基于跨模态关系推理的眼部检测数据的分类方法，可以解决现有的cnns输出的分类结果的准确性较低的问题。

第一方面，本申请实施例提供了一种基于跨模态关系推理的眼部检测数据的分类方法，包括：

获取视野vf数据和视盘数据；

将所述vf数据和所述视盘数据输入已训练的卷积神经网络模型，得到所述vf数据和所述视盘数据对应的分类结果，其中，所述卷积神经网络模型对所述vf数据和所述视频数据的处理过程包括：分别提取所述vf数据和所述视盘数据的数据特征，得到vf数据特征和视盘数据特征，对所述vf数据特征和所述视盘数据特征进行联合处理，得到所述vf数据的增强特征和所述视盘数据的增强特征，将所述vf数据的增强特征和所述视盘数据的增强特征进行特征融合，得到融合特征，将所述融合特征进行分类，得到所述分类结果。

第二方面，本申请实施例提供了一种基于跨模态关系推理的眼部检测数据的分类装置，包括：

数据获取单元，用于获取视野vf数据和视盘数据；

分类结果输出单元，用于将所述vf数据和所述视盘数据输入已训练的卷积神经网络模型，得到所述vf数据和所述视盘数据对应的分类结果，其中，所述卷积神经网络模型对所述vf数据和所述视频数据的处理过程包括：分别提取所述vf数据和所述视盘数据的数据特征，得到vf数据特征和视盘数据特征，对所述vf数据特征和所述视盘数据特征进行联合处理，得到所述vf数据的增强特征和所述视盘数据的增强特征，将所述vf数据的增强特征和所述视盘数据的增强特征进行特征融合，得到融合特征，将所述融合特征进行分类，得到所述分类结果。第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例中，由于输出的分类结果是与视盘数据的增强特征和vf数据的增强特征有关，而视盘数据的增强特征以及vf数据的增强特征均是通过对vf数据特征和视盘数据特征进行联合处理后得到，也即，输出的分类结果除了与提取的vf数据特征和视盘数据特征有关之外，还与vf数据特征和视盘数据特征之间的关系有关，而vf数据特征与视盘数据特征均能在一定程度上反映被测眼睛是否为青光眼，因此，本申请实施例所输出的分类结果的准确性高于基于单模态的数据训练的卷积神经网络模型所输出的分类结果的准确性，比如高于基于oct图数据训练的卷积神经网络模型所输出的分类结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例一提供的一种基于跨模态关系推理的眼部检测数据的分类方法的流程图；

图2是本申请实施例一提供的一种卷积神经网络模型的结构示意图；

图3是本申请实施例一提供的确定第一全局关系向量的示意图；

图4是本申请实施例一提供的视野区域与视网膜神经纤维层之间存在位置对应的示意图；

图5是本申请实施例一提供的2个特征区域对的局部关系向量的计算流程示意图；

图6是本申请实施例一提供的一种vf增强特征的计算过程示意图；

图7是本申请实施例一提供的一种pdps的示意图；

图8是本申请实施例一提供的一种oct图数据的示意图；

图9是本申请实施例提供的一种基于跨模态关系推理的眼部检测数据的分类装置的结构示意图；

图10是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。

实施例一：

现有的cnns是基于oct图数据进行训练得到，由于cnns是基于单模态的数据训练得到，因此，其输出的分类结果的准确性较低，对医护人员的辅助作用也较低。为了提高分类结果的准确性，本申请实施例提出了一种新的基于跨模态关系推理的眼部检测数据的分类方法，在该分类方法中，通过视野(visualfield，vf)数据和视盘数据对卷积神经网络模型进行训练，使得训练后的卷积神经网络模型能够分别提取输入的vf数据和视盘数据的数据特征，得到对应的vf数据特征和视盘数据特征，并基于提取的数据特征分别确定对应的增强特征，再根据vf数据的增强特征和视盘数据的增强特征进行特征融合，最后对融合后的特征进行分类，得到分类结果。由于输出的分类结果是与视盘数据的增强特征和vf数据的增强特征有关，而视盘数据的增强特征以及vf数据的增强特征均是通过对vf数据特征和视盘数据特征进行联合处理后得到，也即，输出的分类结果除了与提取的vf数据特征和视盘数据特征有关之外，还与vf数据特征和视盘数据特征之间的关系有关，而vf数据特征与视盘数据特征均能在一定程度上反映被测眼睛是否为青光眼，因此，本申请实施例所输出的分类结果的准确性高于基于单模态的数据训练的卷积神经网络模型所输出的分类结果的准确性。

下面结合附图对本申请实施例提供的基于跨模态关系推理的眼部检测数据的分类方法进行描述。

图1示出了本申请实施例提供的一种基于跨模态关系推理的眼部检测数据的分类方法的流程图，详述如下：

步骤s11，获取视野vf数据和视盘数据。

具体地，若对用户的眼睛进行vf检测，将得到对应的vf数据；若对用户的眼睛进行视盘检测，则得到对应的视盘数据，该视盘全称为视神经盘，也叫视神经乳头。需要指出的是，这里的vf数据和视盘数据为同一被测眼睛所对应的数据，即同一被测眼睛在进行vf检测后所得到的数据为vf数据，以及，在进行视盘神经后所得到的数据为视盘数据，该vf数据和视盘数据用于分别反映同一被测眼睛在视野以及视盘上的情况。

本实施例中，视野vf数据和视盘数据可从本地获取，或从云端获取。该视野vf数据和视盘数据也可以对原始数据进行处理后所得到的数据，例如，假设原始数据为视野检测报告，则对视野检测报告进行处理后得到vf数据。

步骤s12，将vf数据和视盘数据输入已训练的卷积神经网络模型，得到vf数据和视盘数据对应的分类结果，其中，卷积神经网络模型对vf数据和视频数据的处理过程包括：分别提取vf数据和视盘数据的数据特征，得到vf数据特征和视盘数据特征，对vf数据特征和视盘数据特征进行联合处理，得到vf数据的增强特征和视盘数据的增强特征，将vf数据的增强特征和视盘数据的增强特征进行特征融合，得到融合特征，将融合特征进行分类，得到分类结果。

参考图2示出的卷积神经网络模型的结构示意图，在图2中，该卷积神经网络模型包括vf数据特征提取模块21、视盘数据特征提取模块22、多模态的增强特征处理模块23、特征融合模块24以及分类器25。其中，该vf数据特征提取模块21用于提取vf数据的数据特征；视盘数据特征提取模块22用于提取视盘数据的数据特征；多模态的增强特征处理模块23用于对vf数据特征和视盘数据特征进行联合处理，得到vf数据的增强特征和视盘数据的增强特征；特征融合模块24用于融合vf数据的增强特征和视盘数据的增强特征，得到融合特征；分类器25用于对融合特征进行分类，得到分类结果。

本申请实施例中，由于输出的分类结果是与视盘数据的增强特征和vf数据的增强特征有关，而视盘数据的增强特征以及vf数据的增强特征均是通过对vf数据特征和视盘数据特征进行联合处理后得到，也即，输出的分类结果除了与提取的vf数据特征和视盘数据特征有关之外，还与vf数据特征和视盘数据特征之间的关系有关，而vf数据特征与视盘数据特征均能在一定程度上反映被测眼睛是否为青光眼，因此，本申请实施例所输出的分类结果的准确性高于基于单模态的数据训练的卷积神经网络模型所输出的分类结果的准确性，比如高于基于oct图数据训练的卷积神经网络模型所输出的分类结果的准确性。

在一些实施例中，对vf数据特征和视盘数据特征进行联合处理，得到vf数据的增强特征，包括：

a1、根据vf数据特征和视盘数据特征确定由视盘数据特征转换得到的vf数据特征；

a2、根据vf数据特征和由视盘数据特征转换得到的vf数据特征，得到vf增强特征，vf增强特征为vf数据的增强特征；

对vf数据的数据特征和视盘数据的数据特征进行联合处理，得到视盘数据的增强特征，包括：

b1、根据vf数据特征和视盘数据特征确定由vf数据特征转换得到的视盘数据特征；

b2、根据视盘数据特征以及由vf数据特征转换得到的视盘数据特征，得到视盘增强特征，视盘增强特征为视盘数据的增强特征。

上述a1、a2、b1以及b2中，由视盘数据特征转换得到的vf数据特征是指：采用视盘数据特征表示的数据特征，该数据特征将作为获取的原始的vf数据特征的一个补偿。同理，上述由vf数据特征转换得到的视盘数据特征将作为获取的原始的视盘数据特征的一个补偿。由于发生青光眼病变时，眼睛的视神经乳头(opticnervehead，onh)的结构会发生改变，且眼睛还具有相应的视觉功能缺陷，因此，青光眼病变引起的结构损伤与视觉功能损伤之间存在很强的关联性，即视神经纤维层(retinalnervefiberlayer，rnfl)的变薄与vf的缺损在空间上是一致的，也即视盘数据特征与vf数据特征存在很强的关联性。另外，对于早期青光眼，若利用vf技术检测，则存在时间“滞后性”，而rnfl厚度是早期青光眼改变的敏感指标(例如视野前青光眼，在出现视野损伤之前已可以观察到明显rnfl厚度的下降)；但对于中后期的青光眼，vf检测是监测青光眼进展的有效手段。综上可知，视盘数据特征和vf数据特征具有互补的特性，全面评估结构性损伤和功能性损伤之间的关系(比如确定由视盘数据特征转换得到的vf数据特征)，有助于卷积神经网络模型对青光眼的了解，进而输出更准确的分类结果，该分类结果为是青光眼，或者为，非青光眼。

在一些实施例中，上述由视盘数据特征转换得到的vf数据特征根据以下方式确定：

c1、根据vf数据特征和视盘数据特征确定用于视盘数据特征向vf数据特征转换的第一全局关系向量，以及，确定用于视盘数据特征向vf数据特征转换的第一局部关系向量。

具体地，针对每一个vf数据特征，分别确定该vf数据特征与各个视盘数据特征的关系，再根据确定的各个关系确定第一全局关系向量。例如，假设vf数据特征为a1、a2，视盘数据特征为b1和b2，则针对a1，确定该a1与b1的关系，以及确定a1与b2的关系；针对a2，确定该a2与b1的关系，以及确定a2与b2的关系；最后根据a1与b1的关系、a1与b2的关系、a2与b1的关系以及a2与b2的关系确定出对应的第一全局关系向量。

c2、根据第一全局关系向量和第一局部关系向量确定由视盘数据特征转换得到的vf数据特征。

上述c1和c2中，由于由视盘数据特征转换得到的vf数据特征是根据第一全局关系向量和第一局部关系向量确定，因此，该由视盘数据特征转换得到的vf数据特征具有全局关系(比如具有每一个vf数据特征与各个视盘数据特征的全局关系)以及局部关系，从而保证该由视盘数据特征转换得到的vf数据特征的准确性。

需要指出的是，假设用于vf数据特征向视盘数据特征转换的全局关系向量为第二全局关系向量，则第二全局关系向量的确定方法与上述第一全局关系向量的确定方法类似，此处不再赘述。

在一些实施例中，上述c1中根据vf数据特征和视盘数据特征确定用于视盘数据特征向vf数据特征转换的第一全局关系向量，包括：

c11、将视盘数据特征与vf数据特征进行拼接，得到拼接向量。

c12、对拼接向量执行映射操作，得到拼接向量的映射值。

其中，该映射值为一个标量。

c13、根据映射值确定用于视盘数据特征向vf数据特征转换的第一全局关系向量。

具体地，在得到各个vf数据特征分别与各个视盘数据特征的拼接向量所对应的映射值后，对得到的映射值进行归一化操作，得到第一全局关系向量。参考图3，v表示vf数据特征所对应的特征图，通道数为c，h×w为特征图尺寸；而o表示是视盘数据特征所对应的特征图，其通道数为c，特征图尺寸为h×w。将v和o作为多模态的增强特征处理模块23中的全局关系推理模块的输入，该全局关系推理模块用于确定第一全局关系向量和第二全局关系向量。在一些实施例中，若v和o的特征维度不一致，则对v和o进行处理，使得该v和o的特征维度一致，例如，对v和o分别进行卷积层运输、reshape(该reshape为将指定的矩阵变换成特定维数矩阵的一种函数)和repeat(该repeat为复制矩阵元素的函数)等操作，使得该v和o的特征维度一致，即变为c×hw×hw。然后将前述操作处理后的vf数据特征和视盘数据特征进行拼接，得到oct-vf融合特征(或称为融合特征图)，拼接后维度为2c×hw×hw，融合特征图上有hw×hw个特征点，每一个特征点是一组oct-vf特征对，特征对的通道数为2c。每一个视盘数据特征分别与所有的vf数据特征组成点对点的特征对，同理每一个vf数据特征与所有的视盘数据特征组成了点对点的特征对。利用全局成对关系函数将每一组oct-vf特征对映射成一个标量，该标量代表该组oct-vf特征对之间的关系。最后分别按行与列进行softmax归一化，得到1组(2个)全局关系向量：第一全局关系向量和第二全局关系向量，在图3中，一行表示一个vf数据特征与所有的视盘数据特征，一列表示一个视盘数据特征与所有的vf数据特征，此时，按行进行归一化后得到的第一全局关系向量用于视盘数据特征向vf数据特征转换，按列进行归一化后得到的第二全局关系向量用于vf数据特征向视盘数据特征转换。即图3中的α^g表示第一全局关系向量，β^g表示第二全局关系向量。

需要指出的是(图3中v和o的维度是一致的，但是实际上可以使用不一致的维度，此处没有限制)。

在一些实施例中，为了提高卷积神经网络模型的处理效率，则在对映射值进行归一化操作之前，先将该映射值除以m，其中，m大于1。当然，该m也可取为维度所对应的数值，例如，可采用下式分别确定第一全局关系向量和第二全局关系向量：

其中，do和dv分别代表视盘数据特征和vf数据特征的维度，若以图3为例，则do和dv为h×w，为全局成对关系函数，α^g为第一全局关系向量，用于将视盘数据特征向vf数据特征转换，β^g为第二全局关系向量，用于将vf数据特征向视盘数据特征转换，wg、wv和wo均为可学习的卷积层权值，vi表示第i个vf数据特征，oj表示第j个视盘数据特征。

医学研究表明，视野区域与视网膜神经纤维层之间存在位置对应关系，图4为garway-heath等发现的分区映射图，他们将vf数据特征和视盘数据特征分别划分为6个区域，图4最左侧的图为视野模式偏差概率图，中间的图是视盘的分区图，图4最右侧的图是环视盘的oct扫描图，图中编号一致的区域存在结构-功能对应关系，例如，在视野模式偏差概率图中编号为“1”的区域与视盘的分区图中“121°-230°”的区域存在结构-功能对应关系。即如果在vf的第1个区域观察到由青光眼导致的视野损伤，那么在oct的第1个区域可观察到rnfl变薄的现象。也即，在一些实施例中，上述c1中根据vf数据特征和视盘数据特征确定用于vf数据特征向视盘数据特征转换的第一局部关系向量，包括：

c11’、将vf数据特征划分为6个vf区域，以及，将视盘数据特征划分为6个视盘区域。

c12’、根据6个vf区域和6个视盘区域确定6个特征区域对，每一个特征区域对分别与一个vf区域和一个视盘区域一一对应。

c13’、对每一个特征区域对的vf区域和视盘区域，确定vf区域中的vf数据特征和视盘区域中的视盘数据特征之间关系向量，得到用于视盘数据特征向vf数据特征转换的第一局部关系向量。

上述c11’～c13’中，将医学先验(oct-vf分区映射关系)引入神经网络的设计中，进而学得oct与vf之间更准确的关系图。在本申请实施例中，第一局部关系向量通过多模态的增强特征处理模块23的指导型区域关系模块确定，该指导型区域关系模块的处理流程如图5所示。与全局关系推理模块的处理过程类似，区别在于局部关系向量的计算仅限于存在分区映射关系的oct-vf特征组。图5中的(a)图与(b)图分别为第1个特征区域对和第2个特征区域对的局部关系向量的计算流程，以计算第1个特征区域对的分区关系图为例，我们只选择第1个特征区域对的vf数据特征和该第1个特征区域对的视盘数据特征进行计算，为第1个特征区域对的成对关系函数，α^r(1)为第1个特征区域对中用于视盘数据特征向vf数据特征转换的第一局部关系向量，β^r(1)为第1个特征区域对中用于vf数据特征向视盘数据特征转换的第二局部关系向量。

其中，可根据下式确定各个用于视盘数据特征向vf数据特征转换的第一局部关系向量：

其中，wr、wv和wo是可学习的卷积层权值，cr是归一化参数，k∈{1，2，3，4，5，6}，是分区编号，是第k个分区的vf数据特征，是第k个分区的视盘数据特征。

需要指出的是，各个用于vf数据特征向视盘数据特征转换的第二局部关系向量的计算方式与上述用于视盘数据特征向vf数据特征转换的第一局部关系向量的计算方式相似，此处不再赘述。

图6示出了一种vf增强特征的计算过程示意图，在图6中，“matmul”表示矩阵相乘，“element-wisesum”表示对位相乘相加，α^g为第一全局关系向量(即用于视盘数据特征转换的全局关系图)，α^r(1)为第1个特征区域对中用于视盘数据特征向vf数据特征转换的第一局部关系向量(即用于视盘数据特征转换的第1组分区关系图)，α^r(6)为用于视盘数据特征转换的第6组分区关系图，v与o分别为vf特征与视盘数据特征，o指向“matmul”的箭头表示conv(卷积操作)+reshape操作，从“matmul”指出的3个箭头表示reshape操作。o先进行卷积层运算和reshape操作，从“fusion”指出的箭头表示conv操作。分别与α^g、α^r(1)...α^r(6)进行按下式矩阵乘法运算：

其中，σ∈{g，r(k)}，是第σ个特征区域对中由视盘数据特征转换的vf数据特征，是第σ个特征区域对中由vf数据特征转换的视盘数据特征，将6个特征区域对的第一局部关系向量相加，得到分区增强特征也即，在分别确定第一全局关系向量和第一局部关系向量之后，上述步骤a2可根据上式(7)确定由视盘数据特征转换得到的vf数据特征。

将分区增强特征与全局增强特征进行融合：

zvo＝v+vo→v.......(11)；

zov＝o+ov→o.......(12)；

其中，vo→v表示由视盘数据特征转换得到的vf数据特征，fusion表示融合函数，ov→o表示由vf数据特征转换得到的视盘数据特征，zvo表示根据vf数据特征和由视盘数据特征转换得到的vf数据特征，得到的vf增强特征，zov表示根据视盘数据特征以及由vf数据特征转换得到的视盘数据特征，得到的视盘增强特征。

其中，上述的融合的方式包括以下至少一种：加法(平均或加权平均)、按位取最大值、拼接等。

其中，加法的融合方式是指将分区增强特征和全局增强特征按位相加后所得到的向量。

其中，按位取最大值的融合方式是指按位比较分区增强特征和全局增强特征，取最大值为输出值。

其中，拼接是将分区增强特征和全局增强特征连到一起，假设待拼接的第一全局关系向量和第一局部关系向量均为1×30，则得到1×60的融合特征。

需要指出的是，在采用上述融合方式将分区增强特征和全局增强特征融合时，还可设置分区增强特征和全局增强特征所对应的权值。即通过设置不同的权值来提高转换得到的数据特征(vf数据特征或视盘数据特征)的灵活性。

在一些实施例中，vf数据为模式偏差概率图(patterndeviationprobabilityplots，pdps)数据，获取vf数据即为pdps数据；视盘数据为通过光学相干断层扫描(opticalcoherencetomography，oct)对视盘进行环扫描后得到的oct图数据。

其中，获取pdps数据包括：从视野检测报告中提取pdps数据。

本实施例中，从视野检测报告所对应的格式为pdf的文件或格式为tif的图像中提取pdps数据。具体地，先根据视野检测报告中的可靠性指标判断该视野检测报告是否符合要求，若符合要求，再从符合要求的视野检测报告中提取对应的pdps数据。由于pdps数据保留了视野分区(位置)信息，因此其能够提供更为详细、全面的视野功能信息，故将pdps数据作为vf数据能够提高得到的分类结果的准确性。

在一些实施例中，从视野检测报告中提取pdps数据，包括：

d1、将视野检测报告中的指定位置划分为n*n个区块，并确定各个区块的灰度值，n大于或等于9。

其中，这里的指定位置是指视野检测报告中显示pdps的区域位置，上述的n是根据上述区域位置所包含的内容项数确定，这里的内容项数包括图标标识的个数和空白格的个数，其中，上述图标标识的个数即视野检测测试的检测位点个数，通常n取10。

d2、根据各个区块的灰度值以及预设的映射表确定各个区块对应的图标标识，得到pdps数据，其中，预设的映射表用于存储区块的灰度值与图标标识的对应关系，一个图标标识用于唯一标记pdps中的一个图标。

其中，图7示出了pdps的一种示意图，在图7中，模式偏差概率图旁边还显示有4种异常概率图标，图标的颜色越深，表明其对应的概率值p越小，即表示该位点的视野是正常的可能性越小。参考图7，0表示空白格子，1-5分别表示5种概率图标(4种异常+1种正常)。例如图标标识“5”表示p<2％(少于2％的正常人会出现这样低敏感度的视野，也就是说该位点的视野98％是异常的)，图标标识“4”表示p<1％(该位点的视野99％是异常的)，图标标识“3”表示p<0.5％(该位点的视野99.5％是异常的)等等。

需要指出的是，在实际情况中，也可以采用其他信息作为图标标识，此处不作限定。

上述d1和d2中，将从指定位置划分出的各个区块的灰度值分别与预设的映射表存储的灰度值比较，确定出相同的灰度值，进而确定该相同的灰度值所对应的图标标识，各个区块的灰度值所对应的各个图标标识组成pdps数据，该pdps数据是二维离散数据，也可以视为灰度图。

在一些实施例中，在获取pdps数据和oct图数据之后，包括：

e1、对pdps数据进行第一预处理，第一预处理包括归一化处理。

其中，上述的归一化处理具体是将各个图标标识映射到0～1区间，例如，假设将0～5这6个图标标识进行归一化处理，得到6个在0～1区间的数值“0,075,0.693,0.8825,0.9107,0.9924”。当然，上述6个在0～1区间的数值仅为一个示例，在实际情况中，也可以映射得到在0～1区间的其他数值，此处不作限定。由于对pdps数据进行了包括归一化处理的第一预处理，因此，使得vf数据特征提取模块对经过第一预处理后的pdps数据进行数据特征提取时更简单。在一些实施例中，vf数据特征提取模块包括至少两个卷积层，不同卷积层的参数通常不同，这些参数包括通道数、卷积核大小、步长、padding、空洞卷积等。当vf数据特征提取模块的层数越多，学习的参数越多，通过该vf数据特征提取模块提取到的数据特征的语义性更强，也更抽象。

e2、对oct图数据进行第二预处理，第二预处理包括归一化处理和尺度缩放处理。

其中，第二预处理包括的归一化处理是指对oct图数据的图像像素值进行归一化处理，具体地：(1)预先统计训练数据集中的各个oct图数据的均值和方差(2)将待处理的眼部检测数据中的oct图数据的图像像素值减去统计的均值后，再除以统计的方差。

其中，第二预处理包括的尺度缩放处理是指将oct图数据的尺寸缩放至指定大小。需要指出的是，训练视盘数据特征提取模块所采用的oct图数据样本的尺寸大小为上述的指定大小，且所采用的oct图数据样本也经过归一化处理。在一些实施例中，为了提高视盘数据特征提取模块的泛化性能，则训练视盘数据特征提取模块所采用的oct图数据样本为使用不同的光学相干断层扫描仪器得到的样本。上述oct图数据如图8所示，用户从该oct图数据能够查看视网膜神经纤维层(retinalnervefibrelayer，rnfl)的厚度。由于在提取oct图数据的数据特征之前，oct图数据经过了第二预处理，而第二预处理包括归一化处理和尺度缩放处理，因此，视盘数据特征提取模块在进行数据特征提取时，无需关注较大的数据范围以及其他尺寸，从而能够快速地从第二预处理后的oct图数据中提取到对应的数据特征。

在一些实施例中，视盘数据特征提取模块包括至少两个卷积层，且至少两个卷积层采用批处理归一化和实例归一化对从经过第二预处理后的oct图数据提取出的数据进行处理，得到对应的数据特征。

其中，视盘数据特征提取模块包括至少两个卷积层，不同卷积层的参数通常不同，这些参数包括通道数、卷积核大小、步长、padding、空洞卷积等。当视盘数据特征提取模块的层数越多，学习的参数越多，通过该视盘数据特征提取模块提取到的数据特征的语义性更强，也更抽象。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例二：

对应于上文实施例的基于跨模态关系推理的眼部检测数据的分类方法，图9示出了本申请实施例提供的基于跨模态关系推理的眼部检测数据的分类装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图9，该基于跨模态关系推理的眼部检测数据的分类装置9包括：数据获取单元91和分类结果输出单元92。其中：

数据获取单元91，用于获取视野vf数据和视盘数据。

分类结果输出单元92，用于将vf数据和视盘数据输入已训练的卷积神经网络模型，得到vf数据和视盘数据对应的分类结果，其中，卷积神经网络模型对vf数据和视频数据的处理过程包括：分别提取vf数据和视盘数据的数据特征，得到vf数据特征和视盘数据特征，对vf数据特征和视盘数据特征进行联合处理，得到vf数据的增强特征和视盘数据的增强特征，将vf数据的增强特征和视盘数据的增强特征进行特征融合，得到融合特征，将融合特征进行分类，得到分类结果。

本申请实施例中，由于输出的分类结果是与视盘数据的增强特征和vf数据的增强特征有关，而视盘数据的增强特征以及vf数据的增强特征均是通过对vf数据特征和视盘数据特征进行联合处理后得到，也即，输出的分类结果除了与提取的vf数据特征和视盘数据特征有关之外，还与vf数据特征和视盘数据特征之间的关系有关，而vf数据特征与视盘数据特征均能在一定程度上反映被测眼睛是否为青光眼，因此，本申请实施例所输出的分类结果的准确性高于基于单模态的数据训练的卷积神经网络模型所输出的分类结果的准确性，比如高于基于oct图数据训练的卷积神经网络模型所输出的分类结果的准确性。

在一些实施例中，对vf数据特征和视盘数据特征进行联合处理，得到vf数据的增强特征，包括：

根据vf数据特征和视盘数据特征确定由视盘数据特征转换得到的vf数据特征；根据vf数据特征和由视盘数据特征转换得到的vf数据特征，得到vf增强特征，vf增强特征为vf数据的增强特征；

对vf数据的数据特征和视盘数据的数据特征进行联合处理，得到视盘数据的增强特征，包括：

根据vf数据特征和视盘数据特征确定由vf数据特征转换得到的视盘数据特征；根据视盘数据特征以及由vf数据特征转换得到的视盘数据特征，得到视盘增强特征，视盘增强特征为视盘数据的增强特征。

在一些实施例中，由视盘数据特征转换得到的vf数据特征根据以下方式确定：

根据vf数据特征和视盘数据特征确定用于视盘数据特征向vf数据特征转换的第一全局关系向量，以及，确定用于视盘数据特征向vf数据特征转换的第一局部关系向量；根据第一全局关系向量和第一局部关系向量确定由视盘数据特征转换得到的vf数据特征。

在一些实施例中，根据视盘数据特征和vf数据特征确定用于视盘数据特征向vf数据特征转换的第一全局关系向量，包括：

将视盘数据特征与vf数据特征进行拼接，得到拼接向量；对拼接向量执行映射操作，得到拼接向量的映射值；根据映射值确定用于视盘数据特征向vf数据特征转换的第一全局关系向量。

在一些实施例中，根据视盘数据特征和vf数据特征确定用于视盘数据特征向vf数据特征转换的第一局部关系向量，包括：

将vf数据特征划分为6个vf区域，以及，将视盘数据特征划分为6个视盘区域；根据6个vf区域和6个视盘区域确定6个特征区域对，每一个特征区域对分别与一个vf区域和一个视盘区域一一对应；对每一个特征区域对的vf区域和视盘区域，确定vf区域中的vf数据特征和视盘区域中的视盘数据特征之间关系向量，得到用于视盘数据特征向vf数据特征转换的第一局部关系向量。

在一些实施例中，将视盘数据特征与vf数据特征进行拼接，得到拼接向量，包括：

若vf数据特征的维度和视盘数据特征的维度不一致，则对vf数据特征的维度和/或视盘数据特征的维度进行调整，得到维度一致的vf数据特征和视盘数据特征；根据维度一致的vf数据特征和视盘数据特征进行拼接，得到拼接向量。

在一些实施例中，vf数据为模式偏差概率图数据，视盘数据为通过光学相干断层扫描oct对视盘进行环扫描后得到的oct图数据。

在一些实施例中，该基于跨模态关系推理的眼部检测数据的分类装置9还包括：

第一预处理单元，用于对模式偏差概率图数据进行第一预处理，第一预处理包括归一化处理；

第二预处理单元，用于对oct图数据进行第二预处理，第二预处理包括归一化处理和尺度缩放处理；

分类结果输出单元92在将vf数据和视盘数据输入预训练的卷积神经网络模型时，具体用于：将经过第一预处理后的模式偏差概率图数据和经过第二预处理后的oct图数据输入预训练的卷积神经网络模型。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

实施例三：

图10为本申请一实施例提供的终端设备的结构示意图。如图10所示，该实施例的终端设备10包括：至少一个处理器100(图10中仅示出一个处理器)、存储器101以及存储在存储器101中并可在至少一个处理器100上运行的计算机程序102，处理器100执行计算机程序102时实现上述任意各个方法实施例中的步骤：

获取视野vf数据和视盘数据；

将vf数据和视盘数据输入已训练的卷积神经网络模型，得到vf数据和视盘数据对应的分类结果，其中，卷积神经网络模型对vf数据和视频数据的处理过程包括：分别提取vf数据和视盘数据的数据特征，得到vf数据特征和视盘数据特征，对vf数据特征和视盘数据特征进行联合处理，得到vf数据的增强特征和视盘数据的增强特征，将vf数据的增强特征和视盘数据的增强特征进行特征融合，得到融合特征，将融合特征进行分类，得到分类结果。

所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是终端设备10的举例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器100可以是中央处理单元(centralprocessingunit，cpu)，该处理器100还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器101在一些实施例中可以是所述终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101在另一些实施例中也可以是所述终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器101还可以既包括所述终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。