用于近视预测的方法及其相关产品与流程

1.本发明一般地涉及图像分析领域。更具体地，本发明涉及一种用于近视预测的方法、设备和计算机可读存储介质。


背景技术：

2.由于对具有电子显示屏的设备的过度使用，当前近视问题变得愈发严重。为了了解并抑制该情形的进一步发展，当前除了常规的视力表测试，眼轴长度测量之外，还可以对视网膜眼底照片进行检测。例如，与近视相关的眼轴长度、脉络膜厚度和厚薄都可以在眼底图像中找到对应的图像特征。另外，在近视的早前期，眼球的轻微变形会导致视盘周边区域的拉伸，形成眼底弧形斑，且基于拉伸区域会形成不同的特征表现。
3.就青少年这一近视群体而言，眼底照片中例如眼轴长度和脉络膜厚度的特征越明显，则青少年未来的近视程度将发展越快。鉴于此，在近视早期对于不同年龄和不同近视情况下的眼底图像特征进行准确的监测，从而预判其未来的近视发展趋势成为青少年视力防控的重要环节。


技术实现要素：

4.鉴于上文所提到的技术问题，本发明提供了一种用于近视预测的方案。通过本发明的预测方案，可以实现对近视患者的有效和准确的近视预测，从而有助于及时的人为干预，避免近视程度的加重和恶化。
5.为此，在第一方面中，本发明提供一种用于近视预测的方法，包括：利用机器学习模型生成待预测近视的用户的平均近视预测结果；基于所述用户的眼底照片确定所述用户与近视相关的眼球质量指标；以及根据所述平均近视预测结果和所述眼球质量指标生成与所述用户关联的个体近视预测结果。
6.在一个实施例中，所述方法还包括：利用采集到的非眼底特征形成待输入至机器学习模型的非眼底特征量；以及利用所述非眼底特征量对所述机器学习模型进行前期训练。
7.在一个实施例中，所述非眼底特征包括年龄、性别、眼别和当前屈光度中的一项或多项。
8.在一个实施例中，基于所述用户的眼底照片确定所述用户与近视相关的眼球质量指标包括：对所述眼底照片执行眼底特征提取操作，以获得与近视相关的眼底特征量；以及根据所述眼底特征量和非眼底特征量，生成与近视相关的所述眼球质量指标。
9.在一个实施例中，其中对所述眼底照片执行特征提取操作包括：利用与眼底特征相关的至少一个图像分割模型对眼底图像执行分割操作，以获得与所述近视相关的眼底特征量。
10.在一个实施例中，其中所述眼底特征包括眼底豹纹和/或眼底弧形斑。
11.在一个实施例中，其中根据所述眼底特征量和非眼底特征量，生成与近视相关的
所述眼球质量指标包括：将所述眼底特征量和非眼底特征量输入至机器学习模型中，以获得所述用户的平均屈光度；以及根据所述平均屈光度来计算得到所述眼球质量指标。
12.在一个实施例中，其中所述用户包括年龄范围在6-18岁之间的青少年。
13.在第二方面中，本发明提供了一种用于近视预测的设备，包括：处理器；以及存储器，其上存储有用于近视预测的计算机程序代码，当所述计算机程序代码由所述处理器执行时，实现根据第一方面中所记载的方法及其多个实施例。
14.在第三方面中，本发明提供了一种计算机可读存储介质，其上存储有用于近视预测的计算机程序代码，当所述计算机程序代码由处理器执行时，实现根据第一方面中所记载的方法及其多个实施例。
15.利用本发明的用于近视预测的方案，可以对近视患者的近视发展做出准确和有效的预测。具体地，通过机器学习模型来生成用户（即近视患者）的平均近视预测结果并且通过眼底照片的分析来获得用户的眼球质量指标，本发明创新性地将前述二者进行结合，从而生成与用户关联的个体近视预测结果。其中，通过利用机器学习来执行平均近视预测，本发明根据大规模的人群分布，利用机器学习技术来成功获得用户的平均近视预测。另外，通过对眼底照片的分析，本发明的方案成功地将眼球质量引入到近视预测中。基于此，本发明的近视预测方式可以提供针对于近视患者个人的个性化预测，从而为后续的人为干预提供了良好的基础。进一步，基于本发明的准确近视预测,本发明的方案也使得及时和有效地近视防控成为可能。当用户是青少年时（例如6-18岁之间的近视患者），本发明的方案也为该年龄段的用户提供了有效的近视预测和防控。
附图说明
16.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：图1是示出根据本发明实施例的用于近视预测的方法的简化流程图；图2是示出根据本发明一个实施例的用于近视预测的方法的详细流程图；图3是示出根据本发明另一实施例的用于近视预测的方法的详细流程图；图4是示出根据本发明实施例的平均近视预测结果的曲线图；图5是示出根据本发明实施例的眼球质量指标分布的曲线图；图6是示出根据本发明一个实施例的近视预测结果的曲线图；图7是示出根据本发明另一个实施例的近视预测结果的曲线图；图8是示出根据本发明实施例的用于近视预测的设备的原理框图；以及图9是示出根据本发明实施例的用于近视预测的系统的结构框图。
具体实施方式
17.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
18.如前所述，鉴于当前近视群体（特别是6-18岁之间的青少年）的数目发展迅速而有效的近视防控显得益发紧迫，本发明的方案提出利用机器学习模型并且结合眼底图像的分析来对近视做出有效预测，从而为近视发展的早期预警和及时有效的人为干预提供了参考和基础。具体地，本发明的方案通过利用机器学习模型来实现对预测对象（即本发明上下文的“用户”）进行平均近视预测，并且进一步通过对预测对象的眼底照片进行分析来获得眼球质量指标。通过将平均近视预测结果和眼球质量指标二者结合考虑，最终生成与预测对象关联的个体近视预测结果，由此提供个性化的近视预测。
19.下面结合附图来详细描述本发明的具体实施方式。
20.图1是示出根据本发明实施例的用于近视预测的方法100的简化流程图。可以理解的是，这里的方法100可以由图8所示出的设备来执行。
21.如图1所示，在步骤s102处，利用机器学习模型生成待预测近视的用户的平均近视预测结果。如本领域技术人员所知，这里的机器学习模型是经由大量的训练数据进行训练后得到的、能够执行推断操作的机器学习模型。为了实现前述的平均近视预测，本发明提出基于大量的人群数据，特别是采集包括年龄、性别、眼别（左眼/右眼）和目前屈光度的非眼底特征数据，并且将该四类非眼底特征数据（或称非眼底特征量）作为输入数据输入至机器学习模型中进行前期训练，从而最终可以得到能够回归出本发明所称的平均近视预测结果（例如回归出平均屈光发展趋势）的机器学习模型。作为示例，这里的机器学习模型可以是随机森林回归模型，其是利用“决策权+bagging”得到的一种非线性基于树的集成学习方法。
22.就本发明的方案来说，选择利用随机森林回归模型是其在数据集上表现良好，两个随机性（数据集选取随机和特征选取随机）的引入，使得随机森林回归模型不容易陷入过拟合并且具有很好的抗噪能力。另外，随机森林回归模型能够处理高维的数据，并且不需要做特征选择，由此对数据集的适应能力强。另外，随机森林回归模型既能处理离散性数据，也能处理连续型数据，从而数据集无需规范化。在创建随机森林时，对泛化错误（“generalization error”）使用的是无偏估计。在训练方面，该随机森林回归模型的训练速度快，可以得到变量重要性排序，并且在训练过程中，其能够检测到特征（“feature”）间的互影响。就实现方面，随机森林回归模型容易做成并行化的回归方法，从而实现起来相对比较简单。
23.返回流程，在步骤s104处，基于所述用户的眼底照片确定所述用户与近视相关的眼球质量指标。这里，眼底照片可以是由眼底相机对用户的眼底进行拍照后获得的照片（如图6的603和图7的703处所示出的）。进一步，这里的确定操作涉及对眼底照片中的一个或多个眼底特征的分割计算。作为示例，前述的眼底特征可以包括眼底豹纹和/或眼底弧形斑等。
24.在步骤s106处，根据平均近视预测结果和眼球质量指标生成与用户关联的个体近视预测结果。作为一个实施场景，这里的个体近视预测结果可以是用户最终的个体屈光预测曲线，例如图6中的曲线602和图7中的曲线702所示出的，其中给出青少年6-18岁之间的屈光度预测。通过观察该个体屈光预测曲线，可以清楚地看到用户在未来的若干年的近视发展。
25.以上结合图1对本发明的用于近视预测的方法100进行了描述。通过该方法的实
施，本发明可以向用户特别是年龄在6-18岁的青少年提供有效和个性化的近视预测，从而为及时的人为介入和干预提供了可能。
26.图2是示出根据本发明一个实施例的用于近视预测的方法200的详细流程图。应当理解的是，图2所示出的方法200可以视为图1所示方法100的一种可能实现方式，因此关于图1对方法100的描述同样适用于下文结合图2对方法200的描述。
27.如图2所示，在步骤s202处，利用采集到的非眼底特征形成待输入至机器学习模型的非眼底特征量。如前所述，这里的非眼底特征可以包括用户的年龄、性别、眼别（左眼/右眼）和目前屈光度，并且本发明在此方面不做任何的限制。进一步，通过针对该四类非眼底特征进行特征工程转化，从而可以将该非眼底特征输入转化为适用于机器学习模型的输入。接着，在步骤s204处，利用非眼底特征量对机器学习模型进行前期训练（包括例如正向和反向训练），最终得到可以执行推断操作的机器学习模型。作为示例，这里的机器学习模型可以是前述的随机森林回归模型。
28.接着，在步骤s206处，利用上述的机器学习模型生成待预测近视的用户的平均近视预测结果。作为示例，该平均近视预测结果如图4中的402处所指示。在步骤s208处，对所述眼底照片执行眼底特征提取操作，以获得与近视相关的眼底特征量。在步骤s210处，根据眼底特征量和非眼底特征量，生成与近视相关的所述眼球质量指标。在一个实施例中，眼底特征量可以是涉及眼底豹纹和眼底弧形斑的眼底特征量。基于此，在一个实施场景中，可以将前述的眼底特征量与非眼底特征量使用特征工程的方式（例如“one hot encoding”一位有效编码）来量化转化为适于输入至机器学习模型的数据输入量，从而可以利用机器学习模型来回归计算出该用户眼底情况下的平均屈光度。仅作为示例，可以将眼球质量确定为该回归计算出的平均屈光度与用户测量的实际屈光度的差值。当差值越大时，则此时反映眼球质量越差；相反，当差值越小时，则此时反映眼球质量越好。
29.最后，在步骤s212处，根据平均近视预测结果和眼球质量指标生成与所述用户关联的个体近视预测结果。作为示例，可以利用下式（1）来计算出前述的个体近视预测结果：
ꢀꢀꢀꢀꢀ
（1）其中即为步骤s206中的平均近视预测结果，而眼球质量也即步骤s210中的眼球质量指标，为正态分布参数，该正态分布参数是从具有大量眼底图像的数据库中选取处于前述眼球质量的对应人群，并且通过对该人群的实际屈光度对应的概率密度分布所求得的参数。
30.图3是示出根据本发明另一实施例的用于近视预测的方法300的详细流程图。应当理解的是，图3所示出的方法300可以视为图1所示方法100的一种可能实现方式，因此关于图1对方法100的描述同样适用于下文结合图3对方法300的描述。
31.如图3中所示，在步骤s302处，采集年龄、性别、眼别和当前屈光度中的一项或多项作为非眼底特征。如前所述，采集可以是针对于大数目的近视人群进行，以便形成可以用于训练机器学习模型的足够量级的训练数据。接着，在步骤s304处，将非眼底特征输入至机器学习模型以进行训练。如前所述，这里的机器学习模型可以例如是随机森林回归模型，本发明在具体的机器学习模型方面不做任何的限制。当完成训练后，在步骤s306处，利用前述的机器学习模型生成待预测近视的用户的平均近视预测结果，其例如可以具有如图4中402处
所示出的预测曲线形式。
32.在步骤s308处，利用与眼底特征相关的至少一个图像分割模型对眼底图像执行分割操作，以获得与近视相关的眼底特征量。根据不同的实施场景，这里的图像分割模型可以是多个，例如针对于眼底豹纹的眼底豹纹分割模型和针对于眼底弧形斑的眼底弧形斑分割模型。以眼底豹纹分割模型为例，在示例性的操作中，其可以对眼底图像进行像素级分割，得到标识每个像素属于豹纹或者非豹纹区域的豹纹分割信息。接着，可以基于所述眼底图像分割出现豹纹对视力影响程度不同的多种感兴趣区域，得到标识每个像素所属感兴趣区域的区域分割信息。此后，可以根据豹纹分割信息和区域分割信息对眼底豹纹进行量化分析，从而可以得到关于眼底豹纹的眼底量化指标。
33.类似地，也可以针对眼底照片中的眼底弧形斑执行分割操作，从而可以得到关于眼底弧形斑的眼底量化指标。此后，可以将上述关于眼底豹纹的眼底量化指标和关于眼底弧形斑的眼底量化指标进行组合，从而就可以得到本发明所称的与近视相关的眼底特征量。可以理解的是，这里的豹纹分割和弧形斑分割仅仅是示例性的而非限制性的，本领域技术人员根据本发明的教导也可以采用其他反映近视的眼底特征来进行分割及量化分析操作，从而得到本发明所称的眼底特征量。
34.接着，在步骤s310处，将眼底特征量和非眼底特征量输入至机器学习模型中，以获得用户的平均屈光度。此后，在步骤s312处，根据平均屈光度来计算得到眼球质量指标。如前所述，这里的平均屈光度可以视为本发明眼球质量的一个参考量，并且本领域技术人员基于本发明的原理和教导也可以使用其他的参考量，因此本发明在此方面不做任何的限制。作为示例，这里的眼球质量指标可以是将通过机器学习模型得到的平均屈光度与用户实际测量的屈光度进行比较，从而将二者的差值作为最终眼球质量指标。
35.最后，在步骤s314处，根据平均近视预测结果和眼球质量指标生成与用户关联的个体近视预测结果。作为示例，可以利用前述的式（1）来进行计算，从而获得关于个体近视预测结果的曲线图，例如图6中的602和图7中的702所示。基于这样的预测曲线图，青少年的家长或医护工作者可以提前了解青少年的近视发展趋势，并且及时提出有效控制或抑制其恶化的方案。
36.图4是示出根据本发明实施例的平均近视预测结果的曲线图。如图中所示，横坐标指示年龄（“age”）并且纵坐标指示预测的屈光度。为了便于参考和比较，图中示出未使用机器学习模型所获得的常规平均近视预测结果曲线401和本发明使用机器学习模型所获得的平均近视预测结果曲线402。为了预测的准确性，本发明还提出将使用阿托品或其他近视干预后近视度数变浅的非眼底特征数据（如包括年龄、性别、眼别和当前屈光度）从训练数据中清除。
37.图5是示出根据本发明实施例的眼球质量指标分布的曲线图。具体地，图5中所示出了眼球质量指标的分布（也可以具体称之为屈光度水平）以及示例的对应人群比例，其近似满足下式（2）的正态分布，并且其反映出具有与待预测用户相同情况（如斑纹/弧形斑）下的屈光度水平：
ꢀꢀꢀꢀ
（2）
其中式（2）中的代表待预测近视的用户的实际屈光度，而代表平均屈光度（例如图3步骤s310处计算或者说拟合得到的），而代表分布偏移量。对于图中的示例性百分比数值，其代表人群落入到该区间内的比例。例如，横坐标位于所在范围的人群占了68.3%，而横坐标位于所在范围的人群占了95.4%。
38.图6是示出根据本发明一个实施例的近视预测结果的曲线图。如图6中左侧所示，其横坐标指示年龄（“age”）并且纵坐标指示预测的屈光度。利用本发明上面结合图1-图3所描述的操作流程，可以得到对应于右侧眼底图像603的最终近视预测曲线602。作为参照，左侧还同时示出未利用本发明的方案所得到的近视预测曲线601。类似地，图7是示出根据本发明另一个实施例的近视预测结果的曲线图。与图6所示类似，曲线702代表利用本发明的方案所获得的对应于眼底图像703的近视预测曲线702。同样为了参照的目的，图7左侧还示出未使用本发明的方案所得到的近视预测曲线701。为了验证本发明方案的有效性和优势，申请人还对大量的人群进行了多次随访调查，得到的随访数据显示加入眼底图像后个体近视预测曲线相较于现有的平均曲线有更高的准确性，从而提供了更高的参考价值。鉴于本发明的预测方案具有更高的准确性而图中所示出的现有技术预测曲线601和701与本发明的预测曲线602和702存在明显的差异，因此本发明的方案相对于现有技术具有更高的准确性和有效性。
39.图8是示出根据本发明实施例的用于近视预测的设备800的原理框图。可以理解的是，该设备800可以执行结合图1-图3所描述的方法步骤。
40.如图8所示，本发明的设备800可以包括存储器802和处理器803，其中存储器可以存储有对用于近视预测的程序指令。附加地或可选地，存储器802也可以存储用于实现对眼底图像进行分析的算法代码（例如前文所提到的机器学习模型和/或图像特征分割模型等程序代码）。根据不同的实现场景，这里的处理器803可以是通用处理器或专用处理器（例如人工智能处理器）。进一步，当存储器802中的程序由处理器803执行时，设备例如通过其接口来接收眼底图像804，并且执行结合图1-图3所描述的方法步骤，从而最终输出近视预测结果（如图7的702处所示），以便供例如青少年的家长和医护工作人员参考，并及时提供人为干预，从而防止近视情况的进一步恶化。
41.图9是示出根据本发明实施例的用于近视预测的系统900的结构框图。该系统900可以包括根据本发明实施例的预测设备901（其可以相当于图8中所示出的设备800）以及其外围设备和外部网络，其中预测设备901用于对待预测的用户的个人数据进行分析和计算等操作，以实现前述结合图1-图7所述的本发明的预测方案。
42.如图9中所示，预测设备901可以包括cpu 9011，其可以是通用cpu、专用cpu或者其他信息处理以及程序运行的执行单元。进一步，预测设备901还可以包括大容量存储器9012和只读存储器rom 9013，其中大容量存储器9012可以配置用于存储各类数据，包括各类用户数据、中间结果数据、最终近视预测结果等以及运行机器学习模型所需要的各种程序，rom 9013可以配置成存储对于预测设备901的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
43.进一步，预测设备901还包括其他的硬件平台或组件，例如示出的张量数据处理单
元（“tpu”）9014、图像处理单元（“gpu”）9015、现场可编程门阵列（“fpga”）9016和机器学习单元（“mlu”）9017。可以理解的是，尽管在预测设备901中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，预测设备901可以仅包括通用cpu作为公知硬件平台或另一专用硬件平台作为本发明的预测硬件平台。
44.本发明的预测设备901还包括通信接口9018，从而可以通过该通信接口9018连接到局域网/无线局域网（lan/wlan）905，进而可以通过lan/wlan连接到本地服务器906或连接到因特网（“internet”）907。替代地或附加地，本发明的预测设备901还可以通过通信接口9018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代（“3g”）、第四代（“4g”）或第5代（“5g”）的无线通信技术。在一些应用场景中，本发明的预测设备901还可以根据需要访问外部网络的服务器908以及可能的数据库909，以便获得各种已知的神经网络模型、数据和模块，并且可以远程地存储测量或采集的各种数据（包括用于训练机器学习模型的训练数据）。
45.预测设备901的外围设备可以包括显示装置902、输入装置903以及数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本发明预测设备的运算过程或者最终预测结果进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、眼底相机，或其他输入按钮或控件，其配置用于接收图像数据（如本发明的眼底图像）的输入或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“usb”）、小型计算机系统接口（“scsi”）、串行ata、火线（“firewire”）、pci express和高清多媒体接口（“hdmi”）等，其配置用于与其他设备或系统的数据传输和交互。根据本发明的方案，该数据传输接口904还可以接收各种数据（例如本发明的各种特征量），并且向预测设备901传送各种类型的数据和结果。
46.本发明的预测设备901的上述cpu 9011、大容量存储器9012、只读存储器rom 9013、tpu 9014、gpu 9015、fpga 9016、mlu 9017和通信接口9018可以通过总线9019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线9019，cpu 9011可以控制测试设备901中的其他硬件组件及其外围设备。
47.在工作中，本发明的预测设备901的处理器cpu 9011可以通过输入装置903或数据传输接口904接收各种输入数据，并调取存储于存储器9012中的计算机程序指令或代码（例如涉及机器学习模型或图像分割模型的代码）对接收到的输入数据进行处理，以获得针对于待预测近视用户的近视预测结果。另外，预测设备901还可以通过通信接口9018将所述预测结果上传至网络，例如远程的数据库909。在一个应用场景中，此处的数据库909可以是隶属于医院的数据库，从而医护人员可以直接调取用户的预测结果并且给出医学干预，以避免用户近视的恶化。
48.还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
49.基于上文，本发明还公开了一种计算机可读存储介质，其中存储有用于近视预测的计算机程序代码，所述计算机程序代码由处理器加载并执行时，实现结合图1-图3所描述方法的操作流程。
50.计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram（resistive random access memory）、动态随机存取存储器dram（dynamic random access memory）、静态随机存取存储器sram（static random-access memory）、增强动态随机存取存储器edram（enhanced dynamic random access memory）、高带宽内存hbm（high-bandwidth memory）、混合存储立方hmc（hybrid memory cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
51.应当理解，本发明披露的权利要求、说明书及附图中的可能术语“第一”或“第二”等是用于区别不同对象，而不是用于描述特定顺序。本发明披露的说明书和权利要求书中使用的术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
52.还应当理解，在此本发明披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明披露。如在本发明披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明披露说明书和权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
53.虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。