基于3D视网膜近视离焦面的角膜塑形镜优化方法及系统

本发明涉及的是一种医疗设备制造领域的技术，具体是一种基于3d视网膜近视离焦面的角膜塑形镜优化方法及系统。

背景技术：

1、现有角膜塑形镜设计技术的可靠性与准确性较难满足佩戴者不同参数，尤其是受力后形变带来的形状参数变化要求。基于角膜地形图的改进方案则只能通过少数简单参数进行角膜塑形镜的治疗效果预测，并不能通过多模态细粒度的医学图像数据进行最优选配参数的预测。

技术实现思路

1、本发明针对现有技术角膜塑形镜的结构参数通常根据人工经验生成，准确度较低的问题，提出一种基于3d视网膜近视离焦面的角膜塑形镜优化方法及系统，通过角膜地形图、光学相干断层扫描以及其他数据进行多模态特征提取选择融合的深度学习算法进行最佳参数预测。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于3d视网膜近视离焦面的角膜塑形镜优化方法，根据前后节光学相干断层成像术(oct)图像、角膜检测数据、生理参数及角膜塑形镜参数，经多模态特征提取选择融合算法得到多模态数据融合特征，通过基于特征交互函数算子的多尺度图像预测网络得到佩戴角膜塑形镜后的角膜地形图及后节视网膜oct图像；再通过几何光学的光线追踪和采样得到穿过角膜的光线的行进路线，与后节视网膜oct图像共同进行三维重建后得到3d离焦曲面，通过对3d离焦曲面进行参数调整量修正，得到优化角膜塑形镜制造参数。

4、本发明涉及一种实现上述方法的基于3d视网膜近视离焦面的角膜塑形镜优化系统，包括：信息输入与预处理模块、特征提取融合模块、角膜及视网膜预测模块、预测光路几何及3d离焦面重建模块和参数调整量修正模块，其中：信息输入与预处理模块采集角膜检测数据、眼轴参数检测数据、眼部影像学检测数据、基因组学测试数据和生理参数等多模态数据，经格式转换并调整尺寸后输出至特征提取融合模块；特征提取融合模块进行特征提取、特征选择和融合得到用户多模态融合特征；角膜及视网膜预测模块预测根据角膜塑形镜以及用户多模态融合特征，预测出在使用角膜塑形镜的状态下角膜和视网膜形态的变化；预测光路几何及3d离焦面重建模块通过几何光学的光线采样技术获得一组角膜入射光线以及对应的角膜出射光线路径，重建用户的3d离焦面并获得离焦面与视网膜间的距离，再结合角膜塑形镜的参数建立并拟合参数与距离间的物理关联函数；参数调整量修正模块根据物理关联函数对角膜塑形镜的参数进行调整，得到优化角膜塑形镜制造参数。

5、所述的信息输入与预处理模块包括：多模态数据采集单元和信息预处理单元，其中：多模态数据采集单元采集角膜检测数据、眼轴参数检测数据、角膜oct图像、视网膜oct图像、基因组学测试数据和生理参数数据；预处理单元将眼部信息格式转化后将部分离散数据转为图片格式输出至特征提取融合模块。

6、所述的特征提取融合模块包括：特征提取单元和特征融合单元，其中：特征提取单元使用神经网络从多模态数据中角膜地形图和眼角膜及视网膜oct图像中提取出更高维度的图像特征、使用embedding对多模态数据中眼轴参数检测数据、基因组学测试数据和生理参数进行编码，将离散参数转换为连续的参数特征，再将图像特征和参数特征输出至特征融合单元；特征融合单元对提取到的图像特征与参数特征赋予权重，并通过训练动态调节各模态数据的权重。

7、所述的角膜及视网膜预测模块包括：外力编码单元和塑形镜诱导的角膜及视网膜预测单元，其中：外力编码单元根据预设塑形镜的几何参数和佩戴参数，对角膜所施加的压力进行编码；塑形镜诱导的角膜及视网膜预测单元通过基于u型网络和力学特征交互建模(phyint)组件的transformer网络，根据输入的多模态数据和来自外力编码单元编码的力学特征预测得到佩戴塑形镜后的角膜及视网膜形状。

8、所述的transformer网络包括：一个编码器和一个解码器，共4层结构，其中：编码器路径提取空间降采样，解码器路径执行特征重构和空间上采样，从相同分辨率的编码器路径通过跳接叠加特征映射，以逐步恢复相同大小的输入。

9、所述的transformer网络中的每个phyint组件前进一步设有一层cnn结构。

10、所述的对角膜所施加的压力进行编码，具体包括：

11、第一步，合成角膜塑形镜曲率贴图：将角膜塑形镜按照在基弧区、反转弧区、定位弧区和周边弧区预设的尺寸参数，形成一个与角膜区域每个点对齐的塑形镜曲率图，在塑形镜曲率图中的每个点上，填入对应的镜片的曲率值，以表示塑形镜对角膜的压力大小，方便使用神经网络以一种隐式的特征编码来模拟连续的力的产生和应用过程。

12、第二步，基于时间编码提取塑形镜压力特征：将第一步中合成的塑形镜曲率图输入外力编码单元的包含5个卷积层的漏斗形的网络结构，进行特征提取和降维，得到塑形镜所施加压力的特征编码信息；对来自角膜塑形镜佩戴时长的时间信息进行编码，应用衰减函数e-at表示戴镜时长对角膜的影响程度，并与原始的压力特征编码信息相乘得到时间衰减的压力特征编码信息；塑形镜所施加压力的特征编码信息和时间衰减的压力特征堆叠在一，经过若干不同的级联卷积和重塑操作，获得外力特征编码。

13、所述的预测得到佩戴塑形镜后的角膜及视网膜形状，具体包括：

14、步骤1，注入多模态数据特征：采用结合u型结构和transformer网络对多模态数据特征进行编码，以符合预测模型的输入；

15、步骤2，注入外部力学特征信息：通过phyint组件前的cnn结构将力学特征编码注入phyint组件，以实现外部力学信息引导的图像预测；

16、步骤3，基于力学特征交互组件预测角膜和视网膜的变化：将角膜和视网膜离散化为五面体离散机械系统，通过计算自注意操作其中：q和k对位置信息进行编码，其差值表示两点之间的空间距离信息；再通过具有力学特征交互建模组件的transformer网络预测得到佩戴塑形镜后的角膜及视网膜形状。

17、所述的五面体离散机械系统是指：任意一个角膜位置o对应其附近四个点a、b、c和d并构成抽象且近似为矩形的五面体离散机械系统，其中loa＝lob＝loc＝lod＝l，该五面体离散机械系统的长度宽度则点o的曲率为即五面体离散机械系统中顶点的曲率与该点和周围点之间距离的二次成反比。

18、所述的预测光路几何及3d离焦面重建模块包括：光路预测单元和3d离焦面重建单元，其中：光路预测单元根据角膜及视网膜预测模块预测出的角膜形态，即角膜前表面的曲率半径，通过几何光学的光线采样技术预测出光线通过角膜后的出射角度；3d离焦面重建单元使用蒙特卡洛采样技术对位于角膜前的点光源进行采样，通过入射光线得到离焦面的点云数据，并通过内置的曲面参数预测网络获得组成离焦面10组函数曲面的表达式，拟合出重建离焦面并计算重建离焦面上各点与视网膜曲面间的距离。

19、所述的参数调整量修正模块包括：关联函数建立单元和塑形镜参数修正单元，其中：关联函数建立单元通过动态调节塑形镜基弧区半径、反转弧区宽度、定位弧区宽度及周边弧区宽度并输出至预测光路几何及3d离焦面重建模块，从而得到不同塑形镜参数治疗下的离焦面变化以及重建离焦面与视网膜的距离，并生成塑形镜参数与离焦面距离之间的关联函数，塑形镜参数修正单元通过关联函数得到在离焦面最佳情况下的塑形镜最优参数。