一种基于点云补全的软骨修复方法

本发明涉及一种基于点云补全的软骨修复方法。

背景技术：

1、现阶段，由机械创伤、年龄退化或先天性疾病引起损伤病情正在逐年增加。由于软骨组织的自我修复能力十分有限,即使是很小的伤口也可能使得关节在运动中慢慢磨损退化。而现有的临床治疗手段只能缓解疼痛,延缓软骨进一步退化,不能有效促进损伤软骨再生。新生软骨组织的生化性质和力学性能也与正常软骨相差较大,远远满足不了机体的运动需求。

2、因此，需要对软骨进行软骨修复手术，进行软骨移植。软骨修复手术高度依赖于术者，尤其软骨健康形态复原问题，这需要具备丰富临床经验的外科医生才能完成。人工智能(ai)具有通过提高解释性和非解释性任务的效率和准确性来彻底改变放射学领域的潜力，从而解决“要修成什么样”的问题，协助医生更好的完成软骨修复手术。

3、软骨健康形态预测复原旨在修补缺损的病变软骨，从缺失点云出发估计完整点云，从而获得健康形态的软骨点云，即点云补全。现阶段，绝大多数点云补全研究集中在对象上，他们更注重学习属/类的一般特征，而不是特定对象的局部细节。因此，他们可能会改变位置已知点，并遇到类属扭曲，从而导致噪声和详细的几何损失。针对生物骨骼的3d形状补全应该使用现有方法无法捕获的关系结构信息(如几何对称性、规则排列和表面平滑度)来重建合理的细粒度完整点云。此外，由于三维形状的点云是高度非结构化的。通常，在三维形状上训练的模型会产生具有显著不均匀性的点云。这种不均匀性会导致形状上出现不需要的孔洞，破坏我们预测的完整性，这在骨骼补全任务中是不可接受的。

4、另外，由于复杂的点分布和深度学习网络的训练难度，当前的网络模型只能产生较小规模的点集合，无法生产大规模点集，从而无法对精确形貌的生物骨骼进行精细补全。

技术实现思路

1、本发明的目的是提供一种基于点云补全的软骨修复方法，以解决现有软骨缺损修复方法无法对精确形貌的生物骨骼进行精细补全的问题。

2、为解决上述技术问题，本发明提供一种基于点云补全的软骨修复方法，包括：

3、s1：对膝关节软骨模型进行预处理，获取膝关节软骨的残缺点云集；

4、s2：首先对的待修复残缺点云进行下采样以获得中心点；然后提取中心点周围的局部特征，再在局部特征中加入位置嵌入得到的局部特征点代理；

5、s3：利用点云补全模型根据局部特征点代理预测缺失代理点，然后根据预测出的缺失代理点由粗到细地进行恢复得到缺失代理点对应的缺失点云；

6、s4：将步骤s3得到的缺失点云与所述股骨残缺点云进行拼接；

7、s5：提取缺失点云的边界点；

8、s6：利用ransac进行三维点云空间3d圆拟合，获取球面方程；

9、s7：判断缺失点云中的所有点是否在球内，删除不在球内点，留下在在球内的点构成待修复区域点云，将待修复区域点云与缺损点云结合，得到健康软骨点云。

10、进一步地，步骤s1具体包括：

11、s11：获取膝关节股骨stl模型，将所述膝关节股骨stl模型转化为点云格式，得到膝关节股骨点云模型；

12、s12：利用直通滤波过滤掉z轴维度上所有不在给定值域内的点，对所述膝关节股骨点云模型进行分割；

13、s13：对分割后的膝关节股骨点云模型进行随机采样，得到原始股骨点云集；

14、s14：将原始点云集按照真实手术中的软骨缺损位置和大小对股骨上表面点云进行切割，将每个原始股骨点云切割成若干个残缺股骨点云，得到残缺点云集。

15、进一步地，步骤s2具体包括：

16、s21：对股骨残缺点云进行最远点采样，得到固定的n个中心点{q1,…,qi,…,qn}；

17、s22：使用轻量化的dgcnn对中心点周围的局部区域进行特征提取，得到n个局部区域特征{f1′,…,fi,…,fn′}，其中fi′对应了以qi为中心点的局部区域特征；

18、s23：通过mlp网络提取每一个局部特征fi′的位置嵌入，相加后得到点代理，即

19、进一步地，点云补全模型为transformer编码器-解码器架构，包括：

20、编码器，用于对步骤s2得到的局部特征点代理进行编码；

21、几何感知机，用于利用knn模型来捕捉点云中的几何关系；给定查询坐标pq，根据键坐标pk查询最近键的特征，空间中相邻的点代理拼接在一起；然后通过使用线性层的特征聚合，进行最大池化操作，学习局部几何结构；最后将几何特征和自注意力机制的语义特征连接并映射到原始维度以形成输出；

22、query生成器，用于首先通过编码器的输出特征得到全局特征fg，并通过一个线性层预测粗略的缺失点云中心点坐标{c1,…，ci，…cm}，将缺失点云中心点坐标与全局特征拼接后，利用软骨修复网络模型生成query特征，即

23、

24、多尺度点云生成模块，将query特征翻译为缺失代理点利用query生成器将缺失点云中心点坐标{c1,…，ci，…cm}作为缺失点云的局部中心，利用foldingnet恢复缺失代理点为中心的详细局部形状：

25、

26、其中，ci是以缺失点云中心点坐标ci为中心的相邻点的集合，即为缺失代理点对应的缺失点云。

27、进一步地，所述软骨修复网络模型构建方法包括：

28、利用现有点云补全数据集预训练一个软骨修复网络模型作为源模型；

29、创建一个新的软骨修复网络模型作为目标模型，将源模型的所有模型设计及其参数迁移到目标模型；

30、利用膝关节软骨数据集训练目标模型，并基于源模型的参数对目标模型进行微调，得到基于软骨细粒度结构的软骨修复网络模型。

31、进一步地，软骨修复网络模型采用倒角距离损失函数作为其损失函数。

32、进一步地，步骤s5具体包括：

33、s51：对点云p中任意点pi设定搜索半径r，并将搜索半径r内的邻域点记为集合n(pi)，即

34、n(pi)＝{pj|pj∈p,‖pi-pj‖<r}

35、s52：设定曲面方程ax+by+cz＝d(d≥0),a2+b2+c2＝1，取pi对应的集合n(pi)，计算n(pi)到曲面的距离

36、di＝|ax+by+cz-d|

37、求解n(pi)中所有点到曲面的距离和最小时对应的特征向量即为改点的法向量

38、

39、根据pi和法向量n做该点的切平面ψ；

40、s53：将集合n(pi)内的点投影到切平面ψ上，记为n(pi′)。在n(pi′)中选取一点pj′，以为u轴，n为w轴，u×w为v轴，以pi为坐标中心构建局部坐标系，记为(pi,u,v,w)；

41、s54：分别计算集合n(pi′)中其它点pn′到点pi的向量pipn′与坐标轴u的顺时针夹角ω＝(θ1,θ2,θ3,…θn)，对相邻夹角两两作差得到夹角集合ω′＝(θ′1,θ′2,θ′3…θ′n-1)，其中

42、θ′n-1＝θn-θn-1

43、将集合ω′中的元素降序排列，找出其中最大的夹角θ′max。

44、θ′max＝max(θ′1,θ′2,θ′3…θ′n-1)

45、当θ′max大于阈值时，则改点为边界点。

46、进一步地，步骤s6具体包括：

47、s61：初始化循环次数k＝0及局内点集inputs＝null；

48、s62：从边界点点集d中随机抽取3个点，通过这3个点求解出圆的参数，即圆心(x0,y0,z0)、半径r；

49、s63：计算各边界点到所得到的圆的圆心的距离d,若d-r≤ε，则将点计入局内点集；否则视为局外点；

50、s64：计算该圆上的局内点的个数，记为m，若m大于阈值mmin，则认为此次估计成功转第s65步；否则转第s26步；

51、s65：对集inputs中的所有用最小乘法重新计算圆的参数模型，得到最终结果；

52、s66：k＝k+1,若k>kmax，则结束；否则转s62。

53、s67：利用圆的参数模型，获取球面方程

54、(x-x0)2+(y-y0)2+(z-z0)2＝r2。

55、本发明的有益效果为：本发明突破修复补全形状缺失部分的同时能有效保持输入点云形状的精细结构信息的关键技术；同时还通过利用精准提取技术去除冗余补全点达到精准复原，实现了3d形状补全在膝关节软骨修复的应用。