一种基于点云像素匹配的三维舌体的重建方法及系统

本发明涉及医疗卫生，具体涉及一种基于点云像素匹配的三维舌体的重建方法及系统。

背景技术：

1、舌诊是中医观察病人舌质和舌苔的变化以诊察疾病的一种方法，属于望诊的一种，十分有效。随着通信物联网，人工智能等新一代信息技术的快速发展，使得利用ai进行舌象的辅助诊断成为可能。通过ai技术自动分析舌头能够提供提供快速、准确的诊断结果，但目前舌象的辅助诊断研究都是集中利用二维图像进行数据训练，二维图像所能提取的舌头特征有限，模型准确率受到很大限制。

2、舌头的三维重建方法可以被广泛用于中医诊所、医院和中医药研究机构等场所，为中医医生提供舌头的三维模型，帮助病情的诊断。同时利用舌头的三维模型提取更多舌头特征（如二维图像中难以观察到的舌头侧面齿痕），训练深度学习模型，相比于普通二维图像模型能够得到更准确的诊断结果。

技术实现思路

1、发明目的：本发明的目的是提供一种基于深度学习的三维人体舌头的重建方法及系统，为中医医生提供舌头的三维模型，帮助病情的诊断，提升诊断效率，同时利用舌头的三维模型提取更多舌头特征训练深度学习模型，得到更准确的诊断结果。

2、技术方案：本发明所述的一种基于点云像素匹配的三维舌体的重建方法，包括以下步骤：

3、（1）将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；

4、（2）利用摄像头拍摄舌体，获取舌体图像；

5、（3）将得到点云图像进行特征提取；

6、（4）构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。

7、进一步的，所述步骤（1）中，对齐方法如下:

8、（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量；其中，

9、；；

10、是矩阵中的元素；、、表示x、y、z轴上的平移量；

11、（12）根据旋转矩阵与平移向量计算组合变换矩阵m;;

12、(13)计算对齐后的点云图像，其中，表示原始点云数据。

13、进一步的，所述步骤（3）包括：自动编码器和解码器两个部分组成，包括以下步骤：

14、（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：

15、；

16、其中，y表示点云特征向量即为所需生成的标签，e表示编码器映射函数，r表示实数，256表示y的列数；

17、（32）图像重建：利用解码器d将y映射回原始空间，公式如下：

18、；

19、其中，表示解码后的图像，用于评估利用解码器得到的点云特征向量。

20、进一步的，所述步骤（4）包括以下步骤：

21、（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；

22、（42）根据图像参数，点云特征参数计算形状参数a，公式如下：

23、；

24、（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，r表示实数，110表示编码参数p向量的大小；

25、（44）利用主成分分析pca模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：

26、；

27、（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。

28、进一步的，所述步骤（45）具体如下：训练模型的舌损公式如下：

29、；

30、其中，到表示舌像重构模型的超参数；表示平滑舌损，表示方向舌损，表示范围舌损，表示齿痕舌损，表示差距舌损；

31、平滑舌损公式如下：

32、；

33、其中，i 和 j 分别表示源点云点集和目标点云点集中的点，表示点i到点j之间的欧式距离；

34、方向舌损公式如下：

35、；

36、其中，表示计算从原点到点i与点j的两个向量之间的余弦值；

37、范围舌损公式如下：

38、；

39、表示与去除点j的集合，l表示该集合中的点；

40、齿痕舌损公式如下：

41、;

42、m表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;

43、差距舌损公式如下：

44、；

45、其中，a表示运算模块计算出形状参数。

46、本发明所述的一种基于点云像素匹配的三维舌体的重建系统，包括：

47、雷达采集模块：用于将位置和方向与参考坐标系对齐，利用激光雷达测量舌体的距离和位置，形成点云图像；

48、舌像采集模块：用于利用摄像头拍摄舌体，获取舌体图像；

49、点云特征提取模块：用于将得到点云图像进行特征提取；

50、舌像重构模块：用于构建舌体重构模型，对模型进行训练，获取最优的三维图像数据，完成重构。

51、进一步的，所述雷达采集模块中，对齐方法如下:

52、（11）根据张正友标定法对激光雷达设备进行外部标定，获取旋转矩阵与平移向量；其中，

53、；；

54、是矩阵中的元素；、、表示x、y、z轴上的平移量；

55、（12）根据旋转矩阵与平移向量计算组合变换矩阵m;;

56、(13)计算对齐后的点云图像，其中，表示原始点云数据。

57、进一步的，所述点云特征提取模块包括：自动编码器和解码器两个部分组成，包括以下步骤：

58、（31）自动编码器训练：设点云坐标为3列坐标向量组成的矩阵，将其映射为低维的点云特征向量，公式如下：

59、；

60、其中，y表示点云特征向量即为所需生成的标签，e表示编码器映射函数，r表示实数，256表示y的列数；

61、（32）图像重建：利用解码器d将y映射回原始空间，公式如下：

62、；

63、其中，表示解码后的图像。

64、进一步的，所述舌像重构模块中，包括以下步骤：

65、（41）对舌体图像进行预处理，调整图像大小、归一化像素值，并输入到经过预训练的分类模型中，将预训练的分类模型最后一层修改为输出一个长度为256的特征向量x，其中，x表示为图像参数；与目标点云特征参数向量y进行匹配；

66、（42）根据图像参数，点云特征参数计算形状参数a，公式如下：

67、；

68、（43）利用回归模型，将生成的图像参数x转化成编码参数p，，其中，r表示实数，110表示编码参数p向量的大小；

69、（44）利用主成分分析pca模型作为形态解码器，将编码参数p转化成三维模型的坐标矩阵，公式如下：

70、；

71、（45）对模型进行训练，获取最优的三维图像坐标数据，完成重构。

72、进一步的，舌像重构模块中，对模型进行训练，获取最优的三维图像坐标数据，完成重构具体如下：用于训练模型的舌损公式如下：

73、；

74、其中，到表示舌像重构模型的超参数；表示平滑舌损，表示方向舌损，表示范围舌损，表示齿痕舌损，表示差距舌损；

75、平滑舌损公式如下：

76、；

77、其中，i 和 j 分别表示源点云点集和目标点云点集中的点，表示点i到点j之间的欧式距离；

78、方向舌损公式如下：

79、；

80、其中，表示计算从原点到点i与点j的两个向量之间的余弦值；

81、范围舌损公式如下：

82、；

83、表示与去除点j的集合，l表示该集合中的点；

84、齿痕舌损公式如下：

85、;

86、m表示提取标准舌头点云数据集中舌头轮廓特征的等间距的24个点，与采集到的点云数据相对应，计算欧式距离损失;

87、差距舌损公式如下：

88、；

89、其中，a表示运算模块计算出形状参数。

90、有益效果：与现有技术相比，本发明具有如下显著优点：针对舌头设计了模型训练的损失函数，使得模型收敛速度快，鲁棒性较强，易于调整训练参数从而提升模型准确率，避免了牙齿轮廓影响面部特征的情况。