一种牙颌面生长发育预测的人工智能系统

本发明涉及人工智能中的深度学习算法，计算机视觉领域，代谢组学领域，人类生长发育领域，具体为通过人头颅侧位片、生长发育相关代谢物水平和生长发育相关体征等生长发育相关生物信息，预测牙颌面生长发育的人工智能系统

背景技术：

1、以往的生长发育预测手段仅利用于1-2种相关因素进行预测，许多有用的生物信息尚未纳入，导致预测准确率不高，不能满足临床需要，并且先前的预测手段往往要求分析人员拥有丰富的专业知识，难以推广。

2、本专利运用多模态学习将生长发育相关的生物信息进行整合，从多个维度分析预测生长发育。

3、结合人工智能技术，训练出预测水平接近专家的预测系统，辅助临床诊治，降低学习成本。

4、1.已经有许多研究利用生物龄(biological age)包括牙龄(dental age)、骨龄(skeletal age)、第二性征(secondary sexual characteristics)及身体形态学的快速改变等方面，来预测人体的生长发育。也有一些学者利用与生长发育相关的代谢物水平来预测人体的生长发育。然而，几乎所有的研究仅利用了其中一个或两个因素进行预测，并且预测结果准确率均不超过80％。

5、2.以往的预测方法均需要人工分析，并且要求分析人员拥有较高的专业水准，消耗大量人力物力，难以推广，不利于帮助医疗水平较差地区提高临床诊治水平。

技术实现思路

1、针对以往的预测方法消耗大量人力物力，准确率也不高的问题，提出了一种牙颌面生长发育预测的人工智能系统。利用多模态学习将生长发育相关的生物信息进行整合，结合人工智能技术进行综合分析预测，能够提高生长发育预测的准确率，并且降低使用者的学习成本，便于帮助医疗水平较差地区提高临床诊治水平。

2、本发明的技术方案为：

3、一种牙颌面生长发育预测的人工智能系统，运用多模态学习将生长发育相关的生物信息进行整合，结合人工智能技术，训练出多模态学习的牙颌面生长发育预测的人工智能系统，具体包括如下：

4、特征提取模块：生长发育相关的生物信息中各个模态的特征提取，包含文本信息和视觉信息；

5、特征融合模块：利用多层融合多模态数据特征，通过四个lstm来融合特征提取模块的各个模态的特征并输出特征向量；

6、结果预测模块：利用特征融合模块的四个lstm来融合各个模态的特征后，使用softmax函数来预测生长发育状况。

7、进一步的，特征提取模块中的文本信息和视觉信息具体为：文本信息包括体格、第二性征、代谢物水平的模态信息，视觉信息包括骨龄、牙龄。

8、进一步的，为了从文本信息中提取特征，对模型进行预训练；视觉信息的特征提取部分由2个cnn构成，其中2个cnn模型是用于提取头颅侧位片和全景片的影像特征，从中获取骨龄和牙龄的模态信息。

9、进一步的，文本、视觉数据应该具有相同的长度并且适合框架；视频可以看作是可变长度的数据；文本信息是固定长度数据；文本信息可以被视为最小的元素，设定最长文本内可含有的单词数量，若小于则可以设为“null”。

10、进一步的，融合思路模块的操作如下：

11、将文本特征输入到第一层lstm得到的是每个神经元的隐藏层状态，然后将视觉特征与layer1得到的隐藏层状态相拼接输入到第二层lstm得到第二层每个神经元的隐藏层状态，之后将视觉特征与layer2得到的隐藏层状态相拼接输入到第三层lstm得到第三层每个神经元的隐藏层状态；同样的，将代谢物水平的文本特征与layer3得到的隐藏层状态相拼接输入到第四层lstm得到第四层每个神经元的隐藏层状态；最后将融合后的特征输入到fc层以得到最终的预测结果；其中，第一层lstm为layer1，第二层lstm为layer2，第三层lstm为layer3，第四层lstm为layer4。

12、进一步的，融合思路模块的操作具体如下：

13、第一层lstm的输入是文本数据；第一层lstm的输出是每个神经元的隐藏层状态；

14、在第二层lstm中，将全景片中的牙龄信息和第一层lstm的输出融合作为第二层lstm的输入；

15、第三层lstm也采用同理设计；第二层lstm的输出与头颅侧位片的特征组合作为第三层lstm的输入；

16、第四层lstm也采用同理设计；第三层lstm的输出与代谢物水平的特征组合作为第四层lstm的输入；

17、利用四个lstm来融合体格、第二性征、代谢物水平、骨龄和牙龄的特征。

18、进一步的，对多模态模型进行训练，具体方案如下：每个个体各个模态的信息都通过唯一的索引关联在一起；按照70％、15％、15％的比例首先将完成标记后的个体分为训练集、验证集和测试集；在完成患者的分类后，样本的临床信息根据编号索引一起完成数据集分类，最终构建的数据集形式是一个患者的数据包括四种来源的信息，这些信息通过唯一的索引与样本相对应。

19、进一步的，训练集首先用来完成各个单模态的特征提取，然后将得到的特征进行融合对齐，也就是多模态特征融合，最后得到个体的生长发育状态；验证集用于整个系统的超参数调整，以获得最佳性能；测试集用于测试训练完的系统的最终性能；最终获得基于多模态学习的牙颌面生长发育预测的人工智能系统。

20、本发明的有益效果在于：

21、本专利运用多模态学习将生长发育相关的生物信息进行整合，从多个维度分析预测生长发育。结合人工智能技术，训练出预测水平接近专家的预测系统，辅助临床诊治，降低学习成本。

22、次要发明点：本专利纳入包括体格、第二性征、骨龄、牙龄以及生长发育相关代谢物水平的生物信息，通过人工智能领域中的深度学习技术、多模态学习的思想进行综合分析预测。从宏观上体格、第二性征、骨龄以及牙龄到微观上的代谢物水平，多个维度综合评估，将人体生长发育阶段进一步细分。

技术特征：

1.一种牙颌面生长发育预测的人工智能系统，其特征在于，运用多模态学习将生长发育相关的生物信息进行整合，结合人工智能技术，训练出多模态学习的牙颌面生长发育预测的人工智能系统，具体包括如下：

2.根据权利要求1所述的牙颌面生长发育预测的人工智能系统，其特征在于，特征提取模块中的文本信息和视觉信息具体为：文本信息包括体格、第二性征、代谢物水平的模态信息，视觉信息包括骨龄、牙龄。

3.根据权利要求2所述的牙颌面生长发育预测的人工智能系统，其特征在于，为了从文本信息中提取特征，对模型进行预训练；视觉信息的特征提取部分由2个cnn构成，其中2个cnn模型是用于提取头颅侧位片和全景片的影像特征，从中获取骨龄和牙龄的模态信息。

4.根据权利要求2所述的牙颌面生长发育预测的人工智能系统，其特征在于，文本、视觉数据应该具有相同的长度并且适合框架；视频可以看作是可变长度的数据；文本信息是固定长度数据；文本信息可以被视为最小的元素，设定最长文本内可含有的单词数量，若小于则可以设为“null”。

5.根据权利要求2所述的牙颌面生长发育预测的人工智能系统，其特征在于，融合思路模块的操作如下：

6.根据权利要求5所述的牙颌面生长发育预测的人工智能系统，其特征在于，融合思路模块的操作具体如下：

7.根据权利要求1所述的牙颌面生长发育预测的人工智能系统，其特征在于，对多模态模型进行训练，具体方案如下：每个个体各个模态的信息都通过唯一的索引关联在一起；按照70％、15％、15％的比例首先将完成标记后的个体分为训练集、验证集和测试集；在完成患者的分类后，样本的临床信息根据编号索引一起完成数据集分类，最终构建的数据集形式是一个患者的数据包括四种来源的信息，这些信息通过唯一的索引与样本相对应。

8.根据权利要求7所述的牙颌面生长发育预测的人工智能系统，其特征在于，训练集首先用来完成各个单模态的特征提取，然后将得到的特征进行融合对齐，也就是多模态特征融合，最后得到个体的生长发育状态；验证集用于整个系统的超参数调整，以获得最佳性能；测试集用于测试训练完的系统的最终性能；最终获得基于多模态学习的牙颌面生长发育预测的人工智能系统。

技术总结
本发明涉及一种牙颌面生长发育预测的人工智能系统，运用多模态学习将生长发育相关的生物信息进行整合，结合人工智能技术，训练出多模态学习的牙颌面生长发育预测的人工智能系统，具体包括如下：特征提取模块：生长发育相关的生物信息中各个模态的特征提取，包含文本信息和视觉信息；特征融合模块：利用多层融合多模态数据特征，通过四个LSTM来融合特征提取模块的各个模态的特征并输出特征向量；结果预测模块：利用特征融合模块的四个LSTM来融合各个模态的特征后，使用softmax函数来预测生长发育状况。解决了以往的预测方法消耗大量人力物力，准确率也不高的问题，能够提高生长发育预测的准确率，并且降低使用者的学习成本，便于提高临床诊治水平。

技术研发人员：房兵,李海振,李海瑞,李岳峻,刘超,夏伦果,袁玲君
受保护的技术使用者：上海交通大学医学院附属第九人民医院
技术研发日：
技术公布日：2024/5/10