可摘局部义齿的纸质设计单转为电子设计单的方法和系统与流程

1.本发明涉及可摘局部义齿技术领域，尤其涉及一种可摘局部义齿的纸质设计单转为电子设计单的方法和系统。


背景技术：

2.可摘局部义齿是在口腔临床中治疗牙列缺损的主要手段之一。在临床中，由于不同病人的病情均不相同，需要临床医生针对每个病人设计不同的义齿方案。
3.基于实际应用情况，当前大多数医疗机构仍然使用医生手绘纸质设计单的方法去表述自己对可摘局部义齿的设计方案。对于经验丰富的医生，手绘的方式能够快速准确地表述自己的设计方案。但对于另一端，一者是病人本身难以直观理解自己即将面对的治疗方案，另一者是负责制作可摘局部义齿的工人若非经验丰富，容易对于设计单产生误解。同时，纸质设计单在如今的信息化社会，不利于保存、统计或分析等缺陷也越来越明显。
4.近年来，针对可摘局部义齿设计的电子化的重要性，逐渐被部分医疗科研机构所发现。而可摘局部义齿的电子设计单的优势，能够将设计方案规范化展示，消除不同义齿制作的后期工人对于同一设计单的理解差异，更有利于后期的自动化生产过程。
5.而当前，除了由专业人员手工将临床医生的纸质设计单绘制在电脑上，生成电子设计单的方法，没有任何自动化的方案，且由于可摘局部义齿的零件繁杂众多，临床医生在使用电脑生成电子设计单时的操作量远大于手绘纸质设计单，在临床治疗时有较大限制性，所以并未被广泛接受与应用。
6.所以，如何快速将可摘局部义齿的纸质设计单转化为电子设计单就十分具有必要性。


技术实现要素：

7.本发明所要解决的技术问题是针对现有技术的不足，提供了一种可摘局部义齿的纸质设计单转为电子设计单的方法和系统。
8.本发明的一种可摘局部义齿的纸质设计单转为电子设计单的方法的技术方案如下：
9.获取针对于目标用户所设计的可摘局部义齿的纸质设计单的图像，从所述图像中识别出所述目标用户的每个牙齿的牙位和以及每个牙齿在所述图像的位置，根据任一牙齿的牙位和以及该牙齿在所述图像中的位置，将该牙齿映射到电子设计单上，直至将每个牙齿映射到所述电子设计单上，得到第一中间电子设计单；
10.从图像获取包含支托、卡环、基托以及所有牙齿的局部图像；
11.对所述局部图像进行识别，确定至少一个待安装人工齿的牙位并在所述第一中间电子设计单中进行标记，并对所述局部图像进行识别，得到所述支托的轮廓、所述卡环的轮廓和所述基托的轮廓，将所述支托的轮廓、卡环的轮廓和基托的轮廓映射到所述第一中间电子设计单上，得到第二中间电子设计单；
12.根据所述第二中间电子设计单设计连接体，并绘制在所述第二中间电子设计单中，得到第三中间电子设计单；
13.通过人工修改方式对所述第三中间电子设计单进行优化，得到可摘局部义齿的电子设计单。
14.本发明的一种可摘局部义齿的纸质设计单转为电子设计单的方法的有益效果如下：
15.根据可摘局部义齿的纸质设计单，能够快速且准确地确定可摘局部义齿的电子设计单，而且通过“重新设计连接体”以及“人工修改方式进行优化”，进一步提高可摘局部义齿的电子设计单的质量可靠性。
16.在上述方案的基础上，本发明的一种可摘局部义齿的纸质设计单转为电子设计单的方法还可以做如下改进。
17.进一步，对所述局部图像进行识别，确定至少一个待安装人工齿的牙位，包括：
18.对所述局部图像进行识别，得到至少一个缺失牙齿标记在所述局部图像中的位置，并根据每个缺失牙齿标记在局部图像中的位置，在所述第一中间电子设计单中标记出每个缺失牙齿所属的牙位，从每个缺失牙齿所属的牙位中确定至少一个待安装人工齿的牙位。
19.进一步，将所述支托的轮廓、卡环的轮廓和基托的轮廓映射到所述第一中间电子设计单上，包括：
20.根据所述支托的轮廓在所述局部图像中的区域、所述卡环在所述局部图像中的区域和基托在所述局部图像中的区域，将所述支托的轮廓、卡环的轮廓和基托的轮廓映射到所述第一中间电子设计单上。
21.进一步，从所述图像中识别出所述目标用户的每个牙齿的牙位和以及每个牙齿在所述图像的位置，包括：
22.利用训练好的yolov5网络，从所述图像中识别出所述目标用户的每个牙齿的牙位和以及每个牙齿在所述图像的位置。
23.进一步，还包括，在可摘局部义齿的电子设计单上，绘制位于每个待安装人工齿的牙位上的人工齿。
24.本发明的一种可摘局部义齿的纸质设计单转为电子设计单的系统的技术方案如下：
25.包括第一识别映射模块、局部图像获取模块、第二识别映射模块、设计绘制模块和优化模块；
26.所述第一识别映射模块用于：获取针对于目标用户所设计的可摘局部义齿的纸质设计单的图像，从所述图像中识别出所述目标用户的每个牙齿的牙位和以及每个牙齿在所述图像的位置，根据任一牙齿的牙位和以及该牙齿在所述图像中的位置，将该牙齿映射到电子设计单上，直至将每个牙齿映射到所述电子设计单上，得到第一中间电子设计单；
27.所述局部图像获取模块用于：从图像获取包含支托、卡环、基托以及所有牙齿的局部图像；
28.所述第二识别映射模块用于：对所述局部图像进行识别，确定至少一个待安装人工齿的牙位并在所述第一中间电子设计单中进行标记，并对所述局部图像进行识别，得到
所述支托的轮廓、所述卡环的轮廓和所述基托的轮廓，将所述支托的轮廓、卡环的轮廓和基托的轮廓映射到所述第一中间电子设计单上，得到第二中间电子设计单；
29.所述设计绘制模块用于：根据所述第二中间电子设计单设计连接体，并绘制在所述第二中间电子设计单中，得到第三中间电子设计单；
30.所述优化模块用于：通过人工修改方式对所述第三中间电子设计单进行优化，得到可摘局部义齿的电子设计单。
31.本发明的一种可摘局部义齿的纸质设计单转为电子设计单的系统的有益效果如下：
32.根据可摘局部义齿的纸质设计单，能够快速且准确地确定可摘局部义齿的电子设计单，而且通过“重新设计连接体”以及“人工修改方式进行优化”，进一步提高可摘局部义齿的电子设计单的质量可靠性。
33.在上述方案的基础上，本发明的一种可摘局部义齿的纸质设计单转为电子设计单的系统还可以做如下改进。
34.进一步，所述第二识别映射模块还具体用于：
35.对所述局部图像进行识别，得到至少一个缺失牙齿标记在所述局部图像中的位置，并根据每个缺失牙齿标记在局部图像中的位置，在所述第一中间电子设计单中标记出每个缺失牙齿所属的牙位，从每个缺失牙齿所属的牙位中确定至少一个待安装人工齿的牙位。
36.进一步，所述第二识别映射模块还具体用于：
37.根据所述支托的轮廓在所述局部图像中的区域、所述卡环在所述局部图像中的区域和基托在所述局部图像中的区域，将所述支托的轮廓、卡环的轮廓和基托的轮廓映射到所述第一中间电子设计单上。
38.进一步，所述第一识别映射模块还具体用于：
39.利用训练好的yolov5网络，从所述图像中识别出所述目标用户的每个牙齿的牙位和以及每个牙齿在所述图像的位置。
40.进一步，还包括绘制模块，所述绘制模块用于：
41.在可摘局部义齿的电子设计单上，绘制位于每个待安装人工齿的牙位上的人工齿。
42.本发明的一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项可摘局部义齿的纸质设计单转为电子设计单的方法。
43.本发明的一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令。
附图说明
44.图1为本发明实施例的一种可摘局部义齿的纸质设计单转为电子设计单的方法的流程示意图；
45.图2为本发明实施例的一种可摘局部义齿的纸质设计单转为电子设计单的系统的结构示意图。
具体实施方式
46.如图1所示，本发明实施例的一种可摘局部义齿的纸质设计单转为电子设计单的方法，包括如下步骤：
47.s1、获取针对于目标用户所设计的可摘局部义齿的纸质设计单的图像，从图像中识别出目标用户的每个牙齿的牙位和以及每个牙齿在图像的位置，根据任一牙齿的牙位和以及该牙齿在图像中的位置，将该牙齿映射到电子设计单上，直至将每个牙齿映射到电子设计单上，得到第一中间电子设计单；
48.其中，根据任一牙齿的牙位和以及该牙齿在图像中的位置，将该牙齿映射到电子设计单上的实现如下：
49.在电子设计单中会有预设的排列好的牙齿图案，每颗牙齿的牙位和位置已知，从针对于目标用户所设计的可摘局部义齿的纸质设计单的图像中检测出每颗牙齿的牙位和位置后，便能够将每个牙齿的牙位与坐标映射到电子设计单，其中，每个牙齿的位置可通过坐标形式体现，如，在电子设计单上建立第一二维坐标系，计算得到每颗牙齿的牙位和位置对应的坐标，在针对于目标用户所设计的可摘局部义齿的纸质设计单的图像上建立第二二维坐标系，得到每颗牙齿的牙位和位置对应的坐标，通过建立第一二维坐标系和第二二维坐标系之间的转换关系，将每个牙齿映射到电子设计单上。
50.其中，获取针对于目标用户所设计的可摘局部义齿的纸质设计单的图像的过程为：
51.通过扫描仪对目标用户所设计的可摘局部义齿的纸质设计单进行扫描，得到针对于目标用户所设计的可摘局部义齿的纸质设计单的图像，或者，对目标用户所设计的可摘局部义齿的纸质设计单进行拍照，得到针对于目标用户所设计的可摘局部义齿的纸质设计单的图像。
52.其中，从图像中识别出目标用户的每个牙齿的牙位和以及每个牙齿在图像的位置的具体过程为：
53.利用训练好的yolov5网络，从图像中识别出目标用户的每个牙齿的牙位和以及每个牙齿在图像的位置，也可根据实际情况选用其它的深度学习模型进行训练，利用训练好的深度学习模型对图像进行识别。
54.s2、从图像获取包含支托、卡环、基托以及所有牙齿的局部图像；
55.s3、对局部图像进行识别，确定至少一个待安装人工齿的牙位并在第一中间电子设计单中进行标记，并对局部图像进行识别，得到支托的轮廓、卡环的轮廓和基托的轮廓，将支托的轮廓、卡环的轮廓和基托的轮廓映射到第一中间电子设计单上，得到第二中间电子设计单；
56.其中，对待安装人工齿的牙位在第一中间电子设计单中进行标记的具体方式可根据实际情况设置，如图形标记、文字标记或符号标记等。
57.s4、根据第二中间电子设计单设计连接体，并绘制在第二中间电子设计单中，得到第三中间电子设计单；
58.其中，根据口腔医学中关于设计连接体的理论知识，进行连接体的设计，在此不做赘述。
59.s5、通过人工修改方式对第三中间电子设计单进行优化，得到可摘局部义齿的电
子设计单，其中，进行优化的内容具体为：调整比如识别出错导致生成错误的情况，也可以对基托、连接体的形状进行人为的调整，也可以根据后续目标用户的新要求进行修改等。
60.本发明根据可摘局部义齿的纸质设计单，能够快速且准确地确定可摘局部义齿的电子设计单，而且通过“重新设计连接体”以及“人工修改方式进行优化”，进一步提高可摘局部义齿的电子设计单的质量可靠性。
61.可选地，在上述技术方案中，s3中，对局部图像进行识别，确定至少一个待安装人工齿的牙位，包括：
62.s30、对局部图像进行识别，得到至少一个缺失牙齿标记在局部图像中的位置，并根据每个缺失牙齿标记在局部图像中的位置，在第一中间电子设计单中标记出每个缺失牙齿所属的牙位，从所有缺失牙齿所属的牙位中确定至少一个待安装人工齿的牙位。
63.其中，利用训练好的yolov5网络对局部图像进行识别，得到至少一个缺失牙齿标记在局部图像中的位置，需要注意的是，此处的训练好的yolov5网络与上述用于识别出目标用户的每个牙齿的牙位和以及每个牙齿在图像的位置的训练好的yolov5网络均是基于yolov5网络训练得到的，只是用于训练的样本集不同。
64.其中，缺失牙齿标记：医生在纸质设计单上画出的用于标识缺失牙齿的标记，如图形标记、文字标记或符号标记等，图形标记具体可为双横线等。根据口腔医学的理论知识，得到相应的选取条件，根据选取条件从所有缺失牙齿所属的牙位中确定至少一个待安装人工齿的牙位。
65.可选地，在上述技术方案中，s3中，将支托的轮廓、卡环的轮廓和基托的轮廓映射到第一中间电子设计单上，包括：
66.s31、根据支托的轮廓在局部图像中的区域、卡环在局部图像中的区域和基托在局部图像中的区域，将支托的轮廓、卡环的轮廓和基托的轮廓映射到第一中间电子设计单上。具体过程如下：
67.1)将支托的轮廓映射到第一中间电子设计单上的过程为：
68.通过支托所在位置的牙齿的坐标，计算出该牙齿的中心点；根据预测的支托的区域，计算出支托的中心点；然后根据二者计算出支托相对于该牙齿所在的方位，并在电子设计单中的相同牙位的相同方位进行支托的图形标记。
69.2)将卡环的轮廓映射到第一中间电子设计单上的过程为：
70.通过卡环所在位置的牙齿的坐标，找到该牙齿的中心点；将环绕中心点的一周均分为36个方向，计算每个方向与预测的卡环的区域是否存在相交，而后得到卡环位于该牙齿周围的方向范围，并在电子设计单中的相同牙位的相同方向范围进行卡环的图形标记。
71.3)将基托的轮廓映射到第一中间电子设计单上的过程为：
72.根据预测的每个基托的区域，找到该基托所包含的所有牙位，找到位于中间牙位的牙齿，然后找到该牙齿的中心点；将环绕中心点的一周均分为18个方向，计算每个方向与预测的基托的区域是否存在相交，而后得到基托位于该牙齿周围的方向范围，根据方向范围判断出该基托设计为舌侧单侧或是舌颊双侧，从而在电子设计单中的相同牙位牙齿的舌侧单侧或是舌颊双侧范围进基托的图形标记。
73.s6、在可摘局部义齿的电子设计单上，绘制位于每个待安装人工齿的牙位上的人工齿。
74.在另外一个实施例中，包括：
75.s100、将纸质设计单的牙位、牙号映射于电子设计单：
76.该部分基于深度学习的检测网络，确定纸质设计单上每颗牙的位置，以及对应的牙号，应用于与电子设计单上的同颗牙齿的准确映射。在这一步，本发明选择yolov5的网络结构进行目标检测，该神经网络能够占用极少的计算资源完成这类并不复杂的任务。在训练神经网络模型的过程中，数据来源于多家包括医院与诊所等医疗机构的实际口腔临床所产生的电子设计单，通过扫描、拍照的方式上传为图像，并进行缩放、裁剪、加噪声等数据增强。
77.s101、缩小感兴趣区域：
78.完成纸质设计单上的牙齿检测后，计算出所有牙齿的最上、最下、最左、最右的坐标，并分别向外扩充，距离为1.5倍的最大牙齿的边长，得到的范围设定为图像中的感兴趣区域，剪切范围外图像，缩小的感兴趣区域用于后续的任务。
79.s102、在纸质设计单图像中检测缺失牙：
80.该部分基于深度学习的检测网络，用于在纸质设计单图像中检测出医生所标记的每个缺失牙齿。在这一步，本发明同样选择yolov5的网络结构进行目标检测，缺失牙在设计单中通常以双线或多条复线标记，该神经网络能够占用极少的计算资源完成检测任务。
81.s103、纸质设计单图像中分割出支托、卡环和基托：
82.该部分基于深度学习的实例分割网络，用于在纸质设计单图像中分割出义齿的支托、卡环和基托。在这一步，本发明选择mask r-cnn作为基础的分割网络，并在神经网络的每次下采样之前加入transformer模块，以增加神经网络对于图像中位置信息的捕捉，有利于学习到牙齿附近的相关信息。
83.其中，支托、卡环的mask面积相对较小，需要在训练中赋予更高的权重，均给予3倍的权重，而基托则为1倍权重。数据的mask为专业的标注人员进行手工勾勒，并由专业的临床医生进行审核。
84.s104、将支托，卡环和基托的位置映射于电子设计单，具体见上文中的内容，在此不做赘述。
85.s105、画出连接体，并将连接体映射于电子设计单。
86.s106、确定人工齿：
87.位于基托范围内的牙齿，且在纸质设计单图像中检测为缺失牙的牙位，即为需要构建的人工齿位。在电子设计单中，以平行于牙弓曲线的两条覆盖于牙齿图案上的曲线进行标记，并将位于同一基托上的曲线相连。
88.s107、人工修改：
89.在计算机完成自动对纸质设计单对电子设计单的转化后，专业技师需能够在生成好的电子设计单中完成对义齿的各个零部件的修改编辑，从而最终完成可靠的可摘局部义齿电子设计单。
90.本发明能够自动化将纸质设计单转化为电子设计单，在此之前不存在若需要完成转化，只能通过专业技术人员手工将临床医生的纸质设计单录入为电子设计单，费时费力，且不够精准。本专利能够通过扫描或拍照纸质设计单，在1秒内对设计单中的义齿的各个组件进行识别，映射并自动生成与电子设计单中。
91.在上述各实施例中，虽然对步骤进行了编号s1、s2等，但只是本技术给出的具体实施例，本领域的技术人员可根据实际情况调整s1、s2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
92.如图2所示，本发明实施例的一种可摘局部义齿的纸质设计单转为电子设计单的系统200，包括第一识别映射模块210、局部图像获取模块220、第二识别映射模块230、设计绘制模块240和优化模块250；
93.第一识别映射模块210用于：获取针对于目标用户所设计的可摘局部义齿的纸质设计单的图像，从图像中识别出目标用户的每个牙齿的牙位和以及每个牙齿在图像的位置，根据任一牙齿的牙位和以及该牙齿在图像中的位置，将该牙齿映射到电子设计单上，直至将每个牙齿映射到电子设计单上，得到第一中间电子设计单；
94.局部图像获取模块220用于：从图像获取包含支托、卡环、基托以及所有牙齿的局部图像；
95.第二识别映射模块230用于：对局部图像进行识别，确定至少一个待安装人工齿的牙位并在第一中间电子设计单中进行标记，并对局部图像进行识别，得到支托的轮廓、卡环的轮廓和基托的轮廓，将支托的轮廓、卡环的轮廓和基托的轮廓映射到第一中间电子设计单上，得到第二中间电子设计单；
96.设计绘制模块240用于：根据第二中间电子设计单设计连接体，并绘制在第二中间电子设计单中，得到第三中间电子设计单；
97.优化模块250用于：通过人工修改方式对第三中间电子设计单进行优化，得到可摘局部义齿的电子设计单。
98.本发明根据可摘局部义齿的纸质设计单，能够快速且准确地确定可摘局部义齿的电子设计单，而且通过“重新设计连接体”以及“人工修改方式进行优化”，进一步提高可摘局部义齿的电子设计单的质量可靠性。
99.可选地，在上述技术方案中，第二识别映射模块240还具体用于：
100.对局部图像进行识别，得到至少一个缺失牙齿标记在局部图像中的位置，并根据每个缺失牙齿标记在局部图像中的位置，在第一中间电子设计单中标记出每个缺失牙齿所属的牙位，从所有缺失牙齿所属的牙位中确定至少一个待安装人工齿的牙位。
101.可选地，在上述技术方案中，第二识别映射模块还具体用于：
102.根据支托的轮廓在局部图像中的区域、卡环在局部图像中的区域和基托在局部图像中的区域，将支托的轮廓、卡环的轮廓和基托的轮廓映射到第一中间电子设计单上。
103.可选地，在上述技术方案中，第一识别映射模块210还具体用于：
104.利用训练好的yolov5网络，从图像中识别出目标用户的每个牙齿的牙位和以及每个牙齿在图像的位置。
105.可选地，在上述技术方案中，还包括绘制模块，绘制模块用于：
106.在可摘局部义齿的电子设计单上，绘制位于每个待安装人工齿的牙位上的人工齿。
107.上述关于本发明的一种可摘局部义齿的纸质设计单转为电子设计单的系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种可摘局部义齿的纸质设计单转为电子设计单的方法的实施例中的各参数和步骤，在此不做赘述。
108.本发明实施例的一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行上述任一项可摘局部义齿的纸质设计单转为电子设计单的方法。
109.本发明实施例的一种电子设备，包括处理器和上述的存储介质，处理器执行存储介质中的指令，其中，电子设备可以选用电脑、手机等。
110.所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
111.因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
112.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram),只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
113.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。