用于对三维图像数据进行去噪的方法、设备和存储介质与流程

1.本技术一般涉及三维数据去噪技术领域。更具体地，本技术涉及一种用于对三维图像数据进行去噪的方法、设备和计算机可读存储介质。


背景技术：

2.在对三维数据进行采集并且重建模型后，由于采集存在误差，使得重建后的模型有很多虚假的亏格（环柄或者孔洞），从而产生噪声。在实际应用中，通常需要检测这些虚假亏格（例如图1中箭头所指示处），而这些环柄非常微小，用肉眼无法直接检测，唯一的方法就是通过计算拓扑方法得到。进一步地，通过消除环柄以实现去噪。目前，现有的拓扑去噪方式是首先查找定位到环柄所在位置，再对齐进行拓扑操作，达到去除环柄的效果，使得最终曲面上所有环柄都被消除。然而，现有的拓扑去噪方式速度较慢，尤其对于规模较大的数据而言，其计算周期为几天，甚至是几周。另外，对于部分数据，采用现有的方法无法消除环柄。因此，如何高效地消除三维数据中的噪声是需要解决的技术问题。


技术实现要素：

3.为了至少部分地解决背景技术中提到的技术问题，本技术提供了用于对三维图像数据进行去噪的方案。利用本技术的方案，可以高效地消除三维图像数据中的环柄，实现拓扑去噪。为此，本技术在如下的多个方面提供解决方案。
4.在第一方面中，本技术提供一种用于对三维图像数据进行去噪的方法，包括：获取三维图像数据并且基于所述三维图像数据确定其对应的三角网；根据所述三角网计算割图并沿所述割图进行切割，以获得与所述三维图像数据相关的拓扑圆盘；计算所述拓扑圆盘映射至所述三角网的最短路径映射；利用所述最短路径映射对所述三角网进行切割，以获得切割边界；以及基于所述切割边界执行用于对切割后的三角网进行填补的拓扑补洞操作，以实现对所述三维图像数据进行去噪。
5.在一个实施例中，其中根据所述三角网计算割图包括：根据所述三角网搜索所述三角网中各个顶点的度；以及选取所述三角网中度不等于预设值的顶点，并基于度不等于预设值的顶点获得所述割图。
6.在另一个实施例中，其中根据所述三角网搜索所述三角网中各个顶点的度包括：根据所述三角网计算其对偶三角网；基于所述对偶三角网生成对应的最小生成树；以及基于所述对应的最小生成树搜索所述三角网中各个顶点的度。
7.在又一个实施例中，其中通过以下操作来计算所述拓扑圆盘映射至所述三角网的最短路径映射：根据所述三角网的各个顶点计算其在所述拓扑圆盘中的点集；以及基于所述拓扑圆盘中的点集计算所述拓扑圆盘映射至所述三角网的最短路径映射。
8.在又一个实施例中，其中基于所述拓扑圆盘中的点集计算所述拓扑圆盘映射至所述三角网的最短路径映射包括：基于所述拓扑圆盘中的点集计算其每个点集中任意两点之间的中间最短路径；从所述中间最短路径中选取目标最短路径；以及基于所述目标最短路
径计算所述拓扑圆盘映射至所述三角网的最短路径映射。
9.在又一个实施例中，其中基于所述目标最短路径计算所述拓扑圆盘映射至所述三角网的最短路径映射包括：将所述目标最短路径由所述拓扑圆盘映射至所述三角网；以及根据映射结果计算所述拓扑圆盘映射至所述三角网的最短路径映射。
10.在又一个实施例中，其中基于所述切割边界执行用于对切割后的三角网进行填补的拓扑补洞操作包括：计算所述切割边界上的中间点；以及将所述中间点与所述切割边界相连，以执行用于对切割后的三角网进行填补的拓扑补洞操作。
11.在又一个实施例中，其中计算所述切割边界上的中间点包括：计算所述切割边界上的点的坐标的平均值，以计算所述切割边界上的中间点。
12.在第二方面中，本技术还提供一种用于对三维图像数据进行拓扑去噪的设备，包括：处理器；以及存储器，其存储有用于对三维图像数据进行拓扑去噪的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第一方面的多个实施例。
13.在第三方面中，本技术还提供一种计算机可读存储介质，其上存储有用于对三维图像数据进行拓扑去噪的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第一方面的多个实施例。
14.通过本技术的方案，通过计算三维图像数据的三角网的割图，并且沿割图进行切割获得拓扑圆盘。接着，计算拓扑圆盘映射至三角网的最短路径映射，再对三角网进行切割，获得切割边界，进而基于切割边界对切割后的三角网进行填补，以消除环柄，从而实现去噪。即，本技术实施例通过采用基于割图（“cut graph”）和最短路径的方法计算曲面上每一对环柄的环或柄，取决于其二者之间路径更短的路径进行切割，然后对其进行拓扑操作。进一步地，通过在切割后产生亏格内执行补洞操作，从而能够高效率地计算环柄并且消除环柄，实现对三维图像数据进行去噪。
附图说明
15.通过参考附图阅读下文的详细描述，本技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：图1是示出三维图像数据的示例性示意图；图2是示出根据本技术实施例的用于对三维图像数据进行去噪的方法的示例性流程框图；图3是示出根据本技术实施例的对三维图像数据进行去噪的示例性示意图；图4是示出根据本技术实施例的用于对三维图像数据进行去噪的整体的示例性流程框图；以及图5是示出根据本技术实施例的用于对三维图像数据进行去噪的设备的示例性结构框。
具体实施方式
16.下面将结合附图对本技术实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本技术为了便于对方案的清晰理解和符合法律的要求
而提供的部分实施例，而并非可以实现本技术的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
17.图1是示出三维图像数据的示例性示意图。如图1中示出两个三维图像数据。如背景技术描述可知，在对三维数据进行采集并且重建模型后，由于采集存在误差，使得重建后的模型有很多虚假的亏格（环柄），从而产生噪声。例如图1中左图所示的三维图像数据上包括两个环柄（箭头所指处），图1中右图所示的三维图像数据上包括多个环柄。在应用场景中，通过消除前述环柄，可以实现对三维图像数据进行去噪。目前，现有的方式首先是对这些环柄进行定位，再对其进行拓扑操作，以消除环柄。
18.然而，现有的方式计算较慢，并且还存在无法消除环柄的情况。鉴于此，本技术提供了一种用于对三维图像数据进行去噪的方法，可以高效地消除环柄，从而实现去噪。此外，本技术的方法还较为鲁棒，并且对任何三维图像数据均可以实现去噪。
19.图2是示出根据本技术实施例的用于对三维图像数据进行去噪的方法200的示例性流程框图。如图2中所示，在步骤202处，获取三维图像数据并且基于三维图像数据确定其对应的三角网。在一个实施例中，可以采用三维扫描设备采集三维图像数据。以医学图像为例，可以采用例如ct或者mr设备来采集三维医学图像数据。基于获取的三维图像数据，利用三维重建技术对三维图像数据进行模型重建，能够获得三维图像数据对应的三角网（或者说表面网格），其由多个顶点连接而成。
20.在获得三维图像数据对应的三角网后，在步骤204处，根据三角网计算割图并沿割图进行切割，以获得与三维图像数据相关的拓扑圆盘。在一个实施例中，根据三角网计算割图可以包括以下操作：首先根据三角网搜索三角网中各个顶点的度，接着选取三角网中度不等于预设值的顶点，并基于度不等于预设值的顶点获得割图。在一个实施场景中，可以根据三角网计算其对偶三角网，基于对偶三角网生成对应的最小生成树，进而基于对应的最小生成树搜索三角网中各个顶点的度。也即，本技术实施例通过最小生成树搜索三角网的顶点中度不为预设值的顶点，其中度不为预设值的顶点形成割图。在一些实施例中，前述预设值可以是2，即度不为2的顶点形成割图。根据前述获得的割图，沿该割图切割三角网，可以获得与三维图像数据相关的拓扑圆盘。
21.基于上述获得的拓扑圆盘，在步骤206处，计算拓扑圆盘映射至三角网的最短路径映射。在一个实施例中，可以通过以下操作来计算拓扑圆盘映射至三角网的最短路径映射：根据三角网的各个顶点计算其在拓扑圆盘中的点集，以基于拓扑圆盘中的点集计算拓扑圆盘映射至三角网的最短路径映射。可以理解，沿割图切割三角网时，三角网的顶点被分成若干子顶点，每个子顶点的坐标与原始坐标一致。由此，基于三角网的各个顶点可以获得在拓扑圆盘中的点集及其每个子顶点的坐标。
22.进一步地，在基于拓扑圆盘中的点集计算拓扑圆盘映射至三角网的最短路径映射中，首先可以基于拓扑圆盘中的点集计算其每个点集中任意两点之间的中间最短路径，接着从中间最短路径中选取目标最短路径，以基于目标最短路径计算拓扑圆盘映射至三角网的最短路径映射。在一个实现场景中，可以利用例如dijkstra最短路径算法来计算每个点集中任意两个顶点之间的最短路径。也就是说，本技术实施例通过计算每个点集中的最短路径，再从所有点集中的最短路径中选择最短的最短路径作为目标最短路径，以基于目标
最短路径计算拓扑圆盘映射至三角网的最短路径映射。更为具体地，将目标最短路径由拓扑圆盘映射至三角网，进而根据映射结果计算拓扑圆盘映射至三角网的最短路径映射。
23.根据上述最短路径映射，在步骤208处，利用最短路径映射对三角网进行切割，以获得切割边界。其中，切割边界对应三维图像数据中亏格的边界，或者说“孔洞”的边界。接着，在步骤210处，基于切割边界执行用于对切割后的三角网进行填补的拓扑补洞操作，以实现对三维图像数据进行去噪。在一个实施例中，首先可以计算切割边界上的中间点，接着将中间点与切割边界相连，以执行用于对切割后的三角网进行填补的拓扑补洞操作。在实施场景中，可以通过计算切割边界上的点的坐标的平均值来计算切割边界上的中间点。通过将中间点与切割边界上的各个点相连接，可以实现填补的拓扑补洞操作，从而消除环柄，实现对三维图像数据进行去噪。
24.需要理解的是，上述三维图像数据的三角网为封闭三角网，假定其亏格为g，经本技术的上述步骤202-步骤210操作后，可以获得新亏格为g-1的封闭三角网。进一步地，通过重复前述步骤202-步骤210，可以获得亏格为零的三角网，即消除了三维图像数据中的全部环柄。
25.结合上述描述可知，本技术实施例通过计算割图并沿割图切割三角网，以获得拓扑圆盘，接着通过计算最短路径并由拓扑圆盘映射至三角网，根据映射结果确定拓扑圆盘映射至三角网的最短路径映射。进一步地，通过最短路径映射对三角网进行切割，产生切割边界，也即亏格（环柄或者孔洞）边界，进而通过将切割边界的中间点与其余顶点相连接，以在切割后产生亏格内执行补洞操作，从而能够高效率地计算环柄并且消除环柄，实现对三维图像数据进行去噪。
26.图3是示出根据本技术实施例的对三维图像数据进行去噪的示例性示意图。如图3中所示，图中（a）图所示为三维图像数据，经采集并且重建可以确定其对应的三角网（图中未示出）。基于三维图像数据对应的三角网，可以通过最小生成树搜索三角网的顶点中度不为预设值的顶点，将度不为预设值的顶点连接而成的图形即为割图，例如图中（b）图所示的三维图像数据上的曲线所示为割图。具体来说，假设三维图像数据对应的三角网记为m，首先可以根据三角网m计算其对偶三角网m’。即，三角网m中的每个面，对应其对偶三角网m’中的每个点；三角网m中的每条边，对应其对偶三角网m’中的每条边；三角网m中的每个点，对应其对偶三角网m’中的每个面。
27.接着，根据对偶三角网m’生成对应的最小生成树。在一个实现场景中，可以通过例如kruskal算法或者prim算法来生成最小生成树。在获得最小生成树后，基于最小生成树搜索三角网中各个顶点的度，并且记录度不为预设值的顶点。作为示例，假设预设值为2，记录度不为2的顶点的点集，其中度不为2的顶点形成割图g。进一步地，根据前述获得的割图，沿该割图切割三角网，可以获得与三维图像数据相关的拓扑圆盘d，进而计算拓扑圆盘d映射至三角网m的最短路径映射，以切割三角网。
28.根据前文可知，首先可以根据三角网的各个顶点计算其在拓扑圆盘d中的点集。在一个实现场景中，假设各个顶点在拓扑圆盘d中的点集记为，由于三角网m的顶点被分成若干子顶点，其每个子顶点的坐标与三角网m的顶
点的坐标一致。由此，基于三角网m的各个顶点可以获得在拓扑圆盘d中的点集及其每个子顶点的坐标。基于每个子顶点的坐标，可以利用例如dijkstra最短路径算法来计算每个内任意两个顶点之间的最短路径，接着再从每个中的最短路径选择最短的最短路径作为目标最短路径，以便基于目标最短路径计算拓扑圆盘映射至三角网的最短路径映射，例如图3的（c）图中的箭头所指示处。
29.可以理解，拓扑圆盘d中大部分的边和三角网m中的边是一一对应的，存在少部分的边（即拓扑圆盘d中的边界边）和三角网m中的边是多对一映射的。换言之，在拓扑圆盘d中的任意一条边，在三角网m中一定存在唯一的边与之相对应，因此任意一条边从拓扑圆盘d中映射回三角网m均是唯一的。由此，目标最短路径由拓扑圆盘d映射至三角网m时，可以获得唯一的最短路径映射。接着，利用最短路径映射对三角网m进行切割，会产生切割边界。通过计算切割边界上的点的坐标的平均值，获得切割边界上的中间点，再将中间点与切割边界上的各个点相连接，可以实现填补的拓扑补洞操作，从而消除环柄。如前所述，假设该三角网的亏格为g，经前述操作后，获得新亏格为g-1的封闭三角网。在一个示例性场景中，图3的（d）图所示为新亏格为g-1的封闭三角网。
30.图中进一步示出，可以再对新亏格为g-1的封闭三角网执行前述操作，即计算割图（例如图中（e）的箭头所指示处），沿割图切割三角网获得拓扑圆盘，计算最短路径并且确定拓扑圆盘映射至三角网的最短路径映射（例如图中（f）的箭头所指示处）以及基于最短路径映射对三角网进行切割，产生切割边界。通过将切割边界的中间点与切割边界上的各个点相连接，可以实现填补的拓扑补洞操作，获得下一新亏格的封闭三角网，例如图中的（g）图所示。继续重复前述操作，可以获得亏格为零的封闭三角网。
31.图4是示出根据本技术实施例的用于对三维图像数据进行去噪的整体的示例性流程框图。如图4中所示，在步骤402处，确定三维图像数据对应的三角网，并且假定其亏格为g。在一个实施例中，可以通过例如三维扫描设备采集三维图像数据。基于获得的三维图像数据，通过例如三维重建技术对三维图像数据进行模型重建，能够获得三维图像数据对应的三角网。接着，在步骤404处，计算前述三角网的割图。在一个实现场景中，首先可以根据三角网搜索三角网中各个顶点的度，接着选取三角网中度不等于预设值的顶点，并基于度不等于预设值的顶点获得割图。具体而言，首先可以计算三角网的对偶三角网，基于三角网的对偶三角网，利用例如kruskal算法或者prim算法可以生成最小生成树。进一步地，通过在最小生成树搜索各个顶点的度，并且记录度不为预设值的顶点。作为示例，前述预设值可以例如是2，即各顶点中度不为2的顶点形成割图。
32.基于上述获得的割图，在步骤406处，沿割图切割三角网，获得与三维图像数据相关的拓扑圆盘。进一步地，在步骤408处，计算拓扑圆盘映射至三角网的最短路径映射。在一个实施场景中，首先可以根据三角网的各个顶点确定其在拓扑圆盘中的点集，接着可以采用例如dijkstra最短路径算法计算每个点集中任意两个顶点之间的最短路径，并且从每个点集中的最短路径中选取最短的最短路径作为目标最短路径。接着，通过将目标最短路径由拓扑圆盘映射至三角网，进而根据映射结果计算拓扑圆盘映射至三角网的最短路径映射。如前所述，在拓扑圆盘中的任意一条边，在三角网中一定存在唯一的边与之相对应，因此任意一条边从拓扑圆盘中映射回三角网均是唯一的。由此，目标最短路径由拓扑圆盘映
射至三角网时，可以获得唯一的最短路径映射。
33.根据上述获得的最短路径映射，在步骤410处，利用最短路径映射对三角网进行切割，以获得切割边界。在获得切割边界后，在步骤412处，基于切割边界对切割后的三角网执行填补的拓扑补洞操作。具体地，计算切割边界上的点的坐标的平均值，以获得切割边界上的中间点，接着将中间点与切割边界上的各个点相连接，可以实现填补的拓扑补洞操作，消除三维图像数据中的环柄，从而实现对三维图像数据进行去噪。在一些实施例中，可以通过重复前述步骤404-步骤412，直至三角网的亏格为0，实现消除三维图像数据中的全部的环柄。基于此，可以高效率地消除环柄，从而实现去噪，并且本技术的方法还较为鲁棒，并对任何三维图像数据均可以实现去噪。关于对三维图像数据进行去噪的更多细节，可以参考上述图2-图3的描述，本技术在此不再赘述。
34.图5是示出根据本技术实施例的用于对三维图像数据进行去噪的设备500的示例性结构框图。可以理解的是，实现本技术方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。
35.如图5中所示，本技术的设备可以包括中央处理器或中央处理单元（“cpu”）511，其可以是通用cpu、专用cpu或者其他信息处理以及程序运行的执行单元。进一步，设备500还可以包括大容量存储器512和只读存储器（“rom”）513，其中大容量存储器512可以配置用于存储各类数据，包括各种与待进行去噪的三维图像数据、算法数据、中间结果和运行设备500所需要的各种程序。rom 513可以配置成存储对于设备500的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
36.可选地，设备500还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“tpu”）514、图形处理单元（“gpu”）515、现场可编程门阵列（“fpga”）516和机器学习单元（“mlu”）517。可以理解的是，尽管在设备500中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备500可以仅包括cpu、相关存储设备和接口设备来实现本技术的用于对三维图像数据进行去噪的方法。
37.在一些实施例中，为了便于数据与外部网络的传递和交互，本技术的设备500还包括通信接口518，从而可以通过该通信接口518连接到局域网/无线局域网（“lan/wlan”）505，进而可以通过该lan/wlan连接到本地服务器506或连接到因特网（“internet”）507。替代地或附加地，本技术的设备500还可以通过通信接口518基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3g”）、第4代（“4g”）或第5代（“5g”）的无线通信技术。在一些应用场景中，本技术的设备500还可以根据需要访问外部网络的服务器508和数据库509，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如三维图像数据、割图、拓扑圆盘、最短路径映射以及切割边界等的各类数据或指令。
38.设备500的外围设备可以包括显示装置502、输入装置503和数据传输接口504。在一个实施例中，显示装置502可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本技术的对三维图像数据去噪进行语音提示和/或图像视频显示。输入装置503可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口504可以包括例如串行接口、并行接口或通用串行总线接口（“usb”）、小型计算机系统接口（“scsi”）、串行ata、火线
（“firewire”）、pci express和高清多媒体接口（“hdmi”）等，其配置用于与其他设备或系统的数据传输和交互。根据本技术的方案，该数据传输接口504可以接收来自于三维扫描仪采集的待进行去噪的三维图像数据，并且向设备500传送包括待进行去噪的三维图像数据或各种其他类型的数据或结果。
39.本技术的设备500的上述cpu 511、大容量存储器512、rom 513、tpu 514、gpu 515、fpga 516、mlu 517和通信接口518可以通过总线519相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线519，cpu 511可以控制设备500中的其他硬件组件及其外围设备。
40.以上结合图5描述了可以用于执行本技术的用于对三维图像数据进行去噪的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本技术的实现方式和实现实体并不受其限制，而是可以在不偏离本技术的精神下做出改变。
41.根据上述结合附图的描述，本领域技术人员也可以理解本技术的实施例还可以通过软件程序来实现。由此本技术还提供了一种计算机程序产品。该计算机程序产品可以用于实现本技术结合附图2-图4所描述的用于对三维图像数据进行去噪的方法。
42.应当注意，尽管在附图中以特定顺序描述了本技术方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
43.应当理解，本技术的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
44.还应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本技术。如在本技术说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本技术说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
45.虽然本技术的实施方式如上，但所述内容只是为便于理解本技术而采用的实施例，并非用以限定本技术的范围和应用场景。任何本技术所述技术领域内的技术人员，在不脱离本技术所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本技术的专利保护范围，仍须以所附的权利要求书所界定的范围为准。