图像处理方法和装置、电子设备、计算机可读存储介质与流程

本公开涉及图像处理领域，更具体地，本公开涉及一种基于多个神经网络模型的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。

背景技术：

神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测、图像语义分割、物体检测、动作追踪、自然语言翻译等。当前，利用神经网络的人工智能技术已经被应用于诸如计算机断层扫描(ct)、磁共振成像(mri)、正电子发射断层扫描(pet)等医学影像的处理和分析中。例如，在无创冠心病智能辅助诊断系统中，利用基于神经网络的计算机视觉和深度学习技术，可完成冠状动脉血管增强ct影像自动重建和后处理计算。

在诸如自动化冠状动脉重建的影像处理中，需要实现冠状动脉的分割。在冠状动脉分割处理中，最常见的问题是出现断裂和静脉粘连。目前通常使用传统算法或者单模型的神经网络来执行冠状动脉分割，难以同时解决断裂和静脉粘连这两个问题。

技术实现要素：

鉴于上述问题而提出了本公开。本公开提供了一种基于多个神经网络模型的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。

根据本公开的一个方面，提供了一种基于多个神经网络模型的图像处理方法，包括：针对输入图像，利用所述多个神经网络模型生成对应的多个图像预处理结果；基于所述多个图像预处理结果，确定对应的特征表示图像；选择所述多个神经网络模型中的一个神经网络模型作为基准模型，其对应的特征表示作为基准特征表示图像，以所述多个神经网络模型中的其他神经网络模型作为参考模型，其对应的特征表示作为参考特征表示图像；基于所述参考特征表示图像，调整所述基准特征表示图像，生成输出图像。

此外，根据本公开一个方面的图像处理方法，其中，所述输入图像是针对管状物成像的图像，所述基于所述多个图像预处理结果，确定对应的特征表示图像包括：基于所述多个图像预处理结果，确定其中作为特征表示图像的管状物图像的中心线。

此外，根据本公开一个方面的图像处理方法，其中，所述基准特征表示图像为基准中心线，参考特征表示图像为参考中心线，所述基于所述参考特征表示图像，调整所述基准特征表示图像，生成输出图像包括：确定所述基准中心线的多个基准端点；比较所述基准中心线与所述参考中心线，确定所述多个基准端点中的待延长端点与断裂点对；以及基于所述参考中心线，延长所述待延长端点，并且连接所述断裂点对，以生成所述输出图像。

此外，根据本公开一个方面的图像处理方法，其中，确定所述基准中心线的多个基准端点包括：生成所述基准中心线的最小生成树，基于所述最小生成树的节点连通性属性，确定所述基准中心线的多个基准端点。

此外，根据本公开一个方面的图像处理方法，其中，基于所述参考中心线，连接所述断裂点对包括：对于第一基准端点，确定其对应的第一基准端点中心点序列，并且确定所述参考中心线中对应的第一参考端点，以及对应的具有最低相似度的第一参考端点中心点序列；对于第二基准端点，确定其对应的第二基准端点中心点序列，并且确定所述参考中心线中对应的第二参考端点，以及对应的具有最低相似度的第二参考端点中心点序列；如果所述第一参考端点中心点序列与所述第二参考端点中心点序列存在重合中心点序列，则所述第一基准端点和所述第二基准端点为所述断裂点对；将所述重合中心点序列补充到所述基准中心线，以连接包括所述第一基准端点和所述第二基准端点的所述断裂点对。

此外，根据本公开一个方面的图像处理方法，其中，基于所述参考中心线，延长所述待延长端点包括：对于第三基准端点，确定其对应的第三基准端点中心点序列，并且确定所述参考中心线中对应的第三参考端点，以及对应的具有最低相似度的第三参考端点中心点序列；将所述第三参考端点中心点序列补充到所述基准中心线，以延长作为所述待延长端点的所述第三基准端点。

此外，根据本公开一个方面的图像处理方法，其中，所述管状物为冠状动脉血管。

根据本公开的另一个方面，提供了一种基于多个神经网络模型的图像处理装置，包括：预处理模块，用于针对输入图像，利用所述多个神经网络模型生成对应的多个图像预处理结果；特征表示图像确定模块，用于基于所述多个图像预处理结果，确定对应的特征表示图像；输出图像生成模块，用于选择所述多个神经网络模型中的一个神经网络模型作为基准模型，其对应的特征表示作为基准特征表示图像，以所述多个神经网络模型中的其他神经网络模型作为参考模型，其对应的特征表示作为参考特征表示图像；并且基于所述参考特征表示图像，调整所述基准特征表示图像，生成输出图像。

此外，根据本公开另一个方面的图像处理装置，其中，所述输入图像是针对管状物成像的图像，所述特征表示图像确定模块基于所述多个图像预处理结果，确定其中作为特征表示图像的管状物的中心线。

此外，根据本公开另一个方面的图像处理装置，其中，所述基准特征表示图像为基准中心线，所述参考特征表示图像为参考中心线，所述输出图像生成模块确定所述基准中心线的多个基准端点；比较所述基准中心线与所述参考中心线，确定所述多个基准端点中的待延长端点与断裂点对；以及基于所述参考中心线，延长所述待延长端点，并且连接所述断裂点对，以生成所述输出图像。

此外，根据本公开另一个方面的图像处理装置，其中，所述输出图像生成模块生成所述基准中心线的最小生成树，基于所述最小生成树的节点连通性属性，确定所述基准中心线的多个基准端点。

此外，根据本公开另一个方面的图像处理装置，其中，所述输出图像生成模块对于第一基准端点，确定其对应的第一基准端点中心点序列，并且确定所述参考中心线中对应的第一参考端点，以及对应的具有最低相似度的第一参考端点中心点序列；对于第二基准端点，确定其对应的第二基准端点中心点序列，并且确定所述参考中心线中对应的第二参考端点，以及对应的具有最低相似度的第二参考端点中心点序列；如果所述第一参考端点中心点序列与所述第二参考端点中心点序列存在重合中心点序列，则所述第一基准端点和所述第二基准端点为所述断裂点对；中心线，以连接包括所述第一基准端点和所述第二基准端点的所述断裂点对。

此外，根据本公开另一个方面的图像处理装置，其中，所述输出图像生成模块对于第三基准端点，确定其对应的第三基准端点中心点序列，并且确定所述参考中心线中对应的第三参考端点，以及对应的具有最低相似度的第三参考端点中心点序列；将所述第三参考端点中心点序列补充到所述基准中心线，以延长作为所述待延长端点的所述第三基准端点。

此外，根据本公开另一个方面的图像处理装置，其中，所述管状物为冠状动脉血管。

根据本公开的又一个方面，提供了一种电子设备，包括：存储器，用于存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，执行如上所述的图像处理方法。

根据本公开的再一个方面，提供了一种计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行如上所述的图像处理方法。

如下将详细描述的，根据本公开的实施例的图像处理方法和图像处理装置，利用包括多个神经网络模型的组合，从而实现不同神经网络模型之间的互补，充分发挥不同神经网络对于图像处理中不同问题(诸如，冠状动脉分割处理中的断裂和静脉粘连问题)的处理优势，提高了神经网络系统的处理精度。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是图示根据本公开的实施例的图像处理方法的流程图；

图2是进一步图示根据本公开的实施例的图像处理方法的流程图；

图3是进一步图示根据本公开的实施例的图像处理方法的示意图；

图4是图示根据本公开的实施例的图像处理方法中融合处理的示意图；

图5是图示根据本公开的实施例的图像处理方法中连接判断处理的示意图；

图6是图示根据本公开的实施例的图像处理装置的框图；

图7是图示根据本公开的实施例的电子设备的硬件框图；以及

图8是图示根据本公开的实施例的计算机可读存储介质的示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

首先，参照图1到图5描述根据本公开的实施例的图像处理方法。

图1是图示根据本公开的实施例的图像处理方法的流程图。如图1所示，根据本公开的实施例的图像处理方法包括以下步骤。

在步骤s101中，针对输入图像，利用所述多个神经网络模型生成对应的多个图像预处理结果。

在本公开的实施例中，多个神经网络模型可以是通过不同的方法生成的。通过不同的方法生成神经网络模型包括但不限于采用不同的神经网络结构(例如，不同网络层数、每层的特殊数等)，使用不同的训练数据集，不同的数据输入图像尺寸(例如，有的模型是用64×256×256尺寸的体数据输入神经网络中，有的模型用32×320×320等)，不同的数据预处理方法，以及不同的损失函数等。

进一步地，在本公开的实施例中，多个神经网络模型可能是针对不同的问题进行了专门的优化配置，通常难以通过单个的神经网络模型解决图像过程中的所有问题。多个神经网络模型在设置不同置信度阈值的情况下，得到不同的图像预处理结果。此后，处理进到步骤s102。

在步骤s102中，基于所述多个图像预处理结果，确定对应的特征表示图像。具体地，在针对输入图像中不同的待处理对象，可以选择不同的特征表示图像。例如，如下面将详细描述的，在输入图像中的待处理图像是冠状动脉血管时，可以选择血管的中心线作为特征表示图像。此后，处理进到步骤s103。

在步骤s103中，选择所述多个神经网络模型中的一个神经网络模型作为基准模型，其对应的特征表示作为基准特征表示图像，以所述多个神经网络模型中的其他神经网络模型作为参考模型，其对应的特征表示作为参考特征表示图像。所述基准模型可以是多个神经网络模型中具有最好评价指标的模型。此后，处理进到步骤s104。

在步骤s104中，基于所述参考特征表示图像，调整所述基准特征表示图像，生成输出图像。在本公开的实施例中，基于所述参考特征表示图像，融合补充基准特征表示图像中可能缺失的部分，使得调整后的所述基准特征表示图像能够体现不同神经网络模型的优势。

图2是进一步图示根据本公开的实施例的图像处理方法的流程图。图3是进一步图示根据本公开的实施例的图像处理方法的示意图。在如图2和图3所示的示例中，根据本公开的实施例的图像处理方法用于自动化冠状动脉重建的影像处理中，执行冠状动脉分割，同时解决断裂和静脉粘连这两个问题。

在步骤s201中，针对输入图像，利用所述多个神经网络模型生成对应的多个图像预处理结果。

如上参照图1已经描述的，多个神经网络模型可能是针对不同的问题进行了专门的优化配置。例如，有的神经网络模型针对断裂问题进行训练，而有的神经网络模型针对静脉粘连问题进行训练。通常难以通过单个的神经网络模型同时解决冠状动脉分割过程中的断裂和静脉粘连这两个问题。多个神经网络模型在设置不同置信度阈值的情况下，得到不同的图像预处理结果。

参照图3，输入图像301为冠状动脉ct血管造影图像。输入图像301经由神经网络系统中的多个神经网络模型301-303处理，生成对应的多个图像预处理结果。

在步骤s202中，基于所述多个图像预处理结果，确定其中作为特征表示图像的管状物图像的中心线。在本公开的一个实施例中，在输入图像301为冠状动脉ct血管造影图像这样的管状物图像的情况下，确定管状物图像的中心线作为特征表示图像。例如，可以使用lee94版本的中心线算法来求得中心线。

在步骤s203中，选择多个神经网络模型中的一个神经网络模型作为基准模型，其对应的特征表示为基准中心线，以多个神经网络模型中的其他神经网络模型作为参考模型，其对应的特征表示为参考中心线。在本公开的一个实施例中，可以选择多个神经网络模型中分割结果静脉粘连最少的模型、整体效果最好的模型、断裂最少的模型等作为基准模型。基准模型生成的特征表示为基准中心线，其他神经网络模型作为参考模型，其生成的特征表示为参考中心线。

在步骤s204中，确定所述基准中心线的多个基准端点。在本公开的一个实施例中，根据基准中心线，可以使用普里姆算法或克鲁斯卡尔算法生成最小生成树。生成最小生成树后，基于所述最小生成树的节点连通性属性，确定所述基准中心线的多个基准端点。

在步骤s205中，比较所述基准中心线与所述参考中心线，确定所述多个基准端点中的待延长端点与断裂点对。在本公开的一个实施例中，可以将基准中心线与其他一条或多条参考中心线比较，以确定基准中心线的多个基准端点中的待延长端点与断裂点对。

在步骤206中，基于所述参考中心线，延长所述待延长端点，并且连接所述断裂点对，以生成所述输出图像。

如图3所示，多个神经网络模型301-303中选择一个基准模型(例如，神经网络模型301)，以多个神经网络模型中的其他神经网络模型(例如，神经网络模型302和303)作为参考模型，通过融合基准模型的基准中心线与参考模型的参考中心线，生成新的中心线，输出包括融合生成的新的中心线的输出图像302。

图4是图示根据本公开的实施例的图像处理方法中融合处理的示意图。如图4所示，基准中心线401和参考中心线402融合生成新的中心线403。

具体地，对于第一基准端点a，确定其对应的第一基准端点中心点序列ao，并且确定所述参考中心线中对应的第一参考端点a’，以及对应的具有最低相似度的第一参考端点中心点序列a’d’；例如，a’点的中心点序列为a’e’和a’d’，比较ao、a’e’和a’d’，可知a’d’是a点缺失的中心点序列(因为ao与a’e’更相似)。

对于第二基准端点b，确定其对应的第二基准端点中心点序列bd，并且确定所述参考中心线中对应的第二参考端点b’，以及对应的具有最低相似度的第二参考端点中心点序列b’e’；例如，b’点的中心点序列为b’e’和b’d’，比较bd、b’e’和b’d’，可知b’e’是b点缺失的中心点序列(因为bd与b’d’更相似)。

如果所述第一参考端点中心点序列与所述第二参考端点中心点序列存在重合的中心点序列a’b’(例如，a’d’和b’e’存在重合)，则所述第一基准端点a和所述第二基准端b点为所述断裂点对。

将所述重合中心点序列a’b’补充到所述基准中心线401，以连接包括所述第一基准端点a和所述第二基准端点b的所述断裂点对。

同样地，对于第三基准端点c，确定其对应的第三基准端点中心点序列co，并且确定所述参考中心线中对应的第三参考端点c’，以及对应的具有最低相似度的第三参考端点中心点序列(c’h’)；将所述第三参考端点中心点序列c’h’补充到所述基准中心线401，以延长作为所述待延长端点的所述第三基准端点c。

图5是图示根据本公开的实施例的图像处理方法中连接判断处理的示意图。因为血管是在空间三维分布的，所以需要根据血管的断裂点间距离、三维趋势分布等因素判单是否连接两个端点。

在如501所示的情况1中，a所在支的血管走向与a’所在支很不一致(判断条件为血管走向是否异面，血管延伸方向是否一致(一致不需要延伸角度完全一样，只需要在角度阈值内就可以))，因此不连接aa’。

在如502所示的情况2中，a所在支的血管走向与a’所在支很一致，因此连接aa’。

在如503所示的情况3中，a所在支的血管走向与a’所在支很一致，但是两根血管异面。这种情况很可能是由于心脏突然不规律跳动一次或ct扫描时病人未控制呼吸导致图像断层，而本质上这两根很大概率属于同一根血管，因此连接aa’。

情在如504所示的情况4中，a所在支的血管走向与a’所在支在初始段很一致，然后很不一致，有很大概率不是同一支，因此不连接aa’

图6是图示根据本公开的实施例的图像处理装置的框图。如图6所示的根据本公开的实施例的图像处理装置60可以用于执行如图1、图3所示的根据本公开的实施例的图像处理方法。如图6所示，根据本公开的实施例的图像处理装置60包括预处理模块601、特征表示图像确定模块602和输出图像生成模块603。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。

预处理模块601用于针对输入图像，利用所述多个神经网络模型生成对应的多个图像预处理结果。

特征表示图像确定模块602用于基于所述多个图像预处理结果，确定对应的特征表示图像。所述输入图像是针对管状物成像的图像，所述特征表示图像确定模块602基于所述多个图像预处理结果，确定其中作为特征表示图像的管状物的中心线。

输出图像生成模块603用于选择所述多个神经网络模型中的一个神经网络模型作为基准模型，其对应的特征表示作为基准特征表示图像，以所述多个神经网络模型中的其他神经网络模型作为参考模型，其对应的特征表示作为参考特征表示图像；并且基于所述参考特征表示图像，调整所述基准特征表示图像，生成输出图像。

所述基准特征表示图像为基准中心线，所述参考特征表示图像为参考中心线，所述输出图像生成模块603确定所述基准中心线的多个基准端点；比较所述基准中心线与所述参考中心线，确定所述多个基准端点中的待延长端点与断裂点对；以及基于所述参考中心线，延长所述待延长端点，并且连接所述断裂点对，以生成所述输出图像。所述输出图像生成模块生成所述基准中心线的最小生成树，基于所述最小生成树的节点连通性属性，确定所述基准中心线的多个基准端点。

图7是图示根据本公开的实施例的电子设备的硬件框图。如图7所示，根据本公开实施例的电子设备70包括存储器701和处理器702。电子设备70中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

所述存储器701用于存储计算机可读指令。具体地，存储器701可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。

所述处理器702可以是中央处理单元(cpu)、图形处理单元(gpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备70中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器702用于运行所述存储器701中存储的所述计算机可读指令，使得所述电子设备70执行参照图1和图2描述的图像处理方法。

此外，需要理解的是，图7所示的电子设备70的组件和结构只是示例性的，而非限制性的，根据需要，电子设备70也可以具有其他组件和结构。例如，图像采集装置和输出装置等(未示出)。图像采集装置可以用于采集用于图像处理的待处理图像，并且将所拍摄的图像存储在存储器701中以供其它组件使用。当然，也可以利用其他图像采集设备采集所述待处理图像，并且将采集的图像发送给电子设备70，电子设备70可以将接收到的图像存储到存储器701中。输出装置可以向外部(例如用户)输出各种信息，例如图像信息以及图像处理结果。输出装置可以包括显示器、扬声器、投影仪、网卡等中的一个或多个。

图8是图示根据本公开的实施例的计算机可读存储介质的示意图。如图8所示，根据本公开实施例的计算机可读存储介质800其上存储有计算机可读指令801。当所述计算机可读指令801由处理器运行时，执行参照图1和图2描述的图像处理方法。

以上，根据本公开的实施例的图像处理方法和图像处理装置，利用包括多个神经网络模型的组合，从而实现不同神经网络模型之间的互补，充分发挥不同神经网络对于图像处理中不同问题(诸如，冠状动脉分割处理中的断裂和静脉粘连问题)的处理优势，提高了神经网络系统的处理精度。

本公开的说明书和权利要求书及附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。