图像处理系统及方法与流程
本发明涉及图像处理领域，尤其涉及一种图像处理系统及方法。
背景技术：
超声介入肿瘤治疗由于解除了如肝癌患者的肝功能和凝血机制差、心肾功能差等手术切除治疗制约因素，最近越来越受到医生的关注。在超声引导的肿瘤介入消融治疗之前，需要通过超声造影获取图像，并对图像进行评估，通过即时的查看分析介入治疗区域的是否完全覆盖肿瘤区域及安全边界，可以评定出当次治疗是否成功，并可根据图像对消融不完全的区域进行当场补针治疗。
在超声造影获取图像的过程中，现有技术中一般是在术前测量二维造影图中肿瘤的最大径，在术后测量超声造影中消融灶的最大径，然后通过比较两个最大径来评估消融是否完全。由于上述评估是在二维图像上进行的，该方案一方面不能够显示出肿瘤在三维空间上是否消融完全，另一方面，两个采集的二维图像可能不在同一个切面上，不能达到很好的对应性。而基于CT/MRI图像的评估方案术前采集三维CT/MRI，术后1个月再采集一次CT/MRI，虽然CT/MRI图像的质量比图像好，但这种方法不满足即时评估的要求，且成本较高。
技术实现要素：
提供一种可实现即时显示及比对评估的图像处理系统与方法。
一种图像处理方法，包括以下步骤：
获取目标组织的第一图像，获取所述第一图像之后获取所述目标组织的第二图像；
分割提取所述第一图像与所述第二图像的组织结构；
基于组织结构配准所述第一图像及第二图像，建立所述第一图像与所述第二图像的配准映射关系；
显示所述第一图像，基于所述配准映射关系显示与所述第一图像对应的第二 图像。
进一步的，所述图像处理方法还包括以下步骤：
接收提取信号以提取并显示第一图像的第一子图像；
基于所述配准映射关系，提取并显示与所述第一子图像相对应的第二图像的第二子图像。
进一步的，所述第一图像为三维图像，所述第一子图像为第一图像的切面图像，所述第二图像为三维图像，所述第二子图像为第二图像的切面图像；或，
所述第一图像为二维图像，所述第一子图像为第一图像的局部图像，所述第二图像为二维图像，所述第二子图像为第二图像的局部图像。
进一步的，当显示所述第一图像及所述第二图像时，通过一显示单元显示所述第一图像；通过另一显示单元显示所述第二图像；
当显示所述第一子图像及所述第二子图像时，通过一显示单元显示所述第一子图像；通过另一显示单元显示所述第二子图像。
进一步的，进一步包括以下步骤：
接收标记信号，并显示形成于所述第一子图像上的标记；
基于所述配准映射关系，形成并显示与所述第一子图像的标记对应的所述第二子图像的标记。
进一步的，进一步包括以下步骤：
接收标记信号，并显示形成于所述第二子图像上的标记；
基于所述配准映射关系，形成并显示与所述第二子图像的标记对应的所述第一子图像的标记。
进一步的，所述标记为点状标记、线条标记或区域填充标记中的任意一种或多种。
进一步的，所述图像处理方法还包括以下步骤：
基于配准映射关系于所述第一图像或/及所述第二图像中显示所述目标组织的组织结构。
进一步的，当基于配准映射关系于所述第一图像或/及所述第二图像中显示所述目标组织的组织结构时，通过彩色标识所述组织结构的特征点。
进一步的，当基于配准映射关系于所述第一图像或/及所述第二图像中显示所述目标组织的组织结构时，采用二维显示或三维显示的方式显示所述第一图像或/ 及所述第二图像与所述选择的组织结构。
一种图像处理系统，包括
图像获取单元，用于获取目标组织的第一图像、第二图像；
分割单元，用于接收所述第一图像、第二图像，并分割提取所述第一图像与所述第二图像的组织结构；
配准单元，用于接收第一图像、第二图像及分割提取的组织结构，并基于组织结构配准所述第一图像及第二图像，建立所述第一图像与所述第二图像的配准映射关系；
显示模组，用于显示所述第一图像，并基于配准映射结果显示与所述第一图像对应的第二图像。
进一步的，所述图像处理系统的显示模组包括第一显示单元与第二显示单元，所述第一显示单元用于显示第一图像及相应组织结构，所述第二显示单元用于显示第二图像及相应组织结构。
进一步的，所述图像处理系统还设有提取单元，所述提取单元用于提取第一图像的第一子图像，并基于所述配准映射关系提取与所述第一子图像相对应的第二图像的第二子图像。
进一步的，所述第一图像为三维图像，所述第一子图像为第一图像的切面图像，所述第二图像为三维图像，所述第二子图像为第二图像的切面图像；或，
所述第一图像为二维图像，所述第一子图像为第一图像的局部图像，所述第二图像为二维图像，所述第二子图像为第二图像的局部图像。
进一步的，所述图像处理系统还设有映射标识单元，用于基于所述配准映射关系将选择的组织结构分别映射至所述第一图像或/及所述第二图像，并标识所述组织结构的特征点；
所述显示模组还用于显示所述映射标识单元所标识的组织结构的特征点。
本发明的图像处理系统与方法采用交互式配准方式建立两组图像直接的对应关系，提供对比分析的显示界面以进行两组图像之间的对比评估。本发明的图像处理系统与方法操作方便，可获得即时的评估效果，成本低。且本发明的图像处理系统与方法除了应用到基于超声造影的配准外，还可以用于基于CT/MRI等图像的配准与显示系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种图像处理方法的流程示意图；
图2是本发明第一实施例提供的图像处理方法的组织结构标注示意图；
图3是本发明第二实施例提供的一种图像处理方法的流程示意图；
图4是本发明第二实施例提供的图像处理方法的组织结构二维显示示意图；
图5是本发明第二实施例提供的图像处理方法的组织结构三维显示示意图；
图6是本发明第三实施例提供的一种图像处理方法的流程示意图；
图7是本发明第四实施例提供的一种图像处理系统的构成示意图；
具体实施例
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种图像处理系统及一种图像处理方法，利用三维超声造影成像技术，对目标区域进行两次图像成像，在获得的图像上标注对应的组织结构，并利用分割算法对组织结构进行进一步分割提取，然后基于选择的组织结构并结合超声组织和造影图像信息，利用交互式方法实现两次图像的配准，最后通过可视化方式联动显示两次三维图像。
如图1所示，本发明的第一实施例的图像处理方法包括以下步骤：
步骤S101，获取目标组织的第一图像，获取第一图像之后获取目标组织的第二图像。所述第一图像及第二图像采集获取于同一目标组织的不同时刻，在本实施例中，所述第二图像获取于第一图像之后。
所述第一图像及第二图像的采集获取方式及时刻可按需自行选用。如在本实施例中，第一图像及第二图像可采用现有技术中的三维超声造影成像技术，在超声介入手术治疗前后分别采集目标区域的目标组织的图像。具体的，可于超声介 入手术治疗前采集第一图像、于超声介入手术治疗后采集第二图像。所述第一图像、第二图像可采用超声探头等超声设备获取。
在本实施例中，所述第一图像、第二图像可采用组织图像及/或造影图像。由于影剂充盈是一个动态的过程，第一图像、第二图像是目标区域中的目标物在造影图像中突显的状态下进行三维扫描采集，因此当采集第一图像、第二图像的造影图像数据时，为更好地捕捉相应时相的数据，可以进行多次第一图像、第二图像的采集生成，可以理解的是，所述第一图像、第二图像也可采用四维成像的方式获取。在本步骤中，采集并生成第一图像、第二图像后，可通过显示设备对第一图像及第二图像进行显示。可以理解的是，所述第一图像或第二图像可以是单个图像、也可是相互关联的一组图像。
步骤S102，分割提取所述第一图像与所述第二图像的组织结构。在本步骤中，第一图像与第二图像获取与同一目标组织，可通过于第一图像及第二图像选择具有对应关系的组织结构，从而便于辅助实现第一图像及第二图像的配准。
步骤S102进一步包括以下步骤：
步骤S1021，标注所述第一图像与所述第二图像中的组织结构。在本步骤中，所述组织结构指第一图像与第二图像中具有明显区分性或一致性的组织结构，如血管、肝包膜等结构。可以理解的是，所述组织结构的标注可采用使用者人工标注、图像自动识别标注等适用方式进行标注，从而提取符合标注要求的组织结构。
如图2所示，当进行组织结构标注时，可选取并标注点、线或区域。如，可选取显示区域中的血管分叉点p与显示区域中的血管分叉点p’。也可选取显示区域中的图像边界/血管结构l与显示区域中的图像边界/血管结构l’。
在本步骤中，当所述第一图像及第二图像为三维图像时，选取标注的所述组织结构标注于所述第一图像及第二图像的某个切面，因此使用者可通过浏览三维图像的不同切面，进行多次标注。
步骤S1022，根据所述第一图像与所述第二图像中标注的组织结构进一步分割提取组织结构。在步骤S1021中，选取标注的所述组织结构可只包括组织结构的一部分，如所述选取标注的组织结构可仅仅包括血管内部或边界的一部分。因此在本步骤中，可基于选取标注的组织结构利用分割算法对目标区域进行进一步分割。在本步骤中，可采用任意适用的分割算法对组织结构进行分割提取。如，所述分割算法可采用区域增长算法、图像分割算法(graph-cut)、机器学习算法中的 一种或多种，也可采用其他适用的分割算法。
步骤S103，基于组织结构配准所述第一图像及第二图像，建立所述第一图像与所述第二图像的配准映射关系。在本步骤中，获取标注及/或通过分割算法提取的组织结构后，可基于所述组织结构及第一图像、第二图像对应的组织图像及造影图像配准所述第一图像及第二图像。
本步骤中，可采用任意适用的配准算法配准所述第一图像及第二图像。
在本实施例中，采用表示第一图像；采用表示第二图像。通过设计相似性度量S来建立第一图像与第二图像之间的关系，然后通过最优化的方式获得最优变换矩阵从而实现第一图像与第二图像之间的配准，最优变换矩阵可采用如下公式描述：
Tμ是空间变换矩阵的参数化表示形式。μ包含了变换矩阵的参数。表示第一图像的组织图像，表示第二图像的组织图像。表示第一图像的造影图像，表示第一图像的造影图像。Kf表示第一图像在标注过程中的标记，Km表示第二图像在标注过程中的标记。S定义在空间变换矩阵Tμ下第一图像与第二图像之间的相似性，定义的方法是分别从第一图像及第二图像对应的组织图像，造影图像和标注信息中提取特征如位置、形状等特征信息，然后计算该特征信息在变换矩阵Tμ下的距离。通过最优化相似性度量S可以获得最终的变换矩阵这里的变换矩阵Tμ可根据实际应用场景自行选择，如可采用刚体变换、仿射变换、非刚性变换等。
本实施例中，提供一种基于刚体配准的配准方法。所述基于刚体配准的配准方法中，第一图像与第二图像相似性度量满足公式：
其中，表示第一图像的组织图像，表示第二图像的组织图像。表示第一图像的造影图像，表示第一图像的造影图像。Kf表示第一图像在标注过程中的标记，Km表示第二图像在标注过程中的标记。Tμ表示刚体配准的变换矩阵，其中μ＝{θx,θy,θz,tx,ty,tz}是矩阵Tμ的参数，矩阵Tμ的参数包括欧拉角的三个旋转角度θx,θy,θz和沿三个方向的平移参数tx,ty,tz。
给定的变换矩阵Tμ中，第一图像中的位置x与第二图像中的对应位置y的映射关系为：
y＝Tμ(x)
相似性度量方式可表示为：
上述公式的指数内容用于定义第一图像的组织图像与第二图像的组织图像之间的距离；用于定义第一图像的造影图像与第二图像的的造影图像之间距离；用于定义第一图像的标注信息与第二图像的标注信息之间的距离。
在本实施例中，对于组织图像及造影图像，利用图像灰度之间的差的平方和(SSD)或互信息(MI)、互相关(CC)等来定义距离。对应标注信息，可将标注信息转换为点集，然后计算点集之间的距离，表示从第一图像的标注信息中提取的点集，表示从第二图像的标注信息中提取的点集。相似性度量方式中要求前后两个点集的个数一样并且一一对应。在点数不一致的情况下，可以用图匹配的方式提取对应的点，也可以利用概率描述点集的分布然后在计算距离。wt，wc和wk表示三部份的权重。根据不同的需求可以设定三部分的不同权重，即只居于某一种或者两种能量进行配准。所述权重可按需自行设置，在此不再赘述。
本实施例的基于刚体配准的配准方法进一步包括以下步骤：
步骤S1031，输入第一图像与第二图像
步骤S1032，初始化刚体配准变换矩阵其中μ＝{θx＝0,θy＝0,θz＝0,tx＝0,ty＝0,tz＝0}。
步骤S1033，计算当前变换矩阵参数μ下对应于相似性度量S的梯度
所述相似性度量S满足公式：
步骤S1034，利用梯度下降优化变换矩阵参数μ：μk+1＝μk+a·g(μk)，a为梯度下降的步长；
步骤S1035，重复步骤S1033及步骤S1034直至相似性度量S最小。
步骤S1036，建立第一图像中的位置x与第二图像中的对应位置y的映射关系y＝Tμ(x)。
可以理解的是，本发明的步骤S103中，可采用任意使用算法配准所述第一图 像与所述第二图像。如在介入手术中，要配准的图像是是同一个人在手术前后两幅图像，可以采用刚体变换。考虑到病人呼吸，体位，手术对目标肿瘤的处理等因素引起的非刚性变换，可以在刚性变换基础上再利用非刚性变换进行优化。
本步骤中，估计获得变换矩阵后，就可以获得所述第一图像与所述第二图像直接的映射关系，通过插值的方式可以把所述第一图像与所述第二图像(包括组织图像和造影图像)映射到同一个空间。之后即可进入下一步把映射到同一空间的图像输出到显示设备进行对比显示。使用者可按需重复步骤S102及步骤S103直至获取所需结果。
步骤S104，显示所述第一图像，基于所述配准映射关系显示与所述第一图像对应的第二图像。在本步骤中，可分别显示所述第一图像及与所述第一图像对应的第二图像。
进一步的，可通过一个显示单元显示第一图像，并通过另一个显示单元显示第二图像。从而便于第一图像与第二图像之间的比对。所显示的第一图像与第二图像可为目标组织切面的局部图像。所述显示单元可以是不同的显示设备，如不同的显示屏；也可以是同一显示设备上分割形成的不同显示区域。
进一步的，本实施例中的图像处理方法还可包括：
步骤S105，接收提取信号以提取并显示第一图像的第一子图像；
步骤S106，基于所述配准映射关系，提取并显示与所述第一子图像相对应的第二图像的第二子图像。
所述步骤S105及步骤S106中的第一图像及第二图像可以是二维图像或三维图像。
当所述第一图像为三维图像时，所述第一子图像为第一图像的切面图像，当所述第二图像为三维图像时，所述第二子图像为第二图像的切面图像。
当所述第一图像为二维图像时，所述第一子图像为第一图像的局部区域经过放大之后的局部图像，当所述第二图像为二维图像时，所述第二子图像为第二图像的局部区域经过放大之后的局部图像。
可以理解的是，在显示第一子图像及第二子图像的时候，也可通过一个显示单元显示第一子图像，并通过另一个显示单元显示第二子图像。从而便于使用者进行分析比对。
具体的，在实际使用本方法肿瘤手术消融的范围是否完全包括肿瘤时，可利 用自动或半自动的分割方法分割获取于术前的第一图像与获取术后的第二图像，并将术前的第一图像与获取术后的第二图像的包含肿瘤的图像特定区域进行叠加显示或分开显示，便于使用者将第一图像的肿瘤区域与第二图像的消融灶消融灶进行比对，从而比较消融灶的区域是否完全包含肿瘤区域，对消融效果进行评估。
为了保证肿瘤消融的彻底性，在消融手术时会要求在分割的肿瘤边界的基础上向外扩展一个范围，来表示肿瘤消融的安全边界。在进行叠加显示时，可以用不同颜色来标记肿瘤区域和安全边界，并且通过调整彩色显示的透明度，对肿瘤区域和图像进行融合显示。
本发明提供的图像处理方法，利用交互式配准方式建立两组图像直接的对应关系，除了应用到基于超声造影的配准外，还可以用于基于CT/MRI等图像的配准与显示系统。本发明提供的图像处理方法便于不同时刻的目标组织的图像的提取与比对，比对准确、比对效率高。
如图3所述，本发明的第二实施例提供的图像处理方法与第一实施例大致相同，包括以下步骤：
步骤S201，获取目标组织的第一图像，获取第一图像之后获取目标组织的第二图像。本步骤的实施过程与第一实施例的步骤S101一致。
步骤S202，分割提取所述第一图像与所述第二图像的组织结构。本步骤的实施过程与第一实施例的步骤S102一致。
步骤S203，基于组织结构配准所述第一图像及第二图像，建立所述第一图像与所述第二图像的配准映射关系。本步骤的实施过程与第一实施例的步骤S103基本一致。
步骤S204，显示所述第一图像，基于所述配准映射关系显示与所述第一图像对应的第二图像。本步骤的实施过程与第一实施例的步骤S104基本一致。
步骤S205，接收提取信号以提取并显示第一图像的第一子图像；
步骤S206，基于所述配准映射关系，提取并显示与所述第一子图像相对应的第二图像的第二子图像。
不同之处在于，本实施例提供的图像处理方法还进一步包括以下步骤：
步骤S207，接收标记信号，并显示形成于所述第一子图像上的标记。在本步骤中，使用者可通过各类外部设备或方式，如鼠标点选、键盘输入、触控输入等方式进行标记操作。图像处理系统接收来自外部的标记信号，从而形成相应的标 记，并建议显示。
步骤S208，基于所述配准映射关系，形成并显示与所述第一子图像的标记对应的所述第二子图像的标记。在本步骤中，由于第一子图像及第二子图像具有配准映射关系，因此。图像处理系统可通过形成于所述第一子图像至上的标记相应的于第二子图像上形成一对应的标记。通过以上操作，使用者可通过对某一时刻的第一图像进行标记，从而于另一时刻的第二图像获得相应的对应标记。
可以理解的是，在步骤S207及步骤S208中，可接收标记信号以形成第一子图像的标记，并相应形成第二子图像的标记。也可接收标记信号形成第二子图像的标记，并相应形成第一子图像的标记。
在步骤S207及步骤S208中，所述标记为点状标记、线条标记或区域填充标记中的任意一种或多种。进一步的，在步骤S207及步骤S208中，可将经过配准的第一图像与第二图像中相对应的组织结构采用同一颜色进行标注。
在本步骤中，可将经过配准的第一图像与第二图像设为组织图像，也可将经过配准的第一图像与第二图像设为造影图像。进一步的，在实施时为方便切换组织图像及造影图像，可设置控制按钮用于组织图像与造影图像之间的切换。
进一步的，在本步骤中，可联动显示第一图像与第二图像并同步标记第一图像与第二图像中相应的组织图像。如，所述显示单元包括用于显示第一图像的第一显示单元及用于显示第二图像的第二显示单元。当对第一显示单元所显示的第一图像进行标记时，第二显示单元所显示的第二图像同步显示标记的对比效果。同样的，对第二显示单元所显示的第二图像进行标记时，第一显示单元所显示的第一图像同步显示标记的对比效果。在本实施例中，所述标记可包括对第一图像或第二图像进行距离测量、面积测量、勾边、描迹等操作。也可解除第一图像与第二超时图像的联动显示与同步标记，单独对第一图像或第二超时图像进行显示及标记。
所述显示单元可显示第一图像或第二图像的一个图像切面，也可以同时显示图像多个切面，即两个显示单元中可按照相同顺序排列多个图像切面，供使用者按需选择并执行所述的操作。
如图6所述，本发明的第三实施例提供的图像处理方法与第一实施例大致相同，包括以下步骤：
步骤S301，获取目标组织的第一图像，获取第一图像之后获取目标组织的第 二图像。本步骤的实施过程与第一实施例的步骤S101一致。
步骤S302，分割提取所述第一图像与所述第二图像的组织结构。本步骤的实施过程与第一实施例的步骤S202一致。
步骤S303，基于组织结构配准所述第一图像及第二图像，建立所述第一图像与所述第二图像的配准映射关系。本步骤的实施过程与第一实施例的步骤S103基本一致。
步骤S304，显示所述第一图像，基于所述配准映射关系显示与所述第一图像对应的第二图像。本步骤的实施过程与第一实施例的步骤S104基本一致。
不同之处在于，本实施例提供的图像处理方法还进一步包括以下步骤：
步骤S305，基于配准映射关系于所述第一图像或/及所述第二图像中显示所述目标组织的组织结构。当显示组织结构时，可采用二维显示或三维显示，如图4是二维窗口中的显示效果，第一图像的组织结构504和第二图像的组织结构506分别用两种不同颜色进行表示，此显示内容可以叠加在第一图像与第二图像上进行显示，图5是三维可视化的显示效果，第一图像的组织结构508和第二图像的组织结构510分别用不同颜色表示。通过比较结构的重合效果，可以直观的显示出配准的效果。
本发明的第四实施例提供一种图像处理系统，包括
图像获取单元11，用于获取目标组织的第一图像、第二图像。
分割单元13，用于接收所述第一图像、第二图像，并分割提取所述第一图像与所述第二图像的组织结构。
配准单元15，用于接收第一图像、第二图像及分割提取的组织结构，并基于组织结构配准所述第一图像及第二图像，建立所述第一图像与所述第二图像的配准映射关系。
显示模组17，用于显示所述第一图像，并基于配准映射结果显示与所述第一图像对应的第二图像。
在本实施例中，所述图像处理系统的显示模组17包括第一显示单元171与第二显示单元172，所述第一显示单元171用于显示第一图像及相应组织结构，所述第二显示单元172用于显示第二图像及相应组织结构。
进一步的，所述图像处理系统还设有提取单元18，所述提取单元18用于提取第一图像的第一子图像，并基于所述配准映射关系提取与所述第一子图像相对应 的第二图像的第二子图像。当所述第一图像为三维图像时，所述第一子图像为第一图像的切面图像，当所述第二图像为三维图像时，所述第二子图像为第二图像的切面图像。
当所述第一图像为二维图像时，所述第一子图像为第一图像的局部区域经过放大之后的局部图像，当所述第二图像为二维图像时，所述第二子图像为第二图像的局部区域经过放大之后的局部图像。
所述提取单元18还用于提取所述第一图像或第二图像的组织结构以便将所述组织结构通过显示模组17显示。
本发明的图像处理系统与方法采用交互式配准方式建立两组图像直接的对应关系，提供对比分析的显示界面以进行两组图像之间的对比评估。本发明的图像处理系统与方法操作方便，可获得即时的评估效果，成本低。且本发明的图像处理系统与方法除了应用到基于超声造影的配准外，还可以用于基于CT/MRI等图像的配准与显示系统。
以上所揭露的仅为本发明一种实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
- 还没有人留言评论。精彩留言会获得点赞！