图像处理的方法、装置、电子设备及存储介质与流程

图像处理的方法、装置、电子设备及存储介质
1.本技术为2021年07月13日提交中国专利局、申请号为202110790290.4，名称为“图像处理的方法、装置、电子设备及存储介质”的中国专利申请的分案申请。
技术领域
2.本技术属于医学图像处理技术领域，尤其涉及一种图像处理的方法、装置、电子设备及存储介质。


背景技术：

3.光学相干断层扫描oct技术是一种成像技术。它利用弱相干光干涉仪的基本原理，将光源发出的光线分成两束，一束发射到被测组织，也叫样品臂，另一束发射到参照反光镜，也叫参考臂，然后把从被测组织和从参照反光镜反射回来的两束光信号叠加、干涉，最后根据光信号随被测组织的不同而显示出不同强弱的图像灰度，从而对组织内进行成像。
4.现有传统光学相干图像技术对易损斑块识别能力较弱，从系统及设备端进行识别能力的提升难度较大，也会产生高昂的成本；另外现有oct图像的显示效果较差，不便于辅助医护人员判断易损斑块的负荷情况。


技术实现要素：

5.本技术实施例提供了一种图像处理的方法、装置、电子设备及存储介质，可以解决以上问题的至少一部分。
6.第一方面，本技术实施例提供了一种图像处理的方法，包括：
7.在获取针对探查对象的光学相干断层扫描oct图像组的过程中，获取针对所述探查对象的血管造影图像组；
8.对所述oct图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
9.基于所述oct图像组中的各个oct图像，生成所述各个oct图像对应的斑块衰减系数光衰减系数图像组；
10.计算所述光衰减系数图像组中每个所述光衰减系数图像的ipa值；
11.基于所述配准参数，利用所述ipa值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
12.应理解，通过对oct图像组和血管造影图像组中各个血管造影图像进行配准，获得oct图像组和各个血管造影图像的配准参数，也就是对应关系，使得采用各个oct图像获得的光衰减系数图像与各个血管造影图像有一致的对应关系。在此基础上将基于光衰减系数图像获得的ipa值标记在各个血管造影图像上，可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。
13.第二方面，本技术实施例提供了一种图像处理的装置，包括：
14.图像获取模块，用于在获取针对探查对象的光学相干断层扫描oct图像组的过程
中，获取针对所述探查对象的血管造影图像组；
15.图像配准模块，用于对所述oct图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
16.光衰减系数图像生成模块，用于基于所述oct图像组中的各个oct图像，生成所述各个oct图像对应的斑块衰减系数光衰减系数图像组；
17.ipa值生成模块，用于计算所述光衰减系数图像组中每个所述光衰减系数图像的ipa值；
18.图像标记模块，基于所述配准参数，利用所述ipa值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
19.第三方面，本技术实施例提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的方法步骤。
20.第四方面，本技术实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
21.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法步骤。
22.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1是本技术一实施例提供的图像处理的方法的流程示意图；
25.图2是本技术一实施例提供的oct图像和血管造影图像的对应关系示意图；
26.图3是本技术一实施例提供的图像处理的示意图；
27.图4是本技术另一实施例提供的图像处理的方法的流程示意图；
28.图5是本技术另一实施例提供的图像处理的方法的流程示意图；
29.图6是本技术一实施例提供的图像配准示意图；
30.图7是本技术一实施例提供的注意力u型网络检测回拉血管示意图；
31.图8是本技术一实施例提供的循环生成对抗网络示意图；
32.图9a是本技术一实施例提供的oct图像样本；
33.图9b是本技术一实施例提供的光衰减系数图像样本；
34.图10是本技术一实施例提供的图像处理的装置示意图；
35.图11是本技术实施例提供的电子设备的结构示意图。
具体实施方式
36.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
37.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
38.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
39.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0040]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0041]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0042]
光学相干断层扫描(optical coherence tomography，oct)技术是一种成像技术。它利用弱相干光干涉仪的基本原理，将光源发出的光线分成两束，一束发射到被测组织，也叫样品臂，另一束发射到参照反光镜，也叫参考臂，然后把从被测组织和从参照反光镜反射回来的两束光信号叠加、干涉，最后根据光信号随被测组织的不同而显示出不同强弱的图像灰度，从而对组织内进行成像。
[0043]
现有传统光学相干图像技术其对易损斑块识别能力较弱。判断易损斑块需要判断纤维帽的厚度，而这需要医生进行手动的进行测量。测量者的主观因素可能导致测量结果的可变性。从系统及设备端进行识别能力的提升难度较大，也会产生高昂的成本。
[0044]
由于易损斑块中存在脂质等暗区域，易损斑块在oct图像中的纤维帽边界不是很清晰，现有oct图像的显示效果较差，不便于辅助医护人员判断易损斑块的负荷情况。
[0045]
本技术实施例提供了一种图像处理的方法，基于造影融合配准(angiocoalesceregistration，acr)的结果，根据基于光衰减系数图像计算斑块衰减指数(index of plaque attenuation，ipa)值，并将ipa值映射到造影图像中。由于易损斑块的区域的光衰较明显，本技术实施例提供的图像处理的方法获得的血管造影图像可以通过显示光衰图像对应的ipa值，直观的提示医生在当前图像帧可能存在易损斑块，使得ipa值的显示更加直观有效。
[0046]
需要指出的是，本技术实施例提供的图像处理方法可以由包括但不限于获取血管
造影图像的设备、oct设备、本地第三方计算设备、远程第三方计算设备的软件和/硬件来实现，本技术并不限定实施该图像处理方法的主体。所述第三方为除oct设备和血管造影图像的设备之外的设备。
[0047]
图1示出了本技术实施例提供的图像处理的方法。如图1所示，该方法包括步骤s110至s150。各个步骤的具体实现原理如下：
[0048]
s110，在获取针对探查对象的光学相干断层扫描oct图像组的过程中，获取针对所述探查对象的血管造影图像组。
[0049]
在通过oct设备对探查对象的血管，例如冠状动脉血管，实施光学相干断层扫描的过程中，会获得一系列的oct图像，记为oct图像组。在此过程中，通过血管造影成像设备对该探查对象实施血管造影成像，获取一系列的血管造影图像，记为血管造影图像组。在一些实施例中，血管造影成像是针对冠状动脉血管，获得的图像称为冠脉造影图像(coronary arteriography，cag)。
[0050]
可以理解的是获取oct图像组和血管造影图像组的成像设备可以是同一设备，也可以是有两个不同的设备，还可以是有控制关系的设备组合。在一些实施例中，可以由oct设备对oct图像组和血管造影图像组进行图像处理，还可以由血管造影成像设备对oct图像组和血管造影图像组进行图像处理。在一些实施例中，可以通过oct设备和血管造影成像设备获取oct图像组和血管造影图像组后，第三方计算设备通过存储介质、通信线缆、通信网络获取oct图像组和血管造影图像组进行处理。
[0051]
s120，对所述oct图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数。
[0052]
应理解，如图2所示，oct图像组21是针对探查对象的血管的一系列断层扫描的图像，也就是相当于血管的截面图像。血管造影图像22是针对探查对象血管的投影图像。oct图像组与血管造影图像进行配准，也就是确定oct图像组中每个oct图像211对应的血管截面，在血管造影图像中的血管投影的位置221。或者说，建立oct图像组中每个oct图像和血管造影图像中的位置的对应关系。对所述oct图像组和所述血管造影图像组中各个血管造影图像进行配准，也就是说，针对血管造影图像组中每个血管造影图像，都建立oct图像组与该血管造影图像中的位置的对应关系。
[0053]
s130，基于所述oct图像组中的各个oct图像，生成所述各个oct图像对应的光衰减系数图像组。
[0054]
血管壁(含斑块)组织的光衰减系数(the optical attenuation coefficient，oac)是oct图像的光学特征参数。生物组织的光衰减系数是随空间位置变化的，因此，可以根据光衰减系数可对薄纤维帽、钙化和富含脂质的斑块等组织成分进行定量标定。
[0055]
在一些实施例中，可以基于oct图像，利用oct设备的光学参数，例如瑞丽长度(the rayleigh length，zr)，滚降函数的半宽(the half width of the roll-off function，zw)等，计算得到每个oct图像中组织对应的光衰减系数，获得光衰减系数图像。计算的方法包括但不限于曲线拟合法(curve fitting，cf)，或深度解析(depth-resolved，dr)模型方法。从而获得与oct图像组对应的一系列光衰减系数图像，记为光衰减系数图像组。需要指出的是，oct图像组与光衰减系数图像组存在一一对应的关系。也就是说，oct图像组同血管造影图像组的配准参数，与光衰减系数图像组同血管造影图像组的配准参数是一致的。
[0056]
s140，计算所述光衰减系数图像组中每个所述光衰减系数图像的斑块衰减指数ipa值。
[0057]
在一些实施例中，斑块衰减指数(the index of plaque attenuation，ipa)是衰减图中衰减系数大于某个阈值x的像素的分数。在一个具体的示例中，该分数还可以乘以一个值为1000的系数。具体的，可以采用以下公式，计算ipa值。
[0058][0059]
其中，x为斑块衰减系数阈值，μ
t
为衰减系数，n(μ
t
》x)为每条a线(a-line)上最大衰减值大于x的a线总数，n
total
表示所有的a线数量。
[0060]
s150，基于所述配准参数，利用所述ipa值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
[0061]
在一些实施例中，ipa值为灰度值，利用所述ipa值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组，包括：将该灰度值标记在各个血管造影图像上光衰减图像对应的位置。
[0062]
在一些实施例中，预设ipa值与标记参数的对应关系，例如对照表，或转换曲线公式。利用该对应关系将ipa值映射为标记参数。标记参数可以为rgb颜色值，也可以为“+”、“*”、“#”等符号对应的计算机编码，还可以为其他标记符号对应的计算机编码。将ipa值对应的标记参数显示在各个血管造影图像上光衰减图像对应的位置。
[0063]
在一些实施例中，oct图像组为血管造影图上的回拉血管的截面图像，也就是oct图像组中的oct图像对应血管造影图上的回拉血管的位置。应理解，因光衰减系数图像与oct图像的一一对应关系，由每个光衰减系数图像获得的ipa值也对应血管造影图上的回拉血管的一个位置。基于所述配准参数，利用所述ipa值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组，包括：根据预设的ipa值与标记参数的对应关系，将各个所述ipa值转换为标记参数；根据所述配准参数，在所述各个血管造影图像的目标位置，显示对应的光衰减系数图像的标记参数，所述目标位置为光衰减系数图像对应的回拉路径上像素位置。
[0064]
在一个具体的示例中，标记参数可以为颜色值。例如ipa值为100，查询预设的ipa值与标记参数的对应关系(可以为对照表)，确定该ipa值对应的rgb值是[179,62,110]。根据配准参数，在血管造影图像上回拉血管对应的位置的像素显示该rgb值。即实现将当前造影图像上的回拉路径进行颜色渲染显示。
[0065]
可以理解的是，如图3所示，本技术实施例通过对oct图像组和血管造影图像组中各个血管造影图像进行配准，获得oct图像组和各个血管造影图像的配准参数，也就是对应关系，使得采用各个oct图像获得的光衰减系数图像与各个血管造影图像有一致的对应关系。在此基础上将基于光衰减系数图像获得的ipa值标记在各个血管造影图像上，可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。
[0066]
在上述图1示出的图像处理的方法的基础上，如图4所示，步骤s120，对所述oct图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数，包括步骤s121至步骤s123。此过程也称造影融合配准(angiocoalesceregistration，acr)。
[0067]
s121，检测所述各个血管造影图像中的回拉路径。
[0068]
在血管造影图像中，回拉血管是有导丝的血管，也就是待扫描血管。在一些场合中，回拉也称为回撤。回拉路径又称回撤路径，是在实施oct扫描过程中光学导管扫描的路径。
[0069]
在一些实施例中，如图5所示，检测所述各个血管造影图像中的回拉路径，包括步骤s1211至s1214：
[0070]
s1211，利用预先训练得到的目标检测模型，检测所述各个血管造影图像中的回拉血管。
[0071]
其中，回拉血管是有导丝的血管，也就是待扫描血管。
[0072]
在一些实施例中，所述目标检测模型可以为用于目标检测的深度学习网络模型。在一些实施例中，目标检测模型对检测到的血管造影图像中的回拉血管进行图像分割操作。
[0073]
s1212，在所述各个血管造影图像中的所述回拉血管中，检测显影目标物的起始位置和终止位置。
[0074]
其中，所述显影目标物可以是显影环或光学探头。显影环是为增加显影效果，导丝头端设置的金属环。
[0075]
s1213，利用最近点迭代(iterative closest point，icp)算法，将所述起始位置和所述终止位置投影到所述各个血管造影图像。
[0076]
在一些实施例中，在获取在获取针对探查对象的光学相干断层扫描oct图像组的过程中，获取针对所述探查对象的血管造影图像组，起始位置即第一张血管造影图像显影环运动的位置，终止位置即最后一张血管图像显影环运动的位置。当两个首尾图像的显影环位置都确定好之后，可以得出显影环运动的回拉路径，之后可通过icp算法对其他血管造影图像进行投影。这样每一张血管造影图像上都标记有所述起始位置和所述终止位置。
[0077]
s1214，利用最短路径算法，基于所述各个血管造影图像中的起始位置和终止位置，获得所述各个血管造影图像中的回拉路径。
[0078]
在一些实施例中，以当前血管造影图像的像素点的灰度值建立weights矩阵，由于血管部分的灰度值较低，权重较低，最短路径算法是要保证目标点之间的路径权重最低。当确定显影环的起始和终止位置后，即可在回拉血管上确定回拉路径。
[0079]
图6是本技术一实施例提供的图像配准示意图。图6以末帧造影图像61显影环位置，也就是显影环的终止位置611为例，示出了通过icp算法将显影环位置投影到其他血管造影图像的示例。以及经过投影操作，具有显影环起始位置612和显影环终止位置的611任意一帧血管造影图像62，利用最短路径法获得回拉路径的示例。
[0080]
所述配准参数包括oct图像组中每个oct图像与目标位置的对应关系，所述目标位置为所述各个血管造影图像中的像素点位置。应理解，所述目标位置为所述各个血管造影图像中回拉路径上的像素点位置。
[0081]
通过对oct图像组和血管造影图像组中各个血管造影图像进行配准，获得oct图像组中每个oct图像与目标位置的对应关系，使得采用各个oct图像获得的光衰减系数图像与目标位置有一致的对应关系。在此基础上将基于光衰减系数图像获得的ipa值标记在各个血管造影图像的目标位置，可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。
[0082]
s122，针对所述血管造影图像组中的每个血管造影图像，根据oct图像组的帧频，对所述血管造影图像中的回拉路径进行等间隔采样，得到每个oct图像与所述回拉路径上像素点位置的对应关系。
[0083]
s123，将每个oct图像与所述回拉路径上像素点位置的对应关系作为所述配准参数。
[0084]
需要指出的是，默认的oct回拉的速度是保持不变的，因此，单位时间内移动的距离也是一定的。因此可以对血管造影图像中的回拉路径进行等间隔采样，以建立回拉路径上的位置和每个oct图像的对应关系。
[0085]
在一些实施例中，假设血管造影图像上回拉路径是600个像素点距离，一组oct回拉是300帧图像。oct设备每次扫描获得一帧oct图像，对应的，血管造影图像上显影环的位置移动为2个像素点。因此，一张oct图像对应各个血管造影图像上两个像素点的位置。
[0086]
图6以一帧oct图像64为例，该oct图像与确定了回拉路径的血管造影图像63的配准关系为，该oct图像64的帧编号对应于血管造影图像63上回来血管的一个位置631，需要指出的是位置631可能包含1个或多个像素，这取决于oct帧频和回拉路径包含的像素个数。
[0087]
在图5所示的图像处理方法的基础上，步骤s1211，利用预先训练得到的目标检测模型，检测所述各个血管造影图像中的回拉血管，包括：
[0088]
如图7所示，采用经过训练的目标检测模型为注意力u型网络attention-u-net模型作为所述目标检测模型。
[0089]
所述attention-u-net模型采用预先标注回拉血管的血管造影图像样本集训练。在一些实施例中，针对冠脉血管造影的应用，可以准备一组cag造影图像，由专家标注其中的有导丝的回拉血管，用于训练attention-u-net模型，以识别cag图像中回拉血管。
[0090]
需要指出的是，若使用attention-u-net网络对cag图像各种体位，主要包括左前降支(lad)，左回旋支(lcx)，右冠脉(rca)中的回拉血管完成精细分割，则在收集训练样本时，尽可能保证各个体位的cag图像的比例一致，确保网络在各个模型中分割性能接近。
[0091]
在一些实施例中，由于专家标注回拉血管的cag图像样本集的数据量较少，可通过旋转、翻转、调整对比度等方式对数据样本量进行扩充。
[0092]
attention-u-net在u-net的基础上增加了注意力attention的机制，其通过下一级的特征feature来监督上一级的feature来实现attention机制。如图7所示，该attention-u-net包括下采样和上采样的过程，并加入了注意力机制，注意力机制在图7中用表示。
[0093]
所述attention-u-net模型采用包含扩大回拉血管权重参数的损失函数l
aun
训练。
[0094][0095]
[0096]
其中，r
ln
表示类别l在第n个位置的真实像素类别，本技术实施例中的类别分为回拉血管路径像素和背景像素两类。而p
ln
表示相应的预测概率值，ω
l
表示每个类别的权重，当该类别在图像上所占的比例越大，权重越小。
[0097]
应理解，为方便理解本技术，本技术实施例提供上述公式对包含扩大回拉血管权重参数的损失函数的示例。本领域技术人员可以参考该示例，结合实际情况对扩大回拉血管权重参数的形式，以及损失函数的具体参数进行调整。
[0098]
可以理解的是，通过自动学习参数来调整激活值，将激活的部分限制于带分割的区域，减小背景的激活值来优化分割，实现端到端的分割，attention-u-net在复杂图像的分割精准度更加，使训练出的模型可自动分割出有导丝通过的血管，快速定位回拉血管。
[0099]
在上述图1示出的图像处理的方法的基础上，如图8所示，本技术实施例还提供了一种利用循环生成对抗网络(cycleconsistent generative adversarial networks,cyclegan)，基于所述oct图像组中的各个oct图像，生成所述各个oct图像对应的光衰减系数图像组的方法。其中，循环生成对抗网络也称为循环一致性生成对抗网络。
[0100]
参考上述实施例中提供的基于所述oct图像组中的各个oct图像，生成所述各个oct图像对应的光衰减系数图像组的方法。基于oct设备的光学参数，经过计算获得oct图像光衰减系数图像，需要用到oct设备的光学硬件参数。但oct设备在出厂时，相关的参数可能会有些轻微差别，这样会导致oct图像生成的光衰减系数图像会存在系统误差。本技术实施例为排除oct系统对ipa计算的影响，提供了一种利用cyclegan网络，根据oct图像合成光衰减系数图像，并根据合成的光衰减系数图像计算ipa值的方法。
[0101]
本技术的一些实施例中，为cyclegan网络准备由多台oct设备生成的oct图像，构成oct图像样本集。基于成oct图像样本集，根据各个oct设备的光学参数计算获得光衰减系数图像样本集。图9a示出的是本技术一实施例提供的oct图像样本，图9b示出的是本技术一实施例提供的光衰减系数图像样本。
[0102]
采用多台设备生成的oct图像样本集和光衰减系数图像样本集训练cyclegan网络，可以提升cyclegan网络的泛化能力，使训练后的cyclegan网络能基于任意一台oct设备生成的oct图像生成对应的光衰减系数图像。
[0103]
在一些实施例中，由于oct图像样本集和经专家标注获取的光衰减系数图像样本集的数据量较少，可通过旋转，翻转，调整对比度等方式对oct图像样本集和光衰减系数图像样本集进行变换，以对数据样本量进行扩充。
[0104]
参见图8，使用cyclegan网络将oct图像合成光衰减系数图像。cyclegan网络主要包含两个循环，正向循环和反向循环。
[0105]
其中，正向循环主要包括三个独立的cnn模型其中合成器网络也称为称为生成器网络：
[0106]
(1)syn
ipa
是将oct图像img
oct
转为ipa图像的合成器网络；
[0107]
(2)syn
oct
是将光衰减系数图像syn
ipa
(img
oct
)转换回oct图像的合成器网络；
[0108]
(3)dis
ipa
是区分合成的光衰减系数图像syn
ipa
(img
oct
)和真实的光衰减系数图像realipaimg判别器网络。
[0109]
对于合成的光衰减系数图像，标签为0，对于真实的光衰图像，标签为1。判别器网络不断的学习可以区分出合成和真实，即对于合成的，判别器输出为0，对于真实的，输出为
1。但是，由于模型不断训练，生成的光衰图质量越来越好，更接近于真实的，最后判别器难以区分合成和正常，就得到了模型训练的目的。
[0110]
当网络dis
ipa
试图区分合成的光衰减系数图像syn
ipa
(img
oct
)和真实的光衰减系数图像realipaimg时，网络syn
ipa
会尽可能的将oct图像合成接近真实的光衰减系数图像syn
ipa
(img
oct
)，使得网络dis
ipa
无法区分。另外，合成的光衰减系数图像syn
ipa
(img
oct
)也需要通过网络syn
oct
转回oct图像，以便原始的图像syn
oct
(img
ipa
)重建尽可能的准确。
[0111]
为了提高训练的稳定性，还增加了反向循环，利用光衰减系数图像合成oct图像，并将合成的oct图像再转换回光衰减系数图像。反向循环同样包含三个部分，其中反向循环的两个合成网络是与正向循环通用的，即，网络syn
oct
和网络syn
ipa
。另外，反向循环还包含判别器网络dis
oct
，用于区分合成的oct图像syn
oct
(img
ipa
)和真实的oct图像realoctimg。
[0112]
合成器网络和判别器网络的对抗性目标反应在如下的损失函数loss
ipa
和loss
oct
中。
[0113]
判别器dis
ipa
用于判断图像是否是真实的光衰减系数图像，当图像是真实的光衰减系数图像时，值为1，当图像是合成的光衰减系数图像时，值为0。判别器dis光衰减系数会尽可能将损失项最小，其损失loss
ipa
为：
[0114]
loss
ipa
＝(1-dis
ipa
(img
ipa
))2+dis
ipa
(syn
ipa
(img
oct
))2。
[0115]
类似的，判别器dis
oct
用于判断图像是否是真实的oct图像，真实的为1，否则为0，其损失loss
oct
为：
[0116]
loss
oct
＝(1-dis
oct
(img
oct
))2+dis
oct
(syn
oct
(img
ipa
))2。
[0117]
另外，在计算循环一致性损失loss
cycle
时，考虑到oct图像和光衰减系数图像中都是重点关注灰度值较大的区域，也就是不稳定斑块，但是不稳定斑块在图像中占比很小，在损失项中增加灰度值较大的区域的权重系数。
[0118][0119]
其中，i表示真实的图像和合成的图像对应位置的像素点值，n表示图像中的像素点个数，在一些实施例中，这里取704x704。syn
oct
(syn
ipa
(img
oct
))表示由合成的光衰减系数图像转换回oct图像。同理，syn
ipa
(syn
oct
(img
ipa
))表示由合成的oct图像转换回的光衰减系数图像。当真实的图像中对应位置的像素点值越大，其代表的不稳定性越大，该位置的误差越小。
[0120]
本技术实施例提供的cyclegan网络循环一致性损失包含第一生成损失项和第二生成损失项所述第一生成损失项包含与第一生成样本的像素值负相关的第一权重系数所述第一生成样本为oct图像样本；所述第二生成损失项包含与第二生成样本的像素值负相关的第二权重系数所述第二生成样本为光衰减系数图像样本。因为oct和ipa中有效
的像素区域占图片的比重较小，因为如果不加入权重项，损失对oct和ipa有效区域的权重也越小，但是通过这两项中的权重系数，有效像素占图像总像素的比例越小，这两项就越大，从而增加权重。
[0121]
cyclegan网络的总的损失函数loss
total
为loss
total
＝loss
ipa
+loss
oct
+λloss
cycle
。其中，λ为缩放系数，是一个超参数。
[0122]
具体的网络结构图参考图8，其中，包含一个正向循环和一个反向循环。在正向循环中，syn
ipa
将oct图像合成光衰减系数图像，syn
oct
是将合成的光衰减系数图像转换回接近于原图的oct图像，dis
ipa
是用来区分真实的光衰减系数图像realipaimg和合成的光衰减系数图像。在反向循环中，syn
oct
是光衰减系数图像合成oct图像，syn
ipa
将合成的oct图像转换回接近原图的光衰减系数图像，dis
oct
是用来区分真实的oct图像realoctimg和合成的oct图像。
[0123]
需要指出的是，训练cyclegan网络的时候是训练oct图像合成到光衰减系数图像，光衰减系数图像合成到oct图像，也就是说正向循环和反向循环都进行训练。但是cyclegan训练好后，仅利用oct图像合成光衰减系数图像部分的网络。
[0124]
可以理解的是，本技术实施例提供的利用cyclegan网络，根据oct图像合成光衰减系数图像，并根据合成的光衰减系数图像计算ipa值的方法，可以摆脱具体oct设备参数的影响，直接通过oct图像合成光衰减系数图像，消减了系统误差，并且极大的提高了合成光衰减系数图像的处理效率。
[0125]
对应于上述图1所示的图像处理的方法，图10示出的是本技术实施例提供的一种图像处理的装置m100，包括：
[0126]
图像获取模块m110，用于在获取针对探查对象的光学相干断层扫描oct图像组的过程中，获取针对所述探查对象的血管造影图像组。
[0127]
图像配准模块m120，用于对所述oct图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数。
[0128]
光衰减系数图像生成模块m130，用于基于所述oct图像组中的各个oct图像，生成所述各个oct图像对应的斑块衰减系数光衰减系数图像组。
[0129]
ipa值生成模块m140，用于计算所述光衰减系数图像组中每个所述光衰减系数图像的ipa值。
[0130]
图像标记模块，基于所述配准参数，利用所述ipa值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
[0131]
可以理解的是，以上实施例中的各种实施方式和实施方式组合及其有益效果同样适用于本实施例，这里不再赘述。
[0132]
图11为本技术一实施例提供的电子设备的结构示意图。如图11所示，该实施例的电子设备d10包括：至少一个处理器d100(图11中仅示出一个)处理器、存储器d101以及存储在所述存储器d101中并可在所述至少一个处理器d100上运行的计算机程序d102，所述处理器d100执行所述计算机程序d102时实现上述任意各个方法实施例中的步骤。
[0133]
所述电子设备d10可以是oct设备、血管造影成像设备、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器d100、存储器d101。本领域技术人员可以理解，图11仅仅是电子设备d10的举例，并不构成对电子设备d10
的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0134]
所称处理器d100可以是中央处理单元(central processing unit，cpu)，该处理器d100还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0135]
所述存储器d101在一些实施例中可以是所述电子设备d10的内部存储单元，例如电子设备d10的硬盘或内存。所述存储器d101在另一些实施例中也可以是所述电子设备d10的外部存储设备，例如所述电子设备d10上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器d101还可以既包括所述电子设备d10的内部存储单元也包括外部存储设备。所述存储器d101用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器d101还可以用于暂时地存储已经输出或者将要输出的数据。
[0136]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0137]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0138]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0139]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
[0140]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
[0141]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以
为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0142]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0143]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0144]
在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0145]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0146]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。