乳房影像对位方法与影像处理装置与流程

本发明涉及一种影像对位技术以及相关的装置，且特别是涉及一种乳房影像的对位方法以及相关的影像处理装置。

背景技术：

乳腺癌(mammarycarcinoma)是女性常见的恶性肿瘤之一，其主要症状包括乳房肿瘤(tumor)、异常分泌物或形状变异等。提早筛检出乳房的异常症状，将有助于尽早针对肿瘤进行治疗，以降低癌细胞恶化或扩散等问题。诸如临床或自我乳房检测、活体组织检查、乳房摄影术(mammography)、超音波(ultrasound)显像或磁共振(magneticresonance)显像等筛检方式已广泛在临床上使用或成为学术研究的重要议题。

一般而言，不论是乳房摄影术(mammography)、超音波(ultrasound)显像或磁共振(magneticresonance)显像等显像技术，为了确保后续的乳房检查范围可以囊括整个乳房，每个乳房都需要由多个方向进行拍摄或扫描以取得多张乳房影像，而组成相对的三维立体影像更需要数百张的切片。当存在大量的乳房影像，特别是前述乳房影像分别由多种显像技术来取得时，不管是通过人眼或者是使用电脑辅助检测(computeraideddetection；cade)系统来逐一地对每张影像上是否存在肿瘤、肿块或钙化点进行检查，都是相当耗时且浪费人力资源或硬件资源。

技术实现要素：

本发明实施例提供乳房影像对位方法以及其影像处理装置，可以有效地降低对一系列乳房影像进行查验的时间并提升查验的效能。

本发明实施例提供一种乳房影像对位方法，包括下列步骤。取得以x光(x-ray)由不同的拍摄方向所拍摄的一组第一乳房影像，并且取得以超音波所扫描的第二乳房影像。在该组的第一乳房影像上，选取共同的第一关注区域(regionofinterest,roi)。计算第一关注区域在每一第一乳房影像的距离参数与方位参数。通过跨模态对位模型，基于前述距离参数与前述方位参数，判断第一关注区域在第二乳房影像中的位置。

本发明实施例另提供一种影像处理装置。影像处理装置包括存储单元与处理单元。存储单元储存以x光由不同的拍摄方向所拍摄的一组第一乳房影像、以超音波所扫描的第二乳房影像以及记录多个模块。处理单元耦接存储单元，且存取并执行存储单元所记录的模块。前述模块包括影像输入模块、第一选取模块、第一计算模块与第一判断模块。影像输入模块取得该组的第一乳房影像与第二乳房影像。第一选取模块在该组的第一乳房影像上，选取共同的第一关注区域。第一计算模块计算第一关注区域在每一第一乳房影像的距离参数与方位参数。第一判断模块通过跨模态对位模型，基于前述距离参数与前述方位参数，判断第一关注区域在第二乳房影像中的位置。

基于上述，本发明实施例所提供的乳房影像对位方法以及其影像处理装置，基于第一关注区域在第一乳房影像上的各项距离参数与方位参数，通过跨模态对位模型来判断第一关注区域在第二乳房影像中的位置。第一乳房影像与第二乳房影像例如是经由不同摄像技术所取得的乳房影像。换言之，前述乳房影像对位方法以及其影像处理装置，针对选定的关注区域，能自动地在其他相关的乳房影像上进行自动对位，藉以大幅度地降低对每张乳房影像进行查验所需花费的时间并提升查验效能。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1a为依据本发明一实施例所示出的影像处理装置的方块示意图。

图1b为依据本发明另一实施例所示出的影像处理装置的方块示意图。

图2为依据本发明一实施例所示出的乳房影像对位方法的流程图。

图3为依据本发明一实施例所示出的第一乳房影像的拍摄示意图。

图4为依据本发明一实施例所示出的距离参数与方位参数的拍摄示意图。

图5为依据本发明一实施例所示出的第一关注区域在第二乳房影像上的示意图。

图6为依据本发明另一实施例所示出的乳房影像对位方法的流程图。

图7为依据本发明一实施例所示出的第二关注区域在目标乳房影像上的对应位置的示意图。

附图标记说明

100：影像处理装置

120：处理单元

140：存储单元

142：影像输入模块

144：第一选取模块

146：第一计算模块

148：第一判断模块

150：第一训练模块

152：第二选取模块

154：第二计算模块

156：目标选取模块

158：目标计算模块

160：差异计算模块

162：第二判断模块

164：第二训练模块

r：第一关注区域

h：水平延伸线

r：中心点

s：邻近点

n：乳头特征

i：水平点

mdist：距离

mori：方位角度

pr：关注区域的对应位置

s110、s115、s120、s125、s130：乳房影像对位方法的步骤

s115、s135、s140、s145、s150、s155、s160、s165：乳房影像对位方法的步骤

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的装置与方法的范例。

在本发明的实施例中所提出的乳房影像对位方法与其影像处理装置，可以针对不同摄像技术所取得的乳房影像进行影像对位。具体而言，针对一组第一乳房影像上的第一关注区域，通过前述乳房影像对位方法与其影像处理装置，能对应地取得第一关注区域在第二乳房影像上的位置。在本发明的一实施例中，该组的第一乳房影像例如是以x光由不同的拍摄方向所拍摄的乳房影像，而第二乳房影像例如是以超音波所扫描的乳房影像。

更有甚者，在本发明的实施例中所提出的乳房影像对位方法与其影像处理装置，还可以针对同一摄像技术所取得的乳房影像进行影像对位。具体而言，针对第二乳房影像上的第二关注区域，通过前述乳房影像对位方法与其影像处理装置，能对应地取得第二关注区域在目标乳房影像上的对应位置。在本发明的一实施例中，第二乳房影像与目标乳房影像例如为超音波在相同的扫描时间但不同的扫描方向进行扫描而取得，或者是例如为超音波在不同的扫描时间但相同的扫描方向进行扫描而取得。

图1a为依据本发明一实施例所示出的影像处理装置的方块示意图。参照图1a，影像处理装置100至少包括处理单元120以及存储单元140，并且处理单元120耦接至存储单元140，但本发明不限于此。影像处理装置100可以是服务器、台式电脑、笔记本电脑、工作站、个人数字助理(personaldigitalassistant,pda)、平板个人电脑(personalcomputer,pc)、电脑辅助检测(cade)系统等电子装置，但不以此为限。影像处理装置100例如是连接乳房x光摄影机与自动乳房超声波系统(automatedbreastultrasoundsystem,abus)。

在本发明的一实施例中，处理单元120例如是以中央处理单元(centralprocessingunit,cpu)、数字信号处理(digitalsignalprocessing,dsp)芯片、场可程序化逻辑门阵列(fieldprogrammablegatearray,fpga)、微处理器、微控制器等可程序化单元来实施，但本发明不限于此。处理单元120也可以独立电子装置或集成电路(integratedcircuit,ic)来实施。

在本发明的一实施例中，存储单元140可以是任何型态的固定或可移动随机存取存储器(randomaccessmemory,ram)、只读存储器(read-onlymemory,rom)、闪存(flashmemory)或类似元件或上述元件的组合。在本实施例中，存储单元140储存以不同摄像技术取得的乳房影像，例如是以x光所拍摄的第一乳房影像、第一训练乳房影像以及以超音波所扫描的第二乳房影像、目标乳房影像、第二训练乳房影像。另一方面，存储单元140还储存各项参数与影像特征。

参照图1a所示的影像处理装置100，在本实施例中，存储单元140记录影像输入模块142、第一选取模块144、第一计算模块146、第一判断模块148与第一训练模块150等模块，而前述模块可运作以针对不同摄像技术所取得的乳房影像进行影像对位。前述模块的详细运作内容待稍后实施例详细说明。然而，存储单元140所记录的模块并不限于此。

图1b为依据本发明另一实施例所示出的影像处理装置的方块示意图。参照图1b所示的影像处理装置100，在本实施例中，存储单元140还记录第二选取模块152、第二计算模块154、目标选取模块156、目标计算模块158、差异计算模块160、第二判断模块162与第二训练模块164等模块，而前述模块可运作以针对同一摄像技术所取得的乳房影像进行影像对位。前述模块的详细运作内容待稍后实施例详细说明。

值得注意的是，前述实施例中所述的存储单元140并未限制是单一存储器元件，上述的各模块也可以分开储存在两个或两个以上相同或不同型态的存储器元件中。在本实施例中，前述模块以软件形式存放于存储单元140，并且由处理单元120存取并执行，但本发明不限于此。在本发明的其他实施例中，前述模块还例如是分别以特定的电路结构而实现。

为了方便理解本发明实施例的操作流程，以下将举诸多实施例详细说明本发明实施例中影像处理装置100对乳房影像进行影像对位的流程。图2为依据本发明一实施例所示出的乳房影像对位方法的流程图。参照图2，本实施例的方法适用于图1a与图1b中的影像处理装置100，下文中，将搭配影像处理装置100中的各项元件及模块说明本发明实施例所述的方法。

在本实施例中，影像输入模块142取得以x光由不同的拍摄方向所拍摄的一组第一乳房影像(步骤s110)，并且取得以超音波所扫描的第二乳房影像(步骤s115)。

在本发明的一实施例中，第一乳房影像例如是由乳房x光摄影机对应乳房部位而在不同的拍摄方向所拍摄的乳房影像，而第二乳房影像例如是由自动乳房超声波系统(abus)对应乳房部位所扫描的乳房影像。影像输入模块142例如是通过有线通讯或无线通讯而从乳房x光摄影机与自动乳房超声波系统(abus)取得第一乳房影像与第二乳房影像，或者影像输入模块142由存储单元140取得第一乳房影像与第二乳房影像。

具体而言，在本实施例中，一组第一乳房影像通常包括斜位向乳房影像以及头脚向乳房影像。图3为依据本发明一实施例所示出的第一乳房影像的拍摄示意图。参照图3，斜位向乳房影像以及头脚向乳房影像为乳房x光摄影机在不同拍摄方向(斜位向、头脚向)且相同或相近的拍摄时间所分别取得的乳房影像。

参照图2，在本实施例中，取得第一乳房影像后，第一选取模块144在该组的第一乳房影像上，选取共同的第一关注区域(步骤s120)。具体而言，第一选取模块144例如是基于电脑辅助检测(cade)系统对第一乳房影像的检测结果而选定第一关注区域，并且第一关注区域可能是乳房部位中疑似存在肿瘤、肿块或钙化点的区域或位置，但本发明不限于此。在另一实施例中，第一选取模块144还例如是基于使用者以输入界面在第一乳房影像上所指定的区位或位置而选定第一关注区域。值得注意的是，第一关注区域在斜位向乳房影像以及头脚向乳房影像上会因两者的拍摄方位而有呈现上的偏差。

参照图2，在本实施例中，选取第一关注区域后，第一计算模块146计算第一关注区域在每一张第一乳房影像的距离参数与方位参数(步骤s125)。详细而言，前述距离参数与方位参数是以第一乳房影像中的乳头特征、乳房皮肤作为参考基准而计算取得，并且可用于判断第一关注区域在乳房部位的位置。

图4为依据本发明一实施例所示出的距离参数与方位参数的拍摄示意图。具体而言，图4以一张第一乳房影像作为范例来说明各项距离参数与方位参数。参照图4，第一关注区域r与乳房皮肤在第一乳房影像上具有相距最近的一个邻近点s。另一方面，第一关注区域r在第一乳房影像上的水平延伸线h与乳房皮肤相交于一个水平点i。在本实施例中，距离参数包括第一关注区域r与邻近点s的距离rs、邻近点s与乳头特征n沿乳房皮肤的弧线距离sn以及水平点i与乳头特征n沿乳房皮肤的弧线距离in。相对来说，方位参数则为第一关注区域r在第一乳房影像相对于乳头特征n的方位角度。需要注意的是，计算前述距离参数以及方位参数时，例如是以第一关注区域r内的中心点r作为基准点来进行计算，但本发明不限于此。

对于一组第一乳房影像中的斜位向乳房影像以及头脚向乳房影像来说，第一计算模块146会分别计算距离参数以及方位参数。换言的，第一计算模块146会计算斜位向乳房影像的距离参数与方位参数mloori，而斜位向乳房影像的距离参数包括距离rsmlo、距离snmlo以及距离inmlo。另一方面，第一计算模块146会计算头脚向乳房影像的距离参数与方位参数ccori，而头脚向乳房影像的距离参数包括距离rscc、距离sncc以及距离incc。

参照图2，在本实施例中，取得距离参数与方位参数后，第一判断模块148通过跨模态对位模型，基于距离参数与方位参数，判断第一关注区域r在第二乳房影像中的位置(步骤s130)。详细而言，在本实施例中，第一判断模块148将一组第一乳房影像的距离参数与方位参数分别代入跨模态对位模型而取得第一关注区域r在第二乳房影像中的位置。

在本发明的一实施例中，跨模态对位模型包括距离预测模型以及方位预测模型。针对前述的第一乳房影像，第一判断模块148依据该组的第一乳房影像的距离参数，并且利用跨模态对位模型的距离预测模型，藉以计算第一关注区域r在第二乳房影像上相对于乳头特征n的距离mdist。详细而言，距离预测模型包括一组第一权重αmlo、βmlo、γmlo以及一组第二权重αcc、βcc、γcc，并且以距离预测模型计算距离mdist的方式如下。

mlodist＝αmlo×rsmlo+βmlo×snmlo+γmlo×inmlo…(1)

ccdist＝αcc×rscc|βcc×sncc|γcc×incc…(2)

另一方面，针对前述的第一乳房影像，第一判断模块148依据该组的第一乳房影像的方位参数，并且利用跨模态对位模型的方位预测模型，藉以计算第一关注区域r在第二乳房影像上相对于乳头特征n的方位角度。方位预测模型包括一组第三权重μmlo、νcc，并且以方位预测模型计算方位角度mori的方式如下。

mori＝μmlo×mloori+vcc×ccori…(4)

第一权重αmlo、βmlo、γmlo、第二权重αcc、βcc、γcc与第三权重μmlo、νcc的各个权重值是分别介于0与1的间，并且各组的权重值相加为1。通过距离mdist以及方位角度mori，影像处理装置100可以进一步示出第一关注区域r在第二乳房影像上相对于乳头特征n的位置。

图5为依据本发明一实施例所示出的第一关注区域在第二乳房影像上的示意图。参照图5，通过距离mdist以及方位角度mori，第一关注区域r在第二乳房影像上相对于乳头特征n的位置pr可以被取得。在图5中，第二乳房影像为冠状面的乳房影像。

然而，在本发明的一实施例中，在利用跨模态对位模型进行第一乳房影像与第二乳房影像间的影像对位前，第一训练模块150也通过多组第一训练乳房影像来训练跨模态对位模型内的距离预测模型与方位预测模型。以x光由不同的拍摄方向所拍摄的多组第一训练乳房影像存放于存储单元140内，并且由影像输入模块142所取得。

每一组的第一训练乳房影像分别包括斜位向训练乳房影像与头脚向训练乳房影像，并且每一组的第一训练乳房影像还分别对应一张对位训练影像。对位训练影像为以超音波所扫描的训练乳房影像。每一组第一训练乳房影像以及所对应的对位训练影像具有共同的关注区域，并且前述关注区域在第一训练乳房影像以及所对应的对位训练影像上的位置皆为已知。

在本实施例中，第一训练模块150以斜位向训练乳房影像，训练距离预测模型的第一权重αmlo、βmlo、γmlo，以头脚向训练乳房影像，训练距离预测模型的第二权重αcc、βcc、γcc，并且以斜位向训练乳房影像与头脚向训练乳房影像，训练方位预测模型的第三权重μmlo、νcc。详细而言，第一训练模块150例如是逻辑回归(logisticregression)、支持向量机器(supportvectormachine；svm)、类神经网络(neuralnetwork；nn)等方式训练跨模态对位模型，但本发明不限于此。

图2以及前述相关的实施例，主要是针对不同摄像技术所取得的乳房影像进行影像对位的影像对位方法，但本发明不限于此。图6为依据本发明另一实施例所示出的乳房影像对位方法的流程图。具体而言，图6示出了针对同一摄像技术所取得的乳房影像进行影像对位的影像对位方法。参照图6，本实施例的方法适用于图1b中的影像处理装置100，下文中，将搭配影像处理装置100中的各项元件及模块说明本发明实施例所述的方法。

在本实施例中，影像输入模块142取得以超音波所扫描的第二乳房影像(步骤s115)，并且取得以超音波所扫描的目标乳房影像(步骤s135)。具体而言，第二乳房影像与目标乳房影像为超音波在相同或相近的扫描时间但不同的扫描方向进行扫描而取得。一般而言，由自动乳房超声波系统(abus)对应乳房部位所扫描的乳房影像，依据扫描方向的不同而可以分别为冠状面、矢状面与横状面的乳房影像，但本发明不限于此。在其他实施例中，第二乳房影像与目标乳房影像为超音波在不同或不相近的扫描时间但相同的扫描方向进行扫描而取得。

参照图6，在本实施例中，取得第二乳房影像后，第二选取模块152在第二乳房影像上选取第二关注区域(步骤s140)。类似于选取第一关注区域，第二选取模块152例如是基于电脑辅助检测(cade)系统对第二乳房影像的检测结果或者是基于使用者以输入介面在第二乳房影像上所指定的区位或位置而选定第二关注区域。第二关注区域可能是乳房部位中疑似存在肿瘤、肿块或钙化点的区域或位置，但本发明不限于此。

参照图6，在本实施例中，在第二乳房影像选定第二关注区域后，第二计算模块154取得第二关注区域在第二乳房影像上的特征参数(步骤s145)。在本发明的一实施例中，第二关注区域在第二乳房影像的特征参数包括位置特征(locationfeature)、亮度特征(intensityfeature)、型态学特征(morphologyfeature)以及纹理特征(texturefeature)。

在本发明的一实施例中，位置特征(locationfeature)包括第二关注区域在第二乳房影像上相对于乳头特征的距离、第二关注区域在第二乳房影像上相对于乳头特征的方位角度、复数个第二关注区域在第二乳房影像上的距离等，但本发明不限于此。亮度特征(intensityfeature)包括第二关注区域内的亮度标准差、第二关注区域与邻近区域的亮度差异等，但本发明不限于此。型态学特征(morphologyfeature)包括第二关注区域的本征值向量、主要轴长、次要轴长等，但本发明不限于此。纹理特征(texturefeature)包括以不同灰度共生矩阵(gray-levelco-occurrencematrix；glcm)对第二关注区域进行计算而得到的平均及标准差、能量、熵、相关度等，但本发明不限于此。

参照图6，在本实施例中，取得前述的特征参数后，目标选取模块156基于第二关注区域在第二乳房影像上相对于乳头特征的位置信息，在目标乳房影像选定目标范围(步骤s150)。一般而言，由自动乳房超声波系统(abus)对应乳房部位所扫描的乳房影像都具有乳头特征。因此，在取得第二关注区域在第二乳房影像上的特征参数后，目标选取模块156可基于第二关注区域在第二乳房影像上相对于乳头特征的位置信息来于目标乳房影像选定目标范围，并且前述的目标范围内可能是第二关注区域在目标乳房影像上的对应位置。

参照图6，在本实施例中，目标计算模块158更取得目标范围在目标乳房影像上的目标特征参数(步骤s155)。目标特征参数的种类与形式类似于前述实施例提及的第二关注区域在第二乳房影像的特征参数，在此不再赘述。接着，差异计算模块160计算前述特征参数与目标特征参数的特征差值(步骤s160)。具体而言，差异计算模块160计算第二关注区域在第二乳房影像的特征参数与目标范围在目标乳房影像的目标特征参数间的特征差值。值得注意的是，差异计算模块160是计算相同形式的特征参数与目标特征参数的间的特征差值。换言的，基于特征参数与目标特征参数在形式上的数量，特征差值的数量也会有所变化。

参照图6，在本实施例中，取得特征差值后，第二判断模块162通过同模态对位模型，基于前述特征差值，判断目标范围是否为第二关注区域在目标乳房影像上的对应位置(步骤s165)。具体而言，同模态对位模型是基于第二关注区域与目标范围在各项特征参数与目标特征参数间的特征差值来判断目标范围是否为第二关注区域在目标乳房影像上的对应位置。因此，在使用同模态对位模型进行判断前，第二训练模块164也通过多张的第二训练乳房影像来训练同模态对位模型。

以超音波所扫描的多张第二训练乳房影像例如是存放于存储单元140，并且由影像输入模块142所取得。对于多张第二训练乳房影像，第二训练模块164以第二训练乳房影像中的多个匹配影像对，计算多组匹配特征差值，然而再以该些匹配特征差值，训练同模态对位模型。在本发明的一实施例中，匹配影像对为已知且对位成功的多张训练乳房影像，或者是训练乳房影像上已知且对位成功的关注区域。需要注意的是，匹配影像对内部的多张训练乳房影像为超音波在相同或相近的扫描时间但不同的扫描方向进行扫描而取得的训练乳房影像，或者是超音波在相同的扫描方向但不同或不相近的扫描时间进行扫描而取得的训练乳房影像。

基于前述匹配特征值，第二训练模块164例如是逻辑回归(logisticregression)、支持向量机器(supportvectormachine；svm)、类神经网路(neuralnetwork；nn)等方式训练同模态对位模型，但本发明不限于此。

第二判断模块164对同模态对位模型输入所取得的特征差值后，即可依据同模态对位模型的输出结果判断目标范围是否为第二关注区域在目标乳房影像上的对应位置。

需要注意的是，当第二乳房影像与目标乳房影像为超音波在相同或相近的扫描时间但不同的扫描方向进行扫描而取得时，若目标范围为第二关注区域在目标乳房影像上的对应位置，则代表目标范围与第二关注区域为重复扫描的部分。相对而言，当第二乳房影像与目标乳房影像为超音波在不同或不相近的扫描时间但相同的扫描方向进行扫描而取得时，若目标范围经由同模态对位模型判断为第二关注区域在目标乳房影像上的对应位置，可代表乳房部位的该区域并无显著变化。

图7为依据本发明一实施例所示出的第二关注区域在目标乳房影像上的对应位置的示意图。通过图6所示的乳房影像对位方法，对于在不同扫描方向上取得的乳房影像，例如是冠状面的乳房影像、横状面的乳房影像、矢状面的乳房影像，皆可取得第二关注区域的对应位置pr。值得注意的是，图2与图6所分别示出的乳房影像对位方法可以合并使用，藉以分别在不同摄像技术取得的多张乳房影像以及相同摄像技术取得的多张乳房影像中，同时或连续地进行影像对位。此时，第一关注区域与第二关注区域可能是相同的关注区域。

综上所述，本发明实施例所提供的乳房影像对位方法以及其影像处理装置，基于第一关注区域在第一乳房影像上的各项距离参数与方位参数，通过跨模态对位模型来判断第一关注区域在第二乳房影像中的位置。第一乳房影像与第二乳房影像例如是经由不同摄像技术所取得的乳房影像。另一方面，本发明实施例还提供乳房影像对位方法与其影像处理装置，用以在相同摄像技术所取得的乳房影像上进行影像对位。换言的，前述乳房影像对位方法以及其影像处理装置，针对选定的关注区域，能自动地在其他相关的乳房影像上进行自动对位，藉以大幅度地降低对每张乳房影像进行查验所需花费的时间并提升查验效能。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。