信息处理装置、信息处理方法、计算机程序与流程

【技术领域】

本发明涉及能够计算乳房摄影图像中的乳腺密度的信息处理装置、信息处理方法、计算机程序。

背景技术：

乳腺癌检查基本上是通过乳房摄影进行钙化或肿瘤等的判定。然而，在乳房内的乳腺密度高的情况下，有无法精确地判断钙化物等的情况(多为日本人或年轻人层)。在这种情况下，通过同时也进行难以受到乳腺影响的超声波检查，虽然费用较高，但能够提高检查的精度。于是若放射科医生从乳房摄影图像判断出检查对象的乳腺密度高，则会引导其进行超声波诊断。此时，由于对“乳腺密度高”的判断没有明确基准，根据各放射科医生而不同，因此成为问题。

在专利文献1中，如段落59～62等所示，乳腺比率通过将乳腺区域的面积除以乳房区域的面积来计算，基于乳腺比率进行乳腺密度的判断。在乳房图像中乳房部位的整体是乳房区域，在乳房区域中像素值等于或大于阈值的区域是乳腺区域。

【现有技术文献】

【专利文献】

【专利文献1】日本专利特开2016－158963号

【非专利文献】

【非专利文献1】fullyconvolutionalnetworksforsemanticsegmentation,ieeetransactionsonpatternanalysisandmachineintelligence(volume:39,issue:4,april12017)

技术实现要素：

【发明要解决的问题】

在专利文献1中，基于如上计算的乳腺比率进行乳腺密度判断，但这样的判断方法在狭窄范围存在高密度乳腺区域的情况下，计算出的乳腺比率低而容易判断为不需要进行超声波检查。然而，即使在乳腺区域范围窄的情况下，当乳腺区域为高密度时，乳房摄影无法精确地判断钙化物等，有需要进行超声波检查的情况，因此希望能够以更合适的标准来判断是否需要进行超声波检查。

本发明是鉴于这样的情况而完成的，提供一种信息处理装置，其即使在狭窄区域存在高密度的乳腺区域的情况下，也能够提供是否需要超声波检查的正确的判断信息。

【解决问题的手段】

根据本发明，提供一种信息处理装置，具备乳腺区域提取部、乳腺像素检测部、乳腺密度计算部，其特征在于，上述乳腺区域提取部提取乳房摄影图像中的乳腺区域，上述乳腺像素检测部检测上述乳腺区域中的乳腺像素，上述乳腺密度计算部基于上述乳腺像素与上述乳腺区域的比率计算乳腺密度，上述乳腺区域是包括在上述乳房摄影图像的窄于乳房整体的区域。

在本发明中，将窄于包括在乳房摄影图像中的乳房整体的区域作为乳腺区域，基于包括在该乳腺区域的乳腺像素的比率计算乳腺密度。另外，在狭窄的区域存在高密度的乳腺区域时，该乳腺密度会成为高值。从而，根据本发明，即使在狭窄区域存在高密度的乳腺区域的情况下，也能够提供是否需要超声波检查的正确的判断信息。

以下例示本发明的各种实施方式。以下示出的实施方式可以互相组合。

优选，在上述记载的信息处理装置中，上述乳腺区域提取部具备乳腺区域概率计算部、后处理部，上述乳腺区域概率计算部计算上述乳房摄影图像中是上述乳腺区域的概率，上述后处理部基于上述概率提取上述乳腺区域。

优选，在上述记载的信息处理装置中，上述后处理部具备候选像素提取部、区域形成部，上述候选像素提取部将上述概率为等于或大于第1阈值的像素作为候选像素提取而生成候选像素图，上述区域形成部对上述候选像素图进行缺陷区域填补而形成上述乳腺区域。

优选，在上述记载的信息处理装置中，上述乳腺区域概率计算部基于输入上述乳房摄影图像而输出上述概率的学习模型计算上述概率。

优选，在上述记载的信息处理装置中，上述乳腺区域概率计算部基于输入上述乳房摄影图像及第1附加数据而输出上述概率的学习模型计算上述概率，第1附加数据是与上述乳房摄影图像中的乳头的位置相关的数据。

优选，在上述记载的信息处理装置中，第1附加数据是基于上述乳房摄影图像中的乳头像素的位置校正上述乳房摄影图像中的人体像素的像素值的图像数据。

优选，在上述记载的信息处理装置中，第1附加数据是，以根据上述乳头像素与上述人体像素的直线距离使上述乳房摄影图像中的上述人体像素的像素值变化的方式，校正上述乳房摄影图像中的上述人体像素的像素值的图像数据。

优选，在上述记载的信息处理装置中，第1附加数据是，以随着上述乳头像素与上述人体像素的直线距离变短使上述人体像素的像素值增大的方式，校正上述乳房摄影图像中的上述人体像素的像素值。

优选，在上述记载的信息处理装置中，第1附加数据具有第1图像数据、第2图像数据，第1图像数据是，以上述乳房摄影图像中的上述人体像素的像素值沿着上述乳房摄影图像的第1方向变化的方式，校正上述乳房摄影图像中的上述人体像素的像素值的图像数据，第2图像数据是，以上述乳房摄影图像中的上述人体像素的像素值沿着上述乳房摄影图像的第2方向变化的方式，校正上述乳房摄影图像中的上述人体像素的像素值的图像数据，第1方向与第2方向交差。

优选，在上述记载的信息处理装置中，第1图像数据是，以随着上述乳头像素与上述人体像素的第1方向的距离变短使上述人体像素的像素值增大的方式，校正上述乳房摄影图像中的上述人体像素的像素值的图像数据，第2图像数据是，以随着从第2方向上的上侧靠近第2方向上的下侧使上述人体像素的像素值增大的方式，校正上述乳房摄影图像中的上述人体像素的像素值的图像数据。

优选，在上述记载的信息处理装置中，上述乳腺区域概率计算部基于输入上述乳房摄影图像及第2附加数据而输出上述概率的学习模型计算上述概率，第2附加数据是表示上述乳房摄影图像的代表亮度值或上述乳房摄影图像的亮度值分布的数据。

优选，在上述记载的信息处理装置中，第2附加数据是基于上述代表亮度值或上述分布，校正上述乳房摄影图像中的人体像素的亮度值的图像数据。

优选，在上述记载的信息处理装置中，在上述信息处理装置外预先学习上述学习模型。

优选，在上述记载的信息处理装置中，上述学习模型构成为能够在上述信息处理装置内进行学习。

优选，在上述记载的信息处理装置中，上述乳腺区域概率计算部不消除包括在上述乳房摄影图像的胸大肌区域而计算上述概率。

优选，在上述记载的信息处理装置中，上述乳腺像素检测部基于上述概率检测上述乳腺区域中的上述乳腺像素。

优选，在上述记载的信息处理装置中，上述乳腺像素检测部将上述概率为等于或大于第2阈值的像素作为上述乳腺像素检测，与第1阈值相比，第2阈值是为上述乳腺区域的概率更高的值。

优选，在上述记载的信息处理装置中，上述乳腺像素检测部基于上述乳腺区域的亮度值检测上述乳腺像素。

根据本发明的别的观点，提供一种信息处理方法，具备乳腺区域提取步骤、乳腺像素检测步骤、乳腺密度计算步骤，其特征在于，在上述乳腺区域提取步骤中，提取乳房摄影图像中的乳腺区域，在上述乳腺像素检测步骤中，检测上述乳腺区域中的乳腺像素，在上述乳腺密度计算步骤中，计算上述乳腺像素与上述乳腺区域的比率，上述乳腺区域是包括在上述乳房摄影图像中的窄于乳房整体的区域。

根据本发明的另外一个观点，一种计算机程序，使计算机执行具备乳腺区域提取步骤、乳腺像素检测步骤、乳腺密度计算步骤的信息处理方法，其特征在于，在上述乳腺区域提取步骤中，提取乳房摄影图像中的乳腺区域，在上述乳腺像素检测步骤中，检测上述乳腺区域中的乳腺像素，在上述乳腺密度计算步骤中，计算上述乳腺像素与上述乳腺区域的比率，上述乳腺区域是包括在上述乳房摄影图像中的窄于乳房整体的区域。

【附图说明】

图1是显示本发明的第1实施方式的信息处理装置1的构成的框图。

图2是表示图1中的乳腺区域提取部3的具体构成的框图。

图3是表示乳房摄影图像的例子的示意图。

图4是表示图2中的乳腺区域概率计算部7的具体构成的框图。

图5是表示候选像素图的例子的示意图。

图6是表示乳腺区域图的例子的示意图。

图7是表示乳腺像素图的例子的示意图。

图8是本发明的第2实施方式的信息处理装置1的构成的框图。

图9是表示图8中的乳腺区域提取部3的具体构成的框图。

图10是表示本发明的第3实施方式的乳腺区域提取部3的构成的框图。

图11中，图11a是表示图10中的预处理部6的具体构成的框图。图11b是表示图10中的附加数据生成部30的具体构成的框图。

图12是输入于本发明的第3实施方式的信息处理装置1的乳房摄影图像的示意图。

图13是将图12所示的乳房摄影图像中的像素分为人体区域rg1和非人体区域rg2表示的示意图。

图14是表示包括在第1附加数据的第1图像数据的例子的示意图。

图15是表示包括在第1附加数据的第2图像数据的例子的示意图。

图16是表示第2附加数据的例子的示意图。

图17是生成图像数据drg1的流程图。

图18中，图18a是乳房摄影图像的一个例子。图18b是表示图18a所示的乳房摄影图像中的乳腺的位置的答案数据的一个例子。图18c示意性地表示未进行基于第1附加数据的学习的情况下的候选像素图。图18d示意性地表示如第3实施方式的说明，进行基于第1附加数据的学习的情况下的候选像素图。

图19是表示变形例的第1附加数据的例子的示意图。

图20是表示变形例的信息处理装置1的构成的框图。

图21中，图21a是示意性地表示第3实施方式的坐标系的说明图。图21b是示意性地表示变形例的坐标系的说明图。

【具体实施方式】

以下利用附图说明本发明的实施方式。在以下示出的实施方式中例示的各种特征事项可以互相组合。并且，各特征事项独立地使发明成立。

1.第1实施方式

利用图1～图7说明本发明的第1实施方式的信息处理装置1。如图1所示，本实施方式的信息处理装置1具备乳腺区域提取部3、乳腺像素检测部4、乳腺密度计算部5。

上述各个构成要素可通过软件实现，也可以通过硬件实现。通过软件实现的情况下，可通过cpu执行计算机程序实现各种功能。程序可以储存在内置的保存部，也可以储存在计算机可读的非暂时性的记录介质。并且，也可以读出储存在外部保存部的程序，通过所谓云计算来实现。通过硬件实现的情况下，可由asic、fpga或drp等各种电路实现。在本实施方式中，涉及各种信息或包含该信息的概念，但是这些作为由0或1构成的2进制数的位集合体显示信号值的高低，可通过上述的软件或硬件的方式执行通信或运算。

1－1.乳腺区域提取部3

乳腺区域提取部3提取如图3所示的乳房摄影图像中的乳腺区域r。乳房摄影图像是由大量的像素构成的数字化图像。各个像素具有亮度值。乳房摄影图像中通常包括胸大肌区域g、乳房区域b。胸大肌区域g是相当于胸大肌的区域，乳房区域b是相当于乳房整体的区域。乳房区域b中包括乳腺区域r。乳腺区域r是比乳房区域b窄的区域。乳腺区域r中包括乳腺像素和脂肪像素。乳腺像素是相当于乳腺的像素，脂肪像素是相当于脂肪的像素，是在乳腺区域r内的乳腺像素以外的像素。乳腺区域r是大致包围乳腺像素的区域。

在图3中，为了便于图示，以实线包围的方式表示乳腺区域r，但实际的乳房摄影图像中不存在包围乳腺区域r的实线，只是以高亮度显示相当于乳腺的部位。相当于乳腺的部位像云那样边界不明显地分布，难以唯一地确定其边界，因此在本实施方式中，基于是乳腺区域r的概率p提取乳腺区域r。应予说明，在实际的乳房摄影图像中也不存在显示胸大肌区域g、乳房区域b的实线。

如图2所示，乳腺区域提取部3具备预处理部6、乳腺区域概率计算部7、后处理部8。以下具体说明各个构成。

＜预处理部6＞

预处理部6对乳房摄影图像进行各种预处理。预处理是为了使乳房摄影图像成为适于利用乳腺区域概率计算部7的处理的状态而进行的处理。完成预处理的图像也称为乳房摄影图像。

预处理部6具备尺寸调和部、窗口等级调节部、噪声消除部。不需要时可以省略预处理部6的一部分或全部。

·尺寸调和部

尺寸调和部进行乳房摄影图像的尺寸调和。乳房摄影图像因摄影器材或设定而其分辨率不同。这表示每1像素的真实尺寸(mm)根据输入图像的不同而不同。为了消除由于每1像素的尺寸不同导致的检测精度的波动，尺寸调和部调和尺寸使每1像素例如为0.2mm。

·窗口等级调节部

窗口等级调节部进行乳房摄影图像的窗口等级的调节。窗口等级调节是指，提高对比度的处理，该对比度是具有广范围的灰度值的图像的某个特定的灰度范围的对比度。通过进行窗口等级调节，从而能够提高乳房摄影图像的可视性。由此能够提高乳腺区域r的提取精度。

·噪声消除部

噪声消除部进行乳房摄影图像的噪声消除。在乳房摄影图像中有存在使乳腺区域r的提取精度下降的因素的情况，将其作为噪声消除。作为噪声，可列举人工标签或胸大肌区域g。人工标签是人为附加的标签，可通过遮掩处理来消除。胸大肌区域g可通过周知的区域扩展法消除。但在本实施方式中，即使在包括胸大肌区域g的状态下，也能够提取乳腺区域r，因此也可以不将胸大肌区域g作为噪声处理。

可以适当改变进行尺寸调和、窗口等级调节、噪声消除的顺序。

＜乳腺区域概率计算部7＞

乳腺区域概率计算部7计算乳房摄影图像中的是乳腺区域r的概率p。

通常在乳房摄影图像中，胸大肌区域g和乳腺区域r(尤其是乳腺像素)的亮度值高于其他区域(换种说法，x线的透过率低于其他区域)。胸大肌区域g和乳腺区域r的亮度值的程度相同，难以通过亮度值区分胸大肌区域g和乳腺区域r。于是，在本实施方式中，计算表示乳房摄影图像中包含的各个像素是否为乳腺区域r的概率p，基于概率p提取乳腺区域r。概率p在胸大肌区域g变低，在乳腺区域r变高，因此基于概率p提取乳腺区域r，从而能够提高乳腺区域r的特定的精度。并且，无须消除乳房摄影图像中包含的胸大肌区域而能够计算概率p。概率p例如以0～1范围的值显示，值越大，是乳腺区域的概率越大。

可基于输入乳房摄影图像而输出概率p的学习模型来计算概率p。

学习模型是指，利用大量的示教数据(已知的输入数据和答案数据的组)训练模型，是能够预测将来的输出的模型。在本实施方式中，示教数据的输入数据是乳房摄影图像，答案数据是使医生判断为是乳腺区域的区域内的像素值为1，其以外的像素值为0的数据。

在本实施方式中，学习模型(机械学习模型)是作为卷积神经网络中的一种的全卷积网络fcn(fullyconvolutionalnetwork)。fcn具体揭示在非专利文献1中。

构成乳腺区域概率计算部7的fcn的一个例子，如图4所示，具备第1卷积部、第1池化部、第2卷积部、第2池化部、第3卷积部、第3池化部、分数池部、上采样部、概率计算部。fcn的构成可以适当改变。

第1～第3卷积部分别由2层、2层、3层的神经网络构成。第1～第3卷积部的各层的神经元个数为64，128，256。在第1～第3卷积部中，利用3×3像素的滤波器进行卷积处理。

在第1～第3池化部中，进行取出2×2像素中的最大值的池化(pooling)处理。

分数池部由神经元个数为2的神经网络构成，利用1×1像素的滤波器进行卷积处理。

上采样部进行使由池化处理减少的像素数回到乳房摄影图像的像素数的处理。上采样部由神经元个数为2的神经网络构成。上采样部通过利用16×16像素的滤波器对在相邻的像素之间适当插入值为0的像素进行卷积处理等处理，从而进行将由池化处理减少的像素数恢复至乳房摄影图像的像素数的处理。

概率计算部通过softmax函数计算各像素的概率p，输出概率图。概率图具有与乳房摄影图像的像素对应的像素。概率图的各像素具有概率p。

学习可通过反复以下(1)～(2)来进行。

(1)对输入示教数据的输入数据得到的概率p，以阈值th为基准将概率p二值化，从而得到输出数据。阈值th例如为0.5。

(2)基于输出数据和答案数据计算误差，使该误差反向传播(backpropagation)，从而改变滤波器的权重系数。

上述学习可在信息处理装置1之外提前进行。此时，信息处理装置1可利用通过在外部的学习得到的权重系数计算乳腺区域概率。权重系数可以储存在信息处理装置1的保存部，也可以使信息处理装置1读出储存在外部保存部的权重系数而利用。并且，也可以构成为在信息处理装置1内进行学习。

＜后处理部8＞

后处理部8基于概率p提取乳腺区域r。后处理部8具备候选像素提取部9、区域形成部10。

·候选像素提取部9

候选像素提取部9将概率p超过第1阈值的像素作为候选像素提取而生成候选像素图进行输出。第1阈值可以与学习段階的阈值th相同也可以不同。第1阈值可以为固定的值，也可以为用户能够适当改变的值。候选像素图具有与概率图的像素对应的像素。在候选像素图中，概率p等于或大于第1阈值的像素值例如为1，概率p小于第1阈值的像素值例如为0。

将候选像素图的一个例子示于图5。利用黑点表示候选像素。利用点线表示胸大肌区域g、乳腺区域r、乳房区域b的边界作为参考。在候选像素图中，在与乳腺区域r对应的区域提取大量的候选像素，在与胸大肌区域g对应的区域也提取少量的候选像素。在与乳腺区域r对应的区域集中有大量的候选像素，但在候选像素之间存在缺陷区域(图5的乳腺区域r内的白区域)。从而，这个状态不能说是一个整块的乳腺区域r。

·区域形成部10

区域形成部10对候选像素图进行噪声消除以及缺陷区域填补而形成乳腺区域r。

具体而言，通过遮掩处理等将与胸大肌区域g对应的区域的候选像素作为噪声消除。并且，对与乳腺区域r对应的区域进行缺陷区域填补来形成乳腺区域r。缺陷区域填补例如可通过填补列和行各自的起点和终点之间而进行。由此，可得到图6所示的乳腺区域图。由于乳腺区域r形成于候选像素集中的区域，因此在缺陷区域填补工序中，优选作为噪声忽略远离候选像素集中区域的候选像素。例如，即使检测列或行的起点，在其之后连续有等于或大于规定数的非候选像素的情况下，也可以抛弃检测的起点而搜索新的起点。

应予说明，通过充分地学习学习模型以在与胸大肌区域g对应的区域不生成候选像素，从而能够省略噪声消除工序。并且，在从乳房摄影图像预先消除胸大肌区域g的情况下，也能够省略噪声消除工序。另外，在缺陷区域填补工序中，通过忽略远离候选像素集中的区域的候选像素，从而能够消除存在于胸大肌区域g或胸大肌区域g外且候选像素集中的区域以外的候选像素。由此，无须另外进行噪声消除工序，在缺陷区域填补工序中也能够形成乳腺区域r。

1－2.乳腺像素检测部4

乳腺像素检测部4检测乳腺区域r中的乳腺像素。乳腺像素检测部4基于概率p检测乳腺区域r中的乳腺像素。乳腺像素是概率p等于或大于第2阈值的像素。相比于第1阈值，第2阈值为是乳腺区域r的概率更高的值。应予说明，乳腺像素检测部4也可以在由乳腺区域提取部3提取的乳腺区域图内检测乳腺像素。

更具体而言，乳腺像素检测部4将概率p超过第2阈值的像素作为乳腺像素提取而生成乳腺像素图而输出。乳腺像素图具有与概率图的像素对应的像素。在乳腺像素图中，概率p为等于或大于第2阈值的像素值例如为1，小于第2阈值的像素值例如为0。

将乳腺像素图的一个例子示于图7。利用黑点表示乳腺像素。利用虚线表示乳腺区域r的边界作为参考。应予说明，也可以基于由乳腺区域提取部3提取的乳腺区域r，在乳腺像素图中包括乳腺区域r的信息。如图7所示，乳腺像素集中存在于乳腺区域r内。乳腺像素的个数少于候选像素的个数。应予说明，乳腺像素也可以存在于乳腺区域r外。在计算乳腺密度时，可以包括或者不包括乳腺区域r外的乳腺像素。在不包括乳腺区域r外的乳腺像素的情况下，在计算乳腺密度时，只对乳腺区域图内的乳腺像素进行计算。

1－3.乳腺密度计算部5

乳腺密度计算部5基于乳腺像素与乳腺区域r的比率计算乳腺密度。更具体而言，乳腺密度计算部5基于乳腺区域图对包括在乳腺区域的所有像素数(乳腺区域总像素数)进行计数，基于乳腺像素图对乳腺像素数进行计数，并基于以下的算式计算乳腺密度。

乳腺密度(％)＝100×(乳腺像素数)/(乳腺区域总像素数)

由此计算出的乳腺密度在狭窄区域存在高密度的乳腺区域的情况下会成为高值。从而根据本实施方式，即使在狭窄区域存在高密度的乳腺区域的情况下，也能够提供正确判断是否需要超声波检查的信息。

计算出的乳腺密度能够用于显示在信息处理装置1的显示部，或者由信息处理装置1向外部机器输出。

2.第2实施方式

利用图8～图9说明本发明的第2实施方式的信息处理装置1。本实施方式的信息处理装置1与第1实施方式类似，主要的不同点在于乳腺像素检测部4的构成。以下以不同点为中心进行说明。

在本实施方式中，乳腺像素检测部4基于乳腺区域r的亮度值检测乳腺像素。乳腺像素检测部4具备乳腺区域图像提取部11、亮度判断部12。

乳腺区域图像提取部11基于乳房摄影图像和乳腺区域图提取乳腺区域图像。乳腺区域图像只是乳腺区域r的图像。

亮度判断部12基于乳腺区域图像中包括的各像素的亮度值是否为等于或大于第3阈值来检测乳腺像素而输出乳腺像素图。第3阈值可以设定为固定值，也可以使用其他各种周知方法。作为适于本次目的的，有假设直方图的双峰性的模态法或自动决定阈值的判别分析法、局部改变阈值的自适应阈值处理等。

乳腺区域提取部3对乳腺像素检测部4输出乳腺区域图，除此之外与第1实施方式相同。

3.第3实施方式

利用图10～图17说明本发明的第3实施方式的信息处理装置1。第1实施方式的信息处理装置1基于乳房摄影图像的数据取得概率图，但第3实施方式的信息处理装置1除乳房摄影图像之外，基于后述的第1及第2附加数据取得概率图。第3实施方式的信息处理装置1除实施方式1的信息处理装置的构成之外，具备生成第1及第2附加数据的附加数据生成部30。以下，以第1实施方式与第3实施方式的不同点为中心进行说明。

应予说明，在第3实施方式中，人体区域rg1是乳房摄影图像d0中的与人体对应的区域。并且，人体像素是人体区域rg1的像素。非人体区域rg2是乳房摄影图像d0中的与人体以外的部分对应的区域。并且，乳头区域rgn是乳房摄影图像d0中的与人体的乳头对应的区域，乳头区域rgn包括在人体区域rg1。乳头像素是乳头区域rgn的像素。

3－1.数据説明

信息处理装置1基于乳房摄影图像的数据(以下也称为乳房摄影图像d0)、第1附加数据d1、第2附加数据d2取得概率图。信息处理装置1利用第1附加数据d1及第2附加数据d2，从而信息处理装置1能够取得更高精度的概率图。

＜第1附加数据d1＞

由于人体在乳头的附近乳腺多，乳头附近部分为乳腺的概率高。因此，在第3实施方式中，利用考量自乳头的距离的数据，使乳腺区域提取部3学习，使乳腺区域提取部3的输出(概率图)更高精度化。在第3实施方式中，考量了自乳头的距离的数据是图像数据。并且，在第3实施方式中，该图像数据是乳房摄影图像中的人体像素的亮度值被校正的图像数据。乳房摄影图像d0的偏左端的上部配置有胸大肌区域g，因此乳房摄影图像d0的左端侧的上部为乳腺的概率低。因此在第3实施方式中，利用考量了自胸大肌区域g的距离的图像数据(第1附加数据d1)，使乳腺区域提取部3学习，使乳腺区域提取部3的输出(概率图)更高精度化。

应予说明，若乳腺区域提取部3的输出(概率图)变得更高精度，候选像素图(参照图5)的精度、乳腺区域图(参照图6)的精度以及乳腺像素图(参照图7)的精度也会提高。结果，乳腺密度计算部5能够计算更高精度的乳腺密度。于是，乳腺区域提取部3利用考量了自乳头的距离及自胸大肌区域g的距离的第1附加数据d1执行处理。

如图12，图14及图15所示，第1附加数据d1是基于乳房摄影图像d0生成的图像数据。第1附加数据d1具有第1图像数据d11和第2图像数据d12。第1图像数据d11及第2图像数据d12是考量了乳房摄影图像d0中的各像素与乳头区域的距离、以及乳房摄影图像d0中的各像素与胸大肌区域的距离的数据。

·第1图像数据d11

如图12及图14所示，第1图像数据d11是，基于乳房摄影图像d0中的乳头区域rgn的像素(乳头像素)的位置(坐标)，校正乳房摄影图像d0中的各人体像素的亮度值的图像数据。在第3实施方式中，第1图像数据的各人体像素的亮度值是基于乳房摄影图像d0中的乳头区域rgn的位置(坐标)与人体区域rg1中的各人体像素的第1方向距离的。即，第1图像数据d11是，以根据乳头区域rgn与各人体像素的第1方向距离使乳房摄影图像d0中的人体像素的亮度值变化的方式，校正乳房摄影图像d0中的各人体像素的亮度值的图像数据。在第3实施方式中，第1方向是水平方向。

在第3实施方式中，第1图像数据d11是，以随着该第1方向距离变短各人体像素的亮度值增大的方式，校正乳房摄影图像d0中的各人体像素的亮度值的。即，由于第1图像数据d11的乳头区域rgn的该第1方向距离最小，该乳头区域rgn的亮度值最大。并且，由于第1图像数据d11的左端部分的第1方向距离最大，该左端部分的人体像素的亮度值最小。另外，随着从第1图像数据d11的乳头区域rgn侧靠近第1图像数据d11的左端部分侧，人体像素的亮度值单调递减。人体像素的亮度值与该第1方向距离成比例的减少，也可以不成比例。并且，在第3实施方式中，第1图像数据d11的乳头区域rgn的灰度值为1，第1图像数据d11的左端部分的人体像素的灰度值为0。应予说明，第3实施方式中灰度值被标准化，灰度值的最大值为1，最小值为0。亮度值的最大值及最小值不限定于这些值。

在第3实施方式中，随着从第1图像数据d11的乳头区域rgn侧靠近第1图像数据d11的左端部分侧人体像素的亮度值的单调递减，但不限于此。随着从第1图像数据d11的乳头区域rgn侧靠近第1图像数据d11的左端部分侧，人体像素的亮度值也可以转为增加。即，若乳腺配置于乳头附近的这种趋势反映在第1图像数据d11，则第1图像数据d11的亮度值无须如上说明的那样单调递减。

·第2图像数据d12

如图12及图15所示，第2图像数据d12是，以乳房摄影图像d0中的人体像素的亮度值沿着乳房摄影图像d0的上下方向变化的方式，校正乳房摄影图像d0中的各人体像素的亮度值的图像数据。在第3实施方式中，第2图像数据的各人体像素的亮度值是基于乳房摄影图像d0中的左端的上端(左上角)的位置(坐标)与人体区域rg1中的各人体像素的第2方向距离的。即，第2图像数据d12是，以乳房摄影图像d0中的人体像素的亮度值根据乳房摄影图像d0中的左端的上端(左上角)与各人体像素的第2方向距离变化的方式，校正乳房摄影图像d0中的各人体像素的亮度值的图像数据。第2方向是与第1方向交差的方向。在第3实施方式中第2方向是垂直方向。因此，在第3实施方式中，第1方向与第2方向正交。应予说明，第1方向与第2方向也可以不正交。

第3实施方式中，第2图像数据d12是，以随着该第2方向距离变长各人体像素的亮度值增大的方式，校正乳房摄影图像d0中的各人体像素的亮度值的。即，由于第2图像数据d12的左端的上端(左上的角)的第2方向距离最小，该左端的上端的亮度值最小。并且，由于第2图像数据d12的左端的下端(左下角)的第2方向距离最大，因此该左端的下端的人体像素的亮度值最大。另外，随着从第2图像数据d12的左端的上端侧靠近左端的下端侧，人体像素的亮度值单调递增。人体像素的亮度值可以与该第2方向距离成比例地减少，也可以不成比例。并且，在第3实施方式中，第2图像数据d12的左端的上端的人体像素的灰度值为0，第2图像数据d12的左端的下端的人体像素的灰度值为1。亮度值的最大值及最小值不限定于这些值。

第2图像数据d12的人体像素中亮度值为中值的像素的位置(坐标)与乳头区域rgn的像素(乳头像素)的位置(坐标)一致。这里所说的中值是将亮度值由高到低按照顺序排列时，其顺序的正中间的亮度值。在第3实施方式中，第2图像数据d12的人体像素的亮度值的最大值为1，最小值为0。因此，第2图像数据d12的人体像素中亮度值为中值的像素的亮度值是0.5。由此，在第3实施方式中，第2图像数据d12是，以使乳头区域rgn的下侧的各人体像素的亮度值大于乳头区域rgn的上侧的各人体像素的亮度值的方式，校正乳房摄影图像d0中的各人体像素的亮度值图像数据。在第3实施方式中，乳头区域rgn的坐标位于纵向上的中间坐标，因此纵向的最上部的亮度值为0，纵向的最下部的亮度值为1，但不限于此。例如，在乳头区域n的坐标位于纵向上的中间坐标的下方的情况下，纵向的最上部的坐标的灰度值被设定为0，乳头区域n的灰度值被设定为0.5。由此，1以下的灰度值适当地被分配于纵向最下部的坐标的灰度值。反之，在乳头区域n的坐标位于乳房摄影图像d0中的纵向中央坐标的上方的情况下，纵向最下部的坐标的灰度值被设定为1，乳头区域n的灰度值被设定为0.5。

利用图18a～图18d说明第1附加数据d1的效果。图18a示意性地表示乳房摄影图像d0。图18b示意性地表示与图18a所示的乳房摄影图像对应的答案数据。图18b的区域cr表示例如由医生判断为是乳腺的像素。

在乳腺区域提取部3不利用第1附加数据而进行学习的情况下，有乳腺区域提取部3如图18c所示的那样生成候选像素图的情况。在图18c中，白点的部分表示概率p超过第1阈值的像素(候选像素)。在乳腺区域提取部3不利用第1附加数据而进行学习的情况下，如图18c所示，不只是与图18b的区域cr对应的区域，在胸大肌区域也会生成大量的候选像素。在胸大肌区域也生成有大量的候选像素表示候选像素图的精度低。候选像素图的精度低意味着概率图的精度也低。另外，若候选像素图的精度低，则会导致乳腺区域图的精度、乳腺像素图的精度及乳腺密度的计算精度下降。

相反，在乳腺区域提取部3利用第1附加数据而进行学习的情况下，乳腺区域提取部3能够生成如图18d所示的候选像素图。在图18d所示的候选像素图中，候选像素生成于与图18b的区域cr对应的区域，而另一方面，在胸大肌区域中候选像素的生成被抑制。在乳腺区域提取部3利用第1附加数据而进行学习的情况下，由于候选像素图的精度高，因此概率图的精度也高。并且，由于候选像素图的精度高，乳腺区域图的精度、乳腺像素图的精度及乳腺密度的计算精度也会变高。

＜第2附加数据＞

乳房摄影图像例如基于如下的观点进行该窗口等级调节。

在第1观点中，当乳腺浓度高时，乳房摄影图像的乳腺周围变白而模糊，因此以使整体变暗的方式进行乳房摄影图像的窗口等级调节，从而能够详细把握乳腺。

在第2观点中，当乳腺浓度低时，以使整体变亮至能够看见脂肪的方式进行乳房摄影图像的窗口等级调节，从而能够具体确认乳腺和脂肪。

当大量学习根据上述第1观点调节的乳房摄影图像，且确定权重系数时，有可能无法对根据第2观点调节的乳房摄影图像的患者提供高精度的输出(输出概率图)。反之亦然。即，由于利用乳腺浓度窗口调节的不均匀，结果有可能使概率图的精度下降。因此，在第3实施方式中，利用图像数据使乳腺区域提取部3学习，使乳腺区域提取部3的输出(概率图)更高精度化，该图像数据反映代表乳房摄影图像的亮度值(代表亮度值)或乳房摄影图像的亮度值分布。

如图12及图16所示，第2附加数据是表示乳房摄影图像d0的代表亮度值或乳房摄影图像d0的亮度值分布的数据。更具体而言，第2附加数据是基于代表亮度值或分布校正乳房摄影图像d0中的所有人体像素的亮度值的图像数据。第2附加数据的所有人体像素的亮度值相同。这里，可将平均值、众数或中值用作代表亮度值。平均值是将所有人体像素的亮度值的总和除以所有人体像素数的值。众数是在所有人体像素的亮度值中个数最多的亮度值。中值是将所有人体像素的亮度值按顺序排列时，与其顺序的中间对应的亮度值。并且，第2附加数据可以为表示亮度值的分布的数据，例如也可以为表示所有人体像素的亮度值分布的直方图。在第3实施方式中，当利用直方图时，乳腺区域概率计算部7具备顺序传播型的神经网络即可。即，乳腺区域概率计算部7例如也可以基于将乳房摄影图像d0的各像素的亮度值以及各亮度值的直方图的频率输入顺序传播型的神经网络而输出概率p的学习模型，来输出概率p。

在第3实施方式中，学习用数据均为图像数据。即，乳房摄影图像d0、第1附加数据d1及第2附加数据d2是图像数据。由于第1附加数据d1是反映了乳头与各像素的距离的数据，因此乳腺区域提取部3会进行考量了坐标的学习。从而，乳腺区域提取部3能够进行高精度的输出。应予说明，第2附加数据无须是图像数据。即使乳腺区域提取部3基于表示上述代表亮度值或分布的数据进行学习，也能够期待乳腺区域提取部3的高精度化。

3－2.预处理部6

预处理部6在第1实施方式说明的噪声消除处理过程中提取人体区域rg1，生成图像数据drg1。说明预处理部6的人体区域提取。

预处理部6从乳房摄影图像d0提取人体区域rg1。这里，与非人体区域rg2相比，人体区域rg1有明亮的趋势。预处理部6利用该趋势从乳房摄影图像d0提取人体区域rg1。另外，预处理部6通过提取人体区域rg1，从而生成图像数据drg1。图像数据drg1用于生成第1附加数据d1及第2附加数据d2。

参照图17说明预处理部6提取人体区域rg1，生成图像数据drg1的流程。

预处理部6将1分配于乳房摄影图像d0的各像素中具有等于或大于设定阈值的亮度值的像素，将0分配于在具有小于该设定阈值的亮度值的像素(步骤s1)。这里，分配的诸如1或0的数值只是用于方便区分像素的亮度的数值，但不限定于此。并且，设定阈值是可变的。预处理部6在提取人体区域rg1的流程的开始之初设定高的设定阈值，如后面说明的那样逐渐设置地低。

预处理部6对在乳房摄影图像d0的各像素中具有等于或大于设定阈值的亮度值像素的个数进行计数(步骤s2)。另外，预处理部6计算出计数的个数在乳房摄影图像d0的所有像素数中占据的比率x(步骤s3)。预处理部6判定该计算的比率x是否为预设的比率pt(例如40％)(步骤s4)。应予说明，这里，为了方便利用预设的比率，但也可以为预设的范围。该计算的比率x不是预设的比率pt，即，在该计算的比率x高于预设的比率pt时，预处理部6降低设定阈值(步骤s5)。应予说明，设定阈值的减低量例如也可以预设。另外，预处理部6回到步骤s1。并且，当该计算的比率x是预设的比率pt时，预处理部6将在步骤s1中将分配1的像素决定为人体区域rg1(步骤s6)。预处理部6生成从表示乳房摄影图像d0提取的人体区域rg1的图像数据drg1(步骤s7)。图像数据drg1具有表示是人体区域rg1的数据、以及有关人体区域rg1的各像素的亮度值的数据。

3－3.乳腺区域提取部3

如图10所示，除了第1实施方式的构成之外，乳腺区域提取部3还具备附加数据生成部30。

＜附加数据生成部30＞

如图11b所示，附加数据生成部30生成第1附加数据d1及第2附加数据d2。附加数据生成部30具有乳头区域提取部32、代表数据生成部33、校正部34。

·乳头区域提取部32

乳头区域提取部32基于图像数据drg1提取(检测)乳头区域rgn的位置(坐标)。另外，乳头区域提取部32生成表示乳头区域rgn的位置(坐标)的乳头区域数据drgn。在图像数据drg1中，乳头是最突出的部分。乳头区域提取部32利用该乳头的特征从图像数据drg1提取乳头区域rgn。

如图13所示，乳头区域提取部32沿上下方向扫描乳房摄影图像d0的各像素的亮度值。在图13中，箭头ar表示扫描方向。若结束上下方向的1列像素的亮度值的扫描，则乳头区域提取部32依次进行相邻列的像素的亮度值的扫描。另外，在开始扫描之后，乳头区域提取部32第一次将亮度值的值成为等于或大于预设亮度值的像素决定为乳头区域rgn。应予说明，提取乳头区域rgn位置的方法不限于在这里说明的内容。

·代表数据生成部33

代表数据生成部33取得用于生成第2附加数据的代表数据drp。代表数据drp是表示上述的乳房摄影图像d0的代表亮度值或乳房摄影图像d0的亮度值的分布的数据。这里，作为一个例子说明代表数据drp是代表亮度值的平均值的情况。代表数据生成部33计算预处理部6所决定的人体区域rg1的各像素亮度值的总和。另外，代表数据生成部33通过将该总和除以由预处理部6决定的人体区域rg1的像素数，从而能够取得平均值。

·校正部34

如图11b所示，校正部34基于由预处理部6决定的人体区域rg1(图像数据drg1)、以及由乳头区域提取部32决定的乳头区域rgn(乳头区域数据drgn)校正乳房摄影图像d0，生成第1附加数据d1。

并且，校正部34基于由预处理部6决定的人体区域rg1(图像数据drg1)、以及由代表数据生成部33取得的代表数据drp校正乳房摄影图像d0，生成第2附加数据d2。

＜乳腺区域概率计算部7＞

乳腺区域概率计算部7计算乳房摄影图像d0中的是乳腺区域r的概率p。

在第3实施方式中，基于输入乳房摄影图像d0、第1附加数据d1及第2附加数据d2而输出概率p的学习模型计算概率p。

在第3实施方式中，示教数据的输入数据是乳房摄影图像d0、第1附加数据d1及第2附加数据d2。答案数据是使医生判断为乳腺区域的区域内的像素值为1，其以外的像素值为0的数据。大量的示教数据及答案数据被输入到信息处理装置1。在这个过程中，乳腺区域概率计算部7适当改变滤波器的权重系数，最终乳腺区域概率计算部7确定该权重系数。

在信息处理装置1适用于患者诊断的阶段(以下成为运用阶段)，该患者的乳房摄影图像d0被输入到乳腺区域概率计算部7。由此，附加数据生成部30从乳房摄影图像d0生成第1附加数据d1及第2附加数据d2。另外，乳腺区域概率计算部7基于确定的权重系数，处理乳房摄影图像d0、第1附加数据d1及第2附加数据，输出概率图。

应予说明，在运用阶段，不需要预处理部6消除胸大肌区域g(噪声)的工序。这是因为乳腺区域概率计算部7基于第1附加数据进行学习，因此即使在包括胸大肌区域g的乳房摄影图像被输入到乳腺区域概率计算部7的情况下，乳腺区域概率计算部7也会将胸大肌区域g中的像素的概率p计算得更低。

3－4.第3实施方式的变形例

第1附加数据d1的方式不限于具有第1图像数据d11及第2图像数据d12的方式。如图19所示，第1附加数据d1也可以只由以乳头区域rgn为中心的形式的图像数据构成，来代替第1图像数据d11及第2图像数据d12。变形例涉及的图像数据以随着离乳头区域rgn的直线距离变短而各人体像素的亮度值增大的方式校正乳房摄影图像d0中的各人体像素的亮度值。

并且，在第3实施方式中，除了乳房摄影图像d0，乳腺区域概率计算部7利用第1附加数据d1及第2附加数据进行学习的方式，但不限于此。除了乳房摄影图像d0，乳腺区域概率计算部7也可以利用第1附加数据d1及第2附加数据d2中的一个进行学习的方式。此时，在运用阶段，附加数据生成部30从乳房摄影图像d0生成第1附加数据d1及第2附加数据d2中的一个。另外，乳腺区域概率计算部7基于乳房摄影图像d0、第1附加数据d1及第2附加数据d2中的一个，输出概率图。

在第3实施方式中，信息处理装置1是具备附加数据生成部30的形式，但不限于此。附加数据生成部30也可以设置在信息处理装置1之外。如图20所示，此时，乳房摄影图像d0、预先生成的第1附加数据d1及第2附加数据d2被输入至信息处理装置1中。

并且，在第3实施方式中，举例说明了人体区域rg1配置于乳房摄影图像d0中的左侧的例子，但不限于该配置。只要具备学习时的图像数据的人体区域rg1的配置和运用时的图像数据的人体区域rg1的配置，人体区域rg1的配置例如也可以与如图12所示的配置左右对称。

在第3实施方式中，第1附加数据是图像数据，但不限于此。第1附加数据例如也可以为乳头的位置数据。此时，附加数据生成部30基于乳头的位置数据，生成图像数据。

并且，除了乳头的位置数据，第1附加数据也可以考量人体区域rg1的位置数据或胸大肌的位置数据。附加数据生成部30例如可使用函数或表格生成图像数据，该函数或表格是相对于乳头的位置，输出(例如亮度值)向人体区域rg1的位置或胸大肌的位置变化的。乳腺区域概率计算部7可利用这样生成的图像数据进行学习，能够在运用阶段输出概率p。

并且，第1附加数据的图像数据是基于乳房摄影图像中的乳头像素的位置，校正乳房摄影图像中的人体像素的像素值的图像数据。像素值可以是如上所述的乳房摄影图像中的人体像素的亮度值，也可以不是乳房摄影图像中的人体像素的亮度值。例如利用乳头的坐标、以及人体区域rg1的坐标或胸大肌的坐标生成第1附加数据的图像数据时，可以不利用乳房摄影图像中的人体像素的亮度值而生成第1附加数据的图像数据。并且，关于第2附加数据，例如也可以校正乳房摄影图像d0中的人体像素的像素值的图像数据。

在第3实施方式中，如图21a所示，第1附加数据的坐标系是以乳头区域n为中心的正交坐标系。即，第3实施方式的坐标系中纵轴与垂直方向平行，横轴与水平方向平行，纵轴与横轴的交点是乳头区域n。这里，第1附加数据的坐标系不限于此。如图21b所示，也可以将经过人体区域rg1的边缘的切线作为纵轴，与该纵轴正交的线作为横轴。这里，经过人体区域rg1的边缘的切线是乳头区域n的切线。并且，人体区域rg1的边缘是乳房曲线，对应于人体区域rg1与非人体区域rg2的边界。

4.其他实施方式

·在上述的实施方式中，作为学习模型使用fcn，但除fcn之外也可以利用任意的顺序传播型神经网络。

·在上述的实施方式中，通过学习模型计算概率p，但也可以通过由各像素或多个像素构成的小区域的亮度值计算概率p。例如可基于亮度值的直方图计算概率p，也可以基于与亮度值的绝对值或周边像素的亮度值的差分计算概率p。

·在上述的实施方式中，基于概率p提取乳腺区域，但除了利用概率p之外，也可以通过从亮度值的大小直接求出乳腺区域的方法或者从水平方向/垂直方向的亮度值的转变来判断是否为乳腺区域的方法提取乳腺区域。

·在上述的实施方式中，针对每个像素计算在乳房摄影图像中是乳腺区域的概率，但也可以针对由多个像素构成的每个小区域计算是乳腺区域的概率。

·在上述的实施方式中，信息处理装置1具备乳腺区域提取部3、乳腺像素检测部4、乳腺密度计算部5的方式，但不限于该方式。例如第1及第2实施方式也可以为信息处理装置1具备乳腺区域提取部3的乳腺区域概率计算部7，乳腺区域提取部3的后处理部8和乳腺像素检测部4和乳腺密度计算部5设置于信息处理装置1之外的方式。并且，第3实施方式也可以为信息处理装置1具备乳腺区域提取部3的乳腺区域概率计算部7和乳腺区域提取部3的附加数据生成部30，乳腺区域提取部3的后处理部8和乳腺像素检测部4和乳腺密度计算部5设置于信息处理装置1之外的方式。在这些情况下，信息处理装置1生成概率图，在信息处理装置1之外的地方利用生成的概率图。

即，信息处理装置也可以构成为，其是具备乳腺区域提取部的信息处理装置，且上述乳腺区域提取部提取乳房摄影图像中的乳腺区域，且上述乳腺区域提取部具有乳腺区域概率计算部，上述乳腺区域概率计算部基于输入上述乳房摄影图像而输出上述概率的学习模型，计算上述概率。

并且，信息处理装置也可以构成为，其是具备乳腺区域提取部的信息处理装置，上述乳腺区域提取部提取乳房摄影图像中的乳腺区域，且上述乳腺区域提取部具有乳腺区域概率计算部，除了上述乳房摄影图像之外，上述乳腺区域概率计算部基于输入第1附加数据及第2附加数据中的至少一个而输出上述概率的学习模型，计算上述概率。

并且，信息处理装置可以使用输入乳房摄影图像及第1附加数据而输出概率的学习模型，也可以输入乳房摄影图像及第2附加数据而输出概率的学习模型。例如在使信息处理装置学习调节窗口等级的乳房摄影图像的情况下，也可以使用输入乳房摄影图像及第1附加数据而输出概率的学习模型。并且，预先去除胸大肌区域的情况或如第1实施方式在充分学习学习模型以在与胸大肌区域对应的区域不生成候选像素的情况下，也可以使用输入乳房摄影图像及第2附加数据而输出概率的学习模型。

即使是这种方式，也能够得到与上述的实施方式同样的效果。

【符号的说明】

1：信息处理装置、3：乳腺区域提取部、4：乳腺像素检测部、5：乳腺密度计算部、6：预处理部、7：乳腺区域概率计算部、8：后处理部、9：候选像素提取部、10：区域形成部、11：乳腺区域图像提取部、12：亮度判断部、30：附加数据生成部、32：乳头区域提取部、33：代表数据生成部、34：校正部、d0：乳房摄影图像、d1：第1附加数据、d11：第1图像数据、d12：第2图像数据、d2：第2附加数据、drg1：图像数据、drgn：乳头区域数据、drp：代表数据、rg1：人体区域、rg2：非人体区域、rgn：乳头区域、b：乳房区域、g：胸大肌区域、r：乳腺区域