医用图像处理装置以及医用图像处理方法与流程

本发明涉及从由医用图像拍摄装置取得的医用图像中检测病变候选的医用图像处理装置以及医用图像处理方法，特别涉及基于由操作者修正后的区域重新提取病变候选的技术。

背景技术：

为了在以超声波诊断装置为代表的医用图像拍摄装置中取得大量的医用图像，医用图像的拍摄和诊断所涉及的检查技师、读影医生这样的医务人员的负担会增大。为了减轻医务人员的负担，通过计算机从医用图像中检测病变候选并进行提示，由此正在推进辅助图像诊断的所谓cad(computer-aideddetection/diagnosis计算机辅助检查/诊断)的开发。

在专利文献1中公开了一种技术，为了减少cad的错误检测，基于从超声波图像检测出的病变候选的解剖学的位置来判定是否为假阳性。

专利文献

专利文献1：日本特开2015-154918号公报

技术实现要素：

然而，在专利文献1中，没有考虑操作者对包含由cad检测到的病变候选的区域进行修正或追加新的区域的情况。在由cad检测出的区域存在过量或不足的情况下，需要检测出的区域的重新拍摄、重新读影，对作为医务人员的操作者产生负担。

因此，本发明的目的在于提供医用图像处理装置以及医用图像处理方法，能够减轻医用图像的重新拍摄、重新读影这样的负担。

为了实现上述目的，本发明是对医用图像进行处理的医用图像处理装置，具备：检测部，其从上述医用图像中检测包含病变候选或对象组织的区域即候选区域，并且计算上述候选区域的识别分数；指定区域取得部，其取得由操作者指定的区域即指定区域；以及再检测部，其基于在检测上述候选区域的过程中使用的区域即多个预定义区域和上述指定区域，计算上述指定区域的识别分数。

另外，本发明是对医用图像进行处理的医用图像处理装置所执行的医用图像处理方法，具备：检测步骤，从上述医用图像中检测包含病变候选或对象组织的区域即候选区域，并且计算上述候选区域的识别分数；指定区域取得步骤，取得由操作者指定的区域即指定区域；以及再检测步骤，基于在检测上述候选区域的过程中使用的区域即多个预定义区域和上述指定区域，计算上述指定区域的识别分数。

根据本发明，能够提供可减轻医用图像的重新拍摄、重新读影这样的负担的医用图像处理装置以及医用图像处理方法。

附图说明

图1是表示实施例1的医用图像处理装置的硬件结构例的图。

图2表示医用图像拍摄装置的一例即超声波诊断装置的结构例。

图3是实施例1的功能框图。

图4表示检测部的结构例。

图5对推定部的处理进行补充说明。

图6表示再检测部的结构例。

图7表示实施例1的处理流程的一例。

图8表示实施例1的显示画面的一例。

图9是对指定区域的编辑进行说明的图。

图10是对指定区域的形状的例子进行说明的图。

图11表示计算指定区域的识别分数的处理的流程的一例。

图12是对在识别分数计算部中的处理进行补充说明的图。

附图标记的说明

100：医用图像处理装置、101：cpu、102：存储器、103：存储部、104：网络适配器、105：总线、106：输入部、107：显示部、108：网络、109：医用图像拍摄装置、110：医用图像数据库、200：超声波诊断装置、201：探头、202：发送部、203：接收部、204：超声波收发控制部、205：相位调整加法部、206：图像处理部、210：被检测体、300：医用图像、301：检测部、302、302a～d：指定区域、303：指定区域取得部、304：再检测部、305：指定区域的识别分数、401：特征提取部、402：推定部、403：区域整合部、404：候选区域和识别分数、500：特征量图、501：关注像素、502、502a～c、502x～z：预定义区域、503：推定结果、600：预定义区域和识别分数、601：类似度计算部、602：识别分数计算部、801：显示画面、802：候选区域、803：识别结果、804：编辑按钮、805：删除按钮、806：检查位置图标、901：控制点、902：鼠标指示器、1200：病变候选、1201：排序的推定结果。

具体实施方式

以下，根据附图对本发明的医用图像处理装置以及医用图像处理方法的优选实施例进行说明。此外，在以下的说明以及附图中，对具有相同功能结构的结构要素标注相同的标记，从而省略重复说明。

[实施例1]

使用图1对本实施例的医用图像处理装置100的硬件结构例进行说明。医用图像处理装置100是所谓的计算机。具体而言，cpu(centralprocessingunit：中央处理器)101、存储器102、存储部103、网络适配器104通过总线105以可收发信号的方式连接而构成。另外，输入部106和显示部107以可收发信号的方式与医用图像处理装置100连接。进而，医用图像处理装置100经由网络适配器104以及网络108与医用图像拍摄装置109、医用图像数据库110以可收发信号的方式连接。在此，“可收发信号”是指不管有线和无线而以电或光学地能够相互或者从一方向另一方传输信号的状态。

cpu101是读出存储在存储部103中的系统程序等并控制各构成要素的动作的装置。cpu101将存储在存储部103中的程序、程序执行所需的数据加载到存储器102中并执行。存储部103是存储cpu101执行的程序、程序执行所需的数据的装置，具体而言是对hdd(harddiskdrive硬盘驱动器)、ssd(solidstatedrive固态驱动器)等记录装置、ic卡、sd卡、dvd等记录介质进行读写的装置。也从lan(localareanetwork：局域网)等网络108进行收发包含程序执行所需的数据的各种数据。在存储器102中存储由cpu101执行的程序、运算处理的中途经过等。

显示部107是显示程序执行的结果等的装置，具体而言是液晶显示器等。输入部106是操作者对医用图像处理装置100进行操作指示的操作设备，具体而言是键盘、鼠标等。鼠标也可以是跟踪板、跟踪球等其他定点设备。另外，在显示部107是触摸面板的情况下，触摸面板也作为输入部106发挥功能。网络适配器104用于将医用图像处理装置100与lan、电话线路、因特网等网络108连接。

医用图像拍摄装置109是取得对病变部位等形态进行了图像化的断层图像等医用图像的装置，具体而言，是超声波诊断装置、x射线透视摄影装置、x射线ct(computedtomography计算机断层摄影)装置、mri(magneticresonanceimaging磁共振成像)装置、pet(positronemissiontomography正电子发射断层扫描)装置等。也可以通过堆积多个断层图像来生成三维医用图像。医用图像数据库110是保管由医用图像拍摄装置109取得的医用图像的数据库系统。

使用图2，对医用图像拍摄装置109的一例即超声波诊断装置200进行说明。超声波诊断装置200具有探头201、发送部202、接收部203、超声波收发控制部204、相位调整加法部205、图像处理部206。

探头201基于从发送部202发送的信号向被检测体210照射超声波，检测在被检测体210中反射的超声波即所谓反射回波，并将与反射回波对应的信号发送给接收部203。发送部202和接收部203由超声波收发控制部204控制，在与探头201之间收发信号。相位调整加法部205将发送到接收部203的与反射回波对应的信号进行相位调整相加，并且进行模拟数字转换，按时间序列生成rf(radiofrequency：射频)信号帧数据，并发送给图像处理部206。图像处理部206通过将按时间序列生成的rf信号帧数据映射到二维空间来生成超声波断层图像。所生成的超声波断层图像作为医用图像被用于诊断。

使用图3对本实施例的主要部分的功能框图进行说明。此外，这些功能可以由使用了asic(applicationspecificintegratedcircuit：专用集成电路)或fpga(field-programmablegatearray：现场可编程门阵列)等的专用的硬件构成，也可以由在cpu101上进行动作的软件构成。在以后的说明中对由软件构成各功能的情况进行说明。本实施例具备检测部301、指定区域取得部303和再检测部304。以下，对各部分进行说明。

检测部301从医用图像300中检测包含病变候选或对象组织的区域即候选区域，并且计算候选区域的识别分数。即检测部301作为所谓的cad发挥功能。医用图像300由医用图像拍摄装置109取得，或者从医用图像数据库110读出而取得。候选区域中包含的病变候选、对象组织也可以由操作者经由输入部106指定。识别分数是包含异常度、恶性度、组织区分的似然度、病变类别的似然度等中至少一个的指标。异常度表示与正常组织的偏离度或病变的概率，是在病变中成为1、在正常组织中成为0的指标。恶性度表示病变的进度，是在恶性的病变中成为1、在良性的病变或正常组织中成为0的指标。组织分区的似然度表示对象组织为预定的组织的概率，例如在乳房检查中，表示乳腺、脂肪、胸大肌、肋骨等各解剖学组织的概率。病变类别的似然度表示病变候选被包含在预定的病变类别中的概率，表示由任意的准则(guideline)等决定的病变类别和病变的疾病名称等中包含的概率。

使用图4对检测部301的结构例进行说明。检测部301只要是能够同时推定候选区域和识别分数的物体检测神经网络即可，例如也可以为使用ssd(singleshotmulti-boxdetector：单点多盒探测器)、yolo(youonlylookonce你只看一次)等的结构。图4所示的检测部301具有特征提取部401、推定部402、区域整合部403。另外，检测部301事先学习包含已知的病变或组织的多个医用图像。

特征提取部401通过执行卷积处理、激活处理、池化处理(プーリング処理)、归一化处理等，从医用图像300计算多个特征量图，并发送给推定部402。

推定部402通过对从特征提取部401发送的特征量图执行卷积处理，推定包含病变候选或对象组织的候选区域和该候选区域的识别分数。

使用图5对推定部402中的处理进行补充说明。推定部402对由特征提取部401计算出的特征量图500的关注像素501设定多个预定义区域502a～502c。预定义区域502a～502c各自的包含纵横比的大小、中心位置也可以不同。另外，预定义区域502的数量或形状并不限于图5所示的三个或矩形。另外，对于多个关注像素501的每一个同样地设定预定义区域502。

进而，推定部402通过对特征量图500执行卷积处理，对多个预定义区域502的每一个推定识别分数。推定出的结果例如以推定结果503的形式输出，发送给区域整合部403。推定结果503是对n个预定义区域502的每一个推定了识别分数的结果。在推定结果503中还包含各预定义区域502的中心位置从关注像素501向纵向和横向平行移动的量和各预定义区域502的纵向和横向的大小。例如，推定结果503中的第一区域具有从关注像素501横向平行移动0.2、纵向平行移动0.4后的中心位置、宽度0.2、高度0.8的大小，推定0.8的识别分数。

区域整合部403基于从推定部402发送的推定结果503，输出候选区域和识别分数404。具体而言，首先提取推定结果503中包含的识别分数为预定阈值以上的预定义区域502。接着，为了抑制对相同的病变候选提取多个预定义区域502，使用nms(non–maximumsuppression非最大抑制)等。即，计算表示识别分数最大的预定义区域与其他预定义区域的重叠程度的类似度，在其他预定义区域中删除类似度在预定阈值以上的区域。类似度例如使用iou(intersection-over-union交并比)。并且，基于类似度而未被删除的预定义区域作为候选区域，与识别分数一起被输出。

返回图3的说明。指定区域取得部303取得由操作者指定的区域即指定区域302。操作者使用输入部106在医用图像300上指定指定区域302。

再检测部304基于多个预定义区域502和指定区域302，计算指定区域的识别分数305。

使用图6对再检测部304的结构例进行说明。图6所示的再检测部304具有类似度计算部601、识别分数计算部602。类似度计算部601计算多个预定义区域502的每一个与指定区域302的类似度。类似度例如使用iou、dice系数、jaccard系数、simpson系数、区域的中心距离、区域的面积、纵横比等中的至少一个。

识别分数计算部602基于多个预定义区域502的各识别分数和各类似度，计算指定区域302的识别分数。在指定区域302的识别分数score的计算中例如使用以下公式。

score＝σ(wi·si)/σ(wi)…(1)

在此，si是多个预定义区域502各自的识别分数，wi是多个预定义区域502的每一个与指定区域302的各类似度。

使用图7，对本实施例的处理的流程的一例进行说明。

(s701)

检测部301从医用图像300中检测候选区域，并且计算候选区域的识别分数，显示在显示部107上。

使用图8对本实施例的显示画面的一例进行说明。在图8的显示画面801中显示医用图像300和包含病变候选的候选区域802。另外，将候选区域802的识别分数显示在识别结果803中，并且显示编辑按钮804和删除按钮805。进而，还可以显示检查位置图标806。

编辑按钮804在为了生成指定区域而切换为编辑候选区域802的模式时使用。删除按钮805在删除候选区域802时使用。检查位置图标806是表示在显示画面801上显示的医用图像300的检查位置的图标。在图8中示出模拟左乳房的图标，图标上的纵长矩形表示探头的位置、即检查位置。在图8中示出了左乳房的左上是检查位置。

(s702)

指定区域取得部303取得由操作者指定的指定区域。

使用图9对指定区域的编辑进行说明。当在图8的显示画面801中选择编辑按钮804时，编辑按钮804变色，并且在候选区域802的框上显示多个控制点901。编辑按钮804的变色表示切换为编辑候选区域802的模式。多个控制点901是通过鼠标指示器902的操作而移动的点，用于基于候选区域802的编辑的指定区域的生成。当在控制点901移动后重新选择编辑按钮804时，编辑按钮804的颜色恢复，并且决定指定区域，由指定区域取得部303取得指定区域的位置和大小。

另外，指定区域的形状并不限于图9所示的矩形。使用图10对指定区域302的形状的例子进行说明。在指定区域302的形状中除了矩形的指定区域302a以外，也可以使用椭圆形或圆形的指定区域302b、多边形的指定区域302c、基于自由曲线的封闭区域的指定区域302d等。操作者也可以根据操作者自身能够在医用图像300上视觉确认的病变候选的形状来变更指定区域302的形状。

(s703)

再检测部304基于在检测部301检测候选区域802的过程中使用的多个预定义区域和在s702中取得的指定区域，计算指定区域的识别分数。

使用图11对本步骤的处理的流程的一例进行说明。

(s1101)

类似度计算部601计算多个预定义区域的每一个与指定区域的类似度。类似度例如使用iou，如果两个区域一致则类似度为1，如果没有重叠则类似度为0。

(s1102)

识别分数计算部602基于多个预定义区域502的各识别分数和各类似度，计算指定区域302的识别分数。在指定区域302的识别分数的计算中可以使用平均、加权平均、逻辑回归、svm、神经网络等中的至少一个，例如也可以使用公式(1)。另外，在使用公式(1)时，也可以将用于计算识别分数的预定义区域502限定为与指定区域302的类似度更大的区域。例如，也可以限定于具有比预先决定的阈值大的类似度的预定义区域502，或者将类似度的大小限定于到预定的位次为止的预定义区域502。通过限定预定义区域502的数量能够降低运算量。

使用图12对识别分数计算部602中的处理进行补充说明。在图12中示出了在医用图像300上由操作者视觉确认的病变候选1200、由操作者指定的指定区域302、与指定区域302的类似度为阈值0.7以上的预定义区域502x～z。另外还示出了根据类似度将图5的推定结果503进行排序的推定结果1201。在计算指定区域302的识别分数时，在限定为阈值0.7以上的预定义区域502x～z时，公式(1)被改写为下式。

score＝(wx·sx+wy·sy+wz·sz)/(wx+wy+wz)…(2)

其中sx、sy、sz是预定义区域502x～z各自的识别分数、wx、wy、wz是预定义区域502x～z的每一个与指定区域302的各类似度。

指定区域302的识别分数的计算结果显示在显示单元107上。例如，也可以在图9的显示画面801的识别结果803中显示指定区域302的识别分数。另外，在识别分数是恶性度或病变类别的似然度的情况下，也可以显示通过阈值处理对良性还是恶性或者是哪个病变类别进行筛选而得到的结果。

根据以上说明的处理流程，即使在由作为cad发挥功能的检测部检测出的区域存在过量或不足的情况下，也计算由操作者指定的指定区域的识别分数。其结果为能够减少医用图像的重新拍摄、重新读影的次数，因此能够减轻作为医务人员的操作者的负担。

以上，对本发明的实施例进行了说明。本发明并不限于实施例，包括各种变形例。例如，上述实施例是为了容易理解地说明本发明而详细说明的实施例，并不限定于具备所说明的所有结构的实施例。