诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质与流程

文档序号:13935226
诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质与流程

本发明涉及诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。



背景技术:

作为皮肤病变的诊断,必定进行视诊,能够得到较多的信息。然而,仅通过肉眼、放大镜,甚至难以进行痣与斑的辨别,也难以进行良性肿瘤与恶性肿瘤的鉴别。因此,进行使用带皮肤镜摄像机对病变进行摄影的皮肤镜学诊断,但是现状为基于图像观察的病例识别取决于医师的技能。

因此,例如,在专利文献1中记载有医用摄影装置的技术,能够根据所摄影并保存的患者的摄影图像生成进行了HDR(High Dynamic Range Imaging)变换的高动态范围合成图像而进行比较。根据专利文献1所记载的技术,不取决于有无诊断技能,就能够容易地得到皮肤镜学图像的见解。

然而,根据专利文献1所记载的技术,在医师得到基于目视观察的见解时,在排列多个皮肤镜学图像的情况下,当疾病部的配置、方向、大小等不同时,会仅注目于不同点,难以掌握疾病部的差异。由此,难以进行高精度的诊断。

专利文献1:日本特开2015-164512号公报



技术实现要素:

本发明是为了解决上述课题而进行的,其目的在于提供能够容易地掌握疾病部的差异、并进行高精度的诊断支援的诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。

为了解决上述课题,本发明的一个方式是用于根据摄影图像诊断病变的诊断支援装置的图像处理方法,其特征在于,与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库,在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时,根据上述参考图像来制作实施了几何变形的参考图像,或者根据上述查询图像来制作实施了几何变形的查询图像。

此外,本发明的其他方式为一种用于根据摄影图像来诊断病变的诊断支援装置,其特征在于,具备:数据库,登记有与涉及病变的已知的第一摄影图像对应的参考图像;以及增量单元,在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时,根据上述参考图像制作实施了几何变形的参考图像,或者根据上述查询图像来制作实施了几何变形的查询图像。

本发明的其他特征,根据本说明书以及附图的记载能够明确。

发明的效果

根据本发明,能够提供容易掌握疾病部的差异、进行高精度的诊断支援的诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。

附图说明

图1是表示本发明的第一实施方式的诊断支援装置的构成的框图。

图2是表示本发明的第一实施方式的诊断支援装置进行的特征向量数据库生成处理的顺序的流程图。

图3是表示本发明的第一实施方式的诊断支援装置进行的图像检索处理的顺序的流程图。

图4是说明图2的第一尺寸再生(resize)增量倍率决定处理中的尺寸再生增量方针的图。

图5是表示图2的输入图像外插处理中的第一外插图像以及第一切取图像的一个例子的图。

图6是为了对由本发明的第一实施方式的诊断支援装置进行的几何变形处理的扩张例进行说明而引用的图。

图7是表示本发明的第二实施方式的诊断支援装置的构成的框图。

图8是表示本发明的第二实施方式的总体识别器(神经网络)的构成的框图。

图9是表示本发明的第二实施方式的图像事先增量的流程图。

图10是说明用于本发明的第二实施方式的图像事先增量的几何变形的模式的一个例子的图。

图11是表示本发明的第二实施方式的机械学习识别器生成处理的流程的流程图。

图12是表示本发明的第二实施方式的被检图像(未知的图像识别)识别处理的流程的流程图。

符号的说明

1…诊断支援装置,10…装置主体,11…摄影图像取得部,12…参考图像特征向量提取部,13…查询图像特征向量提取部,14…检索单元,14a…总体识别器,15…图像存储部,16…数据存储部,20…带皮肤镜摄影装置,30…输入装置,40…显示装置,121…几何变形处理部,122…图像切取部,123…DB登记部,141…向量间距离计算部,142、143…单位识别器,144…判断单元,160…特征向量DB

具体实施方式

以下,参照附图对用于实施本发明的方式(以下,称为实施方式)进行详细说明。在以下的图中,在实施方式的说明的整体中对于相同要素赋予相同的编号或者符号。

(第一实施方式的构成)

图1是表示第一实施方式的诊断支援装置1的构成的框图。如图1所示那样,本实施方式的诊断支援装置1连接有带皮肤镜摄影装置20。

带皮肤镜摄影装置20为,根据来自诊断支援装置1的装置主体10的指示进行摄影,将摄影图像(皮肤镜学图像)存储于图像存储部15并且在显示装置40上进行显示。此外,摄影图像由装置主体10实施图像处理并存储于图像存储部15并且在显示装置40上进行显示。

输入装置30进行皮肤镜学图像的摄影开始指示、后述的皮肤镜学图像中的部位选择操作等。此外,显示装置40例如由LCD(Liquid Crystal Display)监视器等构成,输入装置30由鼠标等构成。

装置主体10包括摄影图像取得部11、参考图像特征向量提取部12、查询图像特征向量提取部13、检索单元14、图像存储部15以及数据存储部16。

摄影图像取得部11获取由带皮肤镜摄影装置20摄影的摄影图像而向参考图像特征向量提取部12以及查询图像特征向量提取部13输出。参考图像特征向量提取部12为,对于基于涉及病变的已知的摄影图像(第一摄影图像)形成的参考图像,提取图像特征向量(第一图像特征向量)并登记于向数据存储部16的一部分区域分配的特征向量数据库(以下,称为特征向量DB160)。此外,通过对第一摄影图像实施几何变形而增量来形成参考图像,通过提示实施了几何变形的参考图像来进行诊断支援。在以下,对使参考图像预先增量的例子进行说明,但是增量计算也可以在与查询图像进行比较时进行。此外,也可以对查询图像进行增量。所谓提示,可以进行显示而进行医师的支援,也可以进行比较而进行机械的支援。

因此,参考图像特征向量提取部12构成为,包括几何变形处理部121(包括增量单元)、图像切取部122、以及DB登记部123。

几何变形处理部121计算涉及病变的已知的摄影图像(第一摄影图像)的第一短边实际长度,使用计算出的第一短边实际长度来决定第一摄影图像的第一尺寸再生增量倍率,对第一摄影图像实施外插处理而作为第一外插图像,通过旋转、反转以及基于第一尺寸再生增量倍率的尺寸再生对第一外插图像实施几何变形处理,由此进行增量而作为第一几何变形图像。此时,第一尺寸再生增量倍率为,以第一短边实际长度为根据,第一短边实际长度比整体平均长度小时的第一尺寸再生增量倍率向变大的方向设定,第一短边实际长度比整体平均长度大时的第一尺寸再生增量倍率向变小的方向设定。

图像切取部122通过从几何变形处理部121所输出的第一几何变形图像中剪切中央正方形区域来得到第一切取图像,并从第一切取图像中提取参考图像的图像特征向量(第一图像特征向量)。DB登记部123将通过图像切取部122提取的参考图像的第一特征向量登记于数据存储部16的特征向量DB160。

查询图像特征向量提取部13为,对于基于涉及病变的未知的摄影图像(第二摄影图像)而形成的查询图像,提取图像特征向量(第二图像特征向量)并传送给检索单元14。

检索单元14参照特征向量DB160将参考图像的特征向量(第一图像特征向量)与查询图像的特征向量(第二特征向量)进行对比,从参考图像中检索与查询图像类似的至少一个候补并向显示装置40输出。因此,检索单元14包括向量间距离计算部141,该向量间距离计算部141计算查询图像的特征向量、与特征向量DB160所登记的全部的参考图像的特征向量之间的距离(欧几里得距离)。

图像存储部15除了存储由带皮肤镜摄影装置20摄影的患部的皮肤镜学图像以外,还存储在第一实施方式的程序的执行中途生成的图像、以及各种数据。数据存储部16存储由参考图像特征向量提取部12生成的特征向量DB160。图像存储部15以及数据存储部16均安装有半导体、磁、光等中的任一种存储元件。

(第一实施方式的动作)

以下,参照图2、图3的流程图,对图1所示的第一实施方式的诊断支援装置1的处理顺序进行详细说明。首先,参照图2的流程图从第一实施方式的诊断支援装置1的特征向量生成处理的顺序开始说明。此外,特征向量的生成处理离线地执行。

具体地说,首先,当在医师操作输入装置30而进行的指示下,通过带皮肤镜摄影装置20进行患部的摄影时,装置主体10为,摄影图像取得部11获取成为变换对象的摄影后的皮肤镜学图像,并向图像存储部15存储,并且向参考图像特征向量提取部12输出(步骤S201)。参考图像特征向量提取部12接收到该皮肤镜学图像,其几何变形处理部121计算图像的第一短边实际长度(步骤S202)。

通过带皮肤镜摄影装置20的目镜适配器而摄影距离被固定,因此,几何变形处理部121能够从摄影图像(第一摄影图像)的EXIF(Exchange Image File Format)图像文件中读出机种信息以及焦距设定而进行计算,由此能够求出摄影图像的短边实际长度。

接着,几何变形处理部121基于计算出的摄影图像的第一短边实际长度来设定图像增量的倍率(第一尺寸再生增量倍率)(步骤S203)。图4表示纵轴为样本数量、横轴为第一短边实际长度(mm)的统计图表。根据图4,第一短边实际长度平均地分布于bin11(短边10~11mm)。在此,将数据组分类为3组并对各个组设定第一尺寸再生增量倍率。通过几何变形处理部121设定的第一尺寸再生增量倍率为,以计算出的第一短边实际长度为根据,第一短边实际长度比整体平均长度小时的第一尺寸再生增量倍率向变大的方向设定,第一短边实际长度比整体平均长度大时的第一尺寸再生增量倍率向变小的方向设定。

在步骤S203的第一尺寸再生增量倍率设定处理中,几何变形处理部121为,例如,在第一短边实际长度接近于整体平均长度的情况(9mm以上且小于12mm)下,设定0.8、1.0、1.2倍这3个模式,在第一短边实际长度小于整体平均长度的情况(小于9mm)下,设定0.6、0.8、1.0倍的稍小尺寸的3个模式,在第一短边实际长度大于整体平均的情况(12mm以上)下,设定1.0、1.2、1.4倍的稍大尺寸的3个模式。

接下来,几何变形处理部121执行摄影图像的外插处理(步骤S204)。即,当进行移离目标(zoom out)的尺寸再生等时,不存在原来的摄影图像的区域包含于有效区域,此时,需要以不存在原来的摄影图像的区域不成为图像特征的方式制作第一外插图像。图5表示第一外插图像的一个例子。

接着,几何变形处理部121执行第一外插图像的旋转、反转以及尺寸再生几何变形处理(步骤S205:第一外插图像旋转+反转+尺寸再生几何变形处理)。在此,例如,根据360/16刻度的旋转、反转的有/无、在步骤S203中决定的3个模式的第一尺寸再生增量倍率,执行16[旋转]×2[反转]×3[倍率]=96种的几何变形处理,并将控制转移到图像切取部122。

图像切取部122为,以与步骤S205的几何变形处理后的图像相同的像素尺寸,取得第一外插图像的几何变形处理图像,例如,如图5所示那样,对中央正方形区域进行剪切而作为第一切取图像(步骤S206)。而且,从所剪切的图像中提取所希望的图像特征向量(第一图像特征向量),并向DB登记部123输出。DB登记部123将所提取的第一图像特征向量登记于向数据存储部16的一部分区域分配的特征向量DB160(步骤S207:图像特征向量提取+数据库登记)。

上述的第一外插图像旋转+反转+尺寸再生几何变形处理(步骤S205)、几何变形处理后的中央区域的剪切处理(步骤S206)、以及图像特征向量提取+数据库登记(步骤S207)的处理被反复执行,直到对上述那样的全部96个模式的几何变形处理后的图像都结束为止(步骤S209“是”)。

接下来,参照图3的流程图对第一实施方式的诊断支援装置1的图像检索的处理动作进行说明。在此,使用根据图2的流程图生成并向数据存储部16的一部分区域分配存储的特征向量DB160,在线地执行未知的查询图像的图像检索。

首先,当在医师操作输入装置30而进行的指示下、通过带皮肤镜摄影装置20进行患部的摄影时,装置主体10为,摄影图像取得部11获取成为检索查询的摄影后的皮肤镜学图像(第二摄影图像),并向查询图像特征向量提取部13输出(步骤S301)。查询图像特征向量提取部13为,与使用图2的流程图说明的参考图像的特征向量生成处理同样,在图像的第二短边实际长度计算、第二尺寸再生增量倍率决定、以及摄影图像外插处理之后,执行第二外插图像旋转+反转+尺寸再生几何变形处理、几何变形处理后的中央区域的剪切处理、以及图像特征向量提取的处理,由此提取查询图像的特征向量(第二图像特征向量)并向检索单元14输出(步骤S302)。

检索单元14为,向量间距离计算部141计算查询图像与数据存储部16的特征向量DB160中所登记的参考图像之间的向量间距离(步骤S303)。在此,向量间距离计算部141为,对于向特征向量DB160登记结束的实施几何变形处理而增量的每1个样本为96个的参考图像,分别独立地计算欧几里得距离。而且,按照每个样本求出各欧几里得距离,并仅残留这96个参考图像中的最短距离的样本(步骤S304)。

接着,向量间距离计算部141为,将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序(步骤S305),对于显示装置40按照检索候补排序进行各样本的候补提示(步骤S306)。

(第一实施方式的效果)

根据第一实施方式的诊断支援装置1,装置主体10(参考图像特征向量提取部12)为,从通过对涉及病变的已知的摄影图像(第一摄影图像)实施几何变形处理而增量所形成的参考图像中提取图像特征向量(第一图像特征向量),并在数据存储部16上构建特征向量DB160。而且,装置主体10(查询图像特征向量提取部13)对于基于涉及病变的未知的摄影图像(第二摄影图像)而形成的查询图像,提取图像特征向量(第二特征向量),检索单元14参照数据存储部16的特征向量DB160将参考图像的图像特征向量与查询图像的图像特征向量进行对比,从参考图像中检索与查询图像类似的至少一个候补并向显示装置40输出,由此在医师将多个图像排列而目视观察时,容易全面地掌握疾病部的差异,作为其结果,能够进行高精度的诊断支援。此外,图像也可以每次显示1个图像地进行观察比较(以下相同。)

此外,装置主体10(参考图像特征向量提取部12、查询图像特征向量提取部13)为,在对摄影图像(第一、第二摄影图像)实施几何变形而进行增量时,第一或者第二尺寸再生增量倍率为,以计算出的第一或者第二短边实际长度为根据,第一或者第二短边实际长度比整体平均长度小时的第一或者第二尺寸再生增量倍率向变大的方向设定,第一或者第二短边实际长度比整体平均长度大时的第一或者第二尺寸再生增量倍率向变小的方向设定,由此能够降低摄影构图等、与摄影对象无关的对于类似度检索来说非本质的方面的影响。由此,在显示所检索的候补时能够按照与查询图像相同的构图来进行显示,容易进行基于目视观察的参照比较。由此,根据第一实施方式的诊断支援装置1,在将多个图像排列时,容易全面地掌握疾病部的差异,能够进行高精度的诊断支援。

此外,根据第一实施方式的诊断支援装置1,例如,如图5所示那样,使对第一外插图像进行剪切而得到的第一切取图像为1个种类,但是例如,也能够如图6所示那样,通过对切取位置进行偏置设定,由此对几何增量模式进行扩展。具体地说,通过使图像的切取位置(中心)偏移7个部位,由此能够得到7种的第一外插图像的第一几何变形图像,作为其结果,能够使几何变形增量模式增加,作为其结果,检索精度提高。在此所述的点,也适合于查询图像的第二外插图像、第二切取图像以及第二几何变形图像。

此外,上述第一实施方式的诊断支援装置1,以独立结构进行了说明,但是例如也可以通过如下的客户端服务器系统来实现:通过服务器来实现装置主体10,通过经由IP(Internet Protocol)网等网络与服务器连接的终端来实现输入装置30以及显示装置40,服务器通过从终端接收检索查询,由此与特征向量DB160所积蓄的特征向量进行比较,对与查询图像类似的至少一个候补进行检索而向存在请求的终端输出。

此外,第一实施方式的图像处理方法,例如,如图1所示那样,是用于根据摄影图像来诊断病变的诊断支援装置1的图像处理方法。而且,该图像处理方法的特征在于,例如,具备:生成对于基于涉及病变的已知的第一摄影图像而形成的参考图像提取第一图像特征向量并登记的数据库的步骤(A);以及对于基于涉及病变的未知的第二摄影图像而形成的查询图像提取第二图像特征向量,并参照数据库与第一图像特征向量进行对比,从参考图像中检索与查询图像类似的至少一个候补的步骤(B),在数据库生成步骤(A)中,通过对第一摄影图像实施几何变形而增量来形成参考图像。

在此,步骤(A)例如是指图2的流程图所示的步骤S201~S209,步骤(B)例如是指图3的流程图的步骤S301~S306。

此外,在第一实施方式的图像处理方法中,数据库生成步骤(A)也可以具备:输入第一摄影图像的步骤(A2);计算第一摄影图像的第一短边实际长度的步骤(A3);使用第一短边实际长度来决定第一摄影图像的第一尺寸再生增量倍率的步骤(A4);对第一摄影图像实施外插处理而作为第一外插图像的步骤(A5);通过旋转、反转以及基于上述第一尺寸再生增量倍率的尺寸再生,对第一外插图像实施几何变形处理,由此进行增量而作为第一几何变形图像的步骤(A6);通过从第一几何变形图像剪切中央正方形区域而得到第一切取图像的步骤(A7);以及在第一切取图像中提取第一图像特征向量并登记的步骤(A8)。

在此,步骤(A2)是指图2中的步骤S201,步骤(A3)是指图2中的步骤S202,步骤(A4)是指图2中的步骤S203,步骤(A5)是指图2中的步骤S204,步骤(A6)是指图2中的步骤S205,步骤(A7)是指图2中的步骤S206,步骤(A8)是指图2中的步骤S207。

检索步骤(B)也可以具备:输入第二摄影图像的步骤(B2);计算第二摄影图像的第二短边实际长度的步骤(B3);使用第二短边实际长度决定第二摄影图像的第二尺寸再生增量倍率的步骤(B4);对第二摄影图像实施外插处理而作为第二外插图像的步骤(B5);通过旋转、反转以及基于上述第二尺寸再生增量倍率的尺寸再生,对第二外插图像实施几何变形处理,由此进行增量而作为第二几何变形图像的步骤(B6);通过从第二几何变形图像中剪切中央正方形区域而得到第二切取图像的步骤(B7);在第二切取图像中提取第二图像特征向量的步骤(B8);计算第二图像特征向量与第一图像特征向量之间的向量间距离的步骤(B9);按照第一图像特征向量的每个样本求出向量间距离,仅残留最短距离的样本的步骤(B10);将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序的步骤(B11);以及按照检索候补排序的顺序进行各样本的候补提示的步骤(B12)。

在此,步骤(B2)~步骤(B8)对应于步骤(A2)~步骤(A8),在图3中,步骤(B2)是指步骤S301,步骤(B3)~步骤(B8)是指步骤S302。此外,步骤(B9)是指图3中的步骤S303,步骤(B10)是指图3中的步骤S304,步骤(B11)是指图3中的步骤S305,步骤(B12)是指图3中的步骤S306。

根据第一实施方式的图像处理方法,在将多个图像排列而得到基于目视观察的见解的情况下,容易全面地掌握疾病部的差异,能够进行高精度的诊断支援。

此外,第一实施方式的程序,例如,如图1所示那样,是用于根据摄影图像诊断病变的诊断支援装置1的图像处理方法的程序。而且,该程序使计算机(装置主体10)执行与上述第一实施方式的图像处理方法的各步骤同样的处理,在避免重复的含义上省略各处理的说明。

根据第一实施方式的程序,装置主体10将上述第一实施方式的程序读出并执行,由此将多个图像排列而得到基于目视观察的见解的情况下,容易全面地掌握疾病部的差异,因此能够进行高精度的诊断支援。此外,第一实施方式的程序存储于装置主体10内的图示省略的程序存储器。

(第二实施方式)

接下来,对第二实施方式进行说明。在以往的正方形图像输入的机械学习中,根据将长方形图像尺寸再生为正方形、或者预先进行切边而成为正方形来得到的低析像度图像进行几何增量,因此存在画质劣化的问题。因此,第二实施方式为,在使用由神经网络构成的识别器进行低析像度正方形图像输入的机械学习时,预先准备从高析像度长方形图像按照多个模式改变旋转角、倍率而得到的低析像度正方形图像,在机械学习的学习时,对预先准备的图像进行停留于不劣化的90度旋转、反转的在线几何增量,并进行使图像的信息量降低停留于最小限度的高精度的学习。而且,在识别器的推论时,也进行同样的几何增量,将增量的量的多个推论值进行平均而作为最终推论值。

图7是表示本发明的第二实施方式的诊断装置100A的构成的框图。如图7所示那样,在本发明的第二实施方式的诊断装置100A上连接有带皮肤镜摄影装置20。

带皮肤镜摄影装置20根据来自诊断装置100A的指示进行摄影,并将摄影图像(皮肤镜学图像)储存于图像存储部15,并且在显示装置40上显示。此外,摄影图像被诊断装置主体10实施图像处理而保存于图像存储部15并且在显示装置40上显示。

输入装置30进行皮肤镜图像的摄影开始指示、后述的皮肤镜学图像中的部位选择操作等。此外,显示装置40例如由LCD(Liquid Crystal Display)监视器等构成,输入装置30由鼠标等构成。

数据存储部16兼作为将为了学习用而赋予的疾病的识别名称与已知的皮肤图像数据建立关联地记录的皮肤图像数据库。

诊断装置主体10a包括参考图像特征向量提取部12、查询图像特征向量提取部13、总体识别器14a、以及取得部11。参考图像特征向量提取部12以及查询图像特征向量提取部13具有与上述第一实施方式同样的构成,因此省略其详细说明,但是在第二实施方式中,在几何变形处理部121中,为了向后述的总体识别器14a的机械学习进行输入,而预先准备从高析像度长方形图像按照多个模式改变旋转角、倍率而得到的低析像度正方形图像。

该预先准备的低析像度正方形图像被向总体识别器14a输入。总体识别器14a基于与被前处理的应该诊断的对象相关的多个未知的皮肤图像数据,来识别是否为疾病。该总体识别器14a包括:至少2个单位识别器142(CNN1)、143(CNN2)……、以及将通过单位识别器142、143而各别地得到的识别值综合而得到最终判断值的判断单元144,以便对应于多个皮肤图像数据,该多个皮肤图像数据包括与对象相关的原图像数据、从原图像数据变换的第一变换图像数据、以及同样从原图像数据变换的第二的变换图像数据中的至少2个。

单位识别器142、143……作为如下的识别器起作用:具有基于涉及疾病的多个已知的皮肤图像数据进行学习的卷积神经网络(CNN:Convolution Neural Network),将由几何变形处理部121生成的变换图像数据,通过向该卷积神经网络输入而被赋予预先学习,并以能够进行应该诊断的疾病的识别的方式生成分类信息。

此外,单位识别器142、143……,例如,可以在诊断装置100A从制造工厂出厂之前在制造阶段被赋予预先学习,也可以在出厂之后在医院侧等被赋予预先学习。在此,所谓“预先”的含义在于,比对应该诊断的疾病进行识别之前。

图8表示卷积神经网络(CNN)的代表性构成。根据图8,卷积神经网络具备:输入层111a,在学习阶段被输入多个已知的皮肤图像数据(变换图像数据),在被检阶段被输入多个未知的皮肤图像数据(变换图像数据);中间层111b,具有多个由卷积层和池化层构成的组,从多个已知的皮肤图像数据或者多个未知的皮肤图像数据提取特征;以及输出层111c,基于所提取的特征,按照诊断对象的每个分类输出识别值。

上述卷积神经网络的处理,经由多级连接的多个处理单元a来进行。各处理单元a的输入输出为通过从输入图像提取的多个特征即特征映像b来表示的多个二维图像。在该情况下,输入图像也可以视为1张特征量映像。在此,卷积计算与池化的单元的对被作为处理单元a而多级连接,并计算特征量向量。构成为,对于该特征量向量,通过后述的判断单元144进行识别处理,并得到输出类别。

判断单元144输入所提取的特征而进行识别。卷积神经网络的学习通过基于误差反向传播法的学习对各层的权重进行更新。作为识别处理而使用多层感知器。多层感知器是由输入层111a、中间层111b、以及输出层111c构成的非线形的类别识别器。各分层间的权重通过基于误差传播法的概率的梯度下降法来求出。在识别时,依次传播特征量,将输出层的各单元的输出作为各类别的事后概率而对图像进行分类。在此,对于由各单位识别器142、143各别地得到的识别值,例如通过进行平均来进行综合,并得到最终判断值。

卷积神经网络是以较高精度对图像进行分类的一般的方法,例如,在互联网URL(http://en.wikipedia.org/wiki/Convolutional neural network)等中详细地记载。卷积神经网络(CNN)是使对脑的神经回路网进行模拟的神经网络成为多层而进行学习的深度学习(深度神经网络;Deep Neural Network)的一种,能够良好地用于图像分析。此外,也能够采用深度学习的其他方法、或者与其他方法组合。

此外,取得部11能够取得多个未知的皮肤图像数据,为了进行构造清楚、部位强调等的图像变换而向查询图像特征向量提取部13输出。

(第二实施方式的动作)

以下,参照图9至图12的流程图,对本发明的第二实施方式的诊断装置100A的动作进行详细说明。图9是说明图像事先增量处理的流程的图,图10是说明用于图像事先增量的几何变形的模式的一个例子的图,图11表示使用预先图像增量处理使总体识别器14a进行机械学习(神经网络)的学习顺序,图12表示使用了学习结束的总体识别器14a的推论顺序。此外,以下的动作能够构成为使计算机执行的学习处理程序。

如图9所示那样,首先,进行摄影图像的事先增量。即,将一般的摄影图像即长方形的高析像度的图像向诊断支援装置100A输入(步骤S10)。而且,在将图像进行几何变形的基础上,以多个模式生成规定的低析像度的正方形图像(例:224×224)(步骤S20)。即,提前准备正方形图像(224×224),在总体识别器14a的神经网络内,仅进行图像不劣化的90×L度旋转、反转的增量。在此,L为0~3的整数,90×L度表示0度、90度、180度、270度。

几何变形的具体例在图10中表示。几何变形通过图像的旋转以及短边长度的伸缩来进行。在图10的上段表示的模式1中,面向一个单位识别器,将图像旋转0度或者90度,然后,进行双方的原图像的短边侧成为224×0.9像素那样的变形。在中段表示的模式2中,面向其他单位识别器,将图像旋转0度、45度、–11度或者22度,然后,进行各个原图像的短边侧成为224×0.9像素、224×0.9像素、224×1.1像素、224×1.2像素那样的变形。在下段表示的模式3中,进一步面向其他单位识别器,将图像旋转0度、45度、11度或者–23度,然后,进行各个原图像的短边侧成为224×0.9像素、224×1.0像素、224×1.12像素、224×1.25像素那样的变形。此外,当使短边侧成为0.9倍时,原图像不收敛到224像素中,因此要进行适当的外插处理。此外,在图10中表示设置有3个单位识别器的例子,但只要设置至少2个单位识别器即可,总之面向各单位识别器以不同模式进行几何变形。

总体识别器14a的机械学习,基于图11所示的如下那样的顺序。首先,为了机械学习用而准备多张(M张)学习图像(参考图像)(步骤S31)。接下来,按照图9的顺序,对学习图像进行N种的事先增量,而成为M×N张(步骤S32)。从这M×N张学习图像中取出规定的图像,并随机地进行90×L度旋转、反转/不反转(步骤S33)。而且,将这些增量后的图像向神经网络输入并进行学习(步骤S34)。判断是否达到学习所需要的次数(步骤S35),重复步骤S33以及步骤S34的顺序。当所需要的次数结束时,生成了学习结束的总体识别器14a(步骤S36)。在此,M以及N为2以上的整数。

使用根据图11中表示的顺序而生成的学习结束的总体识别器14a,以图12所示的如下那样的顺序进行未知的摄影图像(查询图像)的识别(推论)。首先,输入1张预测对象的未知的图像(步骤S41)。接下来,按照图9的顺序,对未知的摄影图像进行N种的事先增量,成为N张(步骤S42)。对于这N张图像的各个,以90×L度旋转、反转/不反转的组合,进行8种的几何变形图像,生成8×N张图像(步骤S43)。而且,将这些8×N张图像向学习结束总体识别器14a分别独立地输入,得到8×N个推论值(步骤S44)。最后,将8×N个推论值进行平均而作为最终推论值(步骤S45)。通过以上,使推论结束(步骤S46)。

此外,作为第二实施方式的放大应用,例如,也可以将在图10的模式1中学习·推论而得到的值、与在模式2或者模式3中学习·推论而得到的值进行平均,而作为最终推论值。

(第二实施方式的效果)

预先准备从高析像度图像进行了旋转·尺寸再生而得到的图像,由此具有的效果为,能够抑制放大等导致的画质劣化、旋转导致的不连续部的产生等,能够将原图像的信息损失抑制到最小限度。

以上,使用实施方式说明了本发明,但是本发明的技术范围当然不限定于上述实施方式所记载的范围。对上述实施方式能够施加多种变更或者改进的情况对于本领域技术人员来说是显而易见的。此外,施加了这样的变更或者改进的方式也包含于本发明的技术范围的情况,根据专利请求的范围的记载可以明确。具体地说,上述实施方式以皮肤的病变作为对象而进行了说明,但本发明除了皮肤以外,例如,也能够应用于眼底、子宫等脏器的病变。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1