图像获取装置、图像获取方法以及程序的制作方法_5

文档序号:9553554阅读:来源:国知局
典型的是形成于半导体层或者半导体基板的光电二极管,接受入射光来生成电荷。二维图像传感器的分辨率依赖于摄像面上的光电变换部的排列间距或者排列密度。各个光电变换部的排列间距短至可见光的波长左右。摄像元件1220的典型例是CCD (Charge Coupled Device,电荷親合器件)图像传感器或者MOS (Metal OxideSemiconductor,金属氧化物半导体)型图像传感器。
[0199]信息处理装置1230被构成为:求出由标本像获取装置1110获取到的图像的特征量,并基于该特征量将病理标本1030的患者信息输出至输出装置1170。更详细而言,信息处理装置1230参照根据患者的标本图像算出的特征量和患者信息被建立了对应的数据库,来搜索与病理标本1030的图像的特征量一致的患者信息。
[0200]信息处理装置1230与输入装置1160以及输出装置1170连接。输入装置1160是用户向信息处理装置1230输入数据或者输入命令的装置。输入装置1160可为键盘、鼠标、触摸屏等。输出装置1170可为能显示图像以及文字的显示器、打印机、扬声器等。输入装置1160以及输出装置1170也可以是触摸屏和显示装置被一体化的装置。
[0201]在数据库中包含与图像的特征量一致的一个患者信息的情况下,信息处理装置1230将该患者信息输出至输出装置1170。此外,在数据库中包含与图像的特征量一致的多个患者信息的情况下,信息处理装置1230在获取具有比该图像的分辨率高的分辨率的高分辨率图像的基础上,参照数据库来搜索与高分辨率图像的特征量一致的患者信息。进而,在数据库中不含与图像的特征量一致的一个患者信息的情况下,信息处理装置1230从输入装置1160接受患者信息的输入,将根据图像算出的特征量和患者信息建立对应后保存至所述数据库。此时,标本像获取装置1110获取具有比最初获取到的图像的分辨率高的分辨率的高分辨率图像,信息处理装置1230将根据获取到的各图像算出的特征量和患者信息建立对应后保存至数据库。
[0202]图45是本公开的第三实施方式中的检体管理装置的框图。如图45所示,本实施方式中的检体管理装置具备:标本支承部1100、标本像获取装置1110、图像特征量算出部1120、信息搜索部1130、患者信息数据库(以下仅称作“数据库”)1140、倍率变更部1150、输入装置1160和输出装置1170。
[0203]要获取或者更新患者信息的病理标本1030被放置在标本支承部1100上。病理标本1030例如可为病理检查所使用的一般的载片。
[0204]标本像获取装置1110以预先规定的多个不同的倍率之中的一个倍率来取入被放置在标本支承部1100上的病理标本1030的图像。图像特征量算出部1120根据由标本像获取装置1110获取到的标本像来算出图像特征量。信息搜索部1130从患者信息和图像特征量被建立对应地蓄积的数据库1140中,搜索是否存在与由图像特征量算出部1120算出的图像特征量一致的患者信息。在由信息搜索部1130获取到的搜索结果存在多个的情况下,倍率变更部1150将获取的倍率变更为高的倍率(高的分辨率),由标本像获取装置1110再次进行图像的取入,并进行高的倍率下的标本的搜索。
[0205]在未能由信息搜索部1130获取图像特征量一致的患者信息的情况下,输入装置1160作为新患者的标本而接受患者信息的输入。在由信息搜索部1130获取到图像特征量一致的患者信息的情况下,输出装置1170输出获取到的患者信息。
[0206]以下,进一步详细说明本公开的实施方式中的各部的动作以及构成。
[0207]<检体管理装置的动作>
[0208]首先,参照图46。图46是表示检体管理的过程的流程图。
[0209]在步骤SlO中,将想要参照或者更新患者信息的标本放置在标本支承部1100上。如图44所示,标本支承部1100可具有正好收纳病理标本1030的大小的凹部。根据这样的标本支承部1100,能够抑制在取入图像时产生标本1030的位置偏离。在日本,一般使用的是按标准规定的76_X26_的尺寸的病理标本。标本支承部1100具有可安放这种大小的病理标本1030的形状。
[0210]再次参照图46。在步骤Sll中,通过标本像获取装置1110利用预先规定的多个不同的倍率之中的一个倍率来获取病理标本1030的图像。图47是表示标本像获取装置1110的构成例的框图。标本像获取装置1110具有:照明方向调整部1200、照明装置1210和摄像元件1220。以由信息处理装置1230指定的任意倍率来获取标本的像(例如整体像)。
[0211]在获取不同的倍率的图像时,能够利用逆矩阵计算部1240以及矩阵保存部1250来进行高分辨率化。逆矩阵计算部1240以及矩阵保存部1250可以如图47所例示的那样被设置在信息处理装置1230内,但也可以将逆矩阵计算部1240以及矩阵保存部1250当中的一者或者两者设置在标本像获取装置1110的内部。关于逆矩阵计算部1240以及矩阵保存部1250的动作的详细将在后面叙述。
[0212]接下来,参照图48来说明本实施方式中的图像获取的处理过程的示例。
[0213]首先,在步骤SllO中,由照明方向调整部1200来调整向标本1030照射的平行光照明的角度。作为调整照明方向的方法,既可以如图49A所示那样设置多个光源使得能够以预先规定的角度来照射光,也可以如图49B所示那样使一个光源移动至被指定的角度。
[0214]在步骤Slll中,通过照明装置1210以在步骤SllO中被调整后的角度向摄影对象的标本照射平行光。在图50A以及图50B中示出照明方向的变化的示例。如图51所示,标本1030和摄像元件1220具有二维的配置关系。在图50A以及图50B中,为了简便,示意性地表示包含一个光电二极管(PD)的I个像素区域的剖面。入射至光电二极管H)的光通过光电变换而被变换为电信号。在图50A以及图50B中,箭头的粗细表示入射至H)的光的量,越是粗的箭头则表示越多的光入射。
[0215]在图50A的示例中,从正上方照射平行光。在此情况下,在光电二极管H)中入射的是透过了标本1030中的区域S2、S3的光。另一方面,在从图50B的角度照射平行光的情况下,透过了标本1030中的区域S2、S3、S4的光入射至光电二极管H)。具体而言,透过了标本1030中的区域S2以及S4的各个区域的光的一半入射至光电二极管H),透过了区域S3的光的大致全部入射至光电二极管H)。在此情况下,与图50A的情况不同的像素值从光电二极管ro输出。
[0216]在图50A以及图50B的示例中,在以一个照射方向进行了拍摄所得的图像中,无法求出区域S1、S2、S3、S4各自的像素值。在本实施方式之中的标本像获取装置中,如图50A以及图50B所示,能够根据以变更了照射方向的状态进行拍摄所得的多个图像来求出与透过了区域S1、S2、S3、S4各个区域的光对应的像素值。这些区域S1、S2、S3、S4是比一个像素的大小要小的区域,相当于子像素区域。以下,更详细地说明该点。
[0217]在此,选取从4个不同的方向1、2、3、4向标本1030照射光的情况为例。在从不同的方向1、2、3、4照射出光的状态下,获取4张图像。关注构成4张图像的像素之中的存在于同一位置的一个像素。将该关注的像素中所含的光电二极管H)的输出,针对光照射的方向
1、2、3、4而分别设为A1、A2、A3、A4。此外,将标本1030中的区域S1、S2、S3、S4的光透过率分别设为S1、S2、S3、S4。在此情况下,在图50A所示的示例中,A1 = 0XS1+1XS2+1XS3+0XS4的式子成立。此外,在图50B所示的示例中,A2 = OXSI+(1/2) XS2+1 XS3+(1/2) XS4的式子成立。假设在未图示的光照射的方向3的示例中,A3 = 0XS1+0XS2+(1/2)S3+1XS4成立,在未图示的光照射的方向4的示例中,A4 = (1/2) XS1+1XS2+(1/2)S3+0XS4成立。
[0218]在以上的示例中,透过率S1、S2、S3、S4依赖于标本1030的组织构造,是未知的。通过获取4张图像而可获得光电二极管H)的输出A1、A2、A3、A4。因此,由于关于4个未知数S1、S2、S3、S4的联立方程式确定,因此能够通过运算来求出S1、S2、S3、S4。
[0219]图52A表示上述的示例中的联立方程式的系数的矩阵。对输出Al、A2、A3、A4的向量运算该矩阵的逆矩阵,从而能够求出比I个像素窄的区域(子像素区域)S1、S2、S3、S4的光透过率。其结果,能够获得具有4倍的分辨率的图像。换言之,能够获得摄像元件1220中的像素密度为4倍的像素密度的高分辨率图像。
[0220]图52A所示的矩阵的数值不依赖于标本1030的组织构造,而依赖于摄像元件1220的构造以及光照射的方向。即便是相同的摄像元件1220,若光照射的方向改变,则矩阵的数值也变化。图52B表示从不同的方向I?8照射光的情况下的矩阵的数值例。在该示例中,由于子像素区域的个数为8,因此至少从不同的方向I?8向标本1030照射光,如果关于各像素而获得8个输出,则能够决定作为未知数的8个子像素区域的光透过率。其结果,能够获得具有8倍的分辨率的图像。换言之,能够获得摄像元件1220中的像素密度为8倍的像素密度的高分辨率图像。
[0221]根据本实施方式,如此实现了图像的高分辨率。换言之,通过改变照明方向来进行拍摄,从而作为标本图像能够获得分辨率(放大倍率)不同的图像,无需利用物镜的焦点对准。
[0222]在步骤S112中,由摄像元件1220来拍摄标本1030。在一般的扫描仪等装置中,大多采用的是行传感器(line sensor),但作为摄像元件1220,通过采用CXD图像传感器等区域传感器,从而能够快速地拍摄识别标本所需的宽范围的图像。此外,在本实施方式之中的标本像获取装置1110中,不具有用于控制摄影倍率的透镜,根据变更了照射方向的多个图像来生成任意倍率的图像。
[0223]在步骤S113中,判定为了生成被指定的倍率的标本像而需要的图像是否全部齐备。在齐备的情况下,进入步骤S114,在不齐备的情况下,返回至步骤S110,取入以需要的角度照射所得的图像。
[0224]在步骤SI 14中,通过信息处理装置1230根据在步骤SllO?步骤SI 13中拍摄到的照射方向不同的多个图像来生成指定倍率的图像。为了生成指定倍率的图像,预先将算出了照射方向和入射至光电二极管PD的光的量的关系的矩阵保存在矩阵保存部1250中。图52A以及图52B示出表示照明方向和入射至传感器的光的关系的矩阵的示例。这样的矩阵可以根据照射角度和光电二极管H)的大小、要求出的像素的大小并通过计算来求出。此夕卜,也可以利用预先已知像素值的测试标本,根据角度来计测哪个像素的光以何种程度入射至光电二极管PD,由此实验性地算出。
[0225]如果将该表示照射方向和入射至摄像元件的光的关系的矩阵设为M,将通过各照射方向所获得的像素值向量设为A,将想要求出的像素值的向量设为S,则关于各像素,MS=A的关系成立。在此,由于矩阵M、A的值已知,因此能够通过逆矩阵计算来求出S的值。在步骤SI 14中,从矩阵保存部1250中获取表示照明方向和入射至光电二极管ro的光的关系的矩阵,通过逆矩阵计算部1240来算出各像素值。通过利用以上构成的标本像获取装置1110,以任意的倍率来拍摄标本的整体像。
[0226]在步骤S12(图46)中,由图像特征算出部1120根据在步骤Sll中获取到的标本图像来算出用于识别检体的图像特征量。作为图像特征量,采用平均亮度等颜色信息、圆形度等形状特征、SIFT, HOG, HLAC等特征。此外,作为病理图像特有的特征量,能够采用核.细胞间的距离、核.细胞的颜色的比率等的特征。
[0227]在图53以及图54中示出病理图像的示例。图53是以高倍率(例如200倍以上的倍率)进行了观察时的病理标本的示例,图54是以低倍率(例如低于10倍的倍率)进行了观察时的病理标本的示例。倍率变为N倍(N设为I以上的整数),相当于图像的分辨率(构成I个图像的像素数或像素密度)增加到NXN倍。另外,显示装置的显示画面上的倍率由显示装置的画面间距相对于摄像元件中的像素间距的比率来规定。
[0228]在病理标本中,在如图53所示那样以高的倍率进行了观察的情况下,能辨别出细胞、核。由于因标本的不同而细胞.核间的配置、距离也不同,因此细胞.核间的平均距离等能够作为用于识别标本的特征来使用。此外,由于病理标本中的观察对象的组织本身为透明的,因此一般进行染色以易于观察。作为染色的种类,存在基本染色方法的HE染色、适应特定的检查目的来进行染色的各种免疫染色。通过这种染色而染成不同颜色的细胞?核的比率也能作为特征来使用。例如,在作为免疫染色之一的K1-67中,增殖细胞被染色为红褐色,除此之外的细胞被染色为蓝色。这样的比率成为用于诊断的指标,但作为病理标本的识别信息也是有用的。此外,在本步骤中,也可以根据病理标本图像的倍率来变更重视的图像特征量。在病理标本的情况下,有图像特征根据观察的倍率而差异较大的特征。在如图53那样以高的倍率进行了观察的情况下,成为能够辨别细胞、核的图像,在低倍率下如图54那样却成为捕捉到病理切片的整体形状的图像。考虑这样的特征,在低倍率的图像中,能够以圆形度、SIFT (Scale-1nvariant Feature Transform)、HOG (Histogram of OrientedGradient)、HLAC (Higher-order Local Autocorrelat1n)等一般的适于形状识别的特征量为中心来使用。此外,在高倍率的图像中,能够以细胞.核的距离、被染色的颜色的比率这样的病理标本特有的特征为中心来使用。具体而言,也可以在图像的分辨率低于基准值时,算出并获取圆形度、SIFT, HOG, HLAC当中的至少一个以上的特征量,在图像的分辨率为基准值以上时,除了特征量之外,还算出细胞或者核间的平均距离以及/或者通过染色被染成不同颜色的比率。
[0229]在步骤S13中,通过信息搜索部1130从数据库1140中获取与在步骤S12中算出的图像特征量一致的患者数据。在图55中示出数据库的示例。数据库存储根据病理标本图像算出的图像特征量、算出了图像特征量的标本图像的摄影倍率、以及患者信息、被建立了对应的患者数据。通过预先以这种形式来保持患者信息,能够从数据库中搜索具有与在
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1