专利名称：图像分析方法以及图像分析装置的制作方法
技术领域：
本发明涉及图像分析方法以及图像分析装置。
背景技术：
以往，作为光栅图像相关分光法(RICS:Raster Image CorrelationSpectroscopy:光栅图像相关光谱),提出了非专利文献1、2所示的方法。在该图像分析方法中，取得I帧以上由光栅扫描图像构成的荧光图像。也就是说，在要进行图像分析的试样中，确定感兴趣的区域，以光栅扫描方式反复扫描该区域，取得多帧由荧光强度构成的图像。帧中的荧光强度按像素单位表示为数据。此处，在进行图像分析的试样中，大分子或小分子共同存在。在这样的情况下，如果要对试样中的小分子进行图像分析，需要消除大分子的影响。现有技术文献非专利文献非专利文献 I !“Measuring Fast Dynamics in Solutions and Cells with aLaser Scanning Microscope，，，Michelle A.Digman, Claire M.Brown, Parijat Sengupta,Paul ff.Wiseman, Alan R.Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89,P1317-1327, August2005.
非专利文献2 !“Fluctuation Correlation Spectroscopy with aLaser-Scanning Microscope:Exploiting the Hidden Time Structure”， MichelleA.Digman, Parijat Sengupta, Paul ff.Wiseman, Claire M.Brown, Alan R.Horwitz, andEnrico Gratton, Biophysical Journal:Biophysical Letters, L33-36,2005.
发明内容
发明所要解决的课题如非专利文献1、2所示，作为消除大分子或不动分子等的影响的方法，存在平均法。在平均法中，计算取得的帧数据的平均图像，将其从原来的帧数据中减去。平均图像与在帧数据中是否包含大分子或不动分子的影响无关，根据所取得的帧中连续的一部分或者全部来计算。因此，大分子或不动分子的影响可与帧数据的变化无关地通过相同的平均图像的相减处理来消除。此处，在所取得的全部图像中存在共有的大分子或不动分子的情况下，从全部图像中分别减去所取得的帧数据的平均图像即可。但是，在所取得的全部图像中，有时在一部分图像中不存在与其它图像共有的大分子或不动分子。在该情况下，本来在这一部分的图像中不存在大分子或不动分子，因此，从这部分图像中减去所取得的帧数据的平均图像是不恰当的。因此，根据非专利文献1、2所示的方法，对于大分子或不动分子的影响，并没有恰当地进行去除(减去平均图像)处理。本发明的目的是提供一种恰当地去除大分子或不动分子的影响的RICS图像分析方法。用于解决课题的手段本发明的图像分析方法，具有:图像取得步骤，按时序取得多帧由多个像素构成的图像，其中，各图像的像素的数据是按时序取得的；分析区域设定步骤，对所述图像设定分析区域；区分值计算步骤，计算所述分析区域的区分值；划分步骤，根据所述区分值，将多个所述图像划分为I个以上的组；平均图像计算步骤，针对每一所述组，计算所述分析区域的平均图像；新建图像计算步骤，针对每一所述组，从所述分析区域的各图像中减去所述平均图像，计算所述分析区域的新建图像；运算步骤，针对每一所述组，根据所述新建图像进行相关值运算。发明效果根据本发明，提供一种恰当地去除大分子或不动分子的影响的RICS图像分析方法。
图1概要地示出本发明的实施方式的图像分析装置。图2示出图1所示的控制部的功能模块。图3是本发明的实施方式的图像分析的流程图。图4示出按时序取得的多帧荧光图像。图5示出观察区域和分析区域。图6示意地示出多帧划分为多组的荧光图像。图7是用亮度示出对小分子的RICS分析所产生的空间相关值的计算结果的图像。图8示出对小分子的RICS分析所产生的空间相关值的拟合结果。图9是用亮度示出对大分子的RICS分析所产生的空间相关值的计算结果的图像。图10示出对大分子的RICS分析所产生的空间相关值的拟合结果。
具体实施例方式以下，参照附图对本发明的实施方式进行说明。图1概要地示出本发明的实施方式的图像分析装置。该图像分析装置以用于对试样进行荧光观察的扫描型共聚焦光学显微镜为基础构成。如图1所示，图像分析装置100具有:向试样S照射激励光的光照射部110、检测从试样S内的测定点发出的光的光检测部130、对图像分析进行必要的控制的控制部160以及支撑试样S的试样台190。试样S用微孔板或载玻片等试样容器收容,放置在试样台190上。例如，试样台190支撑试样S，使其能够相对于光照射部110和光检测部130在横方向(xy方向)和高度方向(z方向)上移动。例如,试样台190包含输出轴相互垂直的3个步进电机，能通过这些步进电机使试样S在xyz方向上移动。图像分析装置100为多重光照射/多重光检测型。因此，光照射部110包含η通道的光源系统111，与此相对应，光检测部130包含η通道的检测系统131。η通道的检测系统131检测分别由于从η通道的光源系统111射出的激励光而生成的荧光。此处，η通道由通道1、通道2、…、通道η构成。通道根据激励光的种类而分别不同。光照射部110的η通道的光源系统111包含:光源112a、…、112η、准直透镜114a、…、114η以及分色镜116a、…、116η。光源112a、…、112η发出激励光,该激励光用于激励试样S中所包含的突光色素,从试样S发出光(突光)。从光源112a、*“、112n发出的激励光的波长与试样S中所包含的荧光色素的种类相对应，相互不同。光源112a、…、112η由例如具有与试样S中的荧光色素对应的振荡波长的激光光源构成。准直透镜114a、…、114η分别对从光源112a、…、112η发出的激励光进行准直。分色镜116a、...、116n分别使通过准直透镜114a、…、114η的激励光向相同的方向反射。分色镜116a、…、116η分别使从图1的上方入射的激励光透射，使从图1的右方入射的激励光反射。其结果是，从光源112a、…、112η分别射出的不同波长的激励光在通过分色镜116a后合成为一条光束。分色镜116η由于不需要透射激励光，所以也可以简单变更为反射镜。光照射部110还包含分色镜122、振镜124、物镜126以及物镜驱动机构128。分色镜122使来自光源系统111的激励光向振镜124反射,使从试样S发出的突光透射。振镜124使激励光向物镜126反射，并且变更其反射方向。物镜126使激励光会聚而照射于试样S内的测定点，并且,取入来自试样S内的测定点的光。关于物镜126,为了形成微小的共聚焦区域(测定点)，使用NA (数值孔径)大的物镜。由此得到的共聚焦区域的大小为直径0.6 μ m左右、长度2 μ m左右的大致圆筒状。振镜124构成使测定点在xy方向上扫描的xy扫描单元。xy扫描单元除了可使用振镜构成以外，也可使用声光调制器(AOM)或多棱镜、全息扫描仪等来构成。物镜驱动机构128使物镜126沿光轴移动。由此，测定点在z方向上移动。也就是说，物镜驱动机构128构成使测定点在z方向上扫描的z扫描单元。光检测部130与光照射部110共享物镜126、振镜124以及分色镜122。光检测部130还包含会聚透镜132、针孔134以及准直透镜136。会聚透镜132使透过分色镜122的光会聚。针孔134配置在会聚透镜132的焦点处。也就是说，针孔134位于与试样S内的测定点共轭的位置，仅使来自测定点的光选择性地通过。准直透镜136使通过针孔134的光平行。通过准直透镜136后的光入射到η通道的检测系统131。n通道的检测系统131包含分色镜138a、…、138n、突光滤光器140a、…、140η以及光检测器142a、…、142n。分色镜138a、…、138n分别选择性地反射荧光的波段附近的波长的光，其中，所述荧光因来自光源112a、…、112n的激励光而从试样S生成。分色镜138η由于不需要使光透射，所以变更为简单的反射镜亦可。荧光滤光器140a、…、140η分别从由分色镜138a、…、138n射的光中，遮断不期望的波长成分的光，仅仅选择性地透射因来自光源112a、…、112η的激励光而生成的荧光。透过荧光滤光器140a、…、140n的荧光分别入射到光检测器142a、…、142n。光检测器142a、…、142n输出与入射光的强度对应的信号。即，光检测器142a、…、142n输出来自试样S内的测定点的突光强度信号。控制部160由例如个人计算机构成。控制部160进行:试样S的观察区域的荧光图像的取得、存储和显示；等待输入对取得的荧光图像的帧数(张数)或分析区域的设定；图像分析(相关值的计算);扩散时间的估计等。此外，控制部160对xy扫描单元即振镜124、z扫描单元即物镜驱动机构128以及试样台190等进行控制。图2示出图1所示的控制部的功能模块。如图2所示，控制部160具有:扫描控制部162、图像形成部164、存储部166、显示部168、输入部170、分析区域设定部172、数据提取部176、分析部178以及台控制部180。由扫描控制部162、图像形成部164、存储部166、台控制部180、振镜124、物镜驱动机构128、台190以及光检测器142构成图像取得部。在取得试样S的荧光图像时，扫描控制部162控制振镜124，使得激励光的照射位置相对于试样S进行光栅扫描。此外,如果需要,扫描控制部162控制物镜驱动机构128,使得激励光的照射位置相对于试样S进行z扫描。图像形成部164根据从扫描控制部162输入的激励光的照射位置的信息以及光检测器142a、…、142η的输出信号形成试样S的荧光图像。由此，能够取得荧光图像。存储部166依次存储由图像形成部164形成的荧光图像。显示部168显示试样S的荧光图像和分析结果。输入部170包含例如鼠标或键盘，与显示部168 —起构成GUI (图形用户界面)。该GUI用于设定取得帧数、观察区域以及分析区域等。台控制部180根据来自输入部170的输入信息控制试样台190，以设定例如观察区域。分析区域设定部172根据来自输入部170的输入信息设定分析区域。数据提取部176根据来自分析区域设定部172的输入信息，从存储在存储部166中的荧光图像中提取必要的数据。必要的数据可以是例如存储在存储部166中的全部荧光图像的全部的像素的数据或一部分的像素的数据，或者，也可以是存储在存储部166中的一部分荧光图像的全部的像素的数据或一部分的像素的数据。分析部178对由数据提取部176提取的数据进行下述的相关值的运算。更具体地讲，分析部178计算出下述的分析区域的区分值，根据区分值将多个荧光图像划分为I个以上的组。进而，分析部178针对每一组，在计算出分析区域的平均图像的基础上，针对每一组，从分析区域的各图像中减去平均图像，计算出分析区域的新建图像。然后，分析部178，针对每一组，根据新建图像进行相关值运算。在图1中，从光源112a、…、112η发出的激励光经过准直透镜114a、…、114η、分色镜116a、…、116η、分色镜122、振镜124以及物镜126,照射于试样S内的测定点。激励光所照射的测定点，通过振镜124而在xy方向上进行光栅扫描。进一步，如果需要，通过物镜驱动机构128进行z扫描。接受到激励光的试样S从测定点发出荧光。来自试样S的光(除包含荧光以外，还包含不期望的反射光等)，经过物镜126、振镜124、分色镜122、会聚透镜132到达针孔134。由于针孔134位于与测定点共轭的位置，所以，仅来自试样S内的测定点的光通过针孔1 34。通过针孔134的光即来自试样S内的测定点的光经过准直透镜136入射到η通道的检测系统131。通过分色镜138a、…、138η，使入射到η通道的检测系统131的光根据波长进行分离(也就是说被分光)，并且，通过荧光滤光器140a、…、140η去除不期望的成分。其结果是，仅有因来自光源112a、…、112η的激励光而生成的荧光分别入射到光检测器142a、…、142η。光检测器142a、…、142η分别输出表不入射光即从试样S内的测定点发出荧光的强度的荧光强度信号。该荧光强度信号被输入到图像形成部164。图像形成部164针对每次光栅扫描(以及ζ扫描)，与xy方向(以及ζ方向)的位置信息同步地处理所输入的荧光强度信号，形成试样S内的焦点面(测定点移动的平面或者曲面)的I帧荧光图像。所形成的荧光图像被保存在存储部166中。此处所述的一系列的动作，反复执行设定的取得帧数，取得设定的帧数的荧光图像。各荧光图像由多个像素构成，像素的数据按时序取得。根据需要，对保存在存储部166中的荧光图像进行处理，并在显示部168上显示。例如，也可以改变测定点的ζ位置，取得多帧荧光图像，将其合成为三维图像，并在显示部168上显示。
以下，参照图3，对图像分析的过程进行说明。此外，适当参照图4 图6，对各步骤进行说明。<步骤 Sl>:设定试样S的观察区域和要取得的荧光图像的帧数。取得设定帧数的设定观察区域的荧光图像。针对相同的观察区域，荧光图像的取得通过相同的扫描方法来进行。所取得的多帧荧光图像是按时序取得的图像，各图像由多个像素构成，像素的数据按时序取得。图4示意地示出按时序取得的多帧荧光图像。在图4中，Fn表示I个通道中的第η帧荧光图像。也就是说，图4示出取得80帧荧光图像的例子。< 步骤 S2>:如图5所示，对所取得的荧光图像的区域(观察区域)设定要分析的区域(分析区域)R2。分析区域R2并非限定·于观察区域Rl的一部分，也可以与观察区域Rl—致。分析区域R2在应用中被默认设定为观察区域R1、即步骤SI中的扫描区域。在对观察区域Rl整体进行分析的情况下，不需要该步骤。< 步骤 S3>:计算分析区域R2的区分值。例如，区分值是分析区域R2的像素的数据的统计值，是分析区域R2的像素的数据的最大值、最小值、平均值、相对差、相对比的任意一种。例如，像素的数据是从2维或者3维的观察区域中得到的荧光强度。例如，相对差是最大值与最小值之间的差。在后续说明中，设荧光图像Fp…、F2tl的分析区域的区分值为Da，设荧光图像F21 >…、F5tl的分析区域的区分值为与Da大为不同的Db，设荧光图像F51、…、F8tl的分析区域的区分值为Da。< 步骤 S4>:根据区分值将多个图像划分为I个以上的组。例如，在区分值大为变化的前后，对图像进行分组。组的个数，根据区分值的变化方式来决定。图6示意地示出多帧被划分为多组的分析区域的荧光图像。在图6中，Fan表示第η帧荧光图像的分析区域的图像。图6示出将图4所示的荧光图像Fp…、F8tl的分析区域的图像Fa1'…、Fa80划分为Ga、Gb这两组的例子。在图6中，图像Fa1'…、Fa20以及图像Fa51,…、Fa8tl被划分为组Ga，图像Fa21、…、Fa5tl被划分为组Gb。< 步骤 S5>:针对每一组，计算出分析区域的平均图像。平均图像可以是各组中所包含的全部图像的平均值，或者也可以是各组中所包含的一部分图像的平均值。例如，在平均图像的计算中，计算各组中所包含的图像的数量，根据计算出的图像的数量计算各组的平均图像。更具体地讲，对于各组中所包含的全部图像，针对构成分析区域的每一像素，计算出像素的数据的平均值。进而，可以将由对每一像素计算出的各像素的数据的平均值所构成的图像作为平均图像。在后续说明中，设组Ga中所包含的图像Fa1'…、Fa2tl和图像Fa51、…、Fa8tl的平均图像为Aa，设组Gb中所包含的图像Fa21、…、Fa5tl的平均图像为Ab。可替代根据图像Fa1'…、Fa2tl和图像Fa51、…、Fa8tl计算出I个平均图像Aa,而根据图像Fa1'…、Fa2tl计算出平均图像Aal,根据图像Fa51、…、Fa8tl计算出另一平均图像Aa2。
< 步骤 S6>:针对每一组，从分析区域的各图像中减去平均图像，计算出分析区域的新建图像。此处，关于从分析区域的各图像中减去平均图像，例如，针对构成分析区域的每一像素，从各图像的像素的数据中减去平均图像的像素的数据，得到由计算出的值构成的图像即可。设第η帧分析区域的新建图像为Fbn。对于组Ga中所包含的图像Fa1'…、Fa2tl、Fa51' …、Fa80,根据 Fb1 = Fa1 — Aa、…、Fb20 = Fa20 — Aa、Fa51 = Fa51 — Aa、…、Fa51 =Fa2tl-Aa，计算出新建图像FV...、Fb2Q、Fb51、…、Fb8tl，对于组Gb中所包含的图像Fa21、…、Fa5。,根据 Fb21 = Fa21 — Ab、…、Fb5tl = Fa5tl — Ab,计算出新建图像 Fb21、…、Fb5。。为了计算新建图像Fb^…、Fb2Q、Fb51、…、Fb8tl，可代替从各图像Fa1'…、Fa2tl、Fa51 >…、Fa8tl中减去共同的Aa,而从各图像Fa^…、Fa2tl中减去所述平均图像Aal,从各图像Fa51、…、Fa8tl中减去所述平均图像Aa2。< 步骤 S7>:针对每一组， 根据新建图像进行相关值运算。关于相关值的运算中所使用的各像素的数据，可以是该像素的数据本身，可以是包含该像素在内的多个像素的数据的统计值。多个像素可以是例如被关注的像素以及与其相邻的像素。统计值可以是例如像素的数据的平均值、最大值、最小值、相对差、绝对差、相对比的任意一种。使用何种统计值，根据希望通过RICS分析得到何种信息来决定。例如，在相关值的运算中，针对每一组，计算出像素的数据的最小值，将计算出的最小值与新建图像的全部的像素的数据相加，对加上最小值后的新建图像计算相关值。通过该处理，新建图像的像素的数据全部为正。此处，例举了为了使新建图像的像素的数据全部为正而加上最小值的例子，但是，相加的值并非限定于最小值，与比最小值大的任意值相加即可。此外，关于相关值的运算，根据像素的数据将图像分别重新构成，对重新构成的图像计算相关值即可。例如，使相邻像素的数据彼此相加，减半像素的数据的数量。或者，将I个像素的数据分为多个。本来，一旦取得图像，则像素的数据的数量不会增加，但是，假定所取得的像素的数据的强度在该像素的数据的周围按高斯分布扩散，补充本来不能取得的像素的数据。虽然本质上像素的数据的数量没有增加，但是观感更好。相关值的运算使用例如下式(I)来计算空间自相关值。[数I]
权利要求
1.一种图像分析方法，其中，包含: 图像取得步骤，按时序取得多帧由多个像素构成的图像，其中各图像的像素的数据是按时序取得的； 分析区域设定步骤，对所述图像设定分析区域； 区分值计算步骤，计算所述分析区域的区分值； 划分步骤，根据所述区分值，将多个所述图像划分为I个以上的组； 平均图像计算步骤，针对每一所述组，计算所述分析区域的平均图像； 新建图像计算步骤，针对每一所述组，从所述分析区域的各图像中减去所述平均图像，计算所述分析区域的新建图像；以及 运算步骤，针对每一所述组，根据所述新建图像运算相关值。
2.根据权利要求1所述的图像分析方法，其中， 所述区分值是所述分析区域的像素的数据的最大值、最小值、平均值、相对差、相对比中的任意一种。
3.根据权利要求1所述的图像分析方法，其中， 所述像素的数据是从2维或者3维观察区域中得到的荧光强度。
4.根据权利要求1所述的图像分析方法，其中， 每一所述组，计算所述像素的数据的最小值，将计算出的最小值与所述新建图像的全部像素的数据相加，针对与所述最小值相加后的新建图像运算相关值。
5.根据权利要求1所述的图像分析方法，其中， 在所述平均图像计算步骤中，计算各组中所包含的图像的数量，根据计算出的图像的数量，计算出各组的平均图像。
6.根据权利要求1所述的图像分析方法，其中， 在所述运算步骤中，根据所述像素的数据，分别重新构成所述多个图像，对重新构成的图像进行相关值运算。
7.根据权利要求1所述的图像分析方法，其中， 所述图像是通过扫描型显微镜得到的。
8.根据权利要求1所述的图像分析方法，其中， 在所述运算步骤中，使用下式(I)或者下式(2)，进行2维或者3维观察区域的相关运算， R (P ,‘个 UiM卜 Kx +i’y +WM1, —》 (Σ χ: ^)7)--…⑴ 此处，Gsa为RICS空间自相关值，I为像素的数据，x、y为测定点的空间坐标，ξ、Ψ为距测定点的空间坐标变化量，M11为数据积和计算的次数，M1为数据总数， Gg.(4:,^) = 丨々彳)* l^x +《’y 此处，Gs。为RICS空间互相关值，I1为通道I的像素的数据，I2为通道2的像素的数据，x、y为测定点的空间坐标，ξ、Ψ为距测定点的空间坐标变化量，M12为数据积和计算的次数，M1为通道I的数据总数，M2为通道2的数据总数。
9.根据权利要求8所述的图像分析方法，其中， 在所述运算步骤中，使用下式(3)来拟合所述空间相关值的计算结果，
10.一种图像分析装置，其具有， 图像取得单元，其按时序取得多帧由多个像素构成的图像，其中各图像的像素的数据是按时序取得的； 分析区域设定单元，其 对所述图像设定分析区域； 区分值计算单元，其计算所述分析区域的区分值；以及 运算单元，其根据所述区分值，将多个所述图像划分为I个以上的组，针对每一所述组，计算所述分析区域的平均图像，针对每一所述组，从所述分析区域的图像中减去所述平均图像，计算所述分析区域的新建图像，对所述新建图像进行相关值运算。
11.根据权利要求10所述的图像分析装置，其中， 所述区分值是所述分析区域的像素的数据的最大值、最小值、平均值、相对差、相对比中的任意一种。
12.根据权利要求10所述的图像分析装置，其中， 所述像素的数据是从2维或者3维观察区域中得到的荧光强度。
13.根据权利要求10所述的图像分析装置，其中， 在所述运算步骤中，针对每一所述组，计算所述像素的数据的最小值，将计算出的最小值与所述新建图像的全部像素的数据相加，对与所述最小值相加后的新建图像进行相关值运算。
14.根据权利要求10所述的图像分析装置，其中， 所述运算单元计算各组中所包含的图像的数量，根据所述图像的数量，针对每一所述组计算所述平均图像。
15.根据权利要求10所述的图像分析装置，其中， 在所述运算步骤中，根据所述像素的数据，分别重新构成所述多个图像，对重新构成的图像进行相关值运算。
16.根据权利要求10所述的图像分析装置，其中， 所述图像是通过扫描型显微镜得到的。
17.根据权利要求10所述的图像分析装置，其中， 所述运算单元根据下式(I)和下式(2)来估计2维或者3维观察区域的分子数或者扩散常数，
18.根据权利要求17所述的图像分析装置，其中， 所述运算单元使用下式(3)来拟合所述空间相关值的计算结果，
全文摘要
步骤S1按时序取得多帧荧光图像。各荧光图像由多个像素构成，像素的数据按时序取得。步骤S2对取得的荧光图像设定分析区域。步骤S3计算分析区域R2的区分值。步骤S4根据区分值将多个图像划分为1个以上的组。步骤S5针对每一组，计算分析区域的平均图像。步骤S6针对每一组，从分析区域的各图像中减去平均图像，计算分析区域的新建图像。步骤S7针对每一组，根据新建图像进行相关值运算。步骤S8使用拟合式，进行扩散时间或者扩散常数、分子数等的估计。
文档编号G01N21/64GK103180718SQ201080069838
公开日2013年6月26日 申请日期2010年10月29日 优先权日2010年10月29日
发明者铃木明美 申请人:奥林巴斯株式会社