专利名称：图像分析方法以及图像分析装置的制作方法
技术领域：
本发明涉及图像分析方法以及图像分析装置。
背景技术：
以往，作为光栅图像相关分光法(RICS:Raster Image CorrelationSpectroscopy:光栅图像相关光谱),提出了非专利文献1、2所示的方法。在该图像分析方法中，取得I帧以上由光栅扫描图像构成的荧光图像。也就是说，在要进行图像分析的试样中，确定感兴趣的区域，以光栅扫描方式反复扫描该区域，取得多帧由荧光强度构成的图像。帧中的荧光强度按像素单位表示为数据。这些像素单位的数据(像素的数据)，由于各自的取得时间以及取得位置不同，所以与各数据对应的取得时间以及取得位置存在偏差。因此，通过使用这些像素的数据来进行空间相关性分析，能够得到分子的波动所导致的相关特性。此处，根据分子的相关特性，能够求出扩散常数或分子数。这样，通过空间相关性分析，能够评价分子扩散时间和分子数等，因此，能够观察分子间的相互作用。现有技术文献非专利文献非专利文献I !“Measuring Fast Dynamics in Solutions and Cells with aLaser Scanning Microscope，，，Michelle A.Digman, Claire M.Brown, Parijat Sengupta,Paul ff.Wiseman, Al an R.Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89,P1317-1327, August2005.
非专利文献2 !“Fluctuation Correlation Spectroscopy with aLaser-Scanning Microscope:Exploiting the Hidden Time Structure”， MichelleA.Digman, Parijat Sengupta, Paul ff.Wiseman, Claire M.Brown, Alan R.Horwitz, andEnrico Gratton, Biophysical Journal:Biophysical Letters, L33-36,2005.
发明内容
发明所要解决的课题以往，在RICS空间相关性分析中，为了得到I个RICS分析结果，仅使用构成I帧图像的像素的数据。这种情况即使在取得I帧以上的图像的情况下也是相同的，为了得到I个RICS分析结果，仅使用构成I帧图像的像素的数据。即，不是使用构成I个图像的像素的数据和构成其它图像的像素的数据来得到I个RICS分析结果。但是，在限定于细胞观察这样的细胞核、细胞膜、细胞质等不同局部的分析区域来进行RICS分析的情况下，该分析区域所包含的像素数少(像素数例如为8X8)。在对这样的区域进行空间相关性分析的情况下，由于用于RICS空间相关性分析的数据量过少，因此会产生分析结果精度下降这样的问题。其原因是，RICS空间相关性运算是一种统计计算，数据量越多则精度越高，数据量越少则误差越大。也就是说，如果进行空间相关性分析的区域所包含的数据量过少，那么作为统计计算的结果，RICS的分析精度下降。
本发明的目的是提供一种RICS图像分析方法，即使对于像素数少的分析区域也能够高精度地进行空间相关性分析。
用于解决课题的手段
本发明的图像分析方法，具有如下步骤:图像取得步骤，按时序取得多帧由多个像素构成的图像，其中，各图像的像素的数据是按时序取得的；分析区域设定步骤，对所述图像设定分析区域；图像选择步骤，从所述图像中选择两帧以上用于分析的图像；以及运算步骤，提取多个数据对，针对全部所述选择图像，进行各所述数据对的积和计算，计算出相关值，其中，所述多个数据对中的各数据对由各所述选择的图像的所述分析区域内的取得时间间隔相同的两个像素构成。
发明效果
根据本发明，提供一种RICS图像分析方法，即使对于像素数少的分析区域也能够高精度地进行空间相关性分析。
图1概要地示出本发明的实施方式的图像分析装置。
图2示出图1所示的控制部的功能模块。
图3是本发明的实施方式的图像分析的流程图。
图4示出图3的流程图中的步骤4中的计算过程。
图5示出按时序取得的多帧荧光图像。
图6示出观察区域和分析区域。
图7示意地示出分成多组的多帧荧光图像的空间相关性运算的积和计算部分。
图8是用亮度来示出对小分子的RICS分析所产生的空间相关值的计算结果的图像。
图9示出对小分子的RICS分析所产生的空间相关值的拟合结果。
图10是用亮度示出对大分子的RICS分析所产生的空间相关值的计算结果的图像。
图11示出对大分子的RICS分析所产生的空间相关值的拟合结果。
图12示出将EGFP溶液的扩散常数(D)转换为分析区域的ROI尺寸并进行比较的结果。
具体实施方式
以下，参照附图，对本发明的实施方式进行说明。
图1概要地示出本发明的实施方式的图像分析装置。该图像分析装置以用于对试样进行荧光观察的扫描型共聚焦光学显微镜为基础构成。
如图1所示，图像分析装置100具有:向试样S照射激励光的光照射部110、检测从试样S内的测定点发出的光的光检测部130、对图像分析进行必要的控制的控制部160以及支撑试样S的试样台190。
试样S用微孔板或载玻片等试样容器收容，放置在试样台190上。例如，试样台190支撑试样S，使其能够相对于光照射部110和光检测部130在横方向(xy方向)和高度方向(z方向)上移动。例如,试样台190包含输出轴相互垂直的3个步进电机，能够通过这些步进电机使试样S在xyz方向上移动。图像分析装置100为多重光照射/多重光检测型。因此，光照射部110包含η通道的光源系统111，与此相对应，光检测部130包含η通道的检测系统131。η通道的检测系统131检测由于分别从η通道的光源系统111射出的激励光而生成的荧光。此处，η通道由通道1、通道2.....通道η构成。通道根据激励光的种类而分别不同。光照射部110的η通道的光源系统111包含:光源112a.....112η、准直透镜
114a.....114η以及分色镜116a.....116η。光源112a.....112η发出激励光，该激励光用
于激励试样S中所包含的突光色素,从试样S中发出光(突光)。从光源112a、...、112n发
出的激励光的波长与试样S中所包含的荧光色素的种类相对应，相互不同。光源112a.....112η由例如具有与试样S中的突光色素对应的振荡波长的激光光源构成。准直透镜114a、...、114η分别对从光源112a、...、112η发出的激励光进行准直。分色镜116a、...、116η分别使通过准直透镜114a、...U 14η的激励光向相同的方向反射。分色镜116a、...、116η分别使从图1的上方入射的激励光透射，使从图1的右方入射的激励光反射。其结果
是，从光源112a.....112η分别射出的不同波长的激励光在通过分色镜116a后合成为一条
光束。分色镜116η由于不需要透射激励光，所以也可以简单变更为反射镜。光照射部110还包含分色镜122、振镜124、物镜126以及物镜驱动机构128。分色镜122使来自光源系统111的激励光向振镜124反射,使从试样S发出的突光透射。振镜124使激励光向物镜126反射，并且变更其反射方向。物镜126使激励光会聚而照射于试样S内的测定点，并且,取入来自试样S内的测定点的光。关于物镜126,为了形成微小的共聚焦区域(测定点)，使用NA (数值孔径)大的物镜。由此得到的共聚焦区域的大小为直径
0.6 μ m左右、长度2 μ m左右的大致圆筒状。振镜124构成使测定点在xy方向上扫描的xy扫描单元。xy扫描单元除了可使用振镜构成以外，也可使用声光调制器(AOM)或多棱镜、全息扫描仪等来构成。物镜驱动机构128使物镜126沿光轴移动。由此，测定点在z方向上移动。也就是说，物镜驱动机构128构成使测定点在z方向上扫描的z扫描单元。光检测部130与光照射部110共享物镜126、振镜124以及分色镜122。光检测部130还包含会聚透镜132、针孔134以及准直透镜136。会聚透镜132使透过分色镜122的光会聚。针孔134配置在会聚透镜132的焦点处。也就是说，针孔134位于与试样S内的测定点共轭的位置，仅使来自测定点的光选择性地通过。准直透镜136使通过针孔134的光平行。通过准直透镜136后的光入射到η通道的检测系统131。η通道的检测系统131包含分色镜138a、...、138η、荧光滤光器140a、...、140n以及光检测器142a.....142η。分色镜138a.....138η分别选择性地反射荧光的波段附近的波长的光，其中，所
述突光因来自光源112a、...、112η的激励光而从试样S生成。分色镜138η由于不需要
使光透射，所以也可以变更为简单的反射镜。荧光滤光器140a.....140η分别从由分色
镜138a.....138η反射的光中遮断不期望的波长成分的光，仅仅选择性地透射因来自光源
112a、...> 112η的激励光而生成的突光。透过突光滤光器140a、...> 140η的突光分别入射到光检测器142a、...、142n。光检测器142a、...、142η输出与入射光的强度对应的信号。SP，光检测器142a、...、142n输出来自试样S内的测定点的突光强度信号。
控制部160由例如个人计算机构成。控制部160进行:试样S的观察区域的荧光图像的取得、存储和显示；等待输入对取得的荧光图像的帧数(张数)或分析区域的设定；图像分析(相关值的计算);扩散时间的估计等。此外，控制部160对xy扫描单元即振镜124、ζ扫描单元即物镜驱动机构128以及试样台190等进行控制。
图2示出图1所示的控制部的功能模块。如图2所示，控制部160包含:扫描控制部162、图像形成部164、存储部166、显示部168、输入部170、分析区域设定部172、图像选择部174、数据提取部176、分析部178以及台控制部180。此处，扫描控制部162、图像形成部164、存储部166、台控制部180以及上述的振镜124、物镜驱动机构128、试样台190、光检测器142构成图像取得部，数据提取部176和分析部178构成运算部。
在取得试样S的荧光图像时，扫描控制部162控制振镜124，使得激励光的照射位置相对于试样S进行光栅扫描。此外,如果需要,扫描控制部162控制物镜驱动机构128,使得激励光的照射位置相对于试样S进行ζ扫描。图像形成部164根据从扫描控制部162输入的激励光的照射位置的信息以及光检测器142a、…、142η的输出信号形成试样S的荧光图像。由此，取得荧光图像。存储部166依次存储由图像形成部164形成的荧光图像。显示部168显示试样S的荧光图像和分析结果。输入部170包含例如鼠标或键盘，与显示部168 —起构成GUI (图形用户界面)。该GUI用于设定取得帧数、观察区域以及分析区域等。台控制部180根据来自输入部170的输入信息来控制试样台190，以设定例如观察区域。分析区域设定部172根据来自输入部170的输入信息设定分析区域。图像选择部174根据来自输入部170的输入信息，选择两帧以上用于分析的荧光图像。数据提取部176根据来自分析区域设定部172和图像选择部174的输入信息，从存储在存储部166中的荧光图像中提取必要的数据。必要的数据是指多个数据对，该多个数据对中的各数据对由图像选择部174选择的各荧光图像的分析区域内的取得时间间隔相同的两个像素构成。这些多个数据对中所包含的数据，例如可以是存储在存储部166中的全部荧光图像的全部的像素的数据或一部分的像素的数据，或者，也可以是存储在存储部166中的一部分荧光图像的全部的像素的数据或一部分的像素的数据。分析部178对由数据提取部176提取的数据进行下述相关值运算。
在图1中，从光源112a、...、112η发出的激励光经过准直透镜114a、…、114η、分色镜116a.....116η、分色镜122、振镜124以及物镜126，照射于试样S内的测定点。激励光所照射的测定点，通过振镜124而在xy方向上进行光栅扫描。进一步，如果需要，通过物镜驱动机构128进行ζ扫描。接受到激励光的试样S从测定点发出突光。来自试样S的光(除包含荧光以外，还包含不期望的反射光等)，经过物镜126、振镜124、分色镜122、会聚透镜132到达针孔134。由于针孔134位于与测定点共轭的位置，所以，仅来自试样S内的测定点的光通过针孔134。通过针孔134的光即来自试样S内的测定点的光经过准直透镜136入射到η通道的检测系统131。通过分色镜138a.....138η，使入射到η通道的检测系统131的光根据波长进行分离(也就是说被分光)，并且，通过荧光滤光器140a.....140η去除不期望的成分。其结果是，仅有因来自光源112a.....112η的激励光而生成的荧光分别入射到光检测器142a、...、142n。光检测器142a、...> 142η分别输出表不入射光即从试样S内的测定点发出的荧光的强度的荧光强度信号。该荧光强度信号被输入到图像形成部164。图像形成部164针对每次光栅扫描(以及z扫描)，与xy方向(以及z方向)的位置信息同步地处理所输入的荧光强度信号，形成试样S内的焦点面(测定点移动的平面或者曲面)的I帧荧光图像。所形成的荧光图像被保存在存储部166中。此处所述的一系列的动作，反复执行设定的取得帧数，取得设定的帧数的荧光图像。各荧光图像由多个像素构成，像素的数据按时序取得。根据需要，对保存在存储部166中的荧光图像进行处理，并在显示部168上显示。例如，也可以改变测定点的z位置，取得多帧荧光图像，将其合成为三维图像，并在显示部168上显示。以下，参照图3和图4，对图像分析的过程进行说明。此外，参照图5 图7，适当地对各步骤进行说明。<步骤 Sl>:对取得试样S的观察区域的荧光图像的帧数进行设定。按时序取得设定的观察区域的设定帧数的荧光图像。对于相同的观察区域，以相同的扫描方法进行荧光图像的取得。即，在向预定的方向照射光后再次向该预定的方向照射光之前进行I组扫描的情况下，扫描分析区域至少2组以上。图5示意地示出所取得的多帧荧光图像。在图5中，Fk表示I个通道中的第k帧的荧光图像。各荧光图像由按时序取得像素的数据的多个像素构成。像素的数据是例如从2维或者3维的观察区域中得到的荧光强度。< 步骤 S2>:如图6所示，对所取得的荧光图像的区域(观察区域)Rl设定要分析的区域(分析区域)R2。分析区域R2并非一定是观察区域Rl的一部分，也可以与观察区域Rl—致。分析区域R2在应用中被默认设定为观察区域R1、即步骤SI中的扫描区域。在对观察区域Rl整体进行分析的情况下，不需要该步骤。〈步骤S3〉:选择两帧以上用于分析的荧光图像。所选择的荧光图像可以是在步骤SI中取得的全部荧光图像，也可以是在步骤SI中取得的荧光图像的一部分。此外，在步骤SI中取得的荧光图像的一部分，可以在时序上连续，也可以在时序上不连续。< 步骤 S4>:从在步骤S3中选择的各荧光图像的分析区域R2内的像素的数据中，提取多个取得时间间隔相同的数据对。进而，对所选择的全部荧光图像进行各数据对的积和计算，计算出相关值。所提取的各数据对可以是与其对应的像素的数据本身，也可以是包含与其对应的像素在内的多个像素的数据的统计值。多个像素可以是例如被关注的像素以及与其相邻的像素。统计值可以是例如像素的数据的平均值、最大值、最小值、相对差、绝对差、相对比的任意一种。使用何种统计值，根据希望通过RICS分析得到何种信息来决定。此外，关于相关值的运算，可以根据像素的数据分别重新构成图像，对重新构成的图像运算相关值。例如，使相邻像素的数据彼此相加，减半像素的数据的数量。或者，将I个像素的数据分为多个。本来，一旦取得图像，则像素的数据的数量不会增加，但是，假定所取得的像素的数据的强度在该像素的数据的周围按高斯分布扩散，补充本来没能取得的像素的数据。虽然本质上像素的数据的数量没有增加，但是观感更好。
相关值的运算使用例如下式(I)来计算空间自相关值。
[数1]
权利要求
1.一种图像分析方法，其中，具有: 图像取得步骤，按时序取得多帧由多个像素构成的图像，其中，各图像的像素的数据是按时序取得的； 分析区域设定步骤，对所述图像设定分析区域； 图像选择步骤，从所述图像中选择两帧以上用于分析的图像；以及 运算步骤，提取多个数据对，针对全部所述选择图像，进行各所述数据对的积和计算，计算出相关值，其中，所述多个数据对中的各数据对由各所述选择图像的所述分析区域内的取得时间间隔相同的两个像素构成。
2.根据权利要求1所述的图像分析方法，其中， 所述选择图像由全部所述图像构成。
3.根据权利要求1所述的图像分析方法，其中， 所述选择图像由一部分所述图像构成。
4.根据权利要求1所述的图像分析方法，其中， 各所述数据对是所述像素的数据的统计值，所述统计值是所述像素的数据的平均值、最大值、最小值、相对差、绝对差、相对比中的任意一种。
5.根据权利要求1所述的图像分析方法，其中， 所述像素的数据是从2维或者3维的观察区域中得到的荧光强度。
6.根据权利要求1所述的图像分析方法，其中， 在所述运算步骤中，根据所述像素的数据分别重新构成所述多个图像，针对重新构成的图像运算相关值。
7.根据权利要求1所述的图像分析方法，其中， 所述图像是通过扫描型显微镜得到的。
8.根据权利要求1所述的图像分析方法，其中， 在所述运算步骤中，使用下式(I)或者下式(2)，进行2维或者3维的观察区域的自相关或者互相关运算，
9.根据权利要求8所述的图像分析方法，其中， 在所述运算步骤中，使用下式(3)来拟合所述空间相关值的计算结果，估计分子数或者扩散常数，
10.一种图像分析装置，其具有: 图像取得单元，其按时序取得多帧由多个像素构成的图像，其中各图像的像素的数据是按时序取得的； 分析区域设定单元，其对所述图像设定分析区域； 图像选择单元，其从所述图像中选择两帧以上用于分析的图像；以及 运算单元，其提取多个数据对，针对全部所述选择的图像，进行各所述数据对的积和计算，计算出相关值，其中，所述多个数据对中的各数据对由各所述选择的图像的所述分析区域内的取得时间间隔相同的两个像素构成。
11.根据权利要求10所述的图像分析装置，其中， 所述选择图像由全部所述图像构成。
12.根据权利要求10所述的图像分析装置，其中， 所述选择图像由一部分所述图像构成。
13.根据权利要求10所述的图像分析装置，其中， 各所述数据对是所述像素的数据的统计值，所述统计值是所述像素的数据的平均值、最大值、最小值、相对差、绝对差、相对比中的任意一种。
14.根据权利要求10所述的图像分析装置，其中， 所述像素的数据是从2维或者3维的观察区域中得到的荧光强度。
15.根据权利要求10所述的图像分析装置，其中， 所述运算步骤根据所述像素的数据分别重新构成所述多个图像，针对重新构成的图像来运算相关值。
16.根据权利要求10所述的图像分析装置，其中，所述图像是通过扫描型显微镜得到的。
17.根据权利要求10所述的图像分析装置，其中， 在所述运算步骤中，使用下式(I)或者下式(2)，进行2维或者3维的观察区域的自相关或者互相关运算，
18.根据权利要求17所述的图像分析装置，其中， 所述运算单元使用下式(3)来拟合所述空间相关值的计算结果，估计分子数或者扩散常数，
全文摘要
步骤S1按时序取得多帧荧光图像。各荧光图像由多个像素构成，像素的数据按时序取得。步骤S2对荧光图像设定分析区域。步骤S3选择两帧以上用于分析的荧光图像。步骤S4提取多个数据对，针对所选择的全部荧光图像，进行各数据对的积和计算，计算出相关值，其中，所述多个数据对中的各数据对由在步骤S3中选择的各荧光图像的分析区域中的取得时间间隔相同的两个像素构成。
文档编号G01N21/64GK103189737SQ201080069870
公开日2013年7月3日 申请日期2010年10月29日 优先权日2010年10月29日
发明者铃木明美 申请人:奥林巴斯株式会社