数据处理装置的制作方法

本发明涉及一种用于处理通过对试样或被检体进行测定或观察而得到的数据的数据处理装置，特别是涉及如下一种数据处理装置：适于通过处理针对相同试样以不同的测定方法或观察方法得到的多个多维(二维、三维等)分析数据，来获取与该试样有关的有意义的信息。

背景技术：

已知对试样或被检体进行规定的测定和分析、来针对该试样收集表示规定物理量的二维分布的数据的各种各样的装置。

例如非专利文献1等中记载的成像质谱显微镜能够一边利用光学显微镜观察生物体试样等的表面的形态，一边测定相同试样表面的具有特定质荷比的离子的二维的强度分布。图5是说明使用成像质谱显微镜获取特定质荷比的二维的离子强度分布图像时的过程的示意图。

成像质谱显微镜能够在对试样100上的规定的二维区域101内精细地划分出的各微小区域102中分别获取规定的质荷比范围内的质谱数据。能够通过从像这样收集到的以各微小区域102的二维的位置信息和质荷比信息为参数的表示离子强度的三维数据(质谱分析成像数据)提取任意质荷比的离子强度，来制作示出该质荷比的二维的离子强度分布的映射图像、即质谱分析成像图像。一般地，具有某个质荷比的离子的强度分布示出了特定物质的分布，因此能够基于质谱分析成像图像来获得例如与特定的疾病相关联的物质(生物标记物)在生物体组织内如何分布等之类的有用的信息。

但是，在成像质谱显微镜中收集的数据的量庞大，因此在调查任一质荷比的质谱分析成像图像是否为有意义的信息上需要大量的劳力。因此，以往利用主成分分析(pca)、簇分析、独立成分分析之类的多变量分析，来进行提取表示特征性的二维分布的质荷比、或者调查表示相似的二维分布的多个质荷比等分析(参照专利文献1)。

利用了多变量分析的这种分析方法不仅被广泛应用于由成像质谱显微镜得到的数据的分析，还被广泛应用于由其它分析装置得到的数据的分析。例如在非专利文献2、3中公开了如下一种技术：对用显微红外成像法、显微激光拉曼光谱成像法得到的图像数据实施主成分分析，来确定试样中含有的物质。

然而，即使设为如上述那样利用了多变量分析，也未必能够获得对分析者来说有用的信息。其理由之一是，例如即使通过对由成像质谱显微镜获得的质谱分析成像数据(多个质谱数据)实施多变量分析而发现表示特异性的二维分布的质荷比或者提取出多个二维分布相似的质荷比，与该二维分布对应的物质也未必是分析者所意图的特异性的物质。另外，在上述以往的分析方法中，光学显微图像始终只不过是用于设定分析者想要实施成像质谱分析的试样上的区域的参照信息。因此，例如即使在光学显微图像上存在表示分析者关注的形状、颜色的部位，分析者也必须进行在显示上逐一地比较图像的作业，以获知表示与该部位相似的二维分布的质荷比，作业非常地麻烦。

专利文献1：日本特开2010-261882号公报

专利文献2：日本特开2009-25275号公报

专利文献3：日本特开2014-215043号公报

非专利文献1：小河洁、《イメージング質量顕微鏡の開発》、株式会社岛津制作所、[线上]、[平成27年5月15日检索]、因特网＜url：http：//www.jst.go.jp/pdf/pc201305_shimadzu.pdf＞

非专利文献2：藤卷康人、其他1位、《顕微赤外イメージング法における多変量解析手法の向上》、东京都产业技术研究中心研究报告、第4号、2009年、[线上]、[平成27年5月15日检索]、因特网＜url：http：//www.iri-tokyo.jp/joho/kohoshi/houkoku/h21/documents/n0915.pdf＞

非专利文献3：《顕微レーザーラマンを用いた主成分分析によるケミカルイメージング》、赛默飞世尔科技公司、[线上]、[平成27年5月15日检索]、因特网＜url：http：//www.thermosci.jp/ft-ir-raman/docs/m05005.pdf＞

技术实现要素：

发明要解决的问题

本发明是为了解决上述问题而完成的，其主要目的在于提供如下一种数据处理装置：进行将通过不同种类的测定或观察等得到的多个数据进行比较或关联的分析处理，由此能够获取在以往的分析方法中无法获得的有用的信息。

用于解决问题的方案

为了解决上述问题而完成的本发明的第一方式的数据处理装置对针对试样上的二维区域通过第一测定方法得到的第一图像数据以及针对该试样上的二维区域通过与所述第一测定方法不同的第二测定方法得到的第二图像数据进行处理，来求出与所述试样有关的信息，该数据处理装置的特征在于，具备：

a)预处理部，其针对第一图像数据和第二图像数据进行位置对准处理以使呈现与试样上的相同部位对应的测定结果的像素在图像上的位置一致，并且针对第一图像数据和第二图像数据进行使第一图像数据和第二图像数据的空间分辨率一致的数据变换处理；以及

b)统计分析处理部，其针对空间上的位置被所述预处理部对准且空间分辨率被所述预处理部统一后的第一图像数据和第二图像数据，对在空间上对应的像素的数据进行统计分析处理，由此计算表示二维的信号强度分布的相似性或差异性的指标值。

作为上述第一测定方法和第二测定方法，能够分别设为质谱分析成像测定、拉曼分光测定、荧光测定、各种波长(太赫兹区域、远近红外区域、可见光区域、紫外区域、x射线区域等)的电磁波的放射强度测定或吸收测定、pet(positronemissiontomography：正电子放射断层摄影)测定、mri(magneticresonanceimaging：磁共振成像)测定、esr(electronspinresonance：电子自旋共振)测定、ct(computedtomography：计算机断层摄影)测定、利用epma(electronprobemicroanalyser：电子探针显微分析仪)进行的表面分析等各种测定和分析、或利用电子显微镜、光学显微镜进行的观察等中的任一种。此外，构成图像数据的各像素的尺寸估计最小为1[nm²]左右，最大为1[m²]左右。

例如在将本发明的第一方式的数据处理装置应用于上述成像质谱显微镜的情况下，能够设为使用利用光学显微镜进行的观察来作为第一测定方法，使用质谱分析成像测定作为第二测定方法。通常，在光学显微观察中能够获得彩色的试样表面图像，但将构成具有特定的颜色(波长)成分的试样表面图像的数据设为第一图像数据即可。具体地说，在光学显微图像中分析者关注的部位或区域示出与其它部位或区域的颜色不同的特征性的颜色的情况下，将构成具有该颜色成分的图像、即示出该颜色的亮度分布的图像的数据设为第一图像数据即可。另外，在质谱分析成像测定中能够针对每个质荷比分别获得示出离子强度分布的图像，但只要将这些构成多个图像的数据设为第二图像数据即可。即，第一图像数据和第二图像数据也可以不是构成一个图像的数据，而是构成多个图像的数据。

此外，使用基于n为2以上的msⁿ测定进行的质谱分析成像测定来作为第二测定方法，由此能够避免夹杂物的影响地将示出源自特定化合物的碎片等的二维分布的图像数据设为处理对象。

在本发明的第一方式的数据处理装置中，在统计分析处理部执行统计分析处理时，需要在第一图像数据和第二图像数据中使呈现与试样上的相同部位对应的测定结果的像素在图像上的位置大致一致。另外，需要使两个图像数据的空间分辨率、也就是一个像素中反映的试样上的微小区域的尺寸一致。因此，在试样上的相同部位所对应的像素在图像上的位置不一致的情况下，预处理部进行某一方的图像的放大/缩小、旋转、变形等适当的位置对准处理。另外，在空间分辨率不一致的情况下，预处理部进行将某一方的图像的空间分辨率降低或者提高(插值)的数据变换处理。由此，由第一图像数据构成的图像与由第二图像数据构成的图像的以像素为单位的对应变得明确。

在上述的光学显微图像和质谱分析成像图像的情况下，通常，光学显微图像的空间分辨率更高。在该情况下，预处理部通过对构成光学显微图像的数据降低空间分辨率来使该光学显微图像数据和质谱分析成像数据的空间分辨率一致即可。

之后，统计分析处理部针对第一图像数据和第二图像数据对在空间上对应的、即在试样上相同位置所对应的像素的数据进行统计分析处理，计算表示二维的信号强度分布的相似性或差异性的指标值。能够用于这种目的的最简单的统计分析处理是计算两个图像数据间的相关系数的相关分析法。另外，也可以利用作为实质上求出相关性的方法的多变量分析，例如偏最小二乘法(pls＝partialleastsquares)、判别分析等。

在本发明的第一方式的数据处理装置中，例如即使在第二图像数据的数据量(图像的个数)庞大的情况下，也能够基于如上述那样作为统计分析处理的结果而得到的指标值，来容易地找出示出与光学显微图像等由第一图像数据构成的图像上的特征性的信号强度分布相似的二维分布的由第二图像数据构成的图像。

在本发明的第一方式的数据处理装置中，优选的是，上述第二图像数据包括构成在各不相同的参数下得到的多个图像的数据，统计分析处理部设为以下结构：提取能够获得与由第一图像数据构成的一个图像中的二维的信号强度分布的相似性高或差异性高的图像的参数。

在第二图像数据是质谱分析成像数据的情况下，上述参数是指质荷比。根据该结构，例如能够提取该信号强度的二维分布示出与光学显微图像中的特定的部位或区域相似的分布的质荷比。例如如果能够利用数据库检索等来根据质荷比确定物质，则也能够调查与分析者在光学显微图像中关注的特定的部位或区域对应的物质。

在如上述那样进行利用了相关系数的统计分析处理的情况下，上述统计分析处理部针对由第二图像数据构成的多个图像中的各个图像计算由第一图像数据构成的一个图像与由所述第二图像数据构成的一个图像的相关系数，并基于该相关系数来提取能够获得二维的信号强度分布的相似性高或差异性高的图像的参数即可。

另一方面，在统计分析处理中利用多变量分析的情况下，能够统一处理构成多个图像的图像数据，因此上述统计分析处理部能够对第一图像数据和第二图像数据进行多变量分析，基于该分析的结果来提取能够获得二维的信号强度分布的相似性高或差异性高的图像的参数。

另外，也可以不仅第二图像数据，第一图像数据也包含构成在不同的参数下得到的多个图像的数据。例如，彩色的光学显微图像能够分离成具有多种颜色成分的试样表面图像，因此颜色或者波长能够视为参数。在该情况下，通过在统计分析处理中利用多变量分析，能够提取二维的信号强度分布相似或不同的第一测定方法中的参数与第二测定方法中的参数的组合。

为了解决上述问题而完成的本发明的第二方式的数据处理装置对针对试样上的二维区域内的多个微小区域中的各个微小区域得到的试样谱数据和作为基准的基准谱数据进行处理，来求出与所述试样有关的信息，该数据处理装置的特征在于，具备：

a)统计分析处理部，其按每个所述微小区域对与该微小区域对应的试样谱数据和所述基准谱数据进行统计分析处理，来计算表示谱的相似性或差异性的指标值；以及

b)图像制作部，其基于由所述统计分析处理部针对每个微小区域得到的指标值，来制作示出与试样上的所述二维区域对应的指标值的二维分布的图像。

在此，谱例如是指将由质谱分析装置获得的质荷比设为一个轴的质谱、将通过电磁波的放射强度的测定或吸收测定而获得的波长或波数或能量设为一个轴的谱等代表性的谱。使用通过n为2以上的msⁿ测定得到的质谱来作为谱，由此能够避免夹杂物的影响地获得基于源自特定化合物的碎片等的msⁿ谱得到的处理结果。另外，谱并不限于通过这种测定来直接获取的谱。例如在本申请人申请的pct/jp2014/082384号的说明书所记载的那样，当在对质谱分析成像数据执行主成分分析等多变量分析时能够求出各主成分的因子载荷量，但因子载荷量是按每个质荷比来求出的，因此能够制作表示质荷比与因子载荷量的关系的质谱形式的因子载荷量谱。因此，也可以将该因子载荷量谱用作基准谱数据，将通过测定得到的质谱用作试样谱数据。

在将本发明的第二方式的数据处理装置应用于成像质谱显微镜、并将与已知的物质对应的质谱用作基准谱数据的情况下，能够利用图像制作部来制作表示该已知的物质存在的可能性高的区域的图像。另外，在将本发明的第二方式的数据处理装置应用于成像质谱显微镜、并将通过对质谱分析成像数据进行主成分分析而得到的适当的主成分的因子载荷量谱设为基准谱数据的情况下，能够利用图像制作部制作示出对被设为测定对象的试样上的二维区域的所有质谱赋予特征的物质与按每个像素存在的物质之间的化学构造的相似性的程度的分布的图像。

另外，为了解决上述问题而完成的本发明的第三方式的数据处理装置对针对试样上的二维区域通过第一测定方法得到的第一图像数据和针对该试样上的二维区域通过与所述第一测定方法不同的第二测定方法得到的第二图像数据进行处理，来求出与所述试样有关的信息，该数据处理装置的特征在于，具备：

a)主成分分析执行部，其对第一图像数据进行主成分分析并按每种主成分求出表示得分值的二维分布的得分值分布数据，并且同样地对第二图像数据进行主成分分析并按每种主成分求出表示得分值的二维分布的得分值分布数据；以及

b)关联主成分提取部，其将由所述主成分分析执行部得到的基于第一图像数据的任意主成分的得分值分布数据与基于第二图像数据的任意主成分的得分值分布数据在空间上进行比较，来提取空间上的相关性高的主成分的组合。

在本发明的第三方式的数据处理装置中，例如能够设为将构成如上述那样的光学显微图像的数据、或通过各种波长的电磁波的放射强度的测定、吸收测定而得到的数据用作第一图像数据，将质谱分析成像数据用作第二图像数据。在该情况下，能够调查在针对光学显微观察、光学测定的主成分分析中求出的主成分与在针对质谱分析成像测定的主成分分析中求出的主成分的相关性，因此例如能够对相关性高的主成分之间的因子载荷量谱进行比较，并根据质荷比和波长这两方或者质荷比和能量这两方来估计特征性的物质。

另外，为了解决上述问题而完成的本发明的第四方式的数据处理装置对第一图像数据和第二图像数据进行处理，来求出与一个或多个试样有关的信息，其中，该第一图像数据包含构成针对试样上的二维区域通过规定的测定方法在不同的第一参数下得到的多个图像的数据，该第二图像数据包含构成针对所述试样上的与所述二维区域不同的二维区域或其它试样的二维区域通过所述规定的测定方法在不同的第二参数下得到的多个图像的数据，该数据处理装置的特征在于，具备：

a)主成分分析执行部，其对第一图像数据进行主成分分析并按每种主成分求出表示第一参数与因子载荷量的关系的因子载荷量谱，并且对第二图像数据进行主成分分析并按每种主成分求出表示第二参数与因子载荷量的关系的因子载荷量谱；以及

b)关联主成分提取部，其将基于第一图像数据的每种主成分的因子载荷量谱与基于第二图像数据的每种主成分的因子载荷量谱进行比较，来提取谱的相关性高的主成分的组合。

在本发明的第四方式的数据处理装置中，用于获得第一图像数据的测定方法与用于获得第二图像数据的测定方法相同。另外，在该情况下，要获得第一图像数据的对象的试样与要获得第二图像数据的对象的试样既可以相同也可以不同。总之，在基于第一图像数据的某种主成分的因子载荷量谱与基于第二图像数据的某种主成分的因子载荷量谱的相关性高的情况下，能够将这些主成分的得分值的二维分布进行比较。

发明的效果

根据本发明所涉及的数据处理装置，能够在确定试样中含有的物质或掌握物质的二维分布或进一步对所确定的物质进行定量的基础上，收集与试样有关的有用的信息。具体地说，根据本发明所涉及的数据处理装置，例如能够简单地调查在光学显微图像上在具有分析者关注的颜色的部位、区域特异性地存在的物质的质荷比。由此，能够容易且准确地鉴定表示分析者关注的二维分布的物质。

附图说明

图1是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第一实施例的概要结构图。

图2是表示第一实施例的成像质谱显微镜系统中的数据处理对象的图像的一例的图。

图3是表示第一实施例的成像质谱显微镜系统中的数据处理的流程图。

图4是用于说明图3中示出的数据处理的示意图。

图5是说明使用成像质谱显微镜获取特定质荷比的二维的离子强度分布图像时的过程的示意图。

图6是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第三实施例的概要结构图。

图7是用于说明第三实施例的成像质谱显微镜系统中的数据处理的示意图。

图8是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第四实施例的概要结构图。

图9是用于说明第四实施例的成像质谱显微镜系统中的数据处理的示意图。

图10是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第五实施例的概要结构图。

图11是用于说明第五实施例的成像质谱显微镜系统中的数据处理的示意图。

图12是表示对从生物体取出的组织切片进行he染色后进行拍摄而得到的光学显微图像的一例的图。

图13是基于关心区域的颜色和非关心区域的颜色将图12示出的图像变换为单色图像后的图像。

图14的(a)是原始的光学显微图像，(c)～(e)是对该图像实施主成分分析而获取到的每种主成分的得分值的分布图像，(b)是根据这些分布图像求出的伪彩色合成图像。

图15的(a)是原始的光学显微图像，(c)～(e)是对该图像实施主成分分析而获取到的每种主成分的得分值的分布图像，(b)是根据这些分布图像求出的伪彩色合成图像。

具体实施方式

参照所附附图对本发明所涉及的数据处理装置的若干个实施例进行说明。

[第一实施例]

图1是包括本发明所涉及的数据处理装置的成像质谱显微镜系统的第一实施例的概要结构图。

该系统包括成像质谱显微镜主体1和数据处理部2。

成像质谱显微镜主体1包括：光学显微观察部11，其获取与试样上的二维区域有关的光学显微观察图像；以及成像质谱分析部12，其针对将相同试样上的规定的二维区域精细地划分出的每个微小区域分别实施规定的质荷比范围内的质谱分析，来分别收集质谱数据。

数据处理部2具备数据保存部21、光学显微图像特征提取部22、图像位置对准处理部23、分辨率调整部24、统计分析处理部25、分析结果显示处理部26来作为功能模块，其中，该数据保存部21具有用于保存光学显微图像数据的光学显微图像数据存储区域211和用于保存质谱分析成像数据的ms成像数据存储区域212。另外，数据处理部2连接有输入部3和显示部4，其中，该输入部3用于用户输入或指示数据处理所需的各种参数，该显示部4用于显示所获取到的各种图像和分析结果。

此外，数据处理部2将个人计算机作为硬件资源，能够通过在该个人计算机上执行被预先安装于该计算机的专用的处理软件来实现各部的功能。

在成像质谱显微镜主体1上放置例如从生物体切下的生物体组织切片等试样。包括光学显微镜和摄像部的光学显微观察部11拍摄该试样表面的光学显微图像，由此得到的图像数据被发送到数据处理部2并被保存于数据保存部21的光学显微图像数据存储区域211。另一方面，虽未图示，但成像质谱分析部12包括利用激光解吸电离法的离子源、飞行时间质谱分析仪等，如已说明过的图5所示的那样，对将试样100上的规定的二维区域101精细地划分出的每个微小区域(该微小区域为一个像素)102照射激光来使存在于该微小区域102的成分进行离子化，按质荷比对所生成的离子进行分离并检测，由此获取质谱数据。然后，所得到的多个微小区域102中的质谱数据被发送到数据处理部2，并被保存于数据保存部21的ms成像数据存储区域212。

此外，成像质谱分析部12根据需要来针对每个微小区域102实施n为2以上的msⁿ测定来收集msⁿ谱数据。因而，还存在ms成像数据存储区域212中保存的质谱数据是msⁿ谱数据的情况。

图2的(a)是生物体试样的光学显微图像的一例，图2的(b)是对相同生物体试样执行成像质谱分析而得到的由总离子电流信号(tic)形成的质谱分析成像图像的一例。该生物体试样是脑梗塞小鼠模型的脑组织切片。参照图3和图4来说明在数据保存部21中保存有构成这种图像的数据的状态下实施的数据处理部2的特征性的处理动作。图3是表示本实施例的系统中的数据处理的流程的流程图，图4是用于说明该数据处理的示意图。

首先，当分析者在输入部3进行规定的操作时，光学显微图像特征提取部22从光学显微图像数据存储区域211读出与所指定的光学显微图像对应的数据，再现光学显微图像并显示在显示部4的画面上。分析者观察所显示的光学显微图像并确定关注的区域或部位，决定对该关注的区域或部位赋予特征的rgb色彩的原色(即r、g和b中的任一个)或除该原色以外的特定颜色，并从输入部3进行指示(步骤s1)。在图2的(a)中示出的例子的情况下，由于脑梗塞而导致血流停止的部位(在图2的(a)中为右侧的呈现白色的部分)、反之血流仍然得到确保的部位(在图2的(a)中为左侧的部分。该部分在彩色图像中用红色表示。)是关注的部位。

接着，光学显微图像特征提取部22通过对光学显微图像进行适当的光学滤波处理来计算关注的区域的特征性的原色的亮度值的分布数据(步骤s2)。例如在如上述那样血流仍然得到确保的部位是关注的区域的情况下，进行仅提取红色的部分的光学滤波处理，来求出各像素处的红色的亮度值数据。如图4所示，该数据是能够制作与关注的部位对应的特定颜色的分布图像(以下称为“特定颜色亮度值分布图像”)的数据。

在此，列举步骤s1、s2的处理的其它的实例。图12是对从生物体取出的组织切片进行苏木精-伊红(he)染色之后进行拍摄而得到的光学显微图像。在该图像中，分析者将在图中用(1)示出的部位指示为关心区域，将用(2)示出的区域指示为非关心区域(虽然在图12中不太清楚，但关心区域和非关心区域在组织的颜色上有差异)。光学显微图像特征提取部22基于关心区域的颜色和非关心区域的颜色将该光学显微图像变换为单色图像，使得越靠近关心区域则颜色越白，越靠近非关心区域则颜色越黑。由此得到的单色图像是图13所示的图像。在该图像中明确地示出了关心区域，能够将该图像用作特定颜色亮度值分布图像。

另外，在关注的区域或部位的特征性的颜色未知、或者在光学显微图像上难以从视觉上区分颜色的差异的情况下，也可以利用主成分分析等多变量分析来求出关注的区域或部位的特征性的颜色，或者变换图像以使颜色的差异变得明确。

图14、图15是表示这样的处理的一例的例子，图14是对图12示出的经过he染色后的光学显微图像进行处理的例子，图15是对图2示出的脑梗塞小鼠模型的脑组织切片的光学显微图像进行处理的例子。在图14、图15中，(a)是原始的图像，(c)～(e)是对构成该图像的各像素的数据执行主成分分析并示出第一至第三主成分(pc1～pc3)的得分值的分布的图像。(b)是对该pc1～pc3的得分值的分布图像分别分配r、g以及b色彩后进行合成所得到的结果。可知在原始的图像中颜色相似的部位在该伪彩色合成图像中清楚地以不同的颜色显示。光学显微图像特征提取部22制作这种伪彩色图像并将其显示于显示部4，由此分析者能够容易地找出关注的区域或部位。

接着，图像位置对准处理部23进行对相同对象物在光学显微图像上和质谱分析成像图像上的像的大小、朝向、失真等进行修正的位置对准处理(步骤s3)。具体地说，例如以所指定的光学显微图像为基准，对质谱分析成像图像进行放大/缩小、旋转以及基于规定算法的变形，由此使两个图像中的试样上的位置关系大致一致。作为此时使用的质谱分析成像图像，优选使用如图2的(b)所示那样的由tic形成的质谱分析成像图像，但也可以是适当的质荷比的质谱分析成像图像。另外，也可以不以光学显微图像为基准而以质谱分析成像图像为基准，但在该情况下，使用光学显微图像计算用于位置对准的调整量，按照该调整量对特定颜色亮度值分布图像进行放大/缩小、旋转、变形即可。此外，为了执行这种图像位置对准处理，例如能够利用专利文献1中记载的方法。

另外，光学显微图像的分辨率(位置分辨率)通常由摄像用摄像机的分辨率决定，与此相对地，质谱分析成像图像的分辨率由为了离子化而向试样照射的激光的光斑直径决定。因此，质谱分析成像图像的分辨率大多比光学显微图像的分辨率低。为了进行后述的运算处理，优选使两个图像的位置分辨率一致，因此分辨率调整部24实施使两个图像的分辨率一致的分辨率调整处理(步骤s4)。

使分辨率一致的简单的方法是使分辨率高的图像的分辨率降低来与低分辨率的图像相匹配的方法。作为这种方法，例如合并处理是有用的。另外，也可以通过提高分辨率低的图像的分辨率来与高分辨率的图像相匹配。为此，在对低分辨率的图像进行上采样处理来使像素数在外观上一致之后，通过利用与某个像素邻近或接近的多个像素值进行的插值处理来计算通过上采样新插入的像素的像素值并填入该像素值即可。作为利用了这种插值处理的分辨率调整处理，例如能够利用在专利文献2、3中记载的方法。

通过上述图像位置对准处理和分辨率调整处理，能够在根据光学显微图像求出的特定颜色亮度值分布图像与质谱分析成像图像之间使处于相同的二维位置的像素彼此对应。因此，统计分析处理部25对构成被实施了图像位置对准处理和分辨率调整处理的特定颜色亮度值分布图像的亮度值数据和质谱分析成像数据应用适当的统计分析方法，以搜索表示与特定颜色亮度值分布图像相似的二维分布的质荷比(步骤s5)。在此能够利用的最简单的统计分析方法是利用了相关系数的相关分析法。

即，某一个质荷比的质谱分析成像图像中的离子强度分布能够用将总像素数设为维度的多维空间中的一个矢量m来表示。另外，特定颜色亮度值分布图像中的亮度值的分布也同样能够用将总像素数设为维度的多维空间中的一个矢量r来表示。因而，能够基于多维空间中的这两个矢量m、r来计算图像之间的相关系数。如图4所示，针对质荷比不同的质谱分析成像图像中的每个质谱分析成像图像分别计算相关系数。正值的相关系数越接近1则意味着该质荷比的离子强度分布越接近亮度值的分布，负值的相关系数越接近-1则意味着该质荷比的离子强度分布越接近将亮度值分布反转后的分布。

统计分析处理部25将如上述那样按每个质荷比计算出的相关系数与预先决定的阈值进行比较，提取表示与亮度值的分布接近的离子强度分布的质荷比(步骤s6)。分析结果显示处理部26将在步骤s6中提取出的一个或多个质荷比作为分析结果来显示在显示部4的画面上(步骤s7)。另外，也可以制作所提取出的质荷比的质谱分析成像图像并将该图像显示在显示部4的画面上。

通过这样，该第一实施例的成像质谱显微镜系统能够提取表示与分析者在光学显微图像中关注的部位或区域的形状相似的离子强度分布的质荷比，来向分析者呈现该质荷比、该质荷比的质谱分析成像图像。另外，也可以通过例如数据库检索等来确定与该质荷比对应的化合物，并显示该化合物名称等。

此外，还能够与此相反地，提取与分析者在光学显微图像中关注的部位的形状不相似的质荷比，确定并显示与该质荷比对应的化合物。

另外，在上述说明中，作为步骤s5中的统计分析方法，使用了利用了简单的相关系数的方法，但也可以利用例如偏最小二乘法(pls)等多变量分析。在例如利用pls的情况下，用矩阵的形式来分别表示构成基于光学显微图像的一个图像的亮度值数据和构成多个图像的质谱分析成像数据，用已知的pls的方法计算得分。pls得分示出了将一方的图像数据设为训练数据的两个数据的相关性，因此能够基于赋予高得分的数据来选择适当的质荷比。另外，如果是计算表示相关性的指标值的多变量分析，则也能够使用除pls以外的多变量分析。

在上述第一实施例中，将根据光学显微图像求出的特定颜色亮度分布图像这种二维数据与每个质荷比的离子强度分布图像这种三维数据进行比较，来提取与二维数据的分布相似的质荷比，但只要是针对相同试样的相同区域获取到的数据，就能够针对除上述以外的各种数据作为二维数据来进行同样的处理。

例如，能够将表示具有特定波长的光或x射线等电磁波的吸收程度或放射强度的分布的数据、表示拉曼散射光或荧光等的强度分布的数据、染色图像数据、通过pet(正电子放射断层摄影)、ct(计算机断层摄影)、mri(磁共振成像)、esr(电子自旋共振)等拍摄到的图像数据、利用了放射线同位素标记的图像数据、用epma、spm(scanningprobemicroscope：扫描探测显微镜)等获取到的表面粗糙度图像数据等用作二维数据。另外，作为三维数据，例如能够使用表示各种波长的光的吸收程度的数据等来代替质谱分析成像数据。

特别是在如上述那样将生物体组织切片等设为对象的情况下，如果将通过对试样进行荧光标记而得到的图像用作试样的光学显微图像，并将通过对试样进行n为2以上的msⁿ测定而得到的质谱分析成像数据用作三维数据，则是有利的。如果不将通过简单的ms¹测定得到的质谱分析成像数据用作三维数据而将通过n为2以上的msⁿ测定得到的质谱分析成像数据用作三维数据，则即使存在夹杂物，也能够排除该夹杂物的影响地获得反映了源自目标化合物的碎片(局部构造)的二维分布的图像数据。另外，如果使用利用与特定的蛋白质结合的荧光色素等对试样进行荧光标记而得到的荧光显微图像，则通过上述步骤s2的处理，能够获得与该特定的蛋白质的分布有关的准确性高的图像。由此，在该特定的蛋白质的分布上光学显微图像与质谱分析成像图像之间的比较的可靠性和准确性提高。

[第二实施例]

如上所述，在第一实施例中，从作为彩色图像的光学显微图像提取特定颜色的亮度分布图像，构成该亮度分布图像的数据是二维数据，但原始的光学显微图像是按rgb的每种颜色(也就是波长)具有亮度的分布，因此该原始的光学显微图像是将颜色或波长设为一个参数的三维数据。因此，能够设为以下结构：对根据构成光学显微图像的数据、即rgb这样的不同颜色中的每种颜色的亮度分布数据和每个质荷比的质谱分析成像数据分别求出的矩阵进行基于pls等多变量分析的统计分析处理，由此提取表示相似的分布的颜色与质荷比的组合或表示相似的分布的波长与质荷比的组合。

在该结构中，也与上述第一实施例同样地，在将生物体组织切片等设为对象的情况下，如果将通过对试样进行荧光标记而得到的图像用作试样的光学显微图像，并将通过对试样进行n为2以上的msⁿ测定而得到的质谱分析成像数据用作三维数据，则是有利的。

[第三实施例]

图6是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第三实施例的概要结构图，图7是用于说明第三实施例的成像质谱显微镜系统中的数据处理的示意图。在图6中对与说明了第一实施例的图1相同的构成要素附加相同的附图标记。

该系统中的数据处理部2具备ms成像数据存储部220、化合物数据库221、基准谱选择部222、统计分析处理部223、相关系数分布图像制作部224来作为功能模块，其中，该ms成像数据存储部220用于保存质谱分析成像数据，该化合物数据库221针对已知的多种化合物登记有质谱(包括msⁿ谱)。

在成像质谱显微镜主体1中利用成像质谱分析部12对规定的试样进行质谱分析成像测定，由此在ms成像数据存储部220中保存与在第一实施例的系统中被保存于ms成像数据存储区域212的数据相同的质谱分析成像数据。

分析者从输入部3指定例如被推测为在试样中含有的观测对象的目标化合物。于是，基准谱选择部222访问化合物数据库221，读出与所指定的化合物对应的质谱，将该质谱作为基准谱而设定于统计分析处理部223。统计分析处理部223针对被设定为基准谱的一个质谱数据和ms成像数据存储部220中保存的每个像素处得到的质谱数据，分别求出信号强度的相关系数(参照图7)。即，针对每个像素求出相关系数来作为表示质谱的相关性的指标值。相关系数分布图像制作部224例如按照色彩等级或者灰度等级将每个像素处的相关系数的值变换为显示颜色或者浓淡，来制作表示其二维分布的图像。然后，在显示部4的画面上显示该图像。

此外，也可以通过进行基于pls等多变量分析的统计分析处理来制作二维地表示粗谱之间的相关性的图像，以替代针对每个像素计算质谱之间的相关系数并制作表示相关系数的分布的图像。

如果质谱的相似性高，则是相同化合物的可能性高，因此如上述那样显示的相关系数分布图像为表示存在分析者所指定的目标化合物的可能性高的区域的二维分布图像。

另外，作为基准谱，也可以不使用如质谱那样通过测定而获得的谱，而使用通过某些数据处理而获得的谱。具体地说，如上述那样，能够通过对质谱分析成像数据进行主成分分析，来针对各主成分制作表示质荷比与因子载荷量的关系的因子载荷量谱。该因子载荷量谱整体上示出了大量存在的相似的局部化学构造。因此，如果将基于通过对作为基准的试样进行测定而得到的质谱分析成像数据计算出的每种主成分的因子载荷量谱设为基准谱，如上述那样制作相关系数分布图像，则能够发现局部化学构造相似的化合物大量存在的区域。

另外，在该第三实施例中，优选与上述第一实施例同样地，将通过n为2以上的msⁿ测定得到的msⁿ谱数据设为处理的对象。例如，在虽然想要调查特定的蛋白质的分布但具有与该蛋白质大致相同的质荷比的夹杂物多、即使利用了msⁿ谱也无法充分地去除夹杂物的影响那样的情况下，如果将按每个像素得到的msⁿ谱数据设为质谱分析成像数据，按每个像素计算与作为基准的msⁿ谱的相关系数或者进行基于pls等多变量分析的统计分析处理，来制作表示相关性的图像，则能够获得夹杂物的影响少的可靠性高的图像。

[第四实施例]

图8是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第四实施例的概要结构图，图9是用于说明第四实施例的成像质谱显微镜系统中的数据处理的示意图。在图8中对与说明了第一实施例的图1相同的构成要素附加相同的附图标记。

在该系统中，作为测定部，与成像质谱显微镜主体1分开地具备用于测定试样上的二维区域内的红外光的吸收率的分布的二维红外吸收测定部5。该二维红外吸收测定部5由红外显微镜的光学系统、线性阵列型检测器以及使试样沿与该检测器的阵列的延伸方向正交的方向移动的试样移动机构组合而成，能够按对试样上的规定的二维区域精细地划分出的每个微小区域获取红外吸收光谱。

数据处理部2具备ms成像数据存储部230、红外吸收成像数据存储部231、图像位置对准处理部232、分辨率调整部233、主成分分析处理部234、pca得分分布数据存储部235、统计分析处理部236、相关结果显示处理部237来作为功能模块，其中，该ms成像数据存储部230用于保存质谱分析成像数据，该红外吸收成像数据存储部231用于保存汇集了每个微小区域的红外吸收光谱数据的红外吸收成像数据。

在成像质谱显微镜主体1中利用成像质谱分析部12对规定的试样进行质谱分析成像测定，由此在ms成像数据存储部230中保存与在第一实施例的系统中被保存于ms成像数据存储区域212的数据相同的质谱分析成像数据。另外，利用二维红外吸收测定部5对相同试样的相同区域进行红外吸收成像测定，由此在红外吸收成像数据存储部231中保存每个微小区域的规定波长范围内的红外吸收光谱数据。

当分析者从输入部3指示开始处理时，与第一实施例中的图像位置对准处理部23和分辨率调整部24同样地，图像位置对准处理部232和分辨率调整部233实施ms成像数据与红外吸收成像数据的图像位置对准处理和分辨率调整处理。这些处理中的任一个处理或两个处理如果没有必要，则能够省略。主成分分析处理部234对已经过图像位置对准处理和分辨率调整处理的ms成像数据和红外吸收成像数据分别执行主成分分析。当进行主成分分析时，针对每种主成分分别计算各像素的得分值，因此将该得分值保存于pca得分分布数据存储部235。

统计分析处理部236从存储部235读出基于ms成像数据的一种主成分的得分值的分布数据和基于红外吸收成像数据的一种主成分的得分值的分布数据，取对应的各像素的得分值的相关性来计算相关系数。例如取基于ms成像数据的第一主成分的得分值的分布数据与基于红外吸收成像数据的第一主成分的得分值的分布数据的空间的相关性来求出相关系数。然后，针对所有主成分的组合同样地计算相关系数。例如图9中所示的那样，相关结果显示处理部237在将基于红外吸收成像数据的主成分(irpc)设为横轴、将基于ms成像数据的主成分(mspc)设为纵轴的框中，制作用颜色表现相关系数的极性、用圆的尺寸表现相关系数的绝对值的大小的图，并在显示部4的画面中显示该图。

通过如上述那样的显示，分析者能够在质谱分析成像测定和红外吸收成像测定中从视觉上掌握得分值的分布相似的主成分。由此，例如能够将与相关性高的主成分对应的各个因子载荷量谱进行比较来获知表示高因子载荷量的质荷比与红外吸收波长的组合，能够根据质荷比和吸收波长两方来鉴定目标化合物。

当然，不仅能够在质谱分析成像测定与红外吸收成像测定之间，还能够在能够按试样上的相同二维区域内的每个微小区域获取与规定的参数相应的数据的测定中应用同样的分析。

[第五实施例]

图10是使用了本发明所涉及的数据处理装置的成像质谱显微镜系统的第五实施例的概要结构图，图11是用于说明第五实施例的成像质谱显微镜系统中的数据处理的示意图。在图10中对与说明了第一实施例的图1相同的构成要素附加相同的附图标记。

数据处理部2具备ms成像数据存储部240、主成分分析处理部243、因子载荷量谱存储部244、统计分析处理部245、相关结果显示处理部246来作为功能模块，其中，该ms成像数据存储部240用于保存质谱分析成像数据。ms成像数据存储部240包括各自独立地保存ms成像数据的第一数据存储区域241、第二数据存储区域242。

在该系统中，利用成像质谱显微镜主体1对不同的两种试样(试样a、b)分别进行质谱分析成像测定，由此在ms成像数据存储部240的第一数据存储区域241、第二数据存储区域242中分别保存质谱分析成像数据。该试样a、b也可以是相同试样上的不同的区域。在此，在对试样a、b进行测定时像素数一致。

当分析者从输入部3指示开始处理时，主成分分析处理部234从存储部240读出与试样a、b分别对应的ms成像数据，并分别对ms成像数据执行主成分分析。然后，通过进行主成分分析，来分别按每种主成分求出上述的因子载荷量谱并保存于因子载荷量谱存储部244。

统计分析处理部245从存储部244读出基于试样a的ms成像数据的一种主成分的因子载荷量谱和基于试样b的ms成像数据的一种主成分的因子载荷量谱，取对应的质荷比的因子载荷量的相关性来计算相关系数。例如取基于试样a的ms成像数据的第一主成分的因子载荷量谱和基于试样b的ms成像数据的第一主成分的因子载荷量谱的在质荷比下的相关性来求出相关系数。然后，针对所有主成分的组合同样地计算相关系数。例如图11中所示的那样，相关结果显示处理部246在将基于试样b的ms成像数据的主成分(ms2pc)设为横轴、将基于试样a的ms成像数据的主成分(ms1pc)设为纵轴的框中，制作用颜色表现相关系数的极性、用圆的尺寸表现相关系数的绝对值的大小的图，并在显示部4的画面中显示该图。

通过如上述那样的显示，分析者能够在针对不同试样进行的质谱分析成像测定中从视觉上掌握因子载荷量谱相似的主成分。由此，例如能够将与相关性高的主成分对应的各个得分值的空间分布进行比较，来在不同的试样中掌握相同的化合物或者化学构造相似的化合物的分布状况。

当然，不仅能够在质谱分析成像测定中，还能够在能够按试样上的相同二维区域内的每个微小区域获取与规定的参数相应的数据的测定中应用同样的分析。

此外，上述实施例均仅是本发明的一例，在上述记载以外的方面，即使在本发明的宗旨的范围内适当进行变形、修正、追加等也包括在本申请权利要求书中，这是显而易见的。

附图标记说明

1：成像质谱显微镜主体；11：光学显微观察部；12：成像质谱分析部；2：数据处理部；21：数据保存部；211：光学显微图像数据存储区域；212：ms成像数据存储区域；22：光学显微图像特征提取部；23、232：图像位置对准处理部；24、233：分辨率调整部；25、223、236、245：统计分析处理部；26：分析结果显示处理部；220、230、240：ms成像数据存储部；231：红外吸收成像数据存储部；221：化合物数据库；222：基准谱选择部；224：相关系数分布图像制作部；234、243：主成分分析处理部；235：pca得分分布数据存储部；237、246：相关结果显示处理部；241：第二数据存储区域；242：第二数据存储区域；244：因子载荷量谱存储部；3：输入部；4：显示部；5：二维红外吸收测定部。