成像数据处理装置以及成像数据处理程序的制作方法

本发明涉及一种成像数据处理装置以及数据处理程序，该成像数据处理装置对通过针对试样上的二维测定区域内的多个微小区域分别实施规定的分析所得到的数据、和通过处理该数据而按每个该微小区域得到的数据进行处理，该数据处理程序用于在计算机上实施该处理。更为详细地说，本发明涉及一种用于在基于测定区域内的每个微小区域的数据制作的图像上设定用户应该特别关注或要重点观察的关心区域(roi＝regionofinterest)的成像数据处理装置以及成像数据处理程序。

背景技术：

质谱分析成像法是如下一种方法：通过针对生物体组织切片等试样上的二维测定区域内的多个微小区域(测定点)分别进行质谱分析，来研究具有特定质量的物质的空间分布，该质谱分析成像法正在不断地应用于新药研发、生物标记搜索、各种疾病/疾患的原因探明等。用于实施质谱分析成像的质谱分析装置一般被称为成像质谱分析装置(参照非专利文献1、2等)。

在成像质谱分析装置中，一般针对试样上的多个微小区域分别获得遍及规定的质荷比(m/z)范围的质谱数据(包括n为2以上的msⁿ谱数据)。当用户指定源自想要观察的化合物的离子的m/z值时，成像质谱分析装置的数据处理部在各微小区域中提取与该指定的m/z值对应的信号强度值。然后，按照灰阶或色标使该信号强度值可视化，从而制作与微小区域的位置对应的二维图像(质谱分析成像图像，以下称为“ms成像图像”)并显示在显示部的画面上。

近年来，正在盛行以下研究：通过使用这样的成像质谱分析装置对从生物体组织切取的试样进行观察，来研究生物体中的各种脏器或器官内的化合物的分布差异、和/或病理部位与健康部位的化合物的分布差异等。在进行这样的测定和解析时，经常希望在多个试样之间将特定化合物的分布进行比较。例如，在医药品的研究和开发的现场经常存在以下情况：将从老鼠等实验动物的脏器切取的切片作为试样，希望针对药物的有无投放、投放的药物的种类及量的差异、药物投放后的经过时间等来比较在该脏器中的特定部位产生的病变组织的状态的变化。在这样的情况下，如果将与从药物投放条件不同的老鼠采集的同一脏器的特定化合物对应的ms成像图像进行比较，则仅通过光学显微观察就能够掌握未知的病变组织的变化。

另外，最近还进行了以下尝试：对从老鼠的脏器连续地以切片状切取的多个切片试样(以下称为“连续切片试样”)分别实施成像质谱分析，并将各切片试样的二维的ms成像图像进行层叠，由此制作三维的ms成像图像(参照非专利文献3等)。

在如上所述那样将针对从不同实验动物的同一脏器的同一部位分别采集的试样获取到的质谱分析成像数据进行比较的情况下，即使是同一脏器的同一部位，也存在个体差异，因此无法避免应该比较的部位的形状和大小存在某种程度的差异。另外，即使是从相同个体的同一脏器切取的连续切片试样，测定对象部位的形状和大小也并非完全相同，通常存在某种程度的差异。因此，在进行源自多个试样的质谱分析成像数据的比较解析、将源自连续切片试样的质谱分析成像数据层叠的处理时，需要以使相同部位的位置、大小、形状等尽可能一致的方式进行ms成像图像的位置对准。

以往，一般来说，操作者一边在显示画面上确认作为位置对准对象的多个ms成像图像，一边通过以手动作业方式进行移动、旋转、放大/缩小、非线性变形等图像变形处理来进行位置对准。然而，这样的作业费时费工，效率低。另外，ms成像图像原本表示源自具有某质量的化合物的离子的强度分布、即存在量的分布，未必示出某部位或组织构造的轮廓、边界，因此难以在ms成像图像之间进行准确的位置对准。

与此相对地，在专利文献1、非专利文献4等中公开了如下一种方法：使作为比较解析或重合处理的对象的多个ms成像图像进行变形，由此以使被推断为相同的部位之间的位置、大小、形状等一致的方式进行位置对准。

然而，即使使用这样的方法使多个图像中的一个或多个图像变形来进行位置对准，也存在如下的问题。

在将多个ms成像图像彼此进行比较的情况下，图像内大多只有一部分区域是应该关注的区域。因此，用户(操作者)通常在进行了位置对准后的一个ms成像图像上设定适当的大小和范围的一个或多个关心区域(roi)，使用该关心区域中包含的微小区域内的质谱数据来进行主成分分析、最小二乘回归分析、判别分析等多变量解析，或者进行基于假设检验的解析。为了高精度地进行这样的解析，重要的是，同在与某一个试样有关的ms成像图像上设定的关心区域相同范围的关心区域也能在与其它试样有关的ms成像图像上被准确地设定。作为进行这样的关心区域的自动设定的方法，已知专利文献2所记载的方法。

在该专利文献2所记载的方法中，在通过移动、旋转等比较简单的变形来进行图像的位置对准的情况下，能够在与其它试样有关的ms成像图像上设定适当的关心区域。另外，特别是在试样为生物体组织切片的情况下，在进行位置对准时，图像会相当复杂地变形。因此，尽管在多个ms成像图像中在外观上关心区域的位置、大小、形状等基本一致，但在以对应于微小区域的像素为单位的情况下，与由用户设定的关心区域对应的像素未必准确地包含在自动设定的关心区域中。因此，如果基于关心区域中包含的像素的质谱数据进行多变量解析或假设检验，则实际上有可能将偏离关心区域的微小区域中的数据用于解析，从而使解析的精度降低。

另外，如上所述的问题不限于质谱分析成像，在使用通过拉曼光谱成像或红外分光成像等其它测定方法或观察方法得到的成像数据进行比较解析或差异解析等时也存在同样的问题。

现有技术文献

专利文献

专利文献1：日本特开2009-25275号公报

专利文献2：国际公开第2014/076789号刊

非专利文献

非专利文献1：“imscopetrioイメージング質量顕微鏡”，[线上]，[平成30年3月28日检索]，株式会社岛津制作所，因特网<url：http：//www.an.shimadzu.co.jp/bio/imscope/>

非专利文献2：绪方是嗣，其他8位，“イメージング質量顕微鏡imscopeによるメタボローム解析”，岛津评论编辑部，岛津评论，第70卷，第3·4号，2014年3月31日发行

非专利文献3：dominic.j.hare，其他7位，“three-dimensionalatlasofiron，copper，andzincinthemousecerebrumandbrainsten”，analyticalchemistry，2012年，vol.84，pp.3990-3997

非专利文献4：walidm.abdelmoula，其他9位，“automaticregistrationofmassspectrometryimagingdatasetstotheallenbrainatlas”，analyticalchemistry，2014年，vol.1486，pp.3947-3954

技术实现要素：

发明要解决的问题

本发明是鉴于上述问题而完成的，其目的在于提供如下一种成像数据处理装置以及成像数据处理程序：例如在为了进行从不同的试样分别得到的多个质谱分析成像数据等成像数据的比较解析、差异解析等而在基于成像数据的图像上设定关心区域时，能够在与各试样分别对应的图像上准确地设定关心区域。

用于解决问题的方案

为了解决上述问题而完成的本发明所涉及的第一方式的成像数据处理装置用于处理成像数据，该成像数据是通过在试样上的二维测定区域内的多个微小区域中分别进行规定的分析或观察而得到的数据的集合，所述成像数据处理装置对针对作为观察对象的部位相同或彼此相似的多个试样分别得到的成像数据、或者针对作为观察对象的部位相同的一个试样用不同的分析或观察方法得到的或在不同的参数下得到的成像数据进行处理，所述成像数据处理装置具备：

a)图像位置对准处理部，其将基于作为处理对象的多个成像数据生成的多个图像中的一个图像设为基准，进行伴有除被设为基准的所述图像以外的其它图像中的各微小区域的位置移动的变形处理，以使分别得到的一个或多个试样的相同或彼此相似的部位一致；

b)关心区域设定受理部，其用于使用户在被所述图像位置对准处理部设为基准的图像上或者在被所述图像位置对准处理部变形后的图像中的一个图像上设定关心区域；以及

c)关心区域对应微小区域决定部，其在从由所述图像位置对准处理部处理后的多个图像以及被设为基准的图像中去除了被所述关心区域设定受理部设定了关心区域的图像后的其它图像中，将在由该图像位置对准处理部进行处理时发生了移动的微小区域的中心点存在于由所述关心区域设定受理部设定的关心区域的框内的微小区域视为包含于该关心区域的微小区域，由此在各图像中决定包含于关心区域的微小区域。

为了解决上述问题而完成的本发明所涉及的第一方式的成像数据处理程序用于处理成像数据，该成像数据是通过在试样上的二维测定区域内的多个微小区域中分别进行规定的分析或观察而得到的数据的集合，所述成像数据处理程序用于对针对作为观察对象的部位相同或彼此相似的多个试样分别得到的成像数据、或者针对作为观察对象的部位相同的一个试样用不同的分析或观察方法得到的或在不同的参数下得到的成像数据进行处理，所述成像数据处理程序使计算机作为以下功能部进行动作：

a)图像位置对准处理功能部，其将基于作为处理对象的多个成像数据生成的多个图像中的一个图像设为基准，进行伴有除被设为基准的所述图像以外的其它图像中的各微小区域的位置移动的变形处理，以使分别得到的一个或多个试样的相同或彼此相似的部位一致；

b)关心区域设定受理功能部，其用于使用户在被所述图像位置对准处理功能部设为基准的图像上或者在被所述图像位置对准处理功能部变形后的图像中的一个图像上设定关心区域；以及

c)关心区域对应微小区域决定功能部，其在从由所述图像位置对准处理功能部处理后的多个图像以及被设为基准的图像中去除了被所述关心区域设定受理功能部设定了关心区域的图像后的其它图像中，将在由该图像位置对准处理功能部进行处理时发生了移动的微小区域的中心点存在于由所述关心区域设定受理功能部设定的关心区域的框内的微小区域视为包含于该关心区域的微小区域，由此在各图像中决定包含于关心区域的微小区域。

本发明所涉及的处理对象的成像数据能够设为由以成像质谱分析装置为首的光学显微镜、相差显微镜、共聚焦显微镜等各种显微镜、傅立叶变换红外分光光度测定成像装置、拉曼光谱成像装置、电子探针显微分析仪等得到的、试样上的二维测定区域内的多个微小区域的各微小区域的数据。作为进行图像位置对准的对象的成像数据既可以是通过相同的分析或观察方法得到的数据，也可以是通过不同的分析或观察方法得到的数据。

另外，无论将哪一个成像数据设为处理对象的情况下，图像位置对准处理部都将每一个微小区域的一个数据值(例如信号强度值)用于图像位置对准。因而，在例如光学显微镜等那样在每一个微小区域(像素)中存在与作为颜色的三原色的r、g、b等多种成分有关的数据值的情况下，选择最好地表示图像的特征的一种成分的数据值，或者使用将这些多种成分合成为一种而得到的成分的数据值。另外，在如成像质谱分析装置、傅立叶变换红外分光光度测定成像装置那样在每一个微小区域中存在与多种成分(质荷比、波长)有关的数据值的情况下，优选选择其中一种成分的数据值，或者对每个微小区域执行主成分分析等多变量解析，将代表性的主成分的得分值等用作该微小区域的数据值。

在本发明所涉及的第一方式的成像数据处理装置中，例如在通过用成像质谱分析装置分别对两个试样进行测定而得到的成像质谱分析数据是处理对象的情况下，图像位置对准处理部将与一个试样有关的如上述那样基于作为特征性的一种成分的质荷比的数据值(信号强度值)生成的图像、即ms成像图像设为基准，来进行使与另一个试样有关的相同质荷比的ms成像图像变形的处理，由此以使相同部位一致的方式进行图像的位置对准。在该图像的变形时，例如能够使用平移、旋转、放大缩小等线性的仿射变换、b-spline法等非线性变换。在任何情况下，在为了使图像的图案一致而使一个图像变形时，构成图像的各微小区域的位置都移动。

此外，即使在进行ms成像图像之间的位置对准的情况下，也可以不必根据ms成像图像求出用于进行该位置对准的图像的变形信息。ms成像图像一般是表示具有特定质量的化合物的分布的图像，因此，例如有时没有准确地表示特定的生物体组织中的某个部位的轮廓。试样的外形特征(换言之为视觉特征)清晰的图像更容易实施图像的位置对准，且位置对准的准确性也高。因此，在与成像质谱分析数据一起得到与相同试样有关的光学显微图像的情况下，也可以使用光学显微图像获取用于位置对准的图像的变形信息，利用获取到的该变形信息使ms成像图像变形。

关心区域设定受理部使被图像位置对准处理部设为基准的图像即没有变形的图像、或者变形后的图像中的一个图像显示在显示部的画面上，使用户在该图像上设定关心区域。在如上所述那样使用光学显微图像获取用于位置对准的图像的变形信息并基于该变形信息使ms成像图像等变形的情况下，可以将原来的光学显微图像视为被设为基准的图像，并将其用于关心区域的设定。此外，关心区域设定受理部例如只要将通过用户操作鼠标等指示设备而在图像上指示的范围识别为关心区域即可。

由于上述基准的图像在图像位置对准处理部中没有变形，因此构成图像的各微小区域的位置与测定时相同。与此相对地，在图像位置对准处理部中图像发生了变形时，除该被设为基准的图像以外的图像的微小区域有可能移动。因此，在本发明的第一方式所涉及的装置中，关心区域对应微小区域决定部在包括基准图像和变形处理后的图像在内的所有的作为比较对象的图像中，在与被设定了关心区域的图像上的关心区域相同的位置处确定关心区域，将中心点存在于该关心区域的框内的微小区域视为包含于该关心区域的微小区域。如果假设微小区域没有因图像变形处理而发生移动，则各微小区域的中心点也不移动，因此各图像上的关心区域的框内所包含的微小区域与被设定了关心区域的图像的微小区域完全相同。另一方面，在微小区域由于图像变形处理而大幅地移动的情况下，在除被设定了关心区域的图像以外的图像中，在被设定了关心区域的图像中不包含于关心区域的微小区域的中心点有可能存在于关心区域的框内。在该情况下，包含于关心区域的微小区域与被设定了关心区域的图像的包含于关心区域的微小区域至少有一部分不同。

这样，在本发明所涉及的第一方式中，即使在由于进行图像的位置对准时的图像变形处理而导致得到了成像数据的各微小区域的位置在图像上发生了移动的情况下，也能够准确地提取包含在用户所设定的关心区域中的微小区域。这样，在包括进行了变形处理后的图像在内的全部的作为比较解析和/或差异解析对象的图像中，能够基于在准确地包含在用户所设定的关心区域中的微小区域中得到的数据进行多变量解析和/或假设检验。

另外，为了解决上述问题而完成的本发明所涉及的第二方式的成像数据处理装置用于处理成像数据，该成像数据是通过在试样上的二维测定区域内的多个微小区域中分别进行规定的分析或观察而得到的数据的集合，所述成像数据处理装置对针对作为观察对象的部位相同或彼此相似的多个试样分别得到的成像数据、或者针对作为观察对象的部位相同的一个试样用不同的分析或观察方法得到的或在不同的参数下得到的成像数据进行处理，所述成像数据处理装置具备：

a)图像位置对准处理部，其将基于作为处理对象的多个成像数据生成的多个图像中的一个图像设为基准，进行伴有除被设为基准的所述图像以外的其它图像中的各微小区域的位置移动的变形处理，以使分别得到的一个或多个试样的相同或彼此相似的部位一致；

b)关心区域设定受理部，其用于使用户在被所述图像位置对准处理部设为基准的图像上或者在被所述图像位置对准处理部变形后的图像中的一个图像上设定关心区域；以及

c)关心区域内数据值运算部，其在从由所述图像位置对准处理部处理后的多个图像以及被设为基准的图像中去除了被所述关心区域设定受理部设定了关心区域的图像后的其它图像中，在与由所述关心区域设定受理部设定的关心区域相当的关心区域的框内，通过使用在由所述图像位置对准处理部进行处理时发生了移动的多个微小区域的中心点的位置处的数据值进行插值处理，来计算与在被设定了所述关心区域的图像上由所述关心区域设定受理部设定的关心区域的框内存在的微小区域的中心点对应的位置处的数据值，采用计算出的该数据值来作为在去除被设定了所述关心区域的图像后的其它图像上的关心区域中包含的虚拟的各微小区域的数据值。

另外，为了解决上述问题而完成的本发明所涉及的第二方式的成像数据处理程序用于处理成像数据，该成像数据是通过在试样上的二维测定区域内的多个微小区域中分别进行规定的分析或观察而得到的数据的集合，所述成像数据处理程序用于对针对作为观察对象的部位相同或彼此相似的多个试样分别得到的成像数据、或者针对作为观察对象的部位相同的一个试样用不同的分析或观察方法得到的或在不同的参数下得到的成像数据进行处理，所述成像数据处理程序使计算机作为以下功能部进行动作：

a)图像位置对准处理功能部，其将基于作为处理对象的多个成像数据生成的多个图像中的一个图像设为基准，进行伴有除被设为基准的所述图像以外的其它图像中的各微小区域的位置移动的变形处理，以使分别得到的一个或多个试样的相同或彼此相似的部位一致；

b)关心区域设定受理功能部，其用于使用户在被所述图像位置对准处理功能部设为基准的图像上或者在被所述图像位置对准处理功能部变形后的图像中的一个图像上设定关心区域；以及

c)关心区域内数据值运算功能部，其在从由所述图像位置对准处理功能部进行处理后的多个图像以及被设为基准的图像中去除了被所述关心区域设定受理功能部设定了关心区域的图像后的其它图像中，在与由所述关心区域设定受理功能部设定的关心区域相当的关心区域的框内，通过使用在由所述图像位置对准处理功能部进行处理时发生了移动的多个微小区域的中心点的位置处的数据值进行插值处理，来计算与在被设定了所述关心区域的图像上由所述关心区域设定受理功能部设定的关心区域的框内存在的微小区域的中心点对应的位置处的数据值，采用计算出的该数据值来作为去除被设定了所述关心区域的图像后的其它图像上的关心区域中包含的虚拟的各微小区域的数据值。

在本发明的第二方式中，由图像位置对准处理部和关心区域设定受理部进行的处理与第一方式中的处理完全相同。当在基准图像上或变形后的一个图像上设定关心区域时，在本发明的第二方式中，关心区域内数据值运算部在除被设定了该关心区域的图像以外的其它图像上，通过插值运算来计算与由关心区域设定受理部设定的关心区域相当的关心区域中包含的虚拟的微小区域的数据值。在此之所以称为“虚拟的微小区域”，是由于：实际的微小区域通常在图像变形时发生了移动，因此被设定了关心区域的图像上的微小区域的位置与其它图像上的微小区域的位置不同的可能性高，但“虚拟的微小区域”是视为微小区域没有移动时的、即与被设定了关心区域的图像处于相同位置时的微小区域。

具体地说，关心区域内数据值运算部例如通过基于处于因图像变形而发生了移动的状态的多个微小区域的中心点的位置处的数据值进行插值处理，来计算关心区域内的虚拟的微小区域的中心点的位置处的数据值。该插值处理的方法没有特别限定，另外，为了求出某一个微小区域的中心点的位置处的数据值，也可以使用几个其周围的处于移动状态的微小区域的数据值。但是，处于由于图像变形而发生了移动的状态的多个微小区域的中心点不在直线上排列的可能性高，而且并非等间隔的可能性也高，因此优选使用即使在这样的条件下也能够以高精度进行插值的方法。这样，关心区域内数据值运算部在除被设定了关心区域的图像以外的其它的各图像上，通过插值处理来求出关心区域内的虚拟的微小区域的中心点的位置处的数据值。然后，将中心点存在于关心区域的框内的假定的微小区域视为该关心区域中包含的微小区域。此外，关于被设定了关心区域的图像，仅将中心点存在于关心区域的框内的微小区域设为包含于该关心区域的微小区域即可。

通过这样，在本发明所涉及的第二方式中，即使在由于进行图像的位置对准时的图像变形而导致得到了成像数据的各微小区域的位置在图像上发生了移动的情况下，也能够准确地提取包含在用户所设定的关心区域中的微小区域。这样，在包括进行了变形处理后的图像在内的全部的作为比较解析或差异解析对象的图像中，能够基于在准确地包含在用户所设定的关心区域中的微小区域中得到的数据进行多变量解析、假设检验。

另外，在由图像位置对准处理部进行了变形处理后的图像上设定关心区域的情况下，如果微小区域的形状因变形而不是矩形形状，则有时难以将该图像直接显示在显示部的画面上。因此，在该情况下，优选通过基于变更后的各微小区域的数据值进行插值处理，来显示将各微小区域的形状在外观上整形为矩形形状的图像，使得在该图像上能够进行关心区域的设定。

即，为了解决上述问题而完成的本发明所涉及的第三方式的成像数据处理装置用于处理成像数据，该成像数据是通过在试样上的二维测定区域内的多个微小区域中分别进行规定的分析或观察而得到的数据的集合，所述成像数据处理装置对针对作为观察对象的部位相同或彼此相似的多个试样分别得到的成像数据、或者针对作为观察对象的部位相同的一个试样用不同的分析或观察方法得到的或在不同的参数下得到的成像数据进行处理，所述成像数据处理装置具备：

a)图像位置对准处理部，其将基于作为处理对象的多个成像数据生成的多个图像中的一个图像设为基准，进行伴有除被设为基准的所述图像以外的其它图像中的各微小区域的位置移动的变形处理，以使分别得到的一个或多个试样的相同或彼此相似的部位一致；

b)关心区域设定受理部，其将由用户在被所述图像位置对准处理部变形后的图像中选择出的一个图像划分为规定的微小范围，通过使用在由所述图像位置对准处理部进行变形处理时发生了移动的多个微小区域的中心点的位置处的数据值进行插值处理，来计算与各微小区域的中心点对应的数据值，显示基于通过该插值处理计算出的数据值的图像，从而使用户在该图像上设定关心区域；以及

c)关心区域内数据值运算部，其在从由所述图像位置对准处理部进行处理后的多个图像以及被设为基准的图像中去除了被所述关心区域设定受理部设定了关心区域的图像后的其它图像中，至少针对由所述图像位置对准处理部进行了变形处理后的图像，按每个图像，在与由所述关心区域设定受理部设定的关心区域相当的关心区域的框内，通过使用在由所述图像位置对准处理部进行处理时发生了移动的多个微小区域的中心点的位置处的数据值进行插值处理，来计算与在被设定了所述关心区域的图像上由所述关心区域设定受理部设定的关心区域的框内存在的微小区域的中心点对应的位置处的数据值，采用计算出的该数据值来作为各图像上的关心区域中包含的虚拟的各微小区域的数据值

另外，本发明所涉及的第三方式的成像数据处理程序用于处理成像数据，该成像数据是通过在试样上的二维测定区域内的多个微小区域中分别进行规定的分析或观察而得到的数据的集合，所述成像数据处理程序用于对针对作为观察对象的部位相同或彼此相似的多个试样分别得到的成像数据、或者针对作为观察对象的部位相同的一个试样用不同的分析或观察方法得到的或在不同的参数下得到的成像数据进行处理，所述成像数据处理程序使计算机作为以下功能部进行动作：

a)图像位置对准处理功能部，其将基于作为处理对象的多个成像数据生成的多个图像中的一个图像设为基准，进行伴有除被设为基准的所述图像以外的其它图像中的各微小区域的位置移动的变形处理，以使分别得到的一个或多个试样的相同或彼此相似的部位一致；

b)关心区域设定受理功能部，其将由用户在被所述图像位置对准处理功能部变形后的图像中选择出的一个图像划分为规定的微小范围，通过使用在由所述图像位置对准处理功能部进行变形处理时发生了移动的多个微小区域的中心点的位置处的数据值进行插值处理，来计算与各微小区域的中心点对应的数据值，显示基于通过该插值处理计算出的数据值的图像，从而使用户在该图像上设定关心区域；以及

c)关心区域内数据值运算功能部，其在从由所述图像位置对准处理功能部进行处理后的多个图像以及被设为基准的图像中去除了被所述关心区域设定受理功能部设定了关心区域的图像后的其它图像中，至少针对由所述图像位置对准处理功能部进行了变形处理后的图像，按每个图像，在与由所述关心区域设定受理功能部设定的关心区域相当的关心区域的框内，通过使用在由所述图像位置对准处理功能部进行处理时发生了移动的多个微小区域的中心点的位置处的数据值进行插值处理，来计算与在被设定了所述关心区域的图像上由所述关心区域设定受理功能部设定的关心区域的框内存在的微小区域的中心点对应的位置处的数据值，采用计算出的该数据值来作为各图像上的关心区域中包含的虚拟的各微小区域的数据值。

此外，在本发明所涉及的第一方式至第三方式的任一方式中，也可以是，在基于与关心区域中包含的(或视为包含的)微小区域对应的数据值进行多变量解析和/或假设检验、或更简单的平均值等的运算处理的情况下，在关心区域内不包含整个微小区域而部分地包含微小区域时，对数据值乘以与所包含的其面积的比例相应的权重来进行运算处理。即，例如对于其整体包含在关心区域内的微小区域所对应的数据值，将权重设为1，对于仅面积的1/2包含在关心区域内的微小区域所对应的数据值，将权重设为1/2，从而进行运算处理即可。

根据这样的处理，能够提高多变量解析和/或假设检验、或者基于平均值等更简单的运算处理的结果的比较解析和/或差异解析的精度。

发明的效果

根据本发明所涉及的成像数据处理装置以及成像数据处理程序，例如，当在源自想要进行比较解析或差异解析的多个试样的图像上设定关心区域时，能够通过用户在一个图像上设定关心区域，来在其它试样的图像上也以微小区域为单位准确地设定与几乎相同的部位对应的关心区域。由此，能够提高使用了各个图像上的关心区域中包含的微小区域的数据值的比较解析和/或差异解析等的精度。

附图说明

图1是使用了本发明所涉及的成像数据处理装置的第一实施例的成像质谱分析装置的主要部分的结构图。

图2是第一实施例的成像质谱分析装置的包括特征性的关心区域设定处理的解析过程的流程图。

图3是用于说明第一实施例的成像质谱分析装置的多个ms成像图像的位置对准处理的概念图。

图4是第一实施例的成像质谱分析装置的关心区域设定处理的说明图。

图5是第一实施例的成像质谱分析装置的关心区域设定处理的说明图。

图6是使用了本发明所涉及的成像数据处理装置的第二实施例的成像质谱分析装置的主要部分的结构图。

图7是第二实施例的成像质谱分析装置的关心区域设定处理的说明图。

具体实施方式

[第一实施例]

以下，参照所附附图对使用了本发明所涉及的成像数据处理装置的成像质谱分析装置的一个实施例进行说明。

图1是第一实施例的成像质谱分析装置的主要部分的结构图。本装置具备成像质谱分析部1、光学显微观察部2、数据处理部3、操作部4以及显示部5。

成像质谱分析部1例如包括基质辅助激光解吸电离离子阱飞行时间质谱分析装置(maldi-it-tofms)，针对生物体组织切片等试样6上的二维测定区域内的多个测定点的每个测定点获取质谱数据(或n为2以上的msⁿ谱数据)。光学显微观察部2获取相同试样6上的至少包括测定区域的范围的光学显微图像。

数据处理部3接收由成像质谱分析部1得到的每个测定点的质谱数据(以下，将其统称为ms成像数据)以及由光学显微观察部2得到的光学图像数据，并进行规定的处理。数据处理部3包括数据保存部30、光学图像制作部31、ms成像图像制作部32、光学图像位置对准处理部33、图像变形信息存储部34、ms成像图像位置对准处理部35、关心区域设定部36、关心区域内微小区域决定部37、解析处理部38以及显示处理部39，来作为功能块。

此外，一般来说，数据处理部3的实体是个人计算机(或更高性能的工作站)，通过使安装在该计算机中的专用软件(即计算机程序)在该计算机上运行，能够实现上述各块的功能。

此外，本实施例的装置是如下的装置：如非专利文献1所公开的装置那样，将成像质谱分析部1和光学显微观察部2一体化，放置在装置的规定位置处的试样6能够自动地或根据手动操作在成像质谱分析部1的测定位置与光学显微观察部2的摄像位置之间移动。但是，未必将成像质谱分析部1和光学显微观察部2一体化，也可以是用户通过手动作业来搬运试样6。

在本实施例的成像质谱分析装置中，在针对一个试样6获取ms成像数据和光学图像数据时，如下所述那样进行操作。试样6是从老鼠等实验动物的肝脏(或其它脏器)切取的切片试样。

用户将载置在专用的板上的、在其表面未涂布基质的试样6放置在装置的规定位置，利用操作部4进行规定的操作。于是，光学显微观察部2拍摄该试样6上的光学图像，将该图像显示在显示部5的画面上。用户确认该图像，决定试样6上的测定区域，例如通过利用操作部4在光学图像上设定包围测定区域的框来指示测定区域。由此，在试样6上决定作为进行成像质谱分析的对象的测定区域。通过拍摄试样6而得到的光学图像数据与用于确定测定区域的位置的信息一起被保存到数据保存部30中。

用户将载置有上述试样6的板暂时从装置取下，在试样6的表面涂布适当的基质后将该板放回到装置上。然后，利用操作部4指示执行质谱分析。于是，成像质谱分析部1针对将上述测定区域网格状地划分所得到的多个矩形形状的微小区域分别执行质谱分析，来获取质谱数据。其结果，得到与测定区域内的微小区域的数量相当的质谱数据的集合、即ms成像数据，将该数据保存到数据保存部30中。与一个试样6有关的光学图像数据和ms成像数据相关联地保存或被保存到同一文件中。此外，在maldi离子源中向试样6照射的激光的光斑形状为大致圆形(或大致椭圆形)，因此严格地说不会得到与矩形形状的微小区域对应的质谱信息，但通过与各微小区域的中心点大致对准地照射规定直径的激光后进行质谱分析，视为能够得到与矩形形状的微小区域对应的质谱信息。

对于要进行比较解析的多个试样、例如从患癌症的老鼠的肝脏切取的切片试样和从正常的老鼠的肝脏切取的切片试样，如上所述那样分别实施通过成像质谱分析部1进行的测定以及通过光学显微观察部2进行的光学显微观察，由此分别收集ms成像数据和光学图像数据。

接着，参照图2～图5来说明由数据处理部3对如上所述那样收集到的数据执行的特征性的数据处理。图2是示出该数据处理的过程的流程图，图3是用于说明多个ms成像图像的位置对准处理的概念图，图4和图5是关心区域设定处理的说明图。

用户利用操作部4指定作为解析处理对象的多个ms成像图像(步骤s1)。具体地说，能够通过用于确定试样的信息(例如对多个试样标注的连续编号)和m/值来指定一个ms成像图像。也能够指定三个以上的ms成像图像，但为了简化说明，在此说明指定两个ms成像图像的情况。当前，作为一例，如图3所示，将试样a的m/z＝m1时的ms成像图像和试样b的m/z＝m1时的ms成像图像指定为解析处理对象。另外，此时，用户还一并指定将哪个图像设为基准。在此，将试样a的ms成像图像设为基准。

此外，在步骤s1中，作为一个ms成像图像，也可以不指定表示一个试样的特定的m/z值下的信号强度分布的图像，而指定由基于所有的m/z值、特定的m/z值范围或特定的多个m/z值下的信号强度值来按每个微小区域逐个地计算出的数据值构成的图像。例如，也可以对从一个试样的测定区域内的各微小区域得到的质谱数据进行主成分分析，将由通过该分析求出的代表性的一个主成分的每个微小区域的得分值构成的图像作为一个ms成像图像。当然，只要能够按每个微小区域获得一个数据值，就能够使用除主成分分析以外的各种多变量解析法。

光学图像制作部31在接收到步骤s1中的如上述那样的图像的指定之后，从数据保存部30中读出构成与所指定的多个ms成像图像分别对应的测定区域内的光学显微图像、也就是试样a和试样b的大致相同的测定区域内的光学显微图像的光学图像数据(步骤s2)。此外，此时，光学图像制作部31也可以根据读出的光学图像数据来制作光学显微图像并显示在显示部5的画面上。

接着，光学图像位置对准处理部33按照规定的算法使试样b的光学显微图像适当变形，以使在被设为基准的试样a的光学显微图像和另一个试样b的光学显微图像中相同部位的位置、大小、形状一致，由此执行图像的位置对准处理。此外，在该作为位置对准处理对象的多个图像的空间分辨率不一致、在该情况下光学显微图像的像素的大小不一致时，优选执行插值处理或合并处理以使其它图像的像素的大小与基准图像的像素的大小一致。

在位置对准处理时能够使用各种算法。例如，能够采用以下方法：针对各光学显微图像的各像素的像素值求出不同的图像间的互相关函数，使基准图像以外的其它图像的各像素的位置偏移以使互相关最大，由此使图像变形。在此，关于光学显微图像的像素值，优选使用作为色彩的三原色的r、g、b中的任一种颜色成分的亮度值、或者按照规定的计算式将这三种颜色成分中的两种或三种颜色成分的亮度值进行合成而得到的值。

在通过使图像上的各像素的位置分别偏移来使图像变形时，例如优选按每个像素实施直线移动、旋转、放大/缩小、剪切等仿射变换。另外，仿射变换是线性的变形，但为了使图像以更高的精度变形，也可以进行非线性的变形。具体地说，作为位置对准处理的算法，例如能够利用在医疗领域中广泛地利用的图像配准技术。通过该处理，得到用于使试样b的光学显微图像与试样a的光学显微图像相匹配的图像变形信息，因此将该图像变形信息保存到图像变形信息存储部34中(步骤s3)。

接着，ms成像图像制作部32从数据保存部30中读出构成在步骤s1中指定的多个ms成像图像的ms成像数据(步骤s4)。然后，ms成像图像位置对准处理部35从图像变形信息存储部34中读出用于试样a与试样b的位置对准的图像变形信息，利用该图像变形信息来实施使不作为基准的一方、即试样b的ms成像图像变形的图像变形处理(步骤s5)。此外，在该位置对准处理时作为对象的多个ms成像图像的空间分辨率、即微小区域的大小也不一致的情况下，优选执行插值处理或合并处理，以使其它图像中的微小区域的大小与作为基准的ms成像图像中的微小区域的大小一致。

在该位置对准处理中，与ms成像图像的图案无关地，基于所提供的图像变形信息来使该图像中的各微小区域适当地移动或变形。如果在步骤s3中求出的图像变形信息的精度高、该精度为能够在各试样中忽略光学显微图像与ms成像图像之间的位置偏差的程度，则图像变形后的ms成像图像彼此相同的部位为大致相同的位置、大小以及形状。即，通过图像加工处理来高精度地实现多个ms成像图像的位置对准。

接着，关心区域设定部36通过显示处理部39将在步骤s5中进行了位置对准后的ms成像图像显示在显示部5的画面上，来接受在作为基准的试样a的ms成像图像上的关心区域的指定(步骤s6)。具体地说，用户操作作为操作部4的一部分的指示设备，在所显示的ms成像图像上描绘任意的形状、大小的框。于是，关心区域设定部36将在该ms成像图像上用该框围成的范围识别为关心区域。

由于在图像上并没有示出各微小区域的范围，因此由用户设定的关心区域的范围与各微小区域的边界毫无关系。图4是示出所设定的关心区域与基准图像上的微小区域的关系的一例的图。由于基准图像没有被施加变形，因此微小区域整齐地排列成网格状。关心区域内微小区域决定部37求出矩形形状的各微小区域的中心点，并判定该中心点是否存在于关心区域的范围内。然后，提取中心点存在于关心区域的范围内的微小区域(步骤s7)。在图4中，用圆形标记示出各微小区域的中心点，用带阴影的圆形标记示出包含在关心区域的范围内的中心点，用白色的圆形标记示出不包含在关心区域的范围内的中心点。在本例中，包含在关心区域的范围内的中心点为四个，与这些中心点对应的四个微小区域视为包含在该关心区域中的微小区域。

另一方面，由于如上所述那样执行了图像的位置对准，因此即使在不是基准图像的ms成像图像上，关心区域的位置(图像上的坐标位置)也能够设为与基准图像上的关心区域的位置相同。但是，在不是基准图像的ms成像图像中，由于图像变形，各微小区域的位置和形状并非整齐的网格状的可能性高。图5是示出所设定的关心区域与不是基准图像的ms成像图像上的微小区域的关系的一例的图。如本例那样，各微小区域的形状不是矩形形状，而发生变形，其配置也不是整齐的网格状。对于这样的ms成像图像，关心区域内微小区域决定部37也求出各微小区域的中心点，并判定该中心点是否存在于关心区域的范围内。然后，提取中心点存在于关心区域的范围内的微小区域。在图5中，用方形标记示出各微小区域的中心点，用■标记示出包含在关心区域的范围内的中心点，用□标记示出不包含在关心区域的范围内的中心点。在本例中，包含在关心区域的范围内的中心点为五个，与这些中心点对应的五个微小区域视为包含在该关心区域中的微小区域。

如比较图4和图5所获知的那样，图像上的关心区域的范围相同，但微小区域的形状和配置不同，因此包含在关心区域的范围内的微小区域不同。在图5的例子中，虽然与包含在基准图像上的关心区域的范围内的微小区域相比数量增加，但也可能存在微小区域的数量由于图像变形的状态而减少的情况。在像这样为了针对多个试样进行ms成像图像的位置对准而进行了图像变形的情况下，能够在各图像上适当地提取包含于关心区域的微小区域。

解析处理部38基于与视为包含在多个ms成像图像上的关心区域中而被提取出的多个微小区域对应的质谱数据来进行规定的多变量解析、假设检验(步骤s8)。然后，通过显示处理部39将解析结果显示在显示部5上(步骤s9)。能够基于针对包含在由用户设定的关心区域的范围内的微小区域得到的质谱数据进行多变量解析和/或假设检验。由此，能够进行高精度的多变量解析和假设检验。

[第二实施例]

参照所附附图对使用了本发明所涉及的成像数据处理装置的成像质谱分析装置的其它实施例进行说明。图6是第二实施例的成像质谱分析装置的主要部分的结构图，图7是第二实施例的成像质谱分析装置的关心区域设定处理的说明图。

在图6中，对与图1示出的第一实施例的成像质谱分析装置相同的结构要素标注相同的附图标记。本第二实施例的成像质谱分析装置具有与第一实施例的成像质谱分析装置大致相同的结构要素，但与第一实施例的不同点在于，数据处理部3具有中心点数据值插值运算部301。以该不同点为中心，对第二实施例的成像质谱分析装置的特征性动作进行说明。

在图2示出的流程图中，关于步骤s1～s6的处理、也就是图像的位置对准或位置对准后的图像上的关心区域的设定，本第二实施例的成像质谱分析装置的动作与第一实施例的成像质谱分析装置的动作完全相同。另外，以下方面也与第一实施例相同：关心区域内微小区域决定部37判定在基准图像上矩形形状的各微小区域的中心点是否存在于关心区域的范围内，并提取中心点存在于关心区域的范围内的微小区域。在第二实施例的成像质谱分析装置中，此后的处理与第一实施例不同。

当然，在该情况下，在不是基准图像的ms成像图像中，由于图像变形，各微小区域的位置和形状并非整齐的网格状的可能性高。图7是示出所设定的关心区域与不是基准图像的ms成像图像上的微小区域的关系的一例的图。在此，关心区域内微小区域决定部37在不是基准图像的ms成像图像上也视为与如上述那样的基准图像同样地整齐地排列有矩形形状的微小区域(在此，实际上不存在该微小区域，因此称为假定的微小区域)。

在图7中，用圆形标记表示假定的微小区域的中心点。中心点数据值插值运算部301对于中心点包含在关心区域中的假定的微小区域中的质谱数据，通过进行处于该中心点附近的被进行了图像变形后的多个微小区域中的质谱数据的插值处理来进行计算。当然，在仅需要特定的m/z值下的信号强度值的情况下，通过插值处理仅对该信号强度值进行计算即可。另外，在需要主成分分析中的特定的主成分的得分值等的计算值的情况下，通过插值处理来求出该计算值即可。

具体地说，例如，在图7中，通过基于具有包围中心点p1的六个中心点q1～q6的微小区域中的质谱数据进行插值处理，来计算具有该中心点p1的假定的微小区域中的质谱数据。在进行该插值处理时，优选进行反映了中心点q1～q6的各中心点与中心点p1的距离的差异的计算。同样地，针对中心点包含在关心区域中的所有假定的微小区域通过插值处理求出质谱数据，将其结果与在基准图像中包含于关心区域的各微小区域的质谱数据同等地进行处理即可。

此外，也可以是，不求出与作为基准的ms成像图像上的微小区域相匹配的假定的微小区域所对应的插值，而根据与作为基准的ms成像图像及不是基准的ms成像图像中的任一个都不同的完全另外确定的微小区域的二维排列，来求出各ms成像图像中的每个假定的微小区域的插值。

另外，在上述实施例中，针对中心点存在于关心区域的范围内的微小区域或假定的微小区域得到的质谱数据、特定的m/z值下的信号强度值或特定的主成分的得分值等都直接用于多变量解析、假设检验，但也可以根据关心区域的范围内包含的微小区域的面积，对在多变量解析、假设检验中利用的数值进行加权。即，优选的是，在关心区域的范围内包含微小区域整体的情况下，将加权系数设为1，在关心区域的范围内包含微小区域的仅一部分的情况下，决定与所包含的其面积的比率相应的加权系数，从而进行与该加权系数相应的多变量解析、假设检验的运算。由此，能够进行精度更高的解析。

[各种变形例]

在上述第一实施例、第二实施例中，为了进行ms成像图像的位置对准，使用了通过光学显微图像的位置对准而获取到的图像变形信息，这是由于在ms成像图像上观测到的分布的图案下大多难以进行充分的位置对准。因而，在能够在多个ms成像图像上观测到的分布的图案下进行充分的位置对准的情况下，未必需要使用通过光学显微图像的位置对准而获取到的图像变形信息，且不需要图2中的步骤s2、s3的处理本身。

另外，在上述第一实施例、第二实施例中，能够在未被进行变形处理的基准图像上设定关心区域，但也可以设为能够在变形后的图像上进行关心区域的设定。但是，微小区域的形状因图像变形而不再是矩形形状，因此如果基于原来的各微小区域的数据值直接制作图像，则存在图像变形等变得不自然的情况。因此，也可以不基于原来的各微小区域的数据值直接制作图像，而与在第二实施例中说明的情况同样地，通过插值来求出与外观上为矩形形状的微小区域对应的数据值，并显示基于该数据值制作出的图像。

另外，在上述第一实施例、第二实施例中，假设成像质谱分析部1和光学显微观察部2实质上一体化，各试样的光学显微镜图像与ms成像图像大致准确地对应(没有实质上的位置偏移)，但在成像质谱分析部1和光学显微观察部2未一体化的装置的情况下，光学显微镜图像与ms成像图像的位置关系大多没有准确地对应。因此，在这样的装置中，优选的是，关于针对各试样得到的数据，首先在光学显微镜图像与ms成像图像之间进行如上述那样的图像位置对准处理，然后进行试样a与试样b之间的图像位置对准处理。另外，也可以在试样a中进行光学显微镜图像与ms成像图像的图像位置对准，再进行试样b的ms成像图像与试样a的光学显微镜图像的图像位置对准。

这样，在使光学显微镜图像与ms成像图像的位置关系一致、或者在光学显微镜图像与ms成像图像之间进行图像位置对准的情况下，也可以显示光学显微镜图像，从而能够在该图像上进行关心区域的设定。在该情况下，也可以将ms成像图像作为基准，在使光学显微镜图像变形为与该ms成像图像一致之后显示该光学显微镜图像从而能够设定关心区域。

另外，上述第一实施例、第二实施例是将本发明所涉及的成像数据处理装置应用于成像质谱分析装置的例子，但能够应用本发明的装置、系统不限于此。

即，本发明的作为处理对象的成像数据能够设为由光学显微镜、相差显微镜、共聚焦显微镜等各种显微镜、傅立叶变换红外分光光度测定(ftir)成像装置、拉曼光谱成像装置、电子探针显微分析仪(epma)等得到的、试样上的二维测定区域内的多个微小区域的各微小区域的数据。

作为图像位置对准的对象的成像数据也可以是通过互不相同的分析方法得到的数据。例如，在上述第一实施例、第二实施例中，示出了进行ms成像图像之间、光学显微镜图像与ms成像图像之间的图像位置对准的例子，但也可以在针对同一试样测定出的拉曼光谱成像图像与ms成像图像之间进行图像位置对准，在任一个图像上进行关心区域的设定。除此之外，也可以对通过用上述多个成像装置测定同一试样而得到的成像图像之间、或者对通过用上述多个成像装置测定多个试样而得到的成像图像之间应用上述的数据处理。

另外，上述实施例和变形例仅是本发明的一例，在本发明的宗旨的范围内，即使进一步适当地进行变更、修改、追加，也包含在本申请的权利要求书中，这是显而易见的。

附图标记说明

1：成像质谱分析部；2：光学显微观察部；3：数据处理部；30：数据保存部；31：光学图像制作部；32：ms成像图像制作部；33：光学图像位置对准处理部；34：图像变形信息存储部；35：ms成像图像位置对准处理部；36：关心区域设定部；37：关心区域内微小区域决定部；38：解析处理部；39：显示处理部；301：中心点数据值插值运算部；4：操作部；5：显示部；6：试样。