专利名称：周期的交互图象分析方法及其计算机系统与实施该方法的计算机程序的制作方法
技术领域：
本发明涉及一种周期的交互图象分析方法及其计算机系统与实施该相应方法的计算机程序。
现今公知的许多图象处理方法根据所谓分级体系工作，其中图象处理在两个步骤中进行。在第一分段步骤中，图象在空间中被分段，即被分成各个区域。这里分段根据体系级来实现，其中在最下体系级中图象的每个象素表示为一个段。对于下个较高体系级这样的两个相邻的段被组合，即它们产生组合段象素数目及色度或灰度值方差乘积的最小增长。其中段的选择随机地实现。接着进行段的边缘处理，其中对一个段的每个边缘象素检验它是否可能更好地属于相邻的段。如果情况是这样，它将分配给相邻的段。理论上最高的体系级仅由单个段组成。这些上下关系的体系级具有其特性，即一个体系级的段边界被保存在下个体系级中，即段总是较高体系级的上级段的真分数值。
在下一分级步骤中进行语义上的分级，即由构成的段产生带有名称的客体。在此情况下，在所有体系级中段的预定性能的句子描述客体构成的规则。该规则被表达为模糊规则。
相应的图象处理方法例如描述在DE196 25 906 A1，DE197 05 017A1及WO99/40539中。这些相关的方法或多或少全自动地或交互地进行。
图象分析的主要问题在于，待分析的图象具有完全不同的、在前场中未知的及部分上高复杂图象信息，及在前场中亦未知在待分析的图象中包含的哪些图象信息对使用者是重要的。普遍的实用性公知的图象处理方法在产生及以后由使用者广泛地进行适合的段及分级规则选择时需要很高的程序成本。
本发明的目的是，给出一种图象分析方法，它能周期及交互地接近使用者的需要及提示，而无需使用者对图象处理本身具有详细的知识。
该目的将通过具有权利要求1中特征的方法，具有权利要求12中特征的计算机系统及具有权利要求13及14中特征的计算机程序来解决。
根据权利要求1的本发明方法在这样的意义上是交互的，即使用者在步骤a)中可对其感兴趣的或待区别的图象区域作出选择或作标记，及使用者在执行图象分析后在步骤f)中显示图象空间中的分级图象。在其检验后使用者可重新配置区域的规则。但当根据本发明的方法进行时无需使用者的干预。
根据本发明的方法在这样的意义上是周期工作的，即步骤a)至f)或b)至f)可多次地依次进行，直到使用者对显示的图象分析结果满意为止。
虽然根据本发明的方法如现有技术地进行分段，但该分段在一个变换空间中执行。对此首先在图象的所有图象点上或在选择区域的所有图象点上执行各个预编程及存储的变换。然后进行变换空间中各个被执行的变换结果的归一化。接下来将整个归一化的变换空间划分成级，其中分级的划分规则从变换结果值自动地引导到由使用者选择的图象区域。在变换空间中得到的分级接着再分配给各个图象点，及由此随后显示原始图象空间中与变换空间相应的分级图象。
本发明的前提是，使用者对一个图象具有一定的提示，作为其目的在图象中哪些应该相关地搜索。使用者通过粗略圈出图象中的区域来指令计算机或图象分析程序。基于该交互的目标预给定，图象分析程序演变自己对使用者提示的译解及对使用者显示其演变的提示。使用者这时可通过另一交互干预来修改由图象分析程序产生的“机器提示”，由此图象分析程序在使用者的用意上修改“机器提示”。以此方式，在一次交替过程中使用者提示与“机器提示”相协调，以致图象分析程序最后将知道使用者具有怎样的提示。因此，根据本发明的基本构思是在一个循环处理内的一个周期。
预编程的变换最好包括图象亮度平均值及方差或一个图象点周围图象的彩色。另一对于估值有利的预编程变换是有效表示图象内的线及边缘的Radon变换。根据本发明方法的预编程变换可作为等效、互补及正交的量使用。
归一化变换空间的划分最好这样地进行，即识别变换空间中每个被执行变换的归一值相应或近似于由使用者选择的图象区域中同一变换的归一值的区域。
在周期循环处理意义上，当使用者在该方法第一次运行后对显示的图象不满意时，使用者可选择另外的图象区域或对已选择图象区域的边界作出修改，及接着使整个方法重新重复地运行。亦可变换地，-至此使用者在该方法重复前未选择新的图象区域或选择的图象区域未修改-在同一图象中用不同的变换或不同的变换参数重复进行该方法。
在该方法一次或多次运行后确定的变换及归一化或分级次序可被存储及随后用于其它类似的图象。
在另一有利的实施例中，除显示分级图象外，在考虑到由使用者选择的图象区域中相应的分级特性的情况下计算所获得分级的附加特性。借助这些附加特性使用者可确定，在怎样的程度上“机器提示”与他自己的提示相一致。此外可输出各相关图象区域上的数字数据，例如确定区域的尺寸或数目。然后可对类似图象自动进行相应的数字求值，而无需使用者观察类似的图象。
以下将借助附图来详细描述本发明。附图为
图1适于实施根据本发明的方法的、具有计算机的工作位置的电路框图；图2根据本发明方法的流程步骤的结构图；图3至10根据本发明方法的一个单元图象例中各个中间步骤中的各个中间结果的图象；及图11至13在一个灰色图象上使用根据本发明方法的结果的图象。
图1中所示的工作位置基本上由一个计算机(2)及与该计算机连接的输入及输出单元(1)。在此情况下，输出单元可以是一个投影屏、一个监视器或显示器。输入单元可以是一个普通的键盘或计算机鼠标。
计算机(2)具有作为硬件组成部分的图象存储器(3)，其中存储待分析的图象及根据本发明方法的实施存储由计算机产生的分析图象的“机器提示”。此外设有作为硬件组成部分的输入存储器(4)，其中存储使用者的输入。此外在图1中所示的组件“抽象单元”(5)、“分级器”(6)及“求值及控制单元”(7)为硬件和软件的组合，即由工作存储器、计算机处理器及由存储在计算机工作存储器中的程序模块的组合。
以下借助图2中的结构程序图来描述根据本发明方法的各个流程步骤。首先在步骤(10)中使存储在存储器(3)中的图象通过输出单元(1)显示给观察者。该两维图象通常由作为空间坐标x、y函数的强度分布I组成。在下一步骤(11)中使用者通过输入单元(1)选择他所感兴趣的图象区域或他所感兴趣的图象区域的坐标。该图象区域或选择的象素的坐标为(xm，ym)。在此情况下，无论单个小图象区域还是多个大图象区域或整个图象均可选择。当选择整个图象时使用者至少在根据本发明的第一周期中将进一步的求值完全留给图象分析程序。
在下一步骤(12)中，计算机在所有图象点(x，y)上对图象执行所选择的变换Ti。在此情况下，相应的变换可能是各个图象点上图象灰度值(13)平均值的图象，或图象的图象点周围的图象亮度的方差。灰度及图象亮度的方差的概念在这里也代表各种色的亮度及亮度方差。另一预编程的变换，尤其是对于线及边缘的有效表示的变换是Radon变换(15)。但除了这三个所述的变换外，也可设有其它的变换，它们可根据需要被选择或由计算机自己选择。
在步骤(12)中对于每个选择的变换计算一个与位置坐标(x，y)相关的变换函数Ti(x，y)。在下个归一化步骤(16)中，变换的结果值被归一到
的值域中。对于归一化可使用各种常用的函数。被证明特别适合的是S形(Sigmoid)函数y＝1/(1+exp(-g*(x-xo)))因为它可使不受限制的数值映射到所需值域
中。在下一步骤17中进行变换空间的划分或分级。只要不出现其它信息，如通过品质性能反馈的信息，在此情况下归一化变换结果Ti*(x，y)的数值区域划分成三个区域，即小、中及大。此外，在划分或分级时要考虑使用者选择图象区域中的归一变换结果值Ti*(x，y)或借助于使用者选择图象区域中的归一变换结果导出用于分级的分级规则。
在下一步骤中将在变换空间中出现的分级分配给各个图象点(x，y)，及在步骤(19)中将这样分级的图象在图象空间中或是作为原始图象或是作为与原始图象叠加的分级图象显示给观察者。
在另一步骤(20)中对使用者进行询问，该方法应以怎样的方式进行，或该图象分析结果已与使用者的提示相一致。在下一步骤(21)中使用者可通过输入单元(1)进行不同的输入。如果图象分析结果与使用者提示相一致，则在步骤(22)中存储在执行变换、归一化及分类时进行的参数调整，及这样地对具有相似特征的随后图象或图象系列提供自动使用。
相反地，如果图象分析结果不能让使用者满意，则使用者或是选择图象中的附加图象区域，或是校正在先进行的校正，在该情况下，该估值方法返回到步骤“图象区域选择”(11)。与此相反，如果使用者不输入新的图象区域或校正在先输入的图象区域，则计算机用对于各个变换Ti改变的参数调整或用变更的变换重新执行该方法。在此情况下，程序回到上述变换步骤(12)。在该返回到选择步骤(11)或变换步骤(12)后重新执行该方法，一直进行到分析结果让使用者满意为止。
下面将借助图3至10以一个神经细胞显微复制图象的例子来描述到现在为止相当抽象地描述的方法。在一个以上提出的实际图象分析步骤中，使用者将它感兴趣的图象装载到计算机的图象存储器(3)中，以使得图象显示在输出单元(1)上。显示在输出单元(1)上的原始图象显示为图3中的神经单元例。
在下一步骤(图4)中，使用者例如选择了一个图象区域。需要的话使用者可对所选择的图象区域赋于名称，由此对于该图象分析程序明确了在选择多个图象区域的情况下，它被看作不同的图象区域还是相互所属的图象区域。具有相同名称的图象区域被看作属于一体的，而具有不同名称的图象区域被看作不同的图象区域。图象的区域同样可被存储。在图4所示的例中，使用者作出三个区域的划分图象背景、细胞体及枝状组织。在此情况下相应图象区域的选择可用图象坐标的任何输入单元(例如鼠标、滚动球)来实现，其方式是使用者用光标粗略地绕要选择的图象区域画圈并这样作出边界。如果它涉及需不同分级的区域，使用者则对每个这样的区域给予不同的名称。如果相反地，该区域不需要不同的分级，则给予该区域相同的名称。
因为该系统不存在使用者另外的输入及使用者现在的指示是平面的，因此求值及控制单元(7)指令抽象单元(5)在图象上使用平移及转动不变量的变换。对此特别适合的是图象每个象点的图象亮度或彩色亮度的局部平均值及局部方差值。在抽象单元中因此产生出两个变换的中间图象，即灰度值平滑的平均值的中间图象(图5)及预定区域上灰度值方差的中间图象(图6)。但通常在变换空间中的这些图象不显示给使用者。
这里应该指出，视使用者的指示而定也可进行另外适合的变换或需要时可进行多于两个的变换。如果一个由使用者选择的图象区域是线性的，则在变换步骤(12)(图2)中执行作为另一变换的Radon变换。
在下一步骤中现在进行自动归一化。这是有意义的，因为视变换及实际图象内容而定变换结果的数值区域是很不相同的，但不同的变换结果应可彼此置成一个统一的关系。在归一化时整个变换的数值区域通过S函数被转换到0及1的数值区域中。
现在各个变换的结果值从抽象单元(5)传送到与其具有一定关系的分级器(6)。在上述情况下，具有两个变换为一种2维关系，其图象作为2维直方图显示。该直方图表在图8上，其中向右的坐标为平均值(m)及向下的坐标为方差(v)。分级器这时借助使用者现有的指示确定变换空间中相应于使用者提示的这个区域。为此将检验对于作出的不同变换，在该情况下为构成平均值及方差，哪些归一化变换结果值在由使用者选择的图象区域中。然后将这样的点确定为分级中心，即这些点上变换结果值与由使用者选择的图象区域中的变换结果值相一致。机器提示的形成则在于，它使每个分级中心的周围延伸这样的程度，即直到分级的边界相互碰到为止。在该意义上使用者的指示被普遍化，直到整个参数空间被执行为止。在图7中表示出转换空间中的“机器提示”(“机器提示”表示由机器的视觉或具有机器知识的观察者可看到的图形)，其中各个分级中心用黑点标出。该图象对于使用者对结果的观察及求值不是必要的及通常不显示出来，而是仅在计算机中作为中间图象。
对于确定分级区域的一个变型在于，相互碰到的分级边界通过分隔面明显地表示(这里指n维平面而言，其中平面的维由变换数目给出)。对于这些分隔面最好使用S函数，正如对每个选择的变换空间归一化所使用的。
接着对图象空间的各个图象点再分配在转换空间中构成的分级，及这时将这样产生的原始图象的“机器提示”传送回图象存储器(3)，及以适当的方式对使用者显示在屏上，例如以本身的图象或原始图象与“机器提示”相重叠的图象显示。图象空间中的“机器提示”表示在图9中。
如果使用者对客体分类的提示与显示的“机器提示”不一致，使用者可输入其提示的另外指示，例如在图象的另外区域作标记或更改已作出的标记。
最好使用者的再一输入用于在分级体系的意义上使已输入的图象区域细致化或普遍化。这样，例如枝状组织的整个区域将根据更普遍的上级表示被分解为各个枝状组织。这具有其优点，即搜索各个枝状组织可被限制在枝状组织的区域中，因此，a)可节省计算时间，及b)可提高确定各个枝状组织的精确度，因为在此情况下对于整个变换空间的另一次新的变换可尽量用于仅是确定枝状组织。如果使用者不给出其它的指示，该程序将涉及，“机器提示”与使用者的提示相一致及使用者可输入另一分析任务，例如分析细胞体的大小。因此分析程序确定细胞体级中的图象点的数目，及在适当的比例换算后输出给使用者。
这里应当强调地指出，上述的方案既能以任意数目的使用者指示又能以任意数目的变换来实施。此外，基于以所述方法处理及分级出的结构使用任意的求值功能(确定关于区域长度、宽度及面积、密度的区域量)。
在分级器(6)中除分析图象的“机器提示”外还形成其它信息。也可输出“机器提示”的品质。如果使用者观察到变换空间(图7)中的“机器提示”，则可看出，各个级值是不同的及级的中心彼此具有不同距离。级中心之间的距离愈小，形成混淆的危险愈大，或级中心之间的距离愈大，形成混淆的危险愈小。这些附加信息在图象空间中也可逆向变换，其方式是对每个图象点分配作为参数的变换空间中的所属级距离。在图象空间中的品质性能给出关于“机器提示”质量的描述，对于图9中图象的品质性能表示在图10中。这里暗的图象点代表在变换空间中级中心距离小并由此品质低及混淆的危险大，及亮图象点代表在变换空间中级中心距离大及品质高及混淆的危险小。
该品质性能将从分级器(6)传送到求值及控制单元(7)及在那里用于自动地确定最适合的变换还对于变换最适合的参数。视计算时间量或使用者的反应要求及精确度要求而定，这里可自动地导入另一优化周期，其中程序重新回到变换步骤及使用变更的参数调整来执行变换。
在图11至13中表示出另一非常简单的、但可很好地说明根据本发明方法的效率的例子。图11表示原始图象，它在从其左下角到右上角延伸的对角线的上面具有1.0的方差，而在该对角线的下面具有1.4的方差。在整个图象上平均灰度值为常数。因此在原始图象中用肉眼仅能识别粒度上的细微差别。但基于相应的概率如果观察者强调在两半图象，即对角线的上面及下面之间肯定存在差别，及对这两个区域分配了不同的名称，则由机器自动地选择及执行灰度值和灰度值方差的变换并产生出如图13所示的“机器提示”，及显示给使用者。相反地，该同一任务不可能用公知的分级体系的方法来解决，因为在分级体系中色度及灰度的方差仅是一个辅助量或控制量，而在根据本发明的方法中，各个被执行的变换被视为等效的、正交的或彼此互补的量。
权利要求
1.周期的交互图象分析方法，具有以下步骤a)由使用者在图象中选择感兴趣的图象区域，b)在图象的所有图象点或选择的图象点上执行预编程变换，c)执行各个变换结果的归一化，d)借助使变换结果值引导到由使用者选择的图象区域的划分规则将整个归一化的变换空间划分成具有变换空间中分级结果的级，e)将在变换空间中得到的分级分配给各个图象点，及f)显示在图象空间中被这样分级的图象。
2.根据权利要求1的方法，其中预编程变换包括构成彩色或灰度值的平均值和/或构成图象点周围上彩色或灰度值的方差。
3.根据权利要求1或2的方法，其中预编程变换包括用于线及边缘有效显示的Radon变换。
4.根据权利要求1至3中一项的方法，其中归一变换空间的划分这样地进行，即识别变换空间中每个被执行变换的归一值相应于由使用者选择的图象区域中同一变换的归一值的区域。
5.根据权利要求4的方法，其中对于值的归一化使用S形(Sigmoid)函数。
6.根据权利要求1至5中一项的方法，其中方法步骤a)至f)在同一图象上重复地被执行以使分级细致化及普遍化。
7.根据权利要求1至6中一项的方法，其中方法步骤b)至f)在同一图象上用不同的变换或变换的参数重复地被执行。
8.根据权利要求1至7中一项的方法，其中存储了交互分析期间确定的变换、归一化及分级的次序。
9.根据权利要求8的方法，其中交互分析期间确定及存储的次序随后应用于另外的图象。
10.根据权利要求1至9中一项的方法，其中获得的分级的附加特性是在考虑到由使用者选择的图象区域中相应的分级特性的情况下被计算的。
11.根据权利要求10的方法，其中附加特性为色值、图象亮度、方差和/或分级形式。
12.计算机系统，它适用于实施根据权利要求1至11中一项的方法及具有交互输入及选择图象区域的装置(1)。
13.计算机程序，它可装载在数字计算机的存储器中，及具有一个软件码，用于当在计算机上程序运行时，执行具有根据权利要求1至11中一项的步骤的方法。
14.计算机程序，它可装载在数字计算机的存储器中，及具有一个软件码，它在存储器中装入计算机程序的情况下使计算机处于执行具有根据权利要求1至11中一项的步骤的方法的状态。
全文摘要
本发明涉及周期的交互图象分析方法,具有以下步骤:由使用者正图象中选择感兴趣的图象区域;在图象的所有图象点或选择的图象点上执行预编程变换;执行各个变换结果的归一化;借助使变换结果值引导到由使用者选择的图象区域的划分规则将整个归一化的变换空间划分成级;将在变换空间中得到的分级分配给各个图象点,及显示在图象空间中被这样分级的图象。
文档编号G06T7/00GK1321953SQ01121259
公开日2001年11月14日 申请日期2001年4月8日 优先权日2000年4月8日
发明者W·R·德隆 申请人:卡尔蔡斯视觉股份有限公司