用于信号分类的设备的制作方法

本发明涉及一种用于对信号分类的设备、一种用于训练的方法和一种用于运行的方法，所述设备例如可以应用到图像数据或音频数据上。

背景技术：

在分析处理例如图像数据或音频数据时，总是又提出以下任务：在所述数据中识别确定的对象或其他特征。这样的任务对于计算机是要求高的，因为图像数据或音频数据对于计算机而言首先仅仅作为不具有更深的含义的数值存在并且展开高维度的问题空间。例如，在具有24比特的色彩深度的vga-分辨率（640x480像素）中存在数量级10¹²个不同的图像。这么大数量的图像适于借助对象的或特征的内容分类成数量级适中的10-100个类别。

为了克服该复杂性，使用人工神经网络。这样的神经网络例如可以由多个依次连接的层组成，在所述层中，任务的维度通过卷积核的应用以及通过下采样来明显减少。这样的神经网络的特征此外在于，强大地并行处理这些数据。gb2454857b提供一个用于以下方法的示例：在所述方法中，显微镜图像借助自学习的神经网络来如下分类：所述显微镜图像包含哪些对象。

技术实现要素：

在本发明的范围中，发展一种用于对输入信号分类的设备。该设备包括具有至少一个卷积层的人工神经网络。所述至少一个卷积层包含多个可训练的卷积核。通过在输入信号中在所有可能的位置上逐次地应用相应的卷积核，对于每个卷积核产生一个激活卡，所述激活卡给在所述至少一个卷积层的输入中的离散位置分别分配一个输出值。所述输出值是所述输入与相应的卷积核的局部一致性的度量。

在此，多个卷积层绝对可以串联连接。例如，获得图像数据作为输入信号的第一卷积层可以包含多个卷积核，所述多个卷积核识别对象——诸如线和弧——的简单的几何基础元素。于是另外的卷积层例如可以被构造用于，识别由这些几何元素组成的简单的对象（例如房子、交通标志或汽车）。该信息又可以应用在另外的卷积层中，以便例如识别复杂的状况，例如由多个交通参与者、交通标志和建筑物组成的交通状况，在该交通状况中，在至少半自动的驾驶中可以求取优先行驶情况。

如果存在多个卷积层，则一个卷积层的输出不必强制性地仅仅转交给相邻的卷积层，而是也可以直接转交给不相邻的卷积层。

该处理链不限于图像数据，而是也可以例如借助音频数据来一样好地执行。在此，例如第一卷积层也可以包含用于识别其他交通参与者的、喇叭的和警铃的行驶噪音的卷积核，并且在后一卷积层中可以由此推断出作为整体的交通状况。

在所述至少一个卷积层、例如最后的卷积层之后连接至少一个分类器层，所述至少一个分类器层借助可训练的权重将其输入映射到一组针对以下的概率上，即所述输入属于多个类别之一。例如，可以如下对作为整体的交通状况进行分类：自身车辆是允许继续行驶还是有义务等待。可以在借助最后的卷积层识别的所有复杂特征的概览中如下评估组织的图像：组织是健康的还是病态地改变。同样可以如下评估部件的图像：所述部件是否受损坏。

所述至少一个卷积层的输出附加地导至至少一个聚合层中，所述至少一个聚合层被构造用于给从所述至少一个卷积层获得的每一个激活卡分配至少一个聚合值。

如果多个卷积层依次连接，则可以优选地将最后的卷积层的输出导至聚合层中。该聚合层然后评估与分类器层相同的实际情况、也即激活卡特别准确地说明，在输入信号中的哪些部分区域已经对由分类器层求取的概率做出贡献。然而替代地或组合地，也可以将其他卷积层的输出导至聚合层中。

已经识别，聚合值包含关于输入信号中的哪些部分区域对于输入信号的通过分类器层的分类是关联的结论。通过这种方式，例如可以对分类进行可信度检查。此外，例如可以在部件分类为损坏的情况下或者在组织分类为病态地改变的情况下辨识以下损坏部位：所述损坏部位对于这种评价是决定性的。在自身车辆有等待义务方面评价行驶状况时，可以辨识以下车辆：必须等待所述车辆。

聚合引起由卷积层提供的信息的明显密集。然而这对通过分类器层的分类的准确性不具有影响，因为分类器层一如既往地获得全部信息。

当分类器层如同聚合层一样从相同的卷积层得到分类器层的输入时，关于由分类器层进行的分类，聚合值的说服力是最大的。然而，这不是强制性的。例如可以期望的是，在相比提供给分类器层的抽象等级更精细的抽象等级上分析与输入信号的部分的关联性。

在本发明的一种特别有利的构型中，设有分析处理单元，所述分析处理单元被构造用于通过从所述至少一个卷积层获得的激活卡的借助在聚合层中存储的权重的经加权的求和来求取所述至少一个卷积层的输出的关联性卡。该关联性卡恰恰在由至少一个卷积层最后检查的等级上抽象出。分析处理单元例如可以集成到聚合层中或者与该聚合层一起构成组件。

当待分类的输入信号是图像数据时，关联性卡尤其特别易于理解。然而，关联性卡不限于该应用情况。例如，视觉上易于理解的关联性卡也可以对于作为输入信号的音频数据来产生，其方式是，将音频数据转换成对于相应的应用情况在视觉上易于理解的表示。因此，例如喇叭的或警铃的信号可以以音频信号的图形表示在频域中容易地发现。

因为每个卷积层减少输入信号的维度，所以关联性卡通常相比输入信号是明显更小维度的。在图像作为输入信号的情况下，这例如意味着，关联性卡相比原始图像是明显更小像素分辨率的。关联性卡可以例如相应地升档（hochskalieren），以便关联性卡以对于观察者而言有说服力的方式置于输入信号上，即例如置于原始图像上。升档可以例如通过双线性内插来实现。

在本发明的另一个特别有利的构型中，所述分析处理单元获得由所述分类器层求取的至少一个概率作为输入并且根据所述概率考虑在所述聚合层中存储的不同的权重。通过这种方式，可以在关联性卡中将从聚合值和激活卡获得的信息与从分类器层获得的分类如下合并：即还更准确地概述输入信号的对于决定关联的部分。

在本发明的另一个特别有利的构型中，所述聚合层也构造为分类器层，所述分类器层通过以可训练的权重对所述聚合值加权来求取到类别的所属性的概率。通过这种方式一方面可能的是，与通过首要设置的分类器层的分类分开地训练所述权重，以便所述权重接着可以用于关联性卡的求取。在输入信号中的关联区域的识别于是因此可以从也在首要设置的分类器层的训练中应用的相同的学习数据获益。另一方面，作为分类器层的聚合层的附加功能不限于学习阶段。更确切地说，可以将通过这种方式从聚合层获得的分类用于对从首要设置的分类器层获得的分类进行可信度检查并且识别可能的故障功能。这例如在安全关键的应用——诸如在道路交通中的车辆的至少部分自动化的控制——中是重要的。

与其中聚合层用作唯一的分类器的解决方案相比，一个重要的区别在于，首要设置的分类器层一如既往地动用由卷积层提供的全部信息。而如果聚合层是唯一的分类器，则分类仅仅还能够以通过聚合而急剧减少的数据量工作并且变得明显较不准确。

聚合层可以例如被构造用于，通过关于包含在所述激活卡中的值的求和和/或平均值形成和/或最大值形成和/或最小值形成和/或方差形成和/或中值形成和/或百分数形成来求取至少一个聚合值。例如可以应用“globalaveragepooling：全局平均池化”，gap。如果输入信号例如是图像数据并且卷积层的卷积核被构造用于识别确定的对象，则求和或平均值形成的结果尤其是关于在图像区域中总共包含多少个这样类型的对象的度量。如果例如对一个图像包含所确定的类型的一个或多个图像的分类仅仅基于这样的对象的唯一出现，则该结论相比多个这样的出现对该决定做出贡献而较少负荷。多个识别全都有错误相比单个识别有错误更不可能。

分类器层例如可以包括人工神经网络的至少一个完全联网的层。这样的完全联网的层借助有学习能力的权重来确定，由卷积层识别的哪些特征特别好地与所确定的类别相关。因此，例如优先行驶指示牌对于以下问题的评价是关联的：自身车辆在交通状况中是允许继续行驶还是有义务等待，而霓虹灯招牌对于此是无关联的。一个或多个完全联网的层的权重可以以特别易于理解的方式借助学习数据来训练。

在本发明的另一个特别有利的构型中，设有至少一个显示装置，所述至少一个显示装置获得由所述分类器层求取的至少一个概率，和/或至少一个关联性卡作为输入来获得并且将其输出给所述设备的用户。通过这种方式例如可以研究：输入信号的预先处理、照明状况的改变或其他拍摄条件的改变如何产生影响。

在本发明的另一个特别有利的构型中，用于所述输入信号的物理检测的至少一个装置具有至少一个参数，所述至少一个参数影响所述检测的过程。设有反馈装置，所述反馈装置被构造用于从所述关联性卡求取用于所述参数的至少一个调整参量。

如果输入信号例如是图像信号，所述图像信号通过摄像机来物理检测，则例如摄像机的曝光设定对以下具有影响：所研究的对象的哪些特征落入所获得的图像信号的动态区域中。通过反馈装置可以如下优化该曝光设定或物理检测的任意其他参数：从一开始记录鉴于相应的应用有说服力的输入信号。例如可以借助以下曝光设定来拍摄部件的图像，所述曝光设定将图像的最大部分拉入到饱和中并且为此特别反差明显地突出假定的损坏部位的区域。

本发明也涉及一种用于训练所述设备的方法。在所述方法中，首先将多个学习输入信号输入到所述人工神经网络中。将对于每个学习输入信号由所述分类器层求取的概率与所述学习输入信号到类别的已知的所属性进行比较。如下匹配至少一个卷积层中的至少一个可训练的卷积核，即减小在所述比较中求取的偏差。

此外将一组权重存储在聚合层中，并且以品质度量评估具有所述权重的聚合层对每个学习输入信号的作用。随后，如下匹配在所述聚合层中的至少一个权重，即改善所述品质度量的值。

品质度量尤其可以旨在，使来自卷积层的激活卡的借助聚合层的权重的经加权的求和成为关联性卡变得尽可能有说服力。如果例如聚合层也构造为分类器层，则品质度量例如包括以下准确性：以所述准确性，在利用聚合层中的权重的情况下对学习输入信号正确地分类。例如也可以与借助首要设置的分类器层的分类类似地使与学习输入信号到所述类别的已知的所属性的偏差最小化。

已经认识到，通过这种方式一方面在分类器层中的分类和另一方面利用聚合层的关联性卡的产生可以借助相同的学习数据然而彼此独立地训练。

尤其可以在聚合层中训练用于学习输入信号的不同组的权重，所述学习输入信号属于不同的类别。

本发明也涉及一种用于运行所述设备的方法。在所述方法中，将输入信号输入到所述人工神经网络中，所述人工神经网络先前尤其可以借助由本发明提供的方法训练过。将以下类别评估为所述输入信号所属的结果类别：对于所述类别，所述分类器单元求取到最大的概率。

现在可以根据所述结果类别从所述聚合层中调取权重，或者可以替代地使用固定的权重。从所述权重和所述卷积层的激活卡求取所述关联性卡。

从聚合层调取的权重已经包含由分类器层提供的、关于所述结果类别的信息。在此存在与以下方法的重要区别：在所述方法中，聚合层作为唯一的分类器使用。如果聚合层是唯一的分类器，则分类较不准确。

神经网络可以以任意的方式以及以在硬件和软件之间的任意的混合比例来实现。借助专门针对人工神经网络的运行而设计的硬件或对此特别适合的硬件、诸如图形处理器（gpu），可以提高处理速度。然而，神经网络也可以作为纯软件解决方案在传统的cpu上实现。此外，尤其设备的训练或在持续运行中设备的控制也可以完全地或部分地以软件实现。这样的软件是可独立销售的产品，其也可以作为现有设备的附件或更新来售卖。因此，本发明也涉及一种计算机程序，所述计算机程序具有机器可读的指令，当在计算机上执行所述指令时，所述指令使所述计算机增值成由本发明提供的设备，和/或，所述指令促使所述计算机实施由本发明提供的方法。本发明同样也涉及一种机器可读的数据载体或具有计算机程序的下载产品。

附图说明

另外的改进本发明的措施下面与本发明的优选实施例的描述共同地根据附图来详细示出。

其中：

图1示出设备1的实施例；

图2示出用于训练的方法100的实施例；

图3示出用于运行的方法200的实施例；

图4示出在医学图像的分析中设备1的作用。

具体实施方式

图1示出设备1的一个实施例。摄像机6拍摄具有裂缝8a的部件8的图像作为输入信号2，其中，曝光设定通过参数61来控制。显然，通过参数61也可以控制其他设定，例如视角，滤波器（如光学滤波器、红外或uv阻止滤波器）的应用或拍摄的方式（如颜色、无红色、自动荧光或蓝色）。

将输入信号2提供给人工神经网络3。人工神经网络3作为最终结果提供输入信号2示出符合规定的部件8的第一概率36a以及输入信号2示出损坏的部件8的概率36b。

然而，本发明的作用方式不限于计算恰恰两个概率，也即研究到恰恰两个类别的所属性。例如，在状态“完全符合规定的”和“完全损坏的”之间的任意中间级可以定义另外的类别。

在内部，神经网络3由五个卷积层31a-31e、用于减少维度的两个可选的池化层34a和34b以及分类器层35a和35b组成。在分别包含在卷积层31a-31e中的卷积核中，在图1中为概览性起见仅仅绘出在最后的卷积层31e中的三个卷积核并且以附图标记32a-32c来表示。卷积层31对于每个卷积核32a-32c求取所属的激活卡33a-33c。分类器层35a和35b是在神经网络3中的完全联网的层（fullyconnectedlayers）。

纯偶然的是，如概率36a和36b计算那样，在图1中示出的示例中存在恰好那么多（两个）分类器层35a和35b。例如也可以关于到多得多的、例如数百个类别的所属性来评判单个的分类器层35a或35b。例如，在自动识别对象、诸如交通标志时，每个待识别的对象限定其自身的类别。

聚合器层37对于每个激活卡33a-33c求取一个聚合值37a-37c并且将聚合值37a-37c附加地借助可训练的权重38a-38c算成输入信号2示出符合规定的部件8的第一概率39a以及输入信号2示出损坏的部件8的概率39b。概率39a和39b的求取例如可以用于权重38a-38c的训练，但也可以用于对由分类器层35a和35b求取的概率36a和36b进行可信度检查。

权重38a-38c由分析处理单元4与激活卡33a-33c组合地用于求取关联性卡41。在此，概率36a和36b决定，使用哪组权重38a-38c。关联性卡41说明，输入信号2的范围对于神经网络3关于概率36a和36b的决定以何种程度关联。

概率36a和36b与关联性卡41一起通过输出装置5输出。附加地，将关联性卡41提供给反馈装置7，所述反馈装置求取用于摄像机6的曝光参数61的调整参量42。通过这种方式确保，摄像机6始终在最优的工作范围内运行，以便识别所研究的部件8中的可能的裂缝8a。

图2示出用于训练在图1中示出的设备1的方法100的一个实施例。将学习输入信号2用于训练，所述学习输入信号到以下类别的所属性21事先已知：概率36a、36b、39a和39b涉及所述类别。

在步骤110中，将学习输入信号输入到神经网络3中，所述神经网络此外包含卷积层31a-31e。作为最终结果，神经网络提供到类别的所属性的概率36a和36b。

在步骤120中，将概率36a和36b与学习输入信号2到类别的已知的所属性21进行比较。该比较提供偏差d。

在步骤130中，如下匹配至少一个卷积层31a-31e中的至少一个可训练的卷积核32a-32e，即在再次通过步骤120之后减小偏差d。

并行地，激活卡33a-33c从卷积层31a-31e提供给聚合层37并且在那里处理成聚合值37a-37c。与可训练的权重38a-38c结合地，由聚合层37求取学习输入信号2到类别的所属性的概率39a和39b。概率39a和39b因此在该实施例中表示权重38a-38c的作用w。

在步骤140中，与学习输入信号2到类别的已知的所属性21结合地评估作用w并且输出相应的品质度量m。真正的所属性与概率39a和39b越好地协调，品质度量m就越好。

在步骤150中，如下匹配聚合层37中的权重，即在再次通过步骤140时改善品质度量m。

通过这种方式获得的权重38a-38c可以根据图1用于创建关联性卡41。

图3示出一种用于运行设备1的方法200的一个实施例。在步骤210中，将输入信号2输入到所述人工神经网络3中。在步骤220中，将以下类别评估为所述输入信号2所属的结果类别22：对于所述类别，所述分类器层35a-35b和因此作为整体的神经网络3求取到最大的概率36a或36b。

在步骤230中，根据所述结果类别22从所述聚合层37中调取权重38a-38c。在步骤240中，将所述权重与神经网络3的卷积层31a-31e的激活卡33a-33c一起处理成关联性卡41。

图4示出设备1在医学领域中的一个应用示例。分图像a和c分别示出视网膜的摄像机图像2。任务是，如下对图像进行分类：是否存在病态的改变（在此：糖尿病视网膜病变）。

分图像b是由分图像a组成的摄像机图像2与由此得到的关联性卡41的叠加2+41。同样地，分图像d是由分图像c组成的摄像机图像2与由此得到的关联性卡41的叠加2+41。

不仅分图像a而且分图像c分别示出病态地改变的视网膜，这已经通过医生确定。这因此也由神经网络3识别。医生在分图像b和d中分别标记了以下区域：医生使其诊断基于所述区域，并且所述区域中的分别两个以附图标记9来标记。与关联性卡41的比较示出，根据关联性卡41是特别重要的地带41a也位于这些区域9的多个中。