用于评估图像的方法和设备、运行辅助方法和运行设备与流程
本发明涉及用于评估图像的一种方法和一种设备、一种运行辅助方法以及一种运行设备，所述方法和设备尤其用于评估图像的对应关系假设(korrespondenzhypothese)，所述辅助方法尤其是驾驶辅助方法，所述运行设备尤其是车辆。本发明还涉及一种计算机程序和一种机器可读的存储介质。
背景技术：
图像处理在许多技术领域中用于控制设备和进程，例如也在汽车工业的领域中用于所谓的驾驶辅助系统。在此，例如检测图像并将该图像作为控制进程的基础。为此，需要对图像进行评估。通常在图像评估时产生所谓的对应关系并将该对应关系作为评估的基础。这种类型的对应关系在像素上、在时间和/或空间的方向上描述第一图像中的坐标与第二图像中的坐标之间的分配关系。时间关系可以涉及连续记录的图像，空间关系可以涉及空间上分离的图像，例如在立体视觉中也可以同时记录这些图像。在推导对应关系时，首先形成对应关系假设。必须对该对应关系假设进行证实(verifizieren)或证伪(falsifizieren)。该过程尤其在高分辨率的图像中是存储密集、计算密集和/或时间密集的。
技术实现要素：
相比之下，根据本发明的用于评估图像的具有权利要求1特征的方法具有以下优点：以相对较低的开销、高可靠性来证实一对图像的对应关系假设，即可以确认或否决。这通过根据本发明的具有权利要求1的特征的用于评估图像(尤其用于评估图像的对应关系假设)的方法来实现，该方法具有以下步骤：
(i)提供分别给定为对应的图像矩阵的第一和第二图像之间的对应关系假设，作为对应的假设矩阵中的元素，
(ii)评估假设矩阵并限定地证实对应关系假设，
(iii)提供经证实的图像对应关系假设作为对应关系矩阵(korrespondenzmatrix)中的图像对应关系，作为评估结果。
根据本发明对假设矩阵进行评估，其方式是：对于作为假设矩阵的参考元素的每个元素，在相应的元素的环境中对于对应关系假设的至少一个分量形成关于所述分量的值的直方图并对所述直方图进行评估。根据本发明通过这些措施实现所基于的图像的元素或像素关于其在图像中或在对应关系假设的矩阵中的环境的假设，并因此可以对所述假设以更高的可靠性进行评估，因此可以证实或证伪。
根据本发明在此充分利用以下情况：在邻域(nachbarschaft)中确认在对应关系的假设图像中的正确的对应关系，因为它们的值(例如在方向和长度方面)相似，而错误的对应关系不具有该相似性。通过根据本发明的方法实现可靠且有效地评估且分离正确和错误的对应关系。
在此背景下，“限定地证实”在广义上意味着：通过检查一个或多个预给定的条件根据本发明决定，是确认且保留相应的对应关系假设(即在狭义上的证实)，还是决定否定或放弃(即证伪)。
本发明能够结合任意形式的摄像机、监控摄像机和/或测量技术摄像机使用，例如——但不是仅在——通常在车辆上或在车辆中使用，尤其是结合机动车辆使用。在此还包括与电视摄像机、消费者摄像机、无人机摄像机、人机交互摄像机等相关的本发明的应用。
从属权利要求示出本发明的优选的扩展方案。
在本发明的意义上，也可以将对应关系假设的总体理解为假设图像或假设矩阵，也将其各个组成部分表示为元素或像素。各个对应关系假设可以具有一个或多个标量分量，例如在假设图像中和/或在所基于的空间中的投影平面中的不同运动方向u、v的值。因此，各个对应关系假设可以是矢量值的。此外，该对应关系假设可以以光流的概念(也称为of)为基础，和/或描述立体视差
关于假设矩阵的一个或多个直方图的结构可以以不同的方式来实现。
在根据本发明的方法的一种优选的实施方式中，对于假设矩阵的给定的相应的元素形成直方图，其方式是：对于给定的元素的环境内部的假设矩阵的——尤其所有的——元素，将对应关系假设的相应的分量分类成给定的直方图分类并进行求和或加权求和。
在此不必对用于直方图形成的假设矩阵的所有由假设矩阵的分别给定的元素的相应环境检测的元素进行分析处理或完全地考虑，即例如读取。更确切地说，根据相应的应用和状况能够进行适当的选择，例如以便加速根据本发明的方法或降低计算开销。以下将详细地继续阐述这一点。
对于假设矩阵的给定的相应的元素的环境定义可以通过不同的方式来实现。
根据本发明的方法的构型在如下情况下特别灵活：根据一种有利的扩展方案，在形成相应的直方图时，假设矩阵的给定相应的元素的环境尤其根据矩形、多边形、卵形(oval)、椭圆形(ellipse)或圆形的类型分别通过一个完全或部分地以假设矩阵覆盖的窗口给定。
假设矩阵的在此所描述的给定的相应的元素在一定程度上形成一种参考元素或参考像素。将分别产生的直方图分配给这种参考元素或参考像素并对其进行评估。
如果在进行评估时并且尤其在形成直方图时检测假设矩阵的所有元素，则根据本发明的方法特别可靠地工作。
在此特别有利的是，使用相应的环境或相应的窗口，所述相应的环境或相应的窗口对于假设矩阵的所有元素在形状和/或延展的方面是相同或相似的，因为在这些情况下假设矩阵不同元素的结果产生高度可比性。
为了关于根据本发明的方法的流程来节省时间紧急的或计算密集的或存储器访问密集的工作步骤以用于流程优化，在另一有利的扩展方案中设置如下：将相应的环境或相应的窗口构造成滑动的环境或滑动窗口。在应用中，这意味着将滑动窗口作为理想的构造放置在假设矩阵上并在假设矩阵上移动，以便确定要考虑用于直方图计算的相应的参考元素和环境。然后逐步实现窗口的滑动运动，例如在行方向上逐列进行或在列方向上逐行进行，其中，然后对于新的参考元素更新现有的直方图，即通过添加或引入假设矩阵的新进入的元素，并删去或移除(austragen)假设矩阵的流出的元素。
在评估对于作为假设矩阵的参考元素给定的相应的元素的直方图时，可以基于直方图产生评估值。然后，这实际上用于评估属于参考元素或参考像素的对应关系假设。
例如可以通过如下方式产生评估值：在分配给给定元素的对应关系假设或该对应关系假设的至少一个分量的至少一个直方图区间中，读取直方图的一个或多个值，并对它们求和或加权求和，以形成评估值。
在此可以优选地附加地考虑来自与所分配的直方图区间相邻的一个或多个直方图区间的一个或多个值，或来自相邻的直方图区间的环境的一个或多个值。以这种方式能够实现，以简单的方式考虑对于参考像素的对应关系假设的假设环境，以便证实或证伪参考像素的对应关系假设。
在根据本发明的方法的另一有利的扩展方案中，在对各个给定的元素的对应关系假设的验证(verifizieren)进行证实时，如果评估值至少达到局部的或全局的预给定的阈值，则识别为假设矩阵的参考元素或其分量的参考元素。这具体地意味着，检查用于参考像素的对应关系假设的评估值是低于还是高于阈值，或者至少达到该阈值。在前一种情况下，对应关系假设作为异常值被放弃，在后一种情况下，对应关系假设被证实、确认，然后直接地或以修改后的形式被采纳为对应关系矩阵中的或对应关系图像中的对应关系。
替代地或附加地可以设置，在将各个给定元素的对应关系假设证实为假设矩阵的或其分量的参考元素或参考像素时，分别通过评估值确定所分配的和所证实的对应关系或其分量，并且优选照此将所分配的和所证实的对应关系或其分量作为对应的元素引入到对应关系矩阵或对应关系图像中。
在具体的实施方式中可以采取不同的技术措施，以便在处理时加速根据本发明的方法，和/或降低分别所需的处理开销。
这尤其可以理解为降低操作的次数，例如降低存储器访问、加法和/或乘法的次数。在更快速地执行的意义上，这可以用于时间加速；用于降低为了执行所设置的资源；或同时用于二者。
根据本发明的用于加速对假设矩阵的评估和/或限定地证实对应关系假设的方法的一种优选的构型方式，特别有利的是将各个当前产生的直方图(该直方图尤其存储在直方图存储器中)用于并行地和/或串行地证实多个对应关系假设，尤其用于评估假设矩阵的多个元素的对应关系假设，作为假设矩阵的参考元素或参考像素，其尤其可以彼此直接相邻。
在此有利的是，根据另一根据本发明的方法的构型方式，如此组织所使用的直方图存储器，使得所述处理的所基于的时钟周期足以从直方图中读取各个当前元素的值作为假设矩阵的参考元素，以及直方图的一个或多个其他区间的值。
这可以以有利的方式实现，其方式是：(i)通过关于假设矩阵中的当前元素将值1相加或相减到所存储的值上来计算所基于的读取地址(ii)通过尤其关于所基于的直方图存储器的双端口对直方图的区间的群集(cluster)。
替代地或附加地，为了加速评估假设矩阵和/或加速限定地证实对应关系假设，可以设想在假设矩阵的参考元素的意义上并行地(尤其同时地)和/或串行地对多个元素的相应的多个对应关系假设执行有条件的证实。
可以将直方图的给定填充状态用于验证多个假设，以便证实多个假设，即证实假设图像中的参考位置以及相近的邻域。因为直方图的更新开销很大，并且借助该方法可以降低——例如降低到1/4——所需的更新次数，使得例如在内存访问次数、相加、加权等的意义内节省处理开销。
还可以设想，在更新直方图时，不将各个给定的元素的环境内部的假设矩阵的所有元素都考虑为假设矩阵的参考元素和尤其所基于的滑动窗口的参考元素。
在此尤其可以使用少于相应于滑动窗的最大行数的行，尤其行数为4。
此外，本发明涉及一种用于设备、尤其用于车辆的运行辅助方法、尤其是驾驶辅助方法，其中检测图像，并借助一种方法根据一种根据本发明的方法来对图像进行评估，并且其中在控制设备的运行时使用该评估的结果。
根据本发明的另一方面，还说明一种用于评估图像、尤其用于评估图像的对应关系假设的设备，该设备设置用于实施根据本发明的运行辅助方法或驾驶辅助方法，或用于实施根据本发明的用于评估图像、尤其用于评估图像对的对应关系假设的方法。
根据本发明的设备尤其可以构造为asic、可自由编程的数字信号处理设备，或它们的组合。
此外，通过本发明说明一种计算机程序，该计算机程序设置用于，当其在计算机或数字信号处理装置上实施时实施根据本发明的方法。
此外，本发明还提出一种机器可读的存储介质，在该机器可读的存储介质上存储根据本发明的计算机程序。
附图说明
参考附图详细描述本发明的实施方式。
图1以流程图的形式示意性地示出根据本发明的方法的实施方式并且示出所基于的图像、假设矩阵和对应关系矩阵之间的对应关系；
图2至图5示意性地阐述所基于的假设矩阵和所应用的滑动窗口之间的可能关联；
图6示出图表，其分别表示所基于的对应关系矩阵的分量的直方图；
图7同样示意性地阐述所基于的假设矩阵和所应用的滑动窗口之间的可能关联；
图8至图10阐述为了加速实施根据本发明的方法的实施方式而可以采用的措施。
具体实施方式
以下参考图1至图10详细描述本发明的实施例和技术背景。相同、等效以及相同或等效作用的元件和部件由相同的附图标记表示。并非在每种情况下都重复描述所示出的元件和部件的详细描述。
在不脱离本发明的核心的情况下，所示出的特征和其他特性可以以任何形式彼此隔离，并且可以任意地彼此组合。
图1以流程图的形式示意性地示出根据本发明的用于评估图像b1和b2的方法s的实施方式，并且示出所基于的图像b1、b2、假设矩阵10和对应关系矩阵100之间的对应关系。
在根据本发明的用于评估图像b1和b2的方法s的第一步骤s1中，首先提供假设矩阵10，该假设矩阵也可以理解为假设图像并具有对应关系假设[u，v]作为元素——在此具有分量u和v——，应对所述对应关系假设进行评估，以便决定相应的对应关系假设是实际上导致了对应关系，还是必须作为异常值而被否定。
在可以将[u，v]理解为如下矢量：该矢量的分量u和v分别具有单位“像素”。可以将这样的矢量[u，v]添加到矢量[x，y]上或从矢量[x，y]减去。在此，矢量[x，y]可以表示图像b1或b2中的位置(作为像素坐标)。和[x，y]+[u，v]或差[x，y]-[u，v]可以表示各个其他图像中的位置。因此，位置[x，y]处的矢量[u，v]表示在分配给各个其他图像中的位置的意义上的关系。这种关系可以相应于如下的对应关系：如果在两个图像位置都示出相同的场景点，则就是这种情况。需要找到这种对应关系。在确认的情况下，将[u，v]存储在对应关系矩阵100中的[x，y]的位置处并且被标记为有效。在否定的情况下，相应地在[x，y]的位置上注明这一点。为了有效/无效标记，可以为每个位置[x，y]设置一比特，或例如处在u和v的值范围的边缘的特殊的矢量[u，v]。
矢量[u，v]通常具有非整数值。相反地，矢量[x，y]优选地具有整数值。
为了决定是否将对应关系假设评估为异常值，在第二步骤s2中评估假设矩阵10或假设图像，并在随后的步骤s3中基于评估结果进行证实。这详细地意味着，对于每个对应关系假设[u，v]或对于分量u和v中的每个决定，放弃和否定还是确认对应关系假设[u，v]或分量u、v。
然后，所有确认的对应关系假设[u，v]的总体形成相应的对应关系矩阵100，该对应关系矩阵也可以称为对应关系图像，并且该对应关系矩阵包含确认的对应关系作为元素或像素。
根据本发明地对假设矩阵10进行评估s2，其方式是：对于假设矩阵10的每个元素1(在此充当所谓的参考元素或参考像素)，对于相应的配属的对应关系假设[u，v]或对于构成所述对应关系假设的分量u、v，关于对应关系假设[u，v]的分量u、v的值在步骤s2-1中形成一个或多个直方图63、64。
然后在随后的步骤s2-2中评估这些直方图63、64。
图1中还示出，可以将图像b1、b2、假设矩阵10(也可理解为假设图像)和对应关系矩阵100(也可理解为对应关系图像)分别表示为相互对应的矩阵和/或表示为相应设置的存储器或存储区域。这用于简化的图示，但是不是强制性的，只要可以在图像b1、b2、假设矩阵10和对应关系矩阵100中的至少一个与它们的相应的元素或像素之间建立相应的1对1的对应关系。
图2至图5示意性地阐述所基于的假设矩阵10和所应用的滑动窗口20之间的可能关联，所述滑动窗口定义或形成用于统计各个给定的参考像素1的直方图63、64的环境。
在图2至图5中示出的所有实施方式中，将对应关系假设[u，v]的总体表示为具有确定列数和确定行数的矩形假设矩阵10。也可以将假设矩阵10理解为假设图像，并且假设矩阵具有也可以被称为像素的元素11。假设矩阵10的每个元素11因此具有对应关系假设[u，v]，该对应关系假设可以由一个分量组成或在此由多个分量u、v组成。
然而，在此并非每个对应关系假设[u，v]都必须具有有效的内容，因为例如可能对于确定的图像位置不能够确定假设，例如因为相应的场景点虽然在图像b1中是可见的但在图像b2中是隐藏的，或者出于其他原因不能够被发现。
因此设置，可以对于假设矩阵10的每个存储位置给出有效/无效信息。为了有效/无效标记，可以每个位置[x，y]设置一比特，或例如处在u和v的值范围的边缘的特殊的矢量[u，v]。
以下始终忽略标记为无效的假设。因此它们不会影响直方图63、64。标记为无效的假设也不能够导致对应关系矩阵100中的结果。
对应关系假设[u，v]及其分量u、v的类型取决于提供对应关系假设[u，v]所基于的方法s1。在此，纳入所基于的检测的图像b1和b2的物理性质以及对应关系形成的机制的性质本身。如此，对应关系形成可以基于光流(of)的概念和/或立体视差的方面，并且必要时可以基于其他方面。
在图2至图5所示出的示例中，由具有宽度b和高度h且具有相应的列数或行数的滑动窗口20给出所基于的假设矩阵10的参考像素1的相应的环境。滑动窗口20分别覆盖假设图像10的区域15并且具有相应的元素21，该元素同样可以称为像素。在此示出以1或26标记的元素并且将元素用作关于滑动窗口20的参考像素或参考元素1、26。参考元件或参考像素1、26可以是关于窗口的中心像素。
一直基于滑动窗口20且所基于的假设矩阵10的元素11、21的通过滑动窗口20覆盖的区域15来求取以下描述的直方图63、64。
以下待描述的直方图63、64以有利的方式通过例如沿着行方向，即在图2至图5中在箭头23方向上水平的滑动偏移进行更新。在该滑动运动期间，即在偏移时，在左侧或背侧17上的假设矩阵10的像素或元素24从滑动窗口20掉出，而在右侧(也称为端侧16)，像素22进入到滑动窗口20下或滑动窗口中。
进行直方图63、64的更新，其方式是：移除待离开的像素24，并从直方图63、64中注销它们的计数器或权重，并将待进入的像素22的计数器或权重注册到直方图63、64中。
在图2中滑动窗20具有矩形形状18-1，而在根据图3的实施方式中的形状18-2是卵形。
图4和图5阐述当参考像素1、26位于假设图像10的边缘时参考像素1、26的操作、尤其滑动窗口20的操作，使得如果在这种情况下参考像素1、26充当滑动窗口20的中心像素，则滑动窗口20突出超过假设图像10的边缘。
图5在此尤其阐述滑动窗20在方向23和23'上的来回运动，其在竖直方向27上的短暂的行变化之间。
这些关联将在以下各段中进一步阐述。
图6示出图表60，该图表分别表示对于作为所基于的对应关系矩阵10的参考像素或参考元素1、26的元素的直方图63、64，更确切地说对于对应关系假设[u，v]的分量u和v。
图7同样示意性地阐述所基于的对应关系矩阵10和所应用的滑动窗口20之间的可能关联。
图8至图10阐述为了加速根据本发明的方法s的实施方式而可以采用的措施。在以下各段中详细阐述这些措施，这些措施尤其涉及对所基于的假设矩阵10中的多个相邻参考像素1、26的对应假设[u，v]同时进行评估。
通过以下陈述进一步阐述本发明的这些和其他特征和特性：
在计算机视觉、即机器视觉或计算机辅助视觉的领域中——尤其是在光流和立体视差方面——遇到主题“对应关系形成”。
在光流(以上和以下也称为of)的情况下，在时间方向上形成对应关系，其方式是：确定第一图像中的坐标和第二图像中的坐标之间的分配关系。然后，这种对应关系说明3d场景中的点到2d图像中的投影如何从旧坐标随着时间进一步运动到新坐标。
在此，图像中的运动可能通过场景点的运动或摄像机的运动引起，或通过两者同时引起。
在立体视觉中，由位于不同位置的两个摄像机大致同时检测两个图像。在此，摄像机的相对布置通常是固定且已知的。对应关系形成能够实现借助三角测量法确定至3d场景中的点的距离。
已知多种对应关系形成的方法，在此以这些方法为前提。
首先将对应关系形成的结果用作假设，即——该结果是潜在的对应关系，其中的一些或多个可能是有错误的，然后也可以称为异常值或离群值(outlier)。
在此，每个图像坐标可能存在一个或多个假设，或者也可能不存在假设。
本发明的任务在于，说明一种尽可能可靠的用于验证对应关系假设的方法，使得尽可能多地识别到异常值并且必要时消除异常值，并且在很大程度上保留正确的假设——作为有效值或正常值(inlier)。
如果每个图像坐标存在多个不同的假设，那么其中通常最多只有一个是正确的。
本发明的核心方面是实现基于直方图的验证对应关系假设的方法。在此基于这样的假设：当从第一图像转变为第二图像时，大部分地保留图像点的局部邻域。
矢量——例如光流的矢量，其也称为光流矢量——将投影在两个图像中的场景点的坐标彼此连接，该矢量通常与相邻的图像位置处的矢量特性相似。“相似”在此意味着，其具有相似的长度和定向或具有例如关于水平分量u和竖直分量v的相似的矢量分量。
在自然图像中(例如来自驾驶辅助摄像机，机器人摄像机或监控摄像机)，图像中的大部分通常都满足此假设。但是，例如在对象边缘处、尤其在场景中的深度跳跃处，可能会违反此假设。
对于相应的连续图像求取的流场可以以各种方式进行可视化，例如借助颜色编码，其中，相应的颜色说明流向，例如，黄色：向下；蓝色：向上；粉红色：向左；绿色：向右。颜色饱和度表示流矢量的长度，因此例如用白色表示零矢量。黑色区域可以用于以下情况：对于该光流无法确定值。
在自然图像中——即例如在自然场景的光学成像中——得出，在时间上彼此相继或在立体景象中彼此配属的图像的相邻的像素通常具有相似的流矢量或对应关系矢量，并且因此良好地满足局部领域中的相似性的假设。由本发明有利地使用该假设。
如上已经提及的，该假设尤其适用在对象边缘处，例如在图像的前景中描绘的行人与同样被描绘的图像背景之间的边缘处，或者在图像的前景中的骑行者至背景的边缘处等。但是那里通常一直部分地满足假设，因为相邻的像素中的至少一部分具有相似的对应关系，例如流矢量。这种情况也被本发明一同覆盖。
结合本发明，通常将光流作为对应关系形成的示例。然而也覆盖其他应用，例如立体声系统、多相机系统等。在此不必对所基于的相机系统进行校准。如此，为了能够应用本发明，同样不需要例如在立体声系统中通常使用的——基于校准的——极线校正(epipolarerektifizierung)。即使对于对应关系形成的普遍得多的示例，例如在文档中或跨越文档边界查找相似的文本片段，也可以使用本发明。
如果将局部环境的对应关系假设——尤其是它们在水平方向或u方向和竖直方向或v方向上的运动的值——分别引入到单一的且一维的直方图，或者引入到合并的、共同的且二维的直方图，则在合适的缩放比例下在直方图中构造峰值或最大值，这些峰值或最大值源自占主导的局部运动。这例如在图6中表示为使用两个独立的一维直方图。
因此，存在选择合适的直方图的多个可能性：
-两个一维直方图：
一个一维直方图用于第一运动分量，例如水平运动u。第二个一维直方图用于与其垂直的运动分量，例如竖直运动分量v。
运动分量u，v不必定向到在各个所基于的图像的图像轴线上或与各个所基于的图像的图像轴线平行。例如同样可以设想对角线分量或任何其他取向。
分量也可以表示其他变量，例如流矢量的方向和长度。
-多维直方图(复合直方图)，
在多维直方图(也称为复合直方图)的情况下，例如在二维的直方图的情况下，不相互独立地考虑两个分量u、v，而是一起考虑两个分量u、v。
此外，必须确定值域和分辨率。相应的直方图的值域有意义地遵循对应关系形成的全局或局部搜索范围，例如在光流中可找到的最小和最大水平运动。
直方图区间(也称为直方图块(bins))的相应分辨率或区间宽度可以例如遵循所期望的准确度，或给定的假设的分辨率，或可用的存储器的量。
但是，不应将区间宽度选择得太小，否则存在分别落入直方图块或直方图区间的数据太少这一风险，由此，使得多数的确定由于缺乏单义性而变得困难或开销更大。
为了能够避免或减少由于给定的区间宽度而产生的不期望的量化效果，有利的是，将待引入到直方图中的值(例如增量+1或减量-1或附加有符号的权重)不是仅引入到一个块中，而是加权地分布到两个处于最近的块中。
示例：替代于将值u＝9.4四舍五入成9并在直方图中的对应位置添加+1，在9处增加权重+0.6，在10处增加权重+0.4，因此1.0的总权重——更准确地说以与权重相应的间距——分布在两个块上。
相应的直方图可以实施为滑动的直方图或借助滑动的窗口来实施，如这结合图2所示出。由此节省计算开销和出/进存储器的数据传输，因为不需要总是作为整体再次重建直方图的内容，而是可以连续更新。
可以通过具有例如矩形或其他形状(例如圆形、卵形、椭圆形、多边形等)的滑动窗口来实现滑动直方图。
有利的是，除了直方图之外还设有存储器，在该存储器中连续地共同执行直方图中所有引入项的总和，即位于窗口下方的假设数量或位于窗口下方的权重的总和。每次写入访问直方图时也需要更新该总和。
提供总和存储带来以下优点：可以随时调用数量或权重总和，而不需要重新计算。该优点例如可以用于标准化的目的，例如确定支持某一运动假设的假设的相对比例是多少(在当前窗口下)。
在二维直方图的情况下，对于矢量分量仅设置一次总和存储就足够了，因为在两个直方图中分别所引入的权重在优选的实施方式中是相同的。
滑动窗口(实施例)
将例如根据图2的具有宽度b和高度h的矩形窗口20或例如根据图3的其他形状的窗口20在图像10上和/或在假设或其分量的存储器上虚拟地移动。在图2和图3中分别示出瞬间记录。作为滑动窗口(英：slidingwindow)的窗口20例如在对应关系假设的图像10上从左向右逐像素列地移动，或在分别包含对应关系假设的分量(例如u分量)的图像10上逐像素列地移动。例如通过箭头23来表征窗口20的运动。
窗口20恰好位于用黑框标记的位置。在窗口20的右边缘处的像素22正好在窗口20下方移动，像素24在左边缘处离开窗口20。准确地对这些像素22和24执行刷新或更新(update)。在此将像素22的位置的假设引入到直方图中，其方式是：相应的计数器进行增量，或将相应的权重相加到各个直方图区间或块上。对于像素24执行“相反的”更新，更确切地说在以下意义中：在此相应的计数器又进行减量，或关于各个直方图区间或块减去相应的权重。在此确保，当相应的刷新或更新完成时，在直方图中准确地考虑那些恰好位于窗口20下(即在窗口20的框架以内)的假设。相反，窗口20以外的假设对直方图的内容没有影响。
在此，对于每个图像位置(在此表示为像素)可以存在一个或多个假设或不存在假设。例如可以每个像素存储0到3个假设。这意味着，在更新时直至三个假设被引入或移除到直方图中。
像素1、26表示参考位置，该参考位置例如大致位于窗口20的中心。像素1、26是当前创建的直方图所涉及的像素。对于在参考位置处或参考位置附近的假设，可以基于当前直方图的内容例如出于验证的目的而进行陈述，这将在稍后阐述。
箭头23示出，当直方图更新步骤和验证步骤已经完成时，窗口20在哪个方向上继续移动。优选如此选择窗口20的定向和窗口20的滑动或移动的方向23，使得窗口20在滑动或移动时具有尽可能小的“端面”或前缘，因为这样纳入更新的像素数量是最小的。在该示例中，将2·h个像素或图像位置纳入到更新中。该数字小于2·b。
相应的窗口20不需要完全位于图像10中，而是也可以与边缘重叠。在图4中示出，如何将窗口20在左侧导入到图10中并且在右侧导出。参考位置1、26在此位于第一图像行中。
根据图4的处理可以是有利的，即在其中使窗口20逐步地移动进入到图像10(即假设矩阵)中。在这种情况下，从不需要进行直方图63、64的初始填充。更确切地说，可以考虑空白的直方图63、64——将所有块置于0——并且更新过程也单独地在图像边缘处创建相应的直方图63、64的每个所需的填充状态。
图4示例性地示出窗口20如何沿箭头23的方向从左向右移动，以及在此重叠首先增加。将窗口20的右边缘处的像素22的值引入，而窗口20左边缘处仍然不存在像素，即尚未进行移除。在图10的右边缘处则相反。在那里将窗口20的左边缘处的像素24的值移除，而在右边缘处不再存在像素(即不再引入)，直到直方图63、64被完全清空，即恢复初始状态。
代替使窗口20完全从图像10中移出，替代地也可以执行复位，在该复位中，一旦验证步骤不再需要直方图内容，就将所有存储位置都置于0。
在完成处理完一行后，例如可以在下一行中执行相同的过程。该过程也是可并行化的。
图5示出用于处理图像10的特殊变型方案，其中，滑动窗口20分别在图像10的边缘处在左侧和右侧发生方向改变。
因此，例如每当参考像素1、26已经到达图像10的边缘时，也可以改变滑动或移动的方向。例如，窗口20从左到右开始向右移动，直到参考像素1、26接触边缘(但仍处在图像10中)。然后例如将窗口20向下移动一个像素，因此对于宽度侧例外地执行更新过程。然后，使窗口20沿与先前的方向相反的方向移动，即从右向左移动，直到参考像素1、26到达图像10的左边缘，再次将窗口向下移动一个像素并再次改变方向，以此类推。
直方图在其间通常不会到达初始状态。但是，这不是问题，而甚至是优点，因为需要引入和移除的数据较少。
直方图数据(实施例)
图6示出用于分量u或v的直方图63和64的典型的瞬间记录，在此将其实现为1像素的分辨率(区间宽度)。可以看出，构造出峰值65，其表示窗口20内的主导运动。根据直方图的分辨率，峰值65通常分布在一个或几个块上。
在图中具体地示出水平(直方图63)和竖直运动分量(直方图64)u或v的两个一维直方图63和64的内容的瞬间记录。
部分情况下在窗口20内还会存在两个或多个主导运动，例如在以下应用中：在窗口20中，一半对应于图像前景中的行人，而另一半对应于图像背景，在那里重叠，并且两个“一半”在图像中具有不同的运动。然后，在直方图中通常相应地存在代表这些多个运动的多个峰值65。
在一个或多个主导峰值65之外，直方图块填充有零值或小值。这些小值通常是由异常值引起的。
因此，借助直方图63、64的表示很好地适合用于将主导的和因此可能正确的运动与异常值分离，这些异常值在统计上更可能分散地出现。
加权直方图
在经典的直方图63、64中对事件进行计数。然而如已经提及的那样，有利的是不再考虑假设[u，v]分别具有相同的权重1，而是具有不同的、个体化的权重。因此，例如可以考虑相应的假设中的信任的度量。
例如，在此未更详细考虑的算法还可以为每个假设指定一个个体化的品质度量、信任度量、权重或类似物。
在引入到直方图63、64中时可以考虑这些度量，其方式是：通过权重总和来代替直方图计数器。为此必须设置相应的值范围。在此有利的是，在滑动直方图中另外还使用整数值或定点数，而不是浮点数进行处理。因为应尽可能地确保，在连续的加法和减法中不会由于无法抵消的舍入误差而产生偏差。在浮点数的情况下可能存在这种风险。事先应进行可能必要的舍入，以便在滑动直方图63、64中确保，所引入的权重稍后又被移除，而不保留由于舍入产生的余数。
在加权直方图63、64的情况下，将说明当前引入的假设数量的总和计数器变为说明当前引入的假设的权重的总和的总和权重计数器。
验证步骤
如上所述，在执行更新并且直方图63、64的内容代表位于给定的窗口20下的运动假设之后，可以在参考位置处并且必要时在参考位置周围的小周围环境中对假设执行验证步骤。
在验证步骤中，检查邻域中是否存在对于各个所考虑的假设足够的支持，其中，通过窗口20关于参考位置1、26的大小和位置确定该邻域。
来自这些邻域的这些假设已经明确地表达如何在选择时输出其投票(stimmen)并且分别投票一个确定的运动，更确切地说，在两个一维直方图63、64中以分量的方式或在二维复合直方图中以矢量的方式。
然后例如对于待证实的假设检查，该假设是否受到多数支持或是否存在至少足够高的支持。
在两个一维直方图63、64的情况下，对于每个分量单独执行该检查，并对结果进行组合，例如其方式是：考虑使用两个结果中的较差结果，或将两个结果以其他方式(例如通过加法)进行彼此关联。
在此检验步骤可以视为描述如下，其中，例如该检查例如涉及分配给图2或图3中的标记位置1、26的假设矢量，因此尤其具有以下步骤：
-将假设矢量分解成其分量(在复合直方图中省略)。
-在位置1、16处的相应直方图63、64中进行读取地访问，该访问对应于假设的运动(分量)。如果例如假设的u分量为-1.7像素，则在代表u＝-2的位置处读取具有1像素的区间宽度的直方图(可选地也可以在代表u＝-1的位置)，因为值-1.7位于u＝-2和u＝-1之间。
-可选地，也可以在其他附近的位置处(例如在此在位置-3和0处)读取直方图63、64。在复合直方图的情况下，可以读取附近的小区段(例如正方形)。
-然后对相应于计数器或权重的所读取的值进行总结，例如相加或加权相加，以求取评估值。
可以根据假设的(舍入或非舍入的)值来选择权重。例如，在上述值-1.7的情况下，可以将权重0.7和0.3用于在u＝-2和u＝-1处读取的直方图条目
-这些评估值代表对假设的第一评估。评估值越高，由邻域对存在的运动的确认越清晰。在异常值的情况下，该值将较低。
在两个一维直方图的情况下，出现可以(例如通过考虑最小值或总和)组合的两个评估值。
-可以将这些必要时组合的评估值与阈值进行比较，以便决定该假设基于来自基于直方图的评估的足够的支持是否是可信的。
替代地或补充地，也可以将评估值——必要时以量化或编码形式——作为附加信息附加到假设上并且继续传递，以便在随后的位置对评估值进行分析处理或在接口处提供评估值。
-代替使用绝对阈值，可以替代地或补充地考虑相对阈值。例如，可以考虑总和计数器或总权重计数器用于确定，来自支持恰好所考虑的假设的邻域中的假设占多大的比例。
-在基于直方图的投票时，有意义的或所希望的是，使得分别不考虑自己的投票，从而假设不可以为自己投票。这可以无问题地实现，其方式是：在读取相应的各个直方图块和读取总计数器或总权重计数器时，分别减去自身的权重。
替代地或附加地，也可以考虑将峰值位置用于验证假设矢量：
-可以在任何时刻由直方图63、64或多个直方图63、64来求取主导运动，其方式例如是：确定主导峰值对应于哪个运动。例如可以通过以下方式来确定将主导峰值分配给哪个块：
-通过具有最大权重的块；
-通过如下块，该块与其相邻的块(其分别具有更小或相同的权重)的总和在所有这样的“块对(bin-paaren)”中具有最大的权重；
-通过如下块，在加权平均时通过块的预定义的领域来对于该块求取最大的权重(例如能够借助对直方图进行卷积来实现，例如以对称的系数[c2，c1，c0，c1，c2]，其中c0≥c1≥c2≥0)。
最后提及的两个点代表平滑措施，在实践中该平滑措施导致更稳定的峰值选择并且因此是优选的。
-可以以不同方式进行求取主导峰值位置：
-关于相应的直方图63、64进行完全搜索：该方法始终会找到主导峰值，但由于读取整个直方图，因此需要更多的开销。
-增量搜索：在直方图内容每次发生变化后，或在若干数量的变化后，或在一定时间后，检查主导峰值是否“继续移动”，例如向左或向右移动一个块位置或几个块位置。对于该检查仅需要很少的开销。
-在直方图更新后检查主导峰值的位置：对于每个已更改的块，检查主导峰值此时是否处在那里(或必要时在紧邻中)。
-将分配给潜在的主导峰值的权重与总权重进行比较。只要该比率大于1/2，就可以确认该主导地位。该测试在图5所示的示例中大多是成功的。
-通过结合最后提到的方法，实际上很少或完全不再需要进行全面搜索。
-除了“第一”主导峰值位置之外，还可以求取第二或第二最佳的峰值位置，必要时第三等等。这是有利的并且具有实际意义，尤其是在窗口20内存在多个主导运动的情况下。
-在检查假设时考虑，该假设是否或处在主导峰值位置处或在主导峰值之一处，或距离主导峰值位置或主导峰值之一有多近。
例如，可能要求假设的两个分量都距离相应的直方图63、64中的峰值不超过3个块，以便接受假设。
替代地或附加地，可以将品质度量附加到假设上，该假设包含关于以下内容的陈述：通过主导运动(或主导运动之一)对假设的支持程度有多好。
基于多数的对应关系验证的结果具有典型的“外观”，例如如开头所述的那样将结果彩色地可视化。
这尤其在边界区域这涉及如下情况：将该方法应用于困难的数据，例如在信噪比较弱的情况下或者在运动模糊或遮盖的情况下等。根据退化的类型和一些特征化的特性，可以良好地识别该过程，例如：
-根据假设的相互确认形成结果的群集，
-由于从一个主导峰值65变换到另一个主导峰值65，在对象边缘处急剧地跳跃(无拖尾现象(verschmierung))，
-在比较输入和输出时，在几乎没有剩余异常假设的意义上，具有良好的效果。
此外，当窗口20在假设的图像10上滑动时，对存储器和缓冲存储器的访问模式非常的特征化，如结合图2所示的那样。
本发明例如适合于在cpu、fpga上并且适合作为asic或asicip，并且可以在所有平台上实现。
光学流动方法——也称为光流方法(of)——是一种用于借助计算机视觉方法或在计算机视觉方法中进行运动分析的方法。
摄像机传感器可以生成包含3d世界的2d投影点的图像。在of的情况下，对在不同检测时间记录的图像进行分析，并且对于那些可以在两个图像中定位其坐标的点建立所谓的对应关系。对应关系矢量连接第一图像中的像素的坐标与第二图像中的相同的2d点的坐标。在光流中对应关系矢量也称为流矢量。
上述方法描述用于识别和确认或否定假设图像10的异常值的处理方式。
以下描述的过程作为附加方面讨论在上述基本方法中进行加速的可能性，以便在证实过程期间实现实时处理或减少证实过程的计算开销。在此对上述证实过程进行修改，这也可能导致不同的结果。在此结果的差异非常小，使得在实际应用中不会导致相关的缺点。
此处描述的方法例如可用于实现计算机视觉asic。
驾驶辅助摄像机系统必须以每秒60张全高清图像的处理能力(verarbeitungsdurchsatz)来实现最多几瓦的低功耗，以能够实现自动干预系统，例如紧急制动辅助功能。在这种摄像机系统中，存储器带宽不足以对每个对应关系假设执行基于直方图的验证。其中需要计算直方图63、64的图像区域的大小确定了计算开销或用于处理算法的时间。对于大的区域或范围，更新直方图和分析内容所需的时间可能对系统造成消极影响，在嵌入式系统中实时地处理图像b1、b2。在该区域较小的情况下，直方图63、64的峰值可能突出得不够强烈，因此无法可靠地实现区分异常值和正确的假设。
本发明加速用于否定或验证异常值的方法，并且能够实现在嵌入式系统上实现如紧急制动辅助功能的实时应用。
以下描述的方面降低基于直方图的过程的处理时间，该过程用于通过使用当前存在于存储器中的直方图63、64的内容来验证对应关系矢量假设，其中，并行地检查多个假设。
在以下描述中可以这样认为：已经执行了用于确定对应关系的第一步骤，使得具有必须检查的对应关系假设的图像10在存储设备中可供使用。可以这样认为：该图像10包含有效元素和异常值。有效元素(也称为“正常值”)通常代表真实的运动，而异常值是错误的对应关系。只有这些必须被否定，其他(即前者)保留。这通常是最后的处理步骤，使得其输出是对应关系矢量图像100，其中，对应关系矢量例如可以是光流矢量。异常值的特性是其是随机分布的，而正常值具有通过相邻像素的空间支持。出于这个原因，基于直方图63、64的验证是一个很好的选择，因为正常值属于直方图63、64的局部峰值或全局峰值65。
还假设使用存储器来存储对于给定区域的直方图块的值。存在多种可能性来将滑动窗口直方图的值存储在电子设备中。一种可能性是在具有比特存储单元(例如触发器)的ip内使用编译存储器(build-speicher)。这种可能性能够仅在一个时钟周期内访问直方图的所有块，但是其成本过高，使得在产品上不考虑这种可能性。
另一种方案是使用具有用户定义的输入和输出端口的片内(in-chip)或片外(off-chip)存储器。这些存储器具有有限数量的端口，用于读取和存储值。在构造具有相应存储需求的电子系统时，需在所需的半导体区域的大小(面积越大，对成本的影响越大)和性能之间找到折衷。可以从单端口(每个时钟周期仅进行一次读或写操作)或双端口至四端口存储器(在同一时钟周期中进行两次、三或四次读操作和仅一次写操作)中选择存储器。因为四端口存储器并非在所有电子设备中都可供使用，并且其面积消耗较高，因此双端口存储器最常用于需要高处理能力的应用。
在以上描述的验证方法中，使用具有滑动窗口20的方案以驳回(zurückweisung)of的异常值。这降低从包含对应关系假设图像10的存储器到包含直方图63、64的存储器的数据传输，因为不需要总是重新创建直方图63、64。直方图存储器上的读取和写入操作减少到如下区域中的行数的两倍，在该区域中计算直方图63、64。作为示例，在图7中示出具有高度为9行的矩形滑动窗口。出于以下考虑进行简化：每个像素恰好存在一个假设——实际上每个像素中可能存在多个假设或完全不存在假设——并且每个假设的权重1。然后，由于9行的高度，直方图的更新持续18个时钟周期，因为需要访问18个地址。需要对进入到直方图63、64中的新列的9个块进行增量，并且需要对离开直方图63、64的旧列的9个块进行减量。
在对直方图63、64进行更新之后，下一步骤是识别当前的对应关系假设是否属于直方图中的峰值65。这通过访问相邻的块或直方图区间中的几个、随后对块的值之间进行比较来实现。因为必须针对整个对应关系假设输入图像10来进行直方图63、64的更新和分析处理，由于有限的存储带宽，在嵌入式设备中对于大的图像不能够对以上描述的过程进行实时处理。
本发明附加地提出三种方法来加速对应关系假设的验证。
第一加速方法是在分析处理直方图63、64期间节省时钟周期。在此如此组织存储有直方图63、64的存储器，使得一个时钟周期足以获得当前中心像素的值及其最多四个相邻的块或直方图区间。在图8中示出这一点。必须通过对在中间的或中央的像素中存储的值进行相加或相减来计算读取地址。例如通过对一个地址中的八个直方图进行编组，在仅一个周期中最多可以读取八个相邻的块。鉴于以下事实——例如将直方图63、64的中间像素分配给块号11，必须将第一端口的读取地址设置为地址号0并且在第二端口处设置地址号1。两个端口总共包含16个块，从块号0至块号15。第一读取端口在当前中心(块号11)的左侧提供第四个块(块号7)。第二个端口在左侧包含其他三个块(块8至10)，在右侧包含其他四个块(块12至15)。
第二种加速方法减少整个对应关系假设图像的处理的总时间，其方式是：并行地使用直方图63、64的内容来验证n个对应关系假设，而不是像原始方案中那样仅证实一个对应关系假设。出现轻微的不对称的原因是，因为并非所有假设都可以位于窗口20(例如图7中的9行高)的中间，对于该窗口计算直方图63、64。为了部分地补偿这种不对称性，可以增加行的数量，优选增加n-1行。尽管增加行数会增加用于更新和分析处理直方图63、64的时间，但却降低用于证实整个对应关系假设图像10的总时间，因为在直方图填充状态下可以同时证实n个假设。
在该示例中，由于行数增加导致开销增大因子(8+(n-1))/9＝(8+n)/9，相对地又相应于直方图更新的次数降低因子n。总的来说，在该示例中考虑算法的处理时间降低的因子(8+n)/9n。
然而另一方面，与以上描述的未加速的根据本发明的方案相比，不对称还导致结果略有改变。
为了使结果不会由于对称性而强烈地改变，已证明n＝4的值是对结果的质量和处理时间的良好折衷。如图9所示，在n＝4时滑动窗口20具有十二行，并且可以在24+4个时钟周期中执行直方图更新和直方图分析处理，这导致需要28个时钟周期的处理能力用于证实4个输入对应关系假设。由此所得的每个输入对应关系假设7个时钟周期的处理能力能够实现，在全高清图像和低时钟频率的情况下对上述方法或算法进行实时处理，这在嵌入式设备中对于低功率消耗是必要的。
第三加速方法基于减少更新直方图63、64所需的时间，尤其在假设图像10的数量少时可以有利地使用该加速方法。然后，进行传入和传出的假设存储器中的多个都不包含更新直方图63、64的信息。该特性可以用于将用于更新直方图63、64的行数降低到小于滑动窗口20的行的总数的固定数量。例如，考虑使用了十二个行的滑动窗口20来更新直方图63、64，可以将待考虑的对应关系假设从十二个限制为六个，以便将为此所需的时钟周期也相应地降低到一半。在极少数情况下，多于六个假设可以用于为更新作贡献，则必须跳过其余的假设。对于这种情况，需要定义优先级顺序。
在图10中示出一个顺序，根据该顺序搜索存在并读取用于直方图更新的假设。编号为1的六个像素具有最高优先级，并且始终会被读取。如果这些像素中的一些不包含对应关系假设，则读取下一个编号为2、3等的像素，更确切地说，直到最多读取六个对应关系假设。凭经验证明，与在不跳过剩余的假设的情况下对直方图进行更新相比，以这种方式对直方图63、64进行更新可以获得相似的结果质量。
在考虑三种加速方法以及具有十二行的高度的滑动窗口20的情况下，可以将验证对应关系假设所需的时间从三十个时钟周期降低到接近四个时钟周期，由此在嵌入式设备中以例如每秒60个全高清图像实现该方法或算法的实时实施。
- 还没有人留言评论。精彩留言会获得点赞！