专利名称：用于处理图像数据的方法和系统的制作方法
技术领域：
本发明涉及用于处理图像数据的方法和系统以及对应的计算机程序产品。例如， 该方法可构成检测移动物体(Object)的方法的一部分。同样地，该系统可构成用于检测移动物体的系统的一部分。
背景技术：
在汽车安全应用领域，正在开发对邻近车道中的车辆进行检测以发出车道变化警告的系统。例如，已开发出方法来检测车辆的盲点区域中的移动物体。例如，EP-A-I 988 505和EP_A_1 988 488涉及用于检测车辆的盲点区域中的移动物体的方法。近来，变为也希望检测远落后于自我车辆(ego-vehicle)的车辆以使得可以非常早地警告驾驶员。本发明的一个目的是提供改进的分别处理图像数据和检测移动物体的方法和系统。以上目的是由独立权利要求所要求保护的主题来实现的。另外的实施例在独立权利要求中定义。附图被包括以提供对本发明实施例的进一步理解并且被包含在本说明书中并构成其一部分。附示出本发明的实施例并且与说明书一起用来说明原理。当本发明的其他实施例和许多预期优点参考以下详细说明得到更好理解时，它们将被容易地认识到。附图的元素不一定是彼此成比例的。相似的标号标示相对应的相似部件。
一第二运动估计器63，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。同样，用于处理图像数据的系统包括第一运动估计器62，该第一运动估计器62适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及第二运动估计器63，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。另外，该实施例提供了适用于执行以上方法的计算机程序产品。在图6所示的示例中，图像数据首先被预处理块61处理。例如，预处理块61可包括各种处理设备，例如滤波设备、图像校正设备以及其他。此后，图像数据被提供给第一运动估计器62以及第二运动估计器63。可选地，图像数据也可被提供给第三运动估计器64， 该第三运动估计器64识别在第三序列的连续图像之间进行了移动的移动项目，其中所述第三序列具有第三帧速率。例如，第一帧速率可以是第二帧速率的整数倍。例如，第一运动估计器62的帧速率可以是30fps(帧每秒)，对应于连续图像之间的33ms距离。该帧速率对应于通常相机的帧速率。另外，第二帧速率可以是3fps，使得第一帧速率对应于第二帧速率的十倍。因此，当分析第一和第二帧速率的连续图像时，第二运动估计器63分析该序列的每第十个帧，而第一运动估计器62分析该序列的每一单个图像。 因此，该布置覆盖了更高范围的可检测速度。更具体而言，图6所示的运动估计器检测低速度以及高速度。第一运动估计器62仍确保了对最有兴趣的高速靠近车辆的检测，并将它们的响应延迟保持为最小。另外，第二运动估计器63检测慢车辆和所有遥远车辆的慢像素运动。接近的慢车辆由于相机透视(perspective)和它们朝着相机的行驶方向而生成慢像素运动。每个运动估计器的估计运动场然后被归一化并被组合为最终结果。可选地，第三运动估计器64可被提供以适用于特定的相机或者透镜设置。如显然将会明白的，另外的运动估计器可存在于根据所描述实施例的系统中。III.模板匹配技术模板匹配技术旨在从图像序列中检测移动物体，使得可以检测从相机到移动物体的距离。为了获得可靠的结果，希望从图像序列中精确地确定移动物体。通常用于拍摄图像的单目相机是未被配置为提供深度信息的2D传感器。因此，需要另外的处理来评估所检测物体的距离信息。所检测物体通常由区段遮盖表示，区段遮盖描述图像中的哪些像素属于潜在物体。如图7A所示，用于检测移动物体的方法可包括一基于多个参数组生成三维物体的二维形状表示(S710)；以及一使区段遮盖中的运动块与二维形状表示相匹配(S712)以获得最适合的参数组。例如，可使用多个参数组生成三维物体的二维形状表示，所述多个参数组包括三维物体的距离以及观看透视，例如观看角度。根据区段遮盖的运动块与这些二维形状表示的匹配，可获得最佳匹配的形状表示，从而获得最适合的参数组。例如，可根据该最适合的参数组来评估三维物体的距离(S714)。然而，如将容易明白的，诸如车辆型号或者物体大小之类的不同参数也可被用作参数并且基于该匹配方法来确定。根据一个实施例，包括运动块的区段遮盖可通过以下步骤生成
一拍摄图像序列(S700)；—将该序列的每个图像分为块(S702)；以及一从该序列中识别运动块。根据一个实施例，识别运动块可包括一识别移动块；一确定该移动块的移动的方向和距离；以及一使方向和距离在预定间隔内的邻近移动块成组以构成运动块。在步骤S700中，图像序列被拍摄。例如，当识别移动块时，每个块可包括8x8或者16x16个像素，但是不仅方块是可能的，其他形状的块或者具有另一数目的像素的块也是可能的。另外，已经在序列的连续图像之间移动了的块可被识别。例如，这可以利用如上面已在II部分中描述的运动估计器来完成。可以通过计算用于可能的块位移的误差标准来检测块的移动。绝对差的和、相关性乘积或者其他方法例如可被用作匹配标准。然后，可以例如通过比较连续图像中的移动块的位置来确定移动的距离和方向。 “类似”方向上“类似”距离的移动也可以通过计算连续图像的块之间的运动向量并且比较运动向量来确定。在步骤S702中，已经为之确定方向在预定方向间隔内并且距离在预定距离间隔内的邻近块被成组在运动块中。预定的方向间隔和预定的距离间隔被用于检测基本相同方向、基本相同距离的移动。预定的间隔可以是固定的或者可以适用于例如移动块的实际方向或距离。因此，基本在相同方向上移动相同距离的移动块被成组在一起，以构成组成区段遮盖的运动块。通常，区段遮盖表示所检测的物体，从而描述图像中的哪些像素属于所要检测的诸如车辆之类的潜在物体。区段遮盖可包含多个检测到的物体以及假警报。不相连的、田比邻的块可被隔离并被单独处理为可能的车辆候选。为了提高检测精度，实现将真实世界物体投射到像素坐标。从而，有效物体被变换为二维表示。在步骤S710中，移动物体的二维形状表示被生成。例如，这可以通过基于多个参数组计算三维物体的多个图像来完成。为了计算图像，通过利用恒定相机校准参数、任何关于传感器上的光学成像的信息、相机高度以及诸如物体距离和相机透视之类的可变参数， 例如可以使用透视变换。因此，对于多组参数，多个二维形状表示被生成。因此，试图利用图像所拍摄自的各种特定透视，将真实世界以及移动物体投射到像素坐标。此后，在步骤S712中，区段遮盖的运动块被与二维形状表示相匹配，以获得最佳匹配。例如，可利用被计算为三个区域之比的匹配分数来评估最佳匹配。分数=(A-W1B)/ (A+w2C)在以上公式中，区域a被所考虑的运动块和形状表示两者覆盖。区域b在形状表示内部但是未被运动块覆盖。区域C在运动块内部但是在形状表示外部。W1和W2是权重。 在完美匹配的情况下，B和C将是零，从而产生1.0的分数。在所有其他情况下，最终分数低于1. 0，并且可被根据权重按优先级排序，以选择运动块和形状表示的最大内部重叠或者最小外部非重叠区域。该方法考虑到对运动块的确定可能是不准确的并且拓展到并非车辆的一些邻近图像区域。在找到最佳匹配的二维形状表示之后，例如包括距离和观看透视的最适合的参数组被得到。图7B示出用于检测移动物体的系统的一个实施例。该系统可包
8括相机702、处理器或处理设备704以及指示器706。相机702被配置为拍摄图像序列，如上面已说明的。例如，相机702可以是单目相机。处理器704可被配置为将所述序列的每个图像分为块，以识别在序列的连续图像之间进行了移动的移动块，以确定移动块的移动的方向和距离，并且将已为之确定方向在预定方向间隔之内并且距离在预定距离间隔之内的邻近移动块成组，以构成运动块。另外，处理器可被配置为以如上面参考步骤S710说明的方式生成三维物体的二维形状表示。处理器704还适用于使运动块与二维形状表示相匹配以获得最适合的参数组，如上面已说明的。本实施例还涉及适用于执行上面已说明的功能中的任何功能的计算机程序产品。例如，计算机程序产品可适用于执行如上面已说明的步骤S702至S714。另外，可能存在适用于例如以如上面已说明的方式生成区段遮盖并执行步骤S710至S714的若干计算机程序产品。然而，显然将会明白，可在不同的计算机程序产品中实现步骤的任何组合。图8示出具有以上方法所应用于的不同区域的图像的示例。图8A示出在道路811上行驶的车辆810的示例。图8B示出可从所拍摄的车辆 810的图像序列中获得的区段遮盖。在图8B中示出的不同部分803、804和805图示出可从对图像序列的评估获得的各种块。例如，可能存在对应于道路811的环境的运动块804、对应于道路的运动块805以及对应于所要检测的潜在车辆的运动块803。806指的是道路的左边部分上的非移动部分。根据图8C所示的实施例，车辆的多个二维形状表示8(^a、802b、802c被生成。如上面已经描述的，当生成该形状表示802时，在捕捉图像时已被用于形成区段遮盖的特定参数必须被考虑。另外，包括例如距离和观看透视的不同参数组被考虑。因此，具有框形状的各种形状表示8(^a、802b、802c被生成。根据如上所述的方法，运动块803被与形状表示 8(^a、802b、802c中的每一个相匹配。作为该匹配过程的结果，最佳匹配的形状表示80 被得到。因此，如图8D所示，车辆的实际位置如形状表示80 所图示。根据已被用于生成形状表示80 的特定参数组，该特定物体的距离和观看透视可被评估。因此，区域803的剩余部分被认为不属于所要检测的物体。因此，如从图8D变得明显的，存在属于表示所要检测的潜在车辆的块803的图像的许多无效部分。根据这种无效部分评估移动车辆的位置将会产生假结果。IV.成组车辆的检测随着增加的检测范围，产生处理邻近车道上的交通的新挑战。具体而言，必须从多个物体的群组中检测到单个物体。另外，在通常的侧视透视中，车辆的姿态和外观在可检测范围内改变。例如，靠近的车辆在彼此接近时可能挡住后面的车辆或者表现为长车辆。更具体而言，当生成区段遮盖时，可确定包括相距不远的多个车辆的运动块。图9示意性地图示出检测群组中的多个物体的方法。例如，该方法可包括一生成包括运动块的区段遮盖；—从运动块中检测最前端物体；以及一从运动块中减去最前端物体的形状。另外，用于处理图像数据的系统可包括适用于执行如上所述方法的组件。例如，系统可具有如图7B所示的构造。
参考图9，例如为了生成区段遮盖，在步骤S900中，图像序列可被以如上面参考图 7描述的类似方式拍摄。在步骤S904中，运动块可被从序列中识别出。例如，这可以通过执行如上面参考图7描述的步骤来完成。为此，根据一个实施例，序列中的每个图像可被以如上面描述的类似方式分为块。另外，可以以如上面已参考图7描述的类似方式识别在序列的连续图像之间移动了的块。然后，可以以如图7中类似的方式确定移动的距离和方向。 已为之确定方向在预定方向间隔内并且距离在预定距离间隔内的邻近块可被成组，以便以如上面已参考图7描述的类似方式形成运动块。然后在步骤S910中，最前端的物体可被从运动块中检测到。例如，这可以通过任何适合的方法实现。例如，可以通过执行如上面已在 III部分中描述的匹配方法来检测最前端的物体。此后，在步骤S912中，最前端的物体被从图像中减去。例如，与最前端物体有关的像素可被从图像(例如相对应的运动块)中除去。这产生了一个或多个剩余运动块，这一个或多个剩余运动块被再次验证是否为潜在物体(步骤S904)。根据一个实施例，步骤S904至S912可被重复，直到图像中不存在另外的块为止。因此，基于运动向量将车辆的群组检测为根据区段遮盖的封闭分割区域。如果运动块未被良好分割，那么剩余运动块可产生假警报或者不准确的检测。因此，希望具有可靠的区段和距离估计方法。因此，如上面已经描述的方法适合于在执行本方法之前处理图像数据。V.行驶情形检测根据本实施例，可以根据车辆的具体行驶情形来调节如上面已经说明的方法中的任何方法的参数。例如，基于车辆控制器局域网总线(CAN-bus)上可以得到的信息(例如速度、转向角、当前档位)，系统可以在不同行驶情形之间进行区分，不同行驶情形例如是一停车/熄火一城市/交通堵塞一乡间一高速公路根据该实施例，模式选择可以基于在特定时间间隔内收集的控制器局域网(CAN) 数据的统计(平均、方差、最大值)与每个类别的速度范围的结合。
权利要求
1.一种用于处理表示区段遮盖的图像数据的方法，包括 基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示相匹配以获得最适合的参数组。
2.如权利要求1所述的方法，还包括根据所述最适合的参数组确定所述三维物体与相机位置之间的距离。
3.如权利要求1所述的方法，其中所述参数组包括生成了所述图像数据的相机相对于所述三维物体的距离和透视。
4.如权利要求1所述的方法，其中通过包括以下步骤的方法从图像序列生成所述区段遮盖将所述图像序列中的每个图像分为块； 识别移动块；确定所述移动块的移动的方向和距离；将方向和距离在预定间隔内的邻近移动块成组以构成运动块。
5.如权利要求1所述的方法，其中所述图像数据是从图像序列生成的，所述方法还包括将所述图像中的一个分割为多个分段；以及向布置在所述图像的特定分段中的图像数据应用缩放因数，其中不同的缩放因数被指派给所述图像的不同分段。
6.如权利要求5所述的方法，其中所述分段被沿着一个轴布置。
7.如权利要求5所述的方法，其中所述分段是沿着两个轴布置的，所述两个轴彼此正交。
8.如权利要求5所述的方法，其中所述缩放因数沿着轴从大于1的值减小为小于1的值。
9.如权利要求1所述的方法，其中所述图像数据是从图像序列生成的，所述方法还包括同时向以下两者提供所述图像序列的图像数据第一运动估计器，该第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率。
10.如权利要求9所述的方法，其中所述第一帧速率是所述第二帧速率的整数倍。
11.如权利要求4所述的方法，其中通过同时向以下两者提供所述图像序列的图像数据来识别移动块第一运动估计器，该第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动项，所述第一序列具有第一帧速率；以及第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动项，所述第二序列具有第二帧速率。
12.如权利要求1所述的方法，还包括 从所述运动块中检测最前端的物体；以及从所述运动块中减去所述最前端的物体。
13.一种用于检测移动物体的方法，包括 通过拍摄图像序列来生成图像数据；以及执行如权利要求1所述的方法。
14.一种计算机程序产品，包括适用于执行根据权利要求1所述的方法并且当在数据处理设备上执行时执行该方法的步骤的计算机程序装置。
15.一种计算机可读存储介质，包括根据权利要求14所述的计算机程序产品。
16.一种用于处理表示区段遮盖的图像数据的系统，该系统包括适用于执行以下操作的组件基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示相匹配以获得最适合的参数组。
17.如权利要求16所述的系统，所述系统还包括适用于执行以下操作的组件 确定所述三维物体与相机位置之间的距离。
18.如权利要求16所述的系统，其中所述图像数据是从图像序列生成的，所述系统还包括适用于执行以下操作的组件将所述图像中的一个分割为多个分段；以及向布置在图像的特定分段中的图像数据应用缩放因数，其中不同的缩放因数被指派给所述图像的不同分段。
19.如权利要求16所述的系统，其中所述图像数据是从图像序列生成的，所述系统还包括第一运动估计器，该第一运动估计器适用于识别在第一序列的连续图像之间进行了移动的移动块，所述第一序列具有第一帧速率；以及第二运动估计器，该第二运动估计器适用于识别在第二序列的连续图像之间进行了移动的移动块，所述第二序列具有第二帧速率，所述第一和第二运动估计器被布置使得所述图像数据能够被同时供应给所述第一和第二运动估计器。
20.如权利要求16所述的系统，还包括适用于执行以下操作的组件 从所述运动块中检测最前端的物体；以及从所述运动块中减去所述最前端的物体。
21.一种用于检测移动物体的系统，包括适用于通过拍摄图像序列来生成图像数据的设备；以及如权利要求16所述的系统。
全文摘要
本发明提供了用于处理图像数据的方法和系统。一种用于处理表示区段遮盖的图像数据的方法，包括基于多个参数组生成三维物体的二维形状表示；以及使所述区段遮盖中的运动块与所述二维形状表示相匹配以获得最适合的参数组。从而，所述三维物体与相机位置之间的距离例如可被确定。
文档编号G06K9/00GK102194239SQ20111006574
公开日2011年9月21日 申请日期2011年3月16日 优先权日2010年3月16日
发明者丹尼斯·哈瑞斯, 克利斯汀·昂鲁 申请人:索尼公司