专利名称：用于检测和分类至少一个预给定的图像元素的至少一部分的、用于机动车驾驶员辅助系 ...的制作方法
技术领域：
本发明涉及一种用于机动车驾驶员辅助系统的图像处理方法，所述图像处理方法用于检测和分类至少一个待搜索的、由驾驶员辅助系统的图像传感器采集的数字图像中的至少一个预给定的图像元素的至少一部分，所述至少一个预给定的图像元素具有交通标志或交通标志的一部分。本发明还涉及一种计算机程序、一种计算机程序产品和一种装置，用于执行作为计算机程序的图像处理方法。
背景技术：
由DE 198 42 176 Al公开了一种用于识别车辆周围中的交通标志以及用于车辆导航的方法，其中，在识别到交通标志时建立交通标志识别数据。与参加尤其是管理交通标志构型的维也纳公约的国家相比，在一些国家中(例如美利坚合众国)可能非常不同并且单独地设计交通标志。在美利坚合众国，各个联邦州负责交通标志构型，由此例如可能在大小、文字形状、布置等方面具有不同变型方案。此外，与维也纳公约中的图示不同地使用如“SPEED LIMIT(限速)”、“TRUCKS(卡车)”、“MINIMUM SPEED (最低速度)”等等字样。这种事实对于基于交通标志识别的驾驶员辅助系统而言是特殊的挑战。在按照维也纳公约构造交通标志的国家，通常首先可以由驾驶员辅助系统在尤其是由驾驶员辅助系统的图像传感器采集的图像中检测形状——例如用于限速的圆形。对于美国的交通标志，这通常同样是可能的(例如矩形)。接着，在其亮度方面标准化图像片断， 以便使照明情况的影响最小化。此外，将图像片断在其大小方面标准化为待分类的交通标志的已存储的图示。最后，通过灰度值比较来比较图示与图像片断并且在足够一致的情况下将所述图像片断识别为交通标志。支持性地，还可以考虑运动信息，以便能够区分例如施加在载重车辆或公共汽车的尾部区域中的交通标志与静态的、有效的交通标志。以上所述的处理方式仅可有限地用于美利坚合众国的US交通标志，因为所提到的交通标志多样性极大地增加需存储的图示的数量并且因此极大地增加计算开销，只要所述图示是可事先全部找到的。一种替代的可能性在于，在检测到的交通标志内，所谓地读取以及在光学字符识另Ij OCR Optical Character Recognition/OCR)意义上解释各个标志、即字母和数字。但是， 这在机动车控制设备中实现起来相对耗费和困难。此外，原则上不需要所写单词的通用理解，因为仅涉及有限数量的关键词。在图像处理中，近来开发了一些能够相对于尺度和旋转不变地描述图像区域的方法。尺度不变特征变换(SIFT-scale-invariant feature transform)是一种用于从成像中提取局部图像特征的算法，其主要用于图像识别。在US 6,711,293 Bl中公开了一种用于识别图像中的尺度不变特征的方法和装置以及用于使用这样的尺度不变特征来定位图像中的目标的方法和装置。
此夕卜， 由 Herbert Bay、Andreas Ess、Tinne Tuytelaars、Luc Van Gool 所著的《SURF :Speeded_Up Robust Features》(Computer Vision and Image Understanding(CVIU)，第110卷，2008年第3期第346-359页)中公开了一种用于快速和稳健地求取机器视觉的图像特征的算法。其他现有技术参阅DE 103 38 455 Al。
发明内容
根据本发明提出一种用于机动车驾驶员辅助系统的图像处理方法，用于检测和分类至少一个待搜索的、由驾驶员辅助系统的图像传感器采集的数字图像中的至少一个预给定的图像元素的至少一部分，所述至少一个预给定的图像元素具有交通标志或交通标志的一部分，其中，为了检测和分类至少一个待搜索的数字图像中的至少一个预给定的图像元素的至少一部分，从所述至少一个待搜索的数字图像的至少一个图像区域中计算第一尺度不变图像特征及其彼此相对几何布置，随后由分类器将所述第一尺度不变图像特征及其彼此相对几何布置与所存储的和/或所学习的、从所述至少一个预给定的图像元素中计算出的第二尺度不变图像特征及其彼此相对几何布置进行比较，其中，作为比较结果，在足够一致时，检测到并且分类所述至少一个待搜索的数字图像中的至少一个预给定的图像元素的至少一部分。通过根据本发明的措施，可以有利地借助尺度不变图像特征来分类图像部分。针对具有交通标志或交通标志的一部分一如字母或数字的、待搜索的预给定的图像元素， 事先计算并且存储或者由分类器学习尺度不变图像特征本身及其彼此相对几何位置或布置。作为分类器例如可以使用神经网络。这构成分类和/或搜索的基础。尤其是在驾驶员辅助系统的图像传感器的数字图像中，同样计算尺度不变图像特征，其中，应在所述数字图像中寻找交通标志或其字样、数字或符号。随后，因为尺度不变图像特征是彼此唯一地匹配的，所以可以将在图像区域中找到的尺度不变图像特征与所存储或所学习的尺度不变图像特征进行比较。例如，如在Berthold K. P. Horn所著的《Closed-form solution of absolute orientation using unit quaternions)) (Journal of the Optical Society of America A，第4卷第6四_642页，1987年4月)中描述的算法适用于此。这可以针对多个图像区域实施。原则上，可以如此搜索或扫描整个数字图像。在必要时，例如在由其他物体——如灌木丛等等部分遮挡时，也可以仅仅检测和分类交通标志的一部分。有利地，隐含地考虑尺度。因此，相对于已知的分类方法，不仅可以取消大小方面的标准化，而且可以取消亮度方面的标准化，其中，所观察的目标的距离关系与大小方面的标准化相关联。由此， 计算开销保持相对较低并且所述方法可有利地用在机动车控制设备上。所描述的图像处理方法同样可以用于限速的数字，例如“15”、“30”、“45”、“50”和“55”。如果例如检测和分类一些图像元素——例如“SPEED”和“LIMIT”和所属的数字，则可以将限速标志分类为已识另O。因为已经开发了尺度不变图像特征等用于图像目标的跟踪(所谓的“Tracking”)，所以可以在检测之后将尺度不变图像特征也直接用于具有目标的图像区域的跟踪。由此，与传统方法相比，有利地取消了用于跟踪的附加特征的计算。根据本发明的图像处理方法适用于具有尺度不变图像特征的待寻找的任意几何布置的图像区域并且不限制于字样或数字。有利地，事先在一个训练步骤中，在使用所述至少一个预给定的图像元素的、尤其是具有交通标志的不同视图或文字形状的不同实施方式的情况下，从所述至少一个预给定的图像元素中计算并且由分类器存储和/或学习第二尺度不变图像特征及其彼此相对几何布置。通过这些措施，分类器可以在一个训练步骤中例如面对不同的视图或实施方式。 在此，计算所有可能的尺度不变图像特征以及预给定相应的响应(比较结果，正或负)。例如可以使用神经网络作为分类器。根据本发明还可以设置，仅仅考虑在训练步骤中辨识的特有的第二尺度不变图像特征及其彼此相对几何布置。在训练步骤中求得在不同视图或图像时由哪些尺度不变图像特征得到相同的响应。在训练步骤中非常强烈地对多个视图或图像做出反应的图像特征被辨识为所谓的特有或辩别性的特征，在根据本发明的图像处理方法中仅仅考虑这些特征。有利地，借助于开头所述的尺度不变特征变换方法(SIFT方法)或者借助于同样在开头所述的加速稳健特征方法(SURF方法)计算第一尺度不变图像特征和第二尺度不变图像特征。此外，根据本发明可以设置，事先通过在至少一个待搜索的数字图像中寻找确定的几何形状来辨识所述至少一个图像区域。通过限制到例如借助于确定的形状——例如矩形、圆形等的几何搜索求得的图像区域上，可以进一步降低计算开销。同样提高了系统速度。有利地，确定关于检测和分类的正确性的量度。在比较时，在出现几何偏差(例如，另一文字类型)时生成一个量度，所述量度可以用作用于摒弃分类或检测的阈值。当关于检测和分类的正确性的量度低于预给定的阈值时，可以摒弃所述检测和分类。作为关于检测和分类的正确性的量度可以使用第二尺度不变图像特征的可与第一尺度不变图像特征的图像点匹配的图像点的数量。可以附加地考虑由待搜索的数字图像序列求得的自身运动。因此，同样可以支持性地应用图像序列中的分析。所述至少一个预给定的图像元素可以具有交通标志的至少一个字样。在权利要求中提出了一种计算机程序和具有程序编码单元的计算机程序产品，以便执行根据本发明的图像处理方法。同样提出了一种装置、尤其是具有至少一个图像传感器和一个与所述至少一个传感器连接的图像处理装置的机动车的驾驶员辅助系统。根据本发明的图像处理方法优选实现为在机动车的图像处理装置上的计算机程序，其中，当然也考虑其他解决方案。为此，计算机程序可以存储在图像处理装置的存储元件(例如，ROM、EEPROM等等)中。通过图像处理装置上的处理，可以执行图像处理方法。 图像处理装置可以具有微处理器的微计算机，可编程集成电路(Eield Programmable Gate Array/FPGA 现场可编程门阵列)，专用集成电路(Application Specific Integrated Wrcuit/ASIC)，数字信号处理器(DSP)等等。计算机程序可以作为计算机程序产品存储在计算机可读数据载体(磁盘、⑶、DVD、硬盘、USB存储棒、存储卡等等)或网络服务器上并且从那里传输到图像处理装置的存储元件中。在从属权利要求中给出了本发明的有利构型及扩展构型。下面按照附图根据原理
6来说明本发明的实施例。
附图示出图1 机动车的驾驶员辅助系统的示意图；图2 驾驶员辅助系统的图像传感器的数字图像的原理图，以说明根据本发明的图像处理方法；图3 根据本发明的图像处理方法的简化框图；以及图4 交通标志的不同视图或实施形式的原理图，以说明根据本发明的图像处理方法。
具体实施例方式图1示出由虚线表示的机动车11的驾驶员辅助系统10以及图像传感器12，所述图像传感器通过图像传感器信号线路13与分析处理单元或图像处理装置14连接。图像处理装置14通过输出信号线路15与驾驶员辅助系统10连接。例如可使用CXD摄像机或 CMOS摄像机作为图像传感器12，但也可使用热成像设备等作为图像传感器12。在未示出的其他实施例中也可以设置另外的图像传感器12，例如以便可以产生立体图像。图像传感器 12将所观察的场景的数字图像通过图像传感器信号线路13传输给图像处理装置14。图像处理装置14在输出信号线路15上产生输出信号，所述输出信号被电地、数字地、听觉地和 /或视觉地传输给驾驶员辅助系统10以便显示、通知或存储。在当前的实施例中，驾驶员辅助系统10是驾驶员信息系统，其识别交通标志并且将其显示给驾驶员。在另一个实施例中，驾驶员辅助系统例如也可以被构造为用于机动车 11的自适应速度调节装置。这样的系统也称作ACC(Adaptive Cruise Control 自适应巡航控制)系统。在罗伯特博世有限公司的出版物《adaptive Fahrgeschwindigkeitsregelung ACC》(黄色系列，2002，技术课程)中描述了这样的自适应速度调节装置。所述自适应速度调节装置例如可以根据所识别的交通标志来调节机动车的速度。在图2中简化地示出了图像传感器12的数字图像16，以说明根据本发明的图像处理方法。在图像处理装置14上运行根据本发明的、用于机动车11的驾驶员辅助系统10的图像处理方法，用于检测和分类待搜索的、由驾驶员辅助系统10采集的数字图像16中的至少一个预给定的图像元素17的至少一部分，所述至少一个图像元素具有交通标志18或交通标志18的一部分。在数字图像16中很简化地示出了具有街道19和树20的场景。在图3中作为框图示出了根据本发明的图像处理方法，其在图像处理装置14上运行，其具有其他可选的、以虚线表示的步骤。为了检测和分类待搜索的数字图像16中的预给定的图像元素17，在方法步骤B中从待搜索的数字图像16的一个或多个图像区域21 (参见图幻中计算第一尺度不变图像特征及其彼此相对几何布置，随后在方法步骤C中分类器将第一尺度不变图像特征及其彼此相对布置与所存储的或所学习的(在图3中简化地作为数据库22示出)、由所述预给定的图像元素17计算出的第二尺度不变图像特征及其彼此相对几何布置进行比较，其中，作为方法步骤C的比较结果在足够一致时检测到和分类待搜索的数字图像16中的所述预给定的图像元素17的至少一部分。这通过输出信号线路15传输给驾驶员辅助系统10。在方法步骤A中，可以事先通过搜索待搜索的数字图像16中的确定的几何形状 (这里是交通标志18的矩形)来辨识图像区域21。在训练步骤T中，在使用在图4中简化示出的预给定的图像元素17的尤其是具有交通标志18的不同视图或字样的不同实施形式17a，17b的情况下，从至少一个预给定的图像元素17中计算出并且由分类器存储和/或学习第二尺度不变图像特征及其彼此相对几何布置。在当前的实施例中仅仅考虑特有的第二尺度不变图像特征及其彼此相对几何位置。这些在训练步骤T中辨识。可以借助尺度不变特征变换方法(SIFT方法)或者加速稳健特征方法(SURF方法)计算第一尺度不变图像特征和第二尺度不变图像特征。对于检测和分类的正确性确定一个量度。驾驶员辅助系统10通过输出信号线路 15从图像处理装置14获得检测和分类的结果并且由此获得在数字图像16中是否识别到确定的交通标志18的信息。当关于检测和分类的正确性的量度低于预给定的阈值时，摒弃所述检测和分类。 使用第二尺度不变图像特征的可与第一尺度不变图像特征的图像点匹配的图像点的数量作为关于检测和分类正确性的量度。附加地考虑由待搜索的数字图像16的序列求得的机动车11的自身运动。根据本发明的图像处理方法优选实现为在机动车11的图像处理装置14上的计算机程序，其中，当然也考虑其他解决方案。为此，计算机程序可以存储在图像处理装置14的存储元件(例如，ROM、EEPROM等等)中。通过图像处理装置14上的处理，可以执行图像处理方法。图像处理装置14可以具有微处理器的微计算机，可编程集成电路 (Field ProgrammableGate Array/FPGA 现场可编程门阵列)，专用集成电路(Application Specific Integrated ￡ircuit/ASIC)，数字信号处理器(DSP)等等。计算机程序可以作为计算机程序产品存储在计算机可读数据载体(磁盘、CD、DVD、硬盘、USB存储棒、存储卡等等)或网络服务器上并且从那里传输到图像处理装置14的存储元件中。
权利要求
1.用于机动车(11)的驾驶员辅助系统(10)的图像处理方法，所述图像处理方法用于检测和分类至少一个待搜索的、由所述驾驶员辅助系统(10)的图像传感器(12)采集的数字图像(16)中的至少一个预给定的图像元素(17，17a，17b)的至少一部分，所述至少一个预给定的图像元素具有交通标志(18)或交通标志(18)的一部分，其特征在于，为了检测和分类所述至少一个待搜索的数字图像(16)中的所述至少一个预给定的图像元素(17， 17a, 17b)的所述至少一部分，从所述至少一个待搜索的数字图像(16)的至少一个图像区域中计算(B)第一尺度不变图像特征及其彼此相对几何布置，随后，由一分类器将所述第一尺度不变图像特征及其彼此相对几何布置与所存储的和/或所学习的、从所述至少一个预给定的图像元素(17，17a，17b)中计算的第二尺度不变图像特征及其彼此相对几何布置进行比较(C)，其中，作为比较结果，在足够一致时，检测到并分类所述至少一个待搜索的数字图像(16)中的所述至少一个预给定的图像元素(17，17a，17b)的至少一部分。
2.根据权利要求1所述的图像处理方法，其特征在于，事先在一训练步骤(T)中，在使用所述至少一个预给定的图像元素(17，17a，17b)的、尤其是具有不同视图或文字形状的交通标志(18)的不同实施方式(17a，17b)的情况下，从所述至少一个预给定的图像元素 (17，17a, 17b)中计算并且由所述分类器存储和/或学习所述第二尺度不变图像特征及其彼此相对几何布置。
3.根据权利要求2所述的图像处理方法，其特征在于，仅仅考虑在所述训练步骤(T)中辨识的特有的第二尺度不变图像特征及其彼此相对几何布置。
4.根据权利要求1、2或3所述的图像处理方法，其特征在于，借助于尺度不变特征变换方法(SIFT方法)或者加速稳健特征方法(SURF方法)来计算所述第一尺度不变图像特征和所述第二尺度不变图像特征。
5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，事先通过搜索所述至少一个待搜索的数字图像(16)中的确定的几何形状来辨识(A)所述至少一个图像区域 01)。
6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，确定关于所述检测和分类的正确性的量度。
7.根据权利要求6所述的图像处理方法，其特征在于，当关于所述检测和分类的正确性的量度低于一预给定的阈值时，摒弃所述检测和分类。
8.根据权利要求6、7或8所述的图像处理方法，其特征在于，使用所述第二尺度不变图像特征的可与所述第一尺度不变图像特征的图像点匹配的图像点的数量作为关于所述检测和分类的正确性的量度。
9.根据权利要求1至8中任一项所述的图像处理方法，其特征在于，附加地考虑由所述待搜索的数字图像的序列求得的自身运动。
10.根据权利要求1至9中任一项所述的图像处理方法，其特征在于，所述至少一个预给定的图像元素(17，17a，17b)具有交通标志(18)的至少一个字样。
11.计算机程序，具有程序编码单元，用于当在机动车(11)的驾驶员辅助系统(10)的图像处理装置(14)上、尤其是在微计算机的微处理器上执行程序时实施根据权利要求1至 10中任一项所述的图像处理方法。
12.计算机程序产品，具有程序编码单元，所述程序编码单元存储在计算机可读数据载体上，用于当在机动车(11)的驾驶员辅助系统(10)的图像处理装置(14)上、尤其是在微计算机的微处理器上执行程序时实施根据权利要求1至10中任一项所述的图像处理方法。
13.装置，尤其是机动车(11)的驾驶员辅助系统(10)，具有至少一个图像传感器(12) 和一个与所述至少一个图像传感器连接的图像处理装置(14)，所述图像处理装置被设置用于执行根据权利要求11所述的计算机程序。
全文摘要
本发明涉及一种用于机动车(11)的驾驶员辅助系统(10)的图像处理方法，其用于检测和分类至少一个待搜索的、由驾驶员辅助系统(10)的图像传感器(12)采集的数字图像中的至少一个预给定的图像元素的至少一部分，所述至少一个预给定的图像元素具有交通标志或交通标志的一部分。为了检测和分类至少一个待搜索的数字图像(16)中的至少一个预给定的图像元素的至少一部分，从至少一个待搜索的数字图像的至少一个图像区域中计算第一尺度不变图像特征及其彼此相对几何布置，随后由分类器将第一尺度不变图像特征及其彼此相对几何布置与所存储的和/或所学习的、从至少一个预给定的图像元素中计算的第二尺度不变图像特征及其彼此相对几何布置进行比较，其中，作为比较结果在足够一致时检测到并分类至少一个待搜索的数字图像中的至少一个预给定的图像元素的至少一部分。
文档编号G06K9/62GK102549602SQ201080029239
公开日2012年7月4日 申请日期2010年6月21日 优先权日2009年6月29日
发明者A·维尔茨-维塞尔 申请人:罗伯特·博世有限公司