专利名称：行人检测装置和行人检测方法
技术领域：
本发明涉及行人检测装置和行人检测方法。
背景技术：
近年来，用于拍摄并显示车辆前方区域的近红外图像、从所拍摄的图 像中检测行人、并呈现叠加在所述近红外图像上的检测结果的车辆夜视装 置已经"^到实际应用中。作为在这种夜视装置中使用的行人检测技术，日本专利申请公开No. 2005-352974 (JP-A-2005-352974 )描述了 一种搜索 检测对象中与该检测对象中的预定部位形状相同的部位是否连续存在的 技术。如果在该检测对象中连续存在与所述预定部位形状相同的部位，则 该技术判断该对象是AJt物，排除该对象，并继续从剩余的检测对象中识 别行人。另一方面，在实际的道路环境中，相对频繁地出现例如护栏柱、电线 杆等多个人造物并排存在的情况。在提取这样的多个人造物作为检测对 象，即行人候选的情况下，在前述技术中需要关于每个行人候选搜索是否 连续存在与预定部位形状相同的部位。为了关于所有行>^候选判断行人候 选是否为行人，该技术不可避免地需要长的处理时间，这是一个问题。因 此，在如高速行驶的车辆中使用的系统的需要处理的实时特性的系统中尤发明内容本发明提供一种行人检测装置，该行人检测装置能够在提取多个行人 候选的情况下快速地执行关于每个行人候选判断行人候选是否为行人的 处理。根据本发明一方面的行人检测装置包括行人候选提取装置，用于从 拍摄的图像中提取行人候选；以及判断装置，用于如果所述行人候选提取 装置提取了多个行人候选，则求出行人候选之间的相似程度，并将与另外4的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人。例如，如护栏柱、电线杆等Ait物关于每一类AJt物具有基本相同的 形状。另一方面，行A^服装和姿态等方面随个体而不同，并且几乎不可 能将服装和姿态相同的行人同时拍摄为图像.利用该特征，如果行人候选 提取装置提取了多个行人候选，则根据本发明该方面的行A^r测装置求出 行人候选之间的相似程度，然后该行人检测装置判断出与另外的行人候选 的相似程度大于或等于预定值的行人候选不是行人而是Ait物，因此，按 照根据本发明该方面的行A^r测装置，仅通过进行关于行人候选之间相似 程度的判断就可以将彼此相似的行人候选排除为不是行人.结果，即使在 提取了多个行人候选的情况下，也有可能关于所有行人候选快速地执行判 断行人候选是否为行人的处理。在根据本发明该方面的行A^r测装置中，判断装置可以判断出具有两 个或更多个与其相似程度大于或等于预定值的其它行人候选的行人候选 不是行人。在这种情况下，为了将行人候选判断为不是行人，需要至少有两个相 似的行人候选。因此，有可能更准确地判断行人候选是否为^ft人。在根据本发明该方面的行A^r测装置中，所述行人候选提取装置可以 将所提取的行人候选的尺寸和/或亮度标准化，并且所述判断装置可以求 出由所述行人候选提取装置将尺寸和/或亮度标准化后的行人候选之间的 相似程度。从所拍摄的图像中提取的行人候选在尺寸和亮度上根据与图像拍摄 装置的距离、车灯的照射情况等而变化。按照根据本发明该方面的行" 测装置，由于在求出行人候选之间的相似程度之前所提取的行人候选的尺 寸和亮度被标准化，所以有可能提高相似程度的计算准确度。根据本发明笫二方面的行Aj检测方法包括从拍摄的图像中提取行人候选；以及当通过所述行人候选提取的提取而提取了多个行人候选时，求出行人 候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定 值的行人候选判断为不是行人。按照根据本发明第二方面的行A^r测方法，仅通过进行关于行人候选 结果，即使在提取了多个行人候选的情况下，也有可能快速地执行关于所5有行人候选判断行人候选是否为行人的处理。根据本发明，由于判断与另外的行人候选相似的行人候选不是行人， 所以有可能在提取了多个行人候选的情况下，快速地执行关于每个行人候选判断行A^候选是否为行人的处理。
从以下参照附图对典型实施例的描述，本发明的上M其它特征和优 点将是明显的，在附图中使用相同的附图标记来表示相同的元件，并且在 附图中图1是示出应用根据一实施例的行人检测装置的近红外夜视装置的 结构的图；图2是示出应用根据该实施例的行人检测装置的近红外夜视装置的 各种器具的设置的图；图3是描述行人候选的提取方法的图；图4是示出护栏柱被误认为是行人候选并因而被^^取的例子的图；图5是示出图4中所示的行人候选(护栏柱)的尺寸和亮度被标准化 之前和之后的图4象的图；图6是示出由根据该实施例的行人检测装置进行的行人检测处理的 处理过程的流程图；图7是示出图5中所示的标准化后的行人候选之间的相似程度的例子 的表；图8是示出关于候选是否为行人的判断结果的例子的表；以及 图9是描述设定行人判断阈值的方法的图。
具体实施方式
下面参照附图描述本发明的优选实施例。在附图中，将相同的附图标 记用于相同或相应的部分。首先，参照图l和图2描述根据本发明的实施 例的行A^r测装置的结构。另夕卜，结合将根据本发明的行yM会测装置应用 于近红外夜视装置1的例子进行以下描述。图1是示出应用该行A^:测装 置的近红外夜视装置1的结构的图。图2是示出近红外夜视装置1的各种器具的设置的图。近红外夜视装置1是显示由近红外照相机拍摄的车辆前方区域的近 红外图像并从所拍摄的图像中检测行人，并将检测结果叠加在该近红外图 像上而显示，以帮助驾驶员在夜间驾驶的装置。近红外夜视装置l包括近红外投射器10、近红外照相机12、显示器14和电子控制装置(electronic control device,以下称为"ECU" ) 20。近红外投射器10被布置在车辆的前端，并且被安装成相对于车辆朝 向前方。近红外投射器10从车辆向前方投射近红外辐射。来自近红外投 射器10的近红外辐射的照射范围被设定为例如在车头灯的短焦距光照射范围的前面几十米。当近红外夜视装置l启动时，启动近红外扭:射器IO， 并且当停止近红外夜视装置l时，关闭近红外招:射器10。近红外照相机12布置在车辆的前侧(例如，在后视镜的后侧上)，并且被安装成相对于车辆朝向前方。近红外照相机12接收近红外辐射(来 自近红外投射器10的近红外辐射的^Jt等)，并生成对应于近红外辐射的强度的光和影的近红外视频图。该近红外视频图由每隔固定时间(例如，1/30秒)产生的近红外图像的帧组成。近红外照相机12每隔固定的时间 将一帧近红外图傳_信息作为图4象信号发送到ECU 20。显示器14将近红外图像和关于从近红外图像中检测到的行人的信息 呈现给驾驶人员。例如，可以使用液晶显示器或平视显示器等。显示器 14从ECU20接收显示信号，并显示由该显示信号代表的图像。行人信息 的显示图像的例子包括用围绕的矩形框强调在所拍摄的近红外图像中检 测到的行人的图像。ECU 20由CPU (中央处理单元)、ROM (只读存储器)、RAM (随 M取存储器)等组成。通过执行存储在ROM中的程序，ECU 20构成 行人候选提取部21和判断部22。 ECU 20每隔固定的时间接收来自近红 外照相机12的图像信号，以从近红外图像中检测行人。然后，ECU 20 将行人检测结果显示在显示器14上。顺《更提及，在本实施例中，行/^矣 选提取部21可以被看作是本发明中的行人候选提取装置，并且判断部22 可以被看作是本发明中的判断装置。行人候选提取部21从近红外图像中提取行人候选区域。用于该提取 的方法不受特别限制，而是可以应用各种方法。^取方法的例子包括准备 行人的模板并将该模板用于模式匹配的方法。具体来说，如图3中所示，7从近红外图像顺序切出预定尺寸的矩形区域，并求出每个切出的矩形区域 图像与模板图像的匹配程度。如果匹配程度大于或等于阈值，则将该矩形 区域确定为行人候选区域。将如此提取的行人候选区域(在下文中称为"行人候选")输出到判断部22。在此需要指出，在通过使用行A^板的模式匹配中，有可能提取行人 的同时将道路上或沿着道路设置的护栏柱、电线杆等4i^地提取为行人候 选。图4示出了将护栏柱，地提取为行人候选的例子。判断部22将行人候选提取部21提取的行人候选的尺寸和亮度标准化 (normalize),然后计算标准化后的行人候选之间的相似程度，并基于该相 似程度辨别候选是行AJ^是AJt物。以这种方式，判断部22检测行人。下面描述行人候选的尺寸和亮度的标准化。近红外照相机12和行人 候选之间的距离越大，由近红外照相机12拍摄的图像中的行A^候选的尺寸越小，并且其亮度也越低。因此，通过调节行人候选的尺寸和亮度的差 异来标准化行人候选的尺寸和亮度，从而提高在随后的处理中进行的相似程度计算的准确性。可以根据近红外照相机12和行人候选之间的距离进 行尺寸的标准化。此外，例如通过将亮度分布扩展到可以由近红外照相机 12表达的零到最大范围(0-255),或者通过将亮度分布除以方差来进行 亮度的标准化，从而获得正态分布。在此，图5中示出了图4中，地提 取的行人候选(护栏柱)的尺寸和亮度被标准化之前和之后的图像。接下来，描述基于行人候选之间的相似程度来辨别行人候选是行AJi 是人造物的方法。例如，如护栏柱、电线杆的AJt物关于每一类AJt物基 本上具有相同的形状。另一方面，行W服装、姿态等上随个体而不同， 并且服装和姿态相同的行人几乎不可能被同时拍摄成图像。利用这种特 性，判断部22通过基于各个像素的亮度差计算行人候选之间的欧式距离 (亮度差的平方和的平方才艮)来获取标准化后的行人候选之间的相似程 度。如果存在两个或更多个相似的行A^候选，则判断部22判断出该行人 候选不是行人，换句话说，是Ait物。将该判断结果作为显示信号发送到 显示器14。接下来，参照图6，解释应用于近红外夜视装置l的行人检测装置的 操作。图6是示出由该行人检测装置进行的行人检测处理的处理过程的流 程图。在从近红外夜视装置1的电源的接通到断开的时间段期间在预定的 定时重复执行由ECU 20进行的行人险测。8当启动近红外夜视装置1时，近红外投射器10向车辆前方投射近红 外辐射。近红外照相机12通过近红外辐射拍摄车辆前方区域的图像，并 每固定的时间将包含拍摄的帧的图像信息的图像信号发送到ECU 20。 ECU 20每固定的时间接收来自近红外照相机12的图像信号，并获取所拍 摄的图像。然后在步骤S100中，通过使用模板进行模式匹配，来从所拍摄的图 像中提取行人候选。随后在步骤S102中，将每个行人候选的尺寸和亮度 标准化。顺l更提及，行人候选的提取方法和标准化方法完全如上所述，并 在此省略其说明。随后在步骤S104中，关于标准化后的行人候选的所有组合，基于各 个像素的亮度差，计算欧式距离(亮度差的平方和的平方根)。以这种方 式，求出行人候选之间的相似程度。在这种情况下，刊^U吳选之间的欧式 距离越小，相似程度被判断为越大。图7中示出了图5中所示的标准化后 的行人候选之间的相似程度的计算结果的例子。顺便提及，图7的表中所 示的每一个数值都是欧式距离，即行人候选之间亮度差的平方和的平方 根。在图7中所示的例子中，行人候选1至4是被#^地提取为行>^候选 的护栏柱，因此在形状和亮度上彼此非常类似；结果，行人候选之间的相 似程度高，并且欧式距离在值上相对地小。接下来，在步骤S106中，关于每个行人候选，对欧式距离小于预定 值800的，即相似程度相对高的其它行人候选的数量进行计数。图8中示 出图7中所示的上述例子中的计数结果。如图8中所示，对于行AJI选1， 与行人候选2的欧式距离是300,与行人候选3的欧式距离是343，与行 人候选4的欧式距离是679;因此，欧式距离小于800的行人候选的数量 (在下文中，称为"相似候选的数量")被计数为3。同样，对于行人候 选2到4，相似候选的数量也被计数为3。随后在步骤S108中，关于每个行人候选判断相似程>^否为高，也 就是说，欧式距离小于800的其它行人候选的数量是否大于1(2或更多)。 如^目似候选的数量小于或等于1 (小于2 )，则在步骤S110中判断出该 行人候选是行人。之后，暂时退出该处理。另一方面，如^4目似候选的数 量大于1,则在步骤SU2中判断出该行人候选不是行人而是AJt物，并 拒绝该4亍人候选。之后，暂时退出该处理。顺便提及，由于关于上述行人候选1至4中的每一个，相似候选的数 量是3，大于l，因此如图8中的表的右端的列中所示，它们中的每一个都被判断为不是行人而是Ait物。在行人候选4不是护栏柱而是行人的提 取结果并且其与其它行人候选1至3的欧式距离每一个都大于或等于800 的情况下，相似候选的数量将小于或等于1,并且行人候选4将被判断为 行人。参照图9,描述用于判断行人候选是行AJi是非行人(Ait物)的行 人判断阈值(相似程度和相似候选数量)的设定方法。图9是用于描述行 人判断阈值的设定方法的图。在图9中，水平轴代表相似程度(欧式距离)， 垂直轴代^目似候选的数量。行人判断阈值按如下来设定。即，从预先准 备的多个样品图像创建相似程度-相似候选数量分布的图(图9),并基 于该相似程度—相似候选数量分布设定行人判断阈值，从而将行人(见图 9中的空心白色正方形)与非行人(见图9中的实心黑色菱形)分离。在 该实施例中，相似程度(欧式距离)的阈值被设定为800，相似候选的数 量的阈值被设定为2或更大(大于1)。通过这种方式的设定，没有行人 包含在其中行人候选被判断为非行人(AJt物)的区域中，如相似程度(欧 式距离)小于800并JL^目似候选的数量大于1，即图9中的左上区域；因 此，行人和非行人(人造物)被精确地分开，并相互区别。根据上述控制方式，仅通过判断行人候选之间的相似程度就可以判断 行人候选是行人还是AJt物。因此，即使在提取了多个行人候选的情况下， 也可以快速地执行关于所有行人候选判断行人候选是否为行人的处理。此外，根据该控制方式，为了判断出行人候选不是行人，必须存在至 少两个相似的行人候选。因此，有可能准确地判断出行人候选是否为行人。此外，根据该控制方式，在求出行人候选之间的相似程度之前将所提 取的行人候选的尺寸和亮度标准化。因此，有可能提高相似程度的计算准 确度。在相关技术的行人判断方法中，关于行人候选的特征进行判断，因此 难以将行人与类似于行人的对斜目区分。因此，相关技术的行人判断方法 发现难以减少错误的检测。然而，在本实施例中，可以在不进行关于行人 候选特征的判断的情况下区分行人候选是否为行人。因此，有可能减少错 误的行人检测。尽管以上描述了本发明的实施例，但是本发明不局限于上述实施例， 而是可以用各种其它方式进行修改。例如，尽管在上述实施例中，本发明 应用于基于由近红外照相机拍摄的近红外图像的行人检测，但是本发明还10图像或者由可见光照相机拍摄的可见光图像的行A^r测。尽管在上述实施例中，本发明应用于安装在车辆中的近红外夜视装 置，但是本发明不局限于安装在车辆上的装置，而是还可以应用于各种其 它用途。而且，用于区分行人与非行人(AJt物)的行人判断阈值(相似程度 和相似候选的数量)不受上述实施例的限制。例如，可以通过比较亮度的 直方图来判断行人候选之间的相似程度。
权利要求
1.一种行人检测装置，其特征在于该行人检测装置包括行人候选提取装置，用于从拍摄的图像中提取行人候选；以及判断装置，用于在所述行人候选提取装置提取了多个行人候选的情况下，求出所述行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人。
2. 根据权利要求l所述的行人检测装置，其中所述判断装置判断如下行人候选不是行人有两个或更多个其他的行 人候选与该行人候选的相似程度大于或等于所述预定值。
3. 根据权利要求1或2所述的行"测装置，其中所述行人候选提取装置将所提取的行人候选的尺寸和/或亮度标准 化，并且所述判断装置求出尺寸和/或亮度被所述行人候选提取装置标准化后 的行人候选之间的相似程度。
4. 根据权利要求3所述的行人检测装置，其中所述判断装置通迚基于尺寸和/或亮度被标准化后的行人候选之间各 个像素的亮M，使用欧式距离求出行人候选之间的相似程度。
5. 根据权利要求l-3中任一个所述的行人检测装置，其中所述判断装置通过使用行人候选的像素的亮度直方图来求出行人候 选之间的相似程度。
6. —种行A^r测方法，其特征在于该行A^r测方法包括 从拍摄的图像中提取行人候选；以及当通过所述行人候选^_取的提取而提取了多个行人候选时，求出所述 行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于 预定值的行人候选判断为不是行人。
7. —种行A^r测装置，包括行人候选提取部，用于从拍摄的图像中提取行人候选；以及判断部，用于在所述行人候选提取部提取多个行人候选的情况下，求 出所述行人候选之间的相似程度，并将与另外的行人候选的相似程度大于或等于预定值的行人候选判断为不是行人。
全文摘要
应用行人检测装置的近红外夜视装置(1)包括近红外投射器(10)、近红外照相机(12)、显示器(14)和ECU(20)。通过执行程序，ECU(20)构成行人候选提取部(21)和判断部(22)。行人候选提取部(21)从近红外图像中提取行人候选区域。判断部(22)将行人候选提取部(21)提取的行人候选的尺寸和亮度标准化，然后计算标准化后的行人候选之间的相似程度。判断部(22)判断具有两个或更多个与其相似程度大于或等于预定值的其它行人候选的行人候选不是行人。
文档编号G06K9/00GK101558415SQ200780023584
公开日2009年10月14日 申请日期2007年11月9日 优先权日2006年11月9日
发明者佐藤弘规, 原祥雅, 早坂祥一, 泽木利夫, 深町映夫 申请人:丰田自动车株式会社