移动对象识别器的制造方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请基于并且要求于2012年11月19日提交的日本专利申请No. 2012-252932 和于2013年7月29日提交的日本专利申请No. 2013-156774的优先权，上述申请的全部内 容通过引用方式并入到本文中。
技术领域
[0003] 本发明设及移动对象识别器、用于移动对象识别的程序和集成了移动对象识别器 的车辆。
【背景技术】
[0004] 已经开发出了移动对象识别器来识别诸如前面的行人、车辆之类的对象的速度和 运动上的变化，并且发现危险情况（例如行人突然跃入、另一车辆并入），来警告其驾驶员 W避免发生危险。
[0005] 例如，存在用于移动对象识别的该样的技术，即根据在二维图像帖和相机的焦距 之间的移动对象的尺寸上的变化，来发现到前面的移动对象的距离上的变化。然而，该种技 术无法准确地测量到移动对象的距离或准确地检测对象的移动上的变化。
[0006] 鉴于上述问题，例如日本专利申请公开No. 2000-266539公开了一种车辆间距离 测量单元，用于计算与利用立体相机获取的立体图像之间的差异，来生成差异图像或范围 图像。该差异图像是指其像素值是差异值的图像。
[0007] 该测量单元被配置为根据差异图像来检测前面的车辆，找到车辆边缘的移动矢 量，并且根据移动矢量的大小和方向来计算车辆间距离和距离上的变化。
[0008] 该测量单元单独根据差异图像来识别移动对象，并且通过W框或窗口为单位的图 像匹配来获得差异图像。有鉴于此，其具有的一个缺陷在于差异图像的空间分辨率低。例 如，其无法准确地检测到前面的具有非平面后部的车辆的距离。
【发明内容】
[0009] 本发明意在提供能够改善识别移动对象和检测对象的移动上的变化的准确性的 移动对象识别器、用于移动对象识别的程序和集成了该样的移动对象识别器的车辆。
[0010] 根据本发明的一个方面，一种移动对象识别器包括：图像输入器，从立体相机连续 地接收立体图像信号，并且输出立体图像；亮度图像生成器，被配置为连续地存储从所述图 像输入器输出的立体图像的图像中的至少一个的帖，并且生成亮度图像帖；差异图像生成 器，被配置为计算从所述图像输入器输出到所述亮度图像生成器的立体图像的图像之间的 差异，并且生成差异图像帖；对象识别器，被配置为至少根据所述亮度图像帖来识别对象； 跟踪处理器，被配置为通过从在特定时间处识别出的图像帖之后的图像帖获取的亮度图像 帖，对由所述对象识别器在特定时间从图像帖识别出的对象进行跟踪；W及变化检测器，被 配置为从与所述亮度图像帖同步的差异图像帖检测被跟踪的对象的状态上的变化。
【附图说明】
[0011] 参考附图并根据W下的详细描述，本发明的特征、实施例和优点将变得显而易见。
[0012] 图1示意性地示出了根据本发明一个实施例的集成了移动对象识别器的车辆；
[0013] 图2示出了图1中所示的立体相机和移动对象识别器的硬件配置；
[0014] 图3是图2中的移动对象识别器的功能的框图；
[0015] 图4示出了立体相机的结构和差异之间的关系；
[0016]图5A到5C通过示例分别示出了由左侧透镜系统捕获的立体图像中的一个图像、 由右侧透镜系统捕获的立体图像中的另一个图像、W及根据立体图像生成的差异图像；
[0017] 图6示出了根据差异图像帖创建的差异的水平直方图的示例；
[0018] 图7示意性地示出了道路区域和移动对象之间的关系；
[0019] 图8示意性地示出了亮度图像上的矩形框；
[0020] 图9A到9F通过示例示出了矩形框的分区样式W及如何使用分区样式来找到矩形 框的特征量；
[0021] 图10示出了对象识别器的多层级的结构；
[0022] 图11示出了被识别出的候选区域；
[0023] 图12示出了被识别出的候选区域和道路区域之间的关系；
[0024] 图13示出了包括要被跟踪的对象的图像；
[00巧]图14示出了图13中的包含对象的图像的下一帖；
[0026] 图15示出了用于对象识别的与亮度图像帖相对应的差异图像帖；
[0027] 图16示出了用于对象识别的与亮度图像帖相对应的差异图像帖拟及
[0028] 图17是移动对象识别器的操作的流程图。
【具体实施方式】
[0029] 在下文中，将参照附图详细描述移动对象识别器的一个实施例。在适用时，在各个 附图中将使用相同的附图标记来指代相同或相似的部分。图1示意性地示出了根据本实施 例的集成了移动对象识别器的车辆1的外部。
[0030] 在图1中，车辆1包括位于车辆本体上的用于跟踪目标移动对象S的移动对象识 别器2和警告单元3。
[0031] 图2是车载立体相机和移动对象识别器2的硬件配置的框图。如图2所示，移动 对象识别器2包括用于处理来自立体相机的信号的电路，并且该电路能够被包括在立体相 机中。立体相机包括左右两个透镜系统la、化，作为图像传感器的左右两个CMOS(互补金属 氧化物半导体）2a、化，CDS电路3a、3b，W及A/D转换器4a、4b。
[0032] 来自对象的光被经由透镜系统IaUb成像在CMOS2a、化上。CMOS2a、化将光学 图像转换为电子信号，并将该电子信号作为模拟图像数据输出到左右CDS(相关双采样）电 路 3a、3b。
[0033]CDS电路3a、3b从（从CMOS2a、化输出的）模拟图像数据移除噪声分量，并将该 图像数据输出到A/D转换器4a、4b。A/D转换器4a、4b将模拟图像数据转换为数字图像数 据，并且将其输出到图像处理电路5a、5b。
[0034] 通过从由CPU7控制的定时信号生成器6输出的定时信号来控制CM0S2a、2b，CDS 电路3a、3b，A/D转换器4a、4b。CPU7还控制图像处理电路5a、5b、在下文中描述的压缩/ 解压缩电路和存储卡。
[0035] 图像处理电路5a、化执行各种图像处理，例如Y、化、Cb转换，白平衡校正，对比度 校正，边缘增强W及对在SDRAM(同步DRAM)中临时存储的图像数据的颜色转换。
[0036] 白平衡校正是要调整图像信息的颜色密度，而对比度校正是要调整图像信息的对 比度。边缘增强正是要调整图像信息的锐度，而颜色转换是要调整图像信息的色泽。
[0037] 图像信息要被进行信号处理和图像处理，并且被经由压缩/解压缩电路9存储在 存储卡10中。压缩/解压缩电路9压缩来自图像处理电路5a、5b的数字图像数据，并且将 其输出到存储卡10,W及解压缩从存储卡10读取的图像信息，并且将其输出到图像处理电 路 5a、5b。
[0038]CPU17通过用于移动对象识别的计算机可读程序来计算各种数据。CPU7集成了 存储程序的ROM(只读存储器）11、工作区域W及具有数据存储区域并且被经由总线与ROM 和工作区域连接的RAM(随机存取存储器）12。通过操作单元13的操纵，移动对象识别器2 执行其功能。
[0039] 参照图3,描述了移动对象识别器的CPU7的处理。立体相机的CMOS2a、2b，CDS 电路3a、3bW及A/D转换器4a、4b用作图像输出，从该图像输出连续地输出立体图像信号。
[0040]图像处理电路5a、化用作图像输入器20来接收从图像输出输出的立体图像信号 并输出立体图像，W及用作亮度图像生成器21来连续存储从图像输出输出的立体图像中 的至少一个图像的帖并且基于立体图像的图像之一的每一个帖来生成亮度图像帖。
[0041] 在ROM11中存储的程序被加载到CPU7上。CPU7用作差异图像生成器22来计 算从图像输入器20输出到亮度图像生成器21的立体图像的图像之间的差异，并且生成差 异图像帖。
[0042] 此外，CPU7用作对象识别器23来根据来自亮度图像生成器21的亮度图像帖和 来自差异图像生成器22的差异图像帖识别对象，用作跟踪处理器来通过各个图像帖跟踪 被识别出的对象，W及用作变化检测器25来根据差异图像帖计算对象的移动上的变化。
[0043] 将变化检测器25的检测结果连续输出到警告单元3的屏幕。警告单元3被配置 为根据对象的状态，并且例如通过在屏幕上显示符号或文字作为对另一个车辆并入、行人 跃入的警告，来向驾驶员发出警告。可W用声音发出警告。
[0044] 对象识别器23包括候选区域识别器23a来从差异图像帖识别对象的候选区域，并 且包括对象确定器23b来根据差异图像帖和亮度图像帖来确定要被跟踪的目标对象。
[0045] 跟踪处理器24在当前的亮度图像帖中跟踪由对象识别器根据上一个图像帖的亮 度图像帖和差异图像帖确定的目标对象。或者，其能够被配置为跟踪通过在特定时间之后 获取的亮度图像帖根据在特定时间获取的图像帖的亮度图像帖和差异图像帖来确定的目 柄对象。
[0046] 变化检测器25包括距离计算器25a来计算对象相对于车辆1的在前后方向上的 变化量，并且包括运动计算器2化来计算对象相对于车辆1的在横向方向上的变化量。前 后方向上的变化量包括前后方向上的距离上的变化和速度或加速度上的变化。同时，横向 方向上的变化量包括横向方向上的距离上的变化和速度或加速度上的变化。前后方向上的 速度上的变化对应于例如前面的车辆快速地加速同时车辆IW恒定速度驾驶的情况。横向 方向上的速度上的变