一种车载红外图像的场景识别及彩色化处理方法
【技术领域】
[0001] 本发明涉及一种车载红外图像的场景识别及彩色化处理技术，属于红外图像处理 领域。
【背景技术】
[0002] 随着车辆辅助驾驶系统的逐步发展，车载红外图像得到了一定应用。相较于可见 光图像，红外图像能够在夜间或雾霾天气提供更丰富的视觉信息，为安全驾驶提供保障。因 此近年来红对车载红外图像处理的研宄也逐渐展开。而车载红外图像的场景识别是红外图 像研宄的一个难点。
[0003] 由车载设备直接获取的红外图像是一种灰度图像，其对比度较低，缺少丰富的纹 理信息。对驾驶员而言，这样的红外图像不够直观，不利于驾驶时的快速判断。这就要求对 车载红外图像进行一定的处理，使其中的信息更直观、更友好地呈现给驾驶人员。
[0004] 为了充分挖掘车载红外图像中蕴含的视觉信息，需要对车载红外图像进行场景识 别及彩色化处理等操作。其中，场景识别是指识别出给定图像所反映的原始物理场景中的 不同物体及其在图像中对应的范围，彩色化处理是指将识别出的场景信息通过彩色图像提 供给驾驶员。之后根据识别出的场景信息，综合原始红外图像的亮度信息，重新绘制出彩色 化的，更接近原始场景在良好可见光条件下视觉效果的图像。
[0005] 目前国内外对于车载红外图像的场景识别及彩色化处理研宄还不够深入，尚无 成熟的解决方案。而近年来对于可见光彩色图像的场景识别的研宄有较大的进展，如 Y.Yang等人完成的分层目标检测与场景分割技术，能够极为准确地识别出场景中的多个 物体，并分析出各物体之间的遮挡关系；C.Liu等人完成的非参数化场景分割方法Label Transfer，采用基于GIST特征描述的通用搜索树，通过与样本库中图片的快速匹配及局部 SIFT特征的比较，能够以较高的准确率识别出彩色图像中的不同场景类别；K.Karsch等人 完成的基于非参数化采样的深度提取方法可准确高效地估计出彩色单目视频中重要目标 的深度信息；A.Saxena等人完成的Make3D方法使用隐马尔可夫模型建立图像中超像素面 板参数的模型，能够在准确估计场景深度的基础上建立出原始场景的三维模型。
[0006] 红外图像与可见光图像有一定的相似性，虽然不能直接套用可见光图像领域的研 宄方法进行处理，但可见光图像的研宄进展对红外图像处理的研宄具有重要的参考意义。
【发明内容】
[0007] 本发明的目的是参考在彩色可见光图像处理领域较为成功的LabelTransfer技 术进行车载红外图像的场景识别，并根据场景识别的结果对车载红外图像进行彩色化处 理，以通过车辆辅助驾驶系统在恶劣视觉条件下为驾驶员提供丰富且直观的驾驶信息。
[0008] 为了达到上述目的，本发明的技术方案是提供了一种车载红外图像的场景识别及 彩色化处理方法，其特征在于，包括如下步骤：
[0009] 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样 本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作 为后续场景识别步骤的样本，建立人工标定样本库；
[0010] 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样 本库中；
[0011] 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理 车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载 红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标 定样本库中样本总数且不小于3的奇数；
[0012] 步骤4、分别计算待处理红外图像及K幅近邻图像的SIFT特征，根据各近邻图像与 待处理车载红外图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近 的N幅近邻图像作为候选图像，N是一个取值小于K的奇数；
[0013] 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用 SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记 的场景类别分配至待处理车载红外图像对应的部分；
[0014] 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个 场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；
[0015] 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类 别赋予不同的色彩，得到彩色类别标记图；
[0016] 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰度 图；
[0017] 步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度 层，将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。
[0018] 本发明的优点在于：
[0019] 本发明充分挖掘车载红外图像中蕴含的丰富信息，提取出重要的场景类别信息， 并转换为直观的彩色图像。输出的彩色图像包含了待处理车载红外图像中的全部信息，同 时极大地提高了车载红外图像的表现能力，使车辆辅助驾驶系统在夜间或雾霾天气等恶劣 视觉条件下也能提供丰富且直观的驾驶信息。
【附图说明】
[0020] 图1为基于LabelTransfer的车载红外图像的场景识别流程图；
[0021] 图2为基于场景类别标记的车载红外图像彩色化处理流程图；
[0022] 图3为本发明一种实施例的彩色化流程示意图。
【具体实施方式】
[0023] 为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
[0024] 本发明提供了一种车载红外图像的场景识别及彩色化处理方法，其步骤为：
[0025] 步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样 本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作 为后续场景识别步骤的样本，建立人工标定样本库；
[0026] 步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样 本库中；
[0027] 步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理 车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载 红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标 定样本库中样本总数且不小于3的奇数；
[0028] 步骤4、分别计算待处理车载红外图像及K幅近邻图像的SIFT特征，根据各近邻图 像与待处理图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近的N 幅近邻图像作为候选图像，N是一个取值小于K的奇数；
[0029] 步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用 SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记 的场景类别分配至待处理车载红外图像对应的部分；
[0030] 步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个 场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；
[0031] 步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类 别赋予不同的色彩，得到彩色类别标记图；
[0032] 步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰