图像处理装置、图像处理方法、程序和系统与流程

本公开内容涉及图像处理装置、图像处理方法、程序和系统。

背景技术：

在相关技术中，已经将由红外摄像机拍摄的图像用于驾驶辅助和其他目的(例如，参见专利文献1)。例如，通过拍摄近红外图像而不是可见光图像，即使在较差的条件例如在夜晚或者恶劣天气下，也可以向用户提供在一定程度上具有高可见度的图像(例如，参见专利文献2)。虽然红外图像通常是没有颜色的灰度图像，但也提出了通过使用来自可见光图像的颜色信息来提供红外图像中的颜色(例如，参见专利文献3)。

参考文献列表

专利文献

专利文献1jp2000-115759a

专利文献2jp2007-158820a

专利文献3jp2014-197727a

技术实现要素：

技术问题

通常，出于使用户或图像处理应用程序能够识别图像中所出现的成像对象(例如人体或者对象)的目的，提供最大程度上具有令人满意的高图像质量的彩色图像是有利的。然而，用于在红外图像中提供颜色的已有技术很难说已经实现了适于这样的目的的足够的图像质量。

因此，根据本公开内容的技术的目的是实现能够生成具有进一步提高的图像质量的彩色图像的机制。

问题的解决方案

根据本公开内容，提供有一种图像处理装置，其包括：图像获取单元，其用于获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像；以及生成单元，其用于通过对滤波器抽头进行滤波来生成彩色图像，滤波器抽头包括远红外图像、近红外图像和可见光图像的像素。

此外，根据本公开内容，提供有一种图像处理方法，包括：获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像；以及通过对滤波器抽头进行滤波来生成彩色图像，滤波器抽头包括远红外图像、近红外图像和可见光图像的像素。

此外，根据本公开内容，提供有一种程序，该程序使得控制图像处理装置的计算机用作：图像获取单元，其用于获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像；以及生成单元，其用于通过对滤波器抽头进行滤波来生成彩色图像，滤波器抽头包括远红外图像、近红外图像和可见光图像的像素。

此外，根据本公开内容，提供有一种图像处理系统，其包括：摄像机模块，其在远红外区域、近红外区域和可见光区域中拍摄成像对象并且输出对应的远红外图像、近红外图像和可见光图像；以及图像处理模块，其通过对滤波器抽头进行滤波来生成彩色图像，滤波器抽头包括远红外图像、近红外图像和可见光图像的像素。

本发明的有益效果

根据本公开内容的技术，可以生成具有进一步提高的图像质量的彩色图像。

注意，上述效果不一定是限制性的。与以上效果一起或者代替以上效果，可以实现本说明书中所描述的效果或者可以根据本说明书领会的其它效果中的任何一种效果。

附图说明

图1是示出红外图像的取决于波长的各种用途的说明图。

图2是示出可见光图像、近红外图像和远红外图像的示例的说明图。

图3是示出根据第一实施方式的图像处理装置的硬件配置的示例的框图。

图4是示出车辆中的摄像机和显示器的布置的一些示例的说明图。

图5是示出根据第一实施方式的图像处理装置的理论功能配置的示例的框图。

图6a是示出与图像获取有关的处理的第一示例的说明图。

图6b是示出与图像获取有关的处理的第二示例的说明图。

图6c是示出与图像获取有关的处理的第三示例的说明图。

图6d是示出与图像获取有关的处理的第四示例的说明图。

图7是示出成像条件的第一示例的说明图。

图8是示出与成像条件的第一示例对应的滤波器配置的示例的说明图。

图9是示出成像条件的第二示例的说明图。

图10是示出与成像条件的第二示例对应的滤波器配置的示例的说明图。

图11是示出成像条件的第三例的说明图。

图12是示出与成像条件的第三示例对应的滤波器配置的示例的说明图。

图13是示出根据第一实施方式的彩色图像生成处理的流程的示例的流程图。

图14a是示出滤波器配置设置处理的流程的第一示例的流程图。

图14b是示出滤波器配置设置处理的流程的第二示例的流程图。

图15是示出根据第二实施方式的图像处理装置的理论功能配置的示例的框图。

图16是示出根据第二实施方式的区域识别处理的示例的说明图。

图17a是示出可以基于区域识别处理的结果而针对每个区域设置的滤波器配置的第一示例的说明图。

图17b是示出可以基于区域识别处理的结果而针对每个区域设置的滤波器配置的第二示例的说明图。

图18是示出根据第二实施方式的彩色图像生成处理的流程的示例的流程图。

图19是示出根据本公开内容的技术的一些应用示例的说明图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记来表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

将按照以下顺序给出描述。

1.基本原理

1-1.红外线的各种用途

1-2.每个图像的特性

2.第一实施方式

2-1.硬件配置

2-2.功能配置

2-3.处理流程

3.第二实施方式

3-1.功能配置

3-2.处理流程

4.应用示例

5.结论

<1.基本原理>

[1-1.红外线的各种用途]

图1是示出红外图像的取决于波长的各种用途的说明图。图1中的水平方向与红外线的波长对应，并且波长从左侧向右侧增大。与可见光区域相邻的波长区域是近红外(nir)区域，并且属于nir区域的红外线被称为近红外线。虽然nir区域的上限波长根据定义而不同，但是在许多情况下假定上限波长在2.5μm与4.0μm之间。在nir区域中具有相对长的波长的部分也称为短波红外(swir)区域。近红外线可用于夜视、荧光透视、光通信和测距。拍摄nir图像的摄像机通常首先向成像目标附近发射红外线并且拍摄其反射光。在长波长侧与nir区域相邻的波长区域是远红外(fir)区域，并且属于fir区域的红外线被称为远红外线。远红外线可用于夜视、热成像和加热。由来自对象的黑体辐射发射的红外线与远红外线对应。因此，使用远红外线的夜视装置可以通过在不发射红外线的情况下拍摄来自对象的黑体辐射来生成fir图像。在fir区域中具有相对短的波长的部分也被称为中波红外线(mwir)区域。由于物质特有的吸收光谱出现在中波红外线的波长范围内，所以中波红外线可以用于识别物质。

[1-2.每个图像的特性]

可见光图像已经被广泛地用于使用户或一些应用程序能够识别在图像中拍摄的成像对象的目的，这是因为颜色在可见光图像中固有地被表示。可见光图像具有在环境光不足(例如在夜间或者恶劣天气)的情况下可见度显著降低的缺点。此外，由于可见光被人类视觉感测，所以在许多场景中避免通过发出可见光(所谓的闪光)来产生环境光。红外图像可以补偿可见光图像的这种缺点。例如，专利文献2中提出的技术在诸如夜晚或者恶劣天气的较差条件下为驾驶员提供具有较高可见度的nir图像而非可见光图像。红外图像通常是没有颜色的灰度图像，而专利文献3提出通过使用来自可见光图像的颜色信息在红外图像中提供颜色。一般地，期望提供给用户或者应用程序的彩色图像最大程度地具有令人满意的质量。

图2是示出可见光图像、近红外(nir)图像和远红外(fir)图像的示例的说明图。在图2中，在左侧示出了可见光图像im01，在中间示出了nir图像im02，并且在右侧示出了fir图像im03。这些图像中拍摄了同一人。可见光图像im01最令人满意地表示出人物的面部，但是在成像对象的未接收到足够的环境光的周围边缘部分处，成像对象与背景之间的边界不清楚。相比之下，在nir图像im02中，最强烈地反射近红外线的衣服而不是人脸被以最高亮度拍摄，而成像对象与背景之间的边界是清晰的。这指示出在其中背景中存在强烈反射近红外线的对象的类似的情况下成像对象被隐藏在背景中的可能性。在fir图像中，成像对象与背景之间的边界也是清晰的。由于在fir图像中面部以比衣服更高的亮度被拍摄，而人的面部的细节没有被表示出，所以可以理解，fir图像比可见光图像和nir图像更适合于检测生物体。

通常仅在可见光图像中包括与成像对象的颜色有关的颜色信息。然而，有必要考虑关于要更清楚地表示图像中的哪个区域以及哪个区域需要颜色细节的观点，以便确定要最终输出的彩色图像。根据这些观点的信息被包括在fir图像和nir图像中的每个图像而不是可见图像中。因此，在说明书中将描述除了可见光图像之外还考虑到fir图像和nir图像而产生具有更加提高的图像质量的彩色图像的一些实施方式。

<2.第一实施方式>

在本部分中，将描述作为车载设备的图像处理装置100作为示例。虽然图像处理装置100具有被部分地定制用于安装在车辆中的配置，但是根据本公开内容的技术的目的不限于这样的示例。根据本公开内容的技术可以例如由任何类型的设备如包括监视摄像机的安全设备、医疗/诊断设备、检查设备以及包括智能电话和平板个人计算机(pc)的信息设备应用于生成彩色图像。

[2-1.硬件配置]

图3是示出根据第一实施方式的图像处理装置100的硬件配置的示例的框图。参考图3，图像处理装置100包括摄像机模块102、传感器模块104、输入接口106、存储器108、显示器110、通信接口112、车辆网络(nw)接口113、存储装置114、总线116和处理器118。

(1)摄像机模块

摄像机模块102是在fir区域、nir区域和可见光区域中拍摄成像对象的模块。摄像机模块102通常包括感测波长属于fir区域的远红外线的成像元件阵列、感测波长属于nir区域的近红外线的成像元件阵列以及感测可见光的成像元件阵列。这些阵列可以布置在同一基板上或者可以布置在不同基板上。摄像机模块102还可以具有发射近红外线的发光元件。例如，摄像机模块102周期性地或者响应于诸如用户输入的触发来拍摄fir图像、nir图像和可见光图像。这些图像可以是形成运动图像的一系列帧的部分。

(2)传感器模块

传感器模块104是具有可以包括位置测量传感器、加速度传感器、深度传感器、照度传感器、温度传感器和湿度传感器的一组传感器的模块。位置测量传感器基于来自全球定位系统(gps)卫星的gps信号或者来自无线接入点的无线信号来测量图像处理装置100的当前位置。加速度传感器测量应用于图像处理装置100的三轴速度。深度传感器测量距在摄像机模块102的视角中出现的成像对象的距离(即，深度)。照度传感器测量放置有图像处理装置100的环境中的照度。温度传感器和湿度传感器分别测量环境中的温度和湿度。由传感器模块104生成的传感器数据可以用于图像的校准和成像条件的确定，这将在后面进行描述。

(3)输入接口

由用户使用输入接口106来操作图像处理装置100或者向图像处理装置100输入信息。例如，输入接口106可以包括输入装置如触摸传感器、键盘、按钮或者开关。输入接口106可以包括用于声音输入和声音识别模块的麦克风。输入接口106可以包括从远程装置接收由用户选择的命令的远程控制模块。

(4)存储器

存储器108是可以包括随机存取存储器(ram)和只读存储器(rom)的存储介质。存储器108耦合到处理器118并且存储用于由处理器118执行的处理的程序和数据。

(5)显示器

显示器110是具有用于显示图像的屏幕的显示模块。例如，显示器110可以是液晶显示器(lcd)、有机发光二极管(oled)或者阴极射线管(crt)。

(6)通信接口

通信接口112是中继图像处理装置100与其他装置之间的通信的模块。通信接口112根据任意无线通信协议或有线通信协议来建立通信连接。

(7)车辆nw接口

车辆nw接口113是中继其中安装有图像处理装置100的车辆与车辆网络之间的通信的模块。车辆nw接口113例如经由图中未示出的端子连接到车辆网络，并且获取在车辆侧生成的数据如车速数据和转向角数据。

(8)存储装置

存储装置114是累积图像数据和存储在由图像处理装置100执行的图像处理中使用的数据库的存储装置。在存储装置114中嵌入有存储介质如半导体存储器或者硬盘。说明书中所描述的程序和数据可以从图像处理装置100外部的数据源(例如，数据服务器、网络存储装置或者外部存储器)获取。

(9)总线

总线116连接摄像机模块102、传感器模块104、输入接口106、存储器108、显示器110、通信接口112、车辆nw接口113、存储装置114和处理器118。

(10)处理器

处理器118是处理模块如中央处理单元(cpu)或者数字信号处理器(dsp)。处理器118使得通过执行存储在存储器108或者另一存储介质中的程序来操作用于生成具有提高的图像质量的彩色图像的功能，这将在后面进行描述。

图4是示出车辆中的摄像机和显示器的布置的一些示例的说明图。图4通过实线示出一个示例中的车辆1的简化平面图。例如，摄像机102a布置在车辆1的本体的前部中心并且被制成面向车辆1的前侧。摄像102b布置在本体的后部中心并且被制成面向车辆1的后侧。多个摄像机102c布置在车辆1的两侧并且被制成面向车辆1的侧面方向。图3所示的摄像机模块102可以包括这些摄像机102a、102b和102c以及不同的布置中的其他摄像机的任何组合。

显示器110a布置在仪表盘或其附近，并且通常被导航设备共享。例如，显示器110b布置在车厢内后视镜中，并且显示由摄像机102b拍摄的本体后侧的图像。显示器110c是驾驶员穿戴的可穿戴装置(例如，头戴式显示器)。图3所示的显示器110可以具有这些显示器110a、110b和110c以及不同布置中的其他显示器的任何组合。此外，图3所示的摄像机模块102、显示器110以及其它部件可以位于图像处理装置100外部，并且可以用信号线连接到图像处理装置100。

[2-2.功能配置]

图5是示出由图3所示的图像处理装置100的部件彼此协作实现的理论功能配置的示例的框图。参考图5，图像处理装置100包括图像获取单元120、数据获取单元130、确定单元140、生成单元160和数据库170。

(1)图像获取单元

图像获取单元120从摄像机模块102获取其中拍摄了共同成像对象的远红外(fir)图像、近红外(nir)图像和可见光图像，并且将所获取的图像输出到确定单元140和生成单元160。由图像获取单元120获取的图像可以是初步处理如信号放大、去马赛克和噪声去除等之后的图像。图像获取单元120根据需要执行预处理如图像校准、波长成分分离以及视点合并以用于生成彩色图像。在本说明书中，将考虑到fir图像和nir图像而获得的具有提高的图像质量的图像称为彩色图像，并且将由可见光摄像机拍摄的在提高图像质量之前的图像称为可见光图像(可见光图像也有颜色)。

图6a至6d分别示出与图像获取有关的处理的示例以及摄像机模块102的相应配置示例。在图6a所示的第一示例中，摄像机模块102包括拍摄可见光图像的图像传感器102a-1、拍摄nir图像的图像传感器102a-2和拍摄fir图像的图像传感器102a-3。由于这些图像传感器设置在相互不同的基板上，所以原始拍摄的可见光图像、nir图像和fir图像包含视角的偏差。因此，图像获取单元120执行校准121以用于补偿图像的视角之间的偏差。校准121可以包括不仅解决视角偏差而且还解决空间分辨率的差异以及时间分辨率的差异和像差的处理。可以通过在较低分辨率的图像中内插像素值或者通过在较高分辨率的图像中使像素变稀疏来解决空间分辨率的差异。可以通过内插帧或者使帧变稀疏来解决时间分辨率(即，帧率)的差异。像差(例如，色像差和单色像差)可以通过由图像获取单元120执行的像素操作来减小，或者可以通过光学系统来校正。

在图6b所示的第二示例中，摄像机模块102包括拍摄可见光图像和nir图像的单面板图像传感器102a-4以及拍摄fir图像的图像传感器102a-3。在第二示例中，在可见光图像与nir图像之间没有视角偏差，因此校准122可以包括对与fir图像有关的视角偏差的补偿以及其他上述处理。此外，存在其中在由单面板图像传感器102a-4拍摄的图像中发生由可见光区域与nir区域之间的相关性引起的颜色混合(例如，红色(r)成分影响nir像素值)的情况。因此，图像获取单元120可以执行用于分离在可见光图像与nir图像之间混合的波长成分的成分分离处理123(例如，用于分离成分的滤波操作)。

在图6c所示的第三示例中，摄像机模块102包括拍摄可见光图像、nir图像和fir图像的单面板图像传感器102a-5。在第三示例中，三个图像的视角不存在偏差。然而，由于存在因为可见光区域、nir区域和fir区域中的波长之间的相关性而在所拍摄的图像中发生颜色混合的可能性，所以图像获取单元120可以执行用于分离各波长成分的成分分离处理124。

在图6d所示的第四例中，摄像机模块102包括：图像传感器102c-1和102c-4，其以相邻的视角(可以部分重叠)拍摄可见光图像；图像传感器102c-2和102c-5，其以相邻的视角(可以部分重叠)拍摄nir图像；以及图像传感器102c-3和102c-6，其能够以相邻视角(可部分重叠)拍摄fir图像。例如，图像获取单元120可以通过执行用于对来自图像传感器102c-1和102c-4的在视角边界处的可见光图像进行组合的视点合并处理125a来生成具有较大尺寸的单个可见光图像。类似地，图像获取单元120可以通过视点合并处理125b生成单个nir图像，并且可以通过视点合并处理125c生成单个fir图像。图像获取单元120还对可见光图像、nir图像和fir图像执行校准126，以解决视角的偏差、空间分辨率的差异、时间分辨率的差异以及像差。

(2)数据获取单元

数据获取单元130获取除了用于在图像处理装置100中生成彩色图像的图像之外的各种数据。例如，数据获取单元130可以从传感器模块104获取指示图像处理装置100的地理位置的位置测量数据，并且可以经由通信接口112从外部数据服务器获取天气数据。如将在后面描述的，当确定单元140确定成像条件时，位置测量数据和天气数据用于确定当前位置的天气。天气数据可以由用户经由输入接口106输入。数据获取单元130可以从传感器模块104获取照度数据、温度数据和湿度数据。该数据也可用于由确定单元140确定成像条件。

此外，数据获取单元130可以经由车辆nw接口113从车辆网络获取包括车速数据和转向角数据的驾驶数据。例如，当图像获取单元120执行帧率转换时，驾驶数据可用于运动预测和运动模糊校正。

(3)确定单元

确定单元140确定在拍摄fir图像、nir图像和可见光图像时的成像条件。在本实施方式中，成像条件包括时段、天气和环境照度中的一个或更多个。例如，确定单元140确定当前时间所属的时段。时段可以以任何方式分类，例如分类成包括“日”和“夜”的两种类型或者包括“早晨”、“白天”、“傍晚”和“夜晚”的四种类型。确定单元140可以参照从外部服务器获取或者由用户输入的天气数据来确定由位置测量数据指示的当前位置的天气。天气可以以任何方式被定义。在一个示例中，确定单元140可以将当时的天气分类为“晴”、“多云”、“下雨”、“下雪”和“有雾”中的任何天气。确定单元140可以根据温度数据和湿度数据来估计当前位置的天气，而不是根据天气数据来确定天气。此外，确定单元140可以基于来自传感器模块104的照度数据来确定环境照度。确定单元140将指示这种确定的结果的成像条件信息输出到生成单元160。

(4)生成单元

生成单元160通过对包括fir图像、nir图像和可见光图像像素的滤波器抽头进行滤波来生成彩色图像。选自fir图像的像素有助于在环境光不良的情况下识别成像对象，特别是突出生物体区域中的颜色。虽然选自nir图像的像素也有助于在环境光不良的情况下对成像对象的识别，但是由于发射近红外线的作用，像素特别有助于使成像对象的细节清晰化。比可见光具有更高的直线度的红外线有助于在下雨或者有雾条件下产生具有高可见度的图像。从可见光图像中选择的像素直接提供彩色图像中的颜色信息。

在本实施方式中，生成单元160使用根据由确定单元140确定的成像条件而不同的滤波器配置执行用于生成彩色图像的滤波。在下文中，将参照图7至图12描述与成像条件的一些示例对应的滤波器配置的示例。

图7是示出成像条件的第一示例的说明图。参考图7，示出了说明性可见光图像im11。拍摄可见光图像im11时的天气是“晴”，并且时段是“白天”。也就是说，与可见光图像im11相关联的成像条件c1表示“晴”和“白天”的组合。图8是示出与成像条件c1对应的滤波器配置的示例的说明图。参考图8，示出了一维波长方向上的轴和二维空间方向上的轴，此外，在对应的波长位置处部分地示出可见光(rgb)图像、nir图像和fir图像。虽然可见光图像实际上具有三个波长成分，但是本文为了简化，将可见光图像整合在一个波长位置处。可见光图像不限于图中所示的示例，并且可以由不同于rgb的颜色系统表示。图8中各图像的格栅指示像素阵列，并且每个粗线矩形表示关注像素的位置。应用于每个像素的阴影的密度表示分配给像素的滤波器系数(即，滤波操作中的权重)。如上所述，成像条件c1表示“晴”和“白天”的组合，因此从可见光图像中选择更多的像素，并且为可见光图像的像素提供较大的滤波器系数。

图9是示出成像条件的第二示例的说明图。参考图9，示出了说明性可见光图像im12。拍摄可见光图像im12时的天气是“晴”，并且时段是“夜晚”。也就是说，与可见光图像im12相关联的成像条件c2表示“晴”和“夜晚”的组合。图10是示出与成像条件c2对应的滤波器配置的示例的说明图。在图10的示例中，将来自可见光图像的较宽范围内的像素选择为滤波器抽头，以便减少倾向于在夜间拍摄的可见光图像中出现的噪声的影响，此外，从nir图像和fir图像中选择(与成像条件c1相比)更多的像素。此外，为nir图像中的关注像素提供最大的滤波器系数。

图11是示出成像条件的第三示例的说明图。参考图11，示出了说明性可见光图像im13。拍摄可见光图像im13时的天气是“有雾”，并且时段是“白天”。也就是说，与可见光图像im13相关联的成像条件c3表示“有雾”和“白天”的组合。图12是示出与成像条件c3对应的滤波器配置的示例的说明图。在图12的示例中，考虑到光散射的影响，将来自各图像的较宽范围的像素选择为滤波器抽头，并且为fir图像中的关注像素提供较大的滤波器系数，以便利用具有高直线度的远红外线的优点。

上述滤波器配置仅为说明性示例。可以以任何方式配置针对每个图像的滤波器抽头的数量和布置以及针对每个滤波器抽头的滤波器系数。针对成像条件中的一些成像条件，可以不从fir图像、nir图像和可见光图像中的一个或两个中选择滤波器抽头。在一个示例中，生成单元160可以使用通过学习处理预先确定的滤波器配置来执行滤波。在用于确定滤波器配置的预先执行的学习处理中，准备其中拍摄了某个成像对象的fir图像、nir图像和可见光图像的集合(根据需要校准)和通过在令人满意的成像条件下拍摄相同的成像对象而获得的彩色图像(具有足够令人满意的图像质量)之间的多个组合。在使用指导者进行学习时，这些图像对应于学生图像和指导者图像。根据诸如增强或者支持向量机的现有算法根据fir图像、nir图像和可见光图像的集合确定用于生成具有令人满意的图像质量的彩色图像的滤波器配置。可以通过针对每个成像条件候选分别执行这种学习来分别确定针对每个成像条件优化的滤波器配置。例如，数据库170存储指示针对如上所述预先学习的各个成像条件的滤波器配置的滤波器配置数据。

生成单元160例如获取与从确定单元140输入的成像条件信息所指示的成像条件对应的滤波器配置数据，并且设置由所获取的滤波器配置数据指示的滤波器抽头和滤波器系数。然后，在顺序地扫描从图像获取单元120输入的图像的像素的同时，生成单元160通过使用所设置的滤波器配置重复滤波来生成彩色图像。

生成单元160可以在显示器110的屏幕上显示生成的彩色图像。生成单元160可以将所生成的彩色图像输出到后面的阶段的应用程序。例如，在后面的阶段的应用程序可以是例如针对高级驾驶员辅助系统(adas)的驾驶辅助应用程序。例如，驾驶辅助应用程序可以基于由生成单元160生成的彩色图像来执行驾驶辅助处理例如检测行人、发出碰撞警报以及呈现停车辅助信息。

在一个修改示例中，生成单元160可以基于由确定单元140确定的成像条件与通过学习获得的成像条件之间的差异来调节滤波器系数，并且使用经调节的滤波器系数来执行上述滤波。在该修改示例中，成像条件由数值表示。例如，时段可以由预定范围内的数值表示，其下限对应于最暗的夜晚，其上限对应于最亮的中午。此外，天气可以用数值例如云的量来表示。此外，可以计算出基于时段、天气和环境照度的组合的积分数值。在预先进行的学习处理中，针对一些代表性(离散)成像条件值确定最佳滤波器配置，并且将指示所确定的滤波器配置的滤波器配置数据存储在数据库170中。生成单元160获取在与确定单元140确定的成像条件最接近的条件下学习的滤波器配置数据，基于成像条件之间的差异来调节由所获取的滤波器配置数据指示的滤波器系数，并且使用经调节的滤波器系数来生成彩色图像。如果当前时间晚于执行学习的时间并且被认为更暗，则生成单元160可以减少可见光图像的像素的权重，并且替代地提高nir图像和fir图像的像素的权重。可以通过这样的调节根据成像条件的连续变化来连续改变用于生成彩色图像的滤波器配置。以这种方式，可以防止将其中彩色图像的外观突然且不连续地改变的不自然的彩色运动图像提供给用户或者后面阶段中的应用程序。

(5)数据库

数据库170存储指示针对各个成像条件候选而预先确定的滤波器配置的上述滤波器配置数据的多个集合。滤波器配置数据的每个集合指示要从fir图像、nir图像和可见光图像中选择的滤波器抽头的像素位置以及要应用于各个滤波器抽头的滤波器系数。用于识别对应的成像条件的成像条件信息与滤波器配置数据的每个集合相关联。

[2-3.处理流程]

(1)彩色图像生成处理

图13是示出根据第一实施方式的彩色图像生成处理的流程的示例的流程图。通常针对形成运动图像的一系列帧中的每个重复图13所示的彩色图像生成处理。

首先，摄像机模块102在fir区域、nir区域和可见光区域中拍摄其中拍摄了成像对象的原始图像(步骤s100)。接下来，图像获取单元120根据需要对由摄像机模块102拍摄的原始图像进行预处理例如校准，并且获取fir图像、nir图像和可见光图像(步骤s105)。

然后，数据获取单元130获取要由图像处理装置100用以生成彩色图像的辅助数据(步骤s110)。这里获取的辅助数据可以包括位置测量数据、天气数据、照度数据、温度数据和湿度数据中的一些。

接下来，例如，确定单元140使用从数据获取单元130输入的辅助数据来确定由摄像机模块102拍摄图像时的成像条件(步骤s120)。然后，确定单元140将指示被确定为包括时段、天气和环境照度中的一个或更多个的成像条件的成像条件信息输出到生成单元160。

接下来，生成单元160从数据库170获取与确定单元140确定的成像条件对应的滤波器配置数据，并且设置由所获取的滤波器配置数据指示的滤波器配置(步骤s140)。然后，生成单元160通过以所设置的滤波器配置对从图像获取单元120输入的fir图像、nir图像和可见光图像进行滤波来生成彩色图像(步骤s150)。

接下来，如果存在后面的阶段中的应用程序(步骤s160)，则生成单元160将所生成的彩色图像输出到该应用程序(例如，驾驶辅助应用程序)(步骤s165)。然后，生成单元160(或者后面的阶段中的应用程序)在显示器110的屏幕上显示彩色图像(步骤s170)。

(2)滤波器配置设置处理

图14a是示出可以在图13的步骤s140中执行的滤波器配置设置处理的流程的第一示例的流程图。参考图14a，生成单元160首先通过使用由成像条件信息指示的成像条件进行查找来从数据库170获取与成像条件对应的滤波器配置数据(步骤s141)。接下来，生成单元160根据所获取的滤波器配置数据来设置可以包括fir图像的像素、nir图像的像素和可见光图像的像素的滤波器抽头(步骤s143)。此外，生成单元160针对所设置的滤波器抽头设置由滤波器配置数据指示的滤波器系数(步骤s145)。

图14b是示出可以在图13的步骤s140中执行的滤波器配置设置处理的流程的第二示例的流程图。参考图14b，生成单元160首先从数据库170获取与确定单元140确定的成像条件对应的滤波器配置数据(步骤s141)。接下来，生成单元160根据所获取的滤波器配置数据设置可以包括fir图像、nir图像和可见光图像的像素的滤波器抽头(步骤s143)。此外，生成单元160基于确定单元140确定的成像条件与通过学习获得的成像条件之间的差异来调节由滤波器配置数据指示的滤波器系数(步骤s147)。然后，生成单元160针对在步骤s143中设置的滤波器抽头来设置所调节的滤波器系数(步骤s149)。

<3.第二实施方式>

在上一部分描述的第一实施方式中，一个滤波器配置被用于生成一个彩色图像。相比之下，在第二实施方式中，将图像分割成若干部分区域，并且针对各个部分区域分别使用最佳的滤波器配置。通过切换或者适应性地选择滤波器配置，可以预期彩色图像的图像质量的进一步提高。

[3-1.功能配置]

根据第二实施方式的图像处理装置200的硬件配置可以与上面参考图3描述的图像处理装置100的硬件配置相同。图15是示出根据第二实施方式的图像处理装置200的理论功能的配置的示例的框图。参考图15，图像处理装置200包括图像获取单元120、数据获取单元230、确定单元140、识别单元250、生成单元260和数据库270。

(1)数据获取单元

数据获取单元230获取要由图像处理装置200用以生成彩色图像的辅助数据。例如，数据获取单元230可以从传感器模块104获取位置测量数据，并且以与根据第一实施方式的数据获取单元130相同方式经由通信接口112从外部数据服务器获取(或者从用户输入)天气数据。此外，数据获取单元130可以从传感器模块104获取照度数据、温度数据和湿度数据。数据获取单元130可以经由车辆nw接口113从车辆网络获取驾驶数据。在该实施方式中，数据获取单元230可以从传感器模块104获取针对每个像素的深度数据(也称为深度图)，该深度数据指示由深度传感器测量的距成像对象的距离。如后面将描述的，深度数据可以被识别单元150用于分割图像或者被生成单元160用于设置滤波器配置。

(2)识别单元

识别单元250将从图像获取单元120输入的fir图像、nir图像和可见光图像中的至少一个分割成多个部分区域。然后，识别单元250生成用于指定所分割的各个部分区域的区域信息，并且将所生成的区域信息输出到生成单元260。本文所描述的区域信息可以是指示每个区域的位置、大小和形状的信息，或者可以是位图，在该位图中，属于每个区域的像素的位值被表示为“1”，并且其他像素的位值被表示为“0”。区域信息可以包括关于每个区域的类型(生物体区域或者对象区域)或者标识(例如区域id)的信息。

例如，识别单元250在图像中识别其中拍摄了生物体的生物体区域。本文所述的生物体可以仅是人体，或者除人体以外可以包括动物体。识别单元250可以使用任意现有的人体识别技术(例如基于人体的已知图像特征值的技术)来识别可见光图像或者nir图像中的人体区域。识别单元250可以将fir图像中表示相对高的灰度值的区域识别为生物体区域。如果在图像中识别出一个或更多个生物体区域，则识别单元250生成用于指定所识别的生物体区域中的每个区域的生物体区域信息。识别单元250可以使用任意现有的对象识别技术来在图像中识别其中拍摄了预定对象的对象区域。本文描述的对象可以包括例如车辆、交通信号或者交通标志。在这种情况下，识别单元250生成用于指定图像中识别的每个对象区域的对象区域信息。识别单元250可以使用由数据获取单元230获取的深度数据来将某个生物体或对象与另一个生物体或对象(例如看起来是重叠的)区分开。

图16是示出由识别单元250执行的区域识别处理的示例的说明图。在图16的左侧示出了一个示例中的可见光图像im21。在可见光图像im21中拍摄了两个人和一个车辆。在图16的右侧示出了由识别单元250对可见光图像im21执行区域识别处理的结果。作为区域识别处理的结果，可见光图像im21被分割成四个区域r0、r11、r12和r2。区域r11和r12是其中每个区域拍摄了一个人的生物体区域。区域r2是其中拍摄了车辆的对象区域，并且与非生物体区域对应。区域r0是其中未拍摄到成像对象的非生物体区域。

(3)生成单元

生成单元260通过对包括fir图像、nir图像和可见光图像的像素的滤波器抽头进行滤波来生成彩色图像。更具体地，生成单元260以与根据第一实施方式的生成单元160相同的方式使用取决于由确定单元140确定的成像条件而不同的滤波器配置执行滤波以用于生成彩色图像。此外，生成单元260根据从识别单元250输入的区域信息来改变用于生成彩色图像的滤波器配置。在一个示例中，生成单元260可以使用与用于非生物体区域的滤波器配置不同的滤波器配置来对生物体区域执行滤波。此外，生成单元260可以使用进一步根据摄像机距生物体的距离而不同的滤波器配置来对生物体区域执行滤波。

图17a和图17b示出可以由生成单元260基于图16所示的区域识别处理的结果来针对每个区域设置的滤波器配置的示例。在图17a所示的第一示例中，已经将针对生物体区域的滤波器配置f11和针对非生物体区域的滤波器配置f12设置为与某一成像条件对应的滤波器配置。滤波器配置11被应用于区域r11和r12。滤波器配置f12被应用于区域r0和r1。例如，与针对非生物体区域的滤波器配置f12相比，针对生物体区域的滤波器配置f11具有用于进一步增强生物体的识别的滤波系数。在图17b所示的第二示例中，针对生物体区域r11的第一滤波器配置f21、针对生物体区域r12的第二滤波器配置f22、针对对象区域r2的滤波器配置f23以及针对非生物体区域r0的第四滤波器配置f24已经被设置为与某一成像条件对应的滤波器配置。例如，与其他滤波器配置相比，针对其中基于深度数据估计拍摄了较近的人体的生物体区域r11的第一滤波器配置f21可以具有用于进一步提高亮度或者饱和度的滤波器系数。这些滤波器配置随着成像条件的改变而变为不同的配置。在该实施方式中，可以通过针对成像条件与区域类型之间的每个组合(或者另外，针对距成像对象的距离的每个代表值)的学习处理来预先确定最佳滤波器配置。

例如，生成单元260根据从识别单元250输入的区域信息针对每个区域从数据库270获取与成像条件信息所指示的成像条件与区域类型的组合对应的滤波器配置数据。然后，在顺序地扫描从图像获取单元120输入的图像像素的同时，生成单元260通过使用由所获取的滤波器配置数据指示的滤波器配置重复滤波来生成彩色图像。

生成单元260可以在显示器110的屏幕上显示所生成的彩色图像。此外，生成单元260可以将生成的彩色图像输出到后面的阶段中的应用程序例如驾驶辅助应用程序。生成单元260可以将应用程序辅助信息输出到后面的阶段中的应用程序。例如，本文描述的应用程序辅助信息可以包括以下列表中的一个或更多个。

a)包括生物体区域信息和对象区域信息中的至少一个的区域信息

b)针对a)中的每个区域计算的似然信息

c)可以与生物体识别或者对象识别相关联地计算的图像特征值

d)可以与彩色图像的生成相关联地计算的颜色概率分布

例如，在夜间拍摄的fir图像中的每个区域的灰度值与在该区域中拍摄到生物体的似然性有强相关性。因此，可以通过给驾驶辅助应用程序提供提供b)通过使用fir图像生成的似然信息连同a)生物体区域信息来有助于提高处理例如驾驶辅助应用程序中的行人检测的准确。上述应用程序辅助信息可以重复使用，以避免在后面的阶段的应用程序中冗余地生成重叠信息(例如，图像的重新分割或者图像特征值的计算)。

(4)数据库

数据库270存储指示针对成像条件候选和区域类型的每个组合预先确定的滤波器配置的滤波器配置数据的多个集合。用于识别对应的成像条件和区域类型的成像条件信息与每个滤波器配置数据集合相关联。从摄像机到成像对象的距离的代表值可以进一步与每个滤波器配置数据集合相关联。数据库270可以存储可以被识别单元250在区域识别处理中利用的(人体、生物体或者对象的)图像特征值数据。

[3-2.处理流程]

图18是示出根据第二实施方式的彩色图像生成处理的流程的示例的流程图。通常针对形成运动图像的一系列帧中的每个重复图18所示的彩色图像生成处理。

首先，摄像机模块102在fir区域、nir区域和可见光区域中拍摄其中拍摄了成像对象的原始图像(步骤s100)。接下来，图像获取单元120根据需要对由摄像机模块102拍摄的原始图像进行预处理例如校准，并且获取fir图像、nir图像和可见光图像(步骤s105)。

接下来，数据获取单元230获取由图像处理装置200用以产生彩色图像的辅助数据(步骤s210)。这里获得的辅助数据除了用于确定成像条件的数据之外还可以包括深度数据。

接下来，例如，确定单元140使用从数据获取单元230输入的辅助数据来确定在摄像机模块102拍摄图像时的成像条件(步骤s120)。然后，确定单元140将指示所确定的成像条件的成像条件信息输出到生成单元260。

接下来，识别单元250通过检测在图像中拍摄的生物体来识别图像中的生物体区域(步骤s230)。接下来，生成单元260从数据库270获取与所确定的成像条件对应的针对生物体区域的滤波器配置数据，并且针对生物体区域设置由所获取的滤波器配置数据指示的滤波器配置(步骤s240)。如果图像中没有拍摄到生物体，则省略步骤s240。生成单元260从数据库270获取与所确定的成像条件对应的针对非生物体区域的滤波器配置，并且针对非生物体区域设置由所获取的滤波器配置数据指示的滤波器配置(步骤s245)。

然后，生成单元260通过使用所设置的(针对每个区域类型不同的)滤波器配置对从图像获取单元120输入的fir图像、nir图像和可见光图像进行滤波来生成彩色图像(步骤s250)。

接下来，如果在后面的阶段存在应用程序(步骤s260)，则生成单元260将所生成的彩色图像和应用程序辅助信息输出到应用程序(例如，驾驶辅助应用程序)(步骤s265)。然后，生成单元260(或者后面的阶段的应用程序)在显示器110的画面上显示彩色图像(步骤s170)。

主要描述了其中能够基于区域类型针对图像的每个部分区域切换滤波器配置的示例。然而，本公开内容不限于上述示例，并且例如可以针对每个像素切换滤波器配置。此外，可以基于其他任意信息来执行滤波器配置(针对每个部分区域和针对每个像素二者)的切换。例如，可以基于局部图像特征值例如fir图像、nir图像和可见光图像中的至少一个的边缘强度、频带或者活动性来适应性地选择滤波器配置。可以利用跨不同类型的图像的图像特征值，例如fir图像与nir图像之间的相关性。此外，可以使用上述成像条件和区域类型中的一者或两者与本文所述的图像特征值中的一个或更多个的组合。可以通过学习处理来确定或者可以由开发者建模或调节图像特征值与最佳滤波器配置之间的关联。

<4.应用示例>

根据本公开内容的技术可以应用于不同实施水平的各种产品。图19是示出根据本公开内容的技术的一些应用示例的说明图。图19所示的一个示例中的车辆1包括车载系统10。车载系统10具有图像处理系统20、应用程序模块30以及一个或更多个外围模块40。图像处理系统20包括摄像机模块102和连接到摄像机模块102的图像处理模块100或200。图像处理模块100或200可以由单个芯片(或者处理器)形成，或者可以是多个芯片的组。应用程序模块30经由接触端子和信号线连接到图像处理系统20。应用程序模块30接收由图像处理模块100或200生成的彩色图像，并且基于所接收的彩色图像执行应用程序。例如，应用程序模块30可以以cpu或者片上系统(soc)的形式实现。外围模块40例如包括显示器，并且由应用程序模块30处理的彩色图像被显示在显示器的屏幕上。

<5.结论>

上面参考图1至19详细描述了根据本公开内容的技术的各种实施方式。根据上述实施方式，通过获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像并且对包括所获取的远红外图像、近红外图像和可见光图像的像素的滤波器抽头进行滤波来生成彩色图像图像。通过这样的配置，可以通过利用远红外图像、近红外图像和可见光图像的各自特性来有效地提高所生成的彩色图像的图像质量。例如，远红外图像提供关于要更清楚地表达图像中哪个区域的信息，并且尤其有助于当生物体的可视性重要时强调生物体区域中的颜色。近红外图像有助于在较差环境光的情形下使成像对象的细节清楚。可见光图像直接提供彩色图像中的颜色信息。可以通过综合利用各种图像类型的特征来提供通过已有技术无法实现的具有高图像质量的彩色图像。

此外，根据上述实施方式，利用根据拍摄输入图像时的成像条件而不同的滤波器配置来执行滤波。因此，可以通过根据成像条件的变化例如时间转换和天气变化适应性地组合三种类型的图像而以更鲁棒的方式生成具有高图像质量的彩色图像。

此外，根据上述实施方式，以通过学习处理预先确定的滤波器配置来执行滤波。因此，即使在实时性重要时，也可以通过快速设置或者适应性地改变滤波器配置来在不引起显著的延迟的情况下稳定地生成具有高图像质量的彩色图像。

此外，根据某一实施方式，在输入图像的任何输入图像中识别其中拍摄了生物体的生物体区域，并且使用与用于非生物体区域的滤波器配置不同的滤波器配置来对生物体区域进行滤波。因此，可以在彩色图像中以强调的方式显示生物体，并且提高在后面的阶段的处理中识别生物体的可靠性，而不会使生物体隐藏在背景中。

此外，根据某一实施方式，使用取决于摄像机到成像对象的距离而不同的滤波器配置对其中拍摄了成像对象的区域执行滤波。因此，例如，为了驾驶辅助，可以在彩色图像中特别强调驾驶员要注意的对象，例如附近的行人或者障碍物。

由本说明书中描述的每个设备执行的一系列控制处理可以通过软件，硬件或者软件和硬件的组合来实现。构成这样的软件的程序可以预先存储在例如设置在每个装置内部或者外部的存储介质(非暂态介质)上。作为一个示例，在被计算机执行期间，这样的程序被写入随机存取存储器(ram)并且由处理器例如cpu来执行。

注意，在本说明书中参考流程图或序列图描述的处理不必按照流程图或序列图中示出的顺序执行。一些处理步骤可以并行执行。此外，可以采用一些附加步骤，或者可以省略一些处理步骤。

以上已经参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以发现在所附权利要求的范围内的各种变型和修改，并且应当理解，这些变型和修改将自然地落入本公开内容的技术范围内。

此外，本说明书中描述的效果仅仅是说明或者例示效果，并且不是限制性的。也就是说，与上述效果一起或者替代上述效果，根据本公开内容的技术可以实现本领域技术人员根据本说明书的描述清楚的其他效果。

另外，本技术也可以如下配置。

(1)一种图像处理装置，包括：

图像获取单元，其获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像；以及

生成单元，其通过对滤波器抽头进行滤波来生成彩色图像，所述滤波器抽头包括所述远红外图像、所述近红外图像和所述可见光图像的像素。

(2)根据(1)所述的图像处理装置，还包括：

确定单元，其确定所述远红外图像、所述近红外图像和所述可见光图像被拍摄时的成像条件，

其中，所述生成单元以滤波器配置来执行所述滤波，所述滤波器配置根据由所述确定单元确定的成像条件而不同。

(3)根据(2)所述的图像处理装置，

其中，所述生成单元以通过学习处理而预先确定的所述滤波器配置来执行所述滤波。

(4)根据(3)所述的图像处理装置，

其中，所述生成单元通过使用滤波器系数来执行所述滤波，所述滤波器系数是基于由所述确定单元确定的成像条件与学习时的成像条件之间的差异而调节的。

(5)根据(2)至(4)中任一项所述的图像处理装置，

其中，所述成像条件包括时段、天气和环境照度中的一个或更多个。

(6)根据(1)至(5)中任一项所述的图像处理装置，还包括：

识别单元，其在所述远红外图像、所述近红外图像和所述可见光图像中的至少之一中识别其中拍摄了生物体的生物体区域，

其中，所述生成单元以与用于非生物体区域的滤波器配置不同的滤波器配置对所述生物体区域执行所述滤波。

(7)根据(6)所述的图像处理装置，

其中，所述生成单元以根据摄像机到所述生物体的距离而不同的域的滤波器配置对所述生物体区域执行所述滤波。

(8)根据(6)或(7)所述的图像处理装置，

其中，所述识别单元生成指定所识别的生物体区域的生物体区域信息，并且

所述生成单元将所述生物体区域信息与所述彩色图像一起输出到之后的阶段的应用程序。

(9)根据(1)至(7)中任一项所述的图像处理装置，

其中，所述图像处理装置被安装在车辆中，并且

所述生成单元将所述彩色图像输出到驾驶辅助应用程序。

(10)一种图像处理方法，包括：

获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像；以及

通过对滤波器抽头进行滤波来生成彩色图像，所述滤波器抽头包括所述远红外图像、所述近红外图像和所述可见光图像的像素。

(11)一种程序，其使得控制图像处理装置的计算机作用为下述：

图像获取单元，其获取其中拍摄了共同成像对象的远红外图像、近红外图像和可见光图像；以及

生成单元，其通过对滤波器抽头进行滤波来生成彩色图像，所述滤波器抽头包括所述远红外图像、所述近红外图像和所述可见光图像的像素。

(12)一种图像处理系统，包括：

摄像机模块，其在远红外区域、近红外区域和可见光区域中拍摄成像对象，并且输出对应的远红外图像、近红外图像和可见光图像；以及

图像处理模块，其通过对滤波器抽头进行滤波来生成彩色图像，所述滤波器抽头包括所述远红外图像、所述近红外图像和所述可见光图像的像素。

(13)根据(12)所述的图像处理系统，

其中，所述图像处理系统被安装在车辆中，并且

所述图像处理系统还包括应用程序模块，所述应用程序模块基于由所述图像处理模块生成的所述彩色图像来执行应用程序。

附图标记列表

1车辆

10车载系统

20图像处理系统

30应用程序模块

40外围模块

100，200图像处理装置(图像处理模块)

102摄像机模块

110显示器

120图像获取单元

130，230数据获取单元

140确定单元

250识别单元

160，260生成单元

170，270数据库