图像处理装置、成像装置和图像处理方法与流程

1.本发明涉及图像处理装置、成像装置和图像处理方法。


背景技术：

2.近年来，由对近红外区域敏感的成像仪所捕获的近红外图像的使用增加。例如，用近红外波长的光照射诸如吲哚菁绿之类的静脉注射的荧光物质使得血管或淋巴管可视化，并且这在医疗应用和体内观察中是有用的。另外，根据所捕获图像的近红外波长与红外波长的比率来确定作为植被(vegetation)的存在/不存在或活性的指标的ndvi(归一化植被指数)对于作物的生长观察或远程感测是有用的。
3.已经开发出能够同时获取近红外图像和可见光图像的成像装置。例如，已知能够通过具有设置有可见光滤色器的像素以及设置有近红外滤色器的像素的成像仪同时获取近红外图像和可见光图像的成像装置，其中，这些像素布置在相同平面上。
4.日本专利申请公开no.2014
‑
165528公开了能够通过成像仪将近红外分量从可见光像素的输出信号分离的成像装置，该成像仪具有设置有对近红外光具有相等透射率的rgb滤色器和透明滤波器的像素的阵列。
5.日本专利申请公开no.2014
‑
165528取决于像素是否饱和来采用不同的颜色信号校正处理。


技术实现要素：

6.根据本公开的一个方面，提供了一种图像处理装置，该图像处理装置包括：输入单元，接收从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号；确定单元，确定近红外像素的输出信号是否高于阈值；检测器，检测饱和可见光像素；以及切换单元，基于确定单元的确定结果来切换要被施加到饱和可见光像素的饱和处理。
7.根据本公开的另一方面，提供了一种图像处理方法，该图像处理方法包括：输入步骤，输入从包括可见光像素和近红外像素的传感器输出的可见光像素的图像信号和近红外像素的图像信号；确定步骤，确定近红外像素的输出信号是否高于阈值；检测步骤，检测饱和可见光像素；以及切换步骤，基于确定步骤处的确定结果来切换要被施加到饱和可见光像素的饱和处理。
8.根据以下参考附图对示例性实施例的描述，本发明的其它特征将变得清楚。
附图说明
9.图1是根据第一实施例的图像处理装置的框图；
10.图2a和图2b是成像单元中的像素组件的例示性图；
11.图3是成像单元的特性的例示性图；
12.图4a是在可见光中获取的图像的例示性图，以及图4b是在近红外中获取的图像的
例示性图；
13.图5a至图5c是根据现有技术的白平衡处理的例示性图；
14.图6a至图6c是说明根据现有技术的饱和处理中的问题的例示性图；
15.图7是根据第一实施例的处理流程的例示性图；
16.图8a至图8c是根据第一实施例的信号处理的例示性图；
17.图9a至图9c是根据第一实施例的信号处理的例示性图；
18.图10是根据第二实施例的图像处理装置的框图；以及
19.图11是根据第二实施例的信号处理的例示性图。
具体实施方式
20.日本专利申请公开no.2014
‑
165528的成像装置基于包括可见光分量和近红外分量的重叠部分的信号来确定像素是否饱和。当发生饱和时，不能用该装置来确定可见光和近红外中的哪一个引起该饱和。因此，该装置导致的问题是，因为正确的颜色不能通过经校正的颜色信号再现，所以出现伪颜色(false coloring)。
21.本公开的目的是提供能够从包含饱和像素的图像获取具有较少的伪颜色的高质量图像的图像处理技术。
22.下文中，将参考附图来描述每个实施例的图像处理装置。
23.第一实施例
24.整体配置
25.图1是图示了根据本公开的一个实施例的图像处理装置的配置示例的图，其中，图像处理装置设置有成像单元。该实施例的图像处理装置也可以被理解为成像装置。在本公开的其它实施例中，图像处理装置可以仅由图像处理器构成，信号被从单独的成像单元输入到图像处理器。
26.图1中图示的图像处理装置100由成像单元101和图像处理器104构成。
27.成像单元101包括多个像素。在该实施例中，成像单元101包括设置有对近红外光最敏感的滤色器的近红外像素组件102以及设置有对可见光最敏感的滤色器的可见光像素组件103。如随后将描述的，成像单元101具有以两列两行排列的红色像素、绿色像素、蓝色像素和近红外像素的多个像素组。尽管这里假定成像仪是cmos图像传感器，但它也可以是ccd图像传感器。这里，可见光像素组件103对近红外光谱范围的敏感度等于近红外像素组件102对近红外光谱范围的敏感度。
28.图像处理器104包括近红外图像信号输入单元105、可见光图像信号输入单元106、近红外分量减去单元109和白平衡处理单元110。图像处理器104还包括近红外电平确定单元107、饱和像素检测单元108、第一饱和处理单元111、第二饱和处理单元112、饱和处理切换单元113和饱和处理应用单元114作为用于饱和处理的功能单元。这些单元可以通过诸如asic之类的专用硬件电路来实现，或者可以通过诸如执行程序的cpu之类的通用处理器来实现。
29.近红外图像信号输入单元105从成像单元101的近红外像素组件102接收图像信号的输入。可见光图像信号输入单元106从成像单元101的可见光像素组件103接收图像信号的输入。在下文中，输入到输入单元105和106的图像信号也应当分别被称为近红外信号和
可见光信号。
30.近红外电平确定单元107确定近红外图像的信号电平。具体地，近红外电平确定单元107确定每个近红外像素的输出信号的电平是否高于电平确定阈值。近红外电平确定单元107的确定结果被输入到饱和处理切换单元113。电平确定阈值可以被设定为使得如果近红外电平低于阈值，则可见光像素中出现的饱和可以被归因于可见光分量。例如，电平确定阈值可以是成像单元101的最大输出电平(饱和电平)的一半的值。
31.饱和像素检测单元108从可见光图像信号检测饱和可见光像素(饱和像素)。饱和像素检测单元108的检测结果被输入到饱和处理应用单元114。
32.近红外分量减去单元109从可见光像素的输出信号减去该可见光像素附近的近红外像素的输出值。通过减去处理，获得去除了近红外分量的各个颜色
‑
即红色(r)、绿色(g)和蓝色(b)的可见光分量。可见光像素附近的近红外像素可以是例如与可见光像素相同的像素组内的近红外像素。近红外分量减去单元109可以从可见光像素的输出信号减去基于可见光像素的多个邻近的近红外像素的输出值的值(例如，平均值)。
33.白平衡处理单元110在减去近红外信号之后处理可见光信号，从而调整各个颜色分量的值，以实现允许白色物体根据光源显现为自然白色的颜色比例。具体地，白平衡处理单元110执行将可见光像素的图像信号中所包含的每个颜色的像素值乘以与颜色对应的增益的白平衡处理。针对各个颜色的增益是预定的。
34.第一饱和处理单元111对白平衡处理之后的可见光图像信号施加第一饱和处理。第一饱和处理例如是限幅(clipping)操作。具体地，第一饱和处理单元111将各个颜色的饱和可见光像素的像素值替换为预定值。预定值是白色电平值，并可以基于与被处理的像素相同的像素组内的一个颜色(例如，绿色)的可见光像素的像素值来确定，或者可以是预设值。
35.第二饱和处理单元112对白平衡处理之后的可见光图像信号施加第二饱和处理。第二饱和处理是基于饱和可见光像素周围的可见光像素的像素值来确定饱和可见光像素的像素值的处理。第二饱和处理的具体示例是将饱和像素的像素值替换为通过饱和可见光像素周围的多个可见光像素的插值而获得的像素值的处理。可以通过仅参考饱和像素周围的可见光像素中的不饱和像素来确定替换像素值。
36.饱和处理切换单元113基于近红外电平确定单元107的确定结果来选择要被施加到饱和可见光像素的第一饱和处理或第二饱和处理。具体地，如果饱和像素附近的近红外像素的输出信号低于电平确定阈值，则饱和处理切换单元113选择第一饱和处理，而如果输出信号高于电平确定阈值，则饱和处理切换单元113选择第二饱和处理。
37.饱和处理施加单元114将由饱和处理切换单元113选择的饱和处理施加到饱和可见光像素，同时按原样输出在白平衡处理之后的不饱和可见光像素的图像信号。来自饱和处理施加单元114的输出信号被输出到未示出的其它图像处理器、图像输出单元、图像记录单元、显示单元等，以用于后阶段的操作。
38.成像仪
39.图2a和图2b是从第一实施例的成像单元101输入的图像信息的例示性图。
40.图2b是常规的(常见的)可见光彩色成像仪211的示意图。彩色成像仪211具有分别设置有红色(r)、绿色(g)和蓝色(b)滤波器并以拜耳图案布置的像素212r、212g和212b。
41.图2a是能够获取可见光的图像信号和近红外光的图像信号这两者并且在该实施例中能采用的成像仪203的示意图。除了分别设置有红色(r)、绿色(g)和蓝色(b)滤波器的像素204r、204g和204b之外，成像仪203还包括设置有近红外滤波器的像素204ir。
42.近红外光的图像信号被从由成像仪203获得的图像信号中分离出，并被从可见光像素的图像信号减去，使得生成仅由红色(r)、绿色(g)和蓝色(b)构成的图像205、206和207。从近红外像素204ir获得仅由近红外分量构成的图像208。
43.成像仪203包括以两列两行排列的第一可见光像素204r、第二可见光像素204g、第三可见光像素204b和近红外像素204ir的多个像素组。像素组中的每个像素的布置可以不同于图2a中示出的配置。一个像素组可以包含与相同颜色对应的多个像素。
44.图3示出了设置有可见光滤色器和近红外滤色器的各个像素的量子效率(敏感度)的示意图。曲线301、302、303和304分别表示蓝色(b)像素204b、绿色(g)像素204g、红色(r)像素204r和近红外(ir)像素204ir的量子效率(敏感度)。
45.附图标记305表示由插入在成像仪203与透镜之间的带阻滤波器去除的波段。该带阻滤波器去除红色至近红外波段。如图3中所示，红色(r)、绿色(g)和蓝色(b)像素的量子效率在至少预定阈值λ2的近红外中是匹配的。带阻滤波器去除各个颜色像素的量子效率不同的近红外范围内的波长，使得这些波长不进入可见光像素和近红外像素。具体地，带阻滤波器去除从λ1至以上提到的波长λ2的范围内的波长，λ1是近红外像素的敏感度谱中的最短波长。通过采用这种带阻滤波器，可以使各个颜色的可见光图像信号中所包含的近红外分量等于近红外图像信号中所包含的近红外分量304。因此，可以通过从来自各个可见光像素的输出信号减去近红外分量304来仅获取各个可见光分量。
46.像素饱和的影响
47.参考图4a至图6c说明在可见光图像中发生饱和时的问题。使用利用成像仪203捕获苹果的图像的示例给出说明，成像仪203包括参考图2a描述的可见光像素和近红外像素。
48.图4a示出了由可见光像素的红色(r)像素204r获取的图像。由于红苹果的果实表面401a包含许多红色分量，因此获得了高输出信号，使得图像亮。另一方面，绿叶部分402a包含很少的红色分量，使得输出信号低并且图像暗。在图4a和图4b中，附图的明暗表示输出信号的大小，即，越白，像素值越高(越亮)，而越黑，像素值越低(越暗)。
49.图4b示出了由近红外像素204ir获取的图像。由于果实表面401b和绿叶部分402b二者反射了大量近红外光，因此从这两个部分获得高输出信号，使得图像亮。
50.当物体(苹果)的右上方侧存在可见光照明源(未示出)时，该照明可以在图4a中的可见光图像的苹果表面的右上方创建光反射点403a，其中像素变得饱和。然而，如果照明光是来自led源等并且不包含近红外光，则由可见光照明导致的饱和的影响没有出现在图4b中的由近红外像素获取的图像的点403b处。
51.另一方面，当存在用于获得近红外图像的位于物体(苹果)左下方侧的近红外照明源(未示出)时，由于近红外照明的影响而引起的明亮像素出现在图4b中的由近红外像素获取的图像的苹果表面的左下方的点404b处。另外，由于可见光像素对近红外波长也具有敏感度，因此由近红外分量导致的影响404a也出现在可见光图像的苹果表面的左下方。如上所述，存在以下情况：像素没有通过仅近红外光或可见光中的任一个而变得饱和，而是通过进入可见光像素的近红外分量和可见光分量二者的组合而变得饱和。
52.下面，参考图5a至图6c说明在这种情况下的饱和处理。
53.图5a是示出了从图2中示出的像素获得的与图4a和图4b中的点a对应的像素(不饱和像素)的输出电平的示意图。水平轴表示红色(r)、绿色(g)、蓝色(b)和近红外(ir)像素，并且垂直轴表示像素分量的输出信号电平。附图中的附图标记501表示16位信号处理的满刻度电平(65535lsb)，502表示成像仪的像素饱和电平，并且503表示点a附近的近红外像素的输出信号电平。附图标记504、505和506分别表示红色(r)、绿色(g)和蓝色(b)像素的输出。由于点a在苹果的果实表面上，因此可见光的红色分量的电平高。如已参考图3说明的，红色(r)、绿色(g)和蓝色(b)的可见光图像信号各自包括与每个可见光分量重叠的近红外分量，并且每个颜色的近红外分量通常接近于通过邻近的近红外像素获得的近红外分量的量。
54.图5b示出了通过从图5a中的像素的各个信号分量减去邻近的近红外像素的近红外分量而获得的信号电平的示意图。附图标记604、605和606表示通过从红色(r)、绿色(g)和蓝色(b)的各个可见光图像信号504、505和506减去邻近的近红外像素的近红外分量503而获得的值。
55.图5c示出了在白平衡处理之后的信号电平的示意图。在这里示出的示例中，图5b的各个颜色的信号被乘以白平衡系数，使得红色(r)、绿色(g)和蓝色(b)分别被乘以1.5倍、1倍和2倍，以便根据捕获图像时使用的照明使白色显现得自然。附图标记704、705和706表示通过在减去近红外分量之后将红色(r)、绿色(g)和蓝色(b)的可见光图像信号604、605和606乘以白平衡系数而获得的值。
56.如图5c中所示，针对不饱和像素正确地保留颜色信息。然而，当针对饱和像素执行相同的处理时出现问题。以下，参考图6a至图6c说明该问题。
57.图6a是示出了通过图2中示出的像素获得的与图4a和图4b中的点b对应的像素(饱和像素)的输出电平的示意图。水平轴表示红色(r)、绿色(g)、蓝色(b)和近红外(ir)像素，并且垂直轴表示像素分量的输出信号电平。附图中的附图标记501表示16位信号处理的满刻度电平(65535lsb)，502表示成像仪的像素饱和电平，并且503表示近红外像素的输出信号电平。
58.附图标记804和805分别表示如果像素不饱和则红色(r)和绿色(g)像素的期望输出，并且806表示蓝色(b)像素的输出。由于输出804和805超过像素饱和电平502，因此红色(r)和绿色(g)像素的实际输出电平变得等于饱和电平502。
59.图6b是通过从图6a中的像素的各个信号分量减去邻近的近红外像素的近红外分量而获得的信号电平的与图5b类似的示意图。附图标记904、905和906表示通过从红色(r)、绿色(g)和蓝色(b)的各个可见光图像信号减去邻近的近红外像素的近红外分量503而获得的值。
60.与图5c类似地，图6c示出了在白平衡处理之后的信号电平的示意图。白平衡处理的内容与上述的内容相同。在这里示出的示例中，图6b的各个颜色的信号被乘以白平衡系数，使得红色(r)、绿色(g)和蓝色(b)分别被乘以1.5倍、1倍和2倍。通过将颜色信号904、905和906分别乘以1.5倍、1倍和2倍，获得被表示为1004、1005和1006的白平衡处理之后的信号。
61.被表示为1007和1008的虚线表示在像素不饱和时与图6a的804和805对应的白平
衡处理之后的期望输出。
62.如所示出的，因为像素饱和，所以应该具有由输出1007、1008和1006指示的颜色平衡的信号输出实际上结果为由输出1004、1005和1006指示的不同的颜色平衡。在图6c中示出的示例的情况下，饱和导致接近紫色的颜色，而不是在不饱和时应该显现的白色。如以上证实的，饱和可能导致伪颜色和色噪声，并使图像质量恶化。
63.本实施例的目的是抑制由像素饱和导致的这种伪颜色和色噪声，并实现允许获取良好的可见光图像和近红外图像的图像处理装置。
64.图像处理操作
65.现在，参考图1并使用图7至图9描述第一实施例中的操作。图7是第一实施例中的用于从可见光像素的输出信号生成彩色图像信号的流程图。图8和图9是示出了要被用于说明操作的信号电平的例示性图。
66.从可见光像素的输出信号生成彩色图像信号的流程在步骤s1101处开始。该处理可以在任何时刻开始，例如，在成像仪203获得了可见光像素和近红外像素的图像信号之后立即就开始。
67.在步骤s1102处，近红外图像信号输入单元105获取近红外像素的像素信号值，并且可见光图像信号输入单元106获取可见光像素的像素信号值。
68.在步骤s1103处，近红外分量减去单元109从可见光图像信号的每个像素值减去邻近的近红外像素的像素值。此后，在步骤s1104处，白平衡处理单元110执行将每个颜色的信号乘以白平衡系数的白平衡处理。
69.同时，在步骤s1105处，饱和像素检测单元108将减去近红外光之前的可见光像素的输出信号与饱和确定阈值进行比较，以确定像素是否饱和。
70.在步骤s1106处，根据可见光像素的输出值是否大于饱和确定阈值来选择处理。针对每个像素确定该处理选择。如果可见光像素的输出值不大于饱和确定阈值，即，如果像素不饱和(s1106：否)，则处理前进到步骤s1107，其中，饱和处理施加单元114在不施加饱和处理的情况下，按原样输出在白平衡处理之后的可见光像素的输出信号。
71.另一方面，如果在步骤s1106处，可见光像素的输出值大于饱和确定阈值，即，如果像素饱和(s1106：是)，则处理前进到步骤s1110。
72.在步骤s1109处，近红外电平确定单元107确定可见光像素的邻近的近红外图像信号的电平，即，将其与电平确定阈值进行比较。基于电平确定结果的控制信号被输入到饱和处理切换单元113。
73.在步骤s1110处，饱和处理切换单元113根据步骤s1109处的确定结果来选择饱和处理。如果ir像素信号处于低电平
‑
即，不大于电平确定阈值，则饱和处理切换单元113选择由第一饱和处理单元111执行的第一饱和处理(限幅)。另一方面，如果ir像素信号处于高电平
‑
即，大于电平确定阈值，则选择由第二饱和处理单元112进行的第二饱和处理(插值)。
74.下面说明在步骤s1111处由第一饱和处理单元111执行的第一饱和处理(限幅)。在步骤s1111处，第一饱和处理单元111将r和b电平限幅到相同电平，以便匹配可见光像素信号中的g的像素值，从而将颜色转换成白色。当近红外光的电平低时，有可能因可见光而导致饱和，在这种情况下，优选的是限幅到白色电平以消除该颜色。
75.图8a是示出了当在发生饱和时近红外电平不大于阈值时在步骤s1102处获得的图
像信号的电平的示意图。水平轴表示红色(r)、绿色(g)、蓝色(b)和近红外(ir)像素，并且垂直轴表示像素分量的输出信号电平。
76.附图标记1208表示用于确定近红外电平的电平确定阈值。在图8a的示例中，近红外像素的输出信号电平1207低于该电平确定阈值电平1208。
77.附图标记1204和1205分别表示如果像素不饱和则红色(r)和绿色(g)像素的期望输出，并且1206表示蓝色(b)像素的输出。由于输出1204和1205超过像素饱和电平502，因此红色(r)和绿色(g)像素的实际输出电平变得等于饱和电平502。
78.图8b是通过从图8a中的各个像素的信号分量减去邻近的近红外像素的近红外分量而获得的
‑
即，在步骤s1103处的处理之后的信号电平的示意图。附图标记1304、1305和1306表示通过从红色(r)、绿色(g)和蓝色(b)的各个颜色的可见光图像信号减去邻近的近红外像素的近红外分量1207而获得的值。
79.图8c示出了与图6c类似地施加了白平衡处理之后的信号电平和限幅处理之后的信号电平的示意图。在步骤s1104处的白平衡处理中，图8b中的各个颜色
‑
红色(r)、绿色(g)和蓝色(b)的信号被乘以白平衡系数，例如，分别乘以1.5倍、1倍和2倍。被表示为1404、1405和1406的虚线表示白平衡处理之后的信号电平。在该示例中，绿色(g)的白平衡系数为1，使得输出1305等于输出1405。
80.白平衡处理之后的图像由于颜色像素的变化的电平而具有不同的颜色。由于来自像素的输出饱和，因此原始颜色信息丢失，使得白平衡处理之后的颜色有可能是伪颜色。由于像素的近红外分量低于阈值，因此不大可能饱和是由高强度的近红外光导致的，即，有可能饱和是由可见光导致的。因此，可以确定更合适的是通过限幅处理使该像素饱和以显现白色而非赋予该像素颜色。在步骤s1111处的限幅操作(第一饱和处理)中，如图8c中所示，白平衡处理之后的该像素的颜色信号当中的具有最低信号电平的绿色被确定为限幅电平1309，并且红色和蓝色的信号电平被限幅到该电平。
81.如上所述，在该实施例中，当存在像素饱和(s1106：是)并且近红外光的电平低(s1110：否)时，选择并施加由第一饱和处理单元111进行的限幅操作。因此，目标像素被替换为没有颜色的白色图像信息。
82.接下来，说明在步骤s1112处由第二饱和处理单元112执行的第二饱和处理(插值)。第二饱和处理单元112从饱和像素周围的像素生成插值信号，并用其替换饱和像素的信号。这是因为很有可能由于近红外分量而发生饱和，并且原始可见光的大部分像素信号因为饱和而丢失。饱和像素周围的像素可以被限定为距饱和像素的预定距离内(例如，三个像素内)的像素，或者被限定为从饱和像素起预定数量的像素。
83.图9a是示出了当发生饱和并且近红外电平大于阈值时在步骤s1102处获得的像素信号的电平的示意图。水平轴表示红色(r)、绿色(g)、蓝色(b)和近红外(ir)像素，并且垂直轴表示像素分量的输出信号电平。
84.附图标记1208表示用于确定近红外电平的电平确定阈值。在图9a的示例中，近红外像素的输出信号电平1507高于该确定阈值电平1208。
85.附图标记1504和1505分别表示如果像素不饱和则红色(r)和绿色(g)像素的期望输出，并且1506表示蓝色(b)像素的输出。由于输出1504和1505超过成像仪的像素饱和电平502，因此红色(r)和绿色(g)像素的实际输出电平变得等于饱和电平502。
86.图9b示出了通过从图9a的各个像素的信号分量减去邻近的近红外像素的近红外分量而获得的
‑
即，在步骤s1103处的处理之后的信号电平的示意图。附图标记1604、1605和1606表示通过从红色(r)、绿色(g)和蓝色(b)的各个颜色的可见光图像信号减去邻近的近红外像素的近红外分量1507而获得的值。
87.图9c示出了与图6c类似地施加了白平衡处理之后的信号电平和插值之后的信号电平的示意图。在步骤s1104处的白平衡处理中，图9b中的各个颜色
‑
红色(r)、绿色(g)和蓝色(b)的信号被乘以白平衡系数，例如，分别乘以1.5倍、1倍和2倍。被表示为1704、1705和1706的虚线表示白平衡处理之后的信号电平。在该示例中，绿色(g)的白平衡系数为1，使得输出1605等于输出1705。
88.白平衡处理之后的图像由于颜色像素的变化的电平而具有不同的颜色。由于来自像素的输出饱和，因此原始颜色信息丢失，使得白平衡处理之后的颜色有可能是伪颜色。由于像素的近红外分量高于阈值，因此有可能饱和是由高强度的近红外光导致的，并且可见光信息大部分丢失。因此，可以确定不应该采用这些像素组件的颜色信息。由于饱和不是由高强度的可见光导致的，因此通过限幅处理使像素饱和以显现白色也是不合适的。在步骤s1112处的插值处理(第二饱和处理)中，像素的颜色信息被替换为通过多个相同颜色的邻近的不饱和像素的信息的插值而获得的颜色信息。附图标记1707、1708和1709表示通过步骤s1112处的插值处理替换的红色(r)、绿色(g)和蓝色(b)像素的对应的图像信号。
89.如上所述，在该实施例中，当存在像素饱和(s1106：是)并且近红外光的电平高(s1110：是)时，选择并施加由第二饱和处理单元112进行的插值处理。当近红外分量高于阈值时，有可能可见光不导致像素饱和。因此，可以通过使用与周围颜色匹配的颜色而不是通过限幅处理消除颜色信息以将颜色替换为白色来获得更合适的图像信号。
90.如上所述，根据近红外光的电平选择饱和处理，以抑制伪颜色并实现同时获取高质量的可见光图像和近红外图像。
91.第二实施例
92.整体配置
93.图10图示了根据第二实施例的图像处理装置1800的配置示例。与第一实施例类似地，图像处理装置1800配置有成像单元101和图像处理器1804。在下面的描述中，与第一实施例的元件类似的元件被赋予相同的附图标记，并不再进行描述。
94.图像处理器1804与第一实施例的图像处理器的不同之处在于，它包括饱和像素标志设定单元1808来替代饱和像素检测单元108，并且它另外还包括周围像素信息获取单元1816和饱和像素标志检测单元1815。第二饱和处理单元1812和饱和处理施加单元1817的处理内容也与第一实施例中的第二饱和处理单元112和饱和处理施加单元114的处理内容不同。
95.饱和像素标志设定单元1808执行从输入到可见光图像信号输入单元106的可见光图像信号检测饱和像素的处理，并且当它检测到饱和像素时，对可见光图像信号设定指示该像素饱和的饱和标志。周围像素信息获取单元1816从目标像素(饱和像素)周围的像素获取颜色信息，并将其输出到第二饱和处理单元1812。稍后将详细描述第二饱和处理单元1812。饱和像素标志检测单元1815基于饱和像素标志来确定目标像素是否饱和，并将检测结果输出到饱和处理施加单元1817。如果像素饱和，则饱和处理施加单元1817施加由饱和
处理切换单元113选择的饱和处理，而如果像素不饱和，则按原样输出在白平衡处理之后的可见光图像的像素值。
96.图像处理操作
97.参考图10和图11描述根据第二实施例的操作。图11是第二实施例中的用于从可见光像素的输出信号生成彩色图像信号的流程图。
98.用于从可见光像素的输出信号生成彩色图像信号的流程在步骤s1901处开始。该处理可以在任何时刻开始，例如，在成像仪203获得可见光像素和近红外像素的图像信号之后立即就开始。
99.在步骤s1902处，近红外图像信号输入单元105获取近红外像素的像素信号值，并且可见光图像信号输入单元106获取可见光像素的像素信号值。
100.在步骤s1903处，饱和像素标志设定单元1808将减去近红外光之前的可见光像素的输出信号与饱和确定阈值进行比较，以确定像素是否饱和。如果可见光像素的输出信号高于饱和确定阈值，即，如果确定像素饱和(s1904：是)，则处理前进到步骤s1905，其中饱和像素标志设定单元1808将1设定为该像素的饱和标志。另一方面，如果可见光像素的输出值不大于饱和确定阈值，即，如果确定像素不饱和(s1904：否)，则处理前进到步骤s1906，其中饱和像素标志设定单元1808将0设定为该像素的饱和标志。这里，虽然饱和标志的1和0分别表示饱和以及不饱和，但任何值可以被设定为标志。
101.在步骤s1907处，近红外分量减去单元109从可见光图像信号的每个像素值减去从邻近的近红外像素获得的近红外图像信号。此后，在步骤s1908处，白平衡处理单元110执行将每个颜色的信号乘以白平衡系数的白平衡处理。
102.在步骤s1909处，根据可见光像素的饱和标志是否为1
‑
即，可见光像素是否饱和来选择处理。针对每个像素确定该处理选择。如果饱和标志为0，即，如果像素不饱和(s1909：否)，则处理前进到步骤s1910，其中饱和处理施加单元114在不施加饱和处理的情况下，按原样输出在白平衡处理之后的可见光像素的输出信号。
103.另一方面，如果在步骤s1909处饱和标志为1，即，如果像素饱和(s1909：是)，则处理前进到步骤s1912。在步骤s1912处，近红外电平确定单元107确定可见光像素的邻近的近红外像素的近红外图像信号的电平，即，将其与电平确定阈值进行比较。基于电平确定结果的控制信号被输入到饱和处理切换单元113。在步骤s1913处，饱和处理切换单元113根据步骤s1912处的确定结果来选择饱和处理。如果ir像素信号处于低电平
‑
即，不大于确定阈值，则饱和处理切换单元113选择由第一饱和处理单元111执行的第一饱和处理(限幅)。另一方面，如果ir像素信号处于高电平
‑
即，大于确定阈值，则选择由第二饱和处理单元1812进行的第二饱和处理(颜色插值)。
104.步骤s1914处的由第一饱和处理单元111执行的第一饱和处理(限幅)与第一实施例的第一饱和处理相同。即，第一饱和处理单元111将r和b电平限幅到相同电平，以便匹配可见光像素信号中的g的像素值，从而将颜色转换成白色。
105.现在，说明在步骤s1915处的由第二饱和处理单元1812执行的第二饱和处理(颜色插值)。第二饱和处理单元1812检测由周围像素信息获取单元1816获取的目标像素(饱和像素)周围的不饱和像素的色度，以生成校正信息，并校正饱和像素的像素值。校正处理可以是校正饱和像素的像素值以实现与周围不饱和像素的色度相同的色度的处理。当饱和像素
附近的近红外分量处于高电平时，有可能饱和是由近红外分量导致的。在这种情况下，更合适的是根据周围的不饱和像素的颜色信息来校正颜色，而不是通过限幅处理使像素饱和以使其显现白色。
106.如上所述，根据近红外光的电平选择饱和处理，以抑制伪颜色并实现同时获取高质量的可见光图像和近红外图像。
107.本实施例与第一实施例的不同之处主要在于第二饱和处理的内容以及将饱和像素的检测结果发送到饱和处理施加单元114的方法。这些修改不需要以这种组合应用于第一实施例。这些处理中的一个可以与第一实施例的处理相同。
108.其它实施例
109.要被施加的饱和处理的内容不限于在第一实施例和第二实施例中描述的处理。当近红外光的电平高时施加的第二饱和处理可以不同于上述处理，只要该处理基于饱和像素的邻近像素的像素值确定饱和像素的像素值即可。例如，饱和像素的颜色信息可以使用预配置的数据库从饱和像素周围的像素的像素值估计，并且被替换为该估计的颜色信息。可替换地，饱和像素的颜色信息可以被替换为通过在机器学习模型中输入饱和像素周围的像素的像素值而获得的颜色信息，该机器学习模型被设计为从周围像素的像素值估计中心像素的颜色信息。
110.尽管在上述实施例中使用近红外分量减去单元109从可见光像素的输出信号减去红外像素的输出信号，但可以省略该处理。在这种情况下，也可以通过根据近红外分量和可见光分量中的哪一个导致饱和来切换饱和处理来抑制伪颜色。
111.本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，以及通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(诸如紧凑盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)
tm
)、闪存设备、存储卡等中的一个或多个。
112.其它实施例
113.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
114.本公开允许从包含饱和像素的图像中获取具有较少伪颜色的高质量图像。
115.虽然已经参考示例性实施例描述了本发明，但要理解，本发明不限于所公开的示例性实施例。随附权利要求书的范围应被赋予最宽泛的解释，以包含所有这样的修改以及
等同的结构和功能。