信息处理装置、信息处理方法、控制装置及图像处理装置与流程

本技术涉及信息处理装置、信息处理方法、控制装置及图像处理装置，并且使得能够高精度地检测透射率。

背景技术：

常规地，例如，非专利文献1中描述的方法已被公知为用于根据其中由于诸如雾或灰尘的雾霾(haze)而损害了可见性的捕获图像测量透射率的方法。在非专利文献1中，使用局部区域中的称为暗通道的r、g和b的最小值来估计雾霾的密度，并且根据所估计的雾霾的密度来计算透射率。此外，在专利文献2中，通过将每个像素中的暗通道和局部区域中的暗通道中的较小者设置为最终暗通道来计算透射率。

引文列表

专利文献

专利文献1：日本专利申请特开第2013-058203号

非专利文献

非专利文献1：kaiminghe,jiansun,xiaooutang,“singleimagehazeremovalusingdarkchannelprior",computervisionandpatternrecognition,2009.cvpr2009.ieeeconferenceon,pp.1956-1963,2009。

技术实现要素：

本发明要解决的问题

顺便提及，在使用暗通道(暗通道先验(darkchannelprior))估计透射率的方法中的每种方法中，假设捕获图像的三个原色通道中的至少一个颜色通道具有较低的强度，并且最暗颜色通道(暗通道)的像素值被认为是透射率的反转值(invertedvalue)。因此，不可能准确地测量捕获图像中的白色或浅灰色被摄体区域中的透射率。

因此，本技术的目的是提供使得能够高精度地检测透射率的信息处理装置、信息处理方法、控制装置以及图像处理装置。

问题的解决方案

该技术的第一个方面是：

一种信息处理装置，包括：

透射率检测单元，其使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率。

在该技术中，基于捕获图像的整体或预定部分的对数平均值和由深度信息指示的深度的平均值来计算成像时的大气散射系数，其中，使用根据捕获图像估计的透射率来计算所述对数平均值。此外，基于所计算的大气散射系数和深度信息来检测雾霾的透射率。替选地，可以执行将由深度信息指示的深度中的每个深度的灰度转换为根据捕获图像估计的透射率的灰度的处理，并且例如，可以使通过归一化由深度信息指示的深度而获得的直方图与所估计的透射率的直方图相对应，并且可以将灰度转换后的深度用作为雾霾的透射率。注意，区域是连续地或以预定像素间隔设置的一个像素或多个像素的区域。

该技术的第二个方面是：

一种信息处理方法，包括：

使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率。

该技术的第三个方面是：

一种控制装置，包括：

透射率检测单元，其使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率；以及

操作控制单元，其基于由透射率检测单元检测到的透射率来执行操作控制。

在该技术中，使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率，并且基于该透射率来执行操作控制，例如灯驱动控制。在灯驱动控制中，例如，对于雾灯，基于所检测到的透射率来执行照明控制和光量控制，并且基于每个区域的透射率来执行对光的照射方向或照射角度中的至少任一个的控制。此外，在基于所检测到的透射率的操作控制中，执行将所检测到的透射率输出到外部的控制。此外，在操作控制中，基于所检测到的每个区域的透射率来控制移动操作。

该技术的第四个方面是：

一种图像处理装置，包括：

透射率检测单元，其使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率；以及

雾霾去除处理单元，其基于由透射率检测单元检测到的透射率来生成从捕获图像中去除了雾霾的图像。

在该技术中，通过根据捕获图像成像时的雾霾的透射率的倒数来调节对比度来生成去除了雾霾的图像，其中，使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测雾霾的透射率。替选地，使用捕获图像和所检测到的透射率、基于透射率模型来生成去除了雾霾的图像。

本发明的效果

根据该技术，使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率。因此，可以高精度地检测透射率。注意，本说明书中描述的效果是说明性的而不是限制性的，并且可以具有附加效果。

附图说明

图1是示出透射率的模型的图。

图2是示出信息处理装置的配置的图。

图3是示出灰度处理的图。

图4是示出控制装置的配置的图。

图5是示出车辆控制系统的示意性配置的示例的框图。

图6是示出车外信息检测单元和成像单元的安装位置的一个示例的说明图。

图7是示出图像处理装置的配置的图。

具体实施方式

在下文中，将描述用于实现本技术的实施方式。注意，将按以下顺序给出描述。

1.关于透射率

2.信息处理装置的配置和操作

3.控制装置的配置和操作

4.图像处理装置的配置和操作

<1.关于透射率>

在由成像装置获取的图像的像素位置x处，如果场景辐射(未被雾霾影响的被摄体的原始颜色)为j(x)，由雾霾散布的环境光(大气散射光)为a，并且雾霾的透射率为t(x)，则已知可以使用表达式(1)来计算由成像装置获取的图像的像素值i(x)。注意，图1示出了透射率的模型。

i(x)＝t(x)j(x)+(1-t(x))a…(1)

此外，可以使用从成像装置到被摄体的距离(深度)d(x)和大气散射系数β、通过表达式(2)来表示透射率t(x)。

t(x)＝exp(-βd(x))…(2)

<2.信息处理装置的配置和操作>

图2示出了本技术的信息处理装置的配置。信息处理装置10具有透射率估计单元11和透射率检测单元12。透射率估计单元11根据由成像装置获取的捕获图像来针对每个区域估计透射率。透射率检测单元12使用由透射率估计单元11估计的透射率和每个区域的深度信息来检测捕获图像成像时的每个区域的雾霾的透射率。所述区域是连续地或以预定像素间隔设置的一个像素或多个像素的区域，并且获得与透射率被估计的区域相对应的深度信息，或者获得与深度信息被获取的区域相对应的透射率。注意，在以下描述中，假设针对每个像素执行对透射率的估计和对深度信息的获取。

透射率估计单元11使用非专利文献1中描述的方法(在下文中，称为“暗通道处理”)来针对每个像素估计透射率。此外，透射率估计单元11可以使用另外周知的方法例如在文献“r.fattal,“singleimagedehazing,”acmtransactionsongraphics,2008”和文献“r.t.tan,“visibilityinbadweatherfromasingleimage,”cvpr2008”中描述的方法来估计透射率。

在下文中，将描述在使用作为非专利文献1中描述的方法的暗通道处理生成透射率图的情况下的操作。在暗通道处理中，假设三个原色通道中的至少一个颜色通道具有较低的强度，并且如表达式(3)所表示地定义暗通道。注意，在表达式(3)中，c指示rgb颜色分量中的任一个，ω(x)指示以像素位置x为中心的局部区域，并且y指示局部区域中的坐标。

[数学式1]

这里，在暗通道处理中，如果具有最低强度的颜色通道的像素值为暗通道，并且如表达式(4)所表示地将暗通道中的场景辐射设置为“0”，则可以基于表达式(5)来估计像素位置x处的透射率。注意，上面加上“～(波浪号)”的t也被称为“t～”。

[数学式2]

j^dark(x)＝minc(miny∈ω(x)(j^c(y)))…(4)

透射率估计单元11根据由成像装置获取的捕获图像(例如，由红色分量r的图像、绿色分量g的图像和蓝色分量b的图像构成的捕获图像)来估计环境光a。透射率估计单元11例如将捕获图像中的具有最高亮度的像素设置为环境光。透射率估计单元11使用所估计的环境光a执行表达式(5)的算术运算，针对每个像素估计透射率，并将所估计的透射率输出至透射率检测单元12。

透射率检测单元12使用由透射率估计单元11针对每个像素估计的透射率和每个像素的深度信息来检测捕获图像成像时的雾霾的透射率，并且输出指示每个像素的透射率的透射率图。深度信息可以从成像装置获取或者可以从深度测量装置获取。例如，在使用设置有图像平面相位差像素的图像传感器的成像装置中，不仅可以使用捕获图像而且可以使用图像平面相位差像素的像素信号来获得指示距被摄体的距离的深度信息。在使用这样的成像装置的情况下，信息处理装置10从成像装置获取捕获图像和与捕获图像相对应的深度信息。此外，可以将飞行时间(tof)传感器、光检测和测距/激光成像检测和测距(lidar)传感器等用作为深度测量装置来获取深度信息。例如，尽管深度信息以高精度指示距被摄体的距离，但是即使距离相同，透射率也会根据从成像装置到被摄体的大气的状态而变化。因此，与使用所估计的透射率相比，使用所估计的透射率和深度信息使得透射率检测单元12能够更准确地检测雾霾的透射率。

接下来，将描述由透射率检测单元12执行的第一透射率检测操作。透射率检测单元12基于根据捕获图像针对每个像素估计的透射率的对数平均值和由深度信息指示的各个像素的深度的平均值来检测雾霾的透射率。例如，透射率检测单元12使用所估计的透射率和由深度信息指示的深度的平均值来计算散射系数。由于所估计的透射率t～(x)、深度d(x)和大气散射系数β之间的关系是由上述表达式(2)指示的关系，因此用于计算散射系数β的表达式是表达式(6)。

β＝-(log(t～(x))/d(x))…(6)

因此，透射率检测单元12根据每个像素的透射率t(x)和深度d(x)来计算透射率t～(x)的对数的平均值e[log(t～(x))]和深度的平均值e[d(x)]，并且基于表达式(7)计算散射系数βa。此外，透射率检测单元12基于大气散射系数和深度信息来检测雾霾的透射率。透射率检测单元12使用所计算的散射系数βa和深度d(x)来针对每个像素执行表达式(8)的算术运算，以检测透射率ta(x)并生成指示每个像素的雾霾的透射率的透射率图。

βa＝-(e[log(t～(x))]/e[d(x)])…(7)

ta(x)＝exp(-βad(x))…(8)

透射率检测单元12在计算所估计的透射率的平均值和由深度信息指示的深度的平均值时可以使用捕获图像的各个像素的所有透射率和深度，或者可以使用捕获图像的预定部分处(例如捕获图像的中央部分处)的各个像素的透射率和深度。此外，可以使用以预先指定的像素间隔提取的像素的透射率和深度。注意，预先指定的像素间隔可以是在整个捕获图像中为相等像素间隔，或者可以根据图像中的位置调整像素间隔，以使中央部分中的像素间隔比外围部分中的像素间隔窄。

接下来，将描述由透射率检测单元12执行的第二透射率检测操作。透射率检测单元12通过执行灰度转换来检测雾霾的透射率，该灰度转换使得由深度信息指示的深度的灰度与所估计的透射率的灰度相对应。例如，透射率检测单元12对由深度信息指示的深度进行归一化，并且执行使得归一化后的深度的灰度与所估计的透射率的灰度相对应的灰度转换，以将灰度转换后的深度设置为雾霾的透射率。也就是说，透射率检测单元12对深度图进行归一化，根据所估计的透射率执行灰度转换，并且生成指示每个像素的雾霾的透射率的透射率图。

在灰度转换中，使直方图均衡等，并且使归一化后的深度的直方图对应于所估计的透射率的直方图。例如，在灰度转换中，在归一化后的深度的直方图与透射率的直方图之间使得仓(bin)数相等，并且执行对深度的转换，使得频率为峰值的箱位置、峰值位置和峰值位置的频率、或直方图形状变得相等。

图3示出了灰度处理。图3的(a)是将预定距离设置为“1”而归一化的深度的直方图。注意，预定距离是例如由深度信息指示的每个像素中的深度的最大值。图3的(b)是所估计的透射率的直方图。透射率检测单元12执行灰度处理，使得例如图3的(a)中所示的深度直方图的峰值位置与图3的(b)中所示的所估计的透射率的直方图相对应，并且将指示图3的(c)中所示的直方图的深度设置为雾霾的透射率。

注意，如在第一透射率检测操作中一样，可以将整个捕获图像的像素或捕获图像的部分区域(例如中央部分)中的像素用作为在第二透射率检测操作中使用的像素。替选地，可以使用以预先指定的像素间隔获得的像素。注意，预先指定的像素间隔可以是在整个捕获图像中为相等像素间隔，或者可以根据图像中的位置调整像素间隔，以使中央部分中的像素间隔比外围部分中的像素间隔窄。

如上所述，根据本技术的信息处理装置，由于针对每个区域、基于根据捕获图像针对每个区域估计的透射率以及每个区域的深度信息来检测透射率，因此与基于捕获图像估计的透射率相比，可以以更高的精度来检测透射率。

此外，在本技术的信息处理装置中，可以提供平滑单元13。例如，在由透射率被估计的像素指示的被摄体位置与由与该像素对应的深度信息指示的深度的测量位置之间存在大的误差的情况下，或者在以局部区域为单位计算透射率并且在局部区域的边界处透射率的变化显著的情况下，如果如稍后所述基于所检测的透射率执行雾霾去除处理，则可能在被摄体的边缘部分或局部区域的边界处出现光晕效应。因此，可以通过提供平滑单元13并执行软抠图处理等来平滑边界部分处的透射率变化。

<3.控制装置的配置和操作>

接下来，将描述本技术的控制装置。图4示出了控制装置的配置。控制装置30具有透射率估计单元31、透射率检测单元32以及操作控制单元33。

透射率估计单元31执行与上述透射率估计单元11类似的处理以估计透射率，例如根据捕获图像针对每个像素来估计透射率，并将所估计的透射率输出至透射率检测单元32。透射率检测单元32执行与上述透射率检测单元12类似的处理，使用由透射率估计单元31估计的透射率和例如每个像素的深度信息来检测捕获图像成像时的雾霾的透射率，并且将指示每个像素的透射率的透射率图输出至操作控制单元33。操作控制单元33基于从透射率检测单元32输出的透射率图来确定雾霾的存在与否。此外，操作控制单元33基于雾霾的存在与否的确定结果和每个区域的透射率来控制受控单元的操作。接下来，将描述使用该控制装置的车辆控制系统。

图5是示出车辆控制系统的示意性配置示例的框图，该车辆控制系统是可以应用根据本公开内容的技术的移动体控制系统的一个示例。

车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图5所示的示例中，车辆控制系统12000包括驾驶系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、声音和图像输出单元12052、车载网络接口(i/f)12053。

驾驶系统控制单元12010根据各种程序来控制与车辆的驾驶系统有关的装置的操作。例如，驾驶系统控制单元12010用作用于以下的控制装置：被配置成生成车辆的驱动力的驱动力生成装置，例如内燃机或驱动马达；被配置成将驱动力传递至车轮的驱动力传递机构；被配置成调整车辆的转向角的转向机构；被配置成生成车辆的制动力的制动装置等。

车身系统控制单元12020根据各种程序来控制安装在车身上的各种装置的操作。例如，车身系统控制单元12020用作用于以下的控制装置：无钥匙进入系统、智能钥匙系统、电动窗装置或各种灯(例如前灯、后灯、制动灯、闪光灯或雾灯)。在这种情况下，在车身系统控制单元12020中，可以输入从便携式机器发送以代替钥匙的无线电波或者来自各种开关的信号。车身系统控制单元12020接收这些无线电波或信号的输入，并控制车辆的门锁装置、电动窗装置、灯等。

车外信息检测单元12030检测安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031连接至车外信息检测单元12030。车外信息检测单元12030使成像单元12031捕获车辆外部的图像，并且车外信息检测单元12030接收所捕获的图像。车外信息检测单元12030可以基于所接收的图像来执行关于人、汽车、障碍物、标志或路面上的文字等的对象检测处理或距离检测处理。

成像单元12031是接收光并且输出与所接收的光量相对应的电信号的光学传感器。成像单元12031可以将电信号作为图像输出，或者可以将电信号作为距离测量信息输出。此外，由成像单元12031接收的光可以是可见光或不可见光例如红外光。

车内信息检测单元12040检测车内信息。例如，检测驾驶员的状态的驾驶员状态检测单元12041连接至车内信息检测单元12040。驾驶员状态检测单元12041可以包括例如对驾驶员进行成像的摄像机，并且车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或专注程度，或者可以确定驾驶员是否在睡觉。

微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的车内信息和车外信息来算术运算驱动力生成装置、转向机构或制动装置的控制目标值，并且可以向驾驶系统控制单元12010输出控制命令。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(adas)的功能的协作控制，所述功能包括车辆的碰撞避免或撞击缓解、基于车辆间距离的跟随行驶、车辆速度保持行驶、车辆碰撞警告或车道偏离警告等。

此外，微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆周围的信息来控制驱动力生成装置、转向机构、制动装置等，从而，可以进行旨在自动驾驶等的协作控制，该自动驾驶等使得能够在不依赖于驾驶员的操纵的情况下进行自主行驶。

此外，微型计算机12051可以基于由车外信息检测单元12030获取的车外信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051根据由车外信息检测单元12030感测到的前车或迎面来车的位置来控制前灯，并且执行旨在执行防止眩光(例如从远光灯切换为近光灯)的协作控制。

声音和图像输出单元12052将声音或图像中的至少一个输出信号发送至能够以视觉或听觉方式向车辆乘员或车辆外部通知该信息的输出装置。在图5的示例中，音频扬声器12061、显示单元2062和仪表板12063被示为输出装置。显示单元12062可以包括例如车载显示器或平视显示器中的至少一个。

图6是示出成像单元12031的安装位置的示例的图。

在图6中，成像单元12031具有成像单元12101、12102、12103、12104、12105。

成像单元12101、12102、12103、12104、12105被设置在例如车辆12100的诸如前鼻、侧镜、后保险杠、后门以及车辆内饰中的风挡的上部等的位置处。设置在前鼻中的成像单元12101和设置在车辆内饰中的风挡的上部中的成像单元12105主要获取车辆12100前方的图像。设置在侧镜中的成像单元12102、12103主要获取车辆12100侧面的图像。设置在后保险杠或后门中的成像单元12104主要获取车辆12100后面的图像。设置在车辆内饰中的风挡的上部中的成像单元12105主要用于检测前车或行人、障碍物、交通信号、交通标志、车道等。

注意，图6示出了成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻中的成像单元12101的成像范围，成像范围12112、12113分别指示设置在侧镜中的成像单元12102、12103的成像范围，并且成像范围12114指示设置在后保险杠或后门中的成像单元12104的成像范围。例如，通过叠加由成像单元12101至12104捕获的图像数据，获得从上方观察车辆12100时的俯视图像。

成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是由多个成像元件构成的立体摄像机，或者可以是具有用于相位差检测的像素的成像元件。

例如，微型计算机12051基于从成像单元12101至12104获得的距离信息来找到距成像范围12111至12114内的每个实体对象的距离以及距离的时间变化(相对于车辆12100的相对速度)，从而，特别地，作为在车辆12100的行驶路径上最接近的实体对象并且在与车辆12100大致相同的方向上以预定速度(例如0km/h或更高)行驶的实体对象可以被提取为前车。此外，微型计算机12051可以预设前车与其自身之间要确保的车辆间距离，并且可以执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随开始控制)等。因此，可以进行旨在自动驾驶等的协作控制，该自动驾驶等使得能够在不依赖于驾驶员的操纵的情况下进行自主行驶。

例如，微型计算机12051可以基于从成像单元12101至12104获得的距离信息将与实体对象有关的实体对象数据分类为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆的另外的实体对象，并且提取它们以将其用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉识别的障碍物以及车辆12100的驾驶员难以视觉识别的障碍物。另外，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险，并且在碰撞风险等于或高于设定值并且存在碰撞的可能性的情况下，微型计算机12051可以通过以下操作来执行用于碰撞避免的驾驶辅助：经由音频扬声器12061和显示单元12062向驾驶员输出警报，或者经由驾驶系统控制单元12010执行强制减速或避免转向。

成像单元12101至12104中的至少一个可以是检测红外线的红外摄像机。例如，微型计算机12051可以通过确定在成像单元12101至12104的捕获图像中是否存在行人来识别行人。例如，通过以下过程来执行这样的行人识别：提取作为红外摄像机的成像单元12101至12104的捕获图像中的特征的过程，以及对指示对象的轮廓的一系列特征执行图案匹配处理以确定对象是否是行人的过程。如果微型计算机12051确定成像单元12101至12104的捕获图像中存在行人并且识别到该行人，则声音和图像输出单元12052控制显示单元12062以在识别到的行人上以叠加方式显示方形轮廓线以用于强调。此外，声音和图像输出单元12052可以控制显示单元12062以在期望位置处显示指示行人的图标等。

在如上所述配置的移动体控制系统中，成像单元12031获取捕获图像和深度信息。此外，在成像单元12031不能获取深度信息的情况下，车外信息检测单元12030设置有能够获取深度信息的周围信息检测传感器。将飞行时间(tof)传感器、光检测和测距/激光成像检测和测距(lidar)传感器等用作为周围信息检测传感器。车外信息检测单元12030向集成控制单元12050输出从成像单元12031获取的捕获图像和深度信息或者从成像单元12031获取的捕获图像和由周围信息检测传感器获取的深度信息。

集成控制单元12050设置有透射率估计单元31和透射率检测单元32的功能，并且如上所述对透射率进行估计和检测以生成透射率图。此外，车身系统控制单元12020设置有操作控制单元33。

车身系统控制单元12020基于由集成控制单元12050生成的透射率图来执行对受控单元(例如雾灯)的灯驱动控制。

车身系统控制单元12020将照明控制作为灯驱动控制来执行。针对整个透射率图或透射率图的部分区域来确定雾霾的存在与否。在整个透射率图被划分为多个区域的情况下，部分区域可以是每个划分的区域，或者部分区域可以是在透射率图内的预设位置处以预定区域大小设置的一个或多个区域。

车身系统控制单元12020将整个透射率图或透射率图的部分区域的平均值与阈值进行比较，并且确定是否存在透射率的平均值低于预定阈值或者透射率低于预定阈值的部分区域。此外，操作控制单元33检测透射率低于预定阈值的像素，并且确定在整个透射率图中检测到的像素数是否大于预定阈值，或者是否存在检测到的像素数大于预定阈值的部分区域。车身系统控制单元12020例如在整个透射率图的透射率平均值低于预定阈值的情况下将雾灯置于照明状态，并且在整个透射率图的透射率平均值不低于预定阈值的情况下将雾灯置于非照明状态。此外，车身系统控制单元12020例如在整个透射率图中透射率低于预定阈值的像素数大于预定阈值的情况下将雾灯置于照明状态，并且在相关的像素数小于预定阈值的情况下将雾灯置于非照明状态。

车身系统控制单元12020还可以将光分配控制作为灯驱动控制来执行。例如，在车身系统控制单元12020检测到透射率平均值低于预定阈值的部分区域的情况下，车身系统控制单元12020通过将雾灯置于照明状态来执行光分配控制，并且沿透射率平均值低于预定阈值的部分区域的方向或者以与该部分区域相对应的照射角度进行光的照射。此外，在未检测到透射率平均值低于预定阈值的部分区域的情况下，车身系统控制单元12020将雾灯置于非照明状态。此外，在检测到透射率低于预定阈值的像素数大于预定阈值的部分区域的情况下，车身系统控制单元12020通过将雾灯置于照明状态来执行光分配控制，并且沿该部分区域的方向并以与该部分区域相对应的照射角度进行光的照射。此外，在没有检测到透射率低于预定阈值的像素数大于预定阈值的部分区域的情况下，车身系统控制单元12020将雾灯置于非照明状态。

此外，车身系统控制单元12020还可以将光量控制作为灯驱动控制来执行。在整个透射率图或透射率图的部分区域的透射率平均值低于预定阈值的情况下，车身系统控制单元12020通过将雾灯置于照明状态来控制光量，并且光量随着透射率平均值降低而增加。此外，在平均透射率值不低于预定阈值的情况下，车身系统控制单元12020将雾灯置于非照明状态。

以此方式，由于移动体控制系统基于检测到的透射率来执行灯驱动控制，因此例如，当雾浓时，雾灯可以自动点亮，而当雾散去时，雾灯可以自动关断。此外，自动调节雾灯的照射方向和照射角度，并且可以改善雾浓的区域的可见度。此外，可以根据雾密度将雾灯的光量自动调节为最佳光量。注意，雾灯不仅可以设置在车辆的前部，而且可以设置在车辆的后部。

此外，灯驱动控制不限于对雾灯的驱动控制。例如，如果雾浓时前灯被向上定向(远光灯)，则前方可见度会降低。因此，当雾浓时，可以自动执行将前灯向下定向(近光灯)的控制或者减少光量的控制。

此外，本技术的控制装置不仅可以应用于汽车，而且还可以应用于船舶、飞行体等，只要它是在出现雾霾的环境中使用的移动设备即可。此外，在基于检测到的透射率的操作控制中，可以将检测到的透射率输出至外部。例如，将控制装置应用于无人飞行体例如无人机，并从天空进行成像以检测成像期间的透射率。此外，在透射率降至阈值以下的情况下，无人飞行体将检测到的透射率通知给控制侧等。执行上述操作控制使得能够从天空高精度地观察雾霾的出现情况。此外，可以将移动方向作为基于检测到的透射率的操作控制来控制。例如，无人飞行体通过向控制侧通知针对每个区域检测到的透射率来自动执行成像，或者在基于针对每个区域检测到的透射率在雾霾较小的方向上自动选择飞行路线的同时来自动执行成像。

<4.图像处理装置的配置和操作>

接下来，将描述本技术的图像处理装置。图7示出了图像处理装置的配置。图像处理装置50具有透射率估计单元51、透射率检测单元52以及雾霾去除单元53。

透射率估计单元51执行与上述透射率估计单元11类似的处理，例如，根据捕获图像针对每个像素估计透射率，并将结果输出至透射率检测单元32。透射率检测单元52执行与上述透射率检测单元12类似的处理，并且使用由透射率估计单元31估计的透射率和例如每个像素的深度信息来检测捕获图像成像时的雾霾的透射率，并将指示每个像素的透射率的透射率图输出至雾霾去除单元53。雾霾去除单元53基于从透射率检测单元52输出的透射率图从由成像装置获取的捕获图像中去除雾霾。

在雾霾去除单元53的第一操作中，通过根据由透射率图指示的每个像素的透射率ta(x)的倒数调节对比度来去除雾霾。在这种情况下，雾霾去除单元53将以处理目标像素为基准的邻近区域中的像素(包括处理目标像素)的平均像素值设置为处理目标像素的dc分量idc。此外，雾霾去除单元53将处理目标像素与邻近区域中的每个其他像素之间的像素值差的平均值设置为处理目标像素的对比度分量iac。此外，雾霾去除单元53使用在作为处理目标像素的像素位置x处的dc分量idc(x)、对比度分量iac(x)和透射率ta(x)执行表达式(9)的算术运算，以计算雾霾去除后的像素值，即场景辐射j(x)。雾霾去除单元53针对每个像素执行表达式(9)的算术运算，并且恢复去除了雾霾的清晰的捕获图像。

j(x)＝idc(x)+(1/ta(x))iac…(9)

在雾霾去除单元53的第二操作中，使用捕获图像和检测到的透射率、基于透射率的模型来去除雾霾。通过变换表示透射率的模型的表达式(1)，获得用于计算场景辐射j(x)的表达式(10)。因此，雾霾去除单元53针对每个像素执行表达式(10)的算术运算，并恢复去除了雾霾的清晰的捕获图像。

j(x)＝(i(x)-a))/ta(x)+a…(10)

注意，透射率ta(x)可以取接近于“0”的值，并且如果透射率ta(x)具有接近于“0”的值，则在去除了雾霾的捕获图像中噪声可能是显著的。因此，可以预先设置下限值t0，并且如果透射率ta(x)小于下限值t0，则可以使用下限值t0进行雾霾去除。

例如，如上所述，雾霾去除单元53将捕获图像中具有最高亮度的像素设置为要在表达式(10)中使用的环境光a。此外，雾霾去除单元53可以将从成像装置获取的整个捕获图像或其部分区域的平均值用作为环境光a。此外，雾霾去除单元53可以通过主分量分析或通过独立分量分析来估计环境光a。例如，通过将相应的三个原色分量用作为相应的三维矢量，并且将从成像装置获取的整个捕获图像或捕获图像的部分区域的像素值的相应颜色分量用作为相应的范数，雾霾去除单元53基于整个捕获图像或其部分区域的像素值执行三维矢量的主分量分析，并将所获得的主分量矢量设置为环境光a。此外，假设每个像素的像素值i(x)、场景辐射j(x)和透射率t(x)是独立的，则雾霾去除单元53使用从成像装置获取的整个捕获图像或其部分区域的像素值来执行独立分量分析，并且针对每个像素估计满足表达式(1)的关系的环境光a。

以这种方式，在图像处理装置中，使用根据捕获图像针对每个区域估计的透射率以及每个区域的深度信息来检测捕获图像成像时的雾霾的透射率，并且基于上述检测到的透射率来执行对雾霾的去除。因此，与基于根据捕获图像估计的透射率执行雾霾的去除的情况相比，可以高精度地去除更多雾霾并且恢复清晰的捕获图像。

此外，如果本申请的图像处理装置用于在出现雾霾的环境中使用的电子设备，例如监视装置，则即使在监视目标区域中出现雾霾，也可以获得清晰的捕获图像，这可以防止监视能力下降。此外，如果本申请的图像处理装置用于上面提及的车辆控制系统，则即使在车辆行驶时出现雾霾，也可以获得去除了雾霾的清晰的捕获图像。因此，如果使用去除了雾霾的捕获图像来监视周围环境，则即使出现雾霾也可以容易地检测到障碍物等。此外，即使出现雾霾，在显示单元12062的平视显示器、后监视器、电子后视镜、门镜等上显示去除了雾霾的捕获图像也使得驾驶员能够容易地掌握周围情况。

说明书中描述的透射率检测操作、基于检测到的透射率的控制操作以及基于检测到的透射率的雾霾去除操作可以通过硬件、软件或通过将二者结合而获得的配置来执行。在执行通过软件进行的处理的情况下，将记录有处理序列的程序安装在包含在专用硬件中的计算机的存储器中，并且执行该程序。替选地，可以在能够执行各种处理的通用计算机上安装并执行该程序。

例如，程序可以预先记录在作为记录介质的硬盘、固态驱动器(ssd)或只读存储器(rom)上。替选地，可以将程序临时或永久存储在(记录在)可移除记录介质例如软盘、压缩盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、蓝光盘(bd(注册商标))、磁盘或半导体存储卡中。这样的可移除记录介质可以被提供为所谓的软件包。

此外，除了将程序从可移除记录介质安装至计算机之外，还可以经由诸如局域网(lan)或互联网的网络将程序从下载站点无线地或有线地传输至计算机。计算机可以接收以这种方式传输的程序，并将其安装在诸如内置硬盘的记录介质上。

注意，本说明书中描述的效果是说明性的而不是限制性的，并且可以存在未描述的附加效果。另外，本技术不应被解释为限于上面描述的技术的实施方式。该技术的实施方式以示例的形式公开了本技术，并且明显的是，本领域技术人员可以在不脱离本技术的要旨的情况下对实施方式进行修改和替换。换句话说，应当考虑权利要求的范围以确定本技术的要旨。

此外，本技术的控制装置还可以采用以下配置。

(1)一种控制装置，包括：

透射率检测单元，其使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率；以及

操作控制单元，其基于由透射率检测单元检测到的透射率来执行操作控制。

(2)根据(1)所述的控制装置，其中，操作控制单元基于由透射率检测单元检测到的透射率来执行灯驱动控制。

(3)根据(2)所述的控制装置，其中，操作控制单元基于由透射率检测单元检测到的透射率来执行照明控制。

(4)根据(2)或(3)中任一项所述的控制装置，其中，操作控制单元基于由透射率检测单元检测到的透射率来执行光量控制。

(5)根据(2)至(4)中任一项所述的控制装置，其中，操作控制单元基于由透射率检测单元检测到的每个区域的透射率来控制光的照射方向或照射角度中的至少任一个。

(6)根据(2)至(5)中任一项所述的控制装置，其中，操作控制单元执行雾灯的灯驱动控制。

(7)根据(1)至(6)中任一项所述的控制装置，其中，操作控制单元基于由透射率检测单元检测到的透射率来执行将检测到的透射率输出到外部的控制。

(8)根据(1)所述的控制装置，其中，操作控制单元基于由透射率检测单元检测到的每个区域的透射率来控制移动操作。

工业适用性

在该技术的信息处理装置和信息处理方法以及控制装置和图像处理装置中，使用根据捕获图像针对每个区域估计的透射率和每个区域的深度信息来检测捕获图像成像时的雾霾的透射率。这使得能够高精度地检测透射率。因此，该技术适用于在出现雾霾的环境中使用的移动设备和电子设备。

附图标记列表

10信息处理装置

11、31、51透射率估计单元

12、32、52透射率检测单元

13平滑单元

30控制装置

33操作控制单元

50图像处理装置

53雾霾去除单元