图像处理装置的制作方法

本发明涉及图像处理装置、图像处理装置的控制方法及程序，更具体地涉及被构造为确定拍摄的图像中是否存在雾气(fog)或薄雾(mist)的图像处理装置、图像处理装置的控制方法及其程序。

背景技术：

迄今为止，网络照相机已被用作安全装置。网络照相机被置于各种环境下，并被要求提供具有高可见性(例如，具有用于识别图像中的被摄体的足够好的质量)的视频图像。但是，如果在网络照相机的图像拍摄环境中存在雾气或薄雾(即，拍摄图像时的图像拍摄条件包括雾气或薄雾的存在)，则被摄体的图像中的对比度降低，并且图像的可见性受损。

为了即使当图像拍摄环境(即，图像被拍摄/获取时的图像拍摄条件)包括雾气或薄雾的存在时也获取具有高可见性的图像，存在用于在存在雾气或薄雾的情况下强调对比度的装置。雾气或薄雾的状态并不总是恒定的，并且雾气或薄雾的浓度随时间而变化，因此，由于雾气或薄雾的存在而导致视频图像的对比度的降低程度随时间而变化。因此，在放置网络照相机的图像拍摄环境中，使用用于确定是否存在雾气或薄雾并仅在存在雾气或薄雾的情况下强调对比度的装置是有用的。

例如，在日本特开2015-198431号公报中讨论的图像处理装置中，讨论了如下方法：通过比较在照明环境下(即，在照亮条件下)拍摄的图像的对比度评估值和在非照明环境下(即，在未照亮的条件下)拍摄的图像的对比度评估值，来确定是否存在雾气或薄雾。

然而，在上述日本特开2015-198431号公报中，需要施加辅助光来确定是否存在雾气或薄雾。此外，存在这样的问题：对比度评估值的准确度可能受到辅助光的照射距离、角度等的不利影响，并且由于需要在具有和不具有辅助光的情况下拍摄多个图像，所以需要长的处理时间。

技术实现要素：

因此，本发明旨在提供一种装置，其使得能够基于拍摄的图像的直方图来估计(评定或确定)是否存在雾气或薄雾(即雾气或薄雾存在检测)，而不需要施加辅助光和拍摄多个图像。

根据本发明的一个方面，一种图像处理装置包括：图像获取单元，其被构造为获取被摄体的图像；计算单元，其被构造为，计算具有亮度(brightness)范围中的亮度值的像素的数量与整个图像中的像素的总数量的比率；图像处理单元，其被构造为，在所述比率等于或大于第一阈值的情况下，强调图像的对比度；以及控制单元，其被构造为，基于从图像获得的被摄体的照度(illuminance)和当获取图像时使用的曝光目标值中的至少一者，来改变用于计算所述比率的亮度范围。

根据下面参照附图对示例性实施例的描述，本发明的另外的特征将变得清楚。下述的本发明的各个实施例可以被单独地实现，或者，在需要时或在单个实施例中组合来自各个实施例的要素或特征是有利时，可以被实现为多个实施例或其特征的组合。

附图说明

图1是示出根据本发明的第一示例性实施例的图像处理装置的构造示例的框图。

图2是示出根据本发明的第一示例性实施例的直方图确定处理的示例的流程图。

图3是示出根据本发明的第一示例性实施例的从低亮度侧确定点到高亮度侧确定点的范围的曲线图。

图4是示出根据本发明的第二示例性实施例的图像处理装置的构造示例的框图。

图5是示出根据本发明的第二示例性实施例的直方图确定处理的示例的流程图。

图6是示出根据本发明的第二示例性实施例，当在低照度环境下拍摄图像时，直方图中的从低亮度侧确定点到高亮度侧确定点的范围的示例的曲线图。

图7是示出根据本发明的第三示例性实施例的直方图确定处理的示例的流程图。

图8是示出根据本发明的第三示例性实施例，当进行正侧曝光补偿时获得的图像的直方图中的从低亮度侧确定点到高亮度侧确定点的范围的曲线图。

图9是示出根据本发明的第四示例性实施例的图像处理装置的构造示例的框图。

图10是示出根据本发明的第四示例性实施例的直方图确定处理的示例的流程图。

图11是示出本发明的第四示例性实施例中的处理的内容根据转动角度而改变的直方图确定处理的流程图。

图12是示出本发明的第四示例性实施例中的处理的内容根据转动速度而改变的直方图确定处理的流程图。

具体实施方式

下面将参照附图详细地描述本发明的示例性实施例。下面将描述图像拾取装置(例如，照相机)被用作图像处理装置的示例性实施例的示例。可以理解的是，在本发明的其他实施例中，能够获取/获得并处理图像的任何其他装置都可以用作根据本发明的图像处理装置。

图1是示出根据本发明的第一示例性实施例的图像处理装置的构造示例的框图。请注意，在图1中，为了简洁起见，省略了图像处理装置中的除图像信号处理部/部分以外的组件的图示。根据本示例性实施例的图像处理装置包括图像拾取装置100和以可通信的方式连接到图像拾取装置100的图像显示单元105。虽然本示例性实施例示出了图像拾取装置100和图像显示单元105被单独配设的示例，但是图像拾取装置100和图像显示单元105可以被配设在单个装置中，例如，图像拾取装置100和图像显示单元105可以被集成在一起以形成单个主体。图像拾取装置100可以从外部取光以生成图像信号，并且将生成的图像信号经由通信单元107传送到图像显示单元105或诸如服务器(未示出)的外部设备。

图像拾取单元101从外部(例如，周围)取光以拍摄图像，并且生成表示周围被摄体的图像信号，由此获取图像。图像拾取单元101包括透镜组(未示出)、红外线截止滤波器(IRCF)、图像传感器、相关双采样(CDS)电路、自动增益控制(AGC)放大器以及模拟/数字(A/D)转换器。

当图像拾取单元101拍摄被摄体的图像时，已经穿过透镜组和IRCF的光学图像形成在由电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等构成的图像传感器上。图像传感器对形成的光学图像进行光电转换，并将转换后的信号作为模拟图像信号输出。

CDS电路对从图像传感器接收的电信号进行相关双采样处理等。

AGC放大器对从CDS电路接收的电信号进行放大处理等。

A/D转换器将由AGC放大器进行了放大处理的模拟信号转换为数字信号。

图像信号处理单元102对由图像拾取单元101转换并输出的数字信号进行诸如白平衡(WB)处理和NR(降噪)处理的图像信号处理。

直方图检测单元103从拍摄的图像中检测亮度直方图。

伽玛校正单元104对拍摄的图像进行伽玛校正。例如，通过应用用于加宽预定亮度范围中的层次(gradation)的伽玛曲线，来对拍摄的图像进行用于强调对比度的图像处理。

图像显示单元105经由通信单元107获取并显示以上述方式处理的图像信号。图像显示单元105可以被构造为能够将针对图像拾取装置100的控制指令发送给图像拾取装置100的外部终端的一部分。图像显示单元105可以是触摸面板、个人计算机(PC)屏幕等。图像显示单元105可以被构造为基于图像显示单元105上的操作来生成针对图像拾取装置100的指令。

系统控制单元106包括未示出的中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。CPU控制图像拾取装置100的功能块，并根据从ROM加载的程序进行为此所需的操作。ROM存储由CPU执行的控制程序和执行该程序所需的各种常数值。RAM是用于存储执行程序所需的各种临时数据的区域。

通信单元107将由图像信号处理单元102、直方图检测单元103和伽玛校正单元104处理的图像数据传送(即，传输)到诸如图像显示单元105、服务器等的外部客户端装置(例如，外部终端)。图像数据的输出目的地可以是合并在照相机中的液晶显示器(LCD)或外部显示器。此外，通信单元107获取从包括图像显示单元105的外部终端指示的、针对图像拾取装置100的控制信息。

接下来参照图2，将描述由根据本发明的第一示例性实施例的图像处理装置进行的直方图确定处理的示例。图2是示出根据本发明的第一示例性实施例的直方图确定处理的示例的流程图。图2的流程图示出了系统控制单元106通过执行各个处理块来控制图像拾取装置100的处理过程。处理以这样的方式实现，即，将存储在各个系统控制单元中包括的ROM中的程序加载到RAM中，并且由CPU执行程序。

首先，在步骤S201中，直方图检测单元103通过拍摄被摄体的图像，从由图像拾取单元101获取的图像数据中检测拍摄图像的亮度直方图。

接下来，在步骤S202中，计算在步骤S201中获取的图像的亮度直方图中的针对亮度范围的像素分布(例如，像素的相关联的亮度级/值落入亮度范围的像素的数量)，其中，亮度范围被定义为从低亮度侧确定点到高亮度侧确定点的范围，该低亮度侧确定点和高亮度侧确定点被预先设置。图3是示出根据本发明第一示例性实施例的直方图中，从低亮度侧确定点到高亮度侧确定点的亮度范围的示例的曲线图。例如，当亮度Y值100被设置为低亮度侧确定点并且亮度Y值150被设置为高亮度侧确定点时，计算如图3所示的针对亮度范围的像素分布。低亮度侧确定点和高亮度侧确定点的值是假设模糊图像的直方图集中在半色调周围而预先设置(预设)的值。例如，低亮度侧确定点和高亮度侧确定点的值被设置为根据照相机(图像拾取单元101)的应用、性能和图像拍摄环境(条件)而通过实验或根据经验设置的预定值。低亮度侧确定点和高亮度侧确定点可以被构造为可通过用户操作设置或改变。

接下来，在步骤S203中，计算在步骤S202中计算出的亮度范围(从低亮度侧确定点到高亮度侧确定点)的分布(即，像素数量)与整个图像的亮度直方图(即，整个图像的整个亮度直方图中的像素的数量)的比率。

接下来，在步骤S204中，确定在步骤S203中计算出的针对(从低亮度侧确定点到高亮度侧确定点的)范围的像素分布与整个亮度直方图的比率是否等于或大于预先设置(预设)的阈值。如果该比率等于或大于阈值(步骤S204中为“是”)，则处理进行到步骤S205。如果该比率小于阈值(步骤S204中为“否”)，则处理进行到步骤S206。例如，假设阈值为50％，当50％或更多的像素分布落入上述范围内时，确定存在雾气或薄雾，或者被摄体看起来模糊。阈值可以通过用户操作而手动地设置或改变。

当从低亮度侧确定点到高亮度侧确定点的范围变宽时，或者当针对该范围的像素分布与整个亮度直方图的比率的阈值减小时，更有可能基于图像的直方图确定存在雾气或薄雾。当从低亮度侧确定点到高亮度侧确定点的范围变窄时，或者当该范围的像素分布与整个亮度直方图的比率的阈值增大时，不太可能基于图像的直方图确定存在雾气或薄雾。例如，如果用户感觉到用于确定是否存在雾气或薄雾的灵敏度过高，则可以通过改变针对确定点或阈值的设置来降低灵敏度，从而不太可能错误地确定存在雾气或薄雾。存在这样的可能性：随着从低亮度侧确定点到高亮度侧确定点的范围变宽，可能也包括受高亮度被摄体或低亮度被摄体影响的直方图，而不管是否存在雾气/薄雾。因此，当通过用户操作等进行调整以使得更有可能确定(或者不太可能确定)存在雾气或薄雾时，优选的是，改变针对该范围的像素分布与整个直方图的比率的阈值的设置。

如果在步骤S204中确定比率等于或大于阈值(步骤S204中为“是”)，则处理进行到步骤S205，并且确定存在雾气或薄雾，因此进行对比度强调处理。具体地，假定像素分布集中在半色调周围的状态对应于如下状态：存在雾气或薄雾并且被摄体看起来模糊，并因此需要进行对比度强调处理。常规技术可以用于对比度强调处理。例如，通过加宽低亮度侧确定点与高亮度侧确定点之间的亮度的层次，可以进行用于强调对比度的伽玛校正。

当处理进行到步骤S206时，确定指示不存在雾气或薄雾(即，被摄体看起来不模糊)的直方图的状态，因此由伽玛校正单元104进行正常的伽玛校正。

根据上述示例性实施例，计算针对亮度范围(从低亮度侧确定点到高亮度侧确定点)的像素分布与整个亮度直方图的比率。因此，基于集中在半色调周围的亮度直方图的比率，可以确定拍摄图像的亮度直方图是否是指示存在雾气或薄雾的亮度直方图。

在这种情况下，当图像拍摄环境(周围)的照度低时，整个直方图倾向于向低亮度侧(即，直方图显示区域的具有例如超出低亮度侧确定点的亮度值的较低亮度值的一侧)偏移。因此，在如图3所示那样设置低亮度侧确定点和高亮度侧确定点的情况下，存在无法进行适当的设置的可能性，这导致难以适当地确定是否存在雾气或薄雾。

作为第二示例性实施例，将描述考虑到当图像拍摄环境的照度低时，整个直方图向低亮度侧的偏移的直方图确定处理。进行与上述示例性实施例中相同的功能或处理的部分由相同的附图标记表示，并且省略其描述。

图4是示出根据本发明的第二示例性实施例的图像处理装置的构造示例的框图。在图4中，省略了图像处理装置中的除图像信号处理部/部分以外的组件的图示。

图4所示的图像拾取装置100具有在上述第一示例性实施例中的图1所示的图像拾取装置中添加照度检测单元401的构造。照度检测单元401可以被构造为，使用例如被构造为从图像评定(测量)照度的单元或者外部照度传感器来获取照度值，使得照度检测单元401能够检测图像拍摄环境的照度。

图5是示出根据本发明第二示例性实施例，由图像处理装置进行的直方图确定处理的示例的流程图。图5的流程图示出了系统控制单元106在通过执行各个处理块来控制图像拾取装置100时的处理过程。处理以这样的方式实现，即，将存储在各个系统控制单元中包括的ROM中的程序加载到RAM中，并且由CPU执行程序。与图2所示的流程图相同的步骤由相同的步骤编号表示，并且省略其描述。

首先，在步骤S501中，照度检测单元401检测图像拍摄装置100的图像拍摄环境(周围)的照度。接下来，在步骤S201中，直方图检测单元103基于检测到的照度检测图像的亮度直方图。

接下来，在步骤S502中，确定在步骤S501中检测到的图像拍摄环境(条件)的照度是否低。在确定照度时，例如可以使用AGC增益值。当AGC增益值等于或大于预定值时，可以确定图像拍摄环境的照度低。也可以采用其他检测或比较照度的方法。如果确定图像拍摄环境的照度低(步骤S502中为“是”)，则处理前进到步骤S503。如果确定图像拍摄环境的照度不低(步骤S502中为“否”)，则处理前进到步骤S202。

当图像拍摄环境的照度低时，在步骤S503中，低亮度侧确定点和高亮度侧确定点向低亮度侧偏移。图6是示出当图像的直方图向低亮度侧偏移时，从低亮度侧确定点到高亮度侧确定点的范围的示例的曲线图。例如，当将亮度Y值100设置为正常照度下的低亮度侧确定点，将亮度Y值150设置为正常照度下的高亮度侧确定点，并且将-60设置为低照度下的偏移量时，低亮度侧确定点将被偏移到亮度Y值40，并且，高亮度侧确定点将被偏移到亮度Y值90。偏移量是预先设置的(预设)值，其例如是根据图像拾取单元(即照相机)的应用、性能和图像拍摄环境(条件)通过实验或根据经验设置的预定值。

结果，在步骤S202中，如图6所示，计算针对向低亮度侧偏移的范围的像素分布，并且确定图像拍摄环境(条件)的照度低。因此，即使当直方图向低亮度侧偏移时，也可以执行适当的直方图确定处理。

上面已经关于第一示例性实施例描述了步骤S203和后续步骤，因此省略其详细描述。

如上所述，在第二示例性实施例中，当基于拍摄图像中的直方图确定图像拍摄环境(条件)的照度低时，用于确定是否存在雾气或薄雾的低亮度侧确定点和高亮度侧确定点向低亮度侧偏移。因此，可以考虑到在低照度条件下直方图倾向于向低亮度侧偏移的事实，来设置低亮度侧确定点和高亮度侧确定点。因此，即使在低照度环境(条件)下，也可以基于拍摄图像的直方图适当地(更准确地)确定(评定)是否存在雾气或薄雾。此外，当确定存在雾气或薄雾并且被摄体看起来模糊时，可以使用常规技术来进行例如伽玛校正处理，以通过加宽低亮度侧确定点与高亮度侧确定点之间的亮度范围内的层次来强调对比度。

在上述示例性实施例中，很可能在低照度下施加照明，因此存在这样的可能性：可以在高亮度部分中检测到基于点光源的亮度分量(直方图)。因此，当在低照度下检测到点光源时，可以从用于确定是否存在雾气或薄雾的计算中消除(即，排除)基于具有高于预定值的亮度值的点光源的亮度分量(即，针对计算排除/忽略具有点光源的亮度分量的像素)。图像处理单元可以与图像拾取单元分开地配设。例如，可以经由通信单元将拍摄的图像输出到诸如外部PC的客户端装置，并且客户端装置可以对传输的图像执行图像处理，例如，直方图确定或对比度强调。

在这种情况下，在曝光控制改变(例如，为了曝光补偿)的情况下，整个直方图被偏移。因此，如果如图3所示那样设置低亮度侧确定点和高亮度侧确定点，则可能难以适当(准确地)确定是否存在雾气或薄雾。

因此，作为第三示例性实施例，将描述考虑到在曝光水平改变(例如，为了曝光补偿)的情况下，整个直方图的偏移的直方图确定处理。进行与上述示例性实施例中相同的功能或处理的部分由相同的附图标记表示，并且省略其描述。示出根据第三示例性实施例的图像处理装置的构造示例的框图与图1中的示出根据第一示例性实施例的图像处理装置的构造示例的框图相同。

图7是示出根据本发明的第三示例性实施例的直方图确定处理的示例的流程图。图7的流程图示出了系统控制单元106在通过执行各个处理块来控制图像拾取装置100时的处理过程。处理以这样的方式实现，即，将存储在各个系统控制单元中包括的ROM中的程序加载到RAM中，并且由CPU执行程序。与图2所示的流程图相同的步骤由相同的步骤编号表示，并且省略其描述。

首先，在步骤S201中检测图像的亮度直方图。

接下来，在步骤S701中，确定是否进行曝光补偿。尽管在这种情况下确定是否进行(或者已经进行/正在进行)曝光补偿，但是在步骤S701中作出的确定不限于确定是否进行曝光补偿，并且包括是否进行(或者已经进行/正在进行)涉及整个直方图的偏移的曝光控制的任何其他确定。如果进行(或者已经进行/正在进行)曝光补偿(步骤S701中为“是”)，则处理进行到步骤S702。如果没有进行(或者尚未进行/没有正在进行)曝光补偿(步骤S701中为“否”)，则处理进行到步骤S202。

在步骤S702中，与自动曝光(AE)目标值结合(即，基于自动曝光目标值)来设置低亮度侧确定点和高亮度侧确定点。图8是示出当进行(或者已经进行/正在进行)正侧曝光补偿(即，进行/已经进行/正在进行用于使图像更亮的曝光补偿)时，图像的直方图中从低亮度侧确定点到高亮度侧确定点的范围的示例的曲线图。例如，假设将低亮度侧确定点和高亮度侧确定点设置为从自动曝光(AE)目标值的±25(即，分别为AE目标值的-25和+25)。当正常曝光期间的曝光目标值是亮度Y值125时，将低亮度侧确定点设置为亮度Y值100，并且，将高亮度侧确定点设置为亮度Y值150。当正侧曝光补偿期间的曝光目标值是亮度Y值170时，低亮度侧确定点将被设置为亮度Y值145，并且高亮度侧确定点将被设置为亮度Y值195。基于自动曝光目标值(AE目标值)设置的低亮度侧确定点和高亮度侧确定点的方差值(例如，上述±25)可以是预先设置(预设)的值。例如，低亮度侧确定点和高亮度侧确定点的方差值被设置为基于照相机的应用、性能和图像拍摄环境(条件)而通过实验或根据经验获得/确定的预定值。结果，在步骤S202中，可以计算如图8所示的基于曝光目标值设置的范围的像素分布。因此，即使当作为进行诸如曝光补偿的曝光调整控制的结果而使整个直方图偏移时，也可以进行精确的直方图确定处理。

上面已经关于第一示例性实施例描述了步骤S203和后续步骤，因此省略其详细描述。

如上所述，在第三示例性实施例中，当进行例如针对曝光补偿的曝光调整控制时，基于曝光目标值(AE目标值)设置用于基于拍摄图像的直方图确定是否存在雾气或薄雾的低亮度侧确定点和高亮度侧确定点。因此，可以考虑到整个直方图的偏移，来设置低亮度侧确定点和高亮度侧确定点。此外，即使当进行/已经进行/正在进行曝光调整控制时，也可以基于拍摄图像的直方图更加准确地确定是否存在雾气或薄雾。此外，当确定存在雾气或薄雾并且被摄体看起来模糊时，可以使用常规技术来进行用于强调低亮度侧确定点与高亮度侧确定点之间的亮度范围内的对比度的处理，以提高图像中的被摄体的清晰度。

当在上述示例性实施例中，曝光目标值(AE目标值)被调整/已经调整到正侧(即，增大)时，整个直方图很可能向正侧(即，高亮度侧或者直方图显示区域的具有例如超出高亮度侧确定点亮度值的较高亮度值的一侧)偏移，因此，低亮度侧确定点和高亮度侧确定点也向正侧偏移(即，调整/设置为较高的亮度值)。当曝光目标值(AE目标值)被调整/已经调整到负侧(即，减小)时，整个直方图很可能向负侧(即，低亮度侧或者直方图显示区域的具有例如超出低亮度侧确定点亮度值的较低亮度值的一侧)偏移，因此，低亮度侧确定点和高亮度侧确定点也向负侧偏移(即，调整/设置为较低的亮度值)。因此，直方图的偏移量随着曝光目标值(AE目标值)的偏移(或调整)量增大而增大。因此，可以根据曝光目标值(AE目标值)的偏移(或调整)量来设置低亮度侧确定点和高亮度侧确定点。此外，可以基于曝光目标值(AE目标值)的偏移(或调整)量来设置(或确定)用于确定针对范围(从低亮度侧确定点到高亮度侧确定点)的像素分布与整个亮度直方图的比率是否等于或大于阈值的阈值。

当曝光目标值(AE目标值)的偏移(或调整)量增大时，即使当不存在雾气/薄雾时，直方图也倾向于偏移。因此，为了减少/防止错误的确定/检测，可以将低亮度侧确定点与高亮度侧确定点之间的距离(即，针对比率的亮度范围的宽度)设置得更短。可选地或者另外地，用于确定针对范围(从低亮度侧确定点到高亮度侧确定点)的像素分布与整个亮度直方图的比率是否等于或大于阈值的阈值可以被设置为较高值。

在一些图像的拍摄场景中，天空可以占据关于上述示例性实施例描述的拍摄图像的较大区域/部分。由于天空区域比天空以外的物体亮，所以天空区域越大，高亮度侧的像素的比率越高。结果，作为雾气/薄雾的确定范围的、存在于低亮度侧确定点与高亮度侧确定点之间的像素的数量减少。在这样的情况下，即使在有关被摄体的亮度范围内存在雾气/薄雾，也不能检测到雾气/薄雾。因此，当在拍摄图像内检测到天空区域并且天空区域的色彩饱和度低时，可以从用于确定雾气或薄雾的存在的计算中去除/消除来自针对天空区域的像素的像素分布分量。也就是说，当计算用于雾气/薄雾存在确定的像素分布(和相关比率和/或阈值)时，可以忽略针对天空区域的像素以减少/消除由于计算中考虑到它们而导致的可能不期望的效果。

上述示例性实施例假设将平均测光或中央重点测光(center-weighted photometry)用作测光方法。这是因为，当使用点测光(spot photometry)时，与平均测光和中央重点测光相比，整个直方图可能会大大偏移。因此，当采用点测光作为测光方法时，低亮度侧确定点和高亮度侧确定点可能偏移与曝光评估值/曝光目标值的比率相对应的量。

上述示例性实施例假定曝光模式AE被设置。在手动曝光控制的情况下，很可能无法适当地设置低亮度侧确定点和高亮度侧确定点。因此，在手动曝光控制期间，可以基于曝光评估值而不是曝光目标值来设置低亮度侧确定点和高亮度侧确定点。

上面已经描述了用于设置低亮度侧确定点和高亮度侧确定点以限定用于确定是否存在雾气/薄雾(即，用于检测在拍摄图像时是否存在雾气/薄雾)的亮度范围的构造。然而，代替设置低亮度侧确定点和高亮度侧确定点，也可以计算基于AE目标值的一定比率(例如，AE目标值的±10％)的直方图。在这种情况下，如果AE目标值的±10％的亮度分布与整个直方图的比率超过阈值，则确定存在雾气/薄雾。

在照相机单元被配设在能够使照相机单元在摇摄(pan)或倾斜方向上旋转的构造的情况下，当照相机单元在其旋转(转动/被驱动)的同时拍摄被摄体的图像时，基于来自转动图像(即，在照相机单元正被旋转/转动的同时拍摄的图像)的直方图来确定存在或不存在雾气/薄雾。在这种情况下，存在这样的可能性：可能会执行诸如对比度强调之类的无意或不必要的图像处理。

因此，作为第四示例性实施例，将描述考虑照相机单元的旋转(转动或者取向(orientation)的改变)的直方图确定处理。进行与上述示例性实施例中相同的处理的部分由相同的附图标记表示，并且省略其描述。

图9是示出根据本发明的第四示例性实施例的图像处理装置的构造示例的框图。图9所示的图像拾取装置100包括以图像拾取单元101能够相对于主体转动的方式来保持图像拾取单元101的保持单元(未示出)。图像拾取装置100还具有这样的构造，其中，转动控制单元901、转动角度确定单元902和转动速度确定单元903被添加到上述第一示例性实施例中的图1所示的图像拾取装置。

图10是示出根据本发明的第四示例性实施例的直方图确定处理的示例的流程图。图10的流程图示出了系统控制单元106通过执行各个处理块来控制图像拾取装置100的处理过程。处理以这样的方式实现，即，将存储在各个系统控制单元中包括的ROM中的程序加载到RAM中，并且由CPU执行程序。与图2所示的流程图相同的步骤由相同的步骤编号表示，并且省略其描述。

首先，在步骤S1001中，确定被构造为拍摄被摄体的图像的照相机单元是否被转动控制单元(取向控制单元)901旋转/转动/已经旋转/转动/正在被旋转/转动(即，被驱动以改变其在摇摄方向上的取向或位置，或者被驱动以改变其在倾斜方向上的取向或位置)。如果确定照相机单元被转动/已经被转动/正在被转动(步骤S1001中为“是”)，则处理进行到步骤S206。如果确定照相机单元没有被转动/尚未被转动/没有正在被转动(步骤S1001中为“否”)，则处理进行到步骤S201。

上面在第一示例性实施例中已经描述了后续步骤，因此省略其详细描述。

如上所述，在第四示例性实施例中，在照相机单元被转动/已经被转动/正在被转动的情况下，确定直方图指示不存在雾气/薄雾，或者不进行关于是否存在雾气/薄雾的确定。因此，即使在照相机单元被转动的情况下，也可以防止进行诸如对比度强调之类的无意的图像处理，并且防止错误地确定在照相机单元正在转动的同时拍摄的图像中的雾气/薄雾的存在/不存在。

在照相机单元以小的视角变化被转动的情况下，有时候更好的是继续基于转动图像的直方图来确定是否存在雾气/薄雾的处理。因此，在上述示例性实施例中，根据如图11的流程图所示的照相机单元的转动角度，可以采用不同的处理。在图11的流程图中，步骤S1002和S1003被添加到图10的流程图。与图10所示的流程图相同的步骤由相同的步骤编号表示，并且省略其描述。

首先，如果在步骤S1001中确定照相机单元被转动/已经被转动/正在被转动(步骤S1001中为“是”)，则处理进行到步骤S1002。如果确定照相机单元没有被转动/尚未被转动/没有正在被转动(步骤S1001中为“否”)，则处理进行到步骤S201。

在步骤S1002中，转动控制单元(取向控制单元)901计算照相机单元的转动角度(即，照相机单元的取向上的角度变化)，并且处理进行到步骤S1003。

在步骤S1003中，确定在步骤S1002中计算出的转动角度(即，角度变化)是否等于或大于预定阈值。如果确定转动角度等于或大于预定阈值(步骤S1003中为“是”)，则处理进行到步骤S206。如果转动角度小于预定阈值(步骤S1003中为“否”)，则处理进行到步骤S201。例如，可以基于例如在转动/旋转之前和之后获得的视角(即，观看角度)之间是否存在交叠部分(例如，当照相机具有30°的视角时，对于小于30°的转动角度可以存在交叠部分)来设置预定阈值。此外，可以通过手动用户操作来进行预定阈值的设置。

上面在第一示例性实施例中已经描述了后续步骤，因此省略其详细描述。

在照相机单元的转动速度较低的情况下，即使照相机单元以大的视角变化(即，大的转动角度)被转动，有时候更好的是继续基于转动图像的直方图来确定是否存在雾气/薄雾的处理。因此，在上述示例性实施例中，根据如图12的流程图所示的照相机单元的转动速度，可以采用不同的处理。在图12的流程图中，步骤S1004和S1005被添加到图11的流程图。与图11所示的流程图相同的步骤由相同的步骤编号表示，并且省略其描述。

首先，如果在步骤S1001中确定照相机单元被转动/已经被转动/正在被转动(步骤S1001中为“是”)，则处理进行到步骤S1002。如果确定照相机单元没有被转动/尚未被转动/没有正在被转动(步骤S1001中为“否”)，则处理进行到步骤S201。

在步骤S1002中，计算照相机单元的转动角度，并且在步骤S1003中确定计算出的转动角度是否等于或大于预定阈值。如果计算出的转动角度等于或大于预定阈值(步骤S1003中为“是”)，则处理进行到步骤S1004。如果计算出的转动角度小于阈值(步骤S1003中为“否”)，则处理进行到步骤S201。

在步骤S1004中，转动控制单元(取向控制单元)901计算照相机单元的转动速度(即，照相机单元旋转/转动/改变其取向的速度)，并且处理进行到步骤S1005。

在步骤S1005中，确定在步骤S1004中计算出的转动速度是否等于或大于预定阈值。如果计算出的转动速度等于或大于预定阈值(步骤S1005中为“是”)，则处理进行到步骤S206。如果计算出的转动速度小于预定的阈值(步骤S1005中为“否”)，则处理进行到步骤S201。作为预定阈值，例如，可以设置人眼不能跟随照相机单元的旋转的上述速度值(即，人的视觉不再能够识别出拍摄的图像中的被摄体的速度)。该处理使得可以在照相机单元以照相机单元能够被人眼跟随的低速度转动的情况下，基于直方图确定是否存在雾气/薄雾，而该处理跳过基于在照相机单元正在以照相机单元不能被人眼跟随(即，由于高速转动/旋转而导致人眼不能识别拍摄的图像中的被摄体)的高速转动的同时获得的图像的直方图确定是否存在雾气/薄雾。此外，用于基于照相机单元的旋转速度进行确定的预定阈值可以通过手动用户操作来设置或改变。

上面在第一示例性实施例中已经描述了后续步骤，因此省略其详细描述。

以上已经描述了本发明的示例性实施例。然而，本发明不限于上述示例性实施例，而是应在本发明的技术思想的范围内根据目标电路形式对其适当地进行修改。例如，可以理解的是，只要包括在(低亮度侧确定点与高亮度侧确定点之间的)亮度范围内的像素的数量与整个图像的像素的数量的比率可以被计算，就可以实现本发明的实施例，因此在某些实施例中可能不需要亮度直方图的检测/确定。另外，作为上述示例性实施例中的图像拾取装置而描述的照相机可以是数字静止相机和/或数字摄像机。

本发明还可以被实施为例如系统、装置、方法、计算机程序或记录介质。具体地，本发明可以由单个装置来实现，或者可以被应用于由多个装置组成的系统。构成根据示例性实施例的图像处理装置(其包括图像拾取装置)的各个单元以及用于图像处理/拾取装置的控制方法的各个步骤也可以通过操作存储在计算机等的存储器中的程序来实现。这样的计算机程序和记录该程序的计算机可读记录介质也包含在本发明中。

本发明也可以通过以如下方式的处理来实现：用于实现上述示例性实施例的一个或更多个功能的程序经由网络或存储介质被供给到系统或装置，并且，在系统或装置的计算机中的一个或更多个处理器读出并执行该程序。本发明还可以通过用于实现一个或多个功能的电路(例如，ASIC)来实现。

根据本发明，可以基于拍摄图像的直方图来确定(估计)是否存在雾气或薄雾，而不需要应用辅助光并拍摄多个图像。

其它实施例

本发明的(多个)实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或多个程序)，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，该系统或装置包括用于执行上述(多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，控制所述一个或多个电路以执行上述(多个)实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(RAM)，只读存储器(ROM)，分布式计算系统的存储器，光盘(例如，压缩盘(CD)，数字多功能光盘(DVD)，或蓝光光盘(BD)^TM)，闪速存储器装置，存储卡，等等。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。