成像设备和成像方法与流程

文档序号:17291407发布日期:2019-04-03 03:59阅读:200来源:国知局
成像设备和成像方法与流程

本申请要求2016年8月18日提交的日本专利申请jp2016-160549的优先权,该申请的整个内容通过引用包含在本文中。

本技术涉及成像设备和成像方法,使得即使被摄对象移动,也能够生成不太模糊的宽动态范围图像。



背景技术:

成像设备包括诸如互补金属氧化物半导体(cmos)图像传感器或电荷耦合器件(ccd)图像传感器之类的固态图像传感器。这种固态图像传感器累积与入射光量对应的电荷,并进行光电变换,以输出对应于电荷的电信号。然而,光电变换器具有电荷累积量的上限。如果接收到一定量或者更多的光,那么累积电荷量达到饱和水平。具有一定水平的亮度或更高亮度的被摄对象区域被设定为饱和亮度水平,这即被称为所谓的发生(blowout)高亮区。例如,在ptl1中,于是,合成曝光时间不同的图像,以便生成宽动态范围图像。此外,在ptl2中,设置了配备偏振滤光器的像素,和未配备偏振滤光器的像素,从而通过进行一次成像,扩大动态范围。

[引文列表]

[专利文献]

[ptl1]jp2011-244309a

[ptl2]jp5562949b



技术实现要素:

[技术问题]

顺便提及,如果被摄对象或成像设备移动,那么较长的曝光时间导致拍摄图像具有更加显著的运动模糊。合成曝光时间不同的图像而得到的宽动态范围图像从而可能具有运动模糊。此外,在设置配备偏振滤光器的像素,和未配备偏振滤光器的像素的情况下,像素始终具有两种灵敏度。因而,不可能获得具有高分辨率的拍摄图像。

本技术的一个实施例从而提供一种能够进行重视不太可能导致运动模糊的动态范围的成像,同时变更待拍摄的图像的动态范围,此外在不需要扩大动态范围的情况下,获得具有高分辨率的拍摄图像的成像设备和成像方法。

[问题的解决方案]

本技术的第一实施例在于一种成像设备,包括:成像部分,所述成像部分包括根据入射光,生成像素信号的像素,所述像素包括具有预定偏振方向的偏振像素,和非偏振像素;和偏振旋转部分,所述偏振旋转部分设置在成像部分的入射面侧,并被配置成旋转入射光的偏振方向。

在本技术的一个实施例中,根据入射光,生成像素信号的成像部分的像素可包括具有预定偏振方向的偏振像素,和非偏振像素。在成像部分的入射面侧,可设置偏振旋转部分。偏振旋转部分可旋转入射光的偏振方向。偏振旋转部分可包括例如只透过入射光中的特定偏振波的偏振元件,和按给定角度旋转偏振元件的机构。偏振旋转部分可按照成像部分中的偏振像素的灵敏度可变的方式旋转偏振元件。偏振元件可以由电动机旋转,或者可以由用户的手手动旋转。

此外,成像设备可包括灵敏度检测部分和图像信号处理部分。灵敏度检测部分可检测成像部分中的偏振像素的灵敏度。例如,灵敏度检测部分可根据入射光的偏振方向,或者由偏振像素生成的像素信号,检测偏振像素的灵敏度。

在非偏振像素和偏振像素之间的灵敏度差大于阈值的情况下,图像信号处理部分可按照偏振元件的角度,或者由灵敏度检测部分检测的灵敏度,变更动态范围,从而生成拍摄图像的图像信号。例如,图像信号处理部分可基于由灵敏度检测部分检测的灵敏度,进行偏振像素的增益调整,通过利用经过增益调整的图像信号,进行图像合成,并生成与灵敏度对应的动态范围的图像信号。此外,在图像合成中,非偏振像素饱和的情况下,图像信号处理部分可把通过利用饱和的非偏振像素生成的拍摄图像的图像信号,切换成通过利用灵敏度比非偏振像素的灵敏度低的偏振像素生成的拍摄图像的图像信号。例如,图像信号处理部分可按照入射光,控制通过利用饱和的非偏振像素生成的拍摄图像的图像信号和通过利用具有低灵敏度的偏振像素生成的拍摄图像的图像信号之间的合成比,并把通过利用饱和的非偏振像素生成的拍摄图像的图像信号切换成通过利用具有低灵敏度的偏振像素生成的拍摄图像的图像信号。

在非偏振像素和偏振像素之间的灵敏度差可小于或等于阈值的情况下,图像信号处理部分可根据各个像素的像素信号,生成表示对应像素的图像的拍摄图像的图像信号。这种情况下,可以获得具有高分辨率的图像。

此外,可设置控制偏振旋转部分的控制部分。所述控制部分可按照使偏振像素的信号强度不饱和的方式,控制例如旋转偏振元件并旋转入射光的偏振方向的机构的驱动。此外,可以设置显示部分。所述显示部分可显示拍摄图像,和用于旋转入射光的偏振方向的操作的用户界面图像。此外,所述显示部分可显示表示偏振像素或非偏振像素的信号强度分布的图像。

本技术的第二实施例在于一种成像方法,包括:使入射光经偏振旋转部分入射在包括像素的成像部分上,和在与入射光的偏振方向的旋转位置对应的动态范围内,生成拍摄图像的图像信号,所述像素根据入射光,生成像素信号,并且包括具有预定偏振方向的偏振像素,和非偏振像素。

[发明的有益效果]

按照本技术的一个实施例,入射光入射在成像部分上。成像部分包括根据入射光,生成像素信号的像素。所述像素包括具有预定偏振方向的偏振像素,和非偏振像素。入射光的偏振方向由设置在成像部分的入射面侧的偏振旋转部分旋转。于是,旋转角度允许偏振像素具有与入射光的偏振方向对应的灵敏度,从而能够进行宽动态范围成像。通过根据偏振像素的灵敏度进行增益调整,并利用经过增益调整的图像信号,进行图像合成,可以生成不太可能具有运动模糊的宽动态范围拍摄图像。此外,偏振旋转部分旋转偏振方向,从而使得能够变更动态范围。另外,记载在这里的效果仅仅是例示效果,而不是限制性的。记载在这里的效果也可以是另外的效果。

附图说明

图1是例示成像设备的构成的示图。

图2是例示成像部分的构成的示图。

图3是图解说明成像设备的操作的流程图。

图4是图解说明成像设定处理的流程图。

图5是图解说明中断处理的流程图。

图6图解说明入射光、通过偏振元件的线性偏振光与成像部分之间的关系。

图7是例示偏振元件的旋转角度与成像部分中的偏振像素的灵敏度之间的关系的示图。

图8是说明增益调整和图像合成的示图。

图9是例示入射光和合成比之间的关系的示图。

图10是图解说明成像部分的具体例子的示图。

图11是图解说明图像信号处理部分的操作例子的示图。

图12是例示显示部分的显示画面的示图(在按面向分辨率的成像模式进行成像的情况下)。

图13是例示显示部分的显示画面的示图(在使被摄对象图像饱和的情况下)。

图14是例示显示部分的显示画面的示图(在扩大动态范围的情况下)。

图15是例示显示部分的显示画面的示图(在被摄对象较暗,出现过黑阴影(blockedupshadow)的情况下)。

图16是例示显示部分的显示画面的示图(在通过增大iso感光度,使拍摄图像更明亮的情况下)。

图17是例示显示部分的显示画面的示图(在扩大动态范围的情况下)。

图18是例示成像设备的另一种构成的示图。

图19是例示成像部分的另一种构成的示图。

图20是图解说明车辆控制系统的示意构成的例子的方框图。

图21是图解说明车外信息检测部分和成像部分的安装位置的例子的说明图。

具体实施方式

下面说明本技术的一个实施例。将按照以下顺序进行说明。

1.成像设备的构成

2.成像设备的操作

2-1.面向动态范围的成像操作和面向分辨率的成像操作

2-2.成像操作例子

3.成像设备的另一种构成

4.应用

<1.成像设备的构成>

图1例示成像设备的构成。成像设备10包括偏振旋转部分11、透镜系统部件12、成像部分13、图像信号处理部分14、显示部分15、图像保存部分16、用户接口部分17和控制部分20。

偏振旋转部分11设置在成像部分13的入射面侧。偏振旋转部分11只透过入射在偏振旋转部分11上的被摄对象光的特定偏振波,并使所述特定偏振波入射在成像部分13上。此外,偏振旋转部分11可以旋转透过的光的偏振面(下面称为“入射光的偏振方向”)。偏振方向旋转部分11例如包括偏振元件111和旋转驱动部分112。偏振元件111是生成线性偏振光的偏振元件,或者诸如包括例如线栅的偏振滤光器之类的线性偏振元件。旋转驱动部分112根据来自控制部分20的指令,驱动偏振元件111,并通过利用入射在成像部分13上的入射光的光轴方向作为旋转轴,旋转偏振元件111的偏振方向。旋转位置检测部分113检测偏振元件111的旋转位置,生成指示检测的旋转位置的旋转位置信息,并把生成的旋转位置信息输出给控制部分20。另外,偏振元件111不仅可以用旋转驱动部分112旋转,而且可以用手旋转。

透镜系统部件12包括聚焦透镜或变焦透镜、光圈机构等。此外,透镜系统部件12包括根据来自控制部分20的指令,驱动透镜和光圈机构的驱动部分。透镜系统部件12根据来自控制部分20的指令,控制聚焦透镜或变焦透镜的位置,从而在成像部分13的曝光面上形成被摄对象光学图像。透镜系统部件12根据来自控制部分20的指令,控制光圈的开度,从而调整被摄对象光的光量。另外,聚焦透镜或变焦透镜,以及光圈的位置可以通过用户操作机械移动。

成像部分13包括互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件(ccd)图像传感器等。此外,设置有以具有预定偏振方向的像素在屏幕上均匀的方式,每隔预定间隔排列在图像传感器的入射面上的偏振滤光器。图2例示成像部分的构成。图2例示在图像传感器131的入射面上,成像部分13包括偏振滤光器132的情况。在水平方向和垂直方向上,每隔一个像素,在偏振滤光器132上排列有具有预定偏振方向的像素。成像部分13把偏振像素的生成图像信号和非偏振像素的生成图像信号输出给图像信号处理部分14。另外,具有预定偏振方向(例如,“0°”的偏振方向)的像素被表示成偏振像素cp,而用于非偏振光的像素被表示成非偏振像素cn。

图像信号处理部分14对从成像部分13输出的图像信号,进行各种图像处理,比如降噪处理、增益调整处理、缺陷像素校正处理、去马赛克处理、颜色调整处理和分辨率变换处理。此外,图像信号处理部分14例如在非偏振像素和偏振像素之间的灵敏度差大于阈值的情况下,生成与入射在成像部分13上的入射光的偏振方向的旋转位置对应的动态范围的拍摄图像的图像信号。在所述灵敏度差大于阈值的情况下,图像信号处理部分14按照成像部分13的偏振像素的灵敏度,进行对于偏振像素的增益调整,并通过利用经过增益调整的图像信号,进行图像合成。图像信号处理部分14把处理后的图像信号输出给显示部分15和图像保存部分16。此外,图像信号处理部分14可根据从成像部分13输出的图像信号,生成指示非偏振像素组的信号强度分布,或者偏振像素组的信号强度分布的分析结果的信息,或者例如指示每个颜色分量的信号强度分布,或者亮度的信号强度分布的直方图,作为图像分析信息,并把生成的图像分析信息输出给显示部分15。另外,图像信号处理部分14根据来自控制部分20的控制,把显示信号叠加在图像信号上,然后把叠加的显示信号输出给显示部分15等。此外,在图像信号处理部分14进行灵敏度检测部分的操作的情况下,图像信号处理部分14根据从成像部分13供给的图像信号,计算成像部分13中的偏振像素的灵敏度、非偏振像素的灵敏度、或者偏振像素的灵敏度与非偏振像素的灵敏度之间的灵敏度差或灵敏度比。成像部分13中的偏振像素和非偏振像素的灵敏度意味被摄对象光经偏振旋转部分11入射到的成像部分中的偏振像素和非偏振像素的灵敏度。偏振像素的灵敏度按照偏振旋转部分11的偏振方向与偏振像素的偏振方向之间的关系而变化。图像信号处理部分14例如根据当通过偏振旋转部分11,对如此明亮,以致达不到像素饱和的被摄对象成像时的偏振像素和非偏振像素的信号强度,计算所述灵敏度和灵敏度差或灵敏度比。

显示部分15包括液晶显示器、有机电致发光(el)显示器等。显示部分15把拍摄图像和各种信息显示在屏幕上。例如,显示部分15根据从图像信号处理部分14输出的图像数据,在屏幕上显示预览图像。此外,当图像信号处理部分14再现记录在图像保存部分16上的图像时,显示部分15把再现的图像显示在屏幕上。此外,显示部分15显示菜单和信息。

图像保存部分16保存从图像信号处理部分14输出的图像数据,以及与图像数据相关的元数据(比如获取图像数据时的日期和时间等等)。图像保存部分16例如包括半导体存储器、光盘、硬盘(hd)等。图像保存部分16也可以固定地设置在成像设备10中,或者以可附接和拆卸的方式设置到成像设备10上。

用户接口部分17包括快门按钮、操作开关、触摸面板等。用户接口部分17生成与对于快门按钮、偏振滤光器旋转操作按钮、各种操作开关、触摸面板等的用户操作对应的操作信号,并把生成的操作信号输出给控制部分20。

控制部分20包括中央处理器(cpu)、只读存储器(rom)、随机存取存储器(ram)等。只读存储器(rom)保存由中央处理器(cpu)执行的各种程序。随机存取存储器(ram)保存诸如各种参数之类的信息。cpu执行保存在rom中的各种程序,根据来自用户接口部分17的操作信号,按照以与用户操作对应的操作模式,在成像设备10中进行成像操作的方式,控制各个部分。

在控制部分20进行灵敏度检测部分的操作的情况下,控制部分20根据来自偏振元件旋转部分11的旋转位置信息,用偏振元件旋转部分11的偏振元件111和成像部分13的偏振滤光器132,计算偏振方向的差异(偏振方向差异角)。此外,通过预先计算与偏振方向的差异对应的非偏振像素的灵敏度,可以根据旋转位置信息,计算偏振像素的灵敏度、灵敏度差或灵敏度比。控制部分20根据计算的偏振方向差异角,或者由图像信号处理部分14计算的偏振像素和非偏振像素之间的灵敏度差,判定是设定面向动态范围的成像模式还是面向分辨率的成像模式。在偏振方向差异角或者灵敏度差超过阈值的情况下,控制部分20判定设定面向动态范围的成像模式。在判定设定面向动态范围的成像模式的情况下,控制部分20使图像信号处理部分14按照偏振像素的灵敏度,进行增益调整,并通过利用经过增益调整的像素信号,和非偏振像素的像素信号,进行图像合成,从而生成宽动态范围的拍摄图像的图像信号。此外,在偏振方向差异角或者灵敏度差小于或等于阈值的情况下,控制部分20判定设定面向分辨率的成像模式,从而使图像信号处理部分14生成分辨率不被降低的拍摄图像的图像信号,而不进行与非偏振像素的灵敏度对应的增益调整,或者不进行图像合成。另外,作为所述阈值,设定例如接受拍摄图像中由偏振像素和非偏振像素之间的灵敏度差所导致的影响的最大值。

<2.成像设备的操作>

下面,说明成像设备的操作。图3是图解说明成像设备的操作的流程图。在步骤st1,控制部分进行成像设定处理。图4是图解说明成像设定处理的流程图。

在步骤st11,控制部分获取偏振元件状态信息。控制部分20从偏振旋转部分11的旋转位置检测部分113,获取指示偏振元件111的旋转位置的旋转位置信息,或者从图像信号处理部分14,获取偏振像素和非偏振像素之间的感光度差,然后进入步骤st12。

在步骤st12,控制部分判定灵敏度差是否超过阈值。在控制部分20获取旋转位置信息的情况下,控制部分20计算指示偏振旋转部分11中的偏振元件111的偏振方向相对于成像部分13中的偏振滤光器132的偏振方向的差异的偏振方向差异角。此外,控制部分20根据偏振方向差异角,计算偏振像素和非偏振像素之间的灵敏度差。在根据旋转位置信息计算的灵敏度差,或者从图像信号处理部分14获取的灵敏度差超过阈值的情况下,控制部分20进入步骤st13。在根据旋转位置信息计算的灵敏度差,或者从图像信号处理部分14获取的灵敏度差小于或等于阈值的情况下,控制部分20进入步骤st14。

在步骤st13,控制部分进行面向动态范围的成像模式设定处理。控制部分20按照被摄对象的亮度,设定成像部分13的曝光时间等。此外,控制部分20进行基于偏振像素和非偏振像素的灵敏度的增益控制,然后通过利用经过增益调整的图像信号,进行图像合成。控制部分20随后设定图像信号处理部分14的操作,以生成宽动态范围图像。另外,控制部分20还使图像信号处理部分14进行诸如降噪处理、缺陷像素校正处理、去马赛克处理、颜色调整处理和分辨率变换处理之类的各种图像处理,然后进入图3的步骤st2。

在步骤st14,控制部分进行面向分辨率的成像模式设定处理。控制部分20按照被摄对象的亮度,设定曝光时间等。另外,控制部分20还使图像信号处理部分14进行诸如降噪处理、缺陷像素校正处理、去马赛克处理、颜色调整处理和分辨率变换处理之类的各种图像处理,然后进入图3的步骤st2。

在步骤st2,控制部分进行预览图像显示处理。控制部分20根据步骤st1中的成像设定,控制成像部分13,使成像部分13生成图像信号。控制部分20把预览图像显示在显示部分15上,随后进入步骤st3。

在步骤st3,控制部分判定成像是否终止。在成像设备的操作模式未从对被摄对象成像并保存记录图像的操作模式切换到另一种操作模式的情况下,和在未进行终止操作,以终止成像设备的操作的情况下,控制部分20判定成像未终止。控制部分20随后返回步骤st1。此外,在进行了把操作模式切换成另一种操作模式的操作,或者终止操作的情况下,控制部分20终止操作。

在当控制部分进行从图3中图解所示的步骤st1到步骤st3的处理之时,进行快门操作的情况下,控制部分进行图5中图解所示的中断处理。在步骤st21,控制部分进行记录图像生成处理。在成像模式是面向动态范围的成像模式的情况下,控制部分20按面向动态范围的成像模式设定处理的成像设定,操作成像部分13和图像信号处理部分14,以生成宽动态范围图像的图像信号。此外,在成像模式是面向分辨率的成像模式的情况下,控制部分20按面向分辨率的成像模式设定处理的成像设定,驱动成像部分13,以生成偏振拍摄图像的图像信号。控制部分20生成具有宽动态范围或者分辨率未被降低的拍摄图像的图像信号,然后进入步骤st22。另外,面向动态范围的成像模式和面向分辨率的成像模式的成像操作将在下面说明。

在步骤st22,控制部分进行图像保存处理。控制部分20把在步骤st21生成的图像信号输出给图像信号处理部分14,并进行各种处理。控制部分20使图像保存部分16保存处理后的图像信号,然后终止所述中断处理。

<2-1.面向动态范围的成像操作和面向分辨率的成像操作>

下面,说明成像设备的面向动态范围的成像操作。图6图解说明入射光、透过偏振元件的线性偏振光与成像部分之间的关系。一旦入射光la入射在偏振元件111上,偏振元件111就透过线性偏振光lb,使线性偏振光lb入射在成像部分13上。此外,如果通过利用入射在成像部分13上的入射光的光轴方向作为旋转轴,旋转偏振元件111,那么线性偏振光lb的偏振方向变更。例如,在如在图6的a中图解所示,偏振元件111的旋转角度θ为“θ=0°”的情况下,线性偏振光lb的偏振方向等于成像部分13中的偏振像素cp的偏振方向。此外,在如在图6的b中图解所示,偏振元件111的旋转角度θ为“θ=45°”的情况下,线性偏振光lb的偏振方向与成像部分13中的偏振像素cp的偏振方向具有角度差。此外,在如在图6的c中图解所示,偏振元件111的旋转角度θ为“θ=90°”的情况下,线性偏振光lb的偏振方向与成像部分13中的偏振像素cp的偏振方向正交。

图7例示偏振元件的旋转角度与成像部分中的偏振像素的灵敏度之间的关系。通过如图6中图解所示,利用入射在成像部分13上的入射光的光轴方向作为旋转轴,偏振元件111是可旋转的。这里,在旋转偏振元件111,以变更偏振方向的情况下,成像部分13中的偏振像素cp的灵敏度按照图像传感器的旋转角度而变更。

例如,在偏振元件111的旋转角度θ为“θ=0°”的情况下,偏振方向为“0°”的偏振像素cp具有最大灵敏度(例如,0.5)。之后,随着偏振元件111的偏振方向的旋转,偏振像素cp的灵敏度降低。在偏振元件111的旋转角度θ为“θ=90°”的情况下,偏振像素cp具有最小灵敏度(例如,0)。此外,一旦偏振元件111的偏振方向被旋转,灵敏度就随着旋转增大。在偏振元件111的旋转角度θ为“θ=180°”的情况下,获得最大灵敏度(例如,0.5)。

控制部分20根据非偏振像素cn和偏振像素cp之间的灵敏度比,设定偏振像素cp的增益,然后把设定的增益输出给图像信号处理部分14。例如,在非偏振像素cn的灵敏度为“0.5”,并且偏振像素cp的灵敏度为“se”的情况下,灵敏度比“0.5/se”被设定为偏振像素cp的增益ganp,并输出给图像信号处理部分14。另外,灵敏度和灵敏度比可如上所述,由图像信号处理部分14计算。

图像信号处理部分14通过利用设定的增益,进行增益调整,并在增益调整之后进行图像合成。图8是说明增益调整和图像合成的示图。图8的a例示相对于入射光的偏振像素的信号强度。例如,在入射光具有亮度lr1的情况下,在信号强度imsat下,非偏振像素cn饱和。此外,在入射光具有比亮度lr1高的亮度lr2的情况下,在信号强度imsat下,偏振像素cp饱和。在非偏振像素cn饱和的情况下,图像信号处理部分14如在图8的b中图解所示,用与灵敏度对应的增益ganp放大偏振像素cp的像素信号,以进行图像合成。图像信号处理部分14从而可以生成即使在入射光具有比亮度lr1高的亮度的情况下,也不存在饱和的宽动态范围的图像信号。另外,根据来自成像部分13的图像信号的信号电平,可以判定入射光是否具有高于或等于亮度lr1的亮度。

此外,图像信号处理部分14可按照入射光(来自成像部分13的图像信号的信号电平),设定合成比,从而以基于非偏振像素cn的图像不显著地切换成经历偏振像素cp的增益调整的图像的方式,进行图像合成。图9例示入射光与合成比之间的关系。图像信号处理部分14在非偏振像素cn具有使非偏振像素cn饱和的亮度lr1之前,调整合成比。当非偏振像素cn具有使非偏振像素cn饱和的亮度lr1时,按照基于非偏振像素cn的图像被完全切换成经历偏振像素cp的增益调整的图像的方式,设定合成比。

图10图解说明成像部分的具体例子。成像部分13包括马赛克滤色器和在成像部分的入射面侧的偏振滤光器132。通过利用2x2像素作为颜色单元,马赛克滤色器采用bayer排列作为其颜色排列。在水平方向和垂直方向上,每隔一个像素,偏振滤光器132包括偏振像素。

图11图解说明图像信号处理部分的操作例子。图像信号处理部分14把在图11的a中图解所示的成像部分分割成在图11的b中图解所示的非偏振像素组,和在图11的c中图解所示的偏振像素组。图像信号处理部分14利用非偏振像素组的像素信号进行像素插值,并进行去马赛克处理。如在图11的d中图解所示,图像信号处理部分14生成各个颜色分量的拍摄图像(下面称为“非偏振像素组图像”)的图像信号。此外,图像信号处理部分14利用偏振像素的像素信号进行像素插值,并进行去马赛克处理。如在图11的e中图解所示,图像信号处理部分14生成各个颜色分量的拍摄图像(下面称为“偏振像素组图像”)的图像信号。另外,偏振像素组图像的灵敏度小于或等于非偏振像素组图像的灵敏度。图像信号处理部分14对于非偏振像素组图像的每个像素,判定图像信号是否饱和。在非偏振像素组图像的图像信号饱和的情况下,图像信号处理部分14利用以对应于感光度比的增益放大的在偏振像素组图像中的对应像素位置处的图像信号,按对应于入射光(非偏振像素的图像信号)的合成比进行图像合成,从而对于各个颜色分量,生成在图11的f中图解所示的具有宽动态范围的图像信号。

由于偏振像素和非偏振像素之间的灵敏度差落在容许范围之内,因此在面向分辨率的成像操作中,图像信号处理部分14利用各个像素的像素信号进行像素插值,并进行去马赛克处理,而不把成像部分分割成非偏振像素组和偏振像素组,并在不劣化分辨率的情况下,生成各个颜色分量的图像信号。

成像设备10进行这样的处理,从而仅仅通过旋转偏振元件111,就可以生成面向动态范围的拍摄图像或者面向分辨率的拍摄图像。此外,在生成面向动态范围的拍摄图像的情况下,可以生成具有相等的曝光时间,但是灵敏度不同的拍摄图像。因此,即使在对较暗的移动被摄对象成像的情况下,也可以生成不会因运动而模糊的宽动态范围图像。此外,可以通过旋转偏振元件111,调整偏振像素的灵敏度。因而,在面向动态范围的成像模式下,仅仅通过调整偏振元件111的旋转量,就可以生成期望的动态范围的图像。此外,还可以生成分辨率不被降低的拍摄图像。

<2-2.成像操作例子>

下面说明成像操作例子。图12-17都例示显示部分的显示画面。显示画面具有图像显示区151、非偏振像素组直方图显示区152、偏振像素组直方图显示区153和用户界面显示区154。

例如,根据从图像信号处理部分14输出的图像信号,预览图像或记录图像被显示在图像显示区151上。根据由图像信号处理部分14生成的图像分析信息,非偏振像素的信号强度直方图被显示在非偏振像素组直方图显示区152上。根据由图像信号处理部分14生成的图像分析信息,偏振像素的信号强度直方图被显示在偏振像素组直方图显示区153上。另外,也可以对于各个颜色分量,显示直方图,或者可以显示亮度直方图。用户界面显示区154具有用于设定偏振元件111的旋转位置的滑动块154a,和用于设定iso感光度的滑动块154b。另外,通过利用旋钮等,而不是滑动块,也可设定偏振元件111的旋转位置或者iso感光度。

图12例示其中旋转角度被设定为“0°”,并且按面向分辨率的成像模式进行成像的情况。显示在图像显示区151上的拍摄图像是不饱和的图像,但是具有适当的曝光,如在显示的直方图中所示。

图13例示其中在旋转角度被设定为“0°”,并且所有像素的灵敏度相同的状态下,被摄对象图像饱和的情况。例如,在天空非常明亮的情况下,天空区域的偏振像素和非偏振像素饱和,从而直方图在高信号强度等级下显示高度数。在这种情况下,旋转偏振元件111,以扩大动态范围。图14图解说明其中旋转偏振元件111,以扩大动态范围的情况。偏振元件111的旋转降低偏振像素的灵敏度。另外,偏振像素的降低的灵敏度降低偏振像素组的直方图中,在高信号强度等级下的度数。这样,如果偏振元件111被旋转,并且成像偏振像素的灵敏度被降低,那么成像模式切换到面向动态范围的成像模式。这种情况下,图像信号处理部分14合成基于非偏振像素的图像,和基于偏振像素的,并且已按照偏振像素的灵敏度经历增益调整的图像。显示在图像显示区151上的图像是未饱和的,但是具有宽动态范围的拍摄图像。

图15例示其中在旋转角度被设定为“0°”,并且所有像素的灵敏度相同的状态下,被摄对象较暗,出现过黑阴影的情况。例如,阴影较暗,阴影区中的偏振像素和非偏振像素具有最低信号强度,从而直方图在低信号强度等级下显示高度数。在这种情况下,提高iso感光度可使拍摄图像更明亮,如图16中图解所示。然而在一些情况下,提高iso感光度会使例如天空区域中的偏振像素和非偏振像素饱和。另外,提高iso感光度使直方图在高信号强度等级下显示较高度数。

这里,偏振元件111的旋转降低偏振像素的灵敏度。图17图解说明其中从图16中图解所示的偏振元件111,旋转偏振元件111,以扩大动态范围的情况。另外,偏振像素的降低的灵敏度降低偏振像素组的直方图中,在高信号强度等级下的度数。这样,如果偏振元件111被旋转,并且偏振像素的灵敏度被降低,那么成像模式切换到面向动态范围的成像模式。这种情况下,图像信号处理部分14合成基于非偏振像素的图像,和基于偏振像素的,并且已按照偏振像素的灵敏度经历增益调整的图像。显示在图像显示区151上的图像是未饱和的,但是具有宽动态范围的拍摄图像。

通过仅仅按照这种方式旋转偏振元件111,用户就可生成面向动态范围的拍摄图像或者面向分辨率的拍摄图像。此外,通过旋转偏振元件111,可以调整偏振像素的灵敏度。因而,在面向动态范围的成像模式下,仅仅通过调整偏振元件111的旋转量,就可以生成期望的动态范围的图像。此外,由于显示部分15显示用户界面图像,因此可以在屏幕上,变更入射在成像部分13上的入射光的偏振方向。此外,显示非偏振像素组直方图使得可以在屏幕上,检查像素是否饱和,以及动态范围是否必须被被扩大。此外,显示偏振像素组直方图使得可以在屏幕上,检查动态范围是否被最佳地扩大。例如,在偏振像素组直方图在最高信号强度等级下显示高度数的情况下,可以判定动态范围未被充分扩大。在最低信号强度等级下,度数较高的情况下,或者在高等级下的两个度数都为0的情况下,可以判定动态范围被过度扩大。

另外,图12-17的显示画面都是例子。例如,可以数值或图的形式,显示入射光的偏振方向,或者扩大的动态范围。此外,由于偏振元件111的旋转会变更偏振像素组的直方图,因此可以单独显示偏振像素组的直方图。

<3.成像设备的另一种构成>

在上述实施例中,例示了其中偏振旋转部分11被设置在透镜系统部件12的入射面侧的构成。然而,偏振旋转部分11只是必须被设置在位于成像部分13的入射面侧的位置处。图18例示了成像设备的另一种构成。成像设备10a包括在透镜系统部件12和成像部分13之间的偏振旋转部分11。

此外,成像部分的构成不限于如图10中图解所示的在2x2像素的颜色单元内,倾斜地设置偏振像素的情况。图19例示成像部分的另一种构成。图19的a图解说明在水平方向上,在2x2像素的颜色单元内设置偏振像素的情况。此外,图19的b例示成像部分13具有1个像素的颜色单元,垂直方向的2个像素是偏振像素,在水平方向上每隔一个像素,并在垂直方向上每隔2个像素地排列均由这2个像素组成的偏振像素块的情况。这样,如果采用1个像素的单元,作为颜色分量单元,那么与2x2像素的颜色分量单元相比,可以更均匀地排列颜色分量像素,从而改善画质。

此外,偏振旋转部分11中的偏振元件111不必通过用户操作来旋转,相反也可以按照由成像部分13生成的像素信号被自动旋转。例如,由图像信号处理部分14生成的图像分析信息可被输出给控制部分20,控制部分20可根据偏振像素组直方图,按照不使偏振像素饱和的方式,旋转偏振元件111。这种情况下,可以按照成像范围内的被摄对象,以不达到饱和的方式自动调整动态范围。

此外,偏振旋转部分11不必包括偏振元件111或旋转驱动部分112,相反也可利用如在jph10-268249a中公开的利用液晶元件的偏振旋转元件等的技术。例如,在成像部分的入射面侧,设置偏振元件。该偏振元件只透过入射光的特定偏振波。透过该偏振元件的偏振光由利用液晶元件的偏振旋转部分旋转。这种构成消除了旋转偏振元件111的任意机构,并且便利偏振方向旋转。

<4.应用>

按照本公开的实施例的技术可适用于各种产品。例如,按照本公开的实施例的技术不仅被实现成信息处理终端,而且被实现成安装在任意类型的移动物体(比如汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人机动设备(mobilities)、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机))上的设备。

图20是图解说明作为按照本公开的实施例的技术可适用于的移动物体控制系统的例子的车辆控制系统7000的示意构成例子的方框图。车辆控制系统7000包括通过通信网络7010连接的电子控制单元。在图20中例示的例子中,车辆控制系统7000包括驱动系控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。连接这些控制单元的通信网络7010可以是符合任意标准的车载通信网络,比如控制器局域网(can)、局部互连网络(lin)、局域网(lan)或者flexray(注册商标)。

各个控制单元包括按照各种程序,进行运算处理的微计算机、保存由微计算机执行的程序,用于各种运算的参数等的存储部分、和驱动经历各种控制的设备的驱动电路。各个控制单元包括用于通过通信网络7010,与其他控制单元通信的网络i/f,和用于通过有线通信或无线通信,与车辆内外的设备、传感器等通信的通信i/f。作为集成控制单元7600的功能构成,图20图解说明了微计算机7610、通用通信i/f7620、专用通信i/f7630、定位部分7640、信标接收部分7650、车载设备i/f7660、音频和图像输出部分7670、车载网络i/f7680和存储部分7690。各个其他控制单元类似地包括微计算机、通信i/f、存储部分等等。

驱动系控制单元7100按照各种程序,控制与车辆的驱动系相关的设备的操作。例如,驱动系控制单元7100起诸如内燃机或驱动电动机之类的产生车辆的驱动力的驱动力产生设备、把驱动力传递给车轮的驱动力传递机构、调整车辆的转向角的转向机构、产生车辆的制动力的制动设备等的控制设备的作用。驱动系控制单元7100可具有防抱死制动系统(abs)或电子稳定控制(esc)的控制设备的功能。

驱动系控制单元7100连接到车辆状态检测部分7110。车辆状态检测部分7110例如包括诸如检测车身的轴向旋转运动的角速度的陀螺传感器、检测车辆的加速度的加速度传感器、或者检测加速踏板的操作量、制动踏板的操作量、方向盘的方向盘转角、发动机转速、车轮转速等的传感器之类的传感器中的至少一个。驱动系控制单元7100利用从车辆状态检测部分7110输入的信号进行运算处理,从而控制内燃机、驱动电动机、电动助力转向设备、制动设备等。

车身系统控制单元7200按照各种程序,控制附着到车身的各种设备的操作。例如,车身系统控制单元7200起无钥匙进入系统、智能钥匙系统、电动车窗设备、或者诸如大灯、倒车灯、刹车灯、闪光警戒灯或雾灯之类的各种车灯的控制设备的作用。在这种情况下,车身系统控制单元7200可接收从代替钥匙起作用的便携式设备发送的无线电波,或者各种开关的信号。车身系统控制单元7200接收这些无线电波或信号,控制车辆门锁设备、电动车窗设备、车灯等。

电池控制单元7300按照各种程序,控制蓄电池7310。蓄电池7310充当驱动电动机的电力供给源。例如,电池控制单元7300从包括蓄电池7310的电池设备,接收诸如电池温度、电池输出电压或剩余电池电量之类的信息。电池控制单元7300利用这些信号进行运算处理,对蓄电池7310进行温度调整控制,或者控制包含在电池设备中的冷却设备等。

车外信息检测单元7400检测在包括车辆控制系统7000的车辆之外的信息。例如,车外信息检测单元7400连接到成像部分7410和车外信息检测部分7420中的至少一个。成像部分7410包括飞行时间(tof)摄像头、立体摄像头、单目摄像头、红外摄像头和其他摄像头中的至少一个。车外信息检测部分7420例如包括检测当前天气的环境传感器,和检测在包括车辆控制系统7000的车辆周围的另外车辆、障碍物、行人等的周围信息检测传感器中的至少一个。

环境传感器可以是例如检测雨天的雨滴传感器、检测雾的雾传感器、检测日照度的日照传感器、检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达设备及光检测和测距/激光成像检测和测距(lidar)设备中的至少一个。可以作为独立传感器或设备,或者作为其中集成多个传感器和设备的设备地安装这些成像部分7410和车外信息检测部分7420。

图21图解说明成像部分7410和车外信息检测部分7420的安装位置的例子。成像部分7910、7912、7914、7916和7918被设置在例如车辆7900的前鼻、外后视镜、后保险杠、后门和车厢内的挡风玻璃的上部中的至少一个的位置处。附着到前鼻的成像部分7910和附着到车厢内的挡风玻璃的上部的成像部分7918主要获取在车辆7900前方的区域的图像。附着到外后视镜的成像部分7912和7914主要获取在车辆7900的两侧的区域的图像。附着到后保险杠或后门的成像部分7916主要获取在车辆7900后方的区域的图像。附着到车厢内的挡风玻璃的上部的成像部分7918主要用于检测前车、行人、障碍物、交通信号灯、交通标志、车道等等。

另外,图21图解说明成像部分7910、7912、7914和7916的相应成像范围的例子。成像范围a表示附着到前鼻的成像部分7910的成像范围。成像范围b和c分别表示附着到外后视镜的成像部分7912和7914的成像范围。成像范围d表示附着到后保险杠或后门的成像部分7916的成像范围。例如,由成像部分7910、7912、7914和7916拍摄的重叠图像数据提供从上方看车辆7900的俯视图像。

附着到车辆7900的前面、后面、侧面、角落和车厢内的挡风玻璃的上部的车外信息检测部分7920、7922、7924、7926、7928和7930可以是例如超声波传感器或者雷达设备。附着到车辆7900的前鼻、后保险杠、后门和车厢内的挡风玻璃的上部的车外信息检测部分7920、7926和7930可以是例如lidar设备。这些车外信息检测部分7920~7930主要用于检测前车、行人、障碍物等。

下面将再参考图20,继续进行说明。车外信息检测单元7400使成像部分7410拍摄车外的图像,并接收拍摄的图像数据。此外,车外信息检测单元7400从连接的车外信息检测部分7420接收检测信息。在车外信息检测部分7420是超声波传感器、雷达设备或lidar设备的情况下,车外信息检测单元7400使超声波、无线电波等被传送,并接收所接收的反射波的信息。车外信息检测单元7400可根据接收的信息,进行检测诸如人、汽车、障碍物、交通标志或者路面上的文字之类的物体的处理,或者检测距离的处理。车外信息检测单元7400可根据接收的信息,进行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可根据接收的信息,计算到车外的物体的距离。

此外,车外信息检测单元7400可根据接收的图像数据,进行识别人、汽车、障碍物、交通标志、路面上的文字等的图像识别处理,或者检测距离的处理。车外信息检测单元7400可对接收的图像数据,进行失真校正处理、定位处理等,和合成由不同的成像部分7410拍摄的图像数据,从而生成俯视图或全景图像。车外信息检测单元7400可利用由其他成像部分7410拍摄的图像数据来进行视点变换处理。

车内信息检测单元7500检测车内的信息。车内信息检测单元7500例如连接到检测驾驶员的状态的驾驶员状态检测部分7510。驾驶员状态检测部分7510可包括对驾驶员成像的摄像头、检测驾驶员的生物信息的生物传感器、拾取车厢中的声音的麦克风,等等。生物传感器附着到例如座位表面、方向盘等,检测坐在座位上的乘客或者握着方向盘的驾驶员的生物信息。车内信息检测单元7500可根据从驾驶员状态检测部分7510输入的检测信息,计算驾驶员的疲劳度或者驾驶员的专心度,或者判定驾驶员是否打瞌睡。车内信息检测单元7500可对拾取的音频信号,进行诸如噪声消除处理之类的处理。

集成控制单元7600按照各种程序,控制车辆控制系统7000内的全部操作。集成控制单元7600连接到输入部分7800。输入部分7800被实现成乘客能够对其进行输入操作的设备,比如触摸面板、按钮、麦克风、开关或控制杆。集成控制单元7600可接收通过识别经麦克风输入的语音而获得的数据。输入部分7800可以是例如利用红外光或其他无线电波的遥控器,或者与车辆控制系统7000的操作对应的诸如移动电话机或个人数字助手(pda)之类的外部连接设备。输入部分7800例如可以是摄像头。这种情况下,乘客可通过手势,输入信息。或者,可以输入通过检测乘客所穿戴的可穿戴式设备的移动而获得的数据。此外,输入部分7800可包括例如根据乘客等利用上述输入部分7800输入的信息,生成输入信号,并把生成的输入信号输出给集成控制单元7600的输入控制电路等。乘客等操作该输入部分7800,从而把各种数据输入车辆控制系统7000,或者关于处理操作,向车辆控制系统7000作出指示。

存储部分7690可包括保存由微计算机执行的各种程序的只读存储器(rom),和保存各种参数、运算结果、传感器值等的随机存取存储器(ram)。此外,存储部分7690可被实现成磁存储设备,比如硬盘驱动器(hdd)、半导体存储设备、光存储设备、磁光存储设备,等等。

通用通信i/f7620是在外部环境7750中的各种设备之间的通信中,起中介作用的通用通信i/f。通用通信i/f7620可以实现诸如全球移动通信系统(gsm)、wimax、长期演进(lte)或lte-advanced(lte-a)之类的蜂窝通信协议,或者诸如无线lan(也被称为wi-fi(注册商标))或蓝牙(注册商标)之类的其他无线通信协议。例如通过基站或接入点,通用通信i/f7620可以连接到在外部网络(比如因特网、云网络、或者特定于服务提供方的网络)上的设备(比如应用服务器或控制服务器)。此外,例如利用对等(p2p)技术,通用通信i/f7620可以连接到在车辆附近的终端(比如驾驶员、行人或商店的终端、或者机器类型通信(mtc)终端)。

专用通信i/f7630是支持为了用于车辆而定义的通信协议的通信i/f。专用通信i/f7630可以实现诸如车辆环境中的无线接入(wave)(它是下层的ieee802.11p和上层的ieee1609的组合)、专用短程通信(dsrc)或蜂窝通信协议之类的标准协议。专用通信i/f7630一般进行v2x通信。v2x通信是包括车辆-车辆间通信、车辆-基础设施间通信、车辆-家间通信、以及车辆-行人间通信中的一个或多个的概念。

定位部分7640接收例如来自全球导航卫星系统(gnss)卫星的gnss信号(比如来自全球定位系统(gps)卫星的gps信号),以便定位,并生成包括车辆的纬度、经度和海拔高度的位置信息。另外,定位部分7640还可通过与无线接入点交换信号,识别当前位置,或者从诸如具有定位功能的移动电话机、phs或智能电话机之类的终端获取位置信息。

信标接收部分7650例如从安装在道路上的无线站等,接收无线电波或电磁波,并获取诸如当前位置、交通拥堵、封闭的道路、或者所需时间之类的信息。另外,信标接收部分7650的功能可被包含在上述专用通信i/f7630之中。

车载设备i/f7660是在微计算机7610与车辆中的各种车载设备7760之间的连接中,起中介作用的通信接口。车载设备i/f7660可利用诸如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线usb(wusb)之类的无线通信协议来建立无线连接。此外,车载设备i/f7660还可通过连接端子(未图示)(以及电缆,如果需要的话),建立诸如通用串行总线(usb)、高清多媒体接口(hdmi)或移动高清链接(mhl)之类的有线连接。车载设备7760例如可包括乘客的移动设备、乘客的可穿戴式设备、以及带入或附着到车辆上的信息设备中的至少一个。此外,车载设备7760还可包括搜索到任意目的地的路线的导航设备。车载设备i/f7660与这些车载设备7760交换控制信号或数据信号。

车载网络i/f7680是在微计算机7610与通信网络7010之间的通信中,起中介作用的接口。车载网络i/f7680按照由通信网络7010支持的预定协议,发送和接收信号等。

集成控制单元7600的微计算机7610根据通过通用通信i/f7620、专用通信i/f7630、定位部分7640、信标接收部分7650、车载设备i/f7660和车载网络i/f7680中的至少一个获取的信息,按照各种程序,控制车辆控制系统7000。例如,微计算机7610可根据获取的车辆内外的信息,计算驱动力产生设备、转向机构或制动设备的控制目标值,并向驱动系控制单元7100输出控制指令。例如,微计算机7610可进行协同控制,以便实现高级驾驶员辅助系统(adas)的功能,包括车辆防撞或冲击缓和、基于车辆间距离的跟随行驶、车辆定速行驶、车辆碰撞报警、车辆车道偏离报警等。此外,微计算机7610可根据获取的在车辆周围的区域的信息,控制驱动力产生设备、转向机构、制动设备等,从而为了允许车辆自主行驶,而不考虑驾驶员的任何操作的自动驾驶等目的,进行协同控制。

微计算机7610可根据通过通用通信i/f7620、专用通信i/f7630、定位部分7640、信标接收部分7650、车载设备i/f7660和车载网络i/f7680中的至少一个获取的信息,生成车辆与诸如附近的建筑物或人之类的物体之间的距离的三维距离信息,并创建包括车辆的当前位置的周围信息的本地地图信息。此外,微计算机7610可根据获取的信息,预测诸如车辆碰撞、逼近行人等、或者进入封闭道路之类的危险,并生成报警信号。报警信号例如可以是用于生成报警声音,或者开启报警灯的信号。

音频和图像输出部分7670向能够以视觉或听觉的方式,把信息通知车辆的乘客或车外的输出设备,发送声音和/或图像的输出信号。在图20的例子中,作为输出设备,例示了音频扬声器7710、显示部分7720和仪表板7730。例如,显示部分7720可包括车载显示器和抬头显示器中的至少一个。显示部分7720可具有增强现实(ar)显示功能。输出设备也可以是除这些设备以外的设备,比如头戴式耳机、乘客穿戴的诸如眼镜式显示器之类的可穿戴式设备、投影仪或者灯。在输出设备是显示设备的情况下,显示设备以诸如文本、图像、表格或图形之类的各种形式,视觉地显示由进行各种处理的微计算机7610获得的结果,或者从另外的控制单元接收的信息。此外,在输出设备是音频输出设备的情况下,音频输出设备把包括再现的音频数据、声音数据等的音频信号变换成模拟信号,然后听觉地输出所述模拟信号。

另外,在图20中图解所示的例子中,通过通信网络7010连接的至少两个控制单元可被集成为一个控制单元。或者,可作为多个控制单元地构成各个控制单元。此外,车辆控制系统7000还可包括未图示的另外的控制单元。此外,在上述说明中,由任意的控制单元执行的部分或全部功能可由另外的控制单元执行。即,只要信息是通过通信网络7010发送和接收的,预定的操作处理就可以由任意的控制单元进行。类似地,连接到任意控制单元的传感器或设备可以连接到另外的控制单元,并且控制单元可通过通信网络7010,往来于彼此发送和接收检测信息。

在上述车辆控制系统7000中,图1中图解所示的成像部分适用于成像部分7410、7910、7912、7914、7916和7918,或者这些成像部分中的任意一个,偏振旋转部分被设置到成像部分。此外,图像信号处理部分14和控制部分20被设置到在图20中图解所示的应用中的集成控制单元7600。这种构成使得能够获得面向动态范围的拍摄图像或者面向分辨率的拍摄图像。因而,获得的拍摄图像可用于驾驶辅助、驾驶控制等。

在上述车辆控制系统7000中,成像部分7410、7910、7912、7914、7916和7918都被配置成利用例如包括图2中图解所示的成像部分13的成像部分。此外,图像信号处理部分14被设置到在图29中图解所示的应用中的集成控制单元7600。这种构成使得即使使成像部分7410、7910、7912、7914、7916和7918更小和更薄,也能够获得高性能的拍摄图像。因而,获得的拍摄图像可用于驾驶辅助、驾驶控制等。另外,可在用于图29中图解所示的集成控制单元7600的模块(比如包括一个小片的集成电路模块)中,实现图像信号处理部分14。

记载在这里的一系列处理可以用硬件、软件或者它们的组合执行。在利用软件执行所述处理的情况下,可通过把其中记录处理序列的程序安装在嵌入专用硬件中的计算机的存储器中,执行所述处理,或者可通过把程序安装在能够执行各种处理的通用计算机中,执行所述处理。

例如,程序可被预先记录在作为记录介质的硬盘、固态驱动器(ssd)或只读存储器(rom)上。或者,程序可以临时或永久地保存(记录)在诸如软盘、光盘只读存储器(cd-rom)、磁光(mo)盘、数字通用光盘(dvd)、蓝光光盘(注册商标)(bd)、磁盘或半导体存储器卡之类的可拆卸记录介质之中(之上)。可以所谓的套装软件的形式,提供这样的可拆卸记录介质。

另外,程序不仅可以从可拆卸记录介质,安装到计算机上,而且可以通过诸如lan(局域网)或因特网之类的网络,无线或有线地从下载站点传送到计算机。在这样的计算机中,按照上述方式传送的程序可被接收,并安装在诸如内置硬件之类的记录介质上。

本领域的技术人员应明白,根据设计要求和其它因素,可以产生各种修改、组合、子组合和变更,只要它们在所附的权利要求或其等同物的范围之内。

另外,也可如下构成按照本技术的实施例的成像设备。

(1)一种成像设备,包括:

成像部分,所述成像部分包括根据入射光,生成像素信号的像素,所述像素包括具有预定偏振方向的偏振像素,和非偏振像素;和

偏振旋转部分,所述偏振旋转部分设置在成像部分的入射面侧,并被配置成旋转入射光的偏振方向。

(2)按照(1)所述的成像设备,还包括:

图像信号处理部分,所述图像信号处理部分被配置成生成与入射光的偏振方向的旋转位置对应的动态范围的拍摄图像的图像信号。

(3)按照(2)所述的成像设备,还包括:

灵敏度检测部分,所述灵敏度检测部分被配置成检测其灵敏度根据入射光的偏振方向与预定偏振方向之间的差异而变更的偏振像素的灵敏度,其中

在非偏振像素和偏振像素之间的灵敏度差大于阈值的情况下,图像信号处理部分生成与入射光的偏振方向的旋转位置对应的动态范围的拍摄图像的图像信号。

(4)按照(3)所述的成像设备,其中

图像信号处理部分根据由灵敏度检测部分检测的灵敏度,变更动态范围。

(5)按照(4)所述的成像设备,其中

图像信号处理部分基于由灵敏度检测部分检测的灵敏度,进行偏振像素的增益调整,通过利用经过增益调整的图像信号,进行图像合成,并生成与灵敏度对应的动态范围的图像信号。

(6)按照(5)所述的成像设备,其中

在图像合成中,非偏振像素饱和的情况下,图像信号处理部分把通过利用非偏振像素生成的拍摄图像的图像信号,切换成通过利用灵敏度比非偏振像素的灵敏度低的偏振像素生成的拍摄图像的图像信号。

(7)按照(6)所述的成像设备,其中

图像信号处理部分根据入射光,控制通过利用非偏振像素生成的拍摄图像的图像信号和通过利用偏振像素生成的拍摄图像的图像信号之间的合成比,并把通过利用非偏振像素生成的拍摄图像的图像信号切换成通过利用偏振像素生成的拍摄图像的图像信号。

(8)按照(3)-(7)任意之一所述的成像设备,其中

在非偏振像素和偏振像素之间的灵敏度差小于或等于阈值的情况下,图像信号处理部分基于各个像素的像素信号,生成表示对应像素的图像的拍摄图像的图像信号。

(9)按照(3)-(8)任意之一所述的成像设备,其中

灵敏度检测部分基于入射光的偏振方向的旋转位置,计算偏振像素的灵敏度。

(10)按照(3)-(8)任意之一所述的成像设备,其中

灵敏度检测部分基于由偏振像素生成的像素信号,计算偏振像素的灵敏度。

(11)按照(2)-(10)任意之一所述的成像设备,还包括:

显示部分,其中

所述显示部分显示拍摄图像,和用于旋转入射光的偏振方向的操作的用户界面图像。

(12)按照(11)所述的成像设备,其中

所述显示部分表示指示关于偏振像素或非偏振像素的信号强度分布的图像。

(13)按照(1)-(12)任意之一所述的成像设备,还包括:

控制部分,所述控制部分被配置成控制偏振旋转部分,其中

所述控制部分以使非偏振像素的信号强度不饱和的方式,旋转入射光的偏振方向。

(14)按照(1)-(13)任意之一所述的成像设备,其中

所述偏振旋转部分包括偏振元件和机构,所述偏振元件设置在成像部分的入射面侧,只透过入射光的特定偏振波,所述机构按任意角度旋转所述偏振元件。

[工业实用性]

按照本技术的一个实施例的成像设备和成像方法使入射光入射在成像部分上。成像部分包括基于入射光,生成像素信号的像素。所述像素包括具有预定偏振方向的偏振像素,和非偏振像素。设置在成像部分的入射面侧的偏振旋转部分旋转入射光的偏振方向。于是,偏振像素具有与入射光的偏振方向对应的灵敏度,从而可以进行宽动态范围成像。通过基于偏振像素的灵敏度进行增益调整,并利用经过增益调整的图像信号,进行图像合成,可以生成不太可能具有运动模糊的宽动态范围拍摄图像。此外,偏振旋转部分旋转偏振方向,从而使得能够变更动态范围。按照本技术的一个实施例的成像设备和成像方法从而适合于基于具有宽动态范围,并且不太可能具有运动模糊的拍摄图像,进行各种控制的设备。

[附图标记列表]

10,10a成像设备

11偏振旋转部分

12透镜系统部件

13成像部分

14图像信号处理部分

15显示部分

16图像保存部分

17用户接口部分

20控制部分

111偏振元件

112旋转驱动部分

113旋转位置检测部分

131图像传感器

132偏振滤光器

151图像显示区

152非偏振像素组直方图显示区

153偏振像素组直方图显示区

154用户界面显示区

154a,154b滑动块

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1