成像方法与流程

1.发明领域

本发明涉及具有大对比度差异的对象的成像方法。

背景技术：

2.相关技术描述

在通过使用具有有限动态范围的成像元件来捕获具有大对比度差异的对象的图像的情况下，已知一种高动态范围(hdr)合成技术，其中通过将曝光与明亮对象区域相匹配来捕获图像一次，通过将曝光与暗对象区域相匹配再捕获图像一次，并且组合两次捕获的图像(参见日本未审查专利申请公开no.2016-49124(jp2016-49124a))。

技术实现要素：

在通过用强光照射快速变化的对象来执行成像的情况下，在对象区域之间出现大的对比度差异；然而，组合通过两次成像操作所获得的两个图像减少了每单位时间获取的图像的数量。

本发明提供一种成像方法，其通过尽可能多地抑制具有大对比度差异的对象上的高光溢出和遮挡阴影的出现来增加每单位时间获取的图像的数量。

本发明的第一方面涉及一种成像方法。该成像方法包括以第一波长带域中的光和具有强度高于第一波长带域的强度第二波长带域中的光的混合光从照射器照射对象；通过使用成像元件对用混合光照射的对象成像；和通过成像元件输出的对象的图像数据中的第一层图像数据和第二层图像数据的高动态范围合成生成合成图像数据。第一波长带域是与构成成像装置中的成像元件的多个像素中的每一个中设置的滤光器中具有第一透射波长特性的第一滤光器相关联的波长带域，并且第二波长带域是与具有不同于第一透射波长特性的第二透射波长特性的第二滤光器相关联的波长带域。第一层图像数据是基于设置有第一滤光器的像素的输出信号而生成的图像数据，并且第二层图像数据是基于设置有第二滤光器的像素的输出信号而生成的图像数据。

根据本发明的第一方面，通过一次成像操作，可以获得良好地再现相对明亮的对象区域的谐调(tone)的第一层图像数据和良好地再现相对较暗的对象区域的谐调的第二层图像数据。当第一层图像数据和第二层图像数据经历hdr合成时，可以获得其中减少了高光溢出和遮挡阴影的图像数据。由于可以通过一次成像操作获得一条图像数据，因此可以增加每单位时间获取的图像的数量。

本发明的第二方面涉及一种成像方法。该成像方法包括在光源和对象之间设置中间滤光器，该中间滤光器具有高于第一波长带域中的透射率的第二波长带域中的透射率；通过使用成像元件对用来自光源的由通过中间滤光器透射的照射光照射的对象进行成像；和通过成像元件输出的对象的图像数据中的第一层图像数据和第二层图像数据的高动态范围合成生成合成图像数据。第一波长带域是与构成成像装置中的成像元件的多个像素中的每一个中设置的滤光器中具有第一透射波长特性的第一滤光器相关联的波长带域，并且第二波长带域是与具有不同于第一透射波长特性的第二透射波长特性的第二滤光器相关联的波长带域。第一层图像数据是基于设置有第一滤光器的像素的输出信号而生成的图像数据，并且第二层图像数据是基于设置有第二滤光器的像素的输出信号而生成的图像数据。

根据本发明的第二方面，与第一方面一样，通过一次成像操作，可以获得良好地再现相对明亮的对象区域的谐调的第一层图像数据和良好地再现相对暗的对象区域的谐调的第二层图像数据。当对第一层图像数据和第二层图像数据进行hdr合成时，可以获得其中减少了高光溢出和遮挡阴影的图像数据。由于可以通过一次成像操作获得一条图像数据，因此可以增加每单位时间获取的图像的数量。

在根据本发明的第一方面和第二方面的每种成像方法中，第一滤光器可以是红色滤光器、绿色滤光器和蓝色滤光器中的一个，第二滤光器可以是红色滤光器，绿色滤光器和蓝色滤光器中与第一滤光器不同的滤光器，并且当通过第一层图像数据和第二层图像数据的高动态范围合成生成合成图像数据时，可以生成作为灰度图像数据的图像数据。通常，红色滤光器、绿色滤光器、和蓝色滤光器中的任何一个布置在成像单元中提供的成像元件的每个像素中，因此，可以通过利用在传输波长特性上的差异来使用通用成像单元。在本发明第一方面和第二方面的每种成像方法中，第一滤光器可以是绿色滤光器或蓝色滤光器，并且第二滤光器可以是红色滤光器。如上所述的结合在成像其中观察到米氏散射(miescattering)的微粒的情况下是理想的。

在根据本发明的第一方面和第二方面的每种成像方法中，特别地，该对象可以是内燃机的燃料喷雾。在对象是内燃机的燃料喷雾的情况下，如上所述的成像方法是有效的。当用光照射喷射的燃料时，发生米氏散射，并且首先观察到喷射的燃料为灰色阴影。因此，即使当设置在成像元件的像素中的滤光器用作透射特定波长带域的光的光量调节机构时，要产生的合成图像也不会引起不适感。

根据本发明的第一方面和第二方面，可以增加每单位时间获取的图像的数量，同时尽可能地在具有较大对比度差异的对象上抑制高光溢出和遮挡阴影的发生。

附图说明

下面将参照附图描述本发明示例性实施例的特征、优点以及技术和工业重要性，附图中相同的数字表示相同的元件，并且其中：

图1是示出根据第一实施例的成像系统的整体配置的示意图。

图2是示出系统配置的框图；

图3是示出成像元件的像素布置的图；

图4是示出滤光器的透射波长特性的曲线图。

图5是示出波长带域与照射光强度之间的关系的曲线图。

图6是示出根据第一实施例的对象的外观与两层图像之间的关系的图。

图7是示出线l中的hdr合成的结果的曲线图。

图8是示出根据第一实施例的一系列成像步骤的流程图。

图9是示出根据第二实施例的成像系统的整体配置的示意图。

图10是示出中间滤光器的透射波长特性的曲线图；和

图11是示出根据第二实施例的一系列成像步骤的流程图。

具体实施方式

在下文中，将通过实施例描述本发明，但是根据权利要求的本发明不限于以下实施例。实施例中描述的所有配置作为解决问题的手段不是必不可少的。

图1是示出根据第一实施例的成像系统100的整体配置的示意图。在第一实施例中，在内燃机900的内部，通过由挖空气缸的一部分并用钢化玻璃覆盖而形成的观察窗930，成像系统100对从阀910引入的燃料被雾化以通过被火花塞920点燃而爆炸的状态进行成像。期望通过薄膜涂层等对观察窗930的表面进行抗反射处理。

成像系统100主要包括成像单元200，闪光灯300，控制个人计算机(pc)400、和监视器500。成像单元200是对对象图像进行光电转换并输出图像数据的装置。成像单元200由三脚架810竖立，并且构成成像单元200的透镜210被引导至观察窗930。即，成像单元200被设置为对内燃机900的内部进行成像。成像单元200是成像装置的示例。

闪光灯300是产生用于照射对象的闪光灯的装置。闪光灯300由三脚架820竖立，并且从其发射照射光的照射窗310被引导到观察窗930。即，闪光灯300被设置为照射内燃机900的内部。闪光灯300是照射器的示例。

例如，控制pc400通过作为通用串行总线(usb)电缆的电缆610来控制成像单元200的成像处理，并获取从成像单元200输出的图像数据。成像单元200和控制pc400之间的连接可以是使用无线局域网(lan)等的无线连接，而不是使用电缆610的有线连接，或者可以是经由网络的远程连接。控制pc400通过作为usb电缆的电缆620来控制闪光灯300的发光定时和发光强度。闪光灯300和控制pc400之间的连接可以是使用无线lan等的无线连接，而不是使用电缆620的有线连接，或者可以是经由网络的远程连接。控制pc400处理所获取的图像数据以生成稍后描述的合成图像数据。细节将在后面描述。

监视器500例如是具有液晶面板的显示装置，通过电缆630接收从控制pc400发送的显示信号，并将显示信号转换为可视图像以显示图像。例如，如图所示，由成像单元200捕获的图像数据被可视化并作为显示图像510显示。监视器500和控制pc400之间的连接可以是使用无线lan等的无线连接，而不是使用电缆630的有线连接，或者可以是经由网络的远程连接。

图2是示出成像系统100的系统配置的框图。除了透镜210之外，成像单元200主要包括成像元件220，图像处理单元230，成像控制器240、以及输入和输出接口(if)250。透镜210在成像元件220的光接收表面上形成来自对象的光通量的图像。透镜210可以由多个透镜构成。

成像元件220例如是互补金属氧化物半导体(cmos)图像传感器，并且对形成在光接收表面上的光学图像进行光电转换以输出像素信号。从成像元件220输出的像素信号被递送到图像处理单元230。图像处理单元230对像素信号执行模拟数字(ad)转换，执行预定处理，并生成图像数据。

成像控制器240控制成像元件220的重置定时和电荷累积时间。通过图像处理单元230的图像数据生成和所生成的图像数据的输出也由成像控制器240控制。输入和输出if250是输入和输出接口，用于从控制pc400接收控制信号并将图像数据或响应信号发送到控制pc400。输入和输出if250例如是usb接口。由图像处理单元230生成的图像数据在成像控制器240的控制下从输入和输出if250输出到控制pc400。

除了照射窗310之外，闪光灯300主要包括光源320，光源控制器330、以及输入和输出if340。照射窗310是透射从光源320发射的照射光的光学面板。照射窗310可以具有使照射光漫射或会聚的光学功能。

光源320包括产生红光的r光源321，产生绿光的g光源322、和产生蓝光的b光源323。每个光源由例如高亮度发光二极管(led)构成。每个光源可以由多个led构成，并且在光源由led构成的情况下，各个颜色的光源可以交替地布置在平面中。从每个光源发射的照射光的强度由光源控制器330控制。光源控制器330根据从控制pc400通过输入和输出if340发送的控制信号来控制每种颜色的照射光的强度。

控制pc400主要包括作为中央处理单元(cpu)的控制计算单元410和例如作为usb接口的输入和输出if420。控制计算单元410通常控制成像系统100并处理从成像单元200获取的图像数据以生成合成图像数据。具体地，控制计算单元410包括层分离单元411和hdr合成单元412作为功能计算单元。层分离单元411针对与光学滤光器相关联的每个层图像数据分离从成像单元200获取的图像数据。hdr合成单元412对由层分离单元411分离的层图像数据执行插值处理和合成处理，以生成表示一个灰度图像的合成图像数据。稍后将描述具体处理。

控制计算单元410将从成像单元200获取的图像数据、所生成的合成图像数据等转换为显示信号，并通过输入和输出if420将显示信号发送到监视器500。控制计算单元410通过输入和输出if420将从成像单元200获取的图像数据、所生成的合成图像数据等存储在存储装置600中。存储装置600是非易失性存储介质，并且例如是硬盘驱动器(hdd)。存储装置600可以是连接到网络的一种数据中心。

图3是示出成像元件220的像素布置的图。成像元件220具有下述结构：其中具有作为光电转换元件的光电二极管(pd)作为主要构成元件的多个像素被二维地布置。在每个像素中，设置以红色、绿色、和蓝色中的任何一种着色的光学滤光器以覆盖pd。也就是说，光学滤光器是由红色滤光器，绿色滤光器和蓝色滤光器构成的rgb滤光器。例如，如图3中的放大部分所示，光学滤光器具有重复结构，该重复结构具有四个像素作为一组。在重复结构中，采用所谓的拜耳阵列，其中红色滤光器设置在左上像素中，蓝色滤光器设置在右下像素中，并且绿色滤光器设置在剩余的两个像素中的每一个中。

图4是示出成像元件220的光学滤光器的透射波长特性的曲线图。在图4中，横轴表示波长(nm)，纵轴表示透射率。每个rgb滤光器具有不同的透射波长特性。

如实线所示，蓝色滤光器具有主要透射400nm至500nm的波长并且在很大程度上阻挡其他波长的透射波长特性。如单点划线所示，绿色滤光器具有主要透射500nm至600nm波长并且在很大程度上阻挡其他波长的透射波长特性。如虚线所示，红色滤光器具有主要透射600nm至700nm的波长并且在很大程度上阻挡其他波长的传输波长特性。在第一实施例中，主要通过蓝色滤光器透射的波长为400nm至500nm的波长带域被设定为第一波长带域，并且主要通过红色滤光器透射的波长为600nm至700nm的波长带域被设定为第二波长带域。也就是说，第一波长带域与蓝色滤光器的透射波长特性相关，并且第二波长带域与红色滤光器的透射波长特性相关。

图5是示出由光源控制器330调节的光源320的照射光的波长带域与强度之间的关系的曲线图。在图5中，横轴表示波长(nm)，并且纵轴表示强度。

由实线表示的照射光b示出了从b光源323发射的照射光的波长带域与强度之间的关系。照射光b是与第一波长带域相关联的光并且在约450nm处具有峰值强度。由单点划线表示的照射光g示出了从g光源322发射的照射光的波长带域与强度之间的关系。照射光g在约550nm处具有峰值强度。由虚线表示的照射光r示出了从r光源321发射的照射光的波长带域与强度之间的关系。照射光r是与第二波长带域相关联的光，并且在约650nm处具有峰值强度。

从照射窗310发射的照射光是从b光源、g光源、和r光源的三个光源发射的光的混合光。如图所示，光源控制器330调节光源320的输出，使得第二波长带域的强度高于第一波长带域的强度。在图5的示例中，第二波长带域中约650nm处的峰值强度高于第一波长带域中约450nm处的峰值强度。各个波长带域之间的强度之间的比较可以基于各个波长带域中的峰值强度，并且可以基于包括在各个波长带域中的积分值。

图6是示出通过观察窗930观察的根据第一实施例的对象的外观与两层图像之间的关系的图。图6的上图示出了根据第一实施例的对象的外观。具体地，图6的上图示出了燃料从阀910引入并被雾化的状态。该状态相当于通过用均匀的白光照射对象并且通常地对对象成像而获得的虚像。

通常，内燃机的喷雾液滴的直径为约几μm至几十μm。当发射白色照射光时，发生米氏散射，并且观察到该状态为灰色阴影。另一方面，由于观察到的喷雾的对比度差异非常大，因此当通过使用具有有限动态范围的成像元件执行正常成像处理时，会发生高光溢出或遮挡阴影，并且作为结果，仅在图像的部分区域中检查谐调。可以执行hdr合成处理，其中利用不同的透镜光阑和不同的电荷累积时间执行来连续成像，获得曝光过度的图像和曝光不足的图像，并且图像叠加；然而，在喷射形状高速变化的情况下，在不同定时获取的图像之间必然会发生偏差。另外，每单位时间获取的图像数据的数量减半，这不适合于分析燃料喷雾的变化的目的。

在第一实施例中，通过发射调节后的照射光来执行成像，如图5所示。图6的下图示出了在如图5所示发射调节后的照射光的情况下，与图6的上图中所示的线l相关联的成像元件220的r像素的输出值和b像素的输出值。在图6中，横轴表示与线l相关联的像素位置，并且纵轴表示像素值。这里，假设每个像素的累积电荷量以8位输出。

由实线指示的b像素输出是通过绘制其中在图3所示的拜耳阵列中根据像素位置布置有蓝色滤光器的像素(b像素)而得的。如图4中所示，蓝色滤光器透射第一波长带域中的大部分光并阻挡其他带域中的光。因此，b像素主要接收从b光源323发射的照射光b的反射光。如上所述，照射光b的强度被调节为低。因此，可以理解的是，即使在正常成像处理中发生高光溢出的具有高喷雾密度的区域，也可以在没有高光溢出的情况下获得适当的谐调，但是在具有低喷雾密度的区域中，电荷不累积，并且发生遮挡阴影(像素值为0)。

由虚线指示的r像素输出是通过绘制其中在图3所示的拜耳阵列中根据像素位置布置有红色滤光器的像素(r像素)的像素值而获得的。如图4所示，红色滤光器透射第二波长带域中的大部分光并阻挡其他带域中的光。因此，r像素主要接收从r光源321发射的照射光r的反射光。如上所述，照射光r的强度被调节为高。因此，可以理解的是，在正常成像处理中发生遮挡阴影的左右区域中的每一个中，捕获具有低喷雾密度的图像，但是在具有高喷雾密度的区域中，电荷饱和并且高光溢出(像素值为255)。

在第一实施例中，生成通过从成像单元200输出的图像数据中分离并收集b像素的输出而获得的第一层图像数据，以及通过从成像单元200输出的图像数据中分离并收集r像素的输出而获得的第二层图像数据。在收集b像素的输出的情况下，省略与g像素和r像素的位置相关联的像素值，并且在收集r像素的输出的情况下，省略与g像素和b像素的位置相关联的像素值；然而，可以使用周围像素值来内插与省略位置相关联的像素值。

在正常彩色图像的情况下，如上所述表示的b层，g层和r层的像素值分别用作三原色的分布值；然而，在第一实施例中，b层和r层中的每一个被视为表示灰度图像的层。也就是说，第一层图像数据和第二层图像数据都被处理成亮度图像数据。然后，可以将第一层图像数据处理成利用曝光不足条件捕获的图像数据，并且可以将第二层图像数据处理成利用曝光过度条件捕获的图像数据。换句话说，当对第一层图像数据和第二层图像数据的两个图像数据进行hdr合成时，可以获得没有时滞并且高亮度区域和低亮度区域两者都富有谐调的图像。

图7是示出图6的线l中的hdr合成的结果的曲线图。在图7中，类似于图6的下图，横轴表示与线l相关联的像素位置，并且纵轴表示像素值。由于hdr合成技术中各种技术是已知的，因此省略了具体处理。然而，在低亮度区域中集中使用具有曝光不足状态的像素信息，并且在高亮度区域中集中使用具有过度曝光条件的像素信息。在图7的示例中，第一层图像数据的像素值集中用于高喷雾密度区域，并且第二层图像数据的像素值集中用于低喷雾密度区域。作为以上描述的结果，获得了高光溢出和遮挡阴影两者都被抑制的图像。

如上所述，hdr合成处理丢失了颜色信息；然而，由于在第一实施例中将燃料喷雾设定为对象，因此颜色信息首先不重要。因此，可以说根据第一实施例的hdr合成处理适合于阴影信息比颜色信息更有用的对象。

图8是示出根据第一实施例的一系列成像步骤的流程图。通过控制pc400的控制计算单元410顺序执行先前调整的程序来进行流程。

在步骤s101，控制计算单元410将用于调节强度的控制信号和用于开始光源320的照射的控制信号发送到光源控制器330。具体地，发送控制信号使得从r光源321发射的照射光r的强度高于从b光源323发射的照射光b的强度。强度的差异可以根据环境光的程度、对象本身的亮度、光电转换元件的特性等而改变。

当开始光源320的照射时，控制计算单元410进入步骤s102，并将用于开始成像的控制信号发送到成像控制器240。当接收到开始成像的控制信号时，成像控制器240使得成像元件220执行成像处理，使图像处理单元230执行图像处理，并将所生成的图像数据输出到控制pc400。控制pc400从成像单元200获取图像数据。可以通过用户操作开始按钮等来生成用于开始成像的触发器。

在步骤s103，控制计算单元410的层分离单元411将从成像单元200获取的图像数据分离成层。具体地，如上所述，b像素的输出被分离并收集作为第一层图像数据，并且r像素的输出被分离并收集作为第二层图像数据。在步骤s104，控制计算单元410的hdr合成单元412执行第一层图像数据和第二层图像数据的hdr合成。具体地，如上所述，通过使用第一层图像数据作为以曝光不足条件捕获的图像数据以及第二层图像数据作为以曝光过度条件捕获的图像数据来执行hdr合成。

在步骤s105，控制计算单元410将所生成的合成图像数据存储在存储装置600中，并将所生成的合成图像数据显示在监视器500上以进行视觉识别。所生成的合成图像数据是灰度图像数据，并且例如作为联合图像专家小组(jpeg)图像数据存储在存储装置600中。合成图像数据作为灰度图像显示在监视器500上。在连续执行成像的情况下，重复上述处理，并且在成像结束的情况下，停止闪光灯300的照射，并且结束一系列处理。

将描述第二实施例作为第一实施例的并行示例。图9是示出根据第二实施例的成像系统100’的整体配置的示意图。成像系统100’与成像系统100的不同之处在于，另外安装中间滤光器700并且使用闪光灯300’代替闪光灯300。由于其他配置与成像系统100的配置相同，所以给出相同的附图标记并省略描述。另外，由于除非另有说明，否则整个系统配置和成像元件的结构等基本相同，因此省略其描述。

闪光灯300’是下述装置：其中与闪光灯300相比，省略了独立调节rgb的每种颜色的强度的功能，并且发出均匀的白光。因此，关于光源320，光源控制器330根据来自控制计算单元410的指令控制白光的强度以及照射的开始和停止。

中间滤光器700由三脚架830竖立在闪光灯300’的照射窗310和内燃机900的观察窗930之间。中间滤光器700是具有相对于波长的调节的透射率的光学滤光器，并且转换入射的照射光的波长特性并发射所得的照射光。

图10是示出中间滤光器700的透射波长特性的曲线图。在图10中，横轴表示波长(nm)，并且纵轴表示透射率。如图所示，中间滤光器700在第一波长带域中具有相对小的透射率，该第一波长带域是主要由成像元件220的蓝色滤光器透射的波长为400nm至500nm的波长带域，并且在第二波长带域中具有相对高的透射率，该第二波长带域是主要由成像元件220的红色滤光器透射的波长为600nm至700nm的波长带域。即，设置中间滤光器700使得第二波长带域的透射率高于第一波长带域的透射率。

当通过如上所述设置的中间滤光器700用作为白光的照射光照射对象时，可以获得与通过调节成像系统100’的光源320的rgb的强度来执行照射的情况相同的效果。中间滤光器700不限于由三脚架830竖立的情况，并且可以安装在观察窗930的前面，或者观察窗930本身可以由具有上述特征的光学材料形成。

图11是示出使用成像系统100’的一系列成像步骤的流程图。在步骤s100中，用户等在闪光灯300’和内燃机900之间安装中间滤光器700。通过操作操作元件，用户等通知控制计算单元410安装完成。在步骤s101中，控制计算单元410向光源控制器330发送用于调节均匀白光强度的控制信号和用于开始光源320的照射的控制信号。由于步骤s102中的处理和后续步骤与图8中所示的流程的处理相同，将省略其描述。

在上述本发明的实施例中，在r层和b层的两层上执行hdr合成；然而，也可以使用g层来执行hdr合成。当g层也是合成的目标时，可能有更丰富的谐调表达。主要通过蓝色滤光器透射的波长为400nm至500nm的波长带域与第一波长带域相关联，并且主要通过红色滤光器透射的波长为600nm至700nm的波长带域与第二波长带域相关联；然而，组合可以根据对象的特性等而变化。例如，可以使主要由蓝色滤光器透射的波长为400nm至500nm的波长带域与第二波长带域相关联，使得蓝色波长带域中的照射光强烈地发射在对象上。在上述实施例中，第一波长带域和第二波长带域中的波长被设置为彼此不重叠；然而，第一波长带域和第二波长带域中的波长可以设置为彼此部分重叠。

在上述本发明的实施例中，已经描述了针对常用成像元件针对每个像素布置rgb滤光器的示例。另一方面，在除了rgb之外的光学滤光器以像素排列的情况下，可以根据所布置的透射波长特性来设置照射光的每种颜色的强度或中间滤光器的透射波长特性。

在上述本发明的实施例中，已经描述了成像系统100包括控制pc400，闪光灯300(闪光灯300’)连接到控制pc400，并且控制pc400控制整个系统的配置。另一方面，每个组成元件可以是独立的。例如，只要闪光灯300包括调节每种颜色的照射强度的调节旋钮和照射开始按钮，用户可操作调节旋钮和照射开始按钮以在开始一系列操作的情况下照射对象。只要仅由成像单元200执行直到生成图像数据的处理，用户可以向成像单元200给出成像开始指令，并且例如，可以通过存储卡将生成的图像数据传送到控制pc400。

在上述本发明的实施例中，已经描述了生成静止图像数据的情况；然而，可以通过对顺序获取的图像数据执行hdr合成处理来生成视频数据。根据本发明的实施例，在生成静止图像数据的情况下，可以增加每单位时间获取的图像数据的数量，并且在生成视频数据的情况下，可以增加帧速率。

在上述本发明的实施例中，作为与现有技术相比可以获得更大效果的示例，内燃机的燃料喷雾用作对象；然而，该目的不限于此。根据本发明实施例的成像方法对于具有大对比度差异的对象是有效的。