专利名称：成像设备的制作方法
技术领域：
本发明涉及成像设备。
背景技术：
拍摄户外图像等的广域监视摄像机主要要求以下三个条件。所要求的第一个条件是即使在对象由于雾、霭等而难以被看到的拍摄条件下也能够清楚地拍摄所关注的对象。 第二个条件是即使在具有低亮度的暗环境下也能拍摄对象。第三个条件是获得彩色图像， 因为在许多情况下通过诸如衣服的颜色的颜色信息进行识别可能是重要的。将要说明在使用具有过去的单芯片彩色摄像装置的摄像机的情况下，满足或不满足以上三个条件的状态。首先，将要解释第一条件。为了清楚地对对象成像，对象的反射光可以在没有减弱的状态下到达摄像机的摄像装置是很重要的。在对象的反射光行进到摄像机的空间中，存在空气( 分子等)、湿气(诸如雾)、气悬微粒(诸如烟雾、沙尘等)。这些物体对光进行散射并且妨碍清楚地拍摄。根据瑞利散射公式，在空气悬浮微粒小到直径0. 37nm的空气分子或烟雾的一部分的情况下，散射强度与光波长的负四次方成比例。此外，米氏理论(Mie theory)将适用于雾的颗粒尺寸约为直径IOOOnm到50 μ m等的情况，并且散射强度与光波长的约负二次方成比例。在波长400nm到700nm的可见光范围内，特别是蓝光或绿光的波长趋向于更加被散射，并且蓝光或绿光波长不会到达摄像机。因此，由接收可见光的摄像机拍摄的图像接近人眼可以看到的状态，并且远距离的对象将会由于低能见度而变得模糊。之后，将要解释第二条件。因为单芯片彩色摄像装置在光探测器前方安装有红色、 绿色、蓝色滤光片，所以光探测器对于红色、绿色和蓝色中每个颜色的敏感度将会比单色摄像装置的敏感度更低。为了补偿在具有低亮度的暗环境中成像的低敏感度，存在用于临时避免在摄像装置前方设置顶截止滤光片并且用于用红外光照射对象的方法(例如，夜景模式成像)。然而，在红外成像中，难以拍摄彩色图像，并且也难以改善灵敏度，这主要是因为在红外成像中它必须穿过在光探测器前方的红色、绿色和蓝色滤光片。另一方面，单芯片单色摄像装置能够比单芯片彩色摄像装置拍摄具有更高灵敏度和更高空间分辨率的图像。然而，因为单色摄像装置不能够获得颜色信息，所以上述第三条件不能够被满足。
发明内容
JP 2007-110209A公开了一种分别具有单色摄像装置和彩色摄像装置二者的成像设备，并且该成像设备还安装有用于对入射光进行分光并将所分出的光分别照射到单色摄像装置和彩色摄像装置上的光学元件。然而，根据JP 2007-110209A的光学元件是半透半反镜，以将入射光分为反射光和透射光，并且反射光和透射光的波长成分相同。因此，入射到单色摄像装置和彩色摄像装置上的光的波长成分相同。由于这个原因，因为单色摄像装
3置和彩色摄像装置都接收了具有可见光区域中的波长成分的光，所以在提取亮度信息时使用了包含可见光的图像数据。因此，因为在提取亮度信息时使用了包含可见光的图像数据， 所以JP 2007-110209具有不能满足上述第一条件来拍摄清晰的对象的问题。考虑到上述问题，期望提供一种新颖和改良的成像设备，并且该成像设备即使在物体由于雾霾而无法看到的拍摄条件下或者在具有低亮度的暗环境下也能够对对象进行拍摄，并且能够获得彩色图像。根据本发明的实施例，提供了一种成像设备，包括光学元件，其将来自对象的入射光分为仅由可见光区域中的波长成分构成的第一光以及不含有第一光并仅由可见光区域之外的波长成分构成的第二光；彩色摄像装置，其接收从光学元件照射的第一光；单色摄像装置，其接收从光学元件照射的第二光。该光学元件可以是反射第一光并且透射第二光的分光反射镜。如果彩色摄像装置和单色摄像装置的光学尺寸相同，那么优选地Mn彡Cn，其中彩色摄像装置的像素数目是Cn，单色摄像装置的像素数目是Mn。该成像设备，可以包括图像获取单元，其从彩色摄像装置获得彩色图像数据并且从单色摄像装置获取单色图像数据；颜色信息提取单元，其从彩色图像数据提取颜色信息； 亮度信息提取单元，其从单色图像数据提取亮度信息；合成单元，其将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。彩色摄像装置和单色摄像装置可以被定位为使得彩色图像数据的对象图像与单色图像数据的对象图像相一致。如上所述，根据本发明，可以在对象由于雾等而难以被看到的拍摄条件下或者在具有低亮度的暗环境下也能够清楚地拍摄所关注的对象，以获得彩色图像。
图1是用于示出根据本实施例的成像设备100的框图；图2是用于示出根据本实施例的光学系统101的示意图；图3是用于示出根据本发明的实施例的图像处理设备102的框图；图4是用于示出根据本实施例图像处理设备102的合成处理的流程图；图5是用于示出了在光谱反射镜152上反射的光的光谱反射率的图；图6是用于示出从光谱反射镜152投射的光的光谱透射率的图；图7是用于示出人体的视锥细胞(S、M、L)和视杆细胞(R)的视色素的吸收谱的图；图8是用于示出彩色摄像装置154的光谱灵敏度特性的图；图9是用于示出单色摄像装置156的光谱灵敏度特性的图；图10是用于示出根据瑞利散射公式的散射体积与波长之间的关系；图11是用于示出了单色摄像机和彩色摄像机的灵敏度和最大对象亮度的示例； 以及图12是用于示出了根据本发明的实施例的修改示例的成像设备200和图像处理设备102的框图。
具体实施例方式下文中，将会参照附图详细描述本发明的优选实施例。注意，在说明书和附图中， 具有基本相同功能的结构元件由相同的附图标记表示，并且省略这些结构元件的重复的解释。将要按照以下顺序给出说明1.实施例的构造和操作2.修改示例1.实施例的构造和操作[成像设备100]首先，将要说明根据本发明的实施例的成像设备100。成像设备100具有作为信号处理电路的内置的图像处理设备102。图1是用于解释根据实施例的成像设备100的框图。成像设备100例如包括光学系统101和图像处理设备102。光学系统101将彩色图像数据和单色图像数据分别发送到如图1所示的图像处理设备102。图2是用于示出根据实施例的光学系统101的示意图。图2示出了每个光学组件的概略外观和光路。光学系统101包括前透镜151、分光反射镜152、透镜组153、彩色摄像装置154、透镜组155和单色摄像装置156等。在光学系统101中，分光反射镜152将光进行分光，成为仅由可见光区域中的波长成分构成的第一光和不含有第一光并且仅由可见光区域之外的波长成分构成的第二光。彩色摄像装置1 接收从光学元件照射的第一光，并且单色摄像装置156接收从光学元件照射的第二光。前透镜151接收在对象上反射的光，使来自对象的光透射并折射，以将该光照射到分光反射镜152上。分光反射镜152在其表面上蒸镀了二向色(dichroic)膜。分光反射镜152反射可见光区域中的波长成分，诸如在入射光中的等于或小于675nm的波长区域中的波长成分， 并且使得在可见光区域之外的其他波长成分透过，诸如在入射光中的等于或大于675nm的近红外光波长成分。等于或小于675nm的波长成分透过透镜组153，照射到彩色摄像装置巧4上以形成图像。注意，用于由分光反射镜152分光的波长成分的阈值不限于675nm，并且可以是其他值。图5是用于示出在分光反射镜152上反射的光的反射光谱的图。如图5所示，分光反射镜152主要将等于或小于波长675nm的光引导到彩色摄像装置154。因为可以理解人眼的光谱灵敏度如图7所示，所以由彩色摄像装置154引导的光的波长可以主要在可见光区域中。图7是用于示出人体的视锥细胞(S、M、L)和视杆细胞(R)所含有的视色素的吸收光谱的图。图6是用于示出透过分光反射镜152的光的光谱透射率的图。如图6所示，分光反射镜152主要将等于或大于波长675nm的光引导到单色摄像装置156。参照图7，由单色摄像装置156引导的光的波长可以主要在可见光区域之外的区域中。注意，包括成像透镜的其他光学组件在400nm到IlOOnm的范围内的波长中有效地透射，并且不会遮挡到达彩色摄像装置巧4和单色摄像装置156的光。
作为彩色摄像装置IM和单色摄像装置156，可以使用各种类型的固态摄像装置， 诸如CXD固态摄像装置、MOS固态摄像装置、CMOS固态摄像装置等。彩色摄像装置IM是在光探测器前方安装有红色、绿色和蓝色滤光片、并且输出由红色成分、绿色成分和蓝色成分构成的彩色图像数据的摄像装置。单色摄像装置156是在光探测器前方没有安装彩色滤光片、并且输出由亮度信息构成的单色图像数据的摄像装置。图8是用于示出彩色摄像装置154的光谱灵敏度特性的图。可以理解已经如图5 所示在分光反射镜152上反射并入射到彩色摄像装置巧4上的波长的、等于或小于675nm 波长的波长区域与图8中示出的彩色摄像装置IM具有光谱灵敏度的区域相匹配。因此， 彩色摄像装置1 能够在没有损失的状态下捕获可见光。图9是用于示出单色摄像装置156的光谱灵敏度特性的图。如图9所示，虽然单色摄像装置156在可见光区域中表现出最大灵敏度，但是它仍然在波长675nm到IOOOnm的近红外光区域中具有有效的灵敏度。因此，单色摄像装置156可以接收波长等于或长于675nm 的波长成分，其中675nm波长比透过分光反射镜152并且入射到单色摄像装置156的可见光更长。彩色摄像装置IM和单色摄像装置156被定位为使得彩色图像数据的对象图像与单色图像数据的对象图像相匹配。可以通过机械方法、通过在图像合成时使用软件的方法或者通过使用这两种方法来执行用于匹配对象图像的定位。优选地，彩色摄像装置IM和单色摄像装置156的光学尺寸几乎相同。在这种构造中，在不特别调整的状态下，在由分光反射镜152分光的两个光学系统中视角、焦点深度和成像区域几乎相同是有优势的。在彩色摄像装置IM和单色摄像装置156的光学尺寸相同的情况下，构造将会满足Mn彡Cn，其中彩色摄像装置154的像素数目是Cn，单色摄像装置156的像素数目是Mn。 在这种构造中，因为彩色摄像装置154的像素数目Cn等于或小于单色摄像装置156的像素数目Mn，所以彩色摄像装置154的每个像素的尺寸比单色摄像装置156的每个像素的尺寸更大。因此，彩色摄像装置1 的灵敏度可以被设置得更高，从而相对于具有大的像素数目的其他彩色摄像装置改善了灵敏度。另一方面，单色摄像装置156的像素数目Mn很大，因此单色摄像装置156确保了高分辨率。[图像处理设备102的构造]首先，参照图3，将要给出根据本发明的实施例的图像处理设备102的构造。图3 是用于示出了根据本发明的实施例的图像处理设备102的框图。图像处理设备102从仅由可见光区域中的波长成分构成的彩色图像数据提取颜色信息，从不包括可见光区域的波长成分并且仅由可见光之外的波长成分构成的单色图像数据提取亮度信息，并且将颜色信息和亮度信息合成以产生图像数据。因为在提取亮度信息时不使用含有可见光的图像数据，所以这使得有可能获得其中清楚地显示对象的图像数据。图像处理设备102包括颜色图像数据获取单元112、单色图像数据获取单元114、 颜色信息提取单元122、亮度信息提取单元IM和合成单元130等。颜色图像数据获取单元112是获得作为使用彩色摄像装置进行摄像的结果而获得的彩色图像数据的图像获取单元的示例。彩色摄像装置是在光探测器前方安装有红色、
6绿色和蓝色滤光片并且输出由红色成分、绿色成分和蓝色成分构成的彩色图像数据的摄像
直ο如果从彩色摄像装置获得的彩色图像数据仅由可见光区域中的波长成分构成，彩色图像获取单元112将仅由可见光区域中的波长成分构成的彩色图像数据照原样发送到颜色信息提取单元122。另一方面，如果从彩色摄像装置获得的彩色图像数据含有除了可见光区域之外的红外光成分等的波长成分，那么彩色图像数据获取单元112移除可见光区域之外的波长成分，并且将仅由可见光区域中的波长成分构成的彩色图像数据发送到颜色信息提取单元122。通过从彩色图像数据移除诸如红外光成分等的波长成分，变得有可能获得可以由人类感知而接收到并且容易由人眼识别的彩色图像。单色图像数据获取单元114是图像获取单元的示例并且获得作为使用单色摄像装置进行摄像的结果而获得的单色图像数据。单色摄像装置是在光探测器前方没有安装有彩色滤光片并且输出由亮度信息构成的单色图像数据的摄像装置。因为单色摄像装置没有安装有彩色滤光片，所以其具有更高的灵敏度并且能够以比彩色摄像装置更高的空间分辨率来摄像。如果从单色摄像装置获得的单色图像数据由仅由可见光区域之外的波长成分构成，单色图像数据获取单元114将仅由可见光区域之外的波长成分构成的单色图像数据照原样发送到亮度信息提取单元124。另一方面，如果从单色摄像装置获得的单色图像数据含有可见光区域的波长成分，那么单色图像数据获取单元114移除可见光的波长成分，并且将仅由可见光区域之外的波长成分构成的单色图像数据发送到亮度信息提取单元124。通过从单色图像数据移除可见光成分，变得有可能获得其中物体即使在由于天气条件(诸如雾、霾等)而具有低视野清晰度的环境下也清楚的单色图像。上述彩色图像数据可以仅由等于或小于预定值(例如，675nm)的波长成分构成， 并且单色图像数据可以由等于或大于预定值(例如，675nm)的波长成分构成。注意，预定值不限于上述示例。例如，彩色图像数据可以含有在400nm到700nm的范围的波长成分，并且单色图像数据可以含有在700nm到IOOOnm的范围内的波长成分。此外，彩色图像数据可以含有下述波长成分这些波长成分在短波长侧的半值波长在420nm到460nm的范围内、在长波长侧的半值波长在eiOnm到650nm的范围内；单色图像数据可以含有下述波长成分这些波长成分在短波长侧的半值波长在650nm到750nm的范围内。颜色信息提取单元122将从彩色图像数据获取单元112的接收的彩色图像数据分解为亮度信息Yl和色差信息Cb和Cr，并且提取色差信息Cb和Cr，其中仅由可见光区域中的波长成分构成彩色图像数据。色差信息Cb和Cr是颜色信息的示例。颜色信息提取单元 122将所提取的色差信息Cb和Cr发送给合成单元130。亮度信息Yl不一定被发送到合成单元130，因为它不在合成单元130中用于合成处理。为了将其中每个RGB由8比特表示的彩色图像数据分解为亮度信息Yl和色差信息Cb和Cr，例如，可以使用以下数学公式1到3来将RGB信号转换为YCbCr信号。Yl = 0. 257R+0. 504G+0. 098B+16 (公式 1)Cb = -0. 148R-0. 291G+0. 439B+128 (公式 2)Cr = 0. 439R-0. 368G-0. 071B+128 (公式 3)
亮度信息提取单元1 提取从单色图像数据获取单元114接收的单色图像数据来作为亮度信息Y2，其中单色图像数据仅由除了可见光区域之外的波长成分构成。亮度信息提取单元1 将所提取的亮度信息Y2发送到合成单元130。合成单元130将从颜色信息提取单元122接收的色差信息Cb和Cr以及从亮度信息提取单元1 接收的亮度信息Y2合成，并且产生复合图像数据。为了通过将色差信息Cb 和Cr和亮度信息Y2合成而产生其中每个RGB由8比特表示的彩色复合图像数据，例如可以使用以下公式4到6来将YCbCr信号转换为RGB信号。R=L 164(Y2-16)-1. 596(Cr-128)(公式 4)G=L 164 (Y2-16) -0. 391 (Cb-128) _0· 813 (Cr-128) (公式 5)B=L 164 (Y2-16) -2. 018 (Cb-128)(公式 6)[图像处理设备102的操作]之后，参照图4，将会描述根据上述实施例的图像处理设备102的合成处理。图4 是用于示出根据实施例的图像处理设备102的合成处理的流程图。首先，图像处理设备102获得仅由可见光区域的波长成分构成的彩色图像数据以及仅由除了可见光区域之外的波长成分构成的单色图像数据(步骤Si)。之后，将彩色图像数据分解为亮度信息Yl以及色差信息Cb和Cr，色差信息Cb和 Cr是从彩色图像数据提取出来的。此外，从单色图像数据提取亮度信息Y2(步骤S2)。随后，将从彩色图像数据提取的色差信息Cb和Cr与从单色图像数据提取亮度信息Υ2合成，并且产生复合图像数据(步骤S3)。[本实施例的效果]通过例如将其应用到广域监视摄像机，本实施例的成像设备100可以获得最佳的结果。根据本实施例，可以对于广域监视摄像机满足以下三个条件。所要求的第一个条件是即使在对象由于雾、霭等而难以被看到的拍摄条件下也能够清楚地拍摄所关注的对象。第二个条件是即使在具有低亮度的暗环境下也能拍摄对象。 第三个条件是获得彩色图像，因为在许多情况下通过诸如衣服的颜色的颜色信息进行识别可能是重要的。首先，将要解释第一条件。为了清楚地对对象成像，对象的反射光可以在没有减弱的状态下到达摄像装置是很重要的。在本实施例中，因为亮度信号在图像分辨率上有影响， 所以使用了在比可见光更长的675nm到IOOOnm的范围内的波长的近红外光(NIR)。图10是用于示出根据瑞利散射公式的散射量与波长之间的关系的图。根据瑞利散射公式，在λ/π的情况下，散射强度与光波长的负四次方成比例。
权利要求
1.一种成像设备，包括光学元件，其将来自对象的入射光分为仅由可见光区域中的波长成分构成的第一光以及不含有第一光并仅由可见光区域之外的波长成分构成的第二光； 彩色摄像装置，其接收从所述光学元件照射的所述第一光；以及单色摄像装置，其接收从所述光学元件照射的所述第二光。
2.根据权利要求1所述的成像设备，其中，所述光学元件是反射所述第一光并且透射所述第二光的分光反射镜。
3.根据权利要求1所述的成像设备，其中，如果所述彩色摄像装置和所述单色摄像装置的光学尺寸相同，那么Mn ^ Cn，其中所述彩色摄像装置的像素数目是Cn，所述单色摄像装置的像素数目是Mn。
4.根据权利要求1所述的成像设备，包括图像获取单元，其从所述彩色摄像装置获得彩色图像数据，并从所述单色摄像装置获得单色图像数据；颜色信息提取单元，其从所述彩色图像数据提取颜色信息；亮度信息提取单元，其从所述单色图像数据提取亮度信息；以及合成单元，其将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。
5.根据权利要求4所述的成像设备，其中，所述彩色摄像装置和所述单色摄像装置被定位为使得所述彩色图像数据的对象图像与所述单色图像数据的对象图像相匹配。
全文摘要
提供了一种成像设备，包括光学元件，其将来自对象的入射光分为仅由可见光区域中的波长成分构成的第一光以及不含有第一光并仅由可见光区域之外的波长成分构成的第二光；彩色摄像装置，其接收从光学元件照射的第一光；以及单色摄像装置，其接收从光学元件照射的第二光。
文档编号H04N9/04GK102244789SQ201110119349
公开日2011年11月16日 申请日期2011年5月5日 优先权日2010年5月12日
发明者吉川功一 申请人:索尼公司