摄像控制装置的制造方法
【专利摘要】摄像系统(1)具备摄像控制装置(10)、摄像装置(20)及发光装置(30)。摄像控制装置(10)控制摄像装置(20)及发光装置(30)，其具备评价部(13)、受光调整部(14)及发光调整部(15)。评价部(13)对从摄像装置(20)输出的第1图像数据及第2图像数据各自的明亮度进行评价。受光调整部(14)根据明亮度评价结果，对利用摄像装置(20)进行摄像时的曝光时间、光圈值及增益中的任意方进行调整。发光调整部(15)根据评价结果，利用发光装置(30)发出第1波段及第2波段中的任意波段的光，并且调整其发光强度。
【专利说明】
摄像控制装置
技术领域
[0001 ]本发明涉及摄像控制装置。
【背景技术】
[0002]作为摄像装置，已知有如下这样的装置:输出第I图像数据并且输出第2图像数据，其中，该第I图像数据是接收第I波段的光进行摄像而得到的，该第2图像数据是接收第2波段的光进行摄像而得到的(参照专利文献I?3)。例如，第I波段为可见光区，第2波段为红外区。这样的摄像装置具备阵列配置有多个像素的受光部。各像素包含接收第I波段的光的第I受光元件、和接收第2波段的光的第2受光元件。第I受光元件及第2受光元件各自设置有使要接收的波段的光选择性地透过的滤光器。
[0003]这样的摄像装置具有如下的用途。拍摄人的肌肤来同时取得可见光区图像数据及红外区图像数据，且取两个图像数据之间的差分，由此，能够找出隐藏在该肌肤的斑点或皱纹。拍摄交叉点风景来同时取得可见光区图像数据及红外区图像数据，能够根据可见光区图像数据来识别信号的颜色，并且，能够根据红外区图像数据来检测步行者、障碍物等。
[0004]拍摄包含远景的风景来同时取得可见光区图像数据及红外区图像数据，将红外区图像数据的边缘成分附加于可见光区图像数据，由此能够使远景图像鲜明化。在暗处取得红外区图像数据来进行自动聚焦，能够取得对焦后的可见光图像数据。另外，同时取得可见光区图像数据及红外区图像数据，由此能够取得包含可见光区及红外区的彩色图像。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献I:日本特开2013 — 85215号公报
[0008]专利文献2:日本专利第4396684号公报
[0009]专利文献3:日本特开2012 — 242948号公报
【发明内容】
[0010]发明所要解决的问题
[0011]对于从摄像装置输出的图像数据的明亮度，能够利用曝光时间、光圈值及增益中的任意方来进行调整。在此，曝光时间是与受光相应地产生电荷且蓄积该电荷的时间。光圈值是对镜头的焦距除以镜头的有效口径而得到的值。另外，增益是将蓄积电荷量转换成输出电压值时的两者之比。
[0012]但是，一般而言，第I受光元件及第2受光元件各自的灵敏度彼此不同，受光的第I波段及第2波段各自的光的强度彼此不同，又因无法单独地设定第I受光元件及第2受光元件各自的曝光时间、光圈值或增益，因此，针对各种被摄体，难以使第I图像数据及第2图像数据各自的明亮度均成为适当范围。
[0013]例如，即使第I图像数据的明亮度处于适当范围，也有如下情况:在第2图像数据中很多像素饱和的情况;相反地，第2图像数据发暗且成为与噪声成分的大小相同程度的情况。在这些情况下，难以达成上述用途的目的。
[0014]本发明是为了解除上述问题点而提出的，其目的是提供一种摄像控制装置，该摄像控制装置能够针对各种被摄体使从摄像装置输出的第I图像数据及第2图像数据各自的明亮度均成为适当范围。另外，目的还在于，提供一种具备这样的摄像控制装置及摄像装置的摄像系统。
[0015]用于解决问题的手段
[0016]本发明的摄像控制装置控制摄像装置和发光装置，该摄像装置输出第I图像数据及第2图像数据，该第I图像数据是接收第I波段的光进行摄像而得到的，该第2图像数据是接收第2波段的光进行摄像而得到的，该发光装置发出上述第I波段或上述第2波段的光。本发明的摄像控制装置的特征在于，具备:(I)评价部，其对从摄像装置输出的第I图像数据及第2图像数据各自的明亮度进行评价；(2)受光调整部，其根据利用评价部所得到的评价结果，对由摄像装置进行摄像时的曝光时间、光圈值及增益中的任意方进行调整；(3)发光调整部，根据利用评价部所得到的明亮度评价结果，由发光装置发出第I波段及第2波段中的任意波段的光，并且调整其发光强度。此外，本发明的摄像控制装置的特征在于:通过利用受光调整部进行的摄像装置的曝光时间、光圈值及增益中的任意方的调整、以及利用发光调整部进行的发光装置的发光波段的选择及发光强度的调整，使得利用评价部所得到的第I图像数据及第2图像数据各自的明亮度评价值成为适当的值。
[0017]在本发明的摄像控制装置中，也可以是，评价部对第I图像数据及第2图像数据各自的明亮度评价值与阈值进行比较。在该情况下，受光调整部以使得第I图像数据及第2图像数据中的利用评价部所得到的明亮度评价值大于阈值的波段的图像数据的明亮度评价值成为适当的值的方式，对摄像装置的曝光时间、光圈值及增益中的任意方进行调整。另夕卜，发光调整部以使得第I图像数据及第2图像数据中的利用评价部所得到的明亮度评价值小于阈值的波段的图像数据的明亮度评价值成为适当的值的方式，调整发光装置的该波段的发光强度。
[0018]在本发明的摄像控制装置中，也可以是，评价部对第I图像数据及第2图像数据各自的明亮度评价值进行相互比较。在该情况下，受光调整部以使得第I图像数据及第2图像数据中的利用评价部所得到的明亮度评价值更大的波段的图像数据的明亮度评价值成为适当的值的方式，对摄像装置的曝光时间、光圈值及增益中的任意方进行调整。另外，发光调整部以使得第I图像数据及第2图像数据中的利用评价部所得到的明亮度评价值更小的波段的图像数据的明亮度评价值成为适当的值的方式，调整发光装置的该波段的发光强度。
[0019]在本发明的摄像控制装置中，也可以是，发光调整部以使图像数据中的饱和的像素数成为规定比例以下的方式，调整发光装置的发光强度。
[0020]本发明的摄像系统的特征在于，具备:(I)摄像装置，其输出第I图像数据及第2图像数据，该第I图像数据是接收第I波段的光进行摄像而得到的，该第2图像数据是接收第2波段的光进行摄像而得到的；(2)发光装置，其发出第I波段及第2波段中的任意波段的光，
(3)上述本发明的摄像控制装置，其控制摄像装置及发光装置。
[0021]发明效果
[0022]根据本发明，能够使针对各种被摄体从摄像装置输出的第I图像数据及第2图像数据各自的明亮度均成为适当范围。
【附图说明】
[0023]图1是表示具备本实施方式的摄像控制装置10的摄像系统I的结构的图。
[0024]图2是说明本实施方式的摄像控制装置10的动作的一例的流程图。
[0025]图3是说明本实施方式的摄像控制装置10的动作的一例的流程图。
[0026]图4是说明本实施方式的摄像控制装置10的动作的一例的流程图。
[0027]图5是说明本实施方式的摄像控制装置10的动作的一例的流程图。
【具体实施方式】
[0028]以下，参照附图，详细地说明用于实施本发明的方式。此外，在附图的说明中对相同要素标注相同标号，并省略重复说明。
[0029]图1是表示具备本实施方式的摄像控制装置10的摄像系统I的结构的图。摄像系统I具备摄像控制装置1、摄像装置20及发光装置30。
[0030]摄像装置20输出第I图像数据并且输出第2图像数据，所述第I图像数据是接收第I波段的光进行摄像而得到的，所述第2图像数据是接收第2波段的光进行摄像而得到的。摄像装置20具备阵列配置有多个像素的受光部。各像素包含接收第I波段的光的第I受光元件、和接收第2波段的光的第2受光元件。第I受光元件及第2受光元件各自设置有使要接收的波段的光选择性地透过的滤光器。
[0031 ]摄像装置20包含例如CXD传感器或CMOS传感器。在摄像装置20中，摄像时的曝光时间、光圈值及增益中的任意方是可变的。对于从摄像装置20输出的图像数据的明亮度，能够利用曝光时间、光圈值及增益中的任意方来进行调整。
[0032]发光装置30发出第I波段及第2波段中的任意波段的光。发光装置30包含第I发光部31、第2发光部32、第I驱动部33及第2驱动部34。第I发光部31发出第I波段的光。第2发光部32发出第2波段的光。第I驱动部33驱动第I发光部31的发光。第2驱动部34驱动第2发光部32的发光。
[0033]例如，第I发光部31及第2发光部32各自包含发光二极管。第I驱动部33通过调整向第I发光部31供给的驱动电流的大小，能够调整第I发光部31的发光强度。第2驱动部34通过调整向第2发光部32供给的驱动电流的大小，能够调整第2发光部32的发光强度。
[0034]第I波段及第2波段可以为可见光区、红外区及紫外区等的任意波段的组合。例如，第I波段及第2波段中，既可以一方为可见光区，另一方为红外区，也可以一方为可见光区，另一方为紫外区，还可以一方为可见光区中的短波长区，另一方为可见光区中的长波长区，另外，可以一方为近红外区，另一方为中红外区。
[0035]第I波段及第2波段也可以共同包含一部分的波段。第I波段或第2波段也可以包含多个部分波段，例如也可以为由红(R)、绿(G)、蓝(B)的各部分波段构成的可见光区。
[0036]摄像控制装置10对摄像装置20及发光装置30进行控制。摄像控制装置10具备输入部11、输出部12、评价部13、受光调整部14及发光调整部15。
[0037]输入部11输入从摄像装置20输出的第I图像数据及第2图像数据。对于从摄像装置20输出而输入至输入部11的第I图像数据及第2图像数据，既可以利用分别不同的信号线进行传送，也可以利用公共的信号线进行传送。后者的情况下，第I图像数据及第2图像数据利用公共的信号线以时间分割的方式从摄像装置20传送至输入部11，且被输入部11彼此分离。
[0038]输出部12将从输入部11输出的第I图像数据及第2图像数据输出至摄像控制装置10的外部。输出部12也可以将第I图像数据及第2图像数据以时间分割的方式输出至公共的输出信号线。另外，输入部11或输出部12也可以针对第I图像数据及第2图像数据的双方或任意一方进行图像处理。
[0039]评价部13对从摄像装置20输出而输入至输入部11的第I图像数据及第2图像数据各自的明亮度进行评价。利用评价部13所得到的评价值例如也可以为全体像素数据的平均值。另外，在第I波段或第2波段为由RGB的各部分波段构成的可见光区时，利用评价部13所得到的明亮度评价值例如也可以为从全体像素的RGB的各数据所计算出的亮度值的平均值。
[0040]受光调整部14根据利用评价部13所得到的明亮度评价结果，来调整利用摄像装置20进行摄像时的曝光时间、光圈值及增益中的任意方。受光调整部14既可以调整曝光时间、光圈值及增益中的任意一个，也可以调整任意两个，还可以调整全部。
[0041]发光调整部15根据利用评价部13所得到的明亮度评价结果，由发光装置30发出第I波段及第2波段中的任意波段的光，并且调整其发光强度。在由发光装置30发出第I波段的光时，发光调整部15对第I驱动部33发出指示，收到该指示的第I驱动部33驱动第I发光部31以指定强度发出第I波段的光。同样，在由发光装置30发出第2波段的光时，发光调整部15对第2驱动部34发出指示，收到该指示的第2驱动部34驱动第2发光部32以指定强度发出第2波段的光。
[0042]通过利用受光调整部14进行的摄像装置20的曝光时间、光圈值及增益中的任意方的调整、以及利用发光调整部15进行的发光装置30的发光波段的选择及发光强度的调整，使得利用评价部13所得到的第I图像数据及第2图像数据各自的明亮度评价值成为适当的值。
[0043]关于利用评价部13进行的第I图像数据及第2图像数据各自的明亮度的评价、利用受光调整部14进行的摄像装置20的曝光时间、光圈值及增益中的任意方的调整、以及利用发光调整部15进行的发光装置30的发光波段的选择及发光强度的调整，可以有各种形态。
[0044]例如，评价部13也可以对第I图像数据及第2图像数据各自的明亮度评价值与阈值进行比较。此时，受光调整部14以使得第I图像数据及第2图像数据中的利用评价部13所得到的明亮度评价值大于阈值的波段的图像数据的明亮度评价值成为适当的值的方式，对摄像装置20的曝光时间或增益进行调整。发光调整部15以使得第I图像数据及第2图像数据中的利用评价部13所得到的明亮度评价值小于阈值的波段的图像数据的明亮度评价值成为适当的值的方式，调整发光装置30的该波段的发光强度。
[0045]另外，评价部13也可以对第I图像数据及第2图像数据各自的明亮度评价值彼此进行比较。此时，受光调整部14以使得第I图像数据及第2图像数据中的利用评价部13所得到的明亮度评价值更大的波段的图像数据的明亮度评价值成为适当的值的方式，对摄像装置20的曝光时间或增益进行调整。发光调整部15以使得第I图像数据及第2图像数据中的利用评价部13所得到的明亮度评价值更小的波段的图像数据的明亮度评价值成为适当的值的方式，对发光装置30的该波段的发光强度进行调整。
[0046]另外，也可以是，如在非常暗的环境下的情况那样即使受光调整部14对摄像装置20的曝光时间、光圈值及增益中的任何一方进行调整也会是光量不足的情况下，评价部13利用发光调整部15对受光调整侧的波段的发光量进行调整。另外，也可以是，对受光调整侧、发光调整侧的波段的发光元件的双方进行同时调整。
[0047]另外，也可以是，发光调整部15以使图像数据中饱和的像素数成为规定比例以下的方式，对发光装置30的发光强度进行调整。
[0048]根据本实施方式，针对各种被摄体，可以使从摄像装置20输出的第I图像数据及第2图像数据各自的明亮度均处于适当范围。
[0049]图2至图5为说明本实施方式的摄像控制装置10的动作的一例的流程图。
[0050]如图2所示，首先，在步骤SlO中，被输入了第I图像数据及第2图像数据的评价部13根据该些数据，判断是否要进行利用受光调整部14进行的摄像装置20的曝光时间、光圈值及增益中的任意方的调整、以及利用发光调整部15进行的发光装置30的发光波段的选择及发光强度的调整中的任意处理。在此，当判断为要进行该些处理中的任意方时，进入步骤Sll，否则结束。
[0051]在步骤Sll中，评价部13判断要进行哪个处理。在此，当判断为要进行利用受光调整部14进行的摄像装置20的曝光时间、光圈值及增益中的任意方的调整时，进入步骤S20，当判断为要进行利用发光调整部15进行的发光装置30的发光波段的选择及发光强度的调整时，进入步骤S30。
[0052]在步骤S20中，评价部13被输入用于进行利用发光调整部15进行的发光装置30的发光波段的选择及发光强度的调整的发光调整用图像数据(第I图像数据及第2图像数据中的任意方)。接着，在步骤S21中，评价部13计算该发光调整用图像数据的明亮度。在步骤S22中，评价部13判断发光调整用图像数据的明亮度是否处于适当范围内，另外，在步骤S23中，判断发光调整用图像数据的明亮度比适当范围大或小。
[0053]当在步骤S22中判断为发光调整用图像数据的明亮度处于适当范围内时，在步骤S24中，检测发光调整用图像数据的饱和程度，若饱和程度大，则进行用于抑制此的处理。接着，在步骤S25中，评价部13存储发光调整用图像数据的波段及明亮度，结束发光调整处理。
[0054]当在步骤S23中判断为发光调整用图像数据的明亮度大于适当范围时，在步骤S26中，发光调整部15减少该波段的发光量。当在步骤S23中判断为发光调整用图像数据的明亮度小于适当范围时，在步骤S27中，发光调整部15增加该波段的发光量。在步骤S26、S27之后，返回步骤S20，重复上述处理，直到发光调整用图像数据的明亮度处于适当范围内为止。
[0055]在步骤S30中，评价部13被输入用于进行利用受光调整部14进行的摄像装置20的曝光时间或增益的调整的受光调整用图像数据(第I图像数据及第2图像数据中的任意方)。接着，在步骤S31中，评价部13计算该受光调整用图像数据的明亮度。在步骤S32中，评价部13判断受光调整用图像数据的明亮度是否处于适当范围内，另外，在步骤S33中，判断受光调整用图像数据的明亮度比适当范围大或小。
[0056]当在步骤S32中判断为受光调整用图像数据的明亮度处于适当范围内时，在步骤S35中，评价部13存储受光调整用图像数据的波段及明亮度并结束受光调整处理。
[0057]当在步骤S33中判断为受光调整用图像数据的明亮度大于适当范围时，在步骤S36中，受光调整部14缩短摄像装置20的曝光时间或增大光圈值或缩小增益。当在步骤S33中判断为受光调整用图像数据的明亮度小于适当范围时，在步骤S34中判定传感器的增益、快门、光圈值是否大于或小于给定的值。在步骤S34中当传感器的增益、快门小于给定的值且光圈值为给定的值以上时，在步骤S37中，受光调整部14使摄像装置20的曝光时间变长或缩小光圈值或增大增益。在步骤S34中，若传感器的增益、快门大于给定的值且光圈值为给定的值以下时，在步骤S38中增加受光调整侧的波段的发光元件的发光量。在步骤S36、S37之后，返回步骤S30，重复上述处理，直到受光调整用图像数据的明亮度处于适当范围内为止。
[0058]图2中的步骤S1的判定是以图3所示的顺序来进行。评价部13在步骤S40中被输入第I图像数据及第2图像数据，在步骤S41中计算第I图像数据及第2图像数据各自的明亮度，在步骤S42中取得针对各波段所存储的明亮度。在步骤S42中所取得的明亮度是在步骤S25、S35中存储的明亮度。
[0059]在步骤S43中，评价部13计算针对各波段所计算出的明亮度与所存储的明亮度之差(绝对值)。而且，评价部13判断在任意波段中计算出的明亮度与所存储的明亮度之差是否均为阈值以下。若是则结束处理。相反地，若在任意波段中所计算出的明亮度与所存储的明亮度之差大于阈值，则进入步骤SI I。
[0060]图2中的步骤S11的判定是以图4所示的顺序来进行。评价部13在步骤S50中被输入第I图像数据，在步骤S51中计算第I图像数据的明亮度，在步骤S52中判断第I图像数据的明亮度是否为阈值以上。而且，评价部13在第I图像数据的明亮度为阈值以上时，决定在步骤S53中针对第I波段进行受光调整处理，否则决定在步骤S54中针对第I波段进行发光调整处理。
[0061]另外，评价部13在步骤S60中被输入第2图像数据，在步骤S61中计算第2图像数据的明亮度，在步骤S62中判断第2图像数据的明亮度是否为阈值以上。而且，评价部13在第2图像数据的明亮度为阈值以上时，决定在步骤S63中针对第2波段进行受光调整处理，否则决定在步骤S64中针对第2波段进行发光调整处理。
[0062]在步骤S53、S63之后，当在步骤S70中判断为决定针对第I波段及第2波段的双方进行受光调整处理时，在步骤S71中，评价部13决定针对第I波段还进行发光调整处理。另外，在步骤S54、S64之后，当在步骤S73中判断为决定针对第I波段及第2波段的双方进行发光调整处理时，在步骤S74中，评价部13决定针对第I波段还进行受光调整处理。接收该些决定，进入步骤S20、S30。
[0063]图2中的步骤S24的发光调整用图像数据的饱和程度的检测及抑制的处理是以图5所示的顺序来进行的。评价部13在步骤S80中输入发光调整用图像数据，在步骤S81中求出发光调整用图像数据的各像素数据的直方图，在步骤S82中判断饱和的像素数是否为规定比例(x%)以下。当饱和的像素数大于规定比例时，在步骤S63中，发光调整部15减少发光装置30的发光量。然后，返回步骤S80，重复上述处理，直到饱和的像素数成为规定比例(x%)以下为止。若饱和的像素数成为规定比例(x%)以下，则进入步骤S25。
[0064]本发明并不限定于上述实施方式，而能够进行各种变形。使用图2至图5所说明的本实施方式的摄像控制装置10的动作为一例，作为本实施方式的摄像控制装置10的动作，可以有各种形态。
[0065]产业上的可利用性
[0066]可以应用于能够使针对各种被摄体从摄像装置输出的第I图像数据及第2图像数据各自的明亮度均处于适当范围的摄像控制装置及摄像系统的用途中。
[0067]标号说明
[0068]1:摄像系统；
[0069]10:摄像控制装置；
[0070]11:输入部；
[0071]12:输出部；
[0072]13:评价部；
[0073]14:受光调整部；
[0074]15:发光调整部；
[0075]20:摄像装置；
[0076]30:发光装置；
[0077]31:第I发光部；
[0078]32:第2发光部；
[0079]33:第I驱动部；
[0080]34:第2驱动部。
【主权项】
1.一种摄像控制装置，其控制摄像装置和发光装置，该摄像装置输出第I图像数据及第2图像数据，该第I图像数据是接收第I波段的光进行摄像而得到的，该第2图像数据是接收第2波段的光进行摄像而得到的，该发光装置发出上述第I波段或上述第2波段的光，该摄像控制装置的特征在于，具备: 评价部，其对从上述摄像装置输出的上述第I图像数据及上述第2图像数据各自的明亮度进行评价； 受光调整部，其根据利用上述评价部所得到的明亮度评价结果，对由上述摄像装置进行摄像时的曝光时间或增益进行调整；以及 发光调整部，其根据利用上述评价部所得到的明亮度评价结果，使上述发光装置发出上述第I波段及上述第2波段中的任意波段的光，并且调整其发光强度， 通过利用上述受光调整部进行的上述摄像装置的曝光时间、光圈值及增益中的任意方的调整、以及利用上述发光调整部进行的上述发光装置的发光波段的选择及发光强度的调整，使得利用上述评价部所得到的上述第I图像数据及上述第2图像数据各自的明亮度评价值成为适当的值。2.根据权利要求1所述的摄像控制装置，其特征在于， 上述评价部对上述第I图像数据及上述第2图像数据各自的明亮度评价值与阈值进行比较， 上述受光调整部以使得上述第I图像数据及上述第2图像数据中的利用上述评价部所得到的明亮度评价值大于上述阈值的波段的图像数据的明亮度评价值成为适当的值的方式，调整上述摄像装置的曝光时间或增益， 上述发光调整部以使得上述第I图像数据及上述第2图像数据中的利用上述评价部所得到的明亮度评价值小于上述阈值的波段的图像数据的明亮度评价值成为适当的值的方式，调整上述发光装置的该波段的发光强度。3.根据权利要求1所述的摄像控制装置，其特征在于， 上述评价部对上述第I图像数据及上述第2图像数据各自的明亮度评价值进行相互比较， 上述受光调整部以使得上述第I图像数据及上述第2图像数据中的利用上述评价部所得到的明亮度评价值更大的波段的图像数据的明亮度评价值成为适当的值的方式，调整上述摄像装置的曝光时间或增益， 上述发光调整部以使得上述第I图像数据及上述第2图像数据中的利用上述评价部所得到的明亮度评价值更小的波段的图像数据的明亮度评价值成为适当的值的方式，调整上述发光装置的该波段的发光强度。4.根据权利要求1所述的摄像控制装置，其特征在于， 上述发光调整部以使图像数据中的饱和的像素数量成为规定比例以下的方式，调整上述发光装置的发光强度。5.一种摄像系统，其特征在于，具备: 摄像装置，其输出第I图像数据及第2图像数据，该第I图像数据是接收第I波段的光进行摄像而得到的，该第2图像数据是接收第2波段的光进行摄像而得到的； 发光装置，其发出上述第I波段及上述第2波段中的任意波段的光；以及权利要求1至4中任意一项所述的摄像控制装置，其控制上述摄像装置及上述发光装置。
【文档编号】H04N5/235GK105850112SQ201480070287
【公开日】2016年8月10日
【申请日】2014年12月18日
【发明人】寺田敏彦, 户坂洋, 户坂洋一, 上园哲司, 铃木范, 铃木一范
【申请人】哉英电子股份有限公司