摄像设备、客户端设备、摄像系统及其控制方法
【技术领域】
[0001]本发明涉及摄像设备、客户端设备、摄像系统、用于控制该摄像设备的方法、用于控制该客户端设备的方法和用于控制该摄像系统的方法。特别地，本发明适用于用以使红外线截止滤波器相对于摄像光学系统的光路插入和退避的技术。
【背景技术】
[0002]—些传统的摄像设备能够通过使红外线截止滤波器相对于摄像光学系统的光路插入和退避来进行可见光拍摄和红外线拍摄，并且还能够通过提高白平衡调整所使用的颜色信号的增益来进行低照度拍摄(专利文献I)。
[0003]上述摄像设备通常被配置为在红外线截止滤波器插入摄像光学系统的光路的情况下进行可见光拍摄，并且在红外线截止滤波器从摄像光学系统的光路退避的情况下进行红外线拍摄。此外，上述摄像设备能够通过在提高白平衡调整所用的颜色信号的增益以提高感光度来减少红外线截止滤波器的插入和退避的次数。
[0004]此外，上述摄像设备能够通过减少红外线截止滤波器的不适当的插入和退避来减少由于红外线截止滤波器的移动而拍摄到的不期望图像。
[0005]引f列表
[0006]专利f献
[0007]专利文献1:日本特开2012-23606
【发明内容】
_8] 发明要解决的问题
[0009]然而，在上述的传统摄像设备中，在过度提高颜色信号的增益的情况下，在所拍摄图像中噪声变得明显。
[0010]诸如噪声等的上述干扰针对所拍摄图像以明显程度或出现频率的方式有所不同。因此，基于预先针对摄像设备所设置的固定亮度值无法均一地控制图像信号的增益。
[0011]为了处理这些问题，可以考虑被配置为在干扰在像面上变得明显之前使红外线截止滤波器从摄像光学系统的光路退避、然后进行红外线拍摄的摄像设备。然而，甚至这种摄像设备也无法在适当的时刻进行诸如高增益拍摄等的高感光度拍摄以及使红外线截止滤波器退避的红外线拍摄。
[0012]有鉴于上述问题，本发明涉及能够在适当的时刻进行诸如高增益拍摄等的高感光度拍摄以及使红外线截止滤波器退避的红外线拍摄的摄像设备。
_3] 用于解决问题的方案
[0014]根据本发明的方面其中之一，一种摄像设备，其经由网络与外部设备进行通信，所述摄像设备包括:摄像光学系统；红外线截止滤波器，用于使红外线光截止；插入退避单元，用于使所述红外线截止滤波器相对于所述摄像光学系统的光路进行插入和退避；图像传感器，用于对所述摄像光学系统所形成的被摄体的图像进行摄像；感光度提高单元，用于利用除使所述红外线截止滤波器从所述摄像光学系统的光路退避以外的方式，来提高从所述图像传感器输出的视频信号的增益；接收单元，用于经由所述网络从所述外部设备来接收描述与所述红外线截止滤波器的插入和退避有关的调整信息的调整命令，其中所述调整信息能够针对所述红外线截止滤波器插入所述光路的情况和所述红外线截止滤波器从所述光路退避的情况而单独地进行描述；以及控制单元，用于基于所述接收单元所接收到的所述调整命令，在相互不同的时刻分别控制所述感光度提高单元和所述插入退避单元。
[0015]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0016]图1是示出根据本发明的第一典型实施例的摄像设备的结构的框图。
[0017]图2A示出根据本发明的第一典型实施例的摄像设备接收到的命令中所使用的数据结构。
[0018]图2B示出根据本发明的第一典型实施例的摄像设备接收到的命令中所使用的数据结构。
[0019]图2C示出根据本发明的第一典型实施例的摄像设备接收到的命令中所使用的数据结构。
[0020]图2D示出根据本发明的第一典型实施例的摄像设备接收到的命令中所使用的数据结构。
[0021]图2E示出根据本发明的第一典型实施例的摄像设备接收到的命令中所使用的数据结构。
[0022]图3A示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0023]图3B示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0024]图3C示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0025]图4A示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0026]图4B示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0027]图4C示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0028]图5A示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0029]图5B示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0030]图6A是示出根据本发明的第一典型实施例的摄像设备中的操作示例的亮度的时间推移图。
[0031]图6B是示出根据本发明的第一典型实施例的摄像设备中的操作示例的亮度的时间推移图。
[0032]图7是示出根据本发明的第一典型实施例的摄像设备和客户端设备之间的控制和数据的流程的消息序列图。
[0033]图8A示出根据本发明的第一典型实施例的外部客户端的图形用户界面(GUI)的结构示例。
[0034]图8B示出根据本发明的第一典型实施例的外部客户端的GUI的结构示例。
[0035]图SC示出根据本发明的第一典型实施例的外部客户端的GUI的结构示例。
[0036]图9是示出根据本发明的第一典型实施例的客户端设备的结构的框图。
[0037]图1OA示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0038]图1OB示出根据本发明的第一典型实施例的摄像设备所接收到的命令的结构示例。
[0039]图11示出根据本发明的第一典型实施例的摄像设备所接收到的命令和摄像设备所发送的应答的结构示例。
[0040]图12A示出根据本发明的第一典型实施例的摄像设备所发送的应答的结构示例。
[0041]图12B示出根据本发明的第一典型实施例的摄像设备所发送的应答的结构示例。
[0042]图13是示出根据本发明的第一典型实施例的摄像设备所进行的红外线截止滤波器的插入和退避的流程图。
[0043]图14是示出根据本发明的第一典型实施例的摄像设备所进行的正常拍摄模式判断处理的流程图。
[0044]图15是示出根据本发明的第一典型实施例的摄像设备所进行的高感光度拍摄模式判断处理的流程图。
[0045]图16是示出根据本发明的第一典型实施例的摄像设备所进行的红外线拍摄模式判断处理的流程图。
[0046]图17是示出根据本发明的第一典型实施例的外部客户端所进行的自动红外线截止滤波器设置⑶I显示处理的一部分的流程图。
[0047]图18是示出根据本发明的第一典型实施例的外部客户端所进行的自动红外线截止滤波器设置⑶I显示处理的一部分的流程图。
[0048]图19是示出根据本发明的第一典型实施例的外部客户端所进行的自动红外线截止滤波器设置⑶I显示处理的一部分的流程图。
[0049]图20是示出根据本发明的第一典型实施例的外部客户端所进行的SetImagingSettings (设置摄像设置)命令发出处理的一部分的流程图。
[0050]图21是示出根据本发明的第一典型实施例的外部客户端所进行的SetImagingSettings命令发出处理的一部分的流程图。
[0051]图22是示出根据本发明的第一典型实施例的外部客户端所进行的SetImagingSettings命令发出处理的一部分的流程图。
【具体实施方式】
[0052]第一 A铟实施例
[0053]以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。根据本发明典型实施例的摄像设备是拍摄运动图像的监控照相机，并且更特别地是用于监控的网络照相机。
[0054]图1是示出根据本发明的第一典型实施例的摄像设备的结构的框图。参考图1，根据本典型实施例的摄像设备包括摄像光学系统2、红外线截止滤波器(以下还称为IRCF)4、图像传感器6、增益设置电路7、视频信号处理电路8、编码电路10和缓冲器12。
[0055]还参考图1，该摄像设备还包括通信电路(以下还称为I/F) 14、通信端子16、亮度测量电路18、判断电路20和计时器电路22。该摄像设备还包括图像传感器驱动电路23和红外线截止滤波器驱动电路(以下还称为IRCF驱动电路)24。
[0056]还参考图1，该摄像设备还包括中央处理单元(以下还称为CPU) 26和电可擦除可编程只读存储器(以下还称为EEPR0M)28。
[0057]以下参考图1来说明摄像设备的操作。图像传感器6经由摄像光学系统2和IRCF4接收来自要拍摄的被摄体的光线，并且将这些光线光电转换成视频信号。截止(遮挡)红外线光的IRCF 4被配置为基于来自IRCF驱动电路24的驱动信号，利用驱动机构(未示出)来相对于摄像光学系统2和图像传感器6之间的光路进行插入和退避。
[0058]根据本典型实施例的IRCF驱动电路24和驱动机构(未示出)对应于插入退避单元，其中该插入退避单元被配置为使IRCF 4相对于摄像光学系统2的光路插入和退避。
[0059]根据本典型实施例的摄像设备被配置为在IRCF 4插入光路的情况下进行正常拍摄(可见光拍摄)，在拍摄所用的图像亮度低的情况下进行高感光度拍摄，并且在IRCF 4从光路退避的情况下进行红外线拍摄。根据本典型实施例的正常拍摄等同于以正常感光度进行的拍摄操作。
[0060]根据本典型实施例的图像传感器6包括电荷耦合器件(CXD)传感器或互补金属氧化物半导体(CMOS)传感器。此外，根据本典型实施例的图像传感器6对应于摄像单元，其中该摄像单元被配置为拍摄摄像光学系统2所形成的被摄体的图像以输出视频信号。
[0061]此外，根据本典型实施例的正常拍摄(可见光拍摄)是指通过使来自被摄体的光经由IRCF 4入射到图像传感器6上所进行的拍摄操作。根据本典型实施例的红外线拍摄是指通过使来自被摄体的光在无需涉及IRCF 4的情况下入射到图像传感器6上所进行的拍摄操作。
[0062]根据本典型实施例的高感光度拍摄是指例如在利用增益设置电路7提高白平衡所使用的颜色信号的增益的情况下所进行的拍摄操作。以下可以将高感光度拍摄操作称为高颜色信号增益拍摄。
[0063]在进行输出视频信号的颜色平衡被破坏的红外线拍摄或高感光度拍摄的情况下，CPU 26将输入至视频信号处理电路8或编码电路10的视频信号转换成单色视频信号并且经由I/F 14发送该单色视频信号。将在这种情况下所进行的摄像设备的拍摄模式称为单色模式。
[0064]本典型实施例采用上述的高颜色信号增益拍摄作为高感光度拍摄。然而，本典型实施例可以采用其它结构或者高颜色信号增益拍摄和其它结构的组合作为高感光度拍摄。在高颜色信号增益拍摄期间所进行的摄像设备的模式对应于高颜色信号增益拍摄模式。
[0065]例如，可以通过根据图像传感器驱动电路23的操作延长图像传感器6处的光电转换所用的累积时间(光电累积时间)来进行高感光度拍摄。可以将这种拍摄操作称为低快门拍摄或低快门速度拍摄。在本典型实施例中，在低快门速度拍摄期间所进行的摄像设备的模式对应于累积时间控制拍摄模式。
[0066]此外，可以通过使用视频信号处理电路8中所包括的像素存储器(图1中未示出)和相加电路(图1中未示出)在多个帧内对来自同一像素的信号进行相加来进行高感光度拍摄。可以将这种操作称为多帧相加拍摄。在本典型实施例中，在多帧相加拍摄期间所进行的摄像设备的模式对应于多帧相加拍摄模式。
[0067]如上所述，根据本典型实施例的摄像设备还可以通过组合上述的高颜色信号增益拍摄、慢快门拍摄和多帧相加拍摄中的任何两个拍摄方法来进行高感光度拍摄。另外，根据本典型实施例的摄像设备还可以通过组合上述所有的高颜色信号增益拍摄、慢快门拍摄和多帧相加拍摄来进行高感光度拍摄。
[0068]在进行正常拍摄的情况下，在重视从图像传感器6输出的视频信号的颜色再现性的状态下，CPU 26将从图像传感器6输出的视频信号转换成彩色视频信号并且经由I/F 14发送该彩色视频信号。将在这种情况下所进行的摄像设备的拍摄模式称为彩色模式。
[0069]在本典型实施例中，在进行红外线拍摄的情况下，CPU 26指示视频信号处理电路8仅将亮度信号输出至编码电路10。编码电路10将编码后的亮度信号输出至缓冲器12。I/F 14从缓冲器12接收编码后的亮度信号并将所接收到的亮度信号转换成包，其中这些包经由通信端子16被发送至外部客户端(图1中未示出)。
[0070]另一方面，在进行正常拍摄的情况下，CPU 26指示视频信号处理电路8将亮度信号和色差信号输出至编码电路10。然后，同样将从编码电路10输出的编码后的视频信号经由缓冲器12、I/F 14和通信端子16发送至外部客户端。
[0071]根据本典型实施例的通信端子16包括可连接至局域网(LAN)线缆的端子(LAN端子)O
[0072]I/F 14可以从外部客户端接收与IRCF 4的插入和退避有关的设置命令。根据本典型实施例的摄像设备和外部客户端构成摄像系统。
[0073]在外部客户端发送了用以使IRCF 4插入光路的插入指示命令的情况下，该插入指示命令在I/F 14中经过适当的包处理，然后被输入至CPU 26。CPU26解释该插入指示命令，然后令IRCF驱动电路24使IRCF 4插入光路。
[0074]插入指示命令例如是以下所述的、IrCutFilter (红外线截止滤波器)字段的值被设置为On (开启)的SetImagingSettings命令。
[0075]此外，在外部客户端发送了用以使IRCF 4从光路退避的退避指示命令的情况下，该退避指示命令在I/F 14中经过适当的包处理，然后被输入至CPU26。CPU 26解释该退避指示命令，然后令IRCF驱动电路24使IRCF 4从光路退避。
[0076]在本典型实施例中，外部客户端(未示出)被配置为能够发送用以进行如下设置的命令，其中该设置使得根据本典型实施例的摄像设备能够确定IRCF4从光路的退避。将该命令例如称为针对Auto (自动)设置的命令。
[0077]针对Auto设置的命令(Auto设置命令)例如是以下所述的、IrCutFilter字段的值被设置为Auto的SetImagingSettings命令。
[0078]在本典型实施例中，Auto设置命令具有可以向该Auto设置命令中所包括的选项字段添加与IRCF 4的插入和退避有关的可省略的操作参数的结构。
[0079]本典型实施例中的可省略的操作参数例如是根据本典型实施例的摄像设备根据被摄体亮度的变化来判断是使IRCF 4插入光路、进行高感光度拍摄还是使IRCF 4从光路退避所使用的亮度阈值。
[0080]Auto设置命令中所包括的选项字段例如是以下所述的IrCutFilterAutoAdjustment (红外线截止滤波器自动调整)字段。亮度阈值(参数)例如是以下所述的BoundaryOffset (边界偏移)字段的值。
[0081]如果上述参数存在于Auto设置命令内包括的选项字段中，则图1的CPU26将相应的阈值设置到判断电路20。亮度测量电路18基于从视频信号处理电路8输出的亮度信号来测量当前被摄体亮度，并且将测量结果输出至判断电路20。因而，根据本典型实施例的亮度测量电路18对应于被配置为测量被摄体亮度的测光单元。
[0082]根据本典型实施例的CPU 26例如可被配置为通过将亮度阈值参数与预先存储在EEPROM 28中的阈值信息相加来计算阈值，并且将所计算出的阈值设置到判断电路20。
[0083]根据本典型实施例的EEPROM 28例如可被配置为存储多个阈值信息以及分别与这多个阈值信息相关联的亮度阈值参数。另外，根据本典型实施例的CPU 26例如可被配置为从EEPROM 28读取与亮度阈值参数相关联的阈值信息，并且将由所读取到的阈值信息表示的阈值设置到判断电路20。
[0084]判断电路20将所设置的亮度阈值与从亮度测量电路18输出的当前亮度值进行比较，并且将比较结果输出至CPU 26。如果该比较结果表示当前亮度值超过亮度阈值，则CPU26进行用以使IRCF 4插入光路以使得能够进行正常拍摄的控制。
[0085]如果输入至CPU 26的比较结果表示当前亮度值等于或低于阈值，则CPU26进行用以使IRCF 4从光路退避以使得能够进行红外线拍摄的控制。
[0086]如果上述可省略的被摄体亮度阈值的参数不存在于Auto设置命令内所包括的选项字段中，则根据本典型实施例的摄像设备基于预先存储的阈值信息来确定上述阈值。在本典型实施例中，例如预先将该阈值存储在EEPR0M28中，并且CPU 26从EEPROM 28读取该阈值并将所读取到的阈值设置到判断电路20。
[0087]因而，根据本典型实施例的CPU 26用作亮度阈值参数判断单元，其中该亮度阈值参数判断单元被配置为判断在Auto设置命令内所包括的选项字段中是否存在亮度阈值参数。更具体地，CPU 26用作Adjustment (调整)字段判断单元，其中该Adjustment字段判断单元被配置为判断在以下所述的SetImagingSettings命令中是否包括以下所述的IrCutFilterAutoAdjustment 字段。
[0088]在本典型实施例中，EEPROM 28中预先存储的诸如阈值信息等的数据对应于控制信息。此外，在本典型实施例中，EEPROM 28中预先存储的阈值信息对应于预定阈值信息。
[0089]此外，上述Auto设置命令中的其它可省略的参数例如可以是使IRCF 4的插入或退避操作延迟所用的延迟时间。如果该参数存在于Auto设置命令内所包括的选项字段中，则CPU 26将该延迟时间参数设置到计时器电路22。该延迟时间参数例如是以下所述的ResponseTime (应答时间)字段。
[0090]计时器电路22测量时间，并且在经过了所设置的延迟时间的情况下，将表示该延迟时间的经过的信号输出至CPU 26。接收到该时间经过信号的CPU26控制IRCF驱动电路24以使IRCF 4插入或退避。
[0091]如果延迟时间参数不存在于Auto设置命令内所包括的选项字段中，则根据本典型实施例的摄像设备基于预先存储的延迟时间信息来确定上述参数。
[0092]在本典型实施例中，例如预先将延迟时间存储在EEPROM 28中，并且CPU 26从EEPROM 28读取该延迟时间并将所读取到的延迟时间设置到判断电路20。另外，如果延迟时间参数不存在于Auto设置命令内所包括的选项字段中，则CPU 26可以进行用以立即使IRCF 4插入或退避而无需设置任何延迟时间的控制。
[0093]因而，根据本典型实施例的CPU 26用作延迟时间参数判断单元，其中该延迟时间参数判断单元被配置为判断在Auto设置命令内所包括的选项字段中是否存在延迟时间参数。
[0094]更具体地，CPU 26用作ResponseTime字段判断单元，其中该ResponseTime字段判断单元被配置为判断在以下所述的IrCutFi IterAutoAdjustment字段中是否包括ResponseTime 字段。
[0095]在本典型实施例中，例如基于开放型网络视频接口论坛(Open Network VideoInterface Forum，以下还称为ONVIF)标准来定义上述的用于使IRCF 4相对于光路插入或退避的命令。ONVIF标准例如使用XML架构定义语言(以下还称为XSD)来定义上述命令。
[0096]根据本典型实施例的摄像设备作为ONVIF标准中所定义的网络视频发送器(以下还称为NVT)进行工作。换句话说，根据本典型实施例的摄像设备可以根据ONVIF标准来发送和接收数据。
[0097]图2A?2E示出用于使用XSD来定义上述命令的数据结构的定义的示例。参考图2A，在数据类型“ ImagingSettings20 (摄像设置20) ”内定义名称为“ IrCutFilterModes (红外线截止滤波器模式)”的数据。名称为“IrCutFilterModes”的数据是如图2B所示所定义的具有IrCutFilterMode类型的数据。
[0098]如图2B所示，在本典型实施例中，IrCutFilterMode类型是可以取ON(开启)、OFF(关闭)和AUTO(自动)中的任一个的值的数据类型。
[0099]图2C 不出 IrCutFilterAutoAdjustment 类型的名称为“IrCutFilterAutoAdjustment” 的数据的定义。
[0100]在本典型实施例中，在IrCutFi IterMode类型具有值AUTO的情况下，将名称为“ IrCutFi IterAutoAdjustment ”的数据设置在选项字段中。例如，在上述的数据类型“ImagingSettings20” 内定义该数据。
[0101]图2D示出上述的IrCutFilterAutoAdjustment类型的内容。根据XSD中的complexType (复杂类型)声明将该数据类型“IrCutFilterAutoAdjustment”定义为复杂类型。在该数据类型示例中，设置序列说明符以指定元素按该说明符所定义的顺序出现。
[0102]在IrCutFilterAutoAdjustment 类型中，第一个元素“BoundaryType (边界类型)”是具有以下所述的IrCutFilterAutoBoundaryType (红外线截止滤波器自动边界类型)类型的数据。该数据BoundaryType被定义成至少一个出现在IrCutFilterAutoAdjustment类型内。
[0103]第二个元素“BoundaryOffset” 表示在 XSD 的 Primitive Datatype (原生数据类型)中所定义的单精度浮点数据类型的数据。数据BoundaryOffset是上述的亮度阈值参数。可以利用XSD中的minOccurs说明符来指定省略该数据BoundaryOffset。
[0104]在本典型实施例中，数据BoundaryOffset例如被配置为设置有将根据本典型实施例的摄像设备可设置的亮度阈值的范围归一化成的预定范围(例如，1.0?-1.0)内的值。
[0105]在本典型实施例中，数据BoundaryOffset被配置为表示以下的亮度值。例如，具有值O的数据BoundaryOffset表示默认值。具有值-1.0的数据BoundaryOffset表示在最暗的被摄体的情况下的亮度值。具有值1.0的数据BoundaryOffset表示在最亮的被摄体的情况下的亮度值。根据本典型实施例的数据BoundaryOffset对应于与亮度有关的亮度信息。
[0106]第三个元素“ResponseTime”表示在XSD的Primitive Datatype中所定义的持续时间间隔数据类型的数据。数据ResponseTime还被配置为利用XSD的minOccurs说明符而可省略。数据ResponseTime指定上述的延迟时间参数。
[0107]本典型实施例中的数据BoundaryOffset或ResponseTime对应于与IRCF 4相对于摄像光学系统2的光路的插入和退避有关的附加信息。
[0108]图2E示出上述的IrCutFilterAutoBoundaryType类型的定义的示例。根据XSD的simpleType(简单类型)声明将数据类型“IrCutFilterAutoBoundaryType”定义为简单类型。此外，将数据类型“IrCutFilterAutoBoundaryType”定义为根据限制说明符对值进行了限制的字符串类型。具体地，如图2E所示，数据类型“IrCutFilterAutoBoundaryType”是可以取值Common (共通)、ToOff (至关闭)、ToOn (至开启)和Extende