图像处理设备和图像处理方法与流程
本发明涉及用于处理图像的图像处理技术。
背景技术：
遵照诸如国际电信联盟无线电通信部门(itu-r)所规定的推荐bt.709等的规范来调整用于网络照相机等的图像数据的颜色再现性。通过遵照这种标准化规范(以下称为标准规范)调整色域还定义了颜色空间的色域。将标准规范的颜色空间外的宽颜色空间中的图像数据色域映射到标准规范的窄颜色空间。
例如，在指定用于进行伪造判断的被摄体的情况下，需要以高精度再现颜色。如果使用比标准规范的颜色空间宽的颜色空间中的图像，则可以实现高精度的颜色再现。日本特开2003-302354论述了如下方法，其中该方法用于根据与基于红色、绿色和蓝色(rgb)坐标系的三维颜色空间坐标系有关的控制面颜色信息与预先设置的无缺陷产品基准颜色信息之间的差异，通过使用与利用控制面颜色信息所表示的三维颜色空间坐标不同的三维颜色空间坐标系来进行针对控制面的缺陷判断。
尽管如上所述可以使用比标准规范的颜色空间宽的颜色空间中的图像来实现高精度的颜色再现，但由于更宽的颜色空间中的图像的位深度而导致更宽的颜色空间中的图像所需的数据量变得大于标准规范的颜色空间中的图像所需的数据量。因此，在发送或接收更宽的颜色空间中的图像数据的情况下，通信频带的占用部分增加，并且该图像数据的处理期间的处理负荷也增大。结果，存储器等的占用容量也增加。
因此，本发明涉及在抑制数据量的同时实现高精度的颜色再现。
技术实现要素：
根据本发明的一个方面，一种图像处理设备，包括：转换单元，其被配置为将第一颜色空间的图像转换成第二颜色空间的图像，使得所述第二颜色空间的图像的位深度小于所述第一颜色空间的图像的位深度；第一识别单元，其被配置为使用所述第二颜色空间的图像来进行第一识别处理；控制单元，其被配置为基于所述第一识别处理的结果，来确定对所述第一颜色空间的图像要进行第二识别处理的图像区域；以及第二识别单元，其被配置为对所述第一颜色空间的图像中的所确定的图像区域进行所述第二识别处理。
根据本发明的一个方面，一种图像处理设备，包括：获取单元，其被配置为存储所拍摄到的第一颜色空间的图像，并且从摄像设备获取第二颜色空间的图像，其中所述第一颜色空间的图像已被转换成所述第二颜色空间的图像，使得所述第二颜色空间的图像的位深度小于所述第一颜色空间的图像的位深度；第一识别单元，其被配置为使用从所述摄像设备获取到的所述第二颜色空间的图像来进行第一识别处理；控制单元，其被配置为请求所述摄像设备发送基于所述第一识别处理的结果的所述第一颜色空间的图像；以及第二识别单元，其被配置为对响应于所述请求而从所述摄像设备获取到的所述第一颜色空间的图像进行第二识别处理。
根据本发明的一个方面，一种图像处理方法，其要由图像处理设备执行，所述图像处理方法包括：将第一颜色空间的图像转换成第二颜色空间的图像，使得所述第二颜色空间的图像的位深度小于所述第一颜色空间的图像的位深度；使用所述第二颜色空间的图像来进行第一识别处理；进行控制，以基于所述第一识别处理的结果来确定对所述第一颜色空间的图像要进行第二识别处理的图像区域；以及对所述第一颜色空间的图像中的所确定的图像区域进行所述第二识别处理。
根据本发明的一个方面，一种图像处理方法，包括：存储所拍摄到的第一颜色空间的图像，并且从摄像设备获取第二颜色空间的图像，所述摄像设备被配置为将所述第一颜色空间的图像转换成所述第二颜色空间的图像，使得所述第二颜色空间的图像的位深度小于所述第一颜色空间的图像的位深度；使用从所述摄像设备获取到的所述第二颜色空间的图像来进行第一识别处理；请求所述摄像设备发送基于所述第一识别处理的结果的所述第一颜色空间的图像；以及对响应于所述请求而从所述摄像设备获取到的所述第一颜色空间的图像进行第二识别处理。
通过以下参考附图对实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出根据本发明实施例的网络照相机系统的示意系统结构示例的图。
图2是示出根据本实施例的摄像设备的示意结构示例的图。
图3是示出根据本实施例的客户端设备的示意结构示例的框图。
图4是示出根据本实施例的摄像设备的处理单元的框图。
图5是示出根据本发明第一实施例的图像处理的流程图。
图6a和6b是用于说明根据本发明第二实施例的检测处理的图。
图7a、7b和7c是示出显示示例的图。
图8是示出云台控制的结构示例的示图。
图9是示出根据第二实施例的图像处理的流程图。
图10a、10b和10c是用于说明根据第二实施例的检测处理的图。
图11是示出根据本发明第三实施例的图像处理的流程图。
具体实施方式
以下将参考附图来详细说明本发明的优选实施例。以下所述的本发明的各个实施例可以单独实现，或者在需要的情况下或在将各个实施例中的元件或特征组合成一个实施例有益的情况下作为多个实施例或这些实施例的特征的组合来实现。
根据本发明的实施例，作为图像处理设备的应用示例，将说明用于对连接至网络的诸如监视照相机等的摄像设备(以下称为网络照相机)所拍摄到的图像进行处理的设备。根据本实施例的摄像设备不限于网络照相机。摄像设备的示例包括数字单镜头反光照相机、无反单镜头反光照相机、紧凑型数字照相机、便携式摄像机、车载照相机、医疗用照相机或工业用照相机。另外，作为摄像设备，还可以使用诸如平板终端、个人手持电话系统(phs)、智能电话、功能型电话或便携式游戏机等的个人数字助理上所安装的摄像装置。根据本实施例的图像处理设备可以包括在诸如网络照相机等的摄像设备中，或者可以包括在专用于控制摄像设备并且接收并处理从摄像设备发送来的图像数据的控制设备、个人计算机(pc)以及个人数字助理等中。
图1是示出根据本实施例的网络照相机系统的示意结构示例的图。
如图1所示，根据本实施例的网络照相机系统包括网络照相机(以下称为照相机110)、观看者用客户端设备(以下称为客户端设备120)以及网络130。
照相机110包括照相机，并且还包括连接至网络130的通信设备。照相机110经由网络130发送通过摄像所获得的图像数据。照相机110被配置为通信图像数据，并且还通信除图像数据以外的数据。照相机110还被配置为拍摄静止图像和运动图像。运动图像包括多个连续帧的图像。静止图像的示例包括通过连拍等所拍摄到的多个连续帧的图像。
客户端设备120被配置为例如经由网络130访问照相机110，改变照相机110的各种设置，并且接收通过使用照相机110的摄像所获得的并从照相机110发送来的图像数据。根据本实施例，客户端设备120还被配置为例如对经由网络130从照相机110接收到的图像数据以及预先存储的图像数据等进行各种处理，并且显示基于处理后的图像数据的图像。
网络130使照相机110与客户端设备120连接，使得照相机110和客户端设备120彼此进行通信。网络130包括例如满足诸如
图2是示出根据本实施例的照相机110的结构示例的图。
在图2中，点划线表示光轴o1。在光轴o1上，配置有包括物镜201、调焦透镜202和摄像透镜203的透镜光学系统。在光轴o1上还配置有光圈204、滤波器205和图像传感器206。图像传感器206包括电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)传感器。图像传感器206通过对穿过了透镜光学系统、光圈204和滤波器205并且形成在摄像面上的光学图像进行光电转换来生成图像信号，对所生成的图像信号进行模数转换处理，并且输出转换得到的信号。从图像传感器206输出的图像数据被发送至处理单元207。以下将详细说明处理单元207的结构和操作。
从图像传感器206输出的图像数据还经由处理单元207被发送至控制单元208。
记录单元209连接至控制单元208。控制单元208使记录单元209记录从图像传感器206接收到的图像数据。控制单元208可以包括中央处理单元(cpu)。在这种情况下，控制单元208的cpu执行保持在例如记录单元209或只读存储器(rom)(未示出)中的控制程序等，以由此实现照相机110中的各种功能操作。在照相机110中，可以以控制单元208的cpu执行程序的方式来实现与信号处理相关联的元件的功能中的一些或全部。照相机110的元件中的至少一些元件可以由专用硬件操作。在这种情况下，该专用硬件在控制单元208的控制下操作。控制单元208还连接至通信单元210。
通信单元210连接至网络130。通信单元210将所拍摄到的图像数据以及与拍摄图像有关的元数据等经由网络130发送至作为外部设备的客户端设备120。通信单元210被配置为经由网络130接收来自客户端设备120的命令，并且将该命令发送至控制单元208。通信单元210还被配置为使未示出的诸如外部存储器和外部计算机等的外部装置连接至控制单元208，并且将拍摄图像传送至这些外部装置。诸如外部计算机等的外部装置可以经由通信单元210向控制单元208发送命令，由此发送用以例如开始或终止摄像的指示。
图3是示出根据本实施例的客户端设备120的示意结构示例的框图。
图3所示的cpu301以综合方式进行对客户端设备120中的操作的控制。rom302是存储cpu301执行处理所需的控制程序等的非易失性存储器。随机存取存储器(ram)303用作cpu301的主存储器和工作区等。具体地，在执行处理时，cpu301将所需程序等从rom302加载到ram303中，并且执行该程序等，由此实现各种功能操作和信号处理。可以以cpu301执行程序的方式来实现客户端设备120的元件的功能中的一些或全部。客户端设备120的元件中的至少一些元件可以由专用硬件操作。在这种情况下，专用硬件在cpu301的控制下操作。
硬盘驱动器(hdd)304存储例如cpu301使用程序进行处理所需的各种数据和各种信息。hdd304还存储例如通过cpu301使用程序等已进行的处理所获得的各种数据和各种信息。
操作输入单元305是从未示出的诸如电源按钮、键盘或鼠标等的操作装置获取操作信号的输入单元。
显示单元307显示用于输入从照相机110获取到的图像以及照相机110的各种控制参数等的图形用户界面(gui)等。
通信单元306进行客户端设备120和网络130之间的通信所用的处理。具体地，通信单元306经由网络130接收照相机110所拍摄到的图像数据。通信单元306被配置为例如将cpu301基于经由操作输入单元305所输入的操作信号所生成的照相机设置命令等经由网络130发送至照相机110，并且接收响应以及除图像数据以外的所需数据。
图4是示出根据本实施例的照相机110中的处理单元207的内部结构示例的框图。
图4所示的校正单元401根据透镜光学系统的特性以及图像传感器206的传感器特性等对所输入的图像数据进行校正处理。
预处理单元402在显像处理之前对所输入的图像数据进行处理。显像处理之前的处理的示例包括增益调整、降噪处理、白平衡(wb)调整和清晰度处理。
记录单元(存储单元)403将预处理单元402进行了预处理的图像数据以及以下要说明的显像处理单元404进行了显像处理的图像数据等记录在存储器等上。记录单元403可以包括诸如所谓的安全数字(sd)卡等的可拆卸的半导体存储器。
后处理单元405对进行了以下要说明的显像处理的图像数据进行诸如降噪处理和颜色校正处理等的图像处理。
检测单元406进行用于从拍摄图像和记录单元403所读取的图像等中识别特定被摄体等的识别处理，并且进行用以将所识别的区域检测为被摄体的图像区域的检测处理。以下将详细说明检测单元406所要进行的检测处理。读取单元411读取记录单元403上所记录的图像。读取单元411还被配置为读取所记录的图像的一部分(以下已知为部分图像)。以下将详细说明读取单元411所要读取的部分图像。
判断处理单元412进行颜色判断处理，其中该颜色判断处理用于在读取单元411所读取的图像中将例如检测单元406所检测到的图像区域确定为要进行颜色判断处理的区域，并且识别并判断所确定的图像区域中的各像素的颜色。以下将详细说明判断处理单元412所要进行的颜色判断处理。
显像处理单元404对从图像传感器206输入的raw图像数据进行显像处理(诸如去马赛克处理、包括颜色空间压缩的色调曲线处理、以及颜色空间转换处理等)。显像处理单元404所要进行的显像处理包括颜色空间转换处理，其中该颜色空间转换处理用于将raw图像中所包括的颜色空间(以下称为raw颜色空间)的颜色转换成作为在照相机110发送图像时所要使用的发送颜色空间的标准规范的颜色空间(以下称为“标准颜色空间”)。根据本实施例，例如，对于在显像处理单元404的显像处理中所要进行的颜色空间转换处理，使用颜色转换表(三维查找表(lut))。
现在将说明根据本实施例的照相机110所拍摄到的图像发送至客户端设备120并显示在客户端设备120上的用例以及该用例的要点。
根据本实施例，通过示例的方式说明重视图像中的颜色的用例。重视图像中的颜色的用例的示例是例如以下情况。也就是说，通过监视照相机等拍摄在休闲厅(诸如娱乐室等)中使用的硬币的图像，并且基于拍摄图像中的硬币的颜色来进行与该硬币是真硬币还是假硬币有关的判断。在该用例中，客户端设备120准确地再现照相机110所拍摄到的图像中的真硬币的颜色和假硬币的颜色，这很重要。在颜色再现性低的情况下，存在错误地进行用以将真品与假品区分开的真实性判定的可能性。该用例的其它示例是例如以下情况。也就是说，拍摄在农场中收获的果实的图像，并且基于拍摄图像中的果实的颜色与成熟果实的目标颜色还是未成熟果实的颜色匹配来判断果实的成熟程度。此外，在该用例中，客户端设备120需要准确地再现拍摄图像中的成熟果实的颜色和未成熟果实的颜色。在不能准确地再现颜色的情况下，存在对果实的成熟程度作出错误判断的可能性。
另一方面，在将拍摄图像从照相机110发送至客户端设备120的情况下，照相机110的显像处理单元404进行用于将作为拍摄图像的颜色空间的raw颜色空间转换成作为在规范中定义的颜色空间的标准颜色空间的颜色空间转换处理。将经过了颜色空间转换处理的图像数据从照相机110发送至客户端设备120。此外，在以这种方式进行用于将raw颜色空间中的拍摄图像转换成标准颜色空间中的图像的颜色空间转换处理的情况下，存在在客户端设备120上不能准确地再现拍摄图像中的颜色的可能性。
认为在将照相机110所拍摄到的raw颜色空间中的图像数据(即，具有宽色域的图像数据)发送至客户端设备120的情况下、在客户端设备120上可以准确地再现拍摄图像的颜色。例如，在smptest2065-1:2012(学院颜色编码规范(aces))的情况下，可以定义具有比人可以感知的范围宽的范围的颜色空间。然而，由于在诸如raw颜色空间等的更宽颜色空间的图像中位深度高，因此数据量也大。例如，在aces中，使用16位编码浮点，这导致数据量增加。因此，在将raw颜色空间的图像数据发送至客户端设备120的情况下，通信频带的占用部分增加，并且该图像数据的处理期间的处理负荷也增大。结果，存储器等的占用容量增加。另一方面，诸如标准颜色空间等的窄色域的图像的位深度通常小于具有宽色域的图像的位深度(较小的位深度)。因此，窄色域的图像的数据量小于宽色域的图像的数据量。
根据本实施例，进行以下要说明的图像处理，以在防止数据量变大的同时，实现具有宽色域的高精度颜色再现。根据本实施例的图像处理可以由照相机110进行，或者可以由客户端设备120进行。
作为本发明的第一实施例，将参考图5所示的流程图来说明照相机110进行图像处理以在防止数据量变大的同时实现具有宽色域的高精度颜色再现的情况。在照相机110中在控制单元208的控制下主要由处理单元207进行图5的流程图所示的处理。现在将通过示例的方式说明通过识别休闲厅中的各硬币的颜色来进行用以区分普通硬币和假硬币的真实性判断的情况。
在图5所示的步骤s501中，处理单元207对显像处理单元404没有进行显像处理的raw颜色空间中的图像(以下称为raw图像)进行图像处理。步骤s501中所进行的显像处理之前的图像处理包括利用校正单元401的校正处理、利用预处理单元402的预处理和利用记录单元403的记录处理。校正单元401根据如上所述的光学特性或传感器特性来进行校正处理。预处理单元402进行诸如增益调整和降噪处理等的预处理。记录单元403将通过在显像处理之前进行的图像处理所获得的图像数据记录在存储器等(未示出)上。具体地，步骤s501中要记录在记录单元403上的图像是具有宽色域和大的位深度的raw图像。
接着，在步骤s502中，处理单元207使显像处理单元404进行显像处理，并且使后处理单元405进行后处理。显像处理单元404的显像处理包括如上所述的去马赛克处理和颜色空间转换处理。后处理单元405的后处理包括降噪处理和颜色校正处理。步骤s502中的图像处理得到通过转换处理所获得的图像，其中该转换处理用于将颜色空间从raw颜色空间转换成标准颜色空间、即将颜色空间从宽色域转换成窄色域，或者将位深度从大的位深度转换成小的位深度。
在步骤s503中，处理单元207使检测单元406进行用于从通过在步骤s502中进行的显像处理等所获得的图像中检测被摄体的检测处理。根据本实施例，检测单元406进行用于将在休闲厅中使用的各硬币检测为被摄体的处理。检测处理所用的算法的示例包括使用尺度不变特征变换(sift)特征的匹配处理。在使用sift特征的匹配处理中，使用预先从硬币的图像中检测到并登记的sift特征以及检测单元406从拍摄图像中提取的sift特征来进行匹配处理。然后，检测拍摄图像中的包括硬币的图像的图像区域。检测算法不限于使用sift特征的匹配处理。可选地，可以使用局部二值模式(lbp)特征和加速鲁棒特征(surf)等。
现在将参考图6a和6b来说明步骤s503中的被摄体检测处理。
图6a是示出拍摄图像600的示例的图。根据本实施例，拍摄图像600包括硬币601的图像。检测单元406从拍摄图像600中提取sift特征，并且在所提取的sift特征和先前登记为字典数据的sift特征之间进行匹配处理。
图6b是示出字典数据610的内容的图。通过学习获取到针对硬币的各类型的sift特征以及针对各类型的硬币的各取向(取向变化的硬币)的sift特征等，并且将这些sift特征登记在字典数据610中。在图6b的示例中，sift特征611和sift特征613表示不同类型的硬币的sift特征，并且sift特征611和sift特征612表示相同类型但具有不同取向的硬币的sift特征。
检测单元406在从拍摄图像600提取的sift特征和字典数据610中所登记的各sift特征之间进行匹配处理，并且从拍摄图像600中检测包括具有预定阈值的范围内与所登记的sift特征基本一致的sift特征的硬币图像的图像区域。在图6a的示例中，选择字典数据610中的sift特征611作为与拍摄图像600的sift特征基本一致的sift特征。然后，检测单元406获取拍摄图像600中的包括与sift特征611相对应的硬币图像的矩形图像区域(以下称为矩形区域602)作为检测结果。
在字典数据610中，还与针对硬币的各类型的sift特征相关联地登记了要用于判断各硬币的颜色的标准颜色空间中的颜色信息。针对硬币的各类型的标准颜色空间中的颜色信息是通过学习而预先获得的颜色信息。在图6b所示的示例中，颜色信息621与相同类型的硬币的sift特征611和612相关联，并且颜色信息623与不同于硬币601的硬币的sift特征613相关联。根据本实施例，将标准颜色空间中的三原色(即，红色、绿色和蓝色(r、g和b))的值以及这些值的变化范围δ登记为字典数据610中的颜色信息。变化范围δ被设置为比所假定的假硬币(伪造硬币)的标准颜色空间中的各颜色的变化小的变化值。变化范围δ也可被设置为人可清楚地辨别的颜色变化。
此外，检测单元406在从拍摄图像600检测到的包括硬币601的图像的矩形区域602中检测具有如下颜色的各像素的位置，其中该颜色在以利用与字典数据610中的sift特征611相关联的颜色信息621表示的颜色为中心的变化范围δ内。在图6a所示的示例中，从矩形区域602中检测在图6a中通过阴影线表示的颜色区域603。可以通过用户的操作来预先设置用于以下要说明的步骤s505中的硬币颜色判断处理的颜色区域603并将该颜色区域603登记在字典数据610中。
接着，在步骤s504中，处理单元207的判断处理单元412判断在步骤s503的检测处理中是否检测到硬币，即在检测单元406所进行的检测处理中是否检测到包括硬币图像的矩形区域。如果判断处理单元412判断为没有检测到硬币，则无需进行后续处理。因此，照相机110的处理进入s508。另一方面，如果在步骤s504中判断处理单元412判断为检测到硬币，则处理进入s505。
在步骤s505中，判断处理单元412进行用于通过使用具有宽色域的图像来识别并判断颜色的颜色判断处理。要用于识别并判断颜色的具有宽色域的图像是在步骤s501中记录在记录单元403上并且没有进行显像处理的raw图像。在这种情况下，读取单元411读取保持在记录单元403中并且没有进行显像处理的具有宽色域的图像中的部分图像、即与在步骤s503中检测到的颜色区域603相对应的各像素位置处的数据，并且将所读取的图像发送至判断处理单元412。此外，判断处理单元412对读取单元411基于与颜色区域603的对应关系所读取的并且没有进行显像处理的具有宽色域的部分图像进行颜色判断处理，其中该颜色判断处理用于识别并判断各像素位置处的颜色。
在该处理中，根据本实施例，判断处理单元412获得参考图像(参考硬币)的颜色和raw图像的颜色之间的色差并使用该色差来进行判断处理。可以将参考图像的颜色预先登记在记录单元403中，或者可以使用颜色信息621作为真品图像的颜色。根据本实施例，使用针对没有进行显像处理的raw图像的从rgb值向l*a*b*空间的颜色转换配置文件来进行向l*a*b*空间的转换，并且对通过该转换所获得的颜色进行判断。该颜色转换配置文件是用于基于作为图像传感器206所使用的装置颜色的raw图像的信号值来关联装置独立的颜色空间的转换等式，或者是表示该转换并且预先作为lut所创建的转换表的描述。根据本实施例，例如，使用cieδe1976的颜色空间中的色差作为色差。可选地，可以使用cieδe1994和cieδe2000等，并且也可以使用未被标准化的色差。
在步骤s506中，判断处理单元412进行判断状态比较处理。根据本实施例，进行用于从在运动图像内检测硬币图像的多个帧中选择包括适合于判断的硬币图像的帧的判断状态比较处理。根据本实施例，判断处理单元412选择如下的帧作为适合于判断的帧，其中在该帧中，检测到各自具有在以步骤s503中的上述颜色信息为中心的变化范围δ内的颜色的较大数量的像素。
更具体地，根据本实施例，处理单元207将在运动图像内的时间上的先前帧中检测到的像素、所检测到的像素的数量以及与在先前帧中检测到的各硬币的类型有关的信息作为与先前判断结果有关的信息存储在例如记录单元403中。判断处理单元412将在当前帧中检测到的像素数与在先前帧中检测到的像素数进行比较，由此判断在当前帧中检测到的像素数是否大于在先前帧中检测到的像素数。此外，判断处理单元412判断在当前帧中检测到的像素数是否大于或等于预定阈值，并且还判断在当前帧中检测到的硬币的类型与在先前帧中检测到的硬币的类型是否一致。如果在当前帧中检测到的像素数大于在先前帧中检测到的像素数、在当前帧中检测到的像素数大于或等于预定阈值、并且在当前帧中检测到的硬币的类型与在先前帧中检测到的硬币的类型一致，则判断处理单元412判断为当前帧是更合适的帧。如果判断处理单元412判断为当前帧是更合适的帧，则利用与在当前帧中检测到的像素、所检测到的像素的数量以及在当前帧中检测到的硬币的类型等有关的信息来更新记录单元403中所保持的信息，作为新的判断结果。
如上所述，在执行步骤s506中的判断状态比较处理并且判断处理单元412更新判断结果的情况下，处理单元207的处理进入s507。在其它情况下、即在不更新判断结果的情况下，处理单元207的处理进入s508。
在步骤s507中，处理单元207将与在上述的各处理中所获得的处理结果有关的信息发送至控制单元208。因此，控制单元208将与该处理结果有关的信息从通信单元210发送至客户端设备120。在这种情况下要发送的与处理结果有关的信息包括表示在步骤s503中的检测处理中所获得的矩形区域602的矩形信息、通过从在步骤s501中记录在记录单元403上的图像中剪切矩形区域602所获得的raw图像区域、以及在步骤s505的颜色判断处理中获得的色差信息。控制单元208将与处理结果有关的这些信息从通信单元210发送至客户端设备120，使得该信息与标准颜色空间中的图像(帧)相关联。
在步骤s507中控制单元208将与处理结果有关的信息发送至客户端设备120之后，控制单元208删除记录单元403上所记录的raw图像中的、除与矩形区域602相对应的raw图像区域以外的图像区域。此外，在从客户端设备120接收到接收完成通知之后，控制单元208删除通过从步骤s501中记录在记录单元403上的图像中剪切矩形区域602而获得的raw图像区域。
接着，在步骤s508中，控制单元208删除记录单元403上所记录的图像。在步骤s508中删除的图像是在步骤s501中记录在记录单元403上的raw图像。具体地，由于如上所述已向客户端设备120发送了信息，因此在后续处理中从记录单元403中删除不需要的raw图像。结果，可以减少记录单元403的存储器等的占用存储容量，并且可以确保平滑地进行后续处理所需的容量。
在如上所述从照相机110接收到与处理结果有关的信息的客户端设备120中，根据cpu301的处理和控制操作来将基于所接收到的与处理结果有关的信息的图像等显示在显示单元307的监视器或显示器等上。根据本实施例，客户端设备120的cpu301将基于与处理结果有关的信息的图像等叠加在从照相机110发送来的标准颜色空间的拍摄图像上，并且将叠加后的图像等显示在显示单元307的画面上。
具体地，基于所接收到的与处理结果有关的信息，cpu301将从拍摄图像检测到的硬币、对所检测到的硬币进行颜色判断处理的区域以及该颜色判断处理的结果显示在显示单元307的画面上。显示的示例如下：利用框包围包括所检测到的硬币的矩形区域的显示；以及根据硬币颜色判断处理的结果而提供诸如彩绘或闪烁等的显示效果的显示。例如，在客户端设备120的用户通过经由操作输入单元305的点击等来进行选择处理时，可以进行这样的显示。同样，例如可以采用另一窗框、采用包围框、采用不同颜色或者利用闪烁显示效果来显示颜色判断结果。例如，在用户通过点击进行选择处理时，可以进行这样的显示。
图7a、7b和7c是示出例如在用户通过点击进行选择处理时进行基于处理结果的显示的显示画面的示例的图。在基于与处理结果有关的信息来在显示单元307的画面上进行显示的情况下，cpu301使用例如各框710来显示上述的矩形区域。图7a是示出基于与处理结果有关的信息的显示的示例的图，其中在该显示中，如利用虚线所示，各个框710对应于矩形区域中的不同的矩形区域，并且显示阴影线。此外，cpu301使显示单元307的显示画面显示表示上述的颜色判断结果的信息。作为表示颜色判断结果的信息的示例，cpu301可以基于颜色判断结果来判断与真硬币的颜色的一致度，并且可以显示表示该一致度的数字。图7b是示出如下示例的图：针对图7a所示的各个框710来显示表示与真硬币的颜色的一致度的数字。另外，cpu301可以生成例如表示色差的数值，并且可以显示所生成的数值。可选地，cpu301可以生成标绘出颜色信息本身的色度图，并且可以显示所生成的色度图。图7c是示出在色度图上标绘出颜色信息本身的显示示例的图。此外，cpu301可以预先设置根据色差所估计出的一致度，并且可以将该一致度显示为数值。可选地，cpu301可以显示先前判断出的颜色频度，并且可以显示先前判断出的颜色偏差。用户可以设置一致度的阈值，并且在如上所述生成的一致度达到该阈值的情况下，cpu301可以自动显示或发出警报720以向用户发送通知。另外，用户可以使用例如客户端设备120的操作输入单元305来选择这些显示方法中的任一显示方法。
在根据上述实施例的字典数据中，没有特别考虑照相机110的摄像条件和照度条件等。然而，例如，可以通过在多个不同的摄像条件和照度条件等下拍摄要判断的被摄体的图像并且通过预先学习拍摄图像，来准备字典数据。例如，通过预先学习诸如照相机110的视角、平摇和俯仰等的摄像条件改变的场景以及照度改变的场景(例如，在画面内明亮的被摄体移动的场景)等，来准备字典数据。使用这种字典数据使得即使在摄像条件或照度条件等不同的情况下也可以准确地进行颜色判断处理和一致度计算。
在如上所述的第一实施例中，从标准颜色空间的图像中检测要进行颜色判断处理的区域，并且对所检测到的区域进行使用具有宽色域的raw颜色空间的图像的高精度的颜色识别和颜色判断处理。结果，根据第一实施例，可以在减少处理数据量的同时实现具有宽色域的高精度颜色再现。
将参考附图来说明本发明的第二实施例。本实施例例示使用安装有平摇、俯仰和变焦(ptz)功能的照相机的示例。利用相同的附图标记来表示包括与第一实施例的功能相同的功能的组件和处理。将省略对具有相同的结构或功能的组件的说明，并且将主要说明本实施例固有的部分。根据本实施例的照相机包括ptz功能。因此，将参考图8、图9以及图10a、10b和10c来说明ptz控制单元。
首先，图8是示出ptz控制的结构的图。摄像设备经由云台控制单元801控制平摇驱动设备802和俯仰驱动设备803以确定摄像方向。摄像设备还经由镜头控制单元804控制镜筒805。云台控制和镜头控制根据步骤s503中的检测结果而进行，但作为代替可以通过用户的操作来指示。
图9是示意性示出根据本实施例的网络照相机系统所进行的处理的流程图。s501～s504的处理与第一实施例的处理相同，因而省略了对该处理的说明。在步骤s504中检测到硬币的情况下，如果在步骤s503中提取的像素位置没有落在从视角的中央起的预定比例内(例如，小于或等于70％)、或者如果像素数小于或等于预定阈值，则根据本实施例的摄像设备在步骤s901中进行ptz控制。例如，在获取到如图10a所示的图像的情况下，可以使用该图像来检测硬币。然而，由于所检测到的硬币不是位于预定视角1001内，因此如图10b所示，摄像设备进行ptz控制，使得该硬币位于适合于颜色判断处理的位置处。
根据本实施例，按已判断出类型的硬币中的硬币的值的降序进行用于颜色判断处理的ptz控制。为了快速地获取颜色判断处理结果，可以按从离视角的中央最近的硬币开始的顺序进行ptz控制，使得可以沿最短路径进行pt驱动。可选地，用户可以指定要经过ptz控制的硬币的顺序。确定通过ptz控制所要判断的硬币的顺序或者顺序模式，由此使得用户能够快速地获取所需的信息。步骤s505和后续步骤与第一实施例的步骤相同，因而省略了对这些步骤的说明。
图10c是示出在检测硬币并且进行ptz控制的情况下要显示的用户显示画面的示例的图。在该示例中，与第一实施例相同，以叠加方式显示检测结果，将判断结果与预先登记的参考硬币的图像和所检测到的各硬币的图像分别进行比较，并且显示该判断结果以及色差比较结果。当然，也可以进行与第一实施例的显示相同的显示。
如本实施例那样，在照相机包括ptz功能的情况下，对照相机进行ptz控制，使得所选择的判断区域位于图像的中央并且获得足够数量的像素，由此防止由于色像差或边缘照明减少的影响而导致颜色判断结果的精度下降。
作为本发明的第三实施例，将说明客户端设备120进行图像处理以在防止数据量增加的同时实现具有宽色域的高精度颜色再现的示例。根据第三实施例，客户端设备120以与上述相同的方式进行被摄体检测处理和颜色判断处理等。
图11是示出根据第三实施例的客户端设备120所要进行的图像处理过程的流程图。在客户端设备120中主要由cpu301通过执行程序来进行图11的流程图所示的处理。如上述的第一实施例那样，第三实施例还示出进行硬币真实性判断的示例。
在图11所示的流程图的处理之前，如上述的步骤s501那样，照相机110进行显像处理。然后，将进行了显像处理的标准颜色空间中的图像数据发送至客户端设备120。在步骤s1101中，客户端设备120的cpu301经由通信单元306从照相机110接收到进行了显像处理的标准颜色空间中的图像数据。
在步骤s1102中，cpu301从所接收到的图像中检测具有要经过颜色判断处理的颜色区域的被摄体。作为被摄体检测处理，进行与根据第一实施例的照相机110的检测单元406所进行的处理相同的处理。根据第三实施例，由于客户端设备120进行检测处理，因此还可以从例如从多个照相机发送来的图像中检测各被摄体。此外，可以标准化在从多个照相机发送来的图像中检测被摄体时使用的字典数据(例如，字典数据610)。此外，可以整体更新字典数据，这使得提高了更新处理等的效率。
在步骤s1103中，cpu301判断是否检测到在步骤s1102中具有要经过颜色判断处理的颜色区域的一个或多个被摄体。如果检测到具有要经过颜色判断处理的颜色区域的一个或多个被摄体，则处理进入步骤s1104。另一方面，如果没有检测到对象被摄体，则处理进入s1108。
在步骤s1104中，cpu301经由通信单元306请求照相机110发送raw图像。在这种情况下，cpu301将如下的发送请求发送至照相机110，其中该发送请求包括与所请求的raw图像有关的帧信息(例如，诸如在运动图像中可以指定帧的帧编号等的信息)以及与在步骤s1102中在图像中检测到的被摄体有关的位置信息。响应于接收到该发送请求，照相机110将与该发送请求相对应的raw图像数据发送至客户端设备120。在该处理中，照相机110将与所接收到的发送请求中的帧信息和位置信息相对应的raw图像中的、与关于被摄体的位置信息相对应的raw图像区域的图像数据发送至客户端设备120。照相机110可以发送与根据帧信息的一个图像相对应的raw图像数据。然而，在这种情况下，数据量变得大于发送与关于被摄体的位置信息相对应的raw图像区域的图像数据的情况中的数据量。因此，在步骤s1105中，客户端设备120的cpu301经由通信单元306接收到从照相机110发送来的raw图像。
在步骤s1106中，cpu301使用在步骤s1105中接收到的raw图像区域来进行颜色识别和判断处理以及判断状态比较处理，由此进行硬币真实性判断处理。在步骤s1106中进行的颜色识别和颜色判断处理是与根据上述的第一实施例的步骤s505相同的处理，并且判断状态比较处理是与根据上述的第一实施例的s506相同的处理。此外，在cpu301在步骤s1106中以如上所述的方式更新判断结果的情况下，处理进入步骤s1107。在其它情况下，处理进入步骤s1108。
在步骤s1107中，cpu301在显示单元307的画面上进行基于步骤s1106中的处理结果的显示。基于处理结果的显示与根据上述的第一实施例的从照相机110接收到与处理结果有关的信息的客户端设备120所进行的显示处理相同。
另一方面，在步骤s1103中没有检测到对象被摄体的情况下或者在步骤s1106中不更新判断结果的情况下要进行的步骤s1108的处理中，cpu301将用于删除所保持的raw图像的请求发送至照相机110。照相机110响应于该删除请求而删除图像。照相机110中的图像删除处理与在上述的步骤s507或s508中进行的图像删除处理相同。
通过上述处理，同样根据第三实施例，照相机110不存储不需要的数据，因而可以减少存储器等的占用容量并且可以平滑地进行后续处理。另外，由于客户端设备120不接收不需要的数据，因此可以减少处理量并且还可以减少存储器的占用容量。
此外，在根据第三实施例的客户端设备120中，可以将颜色判断结果和用于判断的图像存储在sd卡等中。例如，在针对同一被摄体获得多个判断结果的情况下，可以选择并存储所判断的区域最大的图像、分辨率最高的图像以及与预先登记的数据在形状上的一致程度最高的图像。在这种情况下，可以通过将删除请求发送至照相机110来删除未被选择的图像。通过这些处理，可以在抑制数据量的同时维持更准确的信息。
此外，在客户端设备120中，同时获取到与步骤s502中的颜色转换相对应的颜色配置文件，并且使用支持宽色域的显示设备作为显示单元307，以使得可以更准确地再现所判断的图像。另外，例如，通过存储一组的颜色配置文件和所获取到的图像，可以确认标准颜色空间中的色差，并且可以容纳多个照相机之间的差异。
此外，根据本实施例，客户端设备120进行被摄体检测和颜色判断处理等，由此不需要照相机110包括检测功能并且降低设备的成本。
在第一实施例至第三实施例中，通过匹配或经由用户的指定来检测硬币，而在其它实施例中，可以预先登记例如特定人物的面部，并且在照相机检测到人物的情况下，可以开始进行用于在人物的附近检测硬币的硬币检测处理。
除在硬币被判断为假的情况下记录的拍摄图像600中的硬币601的raw图像之外，还可以将如图10c所示的拍摄图像和检测结果记录为静止图像。因而，在硬币被判断为假的情况下，可以在无需倒回运动图像的情况下确认附近区域的状况。
在登记了各硬币的类型和各种硬币的取向的变化的字典数据610中，还可以针对诸如曝光条件和wb等的各个照相机设置条件来登记颜色空间中的r、g和b值的变化范围δ。结果，可以根据照相机设置条件来进行针对已拍摄到并检测到的硬币的比较处理，这使得减少了由于照明条件等而引起的误判断结果。尽管如上所述可以针对各照相机设置条件将变化范围δ预先登记在字典数据中，但可以基于照相机设置条件来校正拍摄图像并且可以将该拍摄图像与字典数据进行比较。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
尽管已经参考实施例说明了本发明，但是应该理解，本发明不限于所公开的实施例。当然，可以理解，以上仅通过示例方式说明了本发明，并且可以在本发明的范围内进行细节的修改。
- 还没有人留言评论。精彩留言会获得点赞！