用于图像传感器的控制方法、控制设备以及电子装置系统与流程

用于图像传感器的控制方法、控制设备以及电子装置系统
1.本技术为国际申请日为2018年3月9日、国际申请号为pct/jp2018/009149、发明名称为“控制设备、控制方法、程序以及电子装置系统”的中国国家阶段申请的分案申请，该中国国家阶段申请的进入国家阶段日为2019年6月13日、申请号为201880005053.9、发明名称为“控制设备、控制方法、程序以及电子装置系统”。
技术领域
2.本技术涉及控制设备、控制方法、程序以及电子装置系统，以及具体地涉及能够例如实现低功耗的控制设备、控制方法、程序和电子装置系统。


背景技术：

3.在从电池接收电力供应并运行的装置中，例如可穿戴装置等(在下文中，也称为安装的电池装置)，为了使电池持续很长时间，在不使用时，操作模式被设置为低功耗模式，并且变为等待状态，例如休眠状态、待机状态等。然后，当检测到用户的使用时，将操作模式设置(切换)为正常模式，并且执行正常操作。
4.例如，利用专利文献1中描述的便携式终端，照度传感器检测周围照度，并且在照度等于或大于阈值的情况下，打开相机模块的电源，并且捕获图像。然后，使用由相机模块捕获的图像来执行面部识别处理。在识别出面部的情况下，将操作模式设置为正常模式。在未识别出面部的情况下，操作模式被设置为低功耗模式(省电模式)。
5.因此，利用专利文献1中描述的便携式终端，在识别出面部的情况下，激活正常模式，而在未识别出面部的情况下，激活低功耗模式。因此，当用户使用便携式终端时，激活正常模式，而当用户不使用便携式终端时，激活低功耗模式。当用户不使用便携式终端时，可以抑制功耗。
6.现有技术文献
7.专利文献
8.专利文献1：日本专利申请公开no.2014-027386


技术实现要素：

9.本发明要解决的问题
10.利用专利文献1中描述的便携式终端，在周围照度等于或大于阈值的情况下，打开相机模块的电源，并捕获图像。由相机模块捕获的图像用于面部识别处理。因此，图像需要具有一定程度的分辨率，例如，与使便携式终端用作相机的情况下的分辨率图像类似的分辨率的图像(下文中也称为具有正常分辨率的图像)。
11.因此，利用专利文献1中描述的便携式终端，每当检测到等于或大于阈值的照度时，接通相机模块的电源，并且捕获具有正常分辨率的图像。
12.此外，利用专利文献1中描述的便携式终端，参考执行面部识别处理所需的亮度来确定照度的阈值。
13.因此，利用专利文献1中描述的便携式终端，频繁地检测等于或大于阈值的照度。每次都打开相机模块的电源，并捕获具有正常分辨率的图像。因此，缩短了相机模块的等待时间，导致功耗增加。
14.鉴于这种情况，已经提出了本技术，并且能够实现低功耗。
15.解决问题的方法
16.根据本技术的用于图像传感器的控制方法，包括：在周围照度小于阈值的情况下使所述图像传感器在休眠状态下操作；在检测到所述周围照度等于或大于所述阈值，将所述图像传感器的操作模式从所述休眠状态直接设置为低功耗模式；以及基于在所述图像传感器在低功耗模式下获得的图像中检测到预定对象，将所述图像传感器的所述操作模式从所述低功耗模式设置为正常模式。
17.根据本技术的用于图像传感器的控制设备，包括：第一单元，在周围照度小于阈值的情况下使所述图像传感器在休眠状态下操作；第二单元，在检测到所述周围照度等于或大于所述阈值，将所述图像传感器的操作模式从所述休眠状态直接设置为低功耗模式；以及第三单元，基于在所述图像传感器在低功耗模式下获得的图像中检测到预定对象，将所述图像传感器的所述操作模式从所述低功耗模式设置为正常模式。
18.根据本技术的一种非暂存性计算机可读存储介质，存储有指令，当处理电路执行所述指令时，执行用于图像传感器的控制方法，所述方法包括：在周围照度小于阈值的情况下使所述图像传感器在休眠状态下操作；在检测到所述周围照度等于或大于所述阈值，将所述图像传感器的操作模式从所述休眠状态直接设置为低功耗模式；以及基于在所述图像传感器在低功耗模式下获得的图像中检测到预定对象，将所述图像传感器的所述操作模式从所述低功耗模式设置为正常模式。
19.根据本技术的控制设备或程序是用于图像传感器的控制设备，包括：检测单元，从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，图像传感器包括作为操作模式的低功耗模式和正常模式，其中在低功耗模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及设置单元，在检测到存在预定对象的情况下，将图像传感器的操作模式设置为正常模式，并且使图像传感器输出具有高分辨率的图像，或者用于使计算机用作这种控制设备的程序。
20.根据本技术的控制方法是用于图像传感器的控制方法，包括：从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，图像传感器包括作为操作模式的低功耗模式和正常模式，其中在正常模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及，在检测到存在预定对象的情况下，将图像传感器的操作模式设置为正常模式，并使图像传感器输出具有高分辨率的图像。
21.根据本技术的电子装置系统是包括以下的电子装置系统：图像传感器，包括作为操作模式的低功耗模式和正常模式，在低功耗模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及控制单元，控制图像传感器，该控制单元包括：检测单元，从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在；以及设置单元，在检测到存在预定对象的情况下，
将图像传感器的操作模式设置为正常模式，并且使图像传感器输出具有高分辨率的图像。
22.根据本技术，从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，该图像传感器包括作为操作模式的低功耗模式和正常模式，在低功耗模式下输出具有低分辨率的图像，以及在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像。然后，在检测到预定对象的存在的情况下，图像传感器的操作模式被设置为正常模式，并且图像传感器输出具有高分辨率的图像。
23.注意，控制设备可以是独立的设备，或者可以是构成单个设备的内部块。
24.此外，可以通过经由传送介质传送或通过记录在记录介质上来提供程序。
25.发明效果
26.根据本技术，可以实现低功耗。
27.注意，本文描述的效果不一定受限制，但也可以是本公开中描述的任何效果。
附图说明
28.图1是示出应用了本技术的电子装置系统的实施方式的配置示例的框图。
29.图2是示出相机系统11的配置示例的框图。
30.图3是说明在电子装置系统执行面部认证的情况下的处理的示例的流程图。
31.图4是进一步说明在电子装置系统执行面部认证的情况下的处理的示例的图。
32.图5是说明在电子装置系统执行虹膜认证的情况下的处理的示例的图。
33.图6是说明电子装置系统执行掌纹认证的情况下的处理的示例的图。
34.图7是说明在电子装置系统是付费停车场的监视摄像机并记录停放的汽车的牌照的情况下的处理的示例的图。
35.图8是说明在电子装置系统是房屋的监视摄像机并记录可疑人的情况下的处理的示例的图。
36.图9是示出相机系统11的不同配置示例的框图。
37.图10是说明在电子装置系统是智能电话并且面部认证成功的情况下在执行智能电话的原始处理的情况下的处理的示例的流程图。
38.图11是示出应用了本技术的计算机的实施例的配置示例的框图。
具体实施方式
39.《已应用本技术的电子装置系统的实施例》
40.图1是示出应用了本技术的电子装置系统的实施例的配置示例的框图。
41.在图1中，电子装置系统包括相机系统11、图像处理单元12、和电池13。
42.相机系统11捕获图像并将作为捕获结果获得的捕获图像提供给图像处理单元12。
43.图像处理单元12对来自相机系统11的捕获图像执行图像处理。
44.电池13向相机系统11、图像处理单元12和构成电子装置系统的块提供必要的电力，该块未示出。
45.上述电子装置系统可以应用于例如便携式终端，例如智能手机、建筑物的电子锁，例如房屋或收费停车场的监视摄像机、例如腕带式或眼镜型的可穿戴装置，以及捕获图像并对图像执行图像处理的任何设备，尤其是从电池接收电力供应并运行的安装电池的装
置。然而，电子装置系统可以应用于例如从电源插座接收电力并运行的装置，而不是安装电池的装置。
46.例如，在电子装置系统应用于智能手机的情况下，图像处理单元12使用捕获图像作为图像处理来执行认证处理。仅在认证成功的情况下，智能手机才被解锁，并且智能手机可以进入允许正常使用的可用状态。
47.此外，例如，在电子装置系统应用于电子锁的情况下，图像处理单元12使用捕获图像作为图像处理来执行认证处理。只有在认证成功的情况下，才能解锁电子锁。
48.此外，例如，在电子装置系统应用于房屋或收费停车场的监视相机的情况下，图像处理单元12可以记录在房屋周围徘徊的可疑人的捕获图像，或者非法停车汽车的所谓车牌(例如，汽车牌照号码)作为图像处理。
49.注意，图像处理单元12可以与相机系统11分开提供，或者可以包含在相机系统11中(例如，稍后描述的控制单元22)。
50.《相机系统11的配置示例》
51.图2是示出图1的相机系统11的配置示例的框图。
52.在图2中，相机系统包括图像传感器21和控制单元22。
53.图像传感器21例如是互补金属氧化物半导体(cmos)图像传感器。图像传感器21包括输出具有低分辨率的低分辨率图像的低功耗模式和输出具有比低分辨率图像的分辨率更高的分辨率的高分辨率图像的正常模式，作为操作模式。
54.图像传感器21根据控制单元22的控制设置操作模式，以该操作模式捕获图像并输出所谓的原始图像。
55.这里，在图像传感器21处于低功耗模式的情况下，例如，可以通过浮动扩散(fd)添加，像素的像素值(电荷)的稀疏读出等来执行低分辨率图像的输出。
56.在fd添加中，对于图像传感器21，构成图像传感器21并且未示出的像素以多个像素为单位共享fd，并且在fd中，添加多个像素的每个像素值，例如，共享fd的像素。
57.图像传感器21具有ad转换器(adc)(未示出)，其模数(ad)转换像素值。然而，在执行fd添加或像素值的稀疏读取的情况下，要读取的像素值的数量较小，导致需要操作的adc的数量减少。此外，读取像素值的速度或adc的操作速度可能很慢。因此，在图像传感器21处于低功耗模式的情况下，与输出高分辨率图像的正常模式的情况相比，可以显着地抑制功耗。
58.在低功耗模式中，图像传感器21通过上述fd添加或像素的稀疏读取输出具有极低分辨率的低分辨率图像，例如，高度和宽度约16
×
9像素等。
59.同时，在正常模式中，图像传感器21输出例如使用图像传感器21的所有像素的高清晰度(hd)图像，或者所谓的4k图像，8k图像等，作为高分辨率图像。
60.作为由图像传感器21输出的低分辨率图像或高分辨率图像的原始图像被提供给控制单元22。
61.注意，作为图像传感器21，除了接收(捕获)可见光的图像传感器之外，还可以采用接收除可见光之外的光(电磁波)的图像传感器，例如红外光等。
62.控制单元22控制图像传感器21对图像的捕获。
63.控制单元22包括选择单元31、对象存在/不存在检测单元32，模式设置单元33、曝
光控制单元34和显影处理单元35。
64.选择单元31根据模式设置单元33的控制，选择对象存在/不存在检测单元32和显影处理单元35中的一个作为从图像传感器21输出原始图像的目的地，并将原始图像输出到选定的图像。
65.这里，在图像传感器21的操作模式是正常模式并且图像传感器21输出高分辨率图像的情况下，模式设置单元33控制选择单元31选择显影处理单元35作为高分辨率图像的输出目的地。此外，在图像传感器21的操作模式是低功耗模式并且图像传感器21输出低分辨率图像的情况下，模式设置单元33控制选择单元31以选择对象存在/不存在检测单元32作为低分辨率图像的输出的目的地。
66.因此，在图像传感器21输出高分辨率图像的情况下，高分辨率图像经由选择单元31被提供给显影处理单元35。此外，在图像传感器21输出低分辨率图像的情况下，低分辨率图像经由选择单元31提供给对象存在/不存在检测单元32。注意，关于未被选择作为来自选择单元31的图像输出的(直接或间接)目的地的块，可以停止供电。在这种情况下，可以实现相机系统11(并且最终，电子装置系统)的低功耗。
67.对象存在/不存在检测单元32从选择单元31提供的低分辨率图像中检测预设的预定对象(下文中也称为设定对象)的存在或不存在。换句话说，对象存在/不存在检测单元图32检测在从选择单元31提供的低分辨率图像中是否显示了设定对象。
68.对象存在/不存在检测单元32将指示关于低分辨率图像中的设定对象的存在或不存在的检测结果的检测信息提供给模式设置单元33。
69.这里，作为设定对象，不仅采用诸如特定人、特定人的眼睛、特定汽车等的个别项目(个体对象)，而且还采用诸如任何人、任何人的眼睛、任何汽车等属于某一类别的一般事物。因此，即使当检测到设定对象的存在或不存在的目标是低分辨率图像时，也可以精确地检测设定对象的存在或不存在。
70.模式设置单元33根据来自对象存在/不存在检测单元32的检测信息设置图像传感器21的操作模式，并根据操作模式控制选择单元31。
71.换句话说，模式设置单元33将图像传感器21的操作模式设置为低功耗模式，例如，在激活控制单元22等时，或者，在来自对象存在/不存在检测单元32的检测信息不表示存在设置对象的情况下(设置对象在低分辨率图像中示出)等。
72.此外，模式设置单元33将图像传感器21的操作模式设置为正常模式，例如，在来自对象存在/不存在检测单元32的检测信息指示存在设定对象的情况下。
73.如上所述，图像传感器21在低功耗模式下以低功耗操作并捕获且输出低分辨率图像，并在正常模式下捕获并输出高分辨率图像。
74.这里，如上所述，在图2中，图像传感器21在正常状态(通常时间)下以低功耗模式操作，并且在检测到设定对象的存在的情况下以正常模式操作。因此，可以说，图像传感器21间歇地在正常模式下操作。
75.在图像传感器21的操作模式被设置为低功耗模式的情况下，模式设置单元33控制选择单元31以选择对象存在/不存在检测单元32作为原始图像的输出的目的地，该原始图像是从图像传感器21输出的低分辨率图像，取决于低功耗模式。
76.此外，在图像传感器21的操作模式被设置为正常模式的情况下，模式设置单元33
控制选择单元31以选择显影处理单元35作为原始图像的输出的目的地，该原始图像是从图像传感器21输出的高分辨率图像，取决于正常模式。
77.曝光控制单元34根据通过选择单元31输出到对象存在/不存在检测单元32的低分辨率图像来控制图像传感器21的曝光。例如，在低分辨率图像的亮度太低的情况下，曝光控制单元34控制图像传感器21以增加曝光时间。此外，例如，在低分辨率图像的亮度太高的情况下，曝光控制单元34控制图像传感器21以缩短曝光时间。注意，曝光控制单元34可以控制曝光，以将低分辨率图像中所示的对象设置在适当的曝光范围内，例如，通过传统的自动曝光技术等。此外，曝光控制单元34可以控制曝光以设置假定为曝光范围内的对象的每个动态范围，例如，通过传统的宽动态范围技术。
78.显影处理单元35执行原始图像的显影处理，该原始图像是例如从选择单元31提供的高分辨率图像，以便将rgb(红色、绿色、蓝色)的原始图像转换为ycbcr图像，并且将图像输出到图像处理单元12作为捕获图像。
79.《电子装置系统的处理》
80.图3是说明图1的电子装置系统执行例如面部认证的情况下的处理的示例的流程图。
81.换句话说，图3是说明在电子装置系统是智能电话并且面部认证成功的情况下解锁智能电话并执行智能电话的原始处理的情况下的处理的示例的流程图。
82.在步骤s11中，模式设置单元33将图像传感器21的操作模式设置为低功耗模式，并且处理进入步骤s12。
83.在步骤s12中，图像传感器21将操作模式设置为低功耗模式，并且根据模式设置单元33的设置(控制)开始捕获低分辨率图像，并且处理进入步骤s13。
84.由图像传感器21在低功耗模式下捕获的低分辨率图像被提供给选择单元31。
85.在步骤s13中，根据图像传感器21的操作模式是低功耗模式的事实，模式设置单元33使选择单元31选择对象存在/不存在检测单元32作为来自图像传感器21的低分辨率图像的输出的目的地。因此，从图像传感器21提供给选择单元31的低分辨率图像被提供给对象存在/不存在检测单元32。
86.这里，由选择单元31提供给对象存在/不存在检测单元32的低分辨率图像也被提供给曝光控制单元34。曝光控制单元34根据低分辨率图像控制图像传感器21的曝光。
87.此后，处理从步骤s13进入步骤s14。对象存在/不存在检测单元32执行用于从选择单元31提供的低分辨率图像检测设定对象的存在或不存在的检测处理，并将指示检测结果的检测信息提供给模式设置单元33。处理进入步骤s15。
88.这里，在执行面部认证的情况下，作为设定对象，采用作为面部认证的目标的(人的但不限于个人)的面部(头部)。
89.在步骤s15中，模式设置单元33根据来自对象存在/不存在检测单元32的检测信息确定在低分辨率图像中是否存在(示出)所设置的对象。
90.在步骤s15中，在确定在低分辨率图像中不存在(示出)所设定对象的情况下，处理返回到步骤s14，并且重复检测处理。
91.此外，在步骤s15中，在确定所设置的对象存在于低分辨率图像中的情况下，即，在低分辨率图像示出作为面部认证的目标的面部的情况下，处理进行到步骤s16。
92.在步骤s16中，模式设置单元33将图像传感器21的操作模式设置为正常模式，并且处理进入步骤s17。
93.在步骤s17中，图像传感器21将操作模式设置为正常模式，并且根据模式设置单元33的设置开始捕获高分辨率图像，并且处理进入步骤s18。
94.在正常模式下由图像传感器21捕获的高分辨率图像是示出在检测处理中在低分辨率图像中检测到其存在的面部的图像，并且被提供给选择单元31。
95.在步骤s18中，根据图像传感器21的操作模式是正常模式的事实，模式设置单元33使选择单元31选择显影处理单元35作为来自图像传感器21的高分辨率图像的输出的目的地。因此，从图像传感器21提供给选择单元31的高分辨率图像被提供给显影处理单元35。
96.显影处理单元35执行从选择单元31提供的高分辨率图像的显影处理，以便将rgb的高分辨率图像转换为ycbcr的高分辨率图像，并将图像输出到图像处理单元12作为捕获图像。
97.此后，处理从步骤s18进入步骤s19。图像处理单元12使用捕获图像(来自显影处理单元35的高分辨率图像)执行面部认证(通过个人认证)，并且处理进入步骤s20。
98.在步骤s20中，图像处理单元12确定使用高分辨率图像的面部认证是否已经成功。
99.在步骤s20中，在确定面部认证尚未成功的情况下，即，在高分辨率图像中示出的面部不是作为智能手机的电子装置系统的所有者(特定个体)的面部的情况下，处理返回到步骤s11，随后重复类似的处理。
100.此外，在步骤s20中，在确定面部认证已经成功的情况下，即，在高分辨率图像中示出的面部是作为智能手机的电子装置系统的所有者的面部的情况下，处理进入步骤s21。
101.在步骤s21中，作为智能手机的电子装置系统开始智能手机的原始操作，并且处理进入步骤s22。
102.在步骤s22中，作为智能手机的电子装置系统确定是否满足进入休眠状态的休眠条件。
103.这里，作为休眠条件，可以采用例如，操作作为智能手机的电子装置系统的电源按钮为休眠状态、在作为智能手机的电子装置系统上没有执行任何操作一段时间或更长时间等。
104.在步骤s22中，在确定不满足休眠条件的情况下，处理返回到步骤s22。
105.此外，在步骤s22中，在确定满足休眠条件的情况下，处理进入步骤s23。作为智能手机的电子装置系统变为休眠状态。处理返回到步骤s11。随后重复类似的处理。
106.如上所述，通过根据图3的流程图的处理，在图像传感器21输出的图像(低分辨率图像)中不存在设定对象的同时，图像传感器21以低功耗模式操作，且当确认存在设定对象时，开始以正常模式操作。
107.因此，与图像传感器21总是以正常模式操作而不管设定对象的存在的情况相比，在等待图像处理单元12执行面部认证的同时，可以显着降低图像传感器21的功耗。因此，可以增加电池13的持续时间(图1)。
108.根据本发明人进行的模拟，在等待低功耗模式下执行面部认证的情况下，确认在等待正常模式下执行面部认证的情况下，图像传感器21的功耗可以减小到大约1/40(例如，大约1.5mw)。
109.此外，通过根据图3的流程图的处理，在确认以低功耗模式捕获的低分辨率图像中存在设定对象的情况下，在正常模式下捕获高分辨率图像，并且使用产生的高分辨率图像执行面部认证。因此，可以执行高精度的面部认证。
110.图4是进一步说明图1的电子装置系统进行面部认证的情况下的处理的示例的图。
111.图4的a示出由图像传感器21捕获的图像的视角的状态。在图4的a中，作为面部认证的目标的面部(头部)(不限于个体)存在于由图像传感器21捕获的图像的视角内。
112.图4的b是示出由图像传感器21捕获图4的a的视角的状态的情况下作为智能手机的电子装置系统的处理的图。
113.利用电子装置系统，图4的a的视角内的状态由图像传感器21以低功耗模式捕获，并且经由选择单元31将通过捕获获得的低分辨率图像提供给对象存在/不存在检测单元32。
114.在对象存在/不存在检测单元32中，以作为面部认证的目标的头部(面部)作为设定对象来执行检测处理，以从在低功耗模式下捕获的低分辨率图像中检测作为设定对象的头部的存在或不存在。
115.这里，作为用于从低分辨率图像检测作为设定对象的头部的存在或不存在的检测处理，可以采用简单处理，例如，执行从低分辨率图像的中心附近检测椭圆形或矩形物体以及检测朝向低分辨率图像的外边缘的肩部结构的处理。针对低分辨率图像的检测处理不需要检测特定人的头部。这是因为如果检测到任何人的头部的存在就足够了。
116.通过检测椭圆形或矩形物体以及朝向上述低分辨率图像的外边缘检测肩部结构，即使从约16
×
9像素的低分辨率图像，可以以足够的精度检测头部，以设置(切换)图像传感器21的操作模式。
117.注意，用于从低分辨率图像检测设定对象的存在或不存在的检测处理的算法不受特别限制。例如，通过用于从低分辨率图像检测作为设定对象的头部的存在或不存在的检测处理，可以根据确定头部是否显示在低分辨率图像中的学习算法等，可以检测作为设定对象的头部的存在或不存在，而不执行肩部结构的检测。
118.通过在对象存在/不存在检测单元32中执行的检测处理，当从低分辨率图像检测到存在作为设定对象的头部时，图像传感器21变为正常模式并开始捕获高分辨率图像。
119.然后，在图像处理单元12中，使用由图像传感器21在正常模式下捕获的高分辨率图像来执行面部认证。
120.图5是说明图1的电子装置系统执行虹膜认证的情况下的处理的示例的图。
121.图5的a示出由图像传感器21捕获的图像的视角的状态。在图5的a中，作为虹膜认证的目标的眼睛存在于由图像传感器21捕获的图像视角内。
122.图5的b是示出在由图像传感器21捕获图5的a的视角的状态的情况下作为智能手机的电子装置系统的处理的图。
123.利用电子装置系统，由图像传感器21在低功耗模式下捕获图5的a视角内的状态，并且，经由选择单元31将通过捕获获得的低分辨率图像提供给对象存在/不存在检测单元32。
124.在对象存在/不存在检测单元32中，以作为设定对象的虹膜认证的目标的眼睛执行检测处理，以从低功耗模式下捕获的低分辨率图像，检测作为设定对象的眼睛的存在或
不存在。
125.这里，作为用于从低分辨率图像检测作为设定对象的眼睛的存在或不存在的检测处理，可以采用简单处理。检测处理不需要检测特定人的眼睛。这是因为如果检测到任何人的眼睛的存在就足够了。
126.通过在对象存在/不存在检测单元32中执行的检测处理，当从低分辨率图像检测到作为设定对象的眼睛的存在时，图像传感器21变为正常模式并开始捕获高分辨率图像。
127.然后，在图像处理单元12中，使用由图像传感器21在正常模式下捕获的高分辨率图像来执行虹膜认证。
128.图6是说明图1的电子装置系统执行掌纹认证的情况下的处理的示例的图。
129.图6的a示出由图像传感器21捕获的图像的视角的状态。在图6的a中，作为掌纹认证的目标的手存在于由图像传感器21捕获的图像的视角内。
130.图6的b是示出由图像传感器21捕获图6的a的视角的状态的情况下作为智能手机的电子装置系统的处理的图。
131.利用电子装置系统，通过图像传感器21在低功耗模式下捕获图6的a视角内的状态，并且经由选择单元31将通过捕获获得的低分辨率图像提供给对象存在/不存在检测单元32。
132.在对象存在/不存在检测单元32中，利用作为掌纹验证的目标的手作为设定对象来执行检测处理，以从在低功耗模式下捕获的低分辨率图像中检测作为设定对象的手的存在或不存在。
133.这里，作为用于从低分辨率图像检测作为设定对象的手的存在或不存在的检测处理，可以采用简单处理。检测处理不需要检测特定人的手。这是因为如果检测到任何人的手的存在就足够了。
134.通过在对象存在/不存在检测单元32中执行的检测处理，当从低分辨率图像检测到存在作为设定对象的手时，图像传感器21变为正常模式并开始捕获高分辨率图像。
135.然后，在图像处理单元12中，使用由图像传感器21在正常模式下捕获的高分辨率图像来执行掌纹认证。
136.图7是例如说明在图1的电子装置系统是付费停车场的监视摄像机并且记录停放的汽车的车牌以应对非法停车的情况下的处理的示例的图。
137.图7的a示出由图像传感器21捕获的图像的视角的状态。在图7的a中，作为记录目标的汽车存在于由图像传感器21捕获的图像的视角内。
138.图7的b是示出在由图像传感器21捕获图7的a的视角的状态的情况下作为监视相机的电子装置系统的处理的图。
139.利用电子装置系统，通过图像传感器21在低功耗模式下捕获图7的a视角内的状态，并且，经由选择单元31将通过捕获获得的低分辨率图像提供给对象存在/不存在检测单元32。
140.在对象存在/不存在检测单元32中，利用作为记录目标的汽车作为设定对象来执行检测处理，以从在低功耗模式下捕获的低分辨率图像中检测作为设定对象的汽车的存在或不存在。
141.这里，作为用于从低分辨率图像检测作为设定对象的汽车的存在或不存在的检测
处理，可以采用简单处理。检测处理不需要检测特定汽车。这是因为如果检测到任何汽车的存在就足够了。
142.通过在对象存在/不存在检测单元32中执行的检测处理，当从低分辨率图像检测到作为设定对象的汽车的存在时，图像传感器21变为正常模式并开始捕获高分辨率图像。
143.然后，在图像处理单元12中，执行由图像传感器21在正常模式下捕获的高分辨率图像的记录(视频记录)。
144.注意，在这种情况下，关于高分辨率图像的记录，例如，直到高分辨率图像中所示的汽车消失(直到汽车未在高分辨率图像中显示)，可以在运动图像中视频记录高分辨率图像或者将在单个或多个静止图像中记录高分辨率图像。然后，在高分辨率图像等中未示出汽车的情况下，可以将图像传感器21的操作模式返回到低功耗模式。
145.图8是说明图1的电子装置系统是房屋的监视摄像机并记录可疑人员的情况下的处理的示例的图。
146.图8的a示出由图像传感器21捕获的图像的视角的状态。在图8的a中，作为记录的目标的人存在于由图像传感器21捕获的图像的视角内。
147.图8的b是示出在由图像传感器21捕获图8的a的视角的状态的情况下作为监视相机的电子装置系统的处理的图。
148.利用电子装置系统，由图像传感器21在低功耗模式下捕获图8的a视角内的状态，并且，经由选择单元31将通过捕获获得的低分辨率图像提供给对象存在/不存在检测单元32。
149.在对象存在/不存在检测单元32中，以作为记录对象的人作为设定对象执行检测处理，以从在低功耗模式下捕获的低分辨率图像中检测作为设定对象的人的存在或不存在。
150.这里，作为用于从低分辨率图像检测作为设定对象的人的存在或不存在的检测处理，可以采用简单处理。检测处理不需要检测特定的人。这是因为如果检测到任何人的存在就足够了。
151.通过在对象存在/不存在检测单元32中执行的检测处理，当从低分辨率图像检测到作为设定对象的人的存在时，图像传感器21变为正常模式并开始捕获高分辨率图像。
152.然后，在图像处理单元12中，执行由图像传感器21在正常模式下捕获的高分辨率图像的记录(视频记录)。
153.注意，在这种情况下，关于高分辨率图像的记录，例如，直到高分辨率图像中所示的人消失(直到该人未在高分辨率图像中显示)，可以在运动图像中视频记录高分辨率图像或者将在单个或多个静止图像中记录高分辨率图像。然后，在未在高分辨率图像等中显示人的情况下，可以将图像传感器21的操作模式返回到低功耗模式。
154.《相机系统11的不同配置示例》
155.图9是示出图1的相机系统11的不同配置示例的框图。
156.注意，图中与图2相对应的部分用相同的标号表示，下面适当省略说明。
157.在图9中，相机系统11包括图像传感器21、控制单元22、照度传感器51和操作控制单元52。
158.因此，图9的相机系统11与图2的情况相同之处在于相机系统11包括图像传感器21
和控制单元22。
159.然而，图9的相机系统11与图2的情况的不同之处在于相机系统11新包括照度传感器51和操作控制单元52。
160.照度传感器51感测照相机系统11的周围照度(由图像传感器21执行拍摄的范围)，并将照度提供给操作控制单元52。
161.操作控制单元52根据来自照度传感器51的周围照度来控制图像传感器21和控制单元22的操作。
162.换句话说，在周围照度不等于或大于阈值的情况下，即，例如，在周围照度不是可以捕获低分辨率图像的程度的照度(其如此明亮以至于检测处理可以由对象存在/不存在检测单元32执行)的情况下，操作控制单元52控制图像传感器21和控制单元22并停止图像传感器21和控制单元22的操作以停止操作(进入尽可能不进行处理的状态，但可以快速开始处理)。
163.此外，在周围照度等于或大于阈值的情况下，即，例如，在周围照度是可以捕获低分辨率图像的程度的照度(其明亮到检测处理可以由对象存在/不存在检测单元32执行的程度)的情况下，操作控制单元52控制图像传感器21和控制单元22，并开始图像传感器21和控制单元22的操作以开始操作。
164.当图像传感器21和控制单元22开始操作时，类似于图2的情况，控制单元22的模式设置单元33将图像传感器21的操作模式设置为低功耗模式，并且图像传感器21开始以低功耗模式捕获低分辨率图像。此外，在控制单元22中，对象存在/不存在检测单元32在低功耗模式下开始对由图像传感器21捕获的低分辨率图像的检测处理。
165.图10是说明在包括图9的照相机系统11的电子装置系统是智能电话且面部认证已经成功的情况下智能电话被解锁并且执行智能电话的原始处理的情况下的处理的示例的流程图。
166.在步骤s41中，操作控制单元52确定从照度传感器51提供的周围照度是否等于或大于阈值。在确定周围照度不等于或大于阈值的情况下，处理返回到步骤s41。随后重复类似的处理。
167.在步骤s41的处理期间，操作控制单元52停止图像传感器21和控制单元22的操作。
168.同时，在步骤s41中，在操作控制单元52确定从照度传感器51提供的周围照度等于或大于阈值的情况下，操作控制单元52开始图像传感器21和控制单元22的操作。处理进入步骤s42。
169.在步骤s42至s54中，执行与图3的步骤s11至s23类似的处理。
170.然后，在步骤s54中，当作为智能手机的电子装置系统进入休眠状态时，处理返回到步骤s41。随后重复类似的处理。
171.如上所述，通过图10的流程图之后的处理，在周围照度不等于或大于阈值的情况下，停止图像传感器21和控制单元22的操作。当周围照度变得等于或大于阈值时，操作开始，并且执行类似于图3的情况的处理。
172.照度传感器51的功耗(例如，几μw)充分小于低功耗模式下的图像传感器21的功耗(例如，约1.5mw)。因此，通过图10的流程图之后的处理，与图3的情况相比，可以进一步降低图像传感器21的功耗。
173.《已应用本技术的计算机的描述》
174.接下来，上述控制单元22和图像处理单元12的一系列处理可以由硬件执行，并且还可以通过软件执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装在微计算机等中。
175.图11是示出安装了执行一系列处理的程序的计算机的实施方式的配置示例的框图。
176.该程序可以预先记录在硬盘105或rom 103上，硬盘105或rom 103是包含在计算机中的记录介质。
177.或者，程序可以存储(记录)在可移动记录介质111上。这种可移动记录介质111可以作为所谓的包软件提供。这里，可移动记录介质111的示例包括柔性盘、光盘只读存储器(cd-rom)、磁光(mo)盘、数字通用盘(dvd)、磁盘、半导体存储器等。
178.注意，程序不仅可以从上述可移动记录介质111安装在计算机中，而且可以下载到计算机中并通过通信网络或广播网络安装在合并的硬盘105中。换句话说，例如，程序可以通过用于数字卫星广播的人造卫星从下载站点无线传输到计算机，或者可以通过网络(例如，局域网(lan)或互联网)通过有线传输到计算机。
179.计算机包括中央处理单元(cpu)102。输入/输出接口110经由总线101连接到cpu 102。
180.当用户经由输入/输出接口110通过输入单元107的操作等输入命令时，cpu 102相应地执行存储在只读存储器(rom)103中的程序。或者，cpu102将存储在硬盘105中的程序加载到随机存取存储器(ram)104中并执行该程序。
181.因此，cpu 102执行遵循上述流程图的处理或由前述框图的配置执行的处理。然后，例如，cpu 102根据需要使处理结果例如经由输入/输出接口110从输出单元106输出、从通信单元108发送、由硬盘105记录等。
182.注意，输入单元107可以包括键盘、鼠标、麦克风等。此外，输出单元106可包括液晶显示器(lcd)、扬声器等。
183.这里，在本说明书中，计算机根据程序执行的处理不一定需要沿着作为流程图描述的过程按时间顺序执行。换句话说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或对象处理)。
184.此外，程序可以由单个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。此外，程序可以被转移到远程计算机并由远程计算机执行。
185.此外，在本说明书中，系统是指多个构成元件(设备、模块(部件)等)的集群，并且所有构成元件是否在同一壳体中并不重要。因此，容纳在不同壳体中并通过网络连接的多个设备和其中多个模块容纳在单个壳体中的单个设备都是该系统。
186.注意，本技术的实施例不限于前述实施例，而是可以在不脱离本技术的主旨的范围内进行各种改变。
187.例如，本技术可以采用云计算的配置，其中一个功能经由网络由多个设备共享和联合处理。
188.此外，在上述流程图中描述的每个步骤可以由单个设备执行，或者由多个设备共享和执行。
189.此外，在单个步骤包括多个处理的情况下，单个步骤中包括的多个处理可以由单个装置执行，或者可以由多个装置划分和执行。
190.此外，本说明书中描述的效果仅是说明性的而非限制性的，并且可以提供其他效果。
191.注意，本技术可以是如下配置。
192.《1》
193.用于图像传感器的控制设备，包括：
194.检测单元，从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，图像传感器包括作为操作模式的低功耗模式和正常模式，在低功耗模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及
195.设置单元，在检测到存在预定对象的情况下，将图像传感器的操作模式设置为正常模式，并且使图像传感器输出具有高分辨率的图像。
196.《2》
197.根据《1》的控制设备，
198.其中，使用具有高分辨率的图像执行认证。
199.《3》
200.根据《1》的控制设备，
201.其中，执行高分辨率图像的记录。
202.《4》
203.根据《1》至《3》中任一项的控制设备，
204.其中，图像传感器在周围照度等于或大于阈值的情况下开始操作。
205.《5》
206.一种用于图像传感器的控制方法，包括：
207.从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，图像传感器包括作为操作模式的低功耗模式和正常模式，在低功耗模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及
208.在检测到存在预定对象的情况下，将图像传感器的操作模式设置为正常模式，并且使图像传感器输出具有高分辨率的图像。
209.《6》
210.一种程序，使计算机作为如下单元起作用：
211.检测单元，从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，图像传感器包括作为操作模式的低功耗模式和正常模式，在低功耗模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及
212.设置单元，在检测到存在预定对象的情况下，将图像传感器的操作模式设置为正常模式，并且使图像传感器输出具有高分辨率的图像。
213.《7》
214.一种电子装置系统，包括：
215.图像传感器，包括作为操作模式的低功耗模式和正常模式，在低功耗模式下输出具有低分辨率的图像，在正常模式下输出与具有低分辨率的图像相比具有高分辨率的图像；以及
216.控制图像传感器的控制单元，
217.控制单元包括：
218.检测单元，从图像传感器在低功耗模式下输出的具有低分辨率的图像中检测预设的预定对象的存在或不存在，以及
219.设置单元，在检测到存在预定对象的情况下，将图像传感器的操作模式设置为正常模式，并且使图像传感器输出具有高分辨率的图像。
220.符号说明
221.11相机系统
ꢀꢀꢀ
12图像处理单元
ꢀꢀꢀꢀ
13电池
ꢀꢀꢀ
21图像传感器
222.22控制单元
ꢀꢀꢀꢀ
31选择单元
ꢀꢀꢀ
32对象存在/不存在检测单元
223.33模式设定单元
ꢀꢀꢀ
34曝光控制单元
ꢀꢀꢀ
35显影处理单元
224.51照度传感器
ꢀꢀꢀ
52操作控制单元
ꢀꢀꢀꢀ
101bus
225.102cpu
ꢀꢀꢀ
103rom
ꢀꢀꢀ
104ram
ꢀꢀꢀ
105硬盘
ꢀꢀꢀ
106输出单元
226.107输入单元
ꢀꢀꢀ
108通信单元
ꢀꢀꢀ
109驱动器
ꢀꢀꢀ
110输入/输出接口
227.111可移动记录媒体。