图像处理设备及其控制方法与流程

1.本发明涉及图像处理设备及其控制方法，并且特别涉及被摄体跟踪技术。


背景技术：

2.诸如数字照相机等的一些图像处理设备具有通过随时间应用诸如面部区域等的特征区域的检测来跟踪该特征区域的功能(被摄体跟踪功能)。使用预训练的神经网络来跟踪被摄体的设备也是已知的(专利文献1)。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2017-156886


技术实现要素：

6.发明要解决的问题
7.与使用图像区域之间的相关性或相似性等的情况相比，使用神经网络可以提高被摄体跟踪的准确度。然而，使用神经网络的处理涉及高运算负荷并且需要高速处理器和大规模电路，并且因此存在功耗高的问题。例如，如果将使用神经网络的被摄体跟踪应用于实时取景显示用的运动图像，则由于实时取景显示而导致的电池消耗会成为问题。
8.鉴于传统技术的这些问题而构思了本发明。本发明的目的是提供一种具有在抑制功耗的同时实现良好性能的被摄体跟踪功能的图像处理设备及其控制方法。
9.用于解决问题的方案
10.根据本发明的一个方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定部件，用于从所述候选区域中确定要跟踪的被摄体区域；计算部件，用于基于所述确定部件所确定的被摄体区域来计算与跟踪的难度有关的评估值；跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在所述对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件；以及控制部件，用于基于所述评估值来确定所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述评估值，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。
11.根据本发明的另一方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；确定部件，用于从所述候选区域中确定要跟踪的被摄体区域；跟踪部件，用于执行跟踪处理，所述跟踪处理用于估计与在所述对象帧之前的帧中要跟踪的被摄体区域相对应的区域在所述对象帧中的位置，所述跟踪部件包括第一跟踪部件和第二跟踪部件；以及控制部
件，用于基于所述检测部件所检测到的被摄体的类型，来确定所述第一跟踪部件对所述对象帧的后续帧的操作和所述第二跟踪部件对所述对象帧的后续帧的操作，其中，所述第二跟踪部件与所述第一跟踪部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述检测部件所检测到的被摄体的类型，启用所述第一跟踪部件和所述第二跟踪部件这两者，或者停用所述第一跟踪部件和所述第二跟踪部件其中至少之一。
12.根据本发明的又一方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；计算部件，用于基于所述候选区域的检测结果，来计算与用于从所述候选区域中确定要经受跟踪处理的区域的确定处理的难度有关的评估值；对象确定部件，其包括第一确定部件和第二确定部件，所述对象确定部件用于对所述检测部件所检测到的候选区域进行所述确定处理；以及控制部件，用于基于所述评估值来控制所述第一确定部件的操作和所述第二确定部件的操作，其中，所述第二确定部件与所述第一确定部件相比具有更高处理准确度和更大运算负荷，以及所述控制部件基于所述评估值，启用所述第一确定部件和所述第二确定部件这两者，或者停用所述第一确定部件和所述第二确定部件其中之一，或者停用所述第一确定部件和所述第二确定部件这两者。
13.根据本发明的又一方面，提供了一种图像处理设备。所述图像处理设备的特征在于，包括：检测部件，用于在对象帧中检测预定被摄体的一个或多于一个区域作为候选区域；对象确定部件，用于进行确定处理，所述确定处理用于从所述检测部件所检测到的候选区域中确定要经受跟踪处理的区域，所述对象确定部件包括第一确定部件和第二确定部件，所述第二确定部件与所述第一确定部件相比具有更高处理准确度和更大运算负荷；以及控制部件，用于基于所述候选区域的检测结果，来控制所述第一确定部件的操作和所述第二确定部件的操作，其中，所述控制部件基于所检测到的候选区域的类型和数量，启用所述第一确定部件和所述第二确定部件这两者，或者停用所述第一确定部件和所述第二确定部件其中之一，或者停用所述第一确定部件和所述第二确定部件这两者。
14.根据本发明的还一方面，提供了一种存储有程序的非暂时性机器可读介质，所述程序用于使计算机用作根据本发明的电子装置的控制部件。
15.发明的效果
16.根据本发明，可以提供一种具有在抑制功耗的同时实现良好性能的被摄体跟踪功能的图像处理设备及其控制方法。
17.通过以下结合附图的说明，本发明的其他特征和优点将变得明显。注意，在附图中，相同的附图标记表示相同或类似的组件。
附图说明
18.并入在说明书中并构成说明书的一部分的附图示出本发明的实施例，并且这些附图与描述一起用于解释本发明的原理。
19.图1是示出根据第一实施例的摄像设备的功能配置的示例的框图。
20.图2a是示出根据第一实施例的摄像设备中的被摄体跟踪结果的显示的示例的图。
21.图2b是示出根据第一实施例的摄像设备中的被摄体跟踪结果的显示的示例的图。
22.图3是与第一实施例中的难度得分计算处理有关的流程图。
23.图4是与第一实施例中的基于难度得分的控制操作有关的流程图。
24.图5是与根据第一实施例的摄像设备的处理有关的示例时序图。
25.图6是与第一实施例中的跟踪处理结果的使用有关的时序图。
26.图7是与第一实施例中的基本实时取景显示操作有关的流程图。
27.图8a是与第一实施例中的被摄体跟踪期间的实时取景显示操作有关的流程图。
28.图8b是与第一实施例中的被摄体跟踪期间的实时取景显示操作有关的流程图。
29.图9是示出根据第二实施例的摄像设备的功能配置的示例的框图。
30.图10是示出第二实施例中的被摄体跟踪期间的实时取景显示的示例的图。
31.图11a是与第二实施例中的难度得分计算处理有关的流程图。
32.图11b是与第二实施例中的难度得分计算处理有关的流程图。
33.图12是与第二实施例中的基于难度得分的控制操作有关的流程图。
34.图13是与第二实施例中的不使用难度得分的控制操作有关的流程图。
35.图14是与根据第二实施例的摄像设备的处理有关的示例时序图。
36.图15a是与第二实施例中的用于确定要跟踪的被摄体区域的方法有关的流程图。
37.图15b是与第二实施例中的用于确定要跟踪的被摄体区域的方法有关的流程图。
38.图16是与第二实施例中的被摄体跟踪期间的实时取景显示操作有关的流程图。
39.图17是示出根据第三实施例至第八实施例的摄像设备的功能配置的示例的框图。
40.图18是示出根据实施例的视线信息获取设备的配置的图。
41.图19是示出与第三实施例中的被摄体检测单元的启用/停用控制有关的功能块的图。
42.图20是与根据第三实施例的系统控制单元的操作有关的流程图。
43.图21是与根据第三实施例的系统控制单元的操作有关的流程图。
44.图22是与根据第三实施例的系统控制单元的操作有关的流程图。
45.图23是与根据第四实施例的系统控制单元的操作有关的流程图。
46.图24是与根据第五实施例的系统控制单元的操作有关的流程图。
47.图25是与根据第六实施例的系统控制单元的操作有关的流程图。
48.图26是与根据第七实施例的系统控制单元的操作有关的流程图。
49.图27是与根据第八实施例的系统控制单元的操作有关的流程图。
50.图28是示出根据第九实施例至第十八实施例的摄像设备的功能配置的示例的框图。
51.图29是与根据第九实施例的系统控制单元的操作有关的流程图。
52.图30是与根据第十实施例的系统控制单元的操作有关的流程图。
53.图31是与根据第十一实施例的系统控制单元的操作有关的流程图。
54.图32是与根据第十二实施例的系统控制单元的操作有关的流程图。
55.图33是与根据第十三实施例的系统控制单元的操作有关的流程图。
56.图34是与根据第十四实施例的系统控制单元的操作有关的流程图。
57.图35是与根据第十五实施例的系统控制单元的操作有关的流程图。
58.图36是与根据第十六实施例的系统控制单元的操作有关的流程图。
59.图37是与根据第十七实施例的系统控制单元的操作有关的流程图。
60.图38是与根据第十八实施例的系统控制单元的操作有关的流程图。
61.图39是示出第十二实施例中的摄像设备的背面外观的示例的图。
具体实施方式
62.在下文中，将参考附图基于本发明的示例实施例详细描述本发明。注意，以下实施例不对权利要求书的范围内所阐述的本发明进行限制。另外，尽管在实施例中描述了若干特征，但是本发明没有必要一定需要所有这些特征，并且可以根据需要组合多个特征。此外，在附图中，相同或相似的配置被赋予了相同的附图标记，并且将省略其冗余描述。
63.注意，以下实施例将描述本发明适用于诸如数字照相机等的摄像设备的情况。然而，摄像设备仅仅是本发明可适用于的图像处理设备的一个示例，并且本发明可以在能够进行图像处理的任何电子装置中实现。这种电子装置的示例包括计算机装置(个人计算机、平板计算机、媒体播放器和pda等)、移动电话、智能电话、游戏控制台、机器人、无人机和行车记录仪(dashboard camera)。然而，这些仅仅是示例，并且本发明也可以适用于其他电子装置中。
64.第一实施例
65.图1是示出用作根据第一实施例的图像处理设备的示例的摄像设备100的功能配置的示例的框图。
66.光学系统101具有包括诸如调焦透镜等的可移动透镜的多个透镜，并且在图像传感器103的成像面上形成摄像范围的光学图像。
67.控制单元102包括cpu，并且例如将存储在rom 123中的程序加载到ram 122中并执行该程序。控制单元102通过控制各个功能块的操作来实现摄像设备100的功能。rom 123例如是可重写的非易失性存储器，并且存储有可以由控制单元102的cpu执行的程序、设置值和gui数据等。ram 122是系统存储器，其用于加载由控制单元102的cpu执行的程序，存储在执行程序时所需的值等。虽然在图1中未示出，但是控制单元102可通信地连接到各个功能块。
68.图像传感器103可以是具有例如原色拜耳阵列滤色器的cmos图像传感器。在图像传感器103中以二维方式布置各自具有光电转换区域的多个像素。图像传感器103使用多个像素来将光学系统101所形成的光学图像转换为电信号组(模拟图像信号)。通过图像传感器103中的a/d转换器将模拟图像信号转换为数字图像信号(图像数据)。a/d转换器可以设置在图像传感器103外部。
69.评估值生成单元124根据从图像传感器103获得的图像数据来生成在自动调焦检测(af)中使用的信号和评估值等，计算在自动曝光控制(ae)中使用的评估值等。评估值生成单元124将所生成的信号和评估值输出到控制单元102。基于从评估值生成单元124获得的信号和评估值等，控制单元102控制光学系统101的调焦透镜位置，并且确定拍摄条件(曝光时间、光圈值和iso感光度等)等。评估值生成单元124可以根据稍后将要描述的后处理单元114所生成的显示图像数据来生成信号和评估值等。
70.第一预处理单元104对从图像传感器103获得的图像数据应用颜色插值处理。颜色插值处理也被称为“去马赛克”，并且是向构成图像数据的像素数据的各个实例给出r分量、g分量和b分量值的处理。第一预处理单元104还可以根据需要应用用于减少像素数量的减
少处理。第一预处理单元104将应用了处理的图像数据存储在视频存储器107中。
71.第一图像校正单元109对存储在视频存储器107中的图像数据应用诸如白平衡校正处理和阴影校正处理等的校正处理以及用于从rgb格式转换为yuv格式的转换处理等。注意，当应用校正处理时，第一图像校正单元109可以使用视频存储器107中所存储的图像数据中的来自与要处理的帧不同的至少一个帧的图像数据。第一图像校正单元109例如可以在校正处理中使用按时间顺序在对象帧之前和/或之后的帧的图像数据。第一图像校正单元109将应用了处理的图像数据输出到后处理单元114。
72.后处理单元114根据从第一图像校正单元109供给的图像数据来生成记录图像数据和显示图像数据等。例如，后处理单元114对图像数据应用编码处理，并且生成存储有编码图像数据的数据文件作为记录图像数据。后处理单元114将记录图像数据供给到记录单元118。
73.后处理单元114还根据从第一图像校正单元109供给的图像数据来生成用于在显示单元121中显示的显示图像数据。显示图像数据具有基于显示单元121的显示大小的大小。后处理单元114将显示图像数据供给到信息叠加单元120。
74.记录单元118将后处理单元114所转换的记录图像数据记录到记录介质119中。记录介质119例如可以是半导体存储卡或内置非易失性存储器等。
75.第二预处理单元105对从图像传感器103输出的图像数据应用颜色插值处理。第二预处理单元105将应用了处理的图像数据存储在跟踪存储器108中。跟踪存储器108和视频存储器107可以被实现为同一存储器空间内的单独地址空间。第二预处理单元105还可以根据需要应用用于减少像素数量的减少处理，以便减轻处理负荷。尽管这里将第一预处理单元104和第二预处理单元105描述为单独的功能块，但可以使用共同的预处理单元来配置这些单元。
76.第二图像校正单元106对存储在跟踪存储器108中的图像数据应用诸如白平衡校正处理和阴影校正处理等的校正处理以及用于从rgb格式转换为yuv格式的转换处理等。第二图像校正单元106还可以将适合于被摄体检测处理的图像处理应用于图像数据。例如，如果图像数据的代表亮度(例如，所有像素的平均亮度)小于预定阈值，则第二图像校正单元106可以将整个图像数据乘以设置系数(增益)，使得代表亮度至少变为阈值。
77.注意，当应用校正处理时，第二图像校正单元106可以使用跟踪存储器108中所存储的图像数据中的来自与要处理的帧不同的至少一个帧的图像数据。第二图像校正单元106例如可以在校正处理中使用按时间顺序在对象帧之前和/或之后的帧的图像数据。第二图像校正单元106将应用了处理的图像数据存储在跟踪存储器108中。
78.注意，当不使用被摄体跟踪功能时，不需要操作与被摄体跟踪功能有关的功能块，诸如第二预处理单元105和第二图像校正单元106等。另外，应用被摄体跟踪功能的图像数据是为了实时取景显示或记录而拍摄的运动图像数据。运动图像数据例如具有30fps、60fps或120fps等的预定帧频。
79.检测单元110从一帧的图像数据中检测预定候选被摄体的至少一个区域(候选区域)。另外，对于各个所检测到的区域，检测单元110将指示帧内的位置、大小和候选被摄体的类型(汽车、飞机、鸟、昆虫、人体、头部、瞳孔、猫或狗等)的对象类与其置信水平相关联。还针对各个对象类对所检测到的区域的数量进行计数。
80.检测单元110可以使用用于检测诸如人物或动物的面部区域等的特征区域的公知技术来检测候选区域。例如，检测单元110可以被配置为使用训练数据进行预训练的类鉴别器。鉴别(分类)算法不受特别限制。检测单元110可以通过训练用于实现多类逻辑回归、支持向量机、随机森林和神经网络等的鉴别器来实现。检测单元110将检测结果存储在跟踪存储器108中。
81.对象确定单元111从检测单元110所检测到的候选区域中确定要跟踪的被摄体区域(主被摄体区域)。例如，可以基于预先针对检测结果中所包括的各个项目(诸如对象类和区域的大小等)分配的优先级顺序来确定要跟踪的被摄体区域。具体地，可以针对各个候选区域计算优先级顺序的合计(total)，并且可以将具有最低合计的候选区域确定为要跟踪的被摄体区域。可替代地，可以将属于特定对象类的候选区域中的最接近图像的中心或焦点检测区域的候选区域或者最大候选区域等确定为要跟踪的被摄体区域。对象确定单元111将用于识别所确定的被摄体区域的信息存储在跟踪存储器108中。
82.难度判断单元112针对对象确定单元111所确定的要跟踪的被摄体区域，计算作为指示跟踪的难度的评估值的难度得分。例如，难度判断单元112可以考虑到影响跟踪的难度的至少一个因素来计算难度得分。可以给出被摄体区域的大小、被摄体的对象类(类型)、属于同一对象类的区域的总数以及图像内的位置等作为影响跟踪的难度的因素的示例。稍后将给出用于计算难度得分的方法的具体示例。难度判断单元112将计算出的难度得分输出到跟踪控制单元113。
83.跟踪控制单元113基于难度判断单元112所计算出的难度得分来确定是启用还是停用跟踪单元115中所包括的多个跟踪单元中的各个跟踪单元。在本实施例中，跟踪单元115包括具有不同运算负荷和跟踪准确度的多个跟踪单元。具体地，跟踪单元115包括使用深度学习(dl)进行被摄体跟踪的dl跟踪单元116和不使用dl进行被摄体跟踪的非dl跟踪单元117。假设dl跟踪单元116比非dl跟踪单元117具有更高的处理准确度，但也比非dl跟踪单元117具有更大的运算负荷。
84.在这种情况下，跟踪控制单元113确定是启用还是停用dl跟踪单元116和非dl跟踪单元117中的每一个。跟踪控制单元113还确定要启用的跟踪单元的操作频率。“操作频率”是应用跟踪处理的频率(以fps为单位)。
85.跟踪单元115根据存储在跟踪存储器108中的对象帧(当前帧)的图像数据来估计要跟踪的被摄体区域，并获得所估计的被摄体区域在该帧内的位置和大小作为跟踪结果。例如，跟踪单元115使用当前帧的图像数据和在当前帧之前拍摄的过去帧(例如，前一帧)的图像数据来估计当前帧内的要跟踪的被摄体区域。跟踪单元115将跟踪结果输出到信息叠加单元120。
86.这里，跟踪单元115估计对象帧内的与过去帧中要跟踪的被摄体区域相对应的区域。换句话说，由对象确定单元111针对对象帧所确定的要跟踪的被摄体区域不是对对象帧进行的跟踪处理中要跟踪的被摄体区域。对对象帧进行的跟踪处理中要跟踪的被摄体区域是过去帧中的要跟踪的被摄体区域。当要跟踪的被摄体切换到另一被摄体时，由对象确定单元111针对对象帧所确定的要跟踪的被摄体区域用于下一帧的跟踪处理。
87.跟踪单元115包括dl跟踪单元116和非dl跟踪单元117，其中dl跟踪单元116使用深度学习(dl)来进行被摄体跟踪，非dl跟踪单元117不使用dl来进行被摄体跟踪。由跟踪控制
单元113启用的跟踪单元以跟踪控制单元113所设置的操作频率输出跟踪结果。
88.dl跟踪单元116使用包括卷积层的经预训练的多层神经网络来估计要跟踪的被摄体区域的位置和大小。更具体地，dl跟踪单元116具有用于提取针对可能是对象的各个对象类的被摄体区域的特征点和这些特征点中所包含的特征量的功能、以及用于在帧之间关联所提取的特征点的功能。因此，dl跟踪单元116可以根据与过去帧中的要跟踪的被摄体区域的特征点相关联的当前帧中的特征点，来估计当前帧中的要跟踪的被摄体区域的位置和大小。
89.dl跟踪单元116输出针对当前帧所估计的要跟踪的被摄体区域的位置、大小和置信水平得分。置信水平得分指示帧之间的特征点关联的置信水平(即，要跟踪的被摄体区域的估计结果的置信水平)。指示帧之间的特征点关联的低置信水平的置信水平得分意味着在当前帧中估计的被摄体区域可以是不同于过去帧中的要跟踪的被摄体区域的与被摄体相关的区域。
90.另一方面，非dl跟踪单元117通过不使用深度学习的方法估计当前帧中的要跟踪的被摄体区域。这里，假设非dl跟踪单元117基于颜色构成的相似性来估计要跟踪的被摄体区域。然而，可以使用其他方法，诸如将过去帧中的要跟踪的被摄体区域作为模板的模式匹配等。非dl跟踪单元117输出针对当前帧估计的要跟踪的被摄体区域的位置、大小和置信水平得分。
91.这里将描述颜色构成的相似性。为了便于描述和理解，这里假设要跟踪的被摄体区域的形状和大小在过去帧和当前帧之间是相同的。还假设图像数据对于各个rgb颜色分量具有8位(0到255的值)的深度。
92.非dl跟踪单元117将给定颜色分量(例如，r分量)的可能值的范围(0到255)划分为多个区域。然后，非dl跟踪单元117将利用r分量值所属的区域对要跟踪的被摄体区域中所包括的像素进行分类的结果(值的各个范围的频率)作为要跟踪的被摄体区域的颜色构成。
93.作为最简单的示例，假设r分量的可能值的范围(0到255)被划分成与0到127相对应的red1以及与128到255相对应的red2。此外，假设过去帧中的要跟踪的被摄体区域的颜色构成是50个像素的red1和70个像素的red2。另外，假设当前帧中的要跟踪的被摄体区域的颜色构成是45个像素的red1和75个像素的red2。
94.在这种情况下，非dl跟踪单元117可以基于被分类到相同值范围中的像素的数量之间的差，按照如下计算指示颜色构成的相似性的得分(相似性得分)。
95.相似性得分＝|50-45|+|70-75|＝10
96.假设当前帧中的要跟踪的被摄体区域的颜色构成是10个像素的red1和110个像素的red2，相似性得分将是：
97.相似性得分＝|50-10|+|70-110|＝80
98.以这种方式，相似性得分随着颜色构成的相似性的降低而增加。可替代地，较低的相似性得分指示颜色构成的较高相似性。
99.选择单元125基于dl跟踪单元116输出的置信水平得分和非dl跟踪单元117输出的相似性得分，采用来自dl跟踪单元116或非dl跟踪单元117的跟踪结果。例如，如果置信水平得分不大于预定置信水平得分阈值并且相似性得分不大于预定相似性得分阈值，则选择单元125采用来自非dl跟踪单元117的跟踪结果，否则采用来自dl跟踪单元116的跟踪结果。选
择单元125将所采用的跟踪结果输出到信息叠加单元120和控制单元102。
100.这里，基于置信水平得分和相似性得分来确定采用来自dl跟踪单元116的跟踪结果和来自非dl跟踪单元117的跟踪结果中的哪一个。然而，该确定可以通过其他方法进行。例如，使用dl跟踪单元116的准确度趋于比非dl跟踪单元117的准确度高这一事实，可以优先采用来自dl跟踪单元116的跟踪结果。具体地，如果获得来自dl跟踪单元116的跟踪结果，则可以采用来自dl跟踪单元116的跟踪结果，如果没有，则可以采用来自非dl跟踪单元117的跟踪结果。
101.信息叠加单元120基于包括在跟踪单元115所输出的跟踪结果中的被摄体区域的大小来生成跟踪框的图像。例如，跟踪框的图像可以是表示用于界定被摄体区域的矩形轮廓的框状图像。然后，信息叠加单元120通过将跟踪框的图像叠加在后处理单元114所输出的显示图像数据上来生成合成图像数据，使得跟踪框显示在跟踪结果中所包括的被摄体区域的位置处。信息叠加单元120还可以生成表示摄像设备100的当前设置值或状态等的图像，并且将这些图像叠加在后处理单元114所输出的显示图像数据上，以便在预定位置显示这些图像。信息叠加单元120将合成图像数据输出到显示单元121。
102.显示单元121例如可以是液晶显示器或有机el显示器。显示单元121显示基于信息叠加单元120所输出的合成图像数据的图像。以这种方式进行一帧的实时取景显示。
103.图2a和图2b是示出实时取景显示的示例的图。图2a示出由后处理单元114所输出的显示图像数据所表示的图像800。图2b示出由合成图像数据所表示的图像802，在图像802中，跟踪框803的图像被叠加在显示图像数据上。这里，在摄像范围中仅存在一个候选被摄体801，因此选择该候选被摄体801作为要跟踪的被摄体。跟踪框803被叠加以便包围候选被摄体801。在图2b的示例中，跟踪框803由四个中空支架形状的组合构成，但是跟踪框803可以是非中空支架形状的组合、完整框、矩形形状的组合、三角形形状的组合或其他形式。跟踪框803的形式也可以由用户选择。
104.接下来将参考图3中的流程图进一步描述难度判断单元112所执行的用于计算与要跟踪的被摄体区域有关的难度得分的操作。这里，假设对象类被分类为以下组a至组d。组a至组c被定义为使得具有关于跟踪难度相似的特性的对象类属于同一组。与属于组a至组c的对象类相比不太重要的对象类被分类到组d中。
105.组a主要包括刚性被摄体的对象类，诸如汽车对象类、火车对象类、喷气式飞机对象类、自行车对象类、摩托车对象类和直升机对象类等。组b主要包括快速移动并且被摄体区域的形状显著改变的被摄体的对象类，诸如鸟对象类和昆虫对象类等。组c(动物/人类)主要包括包含面部和身体的被摄体的对象类，诸如狗对象类、猫对象类和人体对象类等。组d包括其他对象类，并且假设属于组d的对象类具有较低的重要性。注意，组a至组d的分类仅仅是示例，并且也可以从其他角度进行关于跟踪难度的分类。
106.在s401中，难度判断单元112将难度得分初始化为0。
107.在s402中，难度判断单元112判断要跟踪的被摄体区域的对象类是否属于组a，如果判断为该对象类属于组a则执行s406，并且如果未判断为该对象类属于组a则执行s403。
108.在s406中，难度判断单元112维持难度得分。属于组a的对象类是相对容易跟踪的被摄体的对象类。因此，难度判断单元112判断为要跟踪的被摄体区域易于跟踪，并且不向难度得分加分(不增加难度)。
109.在s403中，难度判断单元112判断要跟踪的被摄体区域的对象类是否属于组b，如果判断为该对象类属于组b则执行s407，并且如果未判断为该对象类属于组b则执行s404。
110.在s407中，难度判断单元112向难度得分加1分(+1)。将快速移动并且形状显著改变的被摄体的对象类分类为组b。因此，如果要跟踪的被摄体区域的对象类属于组b，则难度判断单元112判断为要跟踪的被摄体区域难以跟踪，并且向难度得分加分(增加难度)。
111.在s404中，难度判断单元112判断要跟踪的被摄体区域的对象类是否属于组c，如果判断为该对象类属于组c则执行s405，并且如果未判断为该对象类属于组c则执行s410。
112.在s405中，难度判断单元112判断在要跟踪的被摄体区域内是否检测到具有头部对象类的被摄体区域和具有瞳孔对象类的被摄体区域。如果判断为在要跟踪的被摄体区域内检测到具有头部对象类的被摄体区域和具有瞳孔对象类的被摄体区域，则难度判断单元112执行s408，并且如果不是，则执行s409。
113.在s408中，难度判断单元112维持难度得分。组c主要是具有面部的被摄体(诸如狗、猫和人体等)的对象类。因为判断为检测到处于层级关系的头部和瞳孔这两者，所以难度判断单元112判断为要跟踪的被摄体区域易于跟踪，并且不向难度得分加分。
114.在s409中，难度判断单元112向难度得分加1分。组c主要是具有面部的被摄体(诸如狗、猫和人体等)的对象类。因为判断为没有检测到处于层级关系的头部和瞳孔中的至少一个，所以难度判断单元112判断为要跟踪的被摄体区域难以跟踪，并且向难度得分加分。
115.在s410中，难度判断单元112维持难度得分。因为要跟踪的被摄体区域属于组d并且不是组a、组b或组c中的对象类，所以难度判断单元112判断为要跟踪的被摄体区域不是与主被摄体相关的区域，并且不向难度得分加分。
116.在s411中，难度判断单元112判断具有与要跟踪的被摄体区域的对象类相同的对象类的候选区域的数量是否至少为预定阈值n(n≥2)。如果判断为具有与要跟踪的被摄体区域的对象类相同的对象类的候选区域的数量至少为预定阈值n，则难度判断单元112执行s412，并且如果不是，则执行s413。
117.在s412中，难度判断单元112向难度得分加1分。如果与要跟踪的被摄体区域具有相同对象类的候选区域的数量至少为阈值n，则难度判断单元112判断为要跟踪的被摄体区域难以跟踪，并且向难度得分加分。
118.在s413中，难度判断单元112维持难度得分。如果与要跟踪的被摄体区域具有相同对象类的候选区域的数量小于阈值n，则难度判断单元112判断为要跟踪的被摄体区域易于跟踪，并维持难度得分。
119.在s414中，难度判断单元112判断检测单元110检测到的候选区域中所包括的对象类的类型的数量是否至少为预定阈值o(o≥2)。如果判断为检测单元110检测到的候选区域中所包括的对象类的类型的数量至少为阈值o，则难度判断单元112执行s415，并且如果不是，则执行s416。
120.在s415中，难度判断单元112向难度得分加1分。如果候选区域中的对象类的类型的数量至少为阈值o，则使各种对象类的候选区域在摄像范围内混合，因此判断为要跟踪的被摄体区域难以跟踪，并且向难度得分加分。
121.在s416中，难度判断单元112维持难度得分。如果要跟踪的被摄体区域中的对象类的类型的数量小于阈值o，则难度判断单元112判断为跟踪单元115能够容易地跟踪要跟踪
的被摄体区域，并维持难度得分。
122.在s417中，难度判断单元112将计算出的难度得分输出到跟踪控制单元113。
123.通过这里描述的操作而计算出的难度得分可以取0、1、2或3的值。然而，这些值实际上可以具有更精细的步长。实际上，可以将比这里作为示例描述的这些对象类更多的对象类进行分类，并且分类成更多的组。另外，不需要判断s402至s404、s411和s414中的所有因素，并且可以基于这些因素其中至少之一来计算难度得分。此外，难度得分可以是二值的(0或1)，其中dl跟踪单元116被控制为在难度得分为1的情况下被启用(非dl跟踪单元117被启用或停用)，并且dl跟踪单元116在难度得分为0的情况下被停用(非dl跟踪单元117被启用)。
124.难度判断单元112可以通过预先进行分组并扩大难度得分可取的范围来计算更准确的难度得分。附加地，通过将速度信息与对象类相关联，除了要跟踪的被摄体区域的对象类之外，还可以根据大小和速度信息来估计图像中的移动速度，并将其反映在难度得分中。例如，如果所估计的移动速度至少是阈值，则向难度得分加分。另外，在过去帧(例如，前一帧)中计算出的置信水平得分和相似性得分可以被包括在难度得分计算处理中。
125.接下来，将参考图4中的流程图进一步描述跟踪控制单元113的操作。这里，假设难度判断单元112通过参考图3所描述的操作来计算难度得分。因此，难度得分具有0至3的值。
126.在s501中，跟踪控制单元113判断难度得分是否为3，如果判断为难度得分为3则执行s504，并且如果不是则执行s502。
127.在s502中，跟踪控制单元113判断难度得分是否为2，如果判断为难度得分为2则执行s505，并且如果不是则执行s503。
128.在s503中，跟踪控制单元113判断难度得分是否为1，如果判断为难度得分为1则执行s506，并且如果不是则执行s507。
129.在s504中，跟踪控制单元113判断为启用dl跟踪单元116并停用非dl跟踪单元117。跟踪控制单元113还将dl跟踪单元116的操作频率设置为60fps(每帧)。难度得分3是在计算出的难度得分中跟踪的难度最高的状态。因此，跟踪控制单元113确定使用比非dl跟踪单元117具有更好性能的dl跟踪单元116。另一方面，跟踪控制单元113判断为即使在使用非dl跟踪单元117时也不太可能获得良好结果，并且确定为不使用非dl跟踪单元117。
130.在s505中，跟踪控制单元113确定启用dl跟踪单元116和非dl跟踪单元117这两者。跟踪控制单元113还将dl跟踪单元116的操作频率设置为30fps(每隔一帧)，并且将非dl跟踪单元117的操作频率设置为60fps。难度得分2是跟踪的难度稍高的状态。因此，跟踪控制单元113确定使用dl跟踪单元116和非dl跟踪单元117这两者。然而，跟踪控制单元113通过将dl跟踪单元116的操作频率设置为低于非dl跟踪单元117的操作频率来降低功耗。跟踪控制单元113还通过将非dl跟踪单元117的操作频率设置为每帧来维持跟踪的跟踪性能。
131.在s506中，跟踪控制单元113确定启用dl跟踪单元116和非dl跟踪单元117这两者。跟踪控制单元113还将dl跟踪单元116的操作频率设置为15fps(每三帧)，并且将非dl跟踪单元117的操作频率设置为60fps。难度得分1是跟踪的难度稍低的状态。因此，跟踪控制单元113确定使用dl跟踪单元116和非dl跟踪单元117这两者。然而，跟踪控制单元113通过将dl跟踪单元116的操作频率设置为甚至比难度得分为2时低来进一步降低功耗。另一方面，跟踪控制单元113还通过将非dl跟踪单元117的操作频率设置为每帧来维持跟踪的跟踪性
能。
132.在s507中，跟踪控制单元113确定停用dl跟踪单元116并启用非dl跟踪单元117。跟踪控制单元113还将非dl跟踪单元117的操作频率设置为30fps(每隔一帧)。当难度得分为0时执行s507，其中难度得分0是跟踪的难度最低的状态。因此，跟踪控制单元113判断为使用非dl跟踪单元117可能获得足够准确的结果，并且确定仅使用非dl跟踪单元117。此外，跟踪控制单元113通过将非dl跟踪单元117的操作频率设置为每隔一帧来进一步降低功耗。
133.这里描述的控制操作仅仅是一个示例，并且可以根据难度得分可取的值的范围和值的步长等而改变。另外，尽管这里将运动图像的帧频描述为60fps，但是帧频可以是120fps。在这种情况下，当非dl跟踪单元117的操作频率被设置为120fps时，dl跟踪单元116的操作频率可以被设置为小于15fps(例如5fps)。
134.此外，针对各个难度得分而改变控制不是绝对必要的。例如，当难度得分至少为第一阈值时，可以启用dl跟踪单元116并停用非dl跟踪单元117，当难度得分小于第二阈值时，可以停用dl跟踪单元116并启用非dl跟踪单元117，等等。
135.图5是示出当在摄像设备100中实现被摄体跟踪功能时的上述单元中的各个单元的操作时序的示例的时序图。t600、t601、t602、t603、t604、t605和t606是检测单元110在各帧中开始检测处理的时间。在t600处，检测单元110开始针对首帧(第0帧)的检测处理610。
136.当检测单元110通过检测处理610在第0帧的图像数据中检测到至少一个候选区域及其对象类时，对象确定单元111开始用于确定要跟踪的被摄体区域的确定处理611。当通过确定处理611在第0帧的图像数据中确定要跟踪的被摄体区域时，难度判断单元112开始用于要跟踪的被摄体区域的难度判断处理612。
137.当通过难度判断处理612计算难度得分、并通过确定处理611所确定的被摄体区域是与最近确定的被摄体区域不同的与被摄体相关的区域时，跟踪控制单元113修改dl跟踪单元116和非dl跟踪单元117的控制。具体地，根据针对第0帧中的图像数据所确定的要跟踪的被摄体区域的难度得分，来更新dl跟踪单元116和非dl跟踪单元117的启用或停用以及操作频率。附加地，跟踪单元115将要跟踪的被摄体区域更新为针对第0帧中的图像数据所确定的要跟踪的被摄体区域。因此，针对第一帧的图像数据跟踪更新的被摄体区域。
138.另一方面，当通过确定处理611确定的被摄体区域和最近确定的被摄体区域是与同一被摄体相关的区域时，跟踪控制单元113不修改dl跟踪单元116和非dl跟踪单元117的控制。跟踪单元115也不更新要跟踪的被摄体区域。
139.在图5中，第0帧、当检测处理624在t602开始时的第二帧、当检测处理633在t604开始时的第四帧、以及当检测处理643在t606开始时的第六帧是要跟踪的被摄体不改变的情况。
140.另一方面，检测处理616在t601开始的第一帧的图像数据指示通过确定处理617所确定的要跟踪的被摄体区域和最近确定的被摄体区域是与不同被摄体相关的区域的示例。
141.在这种情况下，要跟踪的被摄体在下一帧中改变，因此跟踪控制单元113使用难度判断处理618的结果来修改dl跟踪单元116和非dl跟踪单元117的启用/停用控制。这里，对于下一帧，停用非dl跟踪单元117，启用dl跟踪单元116，并且dl跟踪单元116的操作频率被切换为第0帧和第一帧中的操作频率的两倍。
142.要跟踪的被摄体在检测处理629在t603开始的第三帧中类似地改变，并且跟踪控
制单元113修改dl跟踪单元116和非dl跟踪单元117的启用/停用控制。这里，对于检测处理633在t604开始的第四帧，停用dl跟踪单元116，并且启用非dl跟踪单元117。附加地，非dl跟踪单元117的操作频率被设置为第0帧和第一帧的操作频率设置的一半的频率。
143.在t600处，跟踪单元115开始第0帧的dl跟踪处理613和非dl跟踪处理614。这里，假设在第0帧的时间点，跟踪控制单元113已启用dl跟踪单元116和非dl跟踪单元117这两者，并且已将非dl跟踪单元117的操作频率设置为dl跟踪单元116的操作频率的两倍。
144.在图5中，由于dl跟踪单元116和非dl跟踪单元117的操作频率被设置为低于每帧，因此不执行虚线矩形所指示的dl跟踪处理和非dl跟踪处理。
145.在第0帧中，dl跟踪单元116进行dl跟踪处理613，且非dl跟踪单元117进行非dl跟踪处理614，并且这两者输出跟踪处理结果。这里，dl跟踪处理613可以输出比非dl跟踪处理614的跟踪结果具有更高准确度的跟踪结果。因此，跟踪单元115采用由选择单元125选择的来自dl跟踪处理613的跟踪结果。然后，在叠加处理615中，信息叠加单元120生成叠加了基于来自dl跟踪处理613的跟踪结果的跟踪框的合成图像数据。在t601，显示单元121执行第0帧的合成图像数据的显示处理623。
146.在t601处，非dl跟踪单元117开始第一帧的非dl跟踪处理620。根据操作频率设置，dl跟踪单元116不对第一帧进行跟踪处理。在第一帧中仅获得来自非dl跟踪单元117的跟踪结果，并且因此在叠加处理622中，信息叠加单元120生成叠加了基于来自非dl跟踪单元117的跟踪结果的跟踪框的合成图像数据。
147.注意，非dl跟踪处理具有比dl跟踪处理更低的处理负荷，并且因此比dl跟踪处理更早结束。跟踪结果在与进行dl跟踪处理时类似的定时输出，并且因此跟踪单元115在非dl跟踪单元处理之后进行等待处理621。在t602，显示单元121执行第一帧的合成图像数据的显示处理628。
148.在t602处，dl跟踪单元116开始第二帧的dl跟踪处理625。对于第二帧，停用非dl跟踪单元117，并且因此不执行非dl跟踪处理。在第二帧中仅获得来自dl跟踪单元116的跟踪结果，并且因此在叠加处理627中，信息叠加单元120生成叠加了基于来自dl跟踪单元116的跟踪结果的跟踪框的合成图像数据。在t603处，显示单元121执行第一帧的合成图像数据的显示处理632。
149.在t603处，dl跟踪单元116开始第三帧的dl跟踪处理630。在第二帧的dl跟踪处理625的开始之前，dl跟踪单元116的操作频率已改变为第0帧中的操作频率的两倍，并且因此在第二帧之后的第三帧中也执行dl跟踪处理。叠加处理631和显示处理638与第二帧中所进行的那些处理类似。
150.在t604处，非dl跟踪单元117开始第四帧的非dl跟踪处理635。对于第四帧，停用dl跟踪单元116，并且因此不执行dl跟踪处理。将非dl跟踪单元117的操作频率设置为第0帧和第一帧的操作频率的一半，并且因此进行第四帧的非dl跟踪处理635，不进行第五帧的非dl跟踪处理640。等待处理636、叠加处理637和显示处理642与第一帧中所进行的那些处理类似。
151.在t605处，跟踪单元115既不执行dl跟踪处理639，也不执行非dl跟踪处理640。因此，在针对第五帧所进行的叠加处理641中，信息叠加单元120生成叠加了基于在第四帧中获得的来自非dl跟踪处理635的跟踪结果的跟踪框的合成图像数据。注意，信息叠加单元
120可以针对既不执行dl跟踪处理也不执行非dl跟踪处理的帧(诸如第五帧等)生成在叠加处理中未叠加跟踪框的合成图像数据。
152.在t606处，非dl跟踪单元117开始第六帧的非dl跟踪处理644。停用dl跟踪单元116，并且因此不执行dl跟踪处理。第六帧的非dl跟踪处理644、等待处理645、叠加处理646和显示处理647与第四帧中所进行的那些处理类似。
153.以这种方式，当要跟踪的被摄体被切换到其他被摄体时，基于针对在下一帧中使用的要跟踪的新被摄体区域所计算出的难度得分，来修改是否执行dl跟踪处理和非dl跟踪处理及其操作频率。这使得可以动态地根据难度得分执行适当的跟踪处理，这进而使得可以抑制功耗。
154.本实施例中的跟踪处理可以使用对象帧先前的帧的跟踪结果。将参考图6所示的时序图描述使用过去跟踪结果的跟踪处理。
155.t700指示第0帧的跟踪处理的开始定时。此后，t70n(其中n＝1、2等)指示第n帧的跟踪处理的开始定时。分别在t702和t704处，切换要跟踪的被摄体，并且修改跟踪控制单元113对dl跟踪单元116和非dl跟踪单元117的控制。
156.dl跟踪单元116和非dl跟踪单元117在被设置为启用时根据操作频率对帧执行跟踪处理。附加地，dl跟踪单元116和非dl跟踪单元117将在一帧前获得的跟踪结果用于要处理的帧的跟踪处理。
157.dl跟踪单元116的处理准确度趋于比基于相似性等的非dl跟踪单元117的处理准确度高。因此，(如果可用的话)来自在要处理的帧前一帧的dl跟踪处理的跟踪结果用于要处理的帧的dl跟踪处理和/或非dl跟踪处理。注意，当要跟踪的被摄体在要处理的帧和前一帧之间不同时，不使用前一帧的跟踪结果。
158.因此，第一帧的非dl跟踪处理711使用来自第0帧的dl跟踪处理710的跟踪结果。要跟踪的被摄体在第一帧和第二帧之间不同，并且因此来自第一帧的跟踪结果不用于第二帧的dl跟踪处理712。第三帧的dl跟踪处理713使用来自第二帧的dl跟踪处理712的跟踪结果。要跟踪的被摄体在第三帧和第四帧之间不同，并且因此来自第三帧的跟踪结果不用于第四帧的非dl跟踪处理715。在第四帧中不执行dl跟踪处理714，并且因此第五帧的非dl跟踪处理716使用来自第四帧的非dl跟踪处理715的跟踪结果。
159.图7是与在启用摄像设备100的被摄体跟踪功能时进行的实时取景显示操作有关的流程图。
160.在s200中，控制单元102控制图像传感器103拍摄一帧，并读出图像数据。
161.在s201中，第一预处理单元104对从图像传感器103读出的图像数据应用预处理。
162.在s202中，第一预处理单元104将应用了预处理的图像数据存储在视频存储器107中。
163.在s203中，第一图像校正单元109开始对从视频存储器107读出的图像数据应用预定的图像校正处理。在s204中，第一图像校正单元109判断是否完成要应用的全部图像校正处理，并且如果判断为完成要应用的全部图像校正处理，则将应用了图像校正处理的图像数据输出到后处理单元114。如果判断为没有完成全部图像校正处理，则第一图像校正单元109继续图像校正处理。
164.在s205中，后处理单元114根据第一图像校正单元109应用了图像校正处理的图像
数据来生成显示用的图像数据，并将该显示用的图像数据输出到信息叠加单元120。
165.在s206中，使用由后处理单元114生成的显示用的图像数据、跟踪框的图像数据和指示其他信息的图像数据，信息叠加单元120生成在拍摄图像上叠加了跟踪框和其他信息等的图像的合成图像的数据。信息叠加单元120将该合成图像数据输出到显示单元121。
166.在s207中，显示单元121显示由信息叠加单元120生成的合成图像数据。这完成了一帧的实时取景显示。
167.图8a和图8b是与摄像设备100的被摄体跟踪功能的操作有关的流程图。
168.除了使用跟踪存储器108代替视频存储器107、并且图像校正处理是用于跟踪的图像校正处理之外，s300至s304的处理与图7中的s200至s204的处理类似。
169.在s305中，检测单元110对完成全部图像校正处理的图像数据进行被摄体区域检测处理。对于所检测到的被摄体区域(候选区域)中的各个被摄体区域，检测单元110将位置和大小、对象类、属于同一对象类的被摄体区域的数量和置信水平得分等作为检测结果存储在跟踪存储器108中。
170.在s306中，对象确定单元111根据存储在跟踪存储器108中的与候选区域有关的信息来确定要跟踪的一个被摄体区域。对象确定单元111将与所确定的要跟踪的被摄体区域有关的信息存储在跟踪存储器108中。
171.在s307中，难度判断单元112基于与要跟踪的被摄体区域有关的信息和与候选区域有关的信息、并基于从跟踪存储器108读出的跟踪候选被摄体信息，来计算难度得分。跟踪控制单元113还基于难度得分来确定是启用还是停用dl跟踪单元116和非dl跟踪单元117，并且确定启用的跟踪单元的操作频率。
172.在s308中，跟踪单元115判断dl跟踪单元116是否对要处理的帧执行了跟踪处理，如果判断为执行了跟踪处理，则执行s309，如果不是，则执行s310。
173.在s309中，跟踪单元115采用由选择单元125选择的来自dl跟踪单元116的跟踪结果，并将该跟踪结果输出到信息叠加单元120。
174.在s310中，跟踪单元115采用由选择单元125选择的来自非dl跟踪单元117的跟踪结果，并将该跟踪结果输出到信息叠加单元120。注意，当非dl跟踪单元117也尚未执行跟踪处理时，不输出跟踪结果，或者输出前一帧的跟踪结果。
175.在s311中，跟踪控制单元113判断在要处理的帧的跟踪处理中使用的被摄体区域是否是同与s306中所确定的要跟踪的被摄体区域相同的被摄体相关的区域。该判断也可以被认为是与要跟踪的被摄体是否已切换有关的判断。例如当对象帧的跟踪结果中所包括的置信水平得分不大于阈值时，跟踪控制单元113可以判断为要跟踪的被摄体已切换。注意，这仅仅是示例，并且可以使用其他方法进行判断。
176.如果判断为要跟踪的被摄体已切换，则跟踪控制单元113执行s312，如果判断为要跟踪的被摄体尚未切换，则跟踪控制单元113执行s313。
177.在s312中，跟踪控制单元113基于在s306中针对对象帧所确定的要跟踪的被摄体区域的难度得分，来确定是启用还是停用dl跟踪单元116和非dl跟踪单元117并确定操作频率。
178.在s313中，信息叠加单元120基于显示图像数据和在s309或s310中采用的跟踪结果，来生成叠加了跟踪框的图像的合成图像的数据。
179.s314和s315的处理与s206和s207的处理类似。
180.如上所述，根据本实施例，在使用第一跟踪单元以及与第一跟踪单元相比具有更高的处理准确度但具有更大的运算负荷的第二跟踪单元的摄像设备中，基于跟踪的难度来控制对第一和/或第二跟踪单元的启用或停用。因此，通过停用不太可能获得良好跟踪结果的跟踪单元、以及当可能仅从处理单元之一获得良好跟踪结果时停用其他跟踪单元等，可以在抑制跟踪准确度下降的同时抑制功耗。
181.因为通常对运动图像执行跟踪处理，所以当使用利用具有高运算负荷的机器学习(诸如深度学习等)的跟踪单元作为第二跟踪单元时，抑制功耗的效果特别大。
182.第二实施例
183.接下来将描述本发明的第二实施例。
184.图9是示出用作根据第二实施例的图像处理设备的示例的摄像设备100’的功能配置的示例的框图，并且与第一实施例中描述的摄像设备100的配置相同的配置将被赋予相同的附图标记。本实施例使用难度得分来控制对象确定单元的操作(代替控制跟踪单元的操作)。
185.下面将描述与第一实施例不同的区域。
186.本实施例的难度判断单元112基于存储在跟踪存储器108中的来自检测单元110的检测结果来计算难度得分，该难度得分是指示用于从所检测到的候选区域中确定要跟踪的被摄体区域的处理(对象确定处理)的难度的评估值。
187.例如，难度判断单元112可以考虑影响对象确定处理的难度的至少一个因素来计算难度得分。可以给出候选区域的大小、候选区域的对象类(类型)、属于同一对象类的候选区域的数量和候选区域在图像内的位置等作为影响对象确定处理的难度的因素的示例。稍后将给出用于计算难度得分的方法的具体示例。难度判断单元112将所计算出的难度得分输出到对象确定控制单元135。
188.对象确定控制单元135基于难度判断单元112所计算出的难度得分来确定是启用还是停用对象确定单元130中所包括的多个对象确定单元中的各个对象确定单元。在本实施例中，对象确定单元130包括具有不同运算负荷和对象确定准确度的多个对象确定单元。具体地，对象确定单元130包括使用深度学习(dl)进行对象确定处理的dl对象确定单元131和在不使用dl的情况下进行对象确定处理的非dl对象确定单元132。假设dl对象确定单元131具有比非dl对象确定单元132更高的处理准确度，但也具有比非dl对象确定单元132更大的运算负荷。
189.在这种情况下，对象确定控制单元135确定是启用还是停用dl对象确定单元131和非dl对象确定单元132中的每一个。注意，当仅检测到一个候选区域时以及当未检测到候选区域时，对象确定控制单元135停用dl对象确定单元131和非dl对象确定单元132这两者。
190.对象确定单元130从检测单元110所检测到的候选区域中确定要跟踪的被摄体区域(主被摄体区域)。对象确定单元130将用于识别所确定的被摄体区域的信息存储在跟踪存储器108中。
191.对象确定单元130包括使用深度学习(dl)进行对象确定处理的dl对象确定单元131和在不使用dl的情况下进行对象确定处理的非dl对象确定单元132。在dl对象确定单元131和非dl对象确定单元132中，由对象确定控制单元135启用的对象确定单元输出用于识
别所确定的被摄体区域的信息。
192.dl对象确定单元131使用预训练的多层神经网络从多个候选区域中确定要跟踪的被摄体区域。例如，多层神经网络可以是卷积神经网络(cnn)。例如，可以通过使用训练数据来进行多层神经网络的训练，该训练数据将各个候选区域的大小信息、画面内的位置信息、对象类信息和置信水平作为输入数据，并且将作为正解的主被摄体区域作为监督数据。注意，监督数据例如可以由观察对象帧并确定作为正解的主被摄体区域的人来准备。
193.多层神经网络的训练可以由单独的设备来进行，或者由摄像设备100’来进行。当由摄像设备100’进行时，例如可以通过将dl对象确定单元131置于学习模式并将训练数据(输入数据和监督数据的集合)从记录介质119供给到dl对象确定单元131，来训练多层神经网络。注意，可以使用公知的优化算法进行学习，直到损失函数的值变得小于预定值为止。
194.当多层神经网络由单独的设备来训练时，例如已由单独的设备训练完成的多层神经网络的参数可以通过例如记录介质119供给到dl对象确定单元131。由单独的设备训练的多层神经网络具有与在dl对象确定单元131中实现的多层神经网络类似的配置。训练方法也可以与使用摄像设备100’进行训练时所使用的方法相同。
195.dl对象确定单元131将检测单元110所检测到的各个候选区域的大小信息、画面内的位置信息、对象类信息和置信水平作为测试数据提供到经训练的多层神经网络。经训练的多层神经网络输出各个候选区域例如是主被摄体区域的概率。
196.在检测单元110所检测到的多个候选区域中，dl对象确定单元131将具有来自多层神经网络的最高输出的候选区域确定为要跟踪的被摄体区域(主被摄体区域)。然后，dl对象确定单元131输出所确定的主被摄体区域的大小信息、画面内的位置信息和对象类信息。
197.另一方面，非dl对象确定单元132通过不使用深度学习的方法从多个候选区域中确定要跟踪的被摄体区域。非dl对象确定单元可以以与第一实施例的对象确定单元111类似的方式确定要跟踪的被摄体区域。非dl对象确定单元132将用于识别所确定的被摄体区域的信息存储在跟踪存储器108中。
198.选择单元133采用dl对象确定单元131所输出的主被摄体区域的信息和非dl对象确定单元132所输出的主被摄体区域的信息其中之一。选择单元133基于例如dl对象确定单元131和非dl对象确定单元132所输出的主被摄体区域的位置信息来确定要采用哪个主被摄体区域信息。例如，选择单元133可以采用在距离上更接近当前在摄像设备100’中设置的焦点检测区域(更接近焦点检测区域)的主被摄体区域的信息。选择单元133所采用的主被摄体区域的信息存储在跟踪存储器108中。
199.当对象确定控制单元135停用dl对象确定单元131和非dl对象确定单元132这两者时，对象确定单元130判断为仅检测到了一个候选区域或尚未检测到候选区域。如果存在一个候选区域，则对象确定单元130将该候选区域确定为主被摄体区域。如果甚至尚未检测到一个候选区域，则对象确定单元130向跟踪单元134通知不存在主被摄体，并使跟踪处理停止。
200.跟踪单元134根据存储在跟踪存储器108中的对象帧(当前帧)的图像数据来估计要跟踪的被摄体区域，并获得所估计的被摄体区域在帧内的位置和大小作为跟踪结果。与例如第一实施例中的非dl跟踪单元117类似，跟踪单元134可以基于颜色构成的相似性来估计要跟踪的被摄体区域。注意，可以根据过去帧中的要跟踪的被摄体区域来更新要跟踪的
被摄体区域的颜色构成信息，并且可以进行下一帧的跟踪处理。
201.注意，跟踪单元134可以使用将过去帧中的要跟踪的被摄体区域作为模板的模式匹配来估计当前帧中的要跟踪的被摄体区域。在这种情况下，可以使用对象确定单元130所确定的要跟踪的被摄体区域来每帧更新用于模式匹配的模板。跟踪单元134还可以使用预训练的多层神经网络来估计当前帧中的要跟踪的被摄体区域的位置和大小。跟踪单元134输出针对当前帧所估计的要跟踪的被摄体区域的位置、大小和置信水平得分。
202.信息叠加单元120基于包括在跟踪单元134所输出的跟踪结果中的主被摄体区域的大小来生成跟踪框的图像。信息叠加单元120向显示单元121输出以与第一实施例类似的方式生成的合成图像数据。
203.图10是示出使用后处理单元114所输出的显示图像数据的显示单元121中的实时取景显示的示例的图。在图10中，虚线1004指示图像的中心区域，并且不被包括在实际显示图像数据中。图像1010和1020指示在显示图像数据上叠加了跟踪框1015的图像的合成图像数据的显示示例。图像1010是在图像1000之后一帧的图像，并且图像1020是在图像1010之后数帧的图像。
204.在图像1000中，当检测到汽车1001、1002和1003作为候选区域时，对象确定单元130将最接近虚线1004所示的中心区域的汽车1003的区域确定为要跟踪的被摄体区域。结果，在一帧之后的图像1010中，汽车1003的区域经受跟踪处理，并且叠加显示跟踪框1015以包围汽车1003的区域。在数帧之后的图像1020中，跟踪框1015也叠加显示在汽车1003的区域上。
205.图像1030和1040指示当仅存在一个候选区域时的实时取景显示的示例。图像1040是在图像1030之后一帧的图像。在图像1030中，汽车1031被检测为唯一候选区域。在这种情况下，对象确定控制单元135停用对象确定单元130中的dl对象确定单元131和非dl对象确定单元132这两者。然后，对象确定单元130将汽车1031的区域确定为要跟踪的被摄体区域。结果，在一帧之后的图像1040中，叠加显示跟踪框1015以包围要跟踪的汽车1031的区域。与第一实施例类似，跟踪框1015的形状不限于本实施例中的四个中空支架形状的组合。
206.接下来将参考图11a和图11b中的流程图进一步描述本实施例中的难度判断单元112所执行的用于计算与要跟踪的被摄体区域有关的难度得分的操作。
207.在s1101中，难度判断单元112将难度得分初始化为0。
208.在s1102中，难度判断单元112判断候选区域是否存在于图像中心。例如，如果存在包括图10中的虚线1004所示的画面中心的区域中的一些或全部的候选区域，则难度判断单元112判断为候选区域存在于图像中心。附加地，例如，如果不存在包括虚线1004所示的画面中心的区域中的一些或全部的候选区域，则难度判断单元112判断为候选区域不存在于图像中心。然后，难度判断单元112在未判断为候选区域存在于图像中心的情况下执行s1103，并且在判断为候选区域存在于图像中心的情况下执行s1104。
209.注意，如果预先设置了焦点检测区域，则难度判断单元112对焦点检测区域(代替画面中心的区域)进行类似的判断。然后，难度判断单元112在判断为候选区域不存在于焦点检测区域中的情况下执行s1103，并且在判断为候选区域存在于焦点检测区域中的情况下执行s1104。
210.在s1103中，难度判断单元112向难度得分加1分(+1)。当在焦点检测区域或图像中
心中不存在候选区域时，难度判断单元112判断为难以确定要跟踪的被摄体区域，并且向难度得分加分(增加难度)。然后，难度判断单元112执行s1105。
211.在s1104中，难度判断单元112维持难度得分。当候选区域存在于焦点检测区域或图像中心中时，难度判断单元112判断为容易确定要跟踪的被摄体区域，并且不向难度得分加分(不增加难度)。然后，难度判断单元112执行s1105。
212.在s1105中，难度判断单元112判断候选区域的类型(对象类的类型)的数量是否至少为预设的阈值n(是否检测到至少n个类型的候选区域)。例如，如果检测到与人对象类、狗对象类、猫对象类和汽车对象类相关联的候选区域，则存在四个类型的候选区域。如果阈值n是3，则难度判断单元112判断为候选区域的类型超过阈值n，并且执行s1106。另一方面，如果检测到与狗对象类和猫对象类相关联的候选区域，则存在两个类型的候选区域。如果阈值n是3，则难度判断单元112判断为候选区域的类型未超过阈值n，并且执行s1107。
213.在s1106中，难度判断单元112向难度得分加(候选区域的类型的数量-n+1)分。当检测到至少n个类型的候选区域时，难度判断单元112判断为难以确定要跟踪的被摄体区域，并且随着类型的数量增加而向难度得分加更多分(增加难度)。然后，难度判断单元112执行s1108。
214.在s1107中，难度判断单元112维持难度得分。当候选区域的类型的数量小于n时，难度判断单元112判断为容易确定要跟踪的被摄体区域，并且不向难度得分加分(不增加难度)。然后，难度判断单元112执行s1108。
215.s1108和s1115指示重复执行其间的处理。具体地，从s1109至s1114的处理重复执行与所检测到的候选区域的类型的数量相等的次数。例如，如果检测到四个类型的候选区域，则从s1109到s1114的处理重复四次，针对各个类型的候选区域重复一次。
216.在s1109中，难度判断单元112判断与相同类型(对象类)相关联的候选区域的数量是否至少为预设的阈值m。例如，假设检测单元110检测到与狗对象类相关联的四个候选区域和与猫对象类相关联的两个候选区域，并且阈值m为3。在这种情况下，从s1109到s1114的处理针对狗对象类执行一次，并且针对猫对象类执行一次。
217.在针对狗对象类的处理中，在s1109中，狗对象类的候选区域的数量是4，因此难度判断单元112判断为超过阈值m，并执行s1110。另一方面，在针对猫对象类的处理中，在s1109中，猫对象类的候选区域的数量是2，因此难度判断单元112判断为未超过阈值m，并执行s1111。
218.在s1110中，难度判断单元112向难度得分加(正在处理的对象类的候选区域的数量-m+1)分。当相同对象类的候选区域的数量至少为阈值m时，判断为难以确定要跟踪的被摄体区域，并且向难度得分加分(增加难度)。然后，难度判断单元112执行s1112。
219.在s1111中，难度判断单元112维持难度得分。当相同对象类的候选区域的数量小于阈值m时，判断为容易确定要跟踪的被摄体区域，并且不向难度得分加分(不增加难度)。然后，难度判断单元112执行s1112。
220.在s1112中，难度判断单元112判断与相同对象类相关联的候选区域的大小方差是否小于预设的阈值l。这里，候选区域的大小例如可以是候选区域中的水平像素的数量和垂直像素的数量的乘积。候选区域的大小是由相同对象类的候选区域中的最大候选区域的大小标准化的值(≤1)。使用标准化的大小，可以将方差计算为各个候选区域的大小与大小的
平均值之间的差的平方的平均值。
221.例如，假设检测到狗对象类的四个候选区域和猫对象类的两个候选区域，并且预设的阈值l为0.1。如果当针对狗对象类执行s1112时，候选区域的大小方差为0.2，则难度判断单元112判断为相同对象类的候选区域的大小方差不小于l，并执行s1114。另一方面，如果当针对猫对象类执行s1112时，候选区域的大小方差为0.0025，则难度判断单元112判断为相同对象类的候选区域的大小方差小于l，并执行s1113。
222.在s1113中，难度判断单元112向难度得分加1分。当相同对象类的候选区域的大小方差小于l时，可以想到与相同类型的被摄体相关的候选区域具有类似大小。因此，难度判断单元112判断为针对正在处理的对象类难以确定要跟踪的被摄体区域，并且向难度得分加分(增加难度)。然后，难度判断单元112执行s1115。
223.在s1114中，难度判断单元112维持难度得分。当相同对象类的候选区域的大小方差不小于l时，可以想到与相同类型的被摄体相关的候选区域具有变化的大小。因此，难度判断单元112判断为针对正在处理的对象类容易确定要跟踪的被摄体区域，并且不向难度得分加分(不增加难度)。然后，难度判断单元112执行s1115。
224.一旦对所检测到的全部类型(对象类)执行了从s1109到s1114的处理，难度判断单元112就执行s1116。
225.在s1116中，难度判断单元112将所计算出的难度得分输出到对象确定控制单元135。
226.注意，这里描述的计算难度得分的方法仅仅是一个示例，并且难度得分可以通过各种其他方法来计算。例如，不是在s1103中向难度得分加1分，而是可以加上乘以预设增益系数的值。附加地，可以仅使用候选区域的类型的数量和与相同类型的被摄体相关(属于相同对象类)的候选区域的数量来计算难度得分。可替代地，可以仅基于一个项目来计算难度得分。附加地，难度得分可以是二值的(0或1)，其中进行控制以在难度得分为1时启用dl对象确定单元131，并且在难度得分为0时停用dl对象确定单元131。
227.接下来，将参考图12中的流程图进一步描述对象确定控制单元135的操作。这里，假设难度判断单元112通过参考图11a和图11b所描述的操作来计算难度得分。
228.在s1201中，对象确定控制单元135判断难度得分是否大于预设的阈值a，如果判断为难度得分大于预设的阈值a，则执行s1203，并且如果不是，则执行s1202。
229.在s1202中，对象确定控制单元135判断难度得分是否大于预设的阈值b(＜a)，如果判断为难度得分大于预设的阈值b，则执行s1204，并且如果不是，则执行s1205。
230.在s1203中，对象确定控制单元135确定启用dl对象确定单元131并停用非dl对象确定单元132。当难度得分大于a时，确定对象时的难度高。照此，对象确定控制单元135确定使用具有比非dl对象确定单元132更良好的性能的dl对象确定单元131。附加地，对象确定控制单元135判断为即使在使用非dl对象确定单元132时也不太可能获得良好结果，并且确定不使用非dl对象确定单元132。
231.在s1204中，对象确定控制单元135确定停用dl对象确定单元131并启用非dl对象确定单元132。当难度得分不大于a但大于b时，确定对象的难度是是中度困难的。因此，对象确定控制单元135判断为使用非dl对象确定单元132可能获得足够准确的结果，并且确定仅使用非dl对象确定单元132。可以通过停用比非dl对象确定单元132消耗更多电力的dl对象
确定单元131来降低功耗。
232.在s1205中，对象确定控制单元135确定停用dl对象确定单元131并停用非dl对象确定单元132。在难度得分不大于b的状态下，确定对象的难度低。因此，对象确定控制单元135判断为可以在不使用dl对象确定单元131和非dl对象确定单元132的情况下确定对象，并且停用dl对象确定单元131和非dl对象确定单元132这两者。这使得可以进一步降低功耗。
233.注意，例如当仅检测到了一个候选区域或尚未检测到候选区域时，可以在不使用dl对象确定单元131和非dl对象确定单元132的情况下确定要跟踪的被摄体区域。当所检测到的多个候选区域其中之一极大并且存在于画面中心或焦点检测区域中时，这同样适用。
234.这里所描述的对象确定控制单元135的操作仅仅是一个示例。例如，不需要针对各个难度得分改变控制。例如，与s1204类似，在s1205中可以启用非dl对象确定单元。可替代地，当在s1201中判断为难度得分大于a时，可以立即执行s1204。
235.接下来将参考图13中的流程图描述对象确定控制单元135在不使用难度得分的情况下确定启用和停用dl对象确定单元131和非dl对象确定单元132的方法的示例。这里假设对象确定控制单元135使用所检测到的对象类和属于同一对象类的候选区域的数量来确定启用和停用dl对象确定单元131和非dl对象确定单元132。
236.这里假设dl对象确定单元131具有使用与特定场景(例如，使用球的体育场景)相关的训练数据预训练的多层神经网络。训练数据是输入数据和相应监督数据的集合。这里，从使用球的体育的图像数据中提取的多个候选区域中的各个候选区域的大小信息、画面内的位置信息、对象类信息和置信水平可以用作输入数据。可以使用将图像数据中所包括的候选区域中的属于人对象类的候选区域作为正解的监督数据。
237.当摄像设备100’拍摄使用球的体育场景时，具有以这种方式训练的多层神经网络的dl对象确定单元131可以进行高准确度的对象确定处理。此外，用于生成输入数据的图像数据可以限于人对象类的候选区域的数量至少为4的图像数据。由此，dl对象确定单元131可以对在使用球的体育中包括至少四个“人”的场景的图像进行更准确的对象确定处理。
238.下文将描述在dl对象确定单元131可以对在使用球的体育中包括至少四个“人”的场景的图像进行更准确的对象确定处理的情况下的对象确定控制单元135的操作。
239.在s1301中，对象确定控制单元135判断检测单元110是否检测到人对象类的至少四个候选区域和球对象类的至少一个候选区域。如果判断为检测到人对象类的至少四个候选区域和球对象类的至少一个候选区域，则对象确定控制单元135执行s1304，并且如果不是，则执行s1302。
240.在s1302中，对象确定控制单元135判断检测单元110是否检测到人对象类的三个候选区域和球对象类的至少一个候选区域。如果判断为检测到人对象类的至少三个候选区域和球对象类的至少一个候选区域，则对象确定控制单元135执行s1305，并且如果不是，则执行s1303。
241.在s1301中，对象确定控制单元135判断检测单元110是否检测到人对象类的两个候选区域。如果判断为检测到人对象类的至少两个候选区域，则对象确定控制单元135执行s1306，并且如果不是，则执行s1307。
242.在s1304中，对象确定控制单元135确定启用dl对象确定单元131并停用非dl对象
确定单元132。当检测到人对象类的至少四个候选区域和球对象类的至少一个候选区域时，场景与用于训练dl对象确定单元131的多层神经网络的场景相同。照此，在dl对象确定单元131可以最佳地确定对象的假设下，对象确定控制单元135确定仅使用dl对象确定单元131。
243.在s1305中，对象确定控制单元135确定启用dl对象确定单元131并启用非dl对象确定单元132。当检测到人对象类的至少三个候选区域和球对象类的至少一个候选区域时，场景与用于训练dl对象确定单元131的多层神经网络的场景类似但不相同。另一方面，有必要对人对象类的三个候选区域进行对象确定处理，并且因此如果仅启用非dl对象确定单元，则准确度将可能不足。因此，在实现高度准确的对象确定处理时，对象确定控制单元135确定使用dl对象确定单元131和非dl对象确定单元132这两者。
244.在s1306中，对象确定控制单元135确定停用dl对象确定单元131并启用非dl对象确定单元132。当检测到人对象类的两个候选区域时，可以选择一个候选区域作为要跟踪的被摄体区域，并且确定对象的难度低。因此，对象确定控制单元135判断为使用非dl对象确定单元132可能获得足够准确的结果，并且确定仅使用非dl对象确定单元132。可以通过停用比非dl对象确定单元132消耗更多电力的dl对象确定单元131来降低功耗。
245.在s1307中，对象确定控制单元135确定停用dl对象确定单元131和非dl对象确定单元132这两者。当检测到人对象类的一个候选区域或未检测到人对象类的候选区域时，确定对象的难度最低。因此，对象确定控制单元135判断为可以在不使用dl对象确定单元131和非dl对象确定单元132的情况下确定要跟踪的被摄体区域，并且停用dl对象确定单元131和非dl对象确定单元132这两者。这使得可以进一步降低功耗。在这种情况下，对象确定单元130在不使用dl对象确定单元131和非dl对象确定单元132的情况下将所检测到的唯一候选区域确定为要跟踪的被摄体区域，并输出该信息。当未检测到候选区域时，对象确定单元130例如再次输出来自一帧前的确定结果。
246.这里所描述的控制操作仅仅是一个示例。对象确定控制单元135可以考虑对象图像是否是dl对象确定单元131和非dl对象确定单元132可以准确地确定对象的场景的图像，来确定要启用的对象确定单元。
247.注意，该配置可以使得可以通过切换在使用针对各个类型的场景所准备的训练数据训练多层神经网络时所获得的参数，来切换dl对象确定单元131可以准确地确定对象的场景。例如，可以在多层神经网络中设置和使用与摄像设备100’所拍摄的场景相对应的预训练参数。
248.附加地，如果摄像设备100’具有用户视线检测功能，则非dl对象确定单元132可以基于用户的视线来确定对象。例如，非dl对象确定单元132可以将包含用户关注的图像坐标的候选区域确定为要跟踪的被摄体区域。
249.当在非dl对象确定单元132被设置为基于用户的视线来确定对象的状态下、对象确定控制单元135确定启用dl对象确定单元131时，对象确定控制单元135可以停用非dl对象确定单元132。这是因为，在启用dl对象确定单元131的非常难以确定对象的场景中，用户的视线被认为不太可能固定在主被摄体区域上。
250.图14是示出当在摄像设备100’中实现包括对象确定处理的被摄体跟踪功能时的上述单元中的各个单元的操作定时的示例的时序图。t1400、t1401、t1402、t1403和t1404是检测单元110在各帧中开始检测处理的时间。在t1400处，检测单元110开始针对最初的帧
(第0帧)的检测处理1410。
251.通过检测处理1410，检测单元110在第0帧的图像数据中检测至少一个候选区域及其对象类。基于与在第0帧的图像数据中检测到的候选区域有关的信息，难度判断单元112执行如参考图11a和图11b所述的难度判断处理1411，并计算难度得分。
252.基于利用难度判断处理1411计算出的难度得分，对象确定控制单元135确定针对第0帧的图像数据是启用还是停用dl对象确定单元131和非dl对象确定单元132。
253.在图14中，虚线所示的对象确定处理(例如，dl对象确定处理1412)指示对象确定控制单元135已停用用于执行该对象确定处理的对象确定单元(dl对象确定单元131)。另一方面，实线所示的对象确定处理(例如，非dl对象确定处理1413)指示对象确定控制单元135已启用用于执行该对象确定处理的对象确定单元(非dl对象确定单元132)。
254.跟踪单元134执行针对从对象确定单元130输出的要跟踪的被摄体区域的跟踪处理1414。跟踪单元134估计要跟踪的被摄体区域在要处理的图像数据中的位置。然后，跟踪单元134将所估计的第0帧的图像数据中的要跟踪的被摄体区域的信息(位置和大小等)作为跟踪结果输出到信息叠加单元120。跟踪处理1414由虚线指示，因为在第0帧中，尚未确定要跟踪的被摄体区域，并且实际上将不进行跟踪处理。
255.通过跟踪框叠加处理1415，信息叠加单元120生成在第0帧的显示图像数据上叠加了基于跟踪处理1414的结果的跟踪框的合成图像数据。注意，信息叠加单元120由虚线指示，因为在第0帧中，尚未确定要跟踪的被摄体区域，并且实际上将不叠加跟踪框。
256.通过显示处理1416，显示单元121显示第0帧的合成图像数据。如上所述，跟踪框叠加处理1415实际上尚未进行，并且因此显示单元121显示其上没有叠加跟踪框的显示图像数据。
257.通过检测处理1420，检测单元110在第一帧的图像数据中检测至少一个候选区域及其对象类。基于与在第一帧的图像数据中检测到的候选区域有关的信息，难度判断单元112执行难度判断处理1421并计算难度得分。
258.基于难度判断处理1421所计算出的难度得分，对象确定控制单元135确定对于第一帧的图像数据是启用还是停用dl对象确定单元131和非dl对象确定单元132。这里，假设对象确定控制单元135确定启用dl对象确定单元131并且停用非dl对象确定单元132。
259.非dl对象确定处理1423实际上未进行，因此由虚线指示。另一方面，dl对象确定处理1422由dl对象确定单元131执行。对象确定单元130输出与dl对象确定单元131所确定的要跟踪的被摄体区域有关的信息。
260.通过跟踪处理1424，跟踪单元134估计在第一帧的图像数据中通过非dl对象确定处理1413针对第0帧的图像所确定的要跟踪的被摄体区域所存在的位置。然后，跟踪单元134将所估计的第一帧的图像数据中的要跟踪的被摄体区域的信息(位置和大小等)作为跟踪结果输出到信息叠加单元120。
261.通过跟踪框叠加处理1425，信息叠加单元120生成在第一帧的显示图像数据上叠加了基于跟踪处理1424的结果的跟踪框的合成图像数据。
262.通过显示处理1426，显示单元121显示第一帧的合成图像数据。
263.通过检测处理1430，检测单元110在第二帧的图像数据中检测至少一个候选区域及其对象类。基于与在第二帧的图像数据中检测到的候选区域有关的信息，难度判断单元
112执行难度判断处理1431并计算难度得分。
264.基于难度判断处理1431所计算出的难度得分，对象确定控制单元135确定对于第二帧的图像数据是启用还是停用dl对象确定单元131和非dl对象确定单元132。这里，假设在检测处理1430中仅检测到一个候选区域，并且对象确定控制单元135确定停用dl对象确定单元131和非dl对象确定单元132这两者。
265.因此，既不进行dl对象确定处理1432也不进行非dl对象确定处理1433，并且由虚线指示。在这种情况下，对象确定单元130将所检测到的唯一候选区域确定为要跟踪的被摄体区域。
266.通过跟踪处理1434，跟踪单元134估计在第二帧的图像数据中通过非dl对象确定处理1422针对第一帧的图像所确定的要跟踪的被摄体区域所存在的位置。然后，跟踪单元134将所估计的第二帧的图像数据中的要跟踪的被摄体区域的信息(位置和大小等)作为跟踪结果输出到信息叠加单元120。
267.通过跟踪框叠加处理1435，信息叠加单元120生成在第二帧的显示图像数据上叠加了基于跟踪处理1434的结果的跟踪框的合成图像数据。
268.通过显示处理1436，显示单元121显示第二帧的合成图像数据。
269.通过检测处理1440，检测单元110在第三帧的图像数据中检测至少一个候选区域及其对象类。基于与在第三帧的图像数据中检测到的候选区域有关的信息，难度判断单元112执行难度判断处理1441并计算难度得分。
270.基于难度判断处理1441所计算出的难度得分，对象确定控制单元135确定对于第三帧的图像数据是启用还是停用dl对象确定单元131和非dl对象确定单元132。这里，假设对象确定控制单元135确定启用dl对象确定单元131和非dl对象确定单元132这两者。
271.因此，dl对象确定单元131执行dl对象确定处理1442，并且非dl对象确定单元132执行非dl对象确定处理1443。然后，由选择单元133选择来自dl对象确定处理1442和非dl对象确定处理1443的结果其中之一，并将其输出作为与针对第三帧所确定的要跟踪的被摄体区域有关的信息。例如，如果对象确定处理的各个实例所确定的两个被摄体区域相同，则选择单元133选择其中预定的一个。另一方面，如果对象确定处理的各个实例所确定的两个被摄体区域不同，则选择单元133根据预定条件选择一个确定结果。例如，选择单元133可以选择指示较大的被摄体区域、具有更接近图像中心的重心的被摄体区域或具有更接近焦点检测区域的重心的被摄体区域的确定结果。
272.通过跟踪处理1444，跟踪单元134估计在第三帧的图像数据中针对第二帧的图像所确定的要跟踪的被摄体区域所存在的位置。然后，跟踪单元134将所估计的第三帧的图像数据中的要跟踪的被摄体区域的信息(位置和大小等)作为跟踪结果输出到信息叠加单元120。
273.通过跟踪框叠加处理1445，信息叠加单元120生成在第三帧的显示图像数据上叠加了基于跟踪处理1444的结果的跟踪框的合成图像数据。
274.通过显示处理1446，显示单元121显示第三帧的合成图像数据。
275.通过检测处理1450，检测单元110在第四帧的图像数据中检测至少一个候选区域及其对象类。基于与在第四帧的图像数据中检测到的候选区域有关的信息，难度判断单元112执行难度判断处理1451并计算难度得分。
276.基于难度判断处理1451所计算出的难度得分，对象确定控制单元135确定对于第四帧的图像数据是启用还是停用dl对象确定单元131和非dl对象确定单元132。这里，假设对象确定控制单元135确定启用dl对象确定单元131和非dl对象确定单元132这两者。
277.因此，dl对象确定单元131执行dl对象确定处理1452，并且非dl对象确定单元132执行非dl对象确定处理1453。如关于第三帧的处理所描述的，选择单元133选择并输出一个确定结果。
278.通过跟踪处理1454，跟踪单元134估计在第四帧的图像数据中针对第三帧的图像所确定的要跟踪的被摄体区域所存在的位置。然后，跟踪单元134将第四帧的图像数据中的要跟踪的被摄体区域的所估计的信息(位置和大小等)作为跟踪结果输出到信息叠加单元120。
279.通过跟踪框叠加处理1455，信息叠加单元120生成在第四帧的显示图像数据上叠加了基于跟踪处理1454的结果的跟踪框的合成图像数据。
280.通过显示处理1456，显示单元121显示第四帧的合成图像数据。
281.图14中的时序图仅仅是示例，并且可以以各种方式改变。例如，尽管在图14中针对各帧执行检测处理和难度判断处理，但是可以降低执行频率。可以通过每数帧执行一次处理来降低功耗。在这种情况下，可以使用针对执行检测处理和难度判断处理的帧的对象确定处理的结果来更新要跟踪的被摄体区域，并且针对不执行检测处理和难度判断处理的帧的对象确定处理的结果不需要用于更新。
282.本实施例中的实时取景显示操作与参考图7在第一实施例中描述的操作相同，并且因此这里将不再描述。
283.图15a和图15b是与用于确定要跟踪的被摄体区域的对象确定单元的操作的控制有关的流程图。
284.从s300到s305的处理与参考图8a在第一实施例中描述的处理相同，并且因此这里将不再描述。注意，图像校正处理是用于跟踪和用于检测的校正处理。
285.在s1501中，难度判断单元112例如基于来自s305的候选区域检测结果来如参考图11a和图11b所描述地计算指示确定对象的难度的难度得分。难度判断单元112将所计算出的难度得分输出到对象确定控制单元135。
286.在s1502中，对象确定控制单元135判断难度得分是否至少为预设的第一阈值。如果判断为难度得分至少为第一阈值，则对象确定控制单元135执行s1503，并且如果未判断为难度得分至少为第一阈值，则对象确定控制单元135执行s1504。
287.在s1503中，对象确定控制单元135确定启用dl对象确定单元131，并且执行用于启用dl对象确定单元131的控制。
288.在s1504中，对象确定控制单元135确定停用dl对象确定单元131，并且执行用于停用dl对象确定单元131的控制。此外，对象确定控制单元135执行s1505。
289.在s1505中，对象确定控制单元135判断难度得分是否小于预设的第二阈值。这里，第二阈值低于第一阈值(难度较低)。如果判断为难度得分小于第二阈值，则对象确定控制单元135执行s1506，并且如果未判断为难度得分小于第二阈值，则对象确定控制单元135执行s1507。
290.在s1506中，对象确定控制单元135确定停用非dl对象确定单元132，并且执行用于
停用非dl对象确定单元132的控制。
291.在s1507中，对象确定控制单元135确定启用非dl对象确定单元132，并且执行用于启用非dl对象确定单元132的控制。
292.在s1508中，如果dl对象确定单元131和非dl对象确定单元132中的仅一者是启用的，则对象确定单元130使用选择单元133选择来自启用的对象确定单元的确定结果。
293.如果dl对象确定单元131和非dl对象确定单元132这两者是启用的，并且各个确定结果指示相同的被摄体区域，则对象确定单元130使用选择单元133选择确定结果中的任一个。如果确定结果不同，则对象确定单元130如上所述使用选择单元133基于预定条件选择确定结果其中之一。例如，对象确定单元130使用选择单元133选择指示具有更接近画面中心的中心位置的被摄体区域的确定结果。对象确定单元130将选择单元133所选择的确定结果作为与要跟踪的被摄体区域有关的信息存储在跟踪存储器108中。
294.如果dl对象确定单元131和非dl对象确定单元132这两者是非启用的，则对象确定单元130确认在s305中检测到的候选区域的数量。如果检测到的候选区域的数量是1，则对象确定单元130将所检测到的候选区域确定为要跟踪的被摄体区域，并将与其有关的信息存储在跟踪存储器108中。如果候选区域的数量为0，则不存在要跟踪的被摄体。在这种情况下，对象确定单元130可以将之前紧挨着输出的与要跟踪的被摄体区域有关的信息存储在跟踪存储器108中，或者可以停用下一帧的跟踪处理。
295.这完成了用于确定一帧的要跟踪的被摄体区域的操作。此后，对各帧或每预定数量的帧重复类似的处理。
296.图16是与摄像设备100中的被摄体跟踪功能的操作有关的流程图，并且与图15a和图15b中相同的处理将被赋予相同的附图标记。将不描述s300至s304的处理。
297.在s1601中，跟踪单元134判断在对象帧的前一帧的s1508的处理中是否已确定要跟踪的被摄体区域。如果判断为在前一帧中已确定要跟踪的被摄体区域，则跟踪单元134执行s1602，并且如果未判断为已确定要跟踪的被摄体区域，则执行s1603。
298.在s1602中，跟踪单元134用针对前一帧所确定的信息来更新与要跟踪的被摄体区域有关的信息。如果在前一帧中停用跟踪处理，则跟踪单元134执行用于开始跟踪处理的控制。这是因为，如上所述如果甚至尚未检测到一个候选区域，则可以停用针对下一帧的跟踪处理。
299.在s1603中，跟踪单元134判断跟踪继续状态是否有效。“跟踪继续状态”是跟踪处理是启用的、且已在前一帧中确定要跟踪的被摄体区域的状态。如果状态被判断为跟踪继续状态，则跟踪单元134执行s1604，并且如果状态未被确定为跟踪继续状态，则执行s314。
300.在s1604中，跟踪单元134执行所确定的被摄体区域的跟踪处理。跟踪单元134将所估计的被摄体区域的大小和图像内的位置作为跟踪结果输出到信息叠加单元120。
301.从s313到s315的处理与参考图8b在第一实施例中描述的处理相同，并且因此这里将不再描述。然而，如果在s1603中判断为状态不是跟踪继续状态并执行s314，则这意味着不存在跟踪结果，并且因此不叠加跟踪框。
302.在本实施例中，在使用用于确定要跟踪的被摄体区域的第一对象确定单元以及与第一对象确定单元相比具有更高准确度但具有更大运算负荷的第二对象确定单元的图像处理设备中，基于确定对象的难度来控制是启用还是停用第一跟踪单元和/或第二跟踪单
元。因此，通过停用不太可能能够进行准确判断的对象确定单元、以及当仅对象确定单元之一可能能够进行准确判断时停用其他对象确定单元等，可以在抑制对象确定准确度下降的同时抑制功耗。
303.因为通常每次对连续帧执行对象确定处理，所以当使用利用具有高运算负荷的机器学习(诸如深度学习等)的对象确定单元作为第二对象确定单元时，抑制功耗的效果特别大。
304.第三实施例
305.接下来将描述本发明的第三实施例。图17是示出用作根据第三实施例的图像处理设备的示例的摄像设备1700的功能配置的示例的框图。
306.光学系统1701和图像传感器1704可以具有与摄像设备100中的光学系统101和图像传感器103的配置类似的配置，并且因此将不再描述。在本实施例中，机械快门1703(下文被简称为“快门”)在光学系统1701和图像传感器1704之间，但快门1703不是必须的。快门1703的操作由系统控制单元1740控制。快门速度与图像传感器1704的曝光时间相对应。
307.光学控制单元1702通过使用例如相位差af传感器拍摄由光学系统1701形成的光学图像，来计算多个焦点检测区域中的各个焦点检测区域的散焦量。焦点检测区域例如可以是摄像面内的预定矩形区域。光学控制单元1702基于所计算出的散焦量和来自跟踪单元1718的跟踪结果来确定光学系统1701要聚焦的焦点检测区域。然后，光学控制单元1702基于针对所确定的焦点检测区域计算出的散焦量来驱动光学系统1701的调焦透镜。这使得光学系统1701聚焦于所确定的焦点检测区域内的被摄体。
308.图像传感器1704将通过摄像获得的图像数据输出到图像处理单元1710中的第一预处理单元1711和第二预处理单元1712。
309.第一预处理单元1711对图像数据进行与第一预处理单元104的处理类似的处理，并将结果存储在视频存储器1714中。
310.第一图像校正单元1716对图像数据应用与第一图像校正单元109的处理类似的处理，并将已应用处理的图像数据输出到第一后处理单元1719。
311.第一后处理单元1719以与后处理单元114类似的方式生成记录图像数据和显示图像数据等。第一后处理单元1719将记录图像数据供给到记录单元1720。第一后处理单元1719将显示图像数据供给到信息叠加单元1721。
312.记录单元1720将第一后处理单元1719所生成的记录图像数据记录到记录介质1730中。记录介质1730例如可以是半导体存储卡或内置非易失性存储器等。
313.与第二预处理单元105类似，第二预处理单元1712对图像数据应用颜色插值处理，并将结果存储在跟踪存储器1715中。同样在本实施例中，跟踪存储器1708和视频存储器107可以实现为同一存储器空间内的单独地址空间。第二预处理单元1712还可以根据需要应用用于减少像素数量的减少处理，以便减轻处理负荷。尽管这里将第一预处理单元1711和第二预处理单元1712描述为单独的功能块，但是可以使用共同的预处理单元来配置这些单元。
314.第二图像校正单元1713对存储在跟踪存储器1708中的图像数据应用与第二图像校正单元106的处理类似的处理。第二图像校正单元1713将已应用处理的图像数据存储在跟踪存储器1708中。
315.同样在本实施例中，当不使用被摄体跟踪功能时，与被摄体跟踪功能有关的功能块(诸如第二预处理单元1712和第二图像校正单元1713等)不需要操作。附加地，应用被摄体跟踪功能的图像数据是为了实时取景显示或记录的目的而拍摄的运动图像数据。运动图像数据具有例如30fps、60fps或120fps等的预定帧频。
316.检测单元1717从一帧的图像数据中检测预定候选被摄体的至少一个区域(候选区域)。附加地，对于所检测到的各个区域，检测单元1717将指示在帧内的位置、大小和候选被摄体的类型(汽车、飞机、鸟、昆虫、人体、头部、瞳孔、猫或狗等)的对象类与其置信水平相关联。还针对各个对象类获得所检测到的候选区域的数量。
317.在本实施例中，检测单元1717包括具有不同运算负荷和对象确定准确度的多个检测单元。具体地，检测单元1717包括使用深度学习(dl)进行对象确定处理的dl检测单元1722和在不使用dl的情况下进行对象确定处理的非dl检测单元1723。假设dl检测单元1722具有比非dl检测单元1723更高的处理准确度，但也具有比非dl检测单元1723更大的运算负荷。
318.dl检测单元1722和非dl检测单元1723各自检测候选区域，将对象类及其置信水平与候选区域的类型相关联，并对各个对象类的候选区域的数量进行计数。dl检测单元1722和非dl检测单元1723还获得与所检测到的候选区域的大小和位置有关的信息。
319.dl检测单元1722可以通过使用机器学习的多类鉴别器来实现。dl检测单元1722可以使用多类化逻辑回归、支持向量机、随机森林和神经网络等来实现。
320.非dl检测单元1723通过不使用机器学习的公知方法来检测候选区域。非dl检测单元1723例如可以通过使用预先针对各个对象类所准备的模板的模式匹配、使用预先针对各个对象类所准备的特征信息的特征检测或基于距离信息的检测等来检测候选区域。
321.与信息叠加单元120类似，信息叠加单元1721基于检测单元1717或跟踪单元1718所输出的要跟踪的被摄体区域的中心位置和大小来生成跟踪框的图像。然后，信息叠加单元1721生成在从第一后处理单元1719输出的显示图像数据上叠加了跟踪框的图像的合成图像数据。信息叠加单元1721将合成图像数据输出到显示单元1731。
322.非易失性存储器1753例如是诸如eeprom等的可重写非易失性存储器，并且存储可由系统控制单元1740的cpu执行的程序、设置值或gui数据等。
323.系统存储器1754例如是ram，并且用于加载由系统控制单元1740的cpu执行的程序以及存储正在执行程序时所需的值等。
324.系统控制单元1740包括cpu，并且例如将存储在非易失性存储器1753中的程序加载到系统存储器1754中并执行这些程序。系统控制单元1740通过控制各个功能块的操作来实现摄像设备1700的功能。
325.释放按钮1750、模式改变开关1751和操作单元1752是用于向系统控制单元1740输入指令的输入装置。
326.释放按钮1750包括在按压中途时接通的开关sw1和在完全按压时接通的开关sw2。系统控制单元1740将sw1接通识别为静止图像拍摄准备指令，并且将sw2接通识别为静止图像拍摄开始指令，并且根据各个指令执行操作。
327.响应于拍摄准备指令，系统控制单元1740执行自动调焦(af)处理、自动曝光(ae)处理、自动白平衡(awb)处理和闪光灯预发光(ef)处理等。
328.附加地，响应于拍摄指令，系统控制单元1740使用响应于拍摄准备指令而执行的af处理和ae处理等的结果来执行静止图像拍摄处理。静止图像拍摄处理包括用于开启/关闭快门1703的控制、控制图像传感器1704的操作以及用于生成图像处理单元1710中的记录图像数据并将记录图像数据记录到记录介质1730中的操作等。系统控制单元1740控制与该系列静止图像拍摄处理有关的各个功能块。
329.运动传感器1760输出根据摄像设备1700的运动的信号，并将该信号输出到系统控制单元1740。例如，运动传感器1760可以是加速度计或角速度传感器等。当光学系统101包括用于图像稳定的运动传感器时，可以在不提供运动传感器1760的情况下，使用用于图像稳定的运动传感器来检测摄像设备1700的运动。
330.模式改变开关1751在静止图像拍摄模式、运动图像拍摄模式和回放模式等之间切换系统控制单元1740的操作模式。静止图像拍摄模式包括自动拍摄模式、自动场景判断模式、手动模式、光圈优先模式(av模式)和快门速度优先模式(tv模式)作为模式。还存在作为不同拍摄场景的拍摄设置的各种类型的场景模式、程序ae模式和自定义模式等。模式改变开关1751可以用于直接切换到菜单按钮中所包括的这些模式中的任一模式。可替代地，可以通过首先使用模式改变开关1751切换到菜单按钮、然后使用其他操作构件切换到菜单按钮中所包括的模式其中之一，来执行模式切换。同样地，运动图像拍摄模式可以包括多个模式。
[0331]“操作单元1752”是除了释放按钮1750和模式改变开关1751之外的输入装置的总称。通过例如选择显示单元1731中所显示的功能图标的操作，根据摄像设备1700的操作状态，将功能分配给操作单元1752中所包括的输入装置。根据分配给输入装置的功能来命名输入装置。
[0332]
例如，操作单元1752中包括方向按钮、设置按钮、结束按钮、返回按钮、下一图像按钮、跳转按钮、排序按钮、属性改变按钮和菜单按钮等。例如，当按压菜单按钮时，在显示单元1731中显示可以进行各种类型的设置的菜单画面。用户可以通过使用方向按钮和设置按钮等操作显示在显示单元1731中的菜单画面来进行各种类型的设置。
[0333]
在本实施例中，设置了视线信息获得单元(视线检测部件)作为操作单元1752中所包括的输入装置。视线信息获得单元检测用户的视线或用户在显示单元1731内的注视位置。图18是示出视线信息获得单元1800的配置的示例的图。这里，假设显示单元1731设置在窥视型取景器中，并且通过根据用户眼球1802看向取景器的旋转角度检测视线的方向，来检测用户正在注视的显示单元1731中的位置。
[0334]
在图18中，视线信息获得单元1800包括图像传感器1801a、受光透镜1801b、分色镜1801c和照明光源1801e。目镜1801d是取景器光学系统，并且与视线信息的获得不直接相关。
[0335]
用户可以通过目镜1801d和分色镜1801c观察显示单元1731中的显示。照明光源1801e朝向取景器的外部投射红外光。当用户正看向取景器时，红外光被眼球1802反射，并且反射光进入取景器。反射光被分色镜1801c向上反射，并且图像传感器1801a拍摄由受光透镜1801b形成的眼球图像。眼球图像的图像数据从图像传感器1801a发送到系统控制单元1740。
[0336]
系统控制单元1740例如从眼球图像中提取瞳孔区域，并从瞳孔区域的位置检测眼
球的旋转角度。然后，系统控制单元1740根据眼球的旋转角度来获得用户的视线方向。视线方向可以通过计算获得，或者可以通过参考用于存储旋转角度和视线方向之间的关系的表来获得。系统控制单元1740基于视线方向检测用户正在注视的显示单元1731内的位置(坐标)。注意，注视位置可以根据眼球的旋转角度来获得。
[0337]
这里假设用单个眼睛观看取景器，并且针对单个眼睛获得作为双眼的视线方向和注视位置的视线信息。然而，如果环境使得可以获得双眼的眼球图像，则可以针对各个眼睛获得视线信息。当获得双眼的视线信息时，可以通过例如使用被认为具有更高检测准确度的视线信息的一个实例，来提高视线信息的准确度。
[0338]
注意，可以使用任何其他配置，只要视线信息获得单元1800能够识别用户正在注视的显示单元1731中的位置即可。还要注意，显示单元1731不是绝对必须设置在摄像设备1700内。例如，显示单元1731、照明光源1801e和受光透镜1801b可以设置在摄像设备1700的背面上。
[0339]
接下来将描述用于基于视线信息获得单元1800所检测到的视线或注视位置来控制dl检测单元7122和非dl检测单元7123的启用和停用的系统控制单元1740的操作。
[0340]
图19是示出与用于基于视线或注视位置来控制被摄体检测单元的启用/停用的操作相关的功能块的图。尽管图19为了简单起见而将系统控制单元1740示为三个功能块，但是实际上系统控制单元1740的cpu通过执行程序来实现这些功能块的功能。
[0341]
下面将参考图20中的流程图以及图17和19来描述系统控制单元1740基于视线或注视位置来控制被摄体检测单元的启用/停用的操作。
[0342]
s2000指示图像获得处理。将参考图21中的流程图详细描述图像获得处理。
[0343]
在s2100中，系统控制单元1740控制图像传感器1704并执行一帧的摄像操作。结果，由光学系统1701形成的被摄体光学图像被转换为由像素数据的多个实例构成的raw(原始)图像数据。
[0344]
在s2102中，图像处理单元1710的第一预处理单元1711对raw图像数据应用去马赛克，并生成各个像素具有rgb分量的图像数据。第一预处理单元1711将所生成的图像数据存储在视频存储器1714中。注意，第一预处理单元1711可以在将图像数据存储在视频存储器1714中之前将图像数据从rgb格式转换为yuv格式。
[0345]
在s2103中，第一图像校正单元1716对存储在视频存储器1714中的图像数据应用预定的图像校正处理。注意，图像校正处理还包括评估值计算处理。第一图像校正单元1716可以根据要应用的处理而使图像数据的读出范围不同。
[0346]
例如，对于应用于一行(像素行)的图像数据的图像处理，可以仅读出要应用处理的一行的图像数据，或者可以读出包括要应用处理的一行的多行的图像数据。附加地，图像处理可以应用于预定大小的矩形区域中的图像数据。第一图像校正单元1716在适当地将图像处理结果存储在视频存储器1714中的同时执行图像校正处理。
[0347]
在s2104中，第一图像校正单元1716判断是否完成要应用于一帧的图像数据的全部图像校正处理。如果判断为完成要应用的全部图像校正处理，则第一图像校正单元1716将图像校正处理后的图像数据输出到第一后处理单元1719，并将评估值输出到系统控制单元1740。这完成了一帧的图像获得处理。另一方面，如果判断为要应用的图像校正处理仍然剩余，则第一图像校正单元1716重复s2103的执行。
[0348]
注意，除了图像数据存储在跟踪存储器1715中并且第二图像校正单元1713应用用于跟踪的图像处理之外，由第二预处理单元1712、跟踪存储器1715和第二图像校正单元1713进行类似的处理。
[0349]
回到图20，在s2001中，跟踪单元1718对在s2000中获得并存储在跟踪存储器1715中的图像数据应用跟踪处理。注意，假设跟踪单元1718应用由第一实施例中的非dl跟踪单元117应用的非dl跟踪处理。跟踪单元1718输出要跟踪的被摄体区域的位置和大小作为跟踪结果。
[0350]
在s2002中，系统控制单元1740执行被摄体丢失判断处理。将参考图22中的流程图详细描述被摄体丢失判断处理。
[0351]
在s2200中，系统控制单元1740通过视线信息获得单元1800获得用户的视线信息。这里所获得的视线信息可以是视线方向，或者可以是注视位置。
[0352]
在s2201中，视线分析单元1900计算视线信息的不规则水平。视线信息的不规则水平是针对用户的注视位置的稳定性的评估值。不规则水平高与用户的注视位置不稳定并且正在显示单元1731的画面内不规则地移动的状态相对应。因此，当视线信息的不规则水平高时，用户被认为看不到主被摄体并且正在画面上搜索。
[0353]
基于在s2201中计算出的不规则水平，在s2003中，不规则判断单元1901判断用户是否看不到被摄体。
[0354]
可以通过任何方法计算s2201中的视线信息的不规则水平。附加地，可以使用基于不规则水平的阈值来进行s2003中的判断。以下是用于计算和判断不规则水平的方法的示例。
[0355]
·
使用注视位置或视线的轨迹在时间轴方向上的频率信息
[0356]
计算频率频谱，并且获得至少给定频率的频谱的幅度作为不规则水平。当不规则水平超过阈值时，判断为看不到被摄体。
[0357]
·
计算注视位置或视线的轨迹的自相关的绝对值作为不规则水平
[0358]
如果视线的移动是规则的，则自相关在相邻时间跨度接近1，而如果视线的移动是随机的，则自相关接近0。当不规则水平小于阈值时，判断为看不到被摄体。
[0359]
·
在给定时间跨度t的注视位置或视线的速度向量或加速度向量的幅度的平均值与各个被摄体区域的轨迹的速度向量或加速度向量的幅度的平均值之间的互相关的绝对值被计算为不规则水平。
[0360]
当不规则水平针对全部被摄体区域都小于阈值时，判断为被摄体已丢失。
[0361]
如果在s2003中不规则判断单元1901判断为被摄体已丢失，则处理判断单元1902执行s2004。如果在s2003中不规则判断单元1901没有判断为被摄体已丢失，则处理判断单元1902执行s2005。
[0362]
在s2004中，处理判断单元1902判断启用dl检测单元1722。可以停用或启用非dl检测单元1723。如上所述，图像处理单元1710中的dl检测单元1722执行使用机器学习(这里为“dl”)的候选区域检测处理。如果dl检测单元1722仅检测到一个候选区域，则系统控制单元1740将所检测到的候选区域确定为要跟踪的被摄体区域。
[0363]
另一方面，如果dl检测单元1722已检测到多个候选区域，则系统控制单元1740从多个候选区域中确定要跟踪的被摄体区域。系统控制单元1740可以如先前实施例中所述基
于候选区域的大小和位置等或者通过其他方法来确定要跟踪的被摄体区域。其他方法没有特别限制，而是例如可以使得用户能够从所检测到的候选区域中选择要跟踪的被摄体区域。例如，与跟踪框类似的指示符可以叠加显示在所检测到的候选区域中的各个候选区域上，并且可以使得用户能够通过操作单元1752选择要跟踪的被摄体区域。例如，用户可以通过操作方向按钮和设置按钮或者通过使用视线信息获得单元1800检测注视位置，来选择要跟踪的被摄体区域。
[0364]
在s2005中，处理判断单元1902判断为停用dl检测单元1722并启用非dl检测单元1723。如上所述，图像处理单元1710中的非dl检测单元1723通过不使用机器学习的方法来检测候选区域。在这种情况下，判断为用户不会看不到被摄体，并且因此系统控制单元1740可以基于视线信息从候选区域中确定要跟踪的被摄体区域。
[0365]
注意，如在第一实施例中那样，图像处理单元1710可以设置有对象确定单元，并且对象确定单元可以从候选区域中确定要跟踪的被摄体区域。
[0366]
在s2006中，系统控制单元1740将与要跟踪的被摄体区域有关的信息输出到跟踪单元1718和信息叠加单元1721。结果，更新与要跟踪的被摄体区域有关的信息。
[0367]
在s2007中，系统控制单元1740停用dl检测单元1722和非dl检测单元1723这两者以抑制功耗。
[0368]
在s2008中，信息叠加单元1721生成在来自第一后处理单元1719的显示图像数据上叠加了指示s2006中所更新的要跟踪的被摄体区域的跟踪框的合成图像数据，并将合成图像数据输出到显示单元1731。
[0369]
在本实施例中，根据用户是否看不到被摄体来确定是使用用于检测要跟踪的被摄体区域的候选区域的第一被摄体检测单元，还是使用与第一被摄体检测单元相比具有更高准确度但具有更大运算负荷的第二被摄体检测单元。具体地，当用户看不到被摄体时使用第二被摄体检测单元，并且当用户不会看不到被摄体时不使用第二被摄体检测单元。当用户不会看不到被摄体时，可以由第一被摄体检测单元以足够的准确度检测候选区域，并且因此停用第二被摄体检测单元，这使得可以在抑制检测准确度下降的同时抑制功耗。
[0370]
第四实施例
[0371]
接下来将描述本发明的第四实施例。在本实施例中，dl检测单元和非dl检测单元被控制为根据摄像设备的自动调焦(af)模式来启用或停用。本实施例可以使用与第三实施例中的摄像设备类似的摄像设备1700来实现，并且因此将使用图17所示的构成元件来描述本实施例。
[0372]
这里，假设摄像设备1700具有保持焦点检测结果的单个af模式和连续进行焦点检测操作的连续af模式作为af模式。单个af模式可能用于拍摄诸如风景或肖像等的静止或少量移动的被摄体。另一方面，连续af模式可能用于拍摄诸如车辆或体育场景等的移动被摄体。
[0373]
因此，可以从设置的af模式估计用户正试图拍摄的主被摄体的运动。af模式可以由用户明确指定，或者可以根据摄像设备1700的拍摄模式(诸如体育模式或风景模式等)自动设置。系统控制单元1740也可以基于其他条件来设置模式。
[0374]
注意，af模式是与拍摄静止图像时的焦点检测操作相关的设置。然而，静止图像拍摄模式中的被摄体跟踪被应用于为了在处于拍摄待机状态时的实时取景显示而拍摄的运
动图像。
[0375]
在本实施例中，当使用单个af模式时，被摄体可能静止或少量移动，这使得检测被摄体相对容易，并且因此停用dl检测单元1722并启用非dl检测单元1723。另一方面，当使用连续af模式时，被摄体可能处于运动中或正在显著移动，这使得检测被摄体相对困难，并且因此启用dl检测单元1722并停用非dl检测单元1723。这样的控制使得可以在抑制被摄体检测准确度下降的同时抑制功耗。
[0376]
下面将参考图23中的流程图描述本实施例中的系统控制单元1740的操作。在图23中，用于进行与第三实施例中的处理相同的处理的步骤被赋予与图20中相同的附图标记，并且将不再描述。s2000和s2001的处理与第三实施例中描述的处理相同。
[0377]
在s2302中，系统控制单元1740判断摄像设备1700的当前af模式是否是连续af模式。如果摄像设备1700的当前af模式被判断为连续af模式，则在s2004中，系统控制单元1740启用dl检测单元1722。可以停用非dl检测单元1723以抑制功耗，但是也可以启用非dl检测单元1723。另一方面，如果摄像设备1700的当前af模式未被判断为连续af模式，则在s2005中，系统控制单元1740启用非dl检测单元1723并停用dl检测单元1722。
[0378]
如果未判断为连续af模式，则系统控制单元1740执行s2005。随后的处理与第三实施例中的相同，并且因此这里将不再描述。
[0379]
在本实施例中，根据摄像设备的自动调焦模式来确定是使用用于检测要跟踪的被摄体区域的候选区域的第一被摄体检测单元，还是使用与第一被摄体检测单元相比具有更高准确度但具有更大运算负荷的第二被摄体检测单元。具体地，当设置了可能用于拍摄移动被摄体的自动调焦模式时使用第二被摄体检测单元，并且当设置了可能用于拍摄静止被摄体的自动调焦模式时不使用第二被摄体检测单元。当被摄体移动得很少时，可以由第一被摄体检测单元准确地检测候选区域，并且因此停用第二被摄体检测单元，这使得可以在抑制检测准确度下降的同时抑制功耗。
[0380]
第五实施例
[0381]
接下来将描述本发明的第五实施例。在本实施例中，dl检测单元1722和非dl检测单元1723被控制为根据应用了跟踪处理的运动图像的帧频来启用和停用。本实施例可以使用与第三实施例中的摄像设备类似的摄像设备1700来实现，并且因此将使用图17所示的构成元件来描述本实施例。
[0382]
被摄体区域在帧之间的移动量随着帧频的增加而下降。照此，当帧频高时，要跟踪的被摄体区域的移动量低，这使得不太可能发生被摄体模糊。因此，利用非dl检测单元1723可能能够实现足够的准确度。因此，不太有必要使用dl检测单元1722对各帧进行检测。
[0383]
因此，与帧频不大于预定的第一阈值(fps)时相比，当应用了跟踪处理的运动图像的帧频高于第一阈值时，降低了启用dl检测单元1722的频率。这使得可以在抑制检测准确度下降的同时降低功耗。注意，例如可以以实验的方式确定第一阈值。附加地，可以设置多个阈值，并且可以以三个或多于三个阶段来控制启用dl检测单元1722的频率。
[0384]
下面将参考图24中的流程图描述本实施例中的系统控制单元1740的操作。这里假设已经确定为应用了跟踪处理的运动图像的帧频高于预定的第一阈值(fps)。附加地，在图24中，用于进行与第三实施例中的处理相同的处理的步骤被赋予与图20中相同的附图标记，并且将不再描述。s2000和s2001的处理与第三实施例中描述的处理相同。
[0385]
在s2402中，系统控制单元1740判断用作帧数的计数器的变量count的值是否是预定的n(至少为2的整数)。假设当应用了跟踪处理的运动图像的帧频不大于第一阈值(fps)时，每m帧启用dl检测单元1722，可以确定n的值以满足关系n》m。这里，假设m＝1且n＝10。如果变量count的值被判断为n，则系统控制单元1740执行s2403，并且如果不是，则执行s2404。
[0386]
n＝10，并且因此每10帧执行s2403一次。在s2403中，系统控制单元1740将变量count的值重置为1。然后，在s2004中，系统控制单元1740启用dl检测单元1722。可以停用非dl检测单元1723以抑制功耗，但是也可以启用非dl检测单元1723。
[0387]
另一方面，在s2404中，系统控制单元1740将变量count的值加1。然后，在s2005中，系统控制单元1740启用非dl检测单元1723并停用dl检测单元1722。随后的处理与第三实施例中的处理相同，并且因此这里将不再描述。
[0388]
这完成了实时取景显示中的一帧的操作。通过上述处理，当应用了跟踪处理的运动图像的帧频高时，dl检测单元1722对于每10帧中的一帧是启用的，并且对于剩余的9帧是非启用的。非dl检测单元1723在dl检测单元1722非启用的帧中是启用的。
[0389]
在本实施例中，在用于检测要跟踪的被摄体区域的候选区域的被摄体检测单元中，根据应用了跟踪处理的运动图像的帧频来控制使用第二被摄体检测单元的频率，该第二被摄体检测单元与第一被摄体检测单元相比具有更高准确度但具有更大运算负荷。具体地，与帧频不高时相比，当应用了跟踪处理的运动图像的帧频高时，降低启用第二被摄体检测单元的频率。当被摄体移动得很少时，可以由第一被摄体检测单元准确地检测候选区域，并且因此降低使用第二被摄体检测单元的频率，这使得可以在抑制检测准确度下降的同时抑制功耗。
[0390]
第六实施例
[0391]
接下来将描述本发明的第六实施例。在本实施例中，dl检测单元和非dl检测单元被控制为根据摄像设备的快门速度来启用或停用。本实施例可以使用与第三实施例中的摄像设备类似的摄像设备1700来实现，并且因此将使用图17所示的构成元件来描述本实施例。
[0392]
当快门速度快时，不太可能发生被摄体模糊。因此，利用非dl检测单元1723可能能够实现足够的准确度。因此，当快门速度快时，停用dl检测单元1722。
[0393]
下面将参考图25中的流程图描述本实施例中的系统控制单元1740的操作。在图25中，用于进行与第三实施例中的处理相同的处理的步骤被赋予与图20中相同的附图标记，并且将不再描述。s2000和s2001的处理与第三实施例中描述的处理相同。
[0394]
在s2502中，系统控制单元1740判断当前设置的快门速度是否快于阈值。这里使用的阈值可以例如根据非dl检测单元1723的性能等以实验的方式确定。
[0395]
如果判断为快门速度快于阈值，则在s2004中，系统控制单元1740启用dl检测单元1722。可以停用非dl检测单元1723以抑制功耗，但是也可以启用非dl检测单元1723。
[0396]
另一方面，如果未判断为快门速度快于阈值，则在s2005中，系统控制单元1740启用非dl检测单元1723并停用dl检测单元1722。随后的处理与第三实施例中的处理相同，并且因此这里将不再描述。
[0397]
在本实施例中，根据摄像设备的快门速度来确定是使用用于检测要跟踪的被摄体
区域的候选区域的第一被摄体检测单元，还是使用与第一被摄体检测单元相比具有更高准确度但具有更大运算负荷的第二被摄体检测单元。具体地，当快门速度不快(慢)时使用第二被摄体检测单元，并且当快门速度快时不使用第二被摄体检测单元。当快门速度快时，不太可能发生被摄体模糊，并且可以由第一被摄体检测单元准确地检测候选区域，并且因此停用第二被摄体检测单元，这使得可以在抑制检测准确度下降的同时抑制功耗。
[0398]
第七实施例
[0399]
接下来将描述本发明的第七实施例。在本实施例中，dl检测单元和非dl检测单元被控制为响应于用户指令而启用或停用。本实施例可以使用与第三实施例中的摄像设备类似的摄像设备1700来实现，并且因此将使用图17所示的构成元件来描述本实施例。
[0400]
在本实施例中，仅当用户启用dl被摄体检测处理时启用dl检测单元1722。可以使用任何用户指令来启用dl被摄体检测处理。用户没有必要有意地指示dl被摄体检测处理，并且可以使用有效地启用dl被摄体检测处理的任何指令。
[0401]
这里，作为一个示例，假设在操作单元1752中设置了被分配有用于在启用和非启用之间切换dl被摄体检测处理的功能的输入装置(dl被摄体检测按钮)。每当按压dl被摄体检测按钮时，系统控制单元1740在启用和非启用之间切换dl被摄体检测处理。可替代地，系统控制单元1740可以仅在正按压dl被摄体检测按钮期间启用dl被摄体检测处理。dl被摄体检测按钮也可以是使用显示单元1731的软件键。
[0402]
下面将参考图26中的流程图描述本实施例中的系统控制单元1740的操作。在图26中，用于进行与第三实施例中的处理相同的处理的步骤被赋予与图20中相同的附图标记，并且将不再描述。s2000和s2001的处理与第三实施例中描述的处理相同。
[0403]
在s2602中，系统控制单元1740判断dl被摄体检测按钮是否开启(on)。这里，当正按压按钮时，dl被摄体检测按钮被判断为开启。如果dl被摄体检测按钮被判断为开启，则在s2004中，系统控制单元1740启用dl检测单元1722。可以停用非dl检测单元1723以抑制功耗，但是也可以启用非dl检测单元1723。另一方面，如果dl被摄体检测按钮未被判断为开启，则在s2005中，系统控制单元1740启用非dl检测单元1723并停用dl检测单元1722。随后的处理与第三实施例中的处理相同，因此这里将不再描述。
[0404]
在本实施例中，在用于检测要跟踪的被摄体区域的候选区域的被摄体检测单元中，响应于用户指令来控制是启用还是停用与第一被摄体检测单元相比具有更高准确度但具有更大运算负荷的第二被摄体检测单元。具体地，仅当检测到用于启用第二被摄体检测单元的用户指令时，启用第二被摄体检测单元。结果，当用户不需要时停用第二被摄体检测单元，这使得可以抑制功耗。
[0405]
第八实施例
[0406]
接下来将描述本发明的第八实施例。在本实施例中，dl检测单元和非dl检测单元被控制为根据设备的操作情形来启用或停用。本实施例可以使用与第三实施例中的摄像设备类似的摄像设备1700来实现，并且因此将使用图17所示的构成元件来描述本实施例。
[0407]
具体地，当判断为正在进行作为用于改变摄像范围的操作的平摇、俯仰或变焦操作时，停用dl检测单元1722。这是因为，当正在进行这些操作时，用户可以进行调整以使主被摄体进入摄像范围。照此，即使在这些操作期间启用dl检测单元1722，可能也无法获得有意义的检测结果。在本实施例中，可以仅当判断为在摄像设备1700中没有正在进行平摇、俯
仰或变焦操作时，启用dl检测单元1722。
[0408]
下面将参考图27中的流程图描述本实施例中的系统控制单元1740的操作。在图27中，用于进行与第三实施例中的处理相同的处理的步骤被赋予与图20中相同的附图标记，并且将不再描述。s2000和s2001的处理与第三实施例中描述的处理相同。
[0409]
在s2702中，系统控制单元1740判断在摄像设备1700中是否正在进行平摇、俯仰或变焦操作。例如，系统控制单元1740可以通过检测用于实时取景显示而正拍摄的运动图像的帧之间的运动向量的变化或特征区域的大小的变化等、或者根据运动传感器1760的输出，来检测平摇、俯仰或变焦操作。还可以从正在操作的操作单元1752的变焦按钮检测变焦操作。
[0410]
如果判断为正在进行平摇、俯仰或变焦操作，则系统控制单元1740执行s2008。另一方面，如果未判断为正在进行平摇、俯仰或变焦操作，则系统控制单元1740执行s2702。
[0411]
在s2702中，系统控制单元1740启用dl检测单元1722或非dl检测单元1723。当dl检测单元1722启用时，可以停用非dl检测单元1723以抑制功耗，但是也可以启用非dl检测单元1723。例如，在第三实施例至第七实施例中描述的条件其中至少之一可以用作用于启用dl检测单元1722的条件。如果不满足用于启用dl检测单元1722的条件，则系统控制单元1740停用dl检测单元1722并启用非dl检测单元1723。从s2006起的处理与第三实施例中的处理相同，因此这里将不再描述。
[0412]
在本实施例中，在用于检测要跟踪的被摄体区域的候选区域的被摄体检测单元中，可以仅当未正在进行用于改变摄像范围的操作时，启用与第一被摄体检测单元相比具有更高准确度但具有更大运算负荷的第二被摄体检测单元。确保在摄像范围未最终确定的状态下不启用第二被摄体检测单元，这使得可以高效抑制功耗。此外，确保在摄像范围未最终确定的状态下也不启用第一被摄体检测单元，这使得可以甚至更抑制功耗。
[0413]
变型例
[0414]
注意，可以基于与以上第三实施例至第八实施例中所描述的条件不同的条件来控制dl被摄体检测和非dl被摄体检测的启用和停用。例如，可以根据拍摄模式(静止图像拍摄模式或运动图像拍摄模式)、释放按钮的按压状态(未按压、半按压或完全按压)、跟踪模式的状态或跟踪对象的类型，来控制dl被摄体检测和非dl被摄体检测的启用和停用。
[0415]
第九实施例
[0416]
接下来将描述本发明的第九实施例。图28是示出用作根据第九实施例的图像处理设备的示例的摄像设备1700’的功能配置的示例的框图。与参考图17描述的摄像设备1700中相同的配置被赋予相同的附图标记，并且将不给出其冗余描述。注意，本实施例的检测单元1717可以是dl检测单元1722或非dl检测单元1723。这里假设与非dl检测单元1723相同。
[0417]
本实施例的摄像设备1700’包括具有新配置的对象确定单元2801，并且与第一实施例类似，跟踪单元1718包括dl跟踪单元2802和非dl跟踪单元2803。
[0418]
与第一实施例的对象确定单元111类似，对象确定单元2801从检测单元1717所检测到的候选区域中确定要跟踪的被摄体区域(主被摄体区域)。如果检测到一个候选区域，则对象确定单元2801将所检测到的候选区域确定为主被摄体区域。如果检测到多个候选区域，则对象确定单元2801可以基于预定的优先级顺序确定主被摄体区域。
[0419]
对象确定单元2801可以基于例如基于候选区域的大小的优先级顺序或基于与焦
点检测区域的距离的优先级顺序等，来确定主被摄体区域。具体地，可以将最大候选区域视为主被摄体区域，或者可以将最接近焦点检测区域的候选区域视为主被摄体区域。附加地，可以考虑多个优先级顺序来确定主被摄体区域，例如，将与焦点检测区域的距离小于阈值的候选区域中的最大候选区域作为主被摄体区域。还可以考虑除了这里作为示例给出的优先级顺序之外的优先级顺序。
[0420]
跟踪单元1718根据存储在跟踪存储器1715中的对象帧(当前帧)的图像数据来估计要跟踪的被摄体区域，并获得所估计的被摄体区域在帧内的位置和大小作为跟踪结果。例如，跟踪单元115可以估计由对象确定单元2801针对在当前帧之前拍摄的过去帧(例如，前一帧)所确定的主被摄体区域在当前帧中的位置和大小。跟踪单元115将跟踪结果输出到信息叠加单元1721。
[0421]
跟踪单元1718包括用于使用深度学习(dl)进行被摄体跟踪的dl跟踪单元2802和用于在不使用dl的情况下进行被摄体跟踪的非dl跟踪单元2803。dl跟踪单元2802和非dl跟踪单元2803的配置可以分别与第一实施例中描述的dl跟踪单元116和非dl跟踪单元117的配置相同，并且因此将不再详细描述。在本实施例中，系统控制单元1740控制是启用还是停用dl跟踪单元2802和非dl跟踪单元2803以及在启用时的操作频率。
[0422]
同样在本实施例中，dl跟踪单元2802输出所估计的主被摄体区域的位置和大小以及置信水平得分作为跟踪结果。非dl跟踪单元2803输出所估计的主被摄体区域的位置和大小以及相似性得分输出作为跟踪结果。
[0423]
跟踪单元1718基于dl跟踪单元2802所输出的置信水平得分和非dl跟踪单元2803所输出的相似性得分，采用来自dl跟踪单元2802或非dl跟踪单元2803的跟踪结果。例如，如果置信水平得分不大于预定置信水平得分阈值且相似性得分不大于预定相似性得分阈值，则跟踪单元1718采用来自非dl跟踪单元2803的跟踪结果。在其他情况下，跟踪单元1718采用来自dl跟踪单元2802的跟踪结果。跟踪单元1718将所采用的跟踪结果输出到信息叠加单元1721和系统控制单元1740。
[0424]
这里，基于置信水平得分和相似性得分来确定要采用来自dl跟踪单元2802的跟踪结果和来自非dl跟踪单元2803的跟踪结果中的哪一个。然而，该确定可以通过其他方法进行。例如，使用dl跟踪单元2802的准确度趋于高于非dl跟踪单元2803的准确度这一事实，可以优先采用来自dl跟踪单元2802的跟踪结果。具体地，如果获得来自dl跟踪单元2802的跟踪结果，则可以采用来自dl跟踪单元2802的跟踪结果，并且如果没有，则可以采用来自非dl跟踪单元2803的跟踪结果。
[0425]
接下来将描述本实施例中的系统控制单元1740所进行的dl跟踪单元2802和非dl跟踪单元2803的控制操作。在本实施例中，系统控制单元1740根据在摄像设备1700’中设置的af模式来控制是启用dl跟踪单元2802还是非dl跟踪单元2803。
[0426]
这里，与第四实施例类似，假设摄像设备1700’具有单个af模式和连续af模式。单个af模式可能用于拍摄诸如风景或肖像等的静止或移动得很少的被摄体。另一方面，连续af模式可能用于拍摄诸如车辆或体育场景等的移动被摄体。
[0427]
在单个af模式的情况下，被摄体可能静止或移动得很少。因此，启用非dl跟踪单元来代替dl跟踪单元。另一方面，在连续af模式的情况下，被摄体可能处于运动中或正在显著移动。因此，启用dl跟踪单元来代替非dl跟踪单元。这样的控制使得可以在抑制跟踪准确度
下降的同时抑制功耗。
[0428]
图29是与根据本实施例的系统控制单元1740的操作有关的流程图。
[0429]
s2900是与在第三实施例中参考图21描述的处理类似的图像获得处理。
[0430]
在s2901中，系统控制单元1740指示检测单元1717检测候选区域。检测单元1717对单个帧的图像应用被摄体区域检测处理，并将检测结果存储在跟踪存储器1715中。检测结果包括所检测到的候选区域的总数以及各个候选区域的图像内的位置和大小。
[0431]
在s2902中，系统控制单元1740指示对象确定单元2801从候选区域中确定要跟踪的被摄体区域(主被摄体区域)。对象确定单元2801读出与存储在跟踪存储器1715中的候选区域有关的信息，并且当已检测到多个候选区域时，基于如上所述的优先级顺序确定主被摄体区域。对象确定单元2801将用于识别主被摄体区域的信息存储在跟踪存储器1715中。
[0432]
在s2903中，系统控制单元1740判断当前在摄像设备1700’中设置的af模式是否是连续af模式。如果当前设置的af模式被判断为连续af模式，则系统控制单元1740执行s2904，并且如果当前设置的af模式未被判断为连续af模式，则系统控制单元1740执行s2905。
[0433]
在s2904中，系统控制单元1740启用dl跟踪单元2802并停用非dl跟踪单元2803。结果，dl跟踪单元2802对当前帧执行跟踪处理。
[0434]
另一方面，在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。结果，非dl跟踪单元2803对当前帧执行跟踪处理。
[0435]
注意，在s2904和s2905的跟踪处理中使用的主被摄体区域是针对相对于当前帧的过去帧最近确定的主被摄体区域。
[0436]
在s2906中，系统控制单元1740使用s2904或s2905中所进行的跟踪处理的结果来更新存储在跟踪存储器1715中的与主被摄体区域有关的信息。跟踪处理的结果也输出到信息叠加单元1721。
[0437]
在s2907中，系统控制单元1740停用dl跟踪单元2802和非dl跟踪单元2803。
[0438]
在s2908中，系统控制单元1740指示信息叠加单元1721将基于跟踪结果的跟踪框叠加并显示在当前帧的显示图像上。信息叠加单元1721生成具有基于跟踪结果的位置和大小的跟踪框的图像，并生成与当前帧的显示图像数据合成的合成图像数据。信息叠加单元1721将合成图像数据输出到显示单元1731。
[0439]
这完成了实时取景显示中的一帧的操作。在本实施例中，在使用第一跟踪单元和与第一跟踪单元相比具有更高处理准确度但具有更大运算负荷的第二跟踪单元的摄像设备中，根据af模式来控制是启用还是停用第一跟踪单元和/或第二跟踪单元。因此，通过停用不太可能获得良好跟踪结果的跟踪单元以及当可能仅从处理单元之一获得良好跟踪结果时停用其他跟踪单元等，可以在抑制跟踪准确度下降的同时抑制功耗。
[0440]
第十实施例
[0441]
下面将描述本发明的第十实施例。在本实施例中，dl跟踪单元2802和非dl跟踪单元2803被控制为根据应用了跟踪处理的运动图像的帧频来启用和停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0442]
帧之间的被摄体区域的位置和大小的变化量随着帧频的增加而下降。照此，当帧
频高时，非dl跟踪单元2803的跟踪处理被认为是足够准确的。在这种情况下，dl跟踪单元2802不太可能是必须的。然而，以特定频率使用dl跟踪单元2802使得可以更可靠地维持跟踪处理的准确度。
[0443]
因此，与帧频不大于预定的第一阈值(fps)时相比，当应用了跟踪处理的运动图像的帧频高于第一阈值时，降低启用dl跟踪单元2802的频率。这使得可以在抑制检测准确度下降的同时降低功耗。注意，例如可以以实验的方式确定第一阈值。附加地，可以设置多个阈值，并且可以以三个或多于三个阶段控制启用dl跟踪单元2802的频率。
[0444]
下面将参考图30中的流程图描述本实施例中的系统控制单元1740的操作。这里假设已经确定为应用了跟踪处理的运动图像的帧频高于预定的第一阈值(fps)。附加地，在图30中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0445]
在s3001中，系统控制单元1740判断用作帧数的计数器的变量count的值是否是预定的n(至少为2的整数)。在假设当应用了跟踪处理的运动图像的帧频不大于第一阈值(fps)时、每m帧启用dl跟踪单元2802的情况下，可以确定n的值以满足关系n》m。这里，假设m＝1且n＝10。如果变量count的值被判断为n，则系统控制单元1740执行s3002，并且如果不是，则执行s3003。
[0446]
n＝10，并且因此每10帧执行s3002一次。在s3002中，系统控制单元1740将变量count的值重置为1。然后，在s2904中，系统控制单元1740启用dl跟踪单元2802。可以停用非dl跟踪单元2803以抑制功耗，但是也可以启用非dl跟踪单元2803。
[0447]
另一方面，在s3003中，系统控制单元1740将变量count的值加1。然后，在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。随后的处理与第九实施例中的处理相同，并且因此这里将不再描述。
[0448]
这完成了实时取景显示中的一帧的操作。通过上述处理，当应用了跟踪处理的运动图像的帧频高时，dl跟踪单元2802对于每10帧中的一帧是启用的，并且对于剩余的9帧是非启用的。非dl跟踪单元2803在dl跟踪单元2802非启用的帧中是启用的。
[0449]
在本实施例中，根据应用了跟踪处理的运动图像的帧频来控制使用第二跟踪单元的频率，该第二跟踪单元与第一跟踪单元相比具有更高准确度但具有更大运算负荷。具体地，与帧频不高时相比，当应用了跟踪处理的运动图像的帧频高时，降低启用第二跟踪单元的频率。当被摄体移动得很少时，可以由第一跟踪单元进行准确的跟踪处理，并且因此降低使用第二跟踪单元的频率，这使得可以在抑制检测准确度下降的同时抑制功耗。
[0450]
第十一实施例
[0451]
接下来将描述本发明的第十一实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据摄像设备的快门速度来启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0452]
与当帧频高时类似，随着在拍摄运动图像时的快门速度的增加，帧之间的被摄体区域的位置和大小的变化量下降。因此，利用非dl跟踪单元2803可能能够实现足够准确的跟踪处理。因此，当快门速度快时，停用dl跟踪单元2802。
[0453]
下面将参考图31中的流程图描述本实施例中的系统控制单元1740的操作。在图31
中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图19中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0454]
在s3101中，系统控制单元1740判断当前设置的快门速度是否快于阈值。这里使用的阈值例如可以根据非dl跟踪单元2803的性能等以实验的方式确定。
[0455]
如果判断为快门速度快于阈值，则在s2904中，系统控制单元1740启用dl跟踪单元2802。可以停用非dl跟踪单元2803以抑制功耗，但是也可以启用非dl跟踪单元2803。
[0456]
另一方面，如果未判断为快门速度快于阈值，则在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。随后的处理与第三实施例中的处理相同，并且因此这里不再描述。
[0457]
在本实施例中，根据摄像设备的快门速度来确定是使用第一跟踪单元还是使用与第一跟踪单元相比具有更高处理准确度但具有更大运算负荷的第二跟踪单元。具体地，当快门速度不快(慢)时使用第二跟踪单元，并且当快门速度快时不使用第二跟踪单元。当快门速度快时，帧之间的被摄体区域的位置和大小等几乎没有变化。因此，可以通过第一跟踪单元实现准确的跟踪处理，并且停用第二跟踪单元。这使得可以在抑制跟踪准确度下降的同时抑制功耗。
[0458]
第十二实施例
[0459]
接下来将描述本发明的第十二实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为响应于用户指令而启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0460]
在本实施例中，仅当用户启用dl跟踪处理时启用dl跟踪单元2802。可以使用任何用户指令来启用dl跟踪处理。用户没有必要有意地指示dl跟踪处理，并且可以使用有效地启用dl跟踪处理的任何指令。
[0461]
这里，作为一个示例，假设在操作单元1752中设置了被分配有用于在启用和非启用之间切换dl跟踪处理的功能的输入装置(dl跟踪按钮)。图39是示出摄像设备1700’的背面的外观的示例的图。这里，假设显示单元1731设置在摄像设备1700’的背面上。构成操作单元1752的一些输入装置3901至3903设置在摄像设备1700’的背面上。使得能够进行方向输入和确认输入的输入装置3903用作方向键和ok按钮。输入装置3901或3902可以用作dl跟踪按钮。
[0462]
每当按压dl跟踪按钮时，系统控制单元1740在启用和非启用之间切换dl跟踪。可替代地，系统控制单元1740可以仅在正按压dl跟踪按钮期间启用dl跟踪。dl跟踪按钮也可以是使用显示单元1731的软件键。
[0463]
下面将参考图32中的流程图描述本实施例中的系统控制单元1740的操作。在图32中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0464]
在s3201中，系统控制单元1740判断dl跟踪按钮是否开启。这里，当正按压dl跟踪按钮时，该dl跟踪按钮被判断为开启。如果dl跟踪按钮被判断为开启，则在s2904中，系统控制单元1740启用dl跟踪单元2802。可以停用非dl跟踪单元2803以抑制功耗，但是也可以启用非dl跟踪单元2803。另一方面，如果dl跟踪按钮未被判断为开启，则在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。随后的处理与第九实施例中的处
理相同，并且因此这里不再描述。
[0465]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，响应于用户指令来控制是启用还是停用与第一跟踪单元相比具有更高准确度但具有更大运算负荷的第二被摄体跟踪单元。具体地，仅当检测到用于启用第二跟踪单元的用户指令时，启用第二跟踪单元。结果，当用户不需要时停用第二跟踪单元，这使得可以抑制功耗。
[0466]
第十三实施例
[0467]
下面将描述本发明的第十三实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据设备的操作情形来启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0468]
具体地，当判断为正在进行作为用于改变摄像范围的操作的平摇、俯仰或变焦操作时，停用dl跟踪单元2802。这是因为，当正在进行这样的操作时，用户可以进行调整以使主被摄体进入摄像范围。照此，即使在这些操作期间启用dl跟踪单元2802，可能也无法获得有意义的检测结果。在本实施例中，可以仅当判断为在摄像设备1700’中没有正在进行平摇、俯仰或变焦操作时，启用dl跟踪单元2802。
[0469]
下面将参考图33中的流程图描述本实施例中的系统控制单元1740的操作。在图33中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0470]
在s3301中，系统控制单元1740判断在摄像设备1700’中是否正在进行平摇、俯仰或变焦操作。例如，系统控制单元1740可以通过检测用于实时取景显示而拍摄的运动图像的帧之间的运动向量的变化或特征区域的大小的变化等、或者根据运动传感器1760的输出，来检测平摇、俯仰或变焦操作。还可以从正在操作的操作单元1752的变焦按钮检测变焦操作。
[0471]
如果判断为正在进行平摇、俯仰或变焦操作，则系统控制单元1740执行s2908。另一方面，如果未判断为正在进行平摇、俯仰或变焦操作，则系统控制单元1740执行s3302。
[0472]
在s3302中，系统控制单元1740启用dl跟踪单元2802或非dl跟踪单元2803。当dl跟踪单元2802启用时，可以停用非dl检测单元1723以抑制功耗，但是也可以启用非dl检测单元1723。例如，第九实施例至第十二实施例中描述的条件其中至少之一可以用作用于启用dl跟踪单元2802的条件。如果不满足用于启用dl跟踪单元2802的条件，则系统控制单元1740停用dl跟踪单元2802并启用非dl跟踪单元2803。从s2906起的处理与第九实施例中的处理相同，并且因此这里不再描述。
[0473]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，可以仅当不正在进行用于改变摄像范围的操作时，启用与第一跟踪单元相比具有更高准确度但具有更大运算负荷的第二跟踪单元。确保在摄像范围未最终确定的状态下不启用第二跟踪单元，这使得可以高效抑制功耗。
[0474]
第十四实施例
[0475]
接下来将描述本发明的第十四实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据摄像设备1700’的拍摄模式来启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0476]
摄像设备1700’具有多个拍摄模式，其包括静止图像拍摄模式和运动图像拍摄模式。注意，可以针对拍摄场景和要应用的特殊效果等设置拍摄模式，诸如夜景模式、体育模式和滤波模式等。这里，最终将拍摄静止图像的拍摄模式将被视为静止图像拍摄模式，并且拍摄运动图像的拍摄模式将被视为运动图像拍摄模式。
[0477]
下面将参考图34中的流程图描述本实施例中的系统控制单元1740的操作。在图34中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0478]
在s3401中，例如，系统控制单元1740基于模式改变开关1751的状态来判断摄像设备1700’的拍摄模式是否是静止图像拍摄模式。如果摄像设备1700’的拍摄模式被判断为静止图像拍摄模式，则系统控制单元1740执行s3402。另一方面，如果摄像设备1700’的拍摄模式未被判断为静止图像拍摄模式，则系统控制单元1740执行s3403。
[0479]
在s3402中，系统控制单元1740执行s3405，将计数设置值作为第一值(n1)。n1是1或大于1的整数。
[0480]
在s3403中，系统控制单元1740执行s3405，将计数设置值作为第二值(n2)。n2是1或大于1的整数。
[0481]
在s3405中，系统控制单元1740判断用作帧数的计数器的变量count的值是否是计数设置值(n1或n2)。如果变量count的值被判断为计数设置值，则系统控制单元1740执行s3406，并且如果不是，则系统控制单元1740执行s3407。
[0482]
在s3406中，系统控制单元1740将变量count的值重置为1。然后，在s2904中，系统控制单元1740启用dl跟踪单元2802。可以停用非dl跟踪单元2803以抑制功耗，但是也可以启用非dl跟踪单元2803。
[0483]
另一方面，在s3407中，系统控制单元1740将变量count的值加1。然后，在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。
[0484]
每当变量count变为n1或n2时，执行s2904。换句话说，dl跟踪单元2802在静止图像拍摄模式中每n1帧启用一次，在运动图像拍摄模式中每n2帧启用一次，并且对于剩余的帧，停用dl跟踪单元2802。
[0485]
根据拍摄模式，第一值和第二值控制用于启用dl跟踪单元2802的频率。例如，第一值和第二值预先存储在非易失性存储器1753中。注意，也可以考虑快门速度或帧频等来确定第一值和第二值。
[0486]
例如，假设应用了跟踪处理的运动图像的帧频在运动图像拍摄模式中比在静止图像拍摄模式中更高。在这种情况下，与静止图像拍摄模式相比，降低在运动图像拍摄模式中启用dl跟踪单元2802的频率，这使得可以在抑制跟踪准确度下降的同时抑制功耗。注意，这仅仅是示例，并且通过针对各个拍摄模式独立地控制启用dl跟踪单元2802的频率，可以以适合于拍摄模式的频率启用dl跟踪单元2802。
[0487]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，根据拍摄模式来控制启用第二跟踪单元的频率，该第二跟踪单元与第一跟踪单元相比具有更高准确度但具有更大运算负荷。根据拍摄模式设置适当的计数设置值，这使得可以在抑制跟踪性能下降的同时降低功耗。
[0488]
第十五实施例
[0489]
下面将描述本发明的第十五实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据释放按钮的按压状态的状态来启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0490]
释放按钮1750包括在半按压时接通的开关sw1和在完全按压时接通的开关sw2，并且因此具有这两个开关断开的状态、仅开关sw1接通的状态、以及开关sw1和sw2这两者接通的状态。系统控制单元1740将sw1接通识别为静止图像拍摄准备指令，并且将sw2接通识别为静止图像拍摄开始指令。
[0491]
在本实施例中，如果释放按钮1750不处于半按压或完全按压状态，则该状态是拍摄待机状态，并且因此停用dl跟踪单元2802以抑制功耗。以这种方式，在本实施例中，可以仅当拍摄准备指令或拍摄开始指令正被输入到摄像设备1700’时，启用dl跟踪单元2802。
[0492]
下面将参考图35中的流程图描述本实施例中的系统控制单元1740的操作。在图35中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0493]
在s3501中，系统控制单元1740判断释放按钮1750是否处于半按压或完全按压状态。例如，如果开关sw1接通，则系统控制单元1740可以判断为释放按钮1750处于半按压或完全按压状态。当开关sw2接通时，开关sw1也接通，并且因此没有必要检测开关sw2的状态。
[0494]
如果判断为释放按钮1750处于半按压或完全按压状态，则系统控制单元1740执行s3502。
[0495]
另一方面，如果未判断为释放按钮1750处于半按压或完全按压状态，则系统控制单元1740执行s2908。在这种情况下，该状态是拍摄待机状态，并且因此不对对象帧进行跟踪处理(或者可以由非dl跟踪单元2803进行)。
[0496]
在s3502中，系统控制单元1740启用dl跟踪单元2802或非dl跟踪单元2803。当dl跟踪单元2802启用时，可以停用非dl跟踪单元2803以抑制功耗，但是也可以启用非dl跟踪单元2803。例如，第九实施例至第十四实施例中描述的条件其中至少之一可以用作用于启用dl跟踪单元2802的条件。如果不满足用于启用dl跟踪单元2802的条件，则系统控制单元1740停用dl跟踪单元2802并启用非dl跟踪单元2803。用于启用dl跟踪单元2802的条件可以根据释放按钮是否处于半按压或完全按压状态而不同。从s2906起的处理与第九实施例中的处理相同，并且因此这里将不再描述。
[0497]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，可以仅当正输入拍摄准备指令或拍摄开始指令时，启用与第一跟踪单元相比具有更高准确度但具有更大运算负荷的第二跟踪单元。结果，在既未正输入拍摄准备指令也未正输入拍摄开始指令的拍摄待机状态下，不启用第二跟踪单元，这使得可以高效抑制功耗。此外，确保在拍摄待机状态下也不启用第一跟踪单元，这使得可以甚至更多地抑制功耗。
[0498]
第十六实施例
[0499]
下面将描述本发明的第十六实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据摄像设备1700’的跟踪模式来启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0500]“跟踪模式”是这样的模式：连续地进行聚焦控制，使得即使主被摄体从摄像范围的中心移动，主被摄体也处于聚焦，并且当拍摄在摄像范围内连续移动的被摄体和移动难以预测的被摄体(诸如小动物等)等时应用该模式。跟踪模式可以使用模式改变开关1751来设置，或可以通过操作单元1752中所包括的输入装置其中之一的操作来设置。注意，在跟踪模式下聚焦的被摄体可以是与对象确定单元2801所确定的主被摄体区域相对应的被摄体。除了明确地设置跟踪模式之外，还可以连同正在设置的特定功能一起间接地设置跟踪模式。
[0501]
当设置了跟踪模式时，所聚焦的被摄体被认为可能移动，并且因此启用dl跟踪单元2802。另一方面，当未设置跟踪模式时，所聚焦的被摄体被认为不太可能移动，并且因此停用dl跟踪单元2802并启用非dl跟踪单元2803。
[0502]
下面将参考图36中的流程图描述本实施例中的系统控制单元1740的操作。在图36中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0503]
在s3601中，系统控制单元1740判断在摄像设备1700’中是否设置了跟踪模式。例如，系统控制单元1740可以根据模式改变开关1751的状态判断是否设置了跟踪模式。
[0504]
如果判断为设置了跟踪模式，则系统控制单元1740执行s2904，如果判断为未设置跟踪模式，则系统控制单元1740执行s2905。
[0505]
在s2904中，系统控制单元1740启用dl跟踪单元2802并停用非dl跟踪单元2803。结果，dl跟踪单元2802对当前帧执行跟踪处理。
[0506]
另一方面，在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。结果，非dl跟踪单元2803对当前帧执行跟踪处理。
[0507]
从s2906起的处理与第九实施例中的处理相同，并且因此这里将不再描述。
[0508]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，当设置了跟踪模式时，启用与第一跟踪单元相比具有更高准确度但具有更大运算负荷的第二跟踪单元，并且当未设置跟踪模式时，停用第二跟踪单元。当第二跟踪单元被认为必要性低时，停用第二跟踪单元，这使得可以在抑制跟踪准确度下降的同时抑制功耗。
[0509]
第十七实施例
[0510]
接下来将描述本发明的第十七实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据要跟踪的主被摄体是否是易于跟踪的被摄体来启用和停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。
[0511]
与第一实施例中的检测单元110类似，假设本实施例的检测单元1717将指示被摄体类型的对象类及其置信水平与所检测到的各个候选区域相关联。如果要跟踪的主被摄体区域是易于跟踪的被摄体，则非dl跟踪单元2803可能能够实现足够的准确度，并且因此停用dl跟踪单元2802。
[0512]
下面将参考图37中的流程图描述本实施例中的系统控制单元1740的操作。在图37中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，并且将不再描述。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0513]
在s3701中，系统控制单元1740根据与对象确定单元2801所确定的主被摄体区域
相关联的对象类，来判断属于主被摄体区域的被摄体的类型是否是易于跟踪的被摄体。系统控制单元1740可以通过参考存储在例如非易失性存储器1753中的对象类和跟踪的难度，来判断属于主被摄体区域的被摄体的类型是否是易于跟踪的被摄体。这里，假设跟踪的难度是非dl跟踪的难度。
[0514]
对于诸如鸟和昆虫等的具有根据角度或状态(例如，是否飞行)而大幅变化的形状和/或颜色的被摄体，非dl跟踪是困难的。注意，难以进行非dl跟踪的被摄体还取决于非dl跟踪的算法，并且因此被摄体不限于具有大幅变化的形状和/或颜色的被摄体。还要注意，可以根据可以由检测单元1717检测到的对象类和非dl跟踪单元的性能等预先进行对象类和跟踪的难度之间的关联。
[0515]
如果属于主被摄体区域的被摄体的类型是易于跟踪的被摄体，则系统控制单元1740执行s2905，如果不是，则执行s2904。
[0516]
在s2904中，系统控制单元1740启用dl跟踪单元2802并停用非dl跟踪单元2803。结果，dl跟踪单元2802对当前帧执行跟踪处理。
[0517]
另一方面，在s2905中，系统控制单元1740启用非dl跟踪单元2803并停用dl跟踪单元2802。结果，非dl跟踪单元2803对当前帧执行跟踪处理。
[0518]
从s2906起的处理与第九实施例中的处理相同，并且因此这里将不再描述。
[0519]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，当属于要跟踪的被摄体区域的被摄体是可以由第一跟踪单元容易地跟踪的被摄体时，停用与第一跟踪单元相比具有更高准确度但具有更大运算负荷的第二跟踪单元。当第二跟踪单元被认为必要性低时，停用第二跟踪单元，这使得可以在抑制跟踪准确度下降的同时抑制功耗。
[0520]
第十八实施例
[0521]
接下来将描述本发明的第十八实施例。在本实施例中，dl跟踪单元和非dl跟踪单元被控制为根据用户是否看不到被摄体来启用或停用。本实施例可以使用与第九实施例中的摄像设备类似的摄像设备1700’来实现，并且因此将使用图28所示的构成元件来描述本实施例。然而，如根据第三实施例的摄像设备1700那样，假设摄像设备1700’设置有图18所示的视线信息获得单元1800作为操作单元1752中所包括的输入装置。还假设系统控制单元1740具有图19所示的功能块。
[0522]
下面将参考图38中的流程图描述本实施例中的系统控制单元1740的操作。在图38中，用于进行与第九实施例中的处理相同的处理的步骤被赋予与图29中相同的附图标记，用于进行与第三实施例中的处理相同的处理的步骤被赋予与图20中相同的附图标记，并且将不描述这些步骤。从s2900到s2902的处理与第九实施例中描述的处理相同。
[0523]
在s2002中，系统控制单元1740执行参考图19和图22所描述的被摄体丢失判断处理。
[0524]
在s2003中，系统控制单元1740(不规则判断单元1901)基于在丢失判断处理中计算出的不规则水平来判断用户是否看不到被摄体。
[0525]
如果在s2003中不规则判断单元1901判断为被摄体已丢失，则处理判断单元1902执行s2904。如果在s2003中不规则判断单元1901未判断为被摄体已丢失，则处理判断单元1902执行s2905。
[0526]
在s2904中，系统控制单元1740(处理判断单元1902)启用dl跟踪单元2802并停用
非dl跟踪单元2803。结果，dl跟踪单元2802对当前帧执行跟踪处理。
[0527]
附加地，在s2905中，系统控制单元1740(处理判断单元1902)启用非dl跟踪单元2803并停用dl跟踪单元2802。结果，非dl跟踪单元2803对当前帧执行跟踪处理。
[0528]
从s2906起的处理与第九实施例中的处理相同，并且因此这里将不再描述。
[0529]
在本实施例中，在用于跟踪要跟踪的被摄体区域的跟踪单元中，根据用户是否看不到被摄体，来判断是使用第一跟踪单元还是使用与第一跟踪单元相比具有更高处理准确度但具有更大运算负荷的第二跟踪单元。具体地，在用户看不到被摄体时使用第二跟踪单元，而在用户不会看不到被摄体时不使用第二跟踪单元。当用户并未看不到被摄体时，第一跟踪单元可以以足够的准确度进行跟踪处理并且因此停用第二跟踪单元，这使得可以在抑制跟踪准确度下降的同时抑制功耗。
[0530]
其他实施例
[0531]
上述实施例也可以彼此组合地实现。例如，检测单元、对象确定单元和跟踪单元中的至少两个可以具有实现相同功能但具有不同运算负荷和准确度的两个构成元件，并且可以根据实施例动态地控制是启用还是停用这些构成元件。
[0532]
在上述实施例中，启用dl跟踪和非dl跟踪的帧周期可以不同，在作为各个周期的最小公倍数的周期中启用dl跟踪和非dl跟踪这两者。
[0533]
本发明还可以被实现为通过经由网络或由存储介质向系统或设备供给用于实现上述实施例的一个或多于一个功能的程序、然后使系统或设备的计算机的一个或多于一个处理器读出并执行该程序所执行的处理。本发明还可以通过用于实现一个或多于一个功能的电路(例如，asic)来实现。
[0534]
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，作出所附权利要求书。
[0535]
本技术要求于2020年6月12日提交的日本专利申请2020-102517和于2021年3月1日提交的日本专利申请2021-32036的优先权，其全部内容通过引用并入本文。