电子装置、摄像设备、电子装置的控制方法和存储介质与流程

1.本发明涉及当执行特定功能时展现的被摄体检测性能提高的电子装置、包括电子装置的摄像设备、电子装置的控制方法和存储介质。


背景技术：

2.例如，一些数字照相机具有微笑快门功能，用于自动检测作为被摄体的人的微笑并在检测到人的微笑时自动进行拍摄。当使用微笑快门功能进行拍摄时，根据情况，不仅要被拍摄的人，而且打印有人脸的海报等有时也被检测为被摄体。此时，存在如下情况：数字照相机由于微笑快门功能而检测到海报上打印的面部，并且进行用户不想要的拍摄。作为现有技术，在日本特开2015-219487中提出了一种技术。所提出的技术基于摄像画面内的面部的面积和距被摄体的距离来确定检测到的面部是主被摄体的面部还是其他被摄体的面部，并聚焦于主被摄体或除了该其他被摄体之外的被摄体。
3.这里，根据所提出的技术，在进行使用特定功能(诸如微笑快门功能)的拍摄的情况下，存在根据拍摄场景而未适当地检测到要拍摄的被摄体的情况。例如，在将要拍摄的人的面部放入替身面板(诸如具有真人大小的面部裁剪面板)的孔中的状态下进行拍摄的情况下，人的面部也相对于面板变成平面。为此，所提出的技术难以基于摄像画面内的面部的面积和距被摄体的距离来检测要拍摄的人的面部。此外，在摄像设备的拍摄范围内存在人的三维成形物体的情况下，所提出的技术同样难以区分要拍摄的人的面部和成形物体的面部。在上述情况下，在执行特定功能(诸如微笑快门功能)时被摄体检测的精度降低。


技术实现要素：

4.本发明提供了当执行特定功能时展现的被摄体检测性能提高的电子装置、包括电子装置的摄像设备、电子装置的控制方法和存储介质。
5.在本发明的第一方面，提供了一种电子装置，包括：检测单元，其被配置为从图像数据中检测一个或多个被摄体；评价单元，其被配置为评价所检测到的所述一个或多个被摄体的特征值；识别单元，其被配置为基于评价结果，从所述一个或多个被摄体中识别满足与特定功能的执行有关的预定标准的被摄体；以及控制单元，其被配置为进行控制，以在确定为所识别出的被摄体满足所述特定功能的执行条件的情况下，执行所述特定功能。
6.在本发明的第二方面，提供了一种摄像设备，包括：摄像部；以及电子装置，所述电子装置包括：检测单元，其被配置为从图像数据中检测一个或多个被摄体；评价单元，其被配置为评价所检测到的所述一个或多个被摄体的特征值；识别单元，其被配置为基于评价结果，从所述一个或多个被摄体中识别满足与特定功能的执行有关的预定标准的被摄体；以及控制单元，其被配置为进行控制，以在确定为所识别出的被摄体满足所述特定功能的执行条件的情况下，执行所述特定功能。
7.在本发明的第三方面，提供了一种电子装置的控制方法，包括：从图像数据中检测一个或多个被摄体；评价所检测到的所述一个或多个被摄体的特征值；基于评价结果，从所
述一个或多个被摄体中识别满足与特定功能的执行有关的预定标准的被摄体；以及进行控制，以在确定为所识别出的被摄体满足所述特定功能的执行条件的情况下，执行所述特定功能。
8.在本发明的第四方面，提供了一种非暂时性计算机可读存储介质，其存储使计算机执行电子装置的控制方法的程序，所述控制方法包括：从图像数据中检测一个或多个被摄体；评价所检测到的所述一个或多个被摄体的特征值；基于评价结果，从所述一个或多个被摄体中识别满足与特定功能的执行有关的预定标准的被摄体；以及进行控制，以在确定为所识别出的被摄体满足所述特定功能的执行条件的情况下，执行所述特定功能。
9.根据本发明，可以提高当执行特定功能时展现的被摄体检测性能。
10.通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
11.图1是示出整个系统的配置的图。
12.图2是示出形成系统的设备的硬件配置的图。
13.图3是模型生成服务器和数字照相机的功能框图。
14.图4a和图4b是各自示出学习模型的输入和输出的图。
15.图5a和图5b是各自示出学习数据集的示例的图。
16.图6是示出整个系统的用于更新被摄体评价模型402的操作的流程的图。
17.图7是由数字照相机进行的处理的流程图。
18.图8a和图8b是各自示出ui显示的示例的图。
19.图9是示出分别与多个功能相关联的预定标准的示例的图。
20.图10是由模型生成服务器进行的处理的流程图。
具体实施方式
21.现在将参照示出本发明的实施例的附图，来详细描述本发明。然而，以下实施例的配置的描述通过示例给出，并且绝不意图将本发明的范围限制为所描述的配置。
22.图1是示出本实施例的整个系统的配置的图。如图1所示，数字照相机100和模型生成服务器102经由网络101连接。数字照相机100是摄像设备。然而，本实施例的摄像设备不限于数字照相机100，而可以是诸如智能电话、平板终端、个人计算机和pda的电子装置。模型生成服务器102是生成估计被摄体的学习模型的服务器设备。模型生成服务器102可以是云服务器、边缘计算机等。模型生成服务器102可以由单个计算机实现，或者可以通过在多个计算机之间分配其功能来实现。此外，模型生成服务器102可以由智能电话、平板终端等来实现。
23.数字照相机100拍摄被摄体以获取图像数据，并从图像数据中提取特征值。数字照相机100经由诸如因特网的网络101将图像数据、或图像数据和特征值两者发送到模型生成服务器102。模型生成服务器102生成估计被摄体的学习模型，并将生成的学习模型发送到数字照相机100。此外，数字照相机100使用接收到的学习模型检测被摄体。此时，数字照相机100从一个或多个检测到的被摄体中排除不是使用特定功能的拍摄对象的被摄体。然后，当满足特定功能(诸如微笑快门功能)的执行条件时，数字照相机100确定被摄体的状态并
执行拍摄。
24.图2是示出形成系统的设备的硬件配置的图。首先，将描述数字照相机100。数字照相机100包括形成摄像系统的挡板210、拍摄镜头211、快门212、nd(中性密度)滤波器213和摄像部214。挡板210是用于覆盖摄像系统从而防止拍摄镜头211、快门212、nd滤波器213和摄像部214被弄脏或损坏的保护构件。拍摄镜头211是包括变焦透镜、调焦透镜等的透镜组。快门212具有光圈功能。nd滤波器213用于在拍摄时减少光。摄像部214是例如由用于将光学图像转换为电信号(模拟信号)的ccd或cmos装置实现的摄像装置。模数转换器215将从摄像部214输出的模拟信号转换为数字信号。
25.图像处理器219对从模数转换器215输出的数字信号和从存储器控制器218输入的数据进行尺寸调整(诸如预定像素插值和尺寸缩小)、颜色转换处理等。此外，图像处理器219使用拍摄的图像数据(数字信号)进行预定计算处理。系统控制器250基于由图像处理器219进行的计算结果来进行曝光控制、测距控制等。由此，进行使用ttl(通过镜头)方法的af(自动聚焦)处理和ae(自动曝光)处理、以及ef(闪光灯预发光)处理。此外，图像处理器219使用拍摄的图像数据进行预定计算处理，并基于计算结果进行使用ttl方法的awb(自动白平衡)处理。
26.模数转换器215的输出数据经由图像处理器219和存储器控制器218，或经由存储器控制器218写入存储器220。存储器220存储由模数转换器215转换的图像数据、与图像数据相关联地记录的元数据、以及要在显示部217上显示的图像数据。存储器220具有足够的存储容量来存储预定数量的静止图像的数据和预定持续时间的运动图像的数据(包括语音数据)。此外，存储器220还用作图像显示存储器(视频存储器)。数模转换器216将存储在存储器220中的用于图像显示的数据转换为模拟信号，并将转换后的模拟信号提供给显示部217。由此，经由数模转换器216将存储在存储器220中的用于图像显示的图像数据显示在显示部217上。
27.显示部217根据从数模转换器216输出的模拟信号在诸如lcd的显示装置上进行显示。由模数转换器215从模拟转换为数字并累计在存储器220中的数字信号被数模转换器216从数字转换为模拟并依次传送到显示部217。这使得显示部217用作电子取景器并进行直通图像显示(实时取景显示(lv显示))。非易失性存储器228是电可擦除且可记录的存储器。作为非易失性存储器228，应用了eeprom等。非易失性存储器228存储用于系统控制器250的操作的常数和程序。存储在非易失性存储器228中的程序是用于执行本实施例的处理的计算机程序。
28.系统控制器250具有至少一个处理器或电路。系统控制器250可以具有用于进行推理处理的gpu(图形处理单元)。系统控制器250控制数字照相机100的整体操作。系统控制器250对应于检测单元、评价单元、识别单元和控制单元。作为系统存储器229，例如使用ram。在系统存储器229中，加载用于系统控制器250的操作的常数和变量、从非易失性存储器228读出的程序等。系统控制器250执行加载在系统存储器229中的程序，从而实现本实施例的处理。此外，系统控制器250通过控制存储器220、数模转换器216、显示部217等来进行显示控制。系统计时器230测量用于各种控制的时间和内置时钟的时间。
29.模式切换开关223、触发按钮222和操作部227是用于向系统控制器250输入各种操作指令的操作构件。模式切换开关223生成用于切换系统控制器250的操作模式的模式切换
信号。系统控制器250根据模式切换信号将操作模式切换为记录模式、再现模式等中的一个。触发按钮222生成用于向系统控制器250给出拍摄静止图像的指令和开始或终止运动图像拍摄的指令的触发(释放)信号。系统控制器250开始拍摄处理的一系列操作并根据触发信号终止拍摄处理的一系列操作。拍摄处理是用于将已经经由摄像部214、图像处理器219和存储器控制器218累积在存储器220中的编码图像数据写入记录介质232中的处理。数字照相机100还包括用于接通或断开电源的电源按钮224。
30.操作部227的操作构件具有基于各场景(例如，根据显示部217上显示的各种功能图标的选择性操作)而分配的功能，从而操作构件用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像滚动按钮、跳转按钮、缩小按钮和属性改变按钮。例如，当按下菜单按钮时，在显示部217上显示可以进行各种设置的菜单画面。用户可以通过使用显示部217上显示的菜单画面、可以在上下左右方向上按下的四向键、以及设置(set)按钮，直观地进行各种设置。
31.触摸面板221是可以检测对显示部217的触摸的触摸面板。触摸面板221和显示部217可以一体地形成。系统控制器250可以检测对触摸面板221进行的各种操作。各种类型的触摸面板可以应用于触摸面板221，诸如电阻型、电容型、表面声波型、红外线型、电磁感应型、图像识别型和光学传感器型。设置外部接口233以连接数字照相机100和外部设备。在图2中，接口表示为“i/f”。外部接口233可以是视频输入/输出端子(诸如复合视频输入/输出端子或hdmi(注册商标))，或者可以是usb接口或用于红外或无线通信的接口。通过将诸如鼠标的定点装置连接到外部接口233，可以代替触摸面板221，将定点装置用作输入部件。在这种情况下，系统控制器250接收来自连接到外部接口233的鼠标的输入，并在显示部217上显示指针。此外，系统控制器250接收鼠标的移动和点击，并进行与使用触摸面板221进行的控制等效的控制。
32.电源控制器225包括电池检测电路、dc-dc转换器、用于在要通电的块之间切换的开关电路，并且检测电池的安装/拆卸、电池类型、电池剩余量等。此外，电源控制器225基于上述检测的结果和来自系统控制器250的指令来控制dc-dc转换器，以在所需时间段内向包括记录介质232的组件提供所需电压。电源部226是由一次电池(诸如碱性电池和锂电池)、二次电池(诸如nicd电池、nimh电池和锂离子电池)、ac适配器等实现的电源。
33.设置记录介质接口231以连接到记录介质232(诸如存储卡和硬盘)。记录介质232记录存储在存储器220中的图像数据、附加到图像数据的元数据等，并且例如由半导体存储器、光盘和磁盘实现。记录介质232中记录的数据由记录介质接口231读出并传送到存储器220。作为记录元数据的方法，符合可交换图像文件格式(exif)标准的方法可以应用于静止图像，并且符合高级视频编码高清晰度(avchd)标准的方法可以应用于运动图像。通信部234无线地或通过有线线缆与外部设备(诸如模型生成服务器102)进行通信。经由通信部234发送和接收视频信号、语音信号等。通信部234还可以连接到无线lan(局域网)和因特网。通信部234可以发送由摄像部214拍摄的图像(包括直通图像)和记录介质232中记录的图像。此外，通信部234可以从外部设备接收图像数据和其他各种信息。
34.接下来，将描述模型生成服务器102。模型生成服务器102包括经由系统总线201彼此连接的cpu 202、rom 203、ram 204、hdd 205、nic 206、输入部207、显示部208和gpu 209。cpu 202控制模型生成服务器102的整体操作。rom 203存储各种参数和由模型生成服务器
102执行的程序。ram 204临时存储经由网络101从外部设备提供的程序和数据。ram 204可以临时存储从rom 203读出的程序和数据。加载到ram 204中的程序由cpu 202执行，由此实现由模型生成服务器102进行的处理。
35.hdd 205是内置于模型生成服务器102中的硬盘驱动器。可以使用光盘、磁卡、光卡、ic卡等来代替hdd 205。nic 206是用于连接到诸如网络101的通信线路的网络接口卡。输入部207接收用户使用用于输入各种数据的输入装置(诸如定点装置和键盘)而执行的操作。显示部208是与用于显示模型生成服务器102保持的数据和提供的数据的显示装置(诸如显示器)的接口。显示部208可以不是接口，而是显示装置。gpu 209能够并行地进行大量处理操作，并且能够高速进行计算。gpu 209主要用于显示功能，但也适用于例如用于深度学习处理。
36.图3是模型生成服务器102和数字照相机100的功能框图。数字照相机100包括数据发送和接收部301、摄像部302、图像处理器303、ui显示部304、数据存储部305、被摄体检测部306、被摄体评价部307和照相机控制器308。数据发送和接收部301向模型生成服务器102发送由数字照相机100拍摄的图像数据和关于经由操作部227接收的用户指令的信息。此外，数据发送和接收部301接收从模型生成服务器102发送的各种数据。数据发送和接收部301对应于例如通信部234。摄像部302获取关于数字照相机100外部的信息作为光学信息，并将获取的信息转换为图像数据。摄像部302对应于例如摄像部214。
37.图像处理器303对由摄像部302转换的图像数据进行图像处理，并且将附加信息(诸如元数据)添加到图像数据。图像处理器303对应于例如图像处理器219。ui显示部304显示在操作部227上使用的用户接口并显示各种信息等。ui显示部304对应于例如显示部217和触摸面板221。数据存储部305存储由被摄体评价部307使用的各种学习模型的参数和由摄像部302拍摄的图像数据。数据存储部305例如由系统存储器229、存储器220、记录介质232等实现。
38.被摄体检测部306将摄像部302拍摄的图像输入到下文描述的被摄体检测模型401，从而检测包括在图像中的被摄体。被摄体评价部307将包括由被摄体检测部306检测到的被摄体的被摄体图像输入到下文描述的被摄体评价模型402，从而计算各被摄体的评价值。被摄体检测部306和被摄体评价部307例如由系统控制器250和内置在数字照相机100中的专用处理器(诸如gpu)来实现。照相机控制器308对本实施例的数字照相机100进行各种控制。照相机控制器308对应于例如系统控制器250。
39.接下来，将描述模型生成服务器102。模型生成服务器102包括数据发送和接收部311、数据存储部312、学习数据生成部313、学习部314和服务器控制器315。数据发送和接收部311从数字照相机100接收包括图像数据的各种数据、重新学习应用到被摄体评价部307的学习模型的请求等。此外，数据发送和接收部311向数字照相机100发送各种数据，诸如学习模型的参数。数据发送和接收部311对应于例如nic 206。
40.数据存储部312存储在学习部314进行机器学习时使用的教师数据、从数字照相机100接收到的图像数据、图像数据的特征值等。数据存储部312由ram 204、hdd 205等实现。学习数据生成部313基于包括从数字照相机100接收到的图像数据的各种数据，生成被学习部314用于进行机器学习的学习数据集。生成的学习数据集存储在数据存储部312中。学习部314使用存储在数据存储部312中的大量学习数据集来进行学习模型的机器学习。在本实
施例中，学习部314进行被摄体检测模型401和被摄体评价模型402这两个学习模型的机器学习。作为被摄体检测模型401和被摄体评价模型402，使用已经学习的学习模型。此外，学习部314基于从数字照相机100接收到的重新学习请求，来进行被摄体评价模型402的重新学习。
41.注意，在本实施例中，假设由学习部314进行的机器学习是神经网络的机器学习(深度学习)。然而，学习部314可以通过诸如支持向量机或决策树的机器学习方法来进行学习模型的机器学习。由学习部314进行的机器学习可以由cpu 202或gpu 209进行，或者可以由cpu 202和gpu 209的协同操作进行。当进行学习模型的机器学习时，进行大量的计算处理，因此优选使用gpu209。服务器控制器315进行本实施例的模型生成服务器102的各种控制。服务器控制器315对应于例如cpu 202。
42.图4a和图4b是各自示出被摄体检测模型401和被摄体评价模型402的输入和输出的图。在图4a和图4b所示的示例中，被摄体检测模型401和被摄体评价模型402是神经网络的学习模型，但是可以使用除了神经网络的学习模型以外的学习模型。
43.首先，将描述图4a所示的被摄体检测模型401的机器学习。在作为检测单元的被摄体检测模型401的机器学习中，使用图像数据和教师数据的学习数据集。图5a和图5b是各自示出学习数据集的示例的图，并且图5a示出了在进行被摄体检测模型401的机器学习时各自使用的学习数据集的示例。作为教师数据的正确答案标签与图5a中出现的各图像(图像数据)相关联。用于被摄体检测模型401的机器学习的图像数据是用于学习的整个图像(全图像)。作为用于学习的图像数据，例如可以使用由数字照相机100拍摄的图像数据，或者可以使用预先存储在模型生成服务器102中的图像数据。此外，模型生成服务器102可以从外部设备获取用于学习的图像数据。
44.图5a中的示例示出了作为学习数据集的六个学习数据集(数据1至数据6)。在本实施例中，要检测的被摄体假设为人(诸如活人)。因此，图像数据包括人的被摄体的学习数据集的教师数据具有设置为值1的正确答案标签。另一方面，图像数据不包括人的被摄体的学习数据集的教师数据具有设置为值0的正确答案标签。例如，在图像数据包括绘制有人的图片或海报、或以人形为立体模型的雕像等，但不包括人的情况下，与其相关联的教师数据具有设置为值0的正确答案标签。与具有设置为值0的正确答案标签的教师数据相关联的图像数据是不作为被摄体检测对象的图像数据，而与具有设置为值1的正确答案标签的教师数据相关联的图像数据是作为被摄体检测对象的图像数据。
45.模型生成服务器102的学习部314使用上述学习数据集进行被摄体检测模型401的机器学习。尽管可以根据需要设置要使用的学习数据集的数量，但该数量被设置为例如几千到几万。通过反复进行被摄体检测模型401的机器学习，被摄体检测模型401的参数被适当地调整，使得被摄体检测模型401的输出误差变小。例如，学习部314反复进行机器学习，直到上述误差不大于预定值为止。
46.当未知图像数据(全图像)被输入到如上所述已经机器学习的被摄体检测模型401时，被摄体检测模型401对未知图像数据进行推理。然后，被摄体检测模型401通过使用0到1范围内的值表达检测到的人的被摄体来输出被摄体检测的结果。该值指示检测到的被摄体是人的概率。被摄体检测模型401可以检测具有不低于预定值的概率的被摄体。
47.接下来将描述图4b所示的被摄体评价模型402。作为评价单元的被摄体评价模型
402是进行机器学习的学习模型。在本实施例中，图5b所示的学习数据集用于被摄体评价模型402的机器学习。如图5b所示，用于被摄体评价模型402的机器学习的用于学习的图像数据不是全图像，而是包括被摄体区域的部分被摄体图像。此外，作为教师数据，使用特征值1至3。在图5b中，特征值1至3可以基于用于学习的图像数据的亮度信息、颜色信息等来识别。例如，特征值1指示头发的光泽，特征值2指示面部的阴影，并且特征值3指示瞳孔的亮度。例如由用户将特征值1至3各自设置为0至1范围内的值。特征值1至3的值各自指示针对包括在被摄体图像中的被摄体的、特征值的似然度。各个学习数据集的特征值不限于图5b所示的示例。
48.模型生成服务器102使用如图5b所示的学习数据集进行被摄体评价模型402的机器学习。这适当地调整了被摄体评价模型402的参数。当将未知被摄体图像输入到如上所述已经机器学习的被摄体评价模型402时，被摄体评价模型402进行推理，并输出0至1范围内的值作为评价值。评价值指示与各个特征值相关联的概率。当未知被摄体图像被输入到已经机器学习的被摄体评价模型402时，被摄体评价模型402输出与各个特征值相关联的评价值。
49.关于以上描述，用于被摄体检测模型401和被摄体评价模型402的机器学习的学习数据集可以由用户设置，或者可以从由学习部314进行的机器学习的结果中获得。例如，学习部314可以使用如图5a所示的学习数据集来进行被摄体检测模型401的机器学习，并且学习数据生成部313可以通过分析来自机器学习的被摄体检测模型401的输出值来获得特征值(其示例如图5b所示)。
50.在本实施例中，被摄体检测模型401和被摄体评价模型402的机器学习由模型生成服务器102的学习部314进行。然后，数字照相机100从模型生成服务器102获取学习的被摄体检测模型401和被摄体评价模型402。数字照相机100将获取的学习的被摄体检测模型401和被摄体评价模型402存储在数据存储部305中。数字照相机100的被摄体检测部306使用存储在数据存储部305中的学习的被摄体检测模型401进行推理。此外，被摄体评价部307使用存储在数据存储部305中的学习的被摄体评价模型402进行推理。对于被摄体评价模型402，通过重新学习来更新学习参数。这方面的细节将在下文中描述。此外，数字照相机100和模型生成服务器102可以不作为单独的设备而是作为一体的设备来提供。
51.接下来，将描述用于更新被摄体评价模型402的整个系统的操作。图6是示出用于更新被摄体评价模型402的整个系统的操作的流程的图。首先，在数字照相机100处于电源接通状态时，被摄体检测部306使用由摄像部302拍摄的图像数据作为输入来检测被摄体。被摄体评价部307使用包括检测到的被摄体的被摄体图像作为输入来计算并输出特征值的评价值。系统控制器250确定各个输出评价值是否满足预定标准。预定标准是指执行特定功能的标准。例如，当从被摄体评价部307输出的评价值不小于预定阈值时，系统控制器250可以确定满足上述预定标准。预定阈值可以被设置为期望值。
52.在本实施例中，假设上述特定功能是用于在作为被摄体的人微笑时进行拍摄的微笑快门功能。然而，特定功能不限于微笑快门功能。如果确定为满足预定标准，则系统控制器250将摄像部302拍摄的图像数据存储在数据存储部305中。这里，作为图6中的步骤(1)，系统控制器250确定是否经由ui显示部304从用户接收到特定操作。特定操作的示例包括用于从被摄体中排除检测到的被摄体的操作、用于删除存储的图像数据的操作、以及禁用微
笑快门功能的操作。这些特定操作是与特定功能相关联的操作。如果接收到特定操作，则系统控制器250进行控制，以将存储在数据存储部305中的图像数据中的包括检测到的被摄体的区域的被摄体图像和重新学习请求发送到模型生成服务器102。因此，数据发送和接收部301将被摄体图像和重新学习请求发送到模型生成服务器102，作为图6中的步骤(2)。此时，数据发送和接收部301还可以将评价值发送到模型生成服务器102。
53.模型生成服务器102的学习数据生成部313提取从接收到的被摄体图像中提取的被摄体的特征值，作为图6中的步骤(3)。然后，学习数据生成部313针对各个提取的特征值设置预定值作为正确答案标签。预定值是0或1。然后，作为图6中的步骤(4)，学习数据生成部313将接收到的被摄体图像设置为用于学习的图像数据，将针对提取的特征值设置的正确答案标签设置为教师数据，并将设置的用于学习的图像数据和教师数据添加到已经存储在数据存储部312中的学习数据集中。这样生成了如下学习数据集，其中该学习数据集添加了新的用于学习的图像数据和教师数据的学习数据集。学习部314使用新生成的学习数据集进行被摄体评价模型402的重新学习。作为图6中的步骤(5)，学习部314使用新生成的学习数据集进行被摄体评价模型402的重新学习。学习部314进行被摄体评价模型402的重新学习，从而生成被摄体评价模型402的参数。此时，学习部314可以使用最新的学习数据集来进行被摄体检测模型401的机器学习。
54.作为图6中的步骤(6)，数据发送和接收部301将重新学习的被摄体评价模型402发送到数字照相机100。此外，数据发送和接收部301可以将机器学习的被摄体检测模型401发送到数字照相机100。照相机控制器308用接收到的被摄体评价模型402替换存储在数据存储部305中的被摄体评价模型402，作为图6中的步骤(7)。结果，存储在数字照相机100中的被摄体评价模型402被更新。
55.接下来，将描述由数字照相机100进行的处理的流程。图7是由数字照相机100进行的处理的流程。在步骤s701中，系统控制器250确定是否从模型生成服务器102接收到更新后的被摄体评价模型402。如果步骤s701的问题答案为肯定(是)，则系统控制器250进入步骤s702。在步骤s702中，系统控制器250将存储在数字照相机100中的被摄体评价模型402更新为接收到的新的被摄体评价模型402。此时，系统控制器250可以基于用户操作控制是否更新被摄体评价模型402。
56.图8a和图8b是各自示出ui显示的示例的图。在执行步骤s702之前，系统控制器250可以在ui显示部304上显示图8a所示的ui(用户接口)。在ui显示部304上显示用于询问是否更新被摄体评价模型402(换言之，用于提示用户许可该更新)的弹出窗口800。弹出窗口800包括否按钮801和是按钮802。在按下否按钮801的情况下，系统控制器250放弃接收到的被摄体评价模型402而不更新被摄体评价模型402。另一方面，在按下是按钮802的情况下，系统控制器250更新被摄体评价模型402。
57.再次参照图7，如果步骤s701的问题答案为否定(否)，或者在执行步骤s702之后，则系统控制器250进行到步骤s703。在步骤s703中，系统控制器250将从摄像部302获取的图像信号输入到图像处理器303，以进行将图像信号转换为图像数据的显像，从而获取图像数据。在步骤s704中，系统控制器250将图像数据输入到被摄体检测模型401，并确定被摄体检测模型401是否检测到被摄体。如果确定为被摄体检测模型401检测到被摄体，则系统控制器250确定为步骤s704的问题答案为肯定(是)并且进行到步骤s705。另一方面，如果被摄体
检测部306确定为没有检测到被摄体，则系统控制器250确定为步骤s704的问题答案为否定(否)并且返回到步骤s701。
58.在步骤s705中，系统控制器250确定是否启用特定功能。特定功能是上述特定功能并且取决于被摄体的状态。如上所述，特定功能是微笑快门功能，用于分析作为被摄体的人的面部表情并在人微笑的情况下进行拍摄。如果确定为启用特定功能，则系统控制器250确定为步骤s705的问题答案为肯定(是)并且进行到步骤s706。另一方面，如果确定为未启用特定功能，则系统控制器250确定为步骤s705的问题答案为否定(否)并且返回到步骤s701。
59.在步骤s706中，系统控制器250将包括检测到的被摄体的区域的被摄体图像输入到被摄体评价模型402以评价被摄体图像的被摄体。当被摄体图像被输入到被摄体评价模型402时，被摄体评价模型402输出特征值的各评价值。
60.在步骤s707中，系统控制器250确定从被摄体评价部307输出的评价值是否满足预定标准。在本实施例中，假设存在多种类型的评价值。然而，评价值可以是单一类型。例如，评价值是分别出现在图5b中的特征值1(头发的光泽)、特征值2(面部的阴影)和特征值3(瞳孔的亮度)的评价值。各个评价值由0至1的范围内的值表示。预定标准被预先设置为与各个评价值相关联的预定阈值。在从被摄体评价部307输出的三个评价值中的一个或多个评价值不小于相关联的预定阈值的情况下，系统控制器250可以确定为评价值满足预定标准。
61.这里，被摄体检测模型401从图像数据(全图像)中检测一个或多个被摄体。尽管假设被摄体检测模型401检测多个被摄体来给出描述，但是被摄体检测模型401可以检测一个被摄体。图9是示出分别与多个功能相关联的预定标准的示例的图。例如，在特定功能是微笑快门功能的情况下，被摄体是人。因此，系统控制器250基于例如头发的光泽和瞳孔的亮度的评价值是否不小于与其相关联的预定阈值，来确定评价值是否满足预定标准。例如，系统控制器250将满足图9中出现的与微笑快门功能相关联的两个确定参数的被摄体，确定为具有满足预定标准的评价值的被摄体。然而，关于评价值是否满足预定标准的确定不限于图9所示的示例。
62.再次参照图7，如果确定为被摄体的评价值满足预定标准，则系统控制器250确定为步骤s707的问题答案为肯定(是)并且进行到步骤s709。另一方面，如果确定为存在评价值不满足预定标准的被摄体，则系统控制器250确定为步骤s707的问题答案为否定(否)并进行到步骤s708。在步骤s708中，系统控制器250从特定功能的执行对象中排除评价值不满足预定标准的被摄体。通过执行步骤s707和s708，系统控制器250从图像数据中检测到的一个或多个被摄体中，识别满足与特定功能的执行相关的预定标准的被摄体。
63.例如，假设在被摄体图像中包括真实的人、绘制有人的海报和人的成形物体。在这种情况下，对于绘制有人的海报和人的成形物体这两个被摄体，很可能基于头发的光泽和瞳孔的亮度的评价值而确定为评价值不满足预定标准。另一方面，对于真实人的被摄体，很可能基于头发的光泽和瞳孔的亮度的评价值而确定为评价值满足预定标准。在这种情况下，系统控制器250从特定功能的执行对象中排除绘制有人的海报和人的成形物体。即，系统控制器250可以识别满足与特定功能(例如微笑快门功能)的执行相关的预定标准的被摄体。
64.在步骤s709中，系统控制器250确定被摄体是否满足特定功能的执行条件。在系统控制器250执行步骤s708的情况下，作为步骤s709的确定对象的被摄体是未被排除的被摄
体。特定功能的执行条件取决于被摄体的状态。例如，在特定功能是微笑快门功能的情况下，系统控制器250确定作为确定对象的被摄体是否正在微笑。此时，在作为确定对象的被摄体(人)的每只眼睛的外眼角附近的曲线或嘴唇的曲线超过一定标准的情况下，系统控制器250可以确定为被摄体满足特定功能的执行条件。在特定功能是除微笑快门功能以外的功能的情况下，系统控制器250基于与相关联的其他确定指标来进行步骤s709的确定。即使在特定功能是微笑快门功能的情况下，系统控制器250也可以基于与上述确定指标不同的确定指标来进行步骤s709的确定。
65.如果步骤s709的问题答案为否定(否)，则不存在满足特定功能的执行条件的被摄体，因此系统控制器250返回到步骤s701。另一方面，如果步骤s709的问题答案为肯定(是)，则存在满足特定功能的执行条件的被摄体，因此系统控制器250进行到步骤s710。在步骤s710中，系统控制器250将从摄像部302获取的图像信号显像为图像数据，并将图像数据存储在记录介质232、非易失性存储器228等中。
66.接下来，在步骤s711中，系统控制器250在存储图像数据之后确定是否接收到用于改变作为对象的被摄体的操作。改变被摄体的操作是特定的操作，并且由用户例如经由ui显示部304进行。改变被摄体的操作例如是用于重新选择或排除在ui显示部304上显示的被摄体的操作。此外，用于改变被摄体的操作可以是例如删除存储的图像数据的操作或禁用特定功能的操作。图8b示出了ui画面的示例。在图8b所示的ui画面上，显示用于提示用户确定是否删除图像数据的弹出窗口803。弹出窗口803包括否按钮804和是按钮805。例如，在按下是按钮805的情况下，正在显示的图像数据(选择的图像数据)被删除。例如在按下数字照相机100的被分配了图像删除功能的按钮的情况下，可以执行图像数据的删除。
67.如果步骤s711的问题答案为肯定(是)，则系统控制器250进行到步骤s712。另一方面，如果步骤s711的问题答案为否定(否)，则系统控制器250进行到步骤s713。在步骤s712中，系统控制器250进行控制，以将重新学习请求、在步骤s706中使用的被摄体图像、以及从被摄体评价模型402输出的评价值发送到模型生成服务器102。由此，重新学习请求、被摄体图像和评价值被发送到模型生成服务器102。在步骤s713中，系统控制器250进行控制，以将在步骤s706中使用的被摄体图像和从被摄体评价模型402输出的评价值发送给模型生成服务器102。此时，系统控制器250进行控制，以不发送重新学习请求。因此，终止由数字照相机100进行的处理。注意，在步骤s712和s713中，不一定需要发送评价值。在这种情况下，模型生成服务器102的cpu202分析接收到的被摄体图像并计算评价值。
68.接下来，将描述由模型生成服务器102进行的处理的流程。图10是由模型生成服务器102进行的处理的流程图。在步骤s1001中，cpu 202确定是否从数字照相机100接收到诸如被摄体图像的数据。如果步骤s1001的问题答案为否定(否)，则cpu 202返回到步骤s1001，并保持待机直到从数字照相机100接收到数据为止。另一方面，如果步骤s1001的问题答案为肯定(是)，则cpu 202进入步骤s1002。
69.在步骤s1002中，cpu 202确定从数字照相机100接收的数据中是否包括重新学习请求。如果步骤s1002的问题答案为肯定(是)，则cpu 202进行到步骤s1003。另一方面，如果步骤s1002的问题答案为否定(否)，则cpu 202进行到步骤s1006。在步骤s1003中，cpu 202将从数字照相机100接收到的被摄体图像和与被摄体图像相关联的被设置为0的特征值的集合添加到学习数据集。如上所述，在进行用于改变被摄体的操作的情况下，数字照相机
100向模型生成服务器102发送重新学习请求。因此，在步骤s1003中，cpu 202将被摄体图像和设置为0的特征值的集合添加到学习数据集。即，接收到的被摄体图像的被摄体对于特定功能的执行成为不正确答案。因此，学习数据集被更新。
70.在步骤s1004中，cpu 202使学习部314使用更新后的学习数据集来进行机器学习。由此，使用更新后的学习数据集进行被摄体评价模型402的机器学习(重新学习)。此时，可以通过使用已经存储在hdd 205等中的所有学习数据集来进行被摄体评价模型402的重新学习。此外，可以通过使通过使用更新后的学习数据集进行机器学习而生成的参数反映在学习参数上，来进行被摄体评价模型402的重新学习。
71.在步骤s1005中，cpu 202进行控制，以将重新学习的被摄体评价模型402发送到数字照相机100。由此，将重新学习的被摄体评价模型402发送到数字照相机100。在步骤s1006中，cpu 202将从数字照相机100接收的被摄体图像和与被摄体图像相关联的被设置为1的特征值的集合，添加到学习数据集。由于尚未接收到重新学习请求，因此cpu 202将与被摄体图像相关联的特征值设置为1。这终止了由模型生成服务器102进行的处理。
72.如上所述，在本实施例中，当数字照相机100执行特定功能时，排除与检测到的被摄体特征值相关联的评价值不满足预定标准的被摄体。由此，能够提高在使用特定功能(诸如微笑快门功能)进行拍摄时展现的被摄体检测性能，并且抑制被摄体的错误识别。结果，能够防止使用由于被摄体的错误识别而执行的特定功能(诸如微笑快门功能)进行拍摄。即，可以防止用户不想要的拍摄。例如，即使当打印在海报上的人脸或人的三维成形物体包括在数字照相机100的拍摄范围内时，也不会将其识别为使用微笑快门功能进行拍摄的被摄体，因此可以防止用户不想要的拍摄。此外，由于基于用户操作进行被摄体评价模型402的重新学习，因此能够进行用户想要的被摄体检测，并提高用户的操作性。
73.虽然在上述实施例中，作为用于评价被摄体的特征值，描述了头发的光泽、面部的阴影和瞳孔的亮度，但是针对用于评价被摄体的特征值，可以使用任何其他元素。例如，针对用于评价被摄体的特征值，可以使用面部的毛发状态、有无痣、血管线、手的倒刺、皮肤的皱纹、有无化妆等。此外，针对基于时间上连续拍摄的图像数据项之间的差异的被摄体的变化(诸如面部表情的变化和四肢的移动)而提取的特征值可以用于评价被摄体。此外，可以从根据数字照相机100中配备的功能而获得的信息或可以从连接到外部接口233的外部设备获取的信息中，提取用于评价被摄体的特征值。例如，针对用于评价被摄体的特征值，可以使用关于距被摄体的距离的信息、当前位置的gps信息、被摄体的温度信息、关于外部气温的信息等。
74.此外，虽然在上述实施例中，通过示例将被摄体检测模型401和被摄体评价模型402用于被摄体检测部306和被摄体评价部307，但不一定需要使用被摄体检测部306和被摄体评价部307的学习模型。例如，被摄体检测部306和被摄体评价部307可以由执行基于规则的程序的系统控制器250来实现。此外，被摄体检测部306可以进行基于规则的被摄体检测，并且被摄体评价部307可以使用被摄体评价模型402进行评价。
75.此外，尽管在上述实施例中，通过示例将微笑快门功能应用为特定功能，但是被摄体评价模型402可以被共同用于多个不同的功能。例如，被摄体评价模型402可以被共同用于各种功能，诸如在一定数量的被摄体聚集时进行拍摄的合影模式的功能、以及在监视照相机系统等中引入的在稳定注视被摄体的同时进行拍摄的跟踪模式的功能。
76.其他实施例
77.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
78.尽管已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。
79.本技术要求2020年7月22日提交的日本专利申请2020-125733的优先权，该申请的全部内容通过引用并入本文。