信息处理装置、学习设备、摄像装置、信息处理装置的控制方法及程序与流程

1.本发明的技术涉及一种信息处理装置、学习设备、摄像装置、信息处理装置的控制方法及程序。


背景技术：

2.在国际公开第2008/133237号中公开了一种拍摄物体空间的摄像装置。该摄像装置的特征在于，具备被摄体特征点学习构件、被摄体特征点学习信息存储部、摄影候选图像信息获取构件、图像检索处理构件及摄影条件调整构件。被摄体特征点学习构件从拍摄物体空间而得到的图像信息中检测规定被摄体的图像，并且提取表示被摄体图像的特征点的被摄体特征点学习信息。被摄体特征点学习信息存储部存储被摄体特征点学习信息。摄影候选图像信息获取构件获取成为摄影候选的图像，即摄影候选图像。图像检索处理构件根据所获取的摄影候选图像，判定在表示摄影候选图像中包括的至少一个被摄体图像所具有的特征点的摄影候选图像特征点信息中，是否包括表示与预先存储在被摄体特征点学习信息存储部中的被摄体特征点学习信息所表示的特征点一致的特征点。摄影条件调整构件经判定的结果，在摄影候选图像特征点信息中包括表示与被摄体特征点学习信息所表示的特征点一致的特征点的情况下，对进行摄影条件的最优化的摄影条件最优化构件进行指示，以使对摄影候选图像中的与摄影候选图像特征点信息对应的被摄体进行摄影条件的最优化。
3.在日本特开2013-80428号公报中公开了一种程序，其使计算机执行如下步骤：获取步骤，获取使第1装置通过学习而适应的第1学习数据；及数据转换步骤，基于使第2装置通过学习而适应的第2学习数据的数据形式，将所获取的第1学习数据转换为适合于第2学习数据的数据形式的数据形式的学习数据。


技术实现要素：

4.本发明的技术所涉及的一种实施方式提供一种信息处理装置，其与从通过由图像传感器拍摄而得到的摄像图像中以手动操作选择用于机器学习的特定被摄体图像的情况相比，能够简单地收集用于机器学习。
5.用于解决技术课题的手段
6.本发明的技术所涉及的第1方式为一种信息处理装置，其具备：处理器；及内存，与处理器连接或内置于其中，处理器在由图像传感器进行了伴随将特定被摄体作为聚焦对象区域的聚焦动作的拍摄时，将与表示通过拍摄而得到的摄像图像内的特定被摄体的特定被摄体图像有关的特定被摄体数据作为用于机器学习的数据而输出。
7.本发明的技术所涉及的第2方式为第1方式所涉及的信息处理装置，其中，机器学习是有监督机器学习，处理器进行如下处理：将与特定被摄体图像有关的信息即标签赋予到特定被摄体数据，将特定被摄体数据作为用于有监督机器学习的训练数据而输出。
8.本发明的技术所涉及的第3方式为第1方式或第2方式所涉及的信息处理装置，其中，处理器在基于从图像传感器输出的信号的显示用动态图像显示于监视器上的状态下，以与其他图像区域可以区分的方式显示聚焦对象区域，特定被摄体图像是与摄像图像内的聚焦对象区域的位置对应的图像。
9.本发明的技术所涉及的第4方式为第3方式所涉及的信息处理装置，其中，处理器通过在显示用动态图像中显示包围聚焦对象区域的框，以与其他图像区域可以区分的方式显示聚焦对象区域。
10.本发明的技术所涉及的第5方式为第4方式所涉及的信息处理装置，其中，框的位置按照被赋予的位置变更指示可以变更。
11.本发明的技术所涉及的第6方式为第4方式或第5方式所涉及的信息处理装置，其中，框的尺寸按照被赋予的尺寸变更指示可以变更。
12.本发明的技术所涉及的第7方式为第1方式至第6方式中任一方式所涉及的信息处理装置，其中，处理器将摄像图像与聚焦对象区域的坐标作为用于机器学习的数据而输出。
13.本发明的技术所涉及的第8方式为第1方式或第2方式所涉及的信息处理装置，其中，处理器进行如下处理：将基于从图像传感器输出的信号的显示用动态图像显示于监视器上；在显示用动态图像中，接受聚焦对象区域的指定；及在包括聚焦对象区域的规定区域中，基于表示与聚焦对象区域的相似度的相似评价值在第1规定范围内的区域，提取特定被摄体图像。
14.本发明的技术所涉及的第9方式为第8方式所涉及的信息处理装置，其中，处理器以与其他图像区域可以区分的方式显示聚焦对象区域。
15.本发明的技术所涉及的第10方式为第8方式或第9方式所涉及的信息处理装置，其中，聚焦对象区域及特定被摄体图像中的至少一方以通过分割规定区域而得到的分割区域单位来确定。
16.本发明的技术所涉及的第11方式为第8方式至第10方式中任一方式所涉及的信息处理装置，其中，相似评价值是基于在聚焦动作中使用的聚焦评价值的值。
17.本发明的技术所涉及的第12方式为第8方式至第11方式中任一方式所涉及的信息处理装置，其中，相似评价值是基于规定区域的颜色信息的颜色评价值。
18.本发明的技术所涉及的第13方式为第8方式至第12方式中任一方式所涉及的信息处理装置，其中，处理器在显示用动态图像中表示特定被摄体的显示用特定被摄体图像与特定被摄体图像的差异度超过第2规定范围时，进行异常检测处理，显示用特定被摄体图像基于相似评价值来确定。
19.本发明的技术所涉及的第14方式为第1方式至第13方式中任一方式所涉及的信息处理装置，其中，特定被摄体数据包括特定被摄体图像的坐标，处理器将摄像图像和特定被摄体图像的坐标作为用于机器学习的数据而输出。
20.本发明的技术所涉及的第15方式为第1方式至第14方式中任一方式所涉及的信息处理装置，其中，特定被摄体数据是从摄像图像切出的特定被摄体图像，处理器将所切出的特定被摄体图像作为用于机器学习的数据而输出。
21.本发明的技术所涉及的第16方式为第1方式至第15方式中任一方式所涉及的信息处理装置，其中，处理器进行如下处理：将数据存储于内存中，使用存储在内存中的数据进
行机器学习。
22.本发明的技术所涉及的第17方式为一种学习设备，其具备：接受器件，接受从第1方式至第15方式中任一方式所涉及的信息处理装置输出的数据；及运算装置，使用由接受器件接受的数据进行机器学习。
23.本发明的技术所涉及的第18方式为一种摄像装置，其具备：第1方式至第16方式中任一方式所涉及的信息处理装置；及图像传感器。
24.本发明的技术所涉及的第19方式为第18方式所涉及的摄像装置，其中，图像传感器在多个对焦位置进行拍摄，关于通过进行拍摄而得到的多个摄像图像，处理器将从对焦于特定被摄体的对焦图像中得到的特定被摄体图像的坐标，作为未对焦于特定被摄体的非对焦图像中的特定被摄体图像的坐标而输出。
25.本发明的技术所涉及的第20方式为一种信息处理装置的控制方法，其包括：在由图像传感器进行了伴随将特定被摄体作为聚焦对象区域的聚焦动作的拍摄时，输出与表示通过拍摄而得到的摄像图像内的特定被摄体的特定被摄体图像有关的特定被摄体数据作为用于机器学习的数据。
26.本发明的技术所涉及的第21方式为一种程序，其用于使计算机执行如下处理：处理包括：在由图像传感器进行了伴随将特定被摄体作为聚焦对象区域的聚焦动作的拍摄时，输出与表示通过拍摄而得到的摄像图像内的特定被摄体的特定被摄体图像有关的特定被摄体数据作为用于机器学习的数据。
附图说明
27.图1是表示训练数据生成系统的一例的示意图。
28.图2是表示摄像装置的前表面侧外观的一例的立体图。
29.图3是表示摄像装置的背面侧外观的一例的后视图。
30.图4是摄像装置的框图。
31.图5是表示在选择了训练数据摄像模式时标签选择画面显示于监视器上的方式的一例的摄像装置的后视图。
32.图6是表示在显示于监视器上的即时预览图像上重叠显示有af框的方式的一例的摄像装置的后视图。
33.图7是表示根据被摄体脸部的位置来变更af框的位置的方式的一例的摄像装置的后视图。
34.图8是表示根据被摄体脸部的位置来变更af框的尺寸的方式的一例的摄像装置的后视图。
35.图9是表示af框的位置坐标的一例的说明图。
36.图10是表示从第1实施方式所涉及的信息处理装置输出的训练数据存储于数据库中的方式的一例的说明图。
37.图11是表示通过第1实施方式所涉及的信息处理装置进行的训练数据生成处理的流程的一例的流程图。
38.图12是表示根据被摄体左眼的位置来变更af框的位置及尺寸的方式的一例的摄像装置的后视图。
access memory：随机存取内存”的简称。nvm是指“non-volatile memory：非易失性内存”的简称。ic是指“integrated circuit：集成电路”的简称。asic是指“application specific integrated circuit：专用集成电路”的简称。pld是指“programmable logic device：可编程逻辑器件”的简称。fpga是指“field programmable gate array：现场可编程门阵列”的简称。soc是指“system-on-a-chip：片上系统”的简称。ssd是指“solid s tate drive：固态驱动器”的简称。usb是指“universal serial bus：通用串行总线”的简称。hdd是指“hard disk drive：硬盘驱动器”的简称。eepr om是指“electrically erasable and programmable read only memory：电可擦编程只读内存”的简称。el是指“electro-luminescent：电致发光”的简称。i/f是指“interface：接口”的简称。ui是指“user interface：用户界面”的简称。tof是指“time of flight：飞行时间”的简称。fps是指“frame per second：每秒帧数”的简称。mf是指“manual focus：手动对焦”的简称。af是指“auto focus：自动对焦”的简称。以下，为了便于说明，作为本发明的技术所涉及的“处理器”的一例而例示出cpu，但本发明的技术所涉及的“处理器”也可以如cpu及gpu等那样是多个处理装置的组合。作为本发明的技术所涉及的“处理器”的一例，在适用cpu及gpu的组合的情况下，gpu在cpu的控制下进行动作，并承担图像处理的执行。
58.在本说明书的说明中，“垂直”除了完全垂直以外，还指包括本发明技术所属技术领域中通常容许的误差的含义的垂直。
59.在以下说明中，除了在监视器上显示的“图像”以外，不是表现为“图像数据”，而是表现为“图像”的情况下，“图像”中还包括“表示图像的数据(图像数据)”的意思。在本说明书中，“图像内的被摄体”是指在图像内作为图像而包括的被摄体。
60.[第1实施方式]
[0061]
作为一例，如图1所示，训练数据生成系统10具备摄像装置12、学习设备14及与学习设备14连接的数据库16。
[0062]
摄像装置12例如是数码相机。摄像装置12经由互联网等通信网络可通信地连接于学习设备14。摄像装置12具有正常摄像模式和训练数据摄像模式作为摄像系统的动作模式。在正常摄像模式中，摄像装置12通过使机械快门48(参考图4)工作，将成像于图像传感器24的受光面24a(参考图4)上的图像(以下，称为“主曝光图像”)存储于内存中。在训练数据摄像模式中，摄像装置12将与表示主曝光图像内的特定被摄体的图像(以下，称为“特定被摄体图像”)有关的数据作为用于机器学习的数据输出到学习设备14。以下，将与特定被摄体图像有关的数据也称为“特定被摄体数据”。另外，机器学习例如包括深度学习及卷积神经网络等。
[0063]
学习设备14例如是计算机。数据库16具备hdd或eeprom等存储器，并存储由学习设备14接受的数据。
[0064]
用于机器学习的数据例如是在机器学习中为了构建模型而使用的训练数据。在本实施方式中，训练数据是包括特定被摄体数据、与特定被摄体图像有关的信息即标签的带标签的图像数据。学习设备14通过使用训练数据进行有监督机器学习而构建将拍摄到图像上的被摄体的类别进行分类的类别分类模型。
[0065]
在图1所示例中，摄像装置12的用户11(以下，简称为“用户11”)将摄像装置12设定为训练数据摄像模式，并依次拍摄特定被摄体a、b及c。用户11在拍摄特定被摄体a之前，在
摄像装置12中，经由接受部60(参考图4)选择表示“脸部”的标签la。摄像装置12将与通过拍摄特定被摄体a而得到的主曝光图像pa内的特定被摄体图像sa有关的特定被摄体数据与标签la建立对应关联，并作为训练数据17a输出到学习设备14。学习设备14接受训练数据17a，并将与特定被摄体图像sa有关的特定被摄体数据与标签la建立对应关联，并存储于数据库16中。
[0066]
同样地，用户11在拍摄特定被摄体b之前，在摄像装置12中，经由接受部60(参考图4)选择表示“汽车”的标签lb。摄像装置12将与通过拍摄特定被摄体b而得到的主曝光图像pb内的特定被摄体图像sb有关的特定被摄体数据与标签lb建立对应关联，并作为训练数据17b输出到学习设备14。学习设备14接受训练数据17b，并将与特定被摄体图像sb有关的特定被摄体数据与标签lb建立对应关联，并存储于数据库16中。
[0067]
并且，用户11在拍摄特定被摄体c之前，在摄像装置12中，经由接受部60(参考图4)选择表示“花”的标签lc。摄像装置12将与通过拍摄特定被摄体c而得到的主曝光图像pc内的特定被摄体图像sc有关的特定被摄体数据与标签lc建立对应关联，并作为训练数据17c输出到学习设备14。学习设备14接受训练数据17c，并将与特定被摄体图像sc有关的特定被摄体数据与标签lc建立对应关联，并存储于数据库16中。
[0068]
在此，主曝光图像pa、pb及pc是本发明的技术所涉及的“摄像图像”的一例。特定被摄体a、b及c是本发明的技术所涉及的“特定被摄体”的一例。特定被摄体图像sa、sb及sc是本发明的技术所涉及的“特定被摄体图像”的一例。特定被摄体数据是本发明的技术所涉及的“特定被摄体数据”的一例。另外，在以下说明中，在不需要区分说明主曝光图像pa、pb及pc时统称为“主曝光图像p”。并且，在以下说明中，在不需要区分说明特定被摄体a、b及c的情况下，不标注符号而称为“特定被摄体”。并且，在以下说明中，在不需要区分说明特定被摄体图像sa、sb及sc时统称为“特定被摄体图像s”。
[0069]
标签la、lb及lc是本发明的技术所涉及的“标签”的一例。训练数据17a、17b及17c是本发明的技术所涉及的“数据”及“训练数据”的一例。另外，在以下说明中，在不需要区分说明标签la、lb及lc时统称为“标签l”。并且，在以下说明中，在不需要区分说明训练数据17a、17b及17c时统称为“训练数据17”。
[0070]
作为一例，如图2所示，摄像装置12是以镜头可换式且省略了反光镜的数码相机。摄像装置12具备摄像装置主体20和可更换地安装于摄像装置主体20的可更换镜头22。另外，在此，作为摄像装置12的一例而举出镜头可换式且省略了反光镜的数码相机，但本发明的技术并不限定于此，也可以是镜头固定式数码相机，也可以是未省略反光镜的数码相机，也可以是内置于智能器件、可穿戴终端、细胞观察装置、眼科观察装置或外科显微镜等各种电子设备中的数码相机。
[0071]
在摄像装置主体20中设置有图像传感器24。图像传感器24具备光电转换元件80(参考图14)。图像传感器24具有受光面24a(参考图14)。图像传感器24以受光面24a的中心与光轴oa一致的方式配置在摄像装置主体20内。
[0072]
图像传感器24是cmos图像传感器。在可更换镜头22安装到摄像装置主体20的情况下，表示被摄体的被摄体光透过可更换镜头22成像于图像传感器24上，表示被摄体图像的图像数据由图像传感器24生成。在此，图像传感器24是本发明的技术所涉及的“图像传感器”的一例。
[0073]
另外，在本实施方式中，作为图像传感器24而例示出cmos图像传感器，但本发明的技术不限于此，例如，即使图像传感器24是ccd图像传感器等其他类型的图像传感器，本发明的技术也成立。
[0074]
在摄像装置主体20的上表面上设置有释放按钮26及转盘28。转盘28在设定摄像装置12的动作模式时被操作。作为摄像装置12的动作模式，有包括正常摄像模式与训练数据摄像模式的摄像系统的动作模式、以及包括回放模式的回放系统的动作模式。
[0075]
释放按钮26作为摄像准备指示部及摄像指示部而发挥作用，可以检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态是指例如从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。并且，以下，将释放按钮26被按下至最终按下位置(全按位置)的操作也称为“主曝光操作”。另外，“主曝光操作”可以通过例如触摸后述触摸面板/监视器3等其他方法来进行。
[0076]
作为一例，如图3所示，在摄像装置主体20的背面上设置有触摸面板/监视器30及指示键32。
[0077]
触摸面板/监视器30具备监视器34及触摸面板36(参考图4)。作为监视器34的一例，可以举出有机el显示器。监视器34可以不是有机el显示器，而是无机el显示器、液晶显示器等其他类型的显示器。另外，监视器34是本发明的技术所涉及的“监视器”的一例。
[0078]
监视器34显示图像和/或字符信息等。监视器34在摄像装置12为摄像系统的动作模式的情况下，用于显示通过进行即时预览图像用拍摄即连续拍摄而得到的即时预览图像。即时预览图像用拍摄(以下，也称为“即时预览图像用摄像”)例如按照60fps的帧速率进行。另外，即时预览图像用摄像的帧速率并不限定于60fps，也可以高于或低于60fps。
[0079]
在此，即时预览图像是指基于通过由图像传感器24拍摄而得到的图像数据的显示用动态图像。在此，即时预览图像是本发明的技术所涉及的“显示用动态图像”的一例。即时预览图像通常也被称为实时取景图像。并且，监视器34也用于显示主曝光图像p。此外，监视器34也用于显示当摄像装置12为回放模式时的回放图像及菜单画面等。
[0080]
触摸面板36是透射型触摸面板，重叠于监视器34的显示区域的表面。触摸面板36通过检测手指或触控笔等指示体的接触而接受来自用户11的指示。
[0081]
另外，在本实施方式中，作为触摸面板/监视器30的一例，可以举出触摸面板36重叠于监视器34的显示区域表面上的外挂型触摸面板/显示器，但这仅为一例。例如，作为触摸面板/监视器30，也可以适用外嵌型或内嵌型触摸面板/显示器。
[0082]
指示键32接受各种指示。在此，“各种指示”是指例如可以选择各种菜单的菜单画面的显示指示、一个或多个菜单的选择指示、选择内容的确定指示、选择内容的删除指示、放大、缩小及帧传送等各种指示等。并且，这些指示可以通过触摸面板36来进行。
[0083]
作为一例，如图4所示，摄像装置12具备卡口37及38。卡口37设置于摄像装置主体20上。卡口38在可更换镜头22中设置于与卡口37的位置对置的位置。可更换镜头22通过卡口38键合于卡口37而可更换地安装于摄像装置主体20。
[0084]
作为一例，如图4所示，摄像透镜40包括物镜40a、聚焦透镜40b及光圈40c。物镜40a、聚焦透镜40b及光圈40c从被摄体侧(物体侧)到摄像装置主体20侧(像侧)沿着光轴oa
以物镜40a、聚焦透镜40b及光圈40c的顺序配置。
[0085]
并且，可更换镜头22具备滑动机构42、马达44及46。在滑动机构42上，沿着光轴oa可滑动地安装有聚焦透镜40b。并且，在滑动机构42上连接有马达44，滑动机构42受到马达44的动力而工作，由此使聚焦透镜40b沿着光轴oa移动。
[0086]
光圈40c是开口的大小可变的光圈。在光圈40c上连接有马达46，光圈40c通过接受马达46的动力进行工作而调节曝光。另外，可更换镜头22的结构物和/或动作方法根据需要可以变更。
[0087]
马达44及46经由卡口38连接于摄像装置主体20，并按照来自摄像装置主体20的命令而控制驱动。另外，在本实施方式中，作为马达44及46的一例而采用步进马达。从而，马达44及46根据来自摄像装置主体20的命令，与脉冲信号同步进行动作。并且，在图4所示例中示出马达44及46设置于可更换镜头22的例子，但并不限定于此，也可以马达44及46中的至少一个设置于摄像装置主体20，也可以马达44及46两者设置于摄像装置主体20。
[0088]
摄像装置12在正常摄像模式的情况下，按照对摄像装置主体20赋予的指示选择性地设定为mf模式及af模式中的一种。mf模式是手动对焦的动作模式。在mf模式中，例如，通过由用户11操作可更换镜头22的聚焦环(省略图示)，聚焦透镜40b以与聚焦环的操作量对应的移动量沿着光轴oa移动，由此调节焦点。
[0089]
在af模式中，释放按钮26处于半按状态，由此摄像装置主体20进行与被摄体距离对应的对焦位置的运算，并使聚焦透镜40b朝向通过运算而得到的对焦位置移动，由此调节焦点。然后，释放按钮26持续处于全按状态，由此摄像装置主体20进行主曝光动作(后述)。在此，对焦位置是指对焦状态下的聚焦透镜40b在光轴oa上的位置。
[0090]
另外，在训练数据摄像模式的情况下，摄像装置12设定为af模式。以下，为了便于说明，将使聚焦透镜40b对准于对焦位置的控制也称为“af控制”。并且，以下，为了便于说明，将对焦位置的运算也称为“af运算”。
[0091]
摄像装置主体20具备机械快门48。机械快门48是焦平面快门，配置在光圈40c与受光面24a之间。机械快门48通过接受来自马达等驱动源(省略图示)的动力而工作。机械快门48具有遮挡透过摄像透镜40成像于图像传感器24的受光面24a上的被摄体光的遮光机构(省略图示)。根据机械快门48开闭遮光机构的时刻，摄像装置12进行主曝光动作。主曝光动作是指取入成像于受光面24a上的图像(主曝光图像p)的图像数据并存储于内存中的动作。另外，主曝光动作是本发明的技术所涉及的“摄像”的一例。
[0092]
摄像装置主体20具备控制器50及ui系统器件52。控制器50控制整个摄像装置12。ui系统器件52是对用户11呈现信息，或者接受来自用户11的指示的设备。在控制器50上，经由总线58连接有ui系统器件52，控制器50进行来自ui系统器件52的各种信息的获取、以及ui系统器件52的控制。注意，控制器50是本发明的技术所涉及的“信息处理装置”的一例。
[0093]
控制器50具备cpu50a、nvm50b、ram50c、控制i/f50d及输入i/f50e。c pu50a、nvm50b、ram50c、控制i/f50d及输入i/f50e经由总线58彼此连接。
[0094]
cpu50a是本发明的技术所涉及的“处理器”的一例。cpu50a控制整个摄像装置12。nvm50b是本发明的技术所涉及的“内存”的一例。作为nvm50b的一例，可以举出eeprom。然而，eeprom仅为一例，例如，也可以是铁电内存来代替eeprom，若为可搭载于摄像装置12上的非易失性内存，则可以是任何内存。ram50c是执行各种程序时的用作工作区等的易失性
内存。
[0095]
在nvm50b中存储有各种程序51。cpu50a从nvm50b读取所需程序51，并在ram50c上执行所读取的程序51，由此集中控制摄像装置12。
[0096]
控制i/f50d是具有fpga的设备，其连接于图像传感器24。cpu50a经由控制i/f50d控制图像传感器24。并且，控制i/f50d经由卡口37及38连接于马达44及46，cpu50a经由控制i/f50d控制马达44及46。
[0097]
输入i/f50e连接于图像传感器24。输入i/f50e接受从图像传感器24输出的图像数据。控制器50对图像数据实施例如白平衡调整、锐度调整、伽马校正、色彩空间转换处理及色差校正等公知的信号处理，由此生成表示主曝光图像p的主曝光图像数据。
[0098]
在总线58上连接有外部i/f54。外部i/f54是具有fpga的设备。在外部i/f54上连接有usb内存或存储卡等外部装置(省略图示)。外部i/f54管理cpu50a与外部装置之间的各种信息的收发。cpu50a经由外部i/f54使主曝光图像数据存储于外部装置中。
[0099]
并且，在总线58上连接有通信i/f56。通信i/f56经由互联网等通信网络可通信地连接于学习设备14。在训练数据摄像模式中，cpu50a经由通信i/f56将训练数据17输出到学习设备14。
[0100]
ui系统设备52具备触摸面板/监视器30及接受部60。监视器34及触摸面板36连接于总线58。从而，cpu50a使监视器34显示各种信息，并按照通过触摸面板36接受的各种指示进行动作。
[0101]
接受部60具备触摸面板36及硬键部62。硬键部62是多个硬键，包括释放按钮26、转盘28及指示键32。硬键部62连接于总线58，cpu50a按照由硬键部62接受的各种指示进行动作。
[0102]
另外，在图4所示例中，为了便于图示，作为总线58而图示出一根总线，但也可以是多根总线。总线58可以是串行总线，也可以是包括数据总线、地址总线及控制总线等的并行总线。
[0103]
在nvm50b中存储的各种程序51中包括训练数据生成程序51a。在摄像装置12设定为训练数据摄像模式的情况下，cpu50a从nvm50b读取训练数据生成程序51a，并在ram50c上执行所读取的训练数据生成程序51a，由此作为训练数据生成部53进行动作。训练数据生成部53执行训练数据生成处理。关于由训练数据生成部53进行训练数据生成处理，以下具体地进行说明。
[0104]
作一例，如图5所示，在训练数据摄像模式中，训练数据生成部53在触摸面板/监视器30上显示标签选择画面64。在标签选择画面64上显示有“请选择赋予到被摄体的标签”的消息64a和列出多个标签候选的表64b。
[0105]
在表64b的第1列中，显示有表示相对大的属性的标签候选(以下，也称为“大标签候选”)。大标签候选例如是“人物”、“交通工具”及“建筑物”。在表64b的其他列中，显示表示将第1列的大标签候选细分化的属性的标签候选(以下，也称为“小标签候选”)。例如，在大标签候选为“人物”的情况下，作为小标签候选，可以举出“脸部”、“男性”、“女性”及“儿童”。用户11通过用指示体接触到触摸面板36，从表64b中选择任意的标签候选。
[0106]
在拍摄图1所示的特定被摄体a的情况下，作为一例，如图5所示，用户11经由触摸面板/监视器30从表64b中所列出的标签候选中选择“脸部”的标签。另外，图5中列出的标签
候选是一例，标签候选并不限定于此。并且，标签候选的显示方法并不限定于此。在图5所示例中选择了一个小标签候选，但也可以选择大标签候选，或者可以选择多个小标签候选。
[0107]
训练数据生成部53接受所选择的标签l。训练数据生成部53将所接受的标签l存储于ram50c中。
[0108]
作一例，如图6所示，在接受标签l之后，训练数据生成部53使基于从图像传感器24输出的摄像信号的即时预览图像66显示于监视器34上。并且，在训练数据摄像模式中，训练数据生成部53在显示有即时预览图像66的监视器34的中央重叠显示af框68。af框68是用于在af模式中以与其他图像区域可区分的方式在即时预览图像66上显示成为对焦对象的区域(以下，也称为“聚焦对象区域”)的框。另外，af框68是本发明的技术所涉及的“框”的一例。并且，聚焦对象区域是本发明的技术所涉及的“聚焦对象区域”的一例。并且，摄像信号是本发明的技术所涉及的“信号”的一例。
[0109]
af框68包括矩形框线68a和配置在框线68a的四边上的四个三角箭头68b-u、68b-d、68b-r及68b-l。以下，在不需要区分说明三角箭头68b-u、68b-d、68b-r及68b-l时统称为“三角箭头68b”。
[0110]
用户11通过用指示体接触到触摸面板36上的三角箭头68b，能够对训练数据生成部53赋予使af框68的位置沿各三角箭头68b所示方向移动的位置变更指示。训练数据生成部53按照被赋予的位置变更指示，在监视器34上变更af框68的位置。在此，位置变更指示是本发明的技术所涉及的“位置变更指示”的一例。另外，在触摸面板36上显示的三角箭头68b仅为用于接受来自用户11的位置变更指示的手段的一例，若能够经由接受部60接受来自用户11的位置变更指示，则其手段不受限定。
[0111]
例如，在图6中，用户11通过用指示体接触到触摸面板36上的三角箭头68b-u及68b-l，对训练数据生成部53赋予以框线68a包围表示特定被摄体a的脸部的区域的方式使af框68移动的位置变更指示。由此，af框68例如移动到图7所示的位置。
[0112]
并且，用户11在显示于触摸面板/监视器30上的框线68a上进行捏合或捏开动作，由此能够对训练数据生成部53赋予使框线68a的尺寸变更的尺寸变更指示。作为一例，如图8所示，与图7所示例相比，在降低了摄像透镜40的变焦倍率的情况下，用户11对训练数据生成部53赋予以框线68a包围表示特定被摄体a的脸部的区域的方式使框线68a的尺寸变小的尺寸变更指示。训练数据生成部53按照被赋予的尺寸变更指示，在监视器34上变更框线68a的尺寸。另外，尺寸变更指示是本发明的技术所涉及的“尺寸变更指示”的一例。另外，捏合及捏开动作仅为用于接受来自用户11的尺寸变更指示的手段的一例，若能够经由接受部60接受来自用户11的位置变更指示，则其手段并不受限定。
[0113]
用户11在变更af框68的位置及尺寸之后，进行将释放按钮26按下至半按位置的af动作。在此，af动作是本发明的技术所涉及的“聚焦动作”的一例。在进行af动作的情况下，训练数据生成部53在即时预览图像66中将由框线68a包围的区域指定为聚焦对象区域f。
[0114]
训练数据生成部53获取表示聚焦对象区域f的位置的位置坐标。作为一例，如图9所示，聚焦对象区域f的位置坐标以即时预览图像66的左下角为原点o(0，0)，由框线68a的右下角q
1a
的坐标(x
1a
，y
1a
)、框线68a的左上角q
2a
的坐标(x
2a
，y
2a
)表示。训练数据生成部53将所获取的聚焦对象区域f的位置坐标存储于ram50c中。另外，位置坐标是本发明的技术所涉及的“坐标”的一例。
[0115]
在用户11进行af动作之后将释放按钮26按下至全按位置的情况下，由摄像装置12进行主曝光动作，训练数据生成部53从主曝光图像pa中提取表示聚焦对象区域f的图像作为特定被摄体图像sa。作为一例，如图10所示，训练数据生成部53将与特定被摄体图像sa有关的特定被摄体数据和标签la建立对应关联，并作为训练数据17a输出到学习设备14。与特定被摄体图像sa有关的特定被摄体数据包括主曝光图像pa和表示主曝光图像pa内的特定被摄体图像sa的位置的位置坐标，即聚焦对象区域f的位置坐标。
[0116]
同样地，在训练数据摄像模式中，在用户11使af框68以包围特定被摄体b的方式移动之后使摄像装置12进行了af动作及主曝光动作的情况下，训练数据生成部53从主曝光图像pb中提取表示聚焦对象区域f的图像作为特定被摄体图像sb。训练数据生成部53将与特定被摄体图像sb有关的特定被摄体数据和标签lb建立对应关联，并作为训练数据17b输出到学习设备14。与特定被摄体图像sb有关的特定被摄体数据包括主曝光图像pb和表示主曝光图像pb内的特定被摄体图像sb的位置的位置坐标。
[0117]
同样地，在训练数据摄像模式中，在用户11使af框68以包围特定被摄体c的方式移动之后使摄像装置12进行了af动作及主曝光动作的情况下，训练数据生成部53从主曝光图像pc中提取表示聚焦对象区域f的图像作为特定被摄体图像sc。训练数据生成部53将与特定被摄体图像sc有关的特定被摄体数据和标签lc建立对应关联，并作为训练数据17c输出到学习设备14。与特定被摄体图像sc有关的特定被摄体数据包括主曝光图像pc和表示主曝光图像pc内的特定被摄体图像sc的位置的位置坐标。
[0118]
学习设备14具备计算机15和输入/输出i/f14d。输入/输出i/f14d与摄像装置12的通信i/f56可通信地连接。输入/输出i/f14d从摄像装置12接受训练数据17。计算机15将通过输入/输出i/f14d接受的训练数据17存储于数据库16中。并且，计算机15从数据库16读取训练数据17，并使用所读取的训练数据17进行机器学习。
[0119]
计算机15包括cpu14a、nvm14b和ram14c。cpu14a控制整个学习设备14。作为nvm14b的一例，可以举出eeprom。然而，eeprom仅为一例，例如，可以是铁电内存来代替eeprom，若为可搭载于学习设备14上的非易失性内存，则可以是任何内存。ram14c是执行各种程序时的用作工作区等的易失性内存。
[0120]
在nvm14b中存储有学习执行程序72。cpu14a从nvm14b读取学习执行程序72，并在ram14c上执行所读取的学习执行程序72，由此作为学习执行部76进行动作。学习执行部76按照学习执行程序72使用训练数据17使神经网络74学习，由此构建有监督学习模型。
[0121]
接着，参考图11，对该第1实施方式所涉及的摄像装置12的作用进行说明。图11中示出由训练数据生成部53执行的训练数据生成处理的流程的一例。训练数据生成处理通过cpu50a执行训练数据生成程序51a来实现。训练数据生成处理在摄像装置12设定为训练数据摄像模式时开始。
[0122]
在图11所示的训练数据生成处理中，首先，在步骤st101中，训练数据生成部53例如使如图5所示的标签选择画面64显示于触摸面板/监视器30上。然后，训练数据生成处理转移到步骤st102。
[0123]
在步骤st102中，训练数据生成部53判定是否在触摸面板/监视器30上选择了标签l。在步骤st102中，在选择了标签l的情况下，判定被肯定，训练数据生成处理转移到步骤st103。在步骤st102中，在未选择标签l的情况下，判定被否定，训练数据生成处理转移到步
骤st101。
[0124]
在步骤st103中，训练数据生成部53使即时预览图像66显示于触摸面板/监视器30上。然后，训练数据生成处理转移到步骤st104。
[0125]
在步骤st104中，训练数据生成部53在显示于触摸面板/监视器30上的即时预览图像66上重叠显示af框68。然后，训练数据生成处理转移到步骤st105。
[0126]
在步骤st105中，训练数据生成部53按照来自用户11的位置变更指示及尺寸变更指示而变更af框68的位置及尺寸。用户11在即时预览图像66中，以表示特定被摄体的区域由af框68的框线68a包围的方式，经由接受部60赋予位置变更指示及尺寸变更指示。然后，训练数据生成处理转移到步骤st106。
[0127]
在步骤st106中，训练数据生成部53判定是否进行了af动作。在步骤st106中，在进行了af动作的情况下，判定被肯定，训练数据生成处理转移到步骤st107。在步骤st106中，在未进行af动作的情况下，判定被否定，训练数据生成处理转移到步骤st105。
[0128]
在步骤st107中，训练数据生成部53获取由af框68表示的聚焦对象区域f的位置坐标。然后，训练数据生成处理转移到步骤st108。
[0129]
在步骤st108中，训练数据生成部53判定是否进行了主曝光。在步骤st108中，在进行了主曝光的情况下，判定被肯定，训练数据生成处理转移到步骤st109。在步骤st108中，在未进行主曝光的情况下，判定被否定，训练数据生成处理转移到步骤st106。
[0130]
在步骤st109中，训练数据生成部53获取主曝光图像p。然后，训练数据生成处理转移到步骤st110。
[0131]
在步骤st110中，训练数据生成部53从主曝光图像p中提取表示聚焦对象区域f的图像作为特定被摄体图像s。然后，训练数据生成处理转移到步骤st111。
[0132]
在步骤st111中，训练数据生成部53将特定被摄体数据和标签l建立对应关联，并输出到学习设备14。特定被摄体数据包括主曝光图像p和特定被摄体图像s的位置坐标，即聚焦对象区域f的位置坐标。学习设备14将所接受的特定被摄体数据和标签l作为训练数据17存储于数据库16中。由此，训练数据生成处理结束。
[0133]
如以上说明，在该第1实施方式中，在由图像传感器24进行了伴随将特定被摄体作为聚焦对象区域的聚焦动作的主曝光动作的情况下，训练数据生成部53将与通过主曝光动作而得到的主曝光图像p内的特定被摄体图像s有关的特定被摄体数据作为用于机器学习的训练数据17而输出。从而，根据该结构，与从通过由图像传感器24拍摄而得到的主曝光图像p中以手动操作提取特定被摄体图像s的情况相比，能够简单地收集用于机器学习的训练数据17。
[0134]
并且，在该第1实施方式中，机器学习是有监督机器学习。训练数据生成部53将与特定被摄体图像s有关的信息即标签l赋予到特定被摄体数据，并将特定被摄体数据作为用于有监督机器学习的训练数据17而输出。从而，根据该结构，能够收集在有监督机器学习中需要的训练数据17。
[0135]
并且，在该第1实施方式中，训练数据生成部53使基于从图像传感器24输出的摄像信号的即时预览图像66显示于监视器34上。训练数据生成部53在即时预览图像66中，使用af框68以与其他图像区域可以区分的方式显示聚焦对象区域f。特定被摄体图像s是与主曝光图像p内的聚焦对象区域f的位置对应的图像。从而，根据该结构，与特定被摄体图像s和
聚焦对象区域f的位置无关的情况相比，能够容易提取特定被摄体图像s。
[0136]
并且，在该第1实施方式中，训练数据生成部53通过在即时预览图像66上显示包围聚焦对象区域f的af框68，以与其他图像区域可以区分的方式显示聚焦对象区域f。从而，根据该结构，与不显示af框68的情况相比，用户11容易识别特定被摄体图像s。
[0137]
并且，在该第1实施方式中，af框68的位置按照被赋予的位置变更指示可以变更。从而，根据该结构，与af框68的位置固定的情况相比，用户11能够使聚焦对象区域f自由移动。
[0138]
并且，在该第1实施方式中，af框68的尺寸按照被赋予的尺寸变更指示可以变更。从而，根据该结构，与af框68的尺寸固定的情况相比，用户11能够使聚焦对象区域f的尺寸自由变更。
[0139]
并且，在该第1实施方式中，特定被摄体数据包括特定被摄体图像s的位置坐标。训练数据生成部53将主曝光图像p和聚焦对象区域f的位置坐标，即特定被摄体图像s的位置坐标作为用于机器学习的训练数据17而输出。从而，根据该结构，与切出并输出特定被摄体图像s的情况相比，具有可以减少处理工序的优点。
[0140]
并且，在该第1实施方式中，学习设备14具备接受从摄像装置12的控制器50输出的特定被摄体数据的输入/输出i/f14d、以及使用通过输入/输出i/f14d接受的特定被摄体数据进行机器学习的计算机15。并且，摄像装置12具备控制器50和图像传感器24。从而，根据该结构，与从通过由图像传感器24拍摄而得到的主曝光图像p中以手动操作选择了用于学习的特定被摄体图像s的情况相比，学习设备14能够简单地收集用于学习的训练数据17。
[0141]
另外，在上述第1实施方式中，作为一例，如图1所示，一个用户11通过使用同一摄像装置12拍摄多个特定被摄体a、b及c而获取训练数据17a、17b及17c，但本发明的技术并不限定于此。也可以多个用户使用分别不同的摄像装置12拍摄不同的被摄体，并从多个摄像装置12向同一学习设备14输出训练数据17。在该情况下，由多个用户获取的训练数据17输出到同一学习设备14，由此学习设备14能够有效地收集训练数据17。
[0142]
并且，在上述第1实施方式中，训练数据生成部53输出框线68a的右下角q
1a
及左上角q
2a
的坐标作为特定被摄体图像s的位置坐标，但本发明的技术并不限定于此。训练数据生成部53也可以输出框线68a的右上角及左下角的坐标。或者，训练数据生成部53可以输出框线68a的一个角的坐标和构成框线68a的纵边及横边的长度。或者，训练数据生成部53可以输出框线68a的中心的坐标和从中心到纵边及横边的长度。并且，特定被摄体图像s的位置坐标由以即时预览图像66的左下角为原点时的坐标来表示，但本发明的技术并不限定于此，也可以以即时预览图像66的其他角为原点，或者可以以即时预览图像66的中心为原点。
[0143]
[第2实施方式]
[0144]
该第2实施方式与上述第1实施方式不同点在于，通过由af框68包围而指定的聚焦对象区域f不被提取为特定被摄体图像s。以下，具体说明与第1实施方式的不同点。在以下说明中，对与第1实施方式相同的结构及作用标注相同的符号，并省略其说明。
[0145]
作为一例，如图12所示，在该第2实施方式中，在触摸面板/监视器30上显示有基于从图像传感器24输出的摄像信号的即时预览图像66，此外，af框68重叠显示于即时预览图像66上。在图12所示例中，训练数据生成部53在即时预览图像66中，经由接受部60接受来自用户11的位置变更指示及尺寸变更指示，由此在表示特定被摄体a的左眼的图像上配置af
框68。然后，通过进行af动作，由框线68a包围的特定被摄体a的左眼区域指定为聚焦对象区域f。训练数据生成部53在即时预览图像66中接受聚焦对象区域f的指定。然后，摄像装置12进行主曝光动作，由此训练数据生成部53获取对焦于聚焦对象区域f的主曝光图像p。
[0146]
作为一例，如图13所示，在通过拍摄而得到的主曝光图像p中，训练数据生成部53设定包括聚焦对象区域f的候选区域78。候选区域78是成为提取特定被摄体图像s的候选区域。另外，候选区域78是本发明的技术所涉及的“规定区域”的一例。
[0147]
候选区域78例如分割为9行
×
9列的矩阵状。以下，为了区分表示各分割区域，为了便于说明，如图13所示，根据各分割区域的位置标注符号。例如，对位于候选区域78的第1行第1列的分割区域标注符号d11，对位于候选区域78的第2行第1列的分割区域标注符号d21。并且，在不需要区分说明分割区域时统称为“分割区域d”。另外，分割区域d是本发明的技术所涉及的“分割区域”的一例。
[0148]
位于候选区域78的中心的分割区域d55与聚焦对象区域f一致。即，聚焦对象区域f的位置及尺寸以分割区域d单位被指定。
[0149]
作为一例，如图14所示，图像传感器24具备光电转换元件80。光电转换元件80具有配置成矩阵状的多个感光像素，受光面24a由这些感光像素形成。感光像素是具有光电二极管pd的像素，对所接受的光进行光电转换，并输出与受光量对应的电信号。各分割区域d的图像数据基于从多个光电二极管pd输出的电信号而生成。
[0150]
在光电二极管pd中配置有滤色器。滤色器包括最有助于得到亮度信号的与g(绿色)波长区域对应的g滤光片、与r(红色)波长区域对应的r滤光片、与b(蓝色)波长区域对应的b滤光片。
[0151]
光电转换元件80具备相位差像素84和与相位差像素84不同的像素即非相位差像素86这两种感光像素。通常，非相位差像素86也被称为正常像素。光电转换元件80具有r像素、g像素及b像素这三种感光像素作为非相位差像素86。r像素、g像素、b像素及相位差像素84在行方向(例如，使摄像装置主体20的底面接触到水平面的状态下的水平方向)及列方向(例如，与水平方向垂直的方向即垂直方向)上分别以规定的周期性规则地配置。r像素是与配置有r滤光片的光电二极管pd对应的像素，g像素及相位差像素84是与配置有g滤光片的光电二极管pd对应的像素，b像素是与配置有b滤光片的光电二极管pd对应的像素。
[0152]
在受光面24a上排列有多个相位差像素线82a和多个非相位差像素线82b。相位差像素线82a是包括相位差像素84的水平线。具体而言，相位差像素线82a是相位差像素84和非相位差像素86混合存在的水平线。非相位差像素线82b是仅包括多个非相位差像素86的水平线。
[0153]
在受光面24a上，相位差像素线82a与规定行数量的非相位差像素线82b沿着列方向交替配置。在此所说的“规定线数”是指例如两行。另外，在此，作为规定行数而例示出两行，但本发明的技术并不限定于此，规定行数可以是三行以上的几行，也可以是十几行、几十行或几百行等。
[0154]
相位差像素线82a从第1行到最终行沿列方向跳过两行排列。相位差像素线82a的一部分像素是相位差像素84。具体而言，相位差像素线82a是相位差像素84与非相位差像素86周期性地排列的水平线。
[0155]
相位差像素84大致分为第1相位差像素84-l和第2相位差像素84-r。在相位差像素
线82a中，作为g像素，第1相位差像素84-l和第2相位差像素84-r在行方向上以数像素间隔交替配置。
[0156]
第1相位差像素84-l及第2相位差像素84-r配置成在列方向上交替出现。在图14所示例中，在第4列中，从第1行沿着列方向以第1相位差像素84-l、第2相位差像素84-r、第1相位差像素84-l及第2相位差像素84-r的顺序配置。即，第1相位差像素84-l与第2相位差像素84-r从第1行沿着列方向交替配置。并且，在图14所示例中，在第10列中，从第1行沿着列方向以第2相位差像素84-r、第1相位差像素84-l、第2相位差像素84-r及第1相位差像素84-l的顺序配置。即，第2相位差像素84-r与第1相位差像素84-l从第1行沿着列方向交替配置。
[0157]
作为一例，如图15所示，第1相位差像素84-l具备遮光部件88-l、微透镜90及光电二极管pd。在第1相位差像素84-l中，在微透镜90与光电二极管pd的受光面之间配置有遮光部件88-l。光电二极管pd的受光面中的行方向的左半部分(从受光面面对被摄体时的左侧，换言之，从被摄体面对受光面时的右侧)由遮光部件88-l遮光。
[0158]
第2相位差像素84-r具备遮光部件88-r、微透镜90及光电二极管pd。在第2相位差像素84-r中，在微透镜90与光电二极管pd的受光面之间配置有遮光部件88-r。光电二极管pd的受光面中的行方向的右半部分(从受光面面对被摄体时的右侧，换言之，从被摄体面对受光面时的左侧)由遮光部件88-r遮光。另外，以下，为了便于说明，在不需要区分说明遮光部件88-l及88
[0159]-r的情况下，称为“遮光部件88”。
[0160]
通过摄像透镜40的射出光瞳的光束大致分为左区域通过光92l及右区域通过光92r。左区域通过光92l是指在通过摄像透镜40的射出光瞳的光束中，从相位差像素侧84面对被摄体侧时的左半部分的光束，右区域通过光92r是指在通过摄像透镜40的射出光瞳的光束中，从相位差像素侧84面对被摄体侧时的右半部分的光束。通过摄像透镜40的射出光瞳的光束由作为光瞳分割部发挥作用的微透镜90、遮光部件88-l及遮光部件88-r左右分割，第1相位差像素84-l接受左区域通过光92l作为被摄体光，第2相位差像素84-r接受右区域通过光92r作为被摄体光。其结果，由光电转换元件80生成相当于与左区域通过光92l对应的被摄体图像的第1相位差图像数据、以及相当于与右区域通过光92r对应的被摄体图像的第2相位差图像数据。
[0161]
训练数据生成部53在拍摄聚焦对象区域f的相位差像素84中，从配置在同一相位差像素线82a中的第1相位差像素84-l获取一行量的第1相位差图像数据，从配置在同一相位差像素线82a中的第2相位差像素84-r获取一行量的第2相位差图像数据。训练数据生成部53基于一行量的第1相位差图像数据与一行量的第2相位差图像数据的偏移量α，测定到聚焦对象区域f为止的距离。另外，导出从偏差量α到聚焦对象区域f为止的距离的方法是公知技术，因此在此省略详细说明。
[0162]
训练数据生成部53基于到所测定的聚焦对象区域f为止的距离进行af运算，由此导出聚焦透镜40b的对焦位置。以下，将基于到聚焦对象区域f为止的距离导出的聚焦透镜40b的对焦位置也称为“聚焦对象区域对焦位置”。训练数据生成部53进行使聚焦透镜40b对准于聚焦对象区域对焦位置的聚焦动作。
[0163]
并且，关于各分割区域d，训练数据生成部53在拍摄各分割区域d的相位差像素84中，从配置在同一相位差像素线82a中的第1相位差像素84-l获取一行量的第1相位差图像
数据，从配置在同一相位差像素线82a中的第2相位差像素84-r获取一行量的第2相位差图像数据。训练数据生成部53基于一行量的第1相位差图像数据与一行量的第2相位差图像数据的偏移量α，测定到各分割区域d为止的距离。
[0164]
训练数据生成部53基于到所测定的各分割区域d为止的距离进行af运算，由此导出各分割区域d中的聚焦透镜40b的对焦位置。以下，将基于到各分割区域d为止的距离导出的聚焦透镜40b的对焦位置也称为“分割区域对焦位置”。
[0165]
关于各分割区域d，训练数据生成部53判定从聚焦对象区域对焦位置到分割区域对焦位置的距离(以下，也称为“对焦位置间距离”)是否小于预先设定的距离阈值。训练数据生成部53确定为对焦位置间距离小于距离阈值的分割区域d是与聚焦对象区域f的相似度高的区域。在此，距离阈值是例如通过实机的测试和/或计算机模拟等，作为用于提取特定被摄体图像s的阈值而预先导出的值。距离阈值可以是固定值，也可以是根据被赋予的指示和/或条件(例如，摄像条件等)变更的可变值。
[0166]
另外，对焦位置间距离是本发明的技术所涉及的“相似评价值”的一例。并且，聚焦对象区域对焦位置是本发明的技术所涉及的“聚焦评价值”的一例。并且，距离阈值是本发明的技术所涉及的“第1规定范围”的一例。
[0167]
在图13所示例中，训练数据生成部53对在候选区域78中包括的81个分割区域d中去除聚焦对象区域f(分割区域d55)的80个分割区域d计算对焦位置间距离。训练数据生成部53判定所算出的对焦位置间距离是否小于距离阈值。在图13中，由阴影表示的分割区域d是判定为对焦位置间距离小于距离阈值的分割区域，即确定为与聚焦对象区域f的相似度高的分割区域。
[0168]
训练数据生成部53基于所确定的分割区域d从主曝光图像p中提取特定被摄体图像s。在图13所示例中，训练数据生成部53以刚好包围所确定的分割区域d的方式，以分割区域d单位提取矩形的特定被摄体图像s。
[0169]
接着，参考图16，对该第2实施方式所涉及的摄像装置12的作用进行说明。图16中示出第2实施方式所涉及的训练数据生成处理的流程的一例。
[0170]
在图16中，步骤st201～步骤st209与图11的步骤st101～步骤st109相同，因此省略说明。
[0171]
在步骤st210中，训练数据生成部53在主曝光图像p中设定候选区域78及分割区域d。然后，训练数据生成处理转移到步骤st211。
[0172]
在步骤st211中，训练数据生成部53计算各分割区域d的对焦位置间距离。然后，训练数据生成处理转移到步骤st212。
[0173]
在步骤st212中，训练数据生成部53确定对焦位置间距离小于距离阈值的分割区域d。然后，训练数据生成处理转移到步骤st213。
[0174]
在步骤st213中，训练数据生成部53基于所确定的分割区域d从主曝光图像p中提取特定被摄体图像s。并且，训练数据生成部53获取所提取的特定被摄体图像s的位置坐标。然后，训练数据生成处理转移到步骤st214。
[0175]
在步骤st214中，训练数据生成部53将特定被摄体数据和标签l建立对应关联，并输出到学习设备14。特定被摄体数据是包括主曝光图像p和特定被摄体图像s的位置坐标的数据。学习设备14将所接受的特定被摄体数据及标签l作为训练数据17存储于数据库16中。
由此，训练数据生成处理结束。
[0176]
如以上说明，在该第2实施方式中，训练数据生成部53使基于从图像传感器24输出的摄像信号的即时预览图像66显示于触摸面板/监视器30。训练数据生成部53在即时预览图像66中经由接受部60从用户11接受聚焦对象区域f的指定。训练数据生成部53在包括聚焦对象区域f的候选区域78中，基于表示与聚焦对象区域f的相似度的对焦位置间距离小于距离阈值的分割区域d，从主曝光图像p中提取特定被摄体图像s。从而，根据该结构，用户11将特定被摄体a的一部分作为聚焦对象区域f进行拍摄，由此从主曝光图像p中提取表示整个特定被摄体a的特定被摄体图像s，因此与必须将整个特定被摄体a指定为聚焦对象区域f的情况相比，能够通过简单的操作来收集用于学习的训练数据17。
[0177]
并且，在该第2实施方式中，训练数据生成部53通过显示包围聚焦对象区域f的af框68，以其他图像区域可以区分的方式显示聚焦对象区域f。从而，根据该结构，与不显示af框68的情况相比，用户11容易识别特定被摄体图像s。
[0178]
并且，在该第2实施方式中，聚焦对象区域f及特定被摄体图像s中的至少一方以通过分割候选区域78而得到的分割区域d单位来确定。从而，根据该结构，与未分割候选区域78的情况相比，从主曝光图像p中提取特定被摄体图像s所需处理变得容易。
[0179]
并且，在该第2实施方式中，从在聚焦动作中使用的聚焦对象区域对焦位置到各分割区域对焦位置的距离(对焦位置间距离)用作表示与聚焦对象区域f的相似度的相似评价值。从而，根据该结构，与不使用在聚焦动作中使用的聚焦对象区域对焦位置的情况相比，训练数据生成部53能够从主曝光图像p中容易提取特定被摄体图像s。
[0180]
另外，在该第2实施方式中，作为一例，如图13所示，聚焦对象区域f包括一个分割区域d55，但聚焦对象区域f也可以指定为包括两个以上的分割区域d。并且，候选区域78的位置及尺寸并不限定于图13所示例，若候选区域78包括聚焦对象区域f，则可以设定为任意的位置及尺寸。并且，分割区域d的数量、位置及尺寸也并不限定于图13所示例，而可以任意变更。
[0181]
并且，在上述第2实施方式中，作为一例，如图13所示，例示出矩形的特定被摄体图像s，但本发明的即使并不限定于此。训练数据生成部53在主曝光图像p中可以仅提取相对于聚焦对象区域f的对焦位置间距离小于距离阈值的分割区域d，即图13中由阴影表示的分割区域d作为特定被摄体图像s。
[0182]
[第3实施方式]
[0183]
该第3实施方式与第2实施方式不同点在于，代替对焦位置间距离而使用基于候选区域78的颜色信息的颜色评价值作为相似评价值。以下，对与第2实施方式的不同点进行说明。在以下说明中，对与第1实施方式及第2实施方式相同的结构及作用标注相同的符号，并省略其说明。
[0184]
作为一例，如图17所示，在主曝光图像p中，与所述第2实施方式同样地设定有聚焦对象区域f、候选区域78及多个分割区域d。训练数据生成部53计算各分割区域d的rgb累计值。rgb累计值是将各分割区域d的每个rgb的电信号累计的值。并且，训练数据生成部53基于rgb累计值计算表示各分割区域d的颜色的rgb值。
[0185]
训练数据生成部53以相当于聚焦对象区域f的分割区域d55的颜色为基准，计算聚焦对象区域f与各分割区域d的色差(以下，简称为“色差”)。另外，聚焦对象区域f的rgb值为
(rf，gf，bf)，在分割区域d的rgb值为(rd，gd，bd)的情况下，聚焦对象区域f与分割区域d的色差使用以下式来计算。
[0186]
色差＝{(r
d-rf)2+(g
d-gf)2+(b
d-bf)2}
1/2
[0187]
训练数据生成部53对各分割区域d判定所算出的色差是否小于预先设定的色差阈值。训练数据生成部53确定色差小于色差阈值的分割区域d是与聚焦对象区域f的相似度高的区域。在此，色差阈值是例如通过实际装置的测试和/或计算机模拟等，作为用于提取特定被摄体图像s的阈值而预先导出的值。色差阈值可以是固定值，也可以是根据被赋予的指示和/或条件(例如，摄像条件等)变更的可变值。另外，rgb值是本发明的技术所涉及的“颜色信息”的一例。并且，色差是本发明的技术所涉及的“相似评价值”及“颜色评价值”的一例。并且，色差阈值是本发明的技术所涉及的“第1规定范围”的一例。
[0188]
在图17所示例中，训练数据生成部53对从候选区域78中包括的81个分割区域d中去除聚焦对象区域f(分割区域d55)的80个分割区域d计算色差。训练数据生成部53判定所算出的色差是否小于色差阈值。在图17中，由阴影表示的分割区域d是判定为色差小于色差阈值的分割区域，即确定为与聚焦对象区域f的相似度高的分割区域。
[0189]
训练数据生成部53以刚好包围所确定的分割区域d的方式，以分割区域d单位从主曝光图像p中提取矩形的特定被摄体图像s。
[0190]
接着，参考图18，对该第3实施方式所涉及的摄像装置12的作用进行说明。图18中示出第3实施方式所涉及的训练数据生成处理的流程的一例。
[0191]
在图18中，步骤st301～步骤st309与图11的步骤st101～步骤st109相同，因此省略说明。并且，在图18中，步骤st310与图16的步骤st210相同，因此省略说明。
[0192]
在步骤st311中，训练数据生成部53计算各分割区域d的色差。然后，训练数据生成处理转移到步骤st312。
[0193]
在步骤st312中，训练数据生成部53确定色差小于色差阈值的分割区域d。然后，训练数据生成处理转移到步骤st313。
[0194]
在步骤st313中，训练数据生成部53基于所确定的分割区域d从主曝光图像p中提取特定被摄体图像s。并且，训练数据生成部53获取所提取的特定被摄体图像s的位置坐标。然后，训练数据生成处理转移到步骤st314。
[0195]
在步骤st314中，训练数据生成部53将特定被摄体数据和标签l建立对应关联，并输出到学习设备14。特定被摄体数据是包括主曝光图像p和特定被摄体图像s的位置坐标的数据。学习设备14将所接受的特定被摄体数据及标签l作为训练数据17存储于数据库16中。由此，训练数据生成处理结束。
[0196]
如以上说明，在该第3实施方式中，聚焦对象区域f与各分割区域d的色差用作相似评价值。从而，根据该结构，与不使用聚焦对象区域f与各分割区域d的色差的情况相比，训练数据生成部53能够从主曝光图像p中容易提取特定被摄体图像s。
[0197]
另外，在该第3实施方式中，训练数据生成部53将聚焦对象区域f与各分割区域d的色差不用作相似评价值，但本发明的技术并不限定于此。训练数据生成部53除了聚焦对象区域f与各分割区域d的色差以外，或者代替色差，还可以将聚焦对象区域f与各分割区域d的彩度差用作相似评价值。
[0198]
[第4实施方式]
[0199]
在该第4实施方式中，训练数据生成部53使用对焦位置间距离和色差两者，从主曝光图像p中提取特定被摄体图像s。该第4实施方式所涉及的摄像装置12的结构与上述第1实施方式相同，因此省略说明。并且，该第4实施方式所涉及的对焦位置间距离及色差的计算方法与上述第2实施方式及第3实施方式相同，因此省略说明。
[0200]
参考图19，对该第4实施方式所涉及的摄像装置12的作用进行说明。图19中示出第4实施方式所涉及的训练数据生成处理的流程的一例。
[0201]
在图19中，步骤st401～步骤st409与图11的步骤st101～步骤st109相同，因此省略说明。并且，在图19中，步骤st410与图16的步骤st210相同，因此省略说明。
[0202]
在步骤st411中，训练数据生成部53计算各分割区域d的对焦位置间距离。然后，训练数据生成处理转移到步骤st412。
[0203]
在步骤st412中，训练数据生成部53计算各分割区域d的色差。然后，训练数据生成处理转移到步骤st413。
[0204]
在步骤st413中，训练数据生成部53确定对焦位置间距离小于距离阈值且色差小于色差阈值的分割区域d。然后，训练数据生成处理转移到步骤st414。
[0205]
在步骤st414中，训练数据生成部53基于所确定的分割区域d从主曝光图像p中提取特定被摄体图像s。并且，训练数据生成部53获取所提取的特定被摄体图像s的位置坐标。然后，训练数据生成处理转移到步骤st415。
[0206]
在步骤st415中，训练数据生成部53将特定被摄体数据和标签l建立对应关联，并输出到学习设备14。学习设备14将所接受的特定被摄体数据及标签l作为训练数据17存储于数据库16中。由此，训练数据生成处理结束。
[0207]
如以上说明，在该第4实施方式中，对焦位置间距离和色差两者用作相似评价值。从而，根据该结构，与不使用对焦位置间距离和色差两者的情况相比，训练数据生成部53能够从主曝光图像p中高精度地提取特定被摄体图像s。
[0208]
[第5实施方式]
[0209]
该第5实施方式例如在特定被摄体为移动物体时是有效的。在该第5实施方式中，在因特定被摄体从af动作到主曝光动作之间移动而判断为从主曝光图像p中提取的特定被摄体图像s的可靠性低的情况下，表示可靠性低的警告信息赋予到特定被摄体数据。以下，参考图20～图22，对该实施方式5进行说明。另外，该第5实施方式所涉及的摄像装置12的结构与上述第1实施方式相同，因此省略说明。
[0210]
作为一例，如图20所示，在用户11进行了af动作的情况下，训练数据生成部53获取例如以60fps的帧速率连续拍摄的即时预览图像66中的一帧。训练数据生成部53在一帧的即时预览图像66中，基于在上述第2实施方式中说明的对焦位置间距离和/或在上述第3实施方式中说明的色差，提取表示特定被摄体的图像(以下，称为“即时预览特定被摄体图像ls”)。另外，即时预览特定被摄体图像ls是本发明的技术所涉及的“显示用特定被摄体图像”的一例。
[0211]
训练数据生成部53求出所提取的即时预览特定被摄体图像ls的右下角q
1l
和左上角q
2l
的坐标作为即时预览特定被摄体图像ls的位置坐标。并且，训练数据生成部53基于即时预览特定被摄体图像ls的位置坐标，求出即时预览特定被摄体图像ls的尺寸和即时预览特定被摄体图像ls的中心点q
cl
的坐标(x
c l
，y
cl
)(以下，称为“即时预览特定被摄体图像ls
的中心坐标”)。
[0212]
然后，在用户11进行了主曝光操作的情况下，训练数据生成部53获取主曝光图像p。训练数据生成部53通过与提取上述即时预览特定被摄体图像ls相同的方法，从主曝光图像p中提取特定被摄体图像s。
[0213]
训练数据生成部53求出所提取的特定被摄体图像s的右下角q
1e
和左上角q
2e
的坐标作为特定被摄体图像s的位置坐标。并且，训练数据生成部53基于特定被摄体图像s的位置坐标，求出特定被摄体图像s的尺寸和特定被摄体图像s的中心点q
ce
的坐标(x
ce
，y
ce
)(以下，称为“特定被摄体图像s的中心坐标”)。
[0214]
训练数据生成部53通过比较即时预览特定被摄体图像ls的尺寸与特定被摄体图像s的尺寸，计算即时预览特定被摄体图像ls与特定被摄体图像s的尺寸差异度。作为一例，如图20所示，在所算出的尺寸差异度超过预先设定的尺寸规定范围的情况下，训练数据生成部53将警告所提取的特定被摄体图像s的可靠性低的警告信息与特定被摄体数据及标签l一同输出到学习设备14。另外，尺寸差异度是本发明的技术所涉及的“差异度”的一例。并且，尺寸规定范围是本发明的技术所涉及的“第2规定范围”的一例。并且，输出警告信息的处理是本发明的技术所涉及的“异常检测处理”的一例。
[0215]
并且，训练数据生成部53通过比较即时预览特定被摄体图像ls的中心坐标与特定被摄体图像s的中心坐标，计算即时预览特定被摄体图像ls与特定被摄体图像s的中心位置的差异度。作为一例，如图21所示，在所算出的中心位置的差异度超过预先设定的位置规定范围的情况下，训练数据生成部53将警告所提取的特定被摄体图像s的可靠性低的警告信息与特定被摄体数据及标签l一同输出到学习设备14。另外，中心位置的差异度是本发明的技术所涉及的“差异度”的一例。并且，位置规定范围是本发明的技术所涉及的“第2规定范围”的一例。
[0216]
参考图22a及图22b，对该第5实施方式所涉及的摄像装置12的作用进行说明。在图22a及图22b中示出第5实施方式所涉及的训练数据生成处理的流程的一例。
[0217]
在图22a中，步骤st501～步骤st507与图11的步骤st101～步骤st107相同，因此省略说明。
[0218]
在步骤st508中，训练数据生成部53在即时预览图像66中获取一帧。然后，训练数据生成处理转移到步骤st509。
[0219]
在步骤st509中，训练数据生成部53在所获取的一帧的即时预览图像66中设定候选区域78及分割区域d。然后，训练数据生成处理转移到步骤st510。
[0220]
在步骤st510中，训练数据生成部53计算各分割区域d的对焦位置间距离和/或色差。然后，训练数据生成处理转移到步骤st511。
[0221]
在步骤st511中，训练数据生成部53确定满足“对焦位置间距离＜距离阈值”和/或“色差＜色差阈值”的分割区域d。然后，训练数据生成处理转移到步骤st512。
[0222]
在步骤st512中，训练数据生成部53基于所确定的分割区域d从一帧的即时预览图像66中提取即时预览特定被摄体图像ls。然后，训练数据生成处理转移到步骤st513。
[0223]
在步骤st513中，训练数据生成部53计算即时预览特定被摄体图像ls的位置坐标、尺寸及中心坐标。然后，训练数据生成处理转移到步骤st514。
[0224]
在步骤st514中，训练数据生成部53判定是否进行了主曝光。在步骤st514中，在进
行了主曝光的情况下，判定被肯定，训练数据生成处理转移到步骤st515。在步骤st514中，在未进行主曝光的情况下，判定被否定，训练数据生成处理转移到步骤st506。
[0225]
在步骤st515中，训练数据生成部53获取主曝光图像p。然后，训练数据生成处理转移到步骤st516。
[0226]
在步骤st516中，训练数据生成部53在主曝光图像p中设定候选区域78及分割区域d。然后，训练数据生成处理转移到步骤st517。
[0227]
在步骤st517中，训练数据生成部53计算各分割区域d的对焦位置间距离和/或色差。然后，训练数据生成处理转移到步骤st518。
[0228]
在步骤st518中，训练数据生成部53确定满足“对焦位置间距离＜距离阈值”和/或“色差＜色差阈值”的分割区域d。然后，训练数据生成处理转移到步骤st519。
[0229]
在步骤st519中，训练数据生成部53基于所确定的分割区域d从主曝光图像p中提取特定被摄体图像s。然后，训练数据生成处理转移到步骤st520。
[0230]
在步骤st520中，训练数据生成部53计算特定被摄体图像s的位置坐标、尺寸及中心坐标。然后，训练数据生成处理转移到步骤st521。
[0231]
在步骤st521中，训练数据生成部53通过比较即时预览特定被摄体图像ls的尺寸与特定被摄体图像s的尺寸，计算即时预览特定被摄体图像ls与特定被摄体图像s的尺寸差异度。然后，训练数据生成处理转移到步骤st522。
[0232]
在步骤st522中，训练数据生成部53判定所算出的尺寸差异度是否在尺寸规定范围内。在步骤st522中，在尺寸差异度在尺寸规定范围内的情况下，判定被肯定，训练数据生成处理转移到步骤st523。在步骤st522中，在尺寸差异度超过尺寸规定范围的情况下，判定被否定，训练数据生成处理转移到步骤st526。
[0233]
在步骤st523中，训练数据生成部53通过比较即时预览特定被摄体图像ls的中心位置与特定被摄体图像s的中心位置，计算即时预览特定被摄体图像ls与特定被摄体图像s的中心位置的差异度。然后，训练数据生成处理转移到步骤st524。
[0234]
在步骤st524中，训练数据生成部53判定所算出的中心位置的差异度是否在位置规定范围内。在步骤st524中，在中心位置的差异度在位置规定范围内的情况下，判定被肯定，训练数据生成处理转移到步骤st525。在步骤st524中，在中心位置的差异度超过位置规定范围的情况下，判定被否定，训练数据生成处理转移到步骤st526。
[0235]
在步骤st525中，训练数据生成部53将特定被摄体数据和标签l建立对应关联并输出到学习设备14。特定被摄体数据是包括主曝光图像p和特定被摄体图像s的位置坐标的数据。另一方面，在步骤st526中，训练数据生成部53除了特定被摄体数据及标签l以外，还将警告信息输出到学习设备14。由此，训练数据生成处理结束。
[0236]
如以上说明，根据该第5实施方式，在从即时预览图像66中提取的即时预览特定被摄体图像ls与从主曝光图像p中提取的特定被摄体图像s之间的尺寸差异度超过尺寸规定范围的情况下，或者在即时预览特定被摄体图像ls与特定被摄体图像s之间的中心位置的差异度超过位置规定范围的情况下，训练数据生成部53将警告信息输出到学习设备14。从而，与判断为可靠性低的特定被摄体图像s有关的特定被摄体数据被赋予警告信息并输出到学习设备14，因此与不被赋予警告信息的情况相比，训练数据17的质量提高。
[0237]
另外，在上述第5实施方式中，训练数据生成部53对与判断为可靠性低的特定被摄
体图像s有关的特定被摄体数据赋予警告信息并输出到学习设备14，但本发明的技术并不限定于此。训练数据生成部53可以不将与判断为可靠性低的特定被摄体图像s有关的特定被摄体数据输出到学习设备14。并且，训练数据生成部53可以向特定被摄体数据赋予表示对特定被摄体图像s的可靠性的可靠性数并输出到学习设备14。在该情况下，学习设备14可以参考可靠性数不接受可靠性数低的特定被摄体数据。
[0238]
[第6实施方式]
[0239]
在该第6实施方式中，训练数据生成部53使图像传感器24在多个对焦位置进行主曝光动作，由此除了对焦于聚焦对象区域f的主曝光图像p(以下，也称为“对焦图像”)以外，还获取未对焦于聚焦对象区域f的主曝光图像p(以下，也称为“非对焦图像”)。训练数据生成部53不仅输出与拍摄到对焦图像上的特定被摄体图像s有关的特定被摄体数据作为训练数据17，而且将与拍摄到非对焦图像上的特定被摄体图像s有关的特定被摄体数据作为训练数据17而输出。以下，参考图23～图25，对该实施方式6进行说明。另外，该第6实施方式所涉及的摄像装置12的结构与上述第1实施方式相同，因此省略说明。
[0240]
作为一例，如图23所示，训练数据生成部53使图像传感器24在包括通过基于到聚焦对象区域f为止的距离进行af运算而导出的对焦位置的多个对焦位置进行主曝光动作。例如，在将特定被摄体a的左眼位置作为聚焦对象区域f进行了拍摄的情况下(参考图12)，训练数据生成部53使图像传感器24在包括基于到聚焦对象区域f为止的距离导出的对焦位置的五个对焦位置进行主曝光动作。在此，五个对焦位置是本发明的技术所涉及的“多个焦点位置”的一例。
[0241]
由此，图像传感器24除了对焦于特定被摄体a的主曝光图像(对焦图像)p3以外，还输出未对焦于特定被摄体a的主曝光图像(非对焦图像)p1、p2、p4及p5。非对焦图像p1及p2是对焦于比特定被摄体a更靠近摄像装置12的被摄体的前焦点图像。并且，非对焦图像p4及p5是对焦于比特定被摄体a更远离摄像装置12的被摄体的后焦点图像。另外，对焦图像p3是本发明的技术所涉及的“对焦图像”的一例。非对焦图像p1、p2、p4及p5是本发明的技术所涉及的“非对焦图像”的一例。
[0242]
训练数据生成部53基于在上述第2实施方式中说明的对焦位置间距离和/或在上述第3实施方式中说明的色差，从对焦图像p3中提取特定被摄体图像s。并且，训练数据生成部53求出所提取的特定被摄体图像s的位置坐标。
[0243]
作为一例，如图24所示，训练数据生成部53将对焦图像p3、特定被摄体图像s的位置坐标及标签l建立对应关联，并作为训练数据17-3输出到学习设备14。
[0244]
并且，训练数据生成部53将各非对焦图像p1、p2、p4或p5、从对焦图像p3中提取的特定被摄体图像s的位置坐标、以及标签l建立对应关联，并作为训练数据17-1、17-2、17-4或17-5输出到学习设备14。即，训练数据生成部53将从对焦图像p3中提取的特定被摄体图像s的位置坐标作为非对焦图像p1、p2、p4或p5中的特定被摄体图像s的位置坐标而输出。学习设备14接受训练数据17-1～17-5，并存储于数据库16中。
[0245]
参考图25，对该第6实施方式所涉及的摄像装置12的作用进行说明。图25中示出该第6实施方式所涉及的训练数据生成处理的流程的一例。
[0246]
在图25中，步骤st601～步骤st607与图11的步骤st101～步骤st107相同，因此省略说明。
[0247]
在步骤st608中，训练数据生成部53判定是否进行了主曝光操作。在步骤st608中，在进行了主曝光操作的情况下，判定被肯定，在包括基于到聚焦对象区域f为止的距离的对焦位置的多个对焦位置进行主曝光动作，训练数据生成处理转移到步骤st609。在步骤st608中，在未进行主曝光操作的情况下，判定被否定，训练数据生成处理转移到步骤st606。
[0248]
在步骤st609中，训练数据生成部53获取多个主曝光图像p1～p5。在多个主曝光图像p1～p5中，主曝光图像p3是对焦图像，主曝光图像p1、p2、p4及p5是非对焦图像。然后，训练数据生成处理转移到步骤st610。
[0249]
在步骤st610中，训练数据生成部53在对焦图像p3中设定候选区域78及分割区域d。然后，训练数据生成处理转移到步骤st611。
[0250]
在步骤st611中，训练数据生成部53计算各分割区域d的对焦位置间距离和/或色差。然后，训练数据生成处理转移到步骤st612。
[0251]
在步骤st612中，训练数据生成部53确定对焦位置间距离小于距离阈值和/或色差小于色差阈值的分割区域d。然后，训练数据生成处理转移到步骤st613。
[0252]
在步骤st613中，训练数据生成部53基于所确定的分割区域d从主曝光图像(对焦图像)p3中提取特定被摄体图像s。然后，训练数据生成处理转移到步骤st614。
[0253]
在步骤st614中，训练数据生成部53获取特定被摄体图像s的位置坐标。然后，训练数据生成处理转移到步骤st615。
[0254]
在步骤st615中，将特定被摄体数据与标签l建立对应关联，并输出到学习设备14。特定被摄体数据是包括主曝光图像p1～p5的每一个和从主曝光图像p3中提取的特定被摄体图像s的位置坐标的数据。从而，在该第6实施方式中，通过一次执行训练数据生成处理而输出5种类型的特定被摄体数据。学习设备14将特定被摄体数据与标签l建立对应关联，并存储于数据库16中。由此，训练数据生成处理结束。
[0255]
如以上说明，在该第6实施方式中，图像传感器24在多个对焦位置进行主曝光动作。关于通过进行主曝光动作而得到的多个主曝光图像p1～p5的每一个，训练数据生成部53将从对焦图像p3得到的特定被摄体图像s的位置坐标作为非对焦图像p1、p2、p4及p5的每一个中的特定被摄体图像s的位置坐标而输出。从而，根据该结构，与以手动操作提取特定被摄体图像s的情况相比，训练数据生成部53能够简单地获取与对焦图像p3中包括的特定被摄体图像s有关的特定被摄体数据、以及与非对焦图像p1、p2、p4及p5的每一个中包括的特定被摄体图像s有关的特定被摄体数据。
[0256]
并且，根据该结构，训练数据生成部53能够通过一次选择标签l对多个主曝光图像p1～p5单独赋予标签。由此，能够省去对多个主曝光图像p1～p5赋予标签l的工时。并且，训练数据生成部53可以在拍摄之后对主曝光图像p1～p5赋予标签l。在该情况下，也期望通过一次选择标签l对连续拍摄的多个主曝光图像p1～p5赋予标签l。若在拍摄之后单独赋予标签l，则根据非对焦图像的模糊方式可能会产生不知道什么图像的问题。然而，通过一次选择标签l，对连续拍摄的多个主曝光图像p1～p5赋予相同的标签l，由此能够消除这种问题。在该情况下，期望训练数据生成部53将对对焦图像p3选择的标签l赋予到非对焦图像p1、p2、p4及p5的每一个。
[0257]
另外，在上述第6实施方式中，在一次主曝光动作中，训练数据生成部53输出通过
在五个对焦位置进行拍摄而得到的五种类型的特定被摄体数据，但本发明的技术并不限定于此。图像传感器24进行拍摄的对焦位置可以多于或少于五个。训练数据生成部53输出与对焦位置的数量对应的类型的特定被摄体数据。
[0258]
并且，在上述第6实施方式中，训练数据生成部53可以对包括非对焦图像p1、p2、p4及p5的特定被摄体数据赋予表示非对焦程度的af评价值。并且，训练数据生成部53可以基于af评价值将表示“对焦”或“非对焦”的标签赋予到特定被摄体数据。由此，与不赋予af评价值的情况相比，训练数据17的质量提高。
[0259]
在上述第1实施方式～第6实施方式中，特定被摄体数据包括主曝光图像p和特定被摄体图像s的位置坐标，但本发明的技术并不限定于此。作为一例，如图26所示，特定被摄体数据可以是从主曝光图像p切出的特定被摄体图像s。训练数据生成部53将从主曝光图像p切出的特定被摄体图像s与标签l建立对应关联，并作为用于机器学习的训练数据17而输出。根据该结构，与主曝光图像p不被切出而输出的情况下，所输出的特定被摄体数据的大小变小。另外，“训练数据生成部53将特定被摄体数据作为用于机器学习的数据而输出”，具体而言，包括训练数据生成部53存储主曝光图像p和特定被摄体图像s的位置坐标的存储处理、或者从主曝光图像p切出特定被摄体图像s的切出处理等。
[0260]
并且，在上述第1实施方式～第6实施方式中，框线68a为矩形，但本发明的技术并不限定于此，框线68a的形状可以任意变更。
[0261]
并且，在上述第1实施方式～第6实施方式中，通过将由af框68包围的区域作为聚焦对象区域f，聚焦对象区域f以与其他图像区域可以区分的方式显示，但本发明的技术并不限定于此。训练数据生成部53例如可以在即时预览图像66上显示箭头，并将由箭头指示的区域作为聚焦对象区域f。并且，训练数据生成部53例如可以通过感知指示体对触摸面板36的接触而接受聚焦对象区域f的指定，并以与其他图像区域可以区分的颜色来显示被指定的聚焦对象区域f。
[0262]
并且，在上述第1实施方式～第6实施方式中，学习设备14将从摄像装置12输出的训练数据17存储于数据库16中，并使用存储在数据库16中的训练数据17进行机器学习，但本发明的技术并不限定于此。例如，摄像装置12的cpu50a将自身获取的训练数据17存储于nvm50b中，并使用存储在nvm50b中的训练数据17进行机器学习。根据该结构，由于摄像装置12能够执行训练数据17的获取和学习，因此与以不同装置进行训练数据17的获取和学习的情况相比，可以减少装置的数量。
[0263]
并且，在上述第1实施方式～第6实施方式中，在摄像装置12设定为训练数据摄像模式的情况下，训练数据生成部53在af动作及主曝光动作之前使标签选择画面64显示于触摸面板/监视器30上，以使用户11选择标签l，但本发明的技术并不限定于此。训练数据生成部53也可以在使图像传感器24获取主曝光图像p之后，使标签选择画面64显示于触摸面板/监视器30上，并从用户11接受标签l的选择。
[0264]
并且，在上述第1实施方式～第6实施方式中，训练数据生成部53将特定被摄体数据和标签l建立对应关联，并作为用于有监督机器学习的训练数据17输出到学习设备14，但本发明的技术并不限定于此。训练数据生成部53可以仅将特定被摄体数据输出到学习设备14。在该情况下，用户11可以在学习设备14中进行对特定被摄体数据的标签标注。并且，也可以不进行对特定被摄体数据的标签标注。在该情况下，特定被摄体数据可以用作无监督
机器学习的训练数据，也可以用于现有的模式识别技术。
[0265]
并且，在上述第1实施方式～第6实施方式中，已例举说明并用非相位差像素组86g和相位差像素组84g的形式例，但本发明的技术并不限定于此。例如，也可以代替非相位差像素组86g和相位差像素组84g，而设为选择性地生成并读取相位差图像数据和非相位差图像数据的区域传感器。在该情况下，在区域传感器中，二维地排列有多个感光像素。作为区域传感器中包括的感光像素，例如，使用不具有遮光部件的独立的一对光电二极管。在生成并读取非相位差图像数据的情况下，通过感光像素的整个区域(一对光电二极管)进行光电转换，在生成并读取相位差图像数据的情况下(例如，进行被动方式测距的情况)，通过一对光电二极管中的一个光电二极管进行光电转换。在此，一对光电二极管中的一个光电二极管是与在上述实施方式中说明的第1相位差像素84-l对应的光电二极管，一对光电二极管中的一个光电二极管是与在上述实施方式中说明的第2相位差像素84-r对应的光电二极管。另外，可以通过区域传感器中包括的所有感光像素选择性地生成并读取相位差图像数据和非相位差图像数据，但并不限定于此，也可以通过区域传感器中包括的一部分感光像素选择性地生成并读取相位差图像数据和非相位差图像数据。
[0266]
并且，在上述第1实施方式～第6实施方式中，例举相位差方式对导出到聚焦对象区域f为止的距离的方法进行了说明，但本发明的技术并不限定于此，也可以使用tof方式或对比度方式。
[0267]
此外，在上述第1实施方式～第6实施方式中，已例举说明nvm50b中存储有训练数据生成程序51a的形式例，但本发明的技术并不限定于此。例如，如图27所示，训练数据生成程序51a可以存储于存储介质100中。存储介质100是非临时存储介质。作为存储介质100的一例，可以举出ssd或usb内存等任意的便携式存储介质。
[0268]
存储在存储介质100中的训练数据生成程序51a安装于控制器50中。cpu50a按照训练数据生成程序51a执行训练数据生成处理。
[0269]
并且，可以在经由通信网络(省略图示)连接于控制器50的其它计算机或服务器装置等存储部中存储有训练数据生成程序51a，根据上述摄像装置12的请求，下载训练数据生成程序51a并安装于控制器50。
[0270]
另外，不需要将在连接于控制器50的其它计算机或服务器装置等存储部或存储介质100中存储有所有训练数据生成程序51a，而可以存储训练数据生成程序51a的一部分。
[0271]
在图4所示例中示出在摄像装置12中内置有控制器50的形式例，但本发明的技术并不限定于此，例如，控制器50可以设置于摄像装置12外部。
[0272]
在图4所示例中，cpu50a是单个cpu，但是也可以是多个cpu。并且，可以代替cpu50a而适用gpu。
[0273]
在图4所示例中例示出控制器50，但是本发明的技术并不限定于此，可以代替控制器50而适用包括asic、fpga和/或pld的设备。并且，可以代替控制器50而使用硬件结构及软件结构的组合。
[0274]
作为执行在上述实施方式中说明的训练数据生成处理的硬件资源，能够使用以下所示各种处理器。作为处理器，例如，可以举出如下通用的处理器，即cpu，其通过执行软件，即程序，作为执行训练数据生成处理的硬件资源而发挥作用。并且，作为处理器，例如，可以举出fpga、pld或asic等具有为了执行特定处理而专门设计的电路结构的处理器即专用电
路。在任何处理器中也内置或连接有内存，任何处理器都通过使用内存而执行训练数据生成处理。
[0275]
执行训练数据生成处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上处理器的组合(例如，多个fpga的组合、或cpu与fpga的组合)构成。并且，执行训练数据生成处理的硬件资源可以是一个处理器。
[0276]
作为由一个处理器构成的例子，第一，有如下方式：通过一个以上cpu和软件的组合来构成一个处理器，该处理器作为执行训练数据生成处理的硬件资源发挥作用。第二，存在如下方式：如以soc等为代表，使用由一个ic芯片实现包括执行训练数据生成处理的多个硬件资源的整体系统的功能的处理器。如此，训练数据生成处理通过使用一个以上上述各种处理器作为硬件资源而实现。
[0277]
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。并且，上述训练数据生成处理仅为一例。从而，在不脱离主旨的范围内，当然，可以删除不必要的步骤，或者添加新的步骤，或者切换处理顺序。
[0278]
以上所示的记载内容及图示内容是对本发明的技术所涉及部分的详细说明，仅为本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然，可以对以上所示的记载内容及图示内容删除不必要的部分，或者添加新的要素，或者进行替换。并且，为了避免复杂化且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在可以实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。
[0279]
在本说明书中，“a和/或b”的含义与“a及b中的至少一个”相同。即，“a和/或b”是指可以只是a，可以只是b，也可以是a及b的组合。并且，在本说明书中，附加“和/或”来表现三个以上的事项的情况下，也可以适用与“a和/或b”相同的概念。
[0280]
本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准之情况相同之程度，通过参考而援用于本说明书中。