摄像支援装置、摄像装置、摄像支援方法及程序与流程

本发明的技术涉及一种摄像支援装置、摄像装置、摄像支援方法及程序。

背景技术：

1、日本特开2019-016114号公报中公开了一种图像处理装置，其特征在于，具备：提取构件，从对象图像中提取特征量；及推算构件，根据特征量来推算对象图像中具有互不相同的属性的区域的混合状态。在此，区域中的一个为属于特定的类别的被摄体的区域，区域中的另一个为属于与特定的类别不同的类别的被摄体的区域。并且，日本特开2019-016114号公报中记载的图像处理装置还具备输出构件，该输出构件输出表示混合状态的信息。

2、日本特开2019-016114号公报中公开了一种学习装置，其特征在于，具备：提取构件，提取用于推算器的学习的识别图像的特征量；获取构件，获取表示识别图像中具有互不相同的属性的区域的混合状态的信息作为训练信息；及学习构件，使用识别图像的特征量和训练信息的组合来进行根据特征量来推算混合状态的推算器的学习。

3、日本特开2019-016114号公报中公开了一种聚焦控制装置，其用于具备多个测距点的摄像装置，该聚焦控制装置的特征在于，具备：获取构件，针对由摄像装置得到的图像中的与多个测距点分别对应的区域获取表示特定属性的区域在区域中所占的面积比的信息；及控制构件，根据面积比对多个测距点进行加权，进行摄像装置的聚焦控制。

4、日本特开2019-016114号公报中公开了一种曝光控制装置，其特征在于，具备：获取构件，获取由摄像装置得到的图像，并且针对图像的各区域获取表示特定属性的区域在区域中所占的面积比的信息；计算构件，计算特定属性的区域在整个图像中所占的面积比；选择构件，根据由计算构件计算出的面积比来选择曝光控制算法；及控制构件，使用所选择的曝光控制算法来进行摄像装置的曝光控制。

5、日本特开2019-186918号公报中公开了一种图像处理装置，其特征在于，具有：被摄体检测构件，使用根据机器学习生成的参数对图像适用被摄体检测处理；存储构件，存储多个用于被摄体检测处理的参数；及选择构件，根据适用被摄体检测处理的图像的特性从存储构件所存储的参数中选择被摄体检测构件中使用的参数。在此，选择构件的特征在于，根据生成图像的成像元件来选择被摄体检测构件中使用的学习模型。并且，机器学习的特征在于，使用卷积神经网络。

6、日本特开2019-125204号公报中公开了一种目标识别装置，其具备：卷积神经网络部，具有卷积神经网络，并且使用卷积神经网络从输入图像生成输入图像的每个像素的与目标相关的分数图，该卷积神经网络通过进行使用组合捕获到不同类型的多个目标中的至少一个目标的学习图像和表示学习图像中的目标的类型、位置及朝向的训练数据而成的多个学习数据的学习而得；及获取部，根据分数图来获取表示被输入图像捕获的至少一个目标的类型、位置及朝向的目标识别信息，在获得卷积神经网络的学习中，使用组合变形图像和目标的类型、位置及变更的朝向而成的新的学习数据及多个学习数据，该变形图像通过变更多个学习数据中的至少一个学习数据所包括的训练数据所表示的目标的朝向并根据变更的目标的朝向使学习图像中的目标的像变形而得。

7、在日本特开2019-125204号公报中记载的目标识别装置中，训练数据中的目标的朝向由分配给目标的前表面侧及后表面侧的不同的类别表示，获取部根据分数图中的目标的前表面侧及后表面侧各自的分数来获取被输入图像捕获的至少一个目标的位置及朝向。并且，卷积神经网络具有两个以上隐藏层，该隐藏层具有多个卷积滤波器，多个卷积滤波器分别扫描输入图像以针对输入图像的每个部分区域计算特征量，并根据针对每个部分区域计算出的特征量来生成与输入图像的大小相同大小的分数图。

技术实现思路

1、本发明的技术所涉及的一个实施方式提供一种相较于仅使用与对利用神经网络对拍摄图像进行的识别的影响度无关的信息来进行与摄像相关的控制的情况，能够有助于实现适合被摄体的拍摄的摄像支援装置、摄像装置、摄像支援方法及程序。

2、用于解决技术课题的手段

3、本发明的技术所涉及的第1方式为摄像支援装置，其具备：处理器；及存储器，内置于处理器或与处理器连接，处理器执行如下处理：通过将拍摄图像输入到神经网络供神经网络识别包括在拍摄图像中的被摄体；及根据对利用神经网络对拍摄图像进行的识别的影响度来进行与摄像相关的处理。

4、本发明的技术所涉及的第2方式在第1方式所涉及的摄像支援装置中，处理器进行划分处理，该划分处理根据影响度将拍摄图像划分为多个区域。

5、本发明的技术所涉及的第3方式在第2方式所涉及的摄像支援装置中，与摄像相关的处理包括第1处理，该第1处理输出第1数据，该第1数据用于根据影响度以不同方式在第1显示器上显示多个区域。

6、本发明的技术所涉及的第4方式在第3方式所涉及的摄像支援装置中，第1数据为用于在第1显示器上显示拍摄图像且在根据影响度以不同方式与拍摄图像合成的状态下显示多个区域的数据。

7、本发明的技术所涉及的第5方式在第2方式至第4方式中的任一方式所涉及的摄像支援装置中，与摄像相关的处理包括第2处理，该第2处理针对与多个区域中影响度为第1阈值以上的区域对应的第1区域。

8、本发明的技术所涉及的第6方式在第2方式至第5方式中的任一方式所涉及的摄像支援装置中，与摄像相关的处理包括第3处理，该第3处理使用与多个区域中影响度为第2阈值以上的区域相关的数据作为基准。

9、本发明的技术所涉及的第7方式在第2方式至第6方式中的任一方式所涉及的摄像支援装置中，处理器根据分类结果来进行与摄像相关的处理，该分类结果根据影响度对多个区域进行分类而得。

10、本发明的技术所涉及的第8方式在第7方式所涉及的摄像支援装置中，处理器进行检测处理和跟踪处理，该检测处理根据拍摄图像来检测对象被摄体，该跟踪处理根据拍摄图像来跟踪对象被摄体，与摄像相关的处理包括第4处理，该第4处理在通过检测处理进行的对象被摄体的检测被中断的情况下根据分类结果来进行跟踪处理。

11、本发明的技术所涉及的第9方式在第1方式至第8方式中的任一方式所涉及的摄像支援装置中，处理器选择性地进行检测处理和跟踪处理，该检测处理根据拍摄图像来检测对象被摄体，该跟踪处理根据拍摄图像来跟踪对象被摄体，与摄像相关的处理包括第5处理，该第5处理在影响度为第3阈值以上的情况下从检测处理切换至跟踪处理。

12、本发明的技术所涉及的第10方式在第1方式至第8方式中的任一方式所涉及的摄像支援装置中，处理器选择性地进行检测处理和跟踪处理，该检测处理根据拍摄图像来检测对象被摄体，该跟踪处理根据拍摄图像来跟踪对象被摄体，与摄像相关的处理包括第5处理，该第5处理根据拍摄图像内的影响度为第3阈值以上的分布状态从检测处理切换至跟踪处理。

13、本发明的技术所涉及的第11方式在第8方式至第10方式中的任一方式所涉及的摄像支援装置中，跟踪对象区域比检测对象区域窄，该检测对象区域能够确定检测处理的检测对象，该跟踪对象区域能够确定跟踪处理的跟踪对象。

14、本发明的技术所涉及的第12方式在第11方式所涉及的摄像支援装置中，与摄像相关的处理包括第6处理，该第6处理输出第2数据，该第2数据用于在第2显示器上显示第1合成图像和第2合成图像，该第1合成图像合成拍摄图像和能够确定检测对象区域的检测对象区域确定信息而得，该第2合成图像合成拍摄图像和能够确定跟踪对象区域的跟踪对象区域确定信息而得。

15、本发明的技术所涉及的第13方式在第12方式所涉及的摄像支援装置中，检测对象区域确定信息为包括能够确定检测对象区域的第1框的信息，跟踪对象区域确定信息为包括能够确定跟踪对象区域的第2框的信息。

16、本发明的技术所涉及的第14方式在第1方式至第13方式中的任一方式所涉及的摄像支援装置中，与摄像相关的处理包括第7处理，该第7处理在拍摄图像包括表示多个被摄体的多个被摄体图像的情况下根据影响度及影响度的分布状态中的至少一个从多个被摄体中选择一个被摄体。

17、本发明的技术所涉及的第15方式在第14方式所涉及的摄像支援装置中，多个被摄体为同一类型的被摄体。

18、本发明的技术所涉及的第16方式在第1方式至第15方式中的任一方式所涉及的摄像支援装置中，处理器供神经网络识别单个被摄体类别。

19、本发明的技术所涉及的第17方式在第1方式至第16方式中的任一方式所涉及的摄像支援装置中，处理器根据影响度来进行第1周期处理和第2周期处理，该第1周期处理在第1周期内供神经网络识别被摄体，该第2周期处理在比第1周期长的第2周期内供神经网络识别被摄体。

20、本发明的技术所涉及的第18方式在第1方式至第17方式中的任一方式所涉及的摄像支援装置中，影响度根据神经网络的中间层的输出来导出。

21、本发明的技术所涉及的第19方式在第1方式至第18方式中的任一方式所涉及的摄像支援装置中，神经网络具有多个中间层，影响度根据从多个中间层中选择的中间层的输出来导出。

22、本发明的技术所涉及的第20方式为摄像装置，其具备：处理器；及图像传感器，处理器执行如下处理：通过将通过由图像传感器进行拍摄而得的拍摄图像输入到神经网络供神经网络识别被摄体，该被摄体以像的形式包括在拍摄图像中；及根据对利用神经网络对拍摄图像进行的识别的影响度来进行与摄像相关的处理。

23、本发明的技术所涉及的第21方式为摄像支援方法，其包括如下步骤：通过将拍摄图像输入到神经网络供神经网络识别被摄体，该被摄体以像的形式包括在拍摄图像中；及根据对利用神经网络对拍摄图像进行的识别的影响度来进行与摄像相关的处理。

24、本发明的技术所涉及的第22方式为程序，其用于使计算机执行包括如下步骤的处理：通过将拍摄图像输入到神经网络供神经网络识别被摄体，该被摄体以像的形式包括在拍摄图像中；及根据对利用神经网络对拍摄图像进行的识别的影响度来进行与摄像相关的处理。