图像捕获元件、图像捕获装置和方法与流程

本公开涉及图像捕获元件、图像捕获装置和方法，更特别地涉及能够防止通信安全的降低的图像捕获元件、图像捕获装置和方法。

背景技术：

传统上，作为用于病房和家庭中的监视服务等的系统，存在用于确认远程目标的安全的系统。在这种系统的情况下，例如，通过以下操作进行安全确定：利用终端装置的图像传感器捕获目标的图像，经由网络将捕获图像传送至云，以及在云侧从捕获图像提取特征量以分析特征量。

然而，在以这种方式将捕获图像从终端装置传送至云的情况下，存在由于捕获图像泄露给第三方而可能泄露个人信息的风险。

同时，已经考虑了从图像提取特征量并将提取的特征量传送至云的方法(例如，参见非专利文献1)。

引用列表

非专利文献

非专利文献1：“informationtechnology-multimediacontentdescriptioninterface-part13:compactdescriptorsforvisualsearch”,iso/iecdis15938-13,2014-04-04,iso/iecjtc1/sc29/wg11

技术实现要素：

技术问题

然而，非专利文献1没有阐明用于提取特征量的图像的生成。例如，在由其他装置提取由图像捕获装置获得的捕获图像中的特征量的情况下，仍然存在如下风险：在图像捕获装置与其他装置之间的通信中可能泄漏个人信息。

本公开是鉴于这种情况而做出的，并且旨在能够防止通信安全的降低。

问题的解决方案

本技术的一个方面的图像捕获元件是如下图像捕获元件，该图像捕获元件包括：图像捕获部，其捕获被摄体的图像以生成捕获图像；以及特征量提取部，其从由图像捕获部生成的捕获图像中提取要输出至外部的预定特征量。

本技术的一个方面的图像捕获装置是如下图像捕获装置，该图像捕获装置包括：图像捕获部，其捕获被摄体的图像以生成捕获图像；以及特征量提取部，其从由图像捕获部生成的捕获图像中提取要输出至外部的预定特征量。

本技术的一个方面的图像捕获方法是如下图像捕获方法，该图像捕获方法包括：通过捕获被摄体的图像来生成捕获图像；以及从所生成的捕获图像中提取要输出至外部的预定特征量。

在本技术的一个方面的图像捕获元件、图像捕获装置和方法中，捕获被摄体的图像，生成捕获图像，并且从生成的捕获图像中提取要输出至外部的预定特征量。

附图说明

图1是示出应用本技术的图像捕获方法等的列表的图。

图2是示出实现方法1的图像捕获装置/图像捕获元件的主要配置示例的框图。

图3是示出特征量提取编码部的主要配置示例的框图。

图4是示出图像捕获处理的流程示例的流程图。

图5是示出实现方法1-1的图像捕获元件的主要配置示例的框图。

图6描绘了示出半导体基板的配置的图。

图7是示出实现方法1-1的图像捕获装置/图像捕获元件的主要配置示例的框图。

图8是示出图像捕获处理的流程示例的流程图。

图9是示出实现方法1-1-1的图像捕获装置/图像捕获元件的主要配置示例的框图。

图10是示出图像捕获处理的流程示例的流程图。

图11是示出实现方法1-1-1-1的图像捕获装置/图像捕获元件的主要配置示例的框图。

图12是示出图像捕获处理的流程示例的流程图。

图13是示出实现方法1-1-2的图像捕获装置/图像捕获元件的主要配置示例的框图。

图14是示出图像捕获处理的流程示例的流程图。

图15是示出计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于实施本公开内容的模式(在下文中称为“实施方式”)。注意，将按以下顺序给出描述。

1.具有图像识别的通信服务

2.概念

3.第一实施方式(方法1的细节)

4.第二实施方式(方法1-1的细节)

5.第三实施方式(方法1-1-1的细节)

6.第四实施方式(方法1-1-1-1的细节)

7.第五实施方式(方法1-1-2的细节)

8.附记

<1.具有图像识别的通信服务>

<支持技术内容和技术术语的文献>

本技术中公开的范围不仅包括实施方式中描述的内容，而且包括在提交本申请时已知的以下文献中描述的内容。换言之，在该文献中描述的内容也是用于确定支持要求的依据。

专利文献1：上述

<具有图像识别的服务>

传统上，作为伴随有图像识别的服务，例如存在用于病房或家庭中的监视服务等的系统。在这样的系统中，例如，已经基于通过以下操作进行的图像识别的结果做出安全确定：利用终端装置的图像传感器捕获目标的图像，以经由网络将捕获图像传送至云；在云侧从捕获图像提取特征量；以及对特征量进行分析以执行图像识别。

因此，可以通过使用云数据库等实现高级的图像识别，并且可以在更多样化的情况下实施更准确的安全确定。因此，通过应用这样的系统，可以提供更高级的服务。

然而，在这种方法的情况下，必须将捕获图像从终端装置传送至云。该捕获图像可能包括例如个人信息(关于隐私的信息)，例如用户的面部和房间情况。因此，如果在通信期间捕获图像被泄露给第三方，则个人信息也可能被泄露。换言之，存在通过通信传送捕获图像可能降低通信的安全的风险。

相反，也可以考虑以下方法：通过优先考虑个人信息保护，例如通过使用诸如热电传感器的除图像传感器之外的传感器来监视目标，并且通过感测结果确认安全。然而，在热电传感器的情况下，例如，不能详细地区分位置关系，并且难以检测姿态的变化以及难以识别人。如上所述，在使用除图像传感器之外的传感器的情况下，存在以下风险：与使用图像传感器的情况相比，图像识别性能进一步降低，并且基于图像识别结果提供的服务的质量可能进一步降低。

<2.概念>

因此，图像传感器从捕获图像中提取特征量以用于编码，并且输出特征量的编码数据(图1的表中的方法1)。即，捕获被摄体的图像以生成捕获图像，并且从生成的捕获图像中提取要输出至外部的预定特征量。例如，图像捕获元件或图像捕获装置设置有图像捕获部和特征量提取部，该图像捕获部捕获被摄体的图像以生成捕获图像，该特征量提取部从由图像捕获部生成的捕获图像中提取要输出至外部的预定特征量。

以上述这种方式，图像捕获元件或图像捕获装置可以在不输出捕获图像的情况下输出捕获图像的特征量。因此，可以防止通信安全的降低并且可以保护隐私。另外，由于可以通过图像识别来检测安全，因此能够在更多样化的情况下实现更准确的安全确定。因此，变得可以提供更强的服务。

另外，可以对捕获图像执行用于提取特征量的信号处理。例如，图像捕获元件/图像捕获装置还可以设置有信号处理部，该信号处理部对由图像捕获部生成的捕获图像执行用于提取特征量的信号处理，并且特征量提取部可以从经过信号处理部的信号处理的捕获图像中提取特征量。通过这样的信号处理，可以使得更容易地或更准确地从捕获图像提取特征量。另外，由于没有输出捕获图像，因此信号处理可以限于与特征量提取有关的处理。例如，可以将图像分辨率、帧频、去马赛克和颜色转换处理的内容等设置为特征量提取所需的水平。因此，可以防止信号处理的负荷的增加。即，可以防止信号处理的处理时间和功耗的增加。

另外，可以对所提取的特征量进行编码。例如，在图像捕获元件/图像捕获装置中，特征量提取部可以对所提取的特征量进行编码。以上述这种方式，可以防止要输出的信息的数据量的增加。另外，通过传送编码数据，即使在数据被泄露给第三方的情况下，第三方也难以获得原始特征量，从而可以防止通信安全的降低。

另外，图像捕获元件/图像捕获装置可以设置有传送所提取的特征量(或其编码数据)的传送部。即，传送部可以形成在图像捕获元件/图像捕获装置内部，或者可以形成在图像捕获元件/图像捕获装置外部(在其他装置中)。

另外，可以生成并添加报头。例如，图像捕获元件/图像捕获装置可以设置有报头生成部和添加部，该报头生成部生成关于特征量的报头信息，该添加部将由报头生成部生成的报头信息添加到由特征量提取部提取的特征量。以上述这种方式，关于要传送的信息(例如，特征量)的各种信息段可以被存储在报头中，并且与特征量相关联地传送。因此，云可以基于包括在报头中的信息来提供例如更多样化的服务。

另外，在图像捕获元件中，以上提及的图像捕获部和特征量提取部可以分别被封装并形成在不同的基板上。即，可以封装各个部，并且可以在逻辑层中执行特征量提取/编码(图1的表中的方法1-1)。以上述这种方式，可以防止捕获图像输出至图像捕获元件的外部，从而可以进一步防止捕获图像的泄漏。

注意，通过分离图像捕获部和特征量提取部的基板，可以堆叠这些基板。即，在图像捕获元件中，形成图像捕获部的基板和形成特征量提取部的基板可以彼此叠置。以上述这种方式，可以进一步使图像捕获元件小型化。另外，这可以防止图像捕获元件成本的增加。

另外，可以包括选择操作模式的功能(图1的表中的方法1-1-1)。例如，图像捕获元件或图像捕获装置可以能够选择是输出捕获图像还是输出特征量。即，图像捕获元件或图像捕获装置可以设置有执行选择的选择部。以上述这种方式，变得不仅可以输出特征量而且还可以输出捕获图像。因此，可以提高便利性。

应当注意，可以基于来自图像捕获元件外部的请求来进行选择。以上述这种方式，例如，变得可以从云请求确定是输出图像还是输出特征量，并且可以实现对更广泛的服务的提供。

另外，可以包括针对请求源的认证功能(图1的表中的方法1-1-1-1)。例如，图像捕获元件/图像捕获装置可以设置有认证外部请求的请求源的认证部，并且在请求源被认证部认证的情况下，选择部可以基于请求选择要输出的信息。以上述这种方式，来自不诚实请求源的请求可以被拒绝。即，可以更安全地从外部接受请求。

此外，图像捕获元件/图像捕获装置可以设置有图像信号处理部和编码部，该图像信号处理部对由图像捕获部生成的捕获图像执行预定信号处理，该编码部对经过图像信号处理部的信号处理的捕获图像进行编码。换言之，可以对要输出的捕获图像执行信号处理或编码。通过以这种方式执行信号处理，可以防止图像质量的降低。此外，通过编码，可以防止要输出的信息的数据量的增加。

注意，在图像输出模式的情况下，可以通过使用像素区域(光电转换区域)的一部分(部分区域)来生成要输出的图像。换言之，可以输出具有比从中提取特征量的捕获图像的分辨率更低的分辨率的捕获图像。例如，在图像捕获元件/图像捕获装置中，在由选择部选择输出捕获图像的情况下，图像捕获部可以通过使用光电转换区域的一部分来生成捕获图像。以上述这种方式，可以防止要输出的信息的数据量的增加。另外，通过降低分辨率，可以减少在图像被泄露给第三方的情况下泄露的个人信息的量。

另外，可以包括基于特征量限制要输出的图像的区域的功能(图1的表中的方法1-1-2)。例如，在图像捕获元件/图像捕获装置中，图像捕获部可以通过使用光电转换区域的、在基于由特征量提取部提取的特征量的范围内的部分来生成捕获图像。以上述这种方式，例如，可以输出通过分析特征量而指定的要被密切观察的区域中的捕获图像。因此，可以输出更重要的并且防止不必要的数据量增加的捕获图像。

<3.第一实施方式(方法1的细节)>

<通信系统>

图2是示出应用本技术的通信系统的配置示例的框图。图2中示出的通信系统100是具有彼此通信的图像捕获装置101和云102的系统。图像捕获装置101捕获被摄体的图像以生成捕获图像，并且提取捕获图像的特征量，并且然后将捕获图像提供给云102。云102分析从图像捕获装置101提供的特征量，并且基于分析结果提供服务。

例如，通信系统100通过执行这样的处理来实现病房或家庭中的监视服务。例如，图像捕获装置101被安装在观察目标(监视目标)的房间等中，并且周期性地或者由预定事件触发地捕获该位置处的观察目标的图像。然后，图像捕获装置101提取捕获图像的特征量，并且将该特征量传送至云102。云102接收特征量，然后分析特征量，从而确认观察目标的安全等。另外，云102基于确认结果提供预定服务(例如，通知)。

即，云102可以基于捕获图像来确认安全。因此，云102可以在更多样化的情况下实施更准确的安全确定。因此，变得可以提供更强的服务。

此外，由于图像捕获装置101将特征量而不是捕获图像传送至云102，因此即使第三方能够非法获取特征量，也仅能够简单地获得作为捕获图像的数据的特征量，并且不能恢复捕获图像。因此，通过采用这样的机制，通信系统100可以防止关于要观察的目标的信息的泄漏。

另外，在将捕获图像从图像捕获装置101传送至云102的情况下，为了确保足够的通信安全并防止个人信息的泄漏，需要诸如强加密的复杂且昂贵的机制，从而存在成本可能增加的风险。相反，该方法仅如上所述的那样传送特征量，并且可以容易地实现，从而防止了成本的增加。

另外，特征量通常具有比捕获图像的信息量更少的信息量。因此，通过如在本方法中那样传送特征量，与传送捕获图像的情况相比，可以减少要传送的信息量。结果，可以防止通信负荷的增加。因此，可以防止通信系统100(图像捕获装置101、云102等)成本的增加。

如图2所示，图像捕获装置101包括光学系统111和图像捕获元件112。光学系统111包括例如透镜、光圈等，并且对通过光学系统111传输的光具有光学效果。例如，来自被摄体的光经由光学系统111进入图像捕获元件112(光接收部121)。光学系统111对该光具有光学效应。

图像捕获元件112执行与图像捕获有关的处理。如图2所示，图像捕获元件112包括：光接收部121、adc(analogdigitalconverter，模数转换器)122、特征量提取信号处理部123、特征量提取编码部124以及传送部125。

光接收部121接收来自被摄体(例如，观察目标)的光，并且执行光电转换以生成作为电信号的捕获图像。光接收部121将捕获图像的电信号提供给adc122。adc122获取捕获图像的电信号，并且对该信号执行a/d转换以生成捕获图像的数字数据(也称为“捕获图像数据”)。adc122将捕获图像数据提供给特征量提取信号处理部123。

当获取从adc122提供的捕获图像数据时，特征量提取信号处理部123对图像数据执行与特征量提取有关的信号处理。特征量提取信号处理部123将经过信号处理的捕获图像数据提供给特征量提取编码部124。

注意，由于捕获图像被用于提取特征量(由于其不被用于观赏目的等)，因此特征量提取信号处理部123对捕获图像的信号处理也仅需要是与特征量提取相关的信号处理。例如，处理可以是具有相对较轻负荷的处理，例如分辨率转换、帧频转换、去马赛克和颜色转换处理。这样，通过仅将捕获图像用于特征量提取而不输出捕获图像，可以防止信号处理的负荷的增加。结果，可以防止处理时间和功耗的增加。当然，该信号处理的内容是可选的，只要该内容与特征提取有关即可。

另外，如果捕获图像可以具有用于提取特征量的足够的信息量，则就足够了。因此，例如，特征量提取信号处理部123可以通过该信号处理，在可以以足够的精度执行特征量提取的范围内降低捕获图像的分辨率和帧频(即，可以在不降低特征量提取精度的同时减小关于捕获图像的信息量)。结果，可以防止用于特征量提取的处理时间和功耗的增加。

特征量提取编码部124获取从特征量提取信号处理部123提供的捕获图像数据，并且提取捕获图像的预定特征量。另外，特征量提取编码部124对提取的特征量进行编码，并且生成编码数据。要提取的特征量和编码方法是可选的。通过以这种方式对特征量进行编码，可以进一步减少要传送的信息量。此外，特征量提取编码部124将生成的编码数据提供给传送部125。

传送部125获取从特征量提取编码部124提供的编码数据，并且经由诸如因特网的可选网络(通信介质)将该数据传送至云102(接收部131)。

云102执行与特征量分析有关的处理。如图2所示，云102具有接收部131和数据分析处理部132。接收部131接收从图像捕获装置101(图像捕获元件112(传送部125))传送的编码数据，并且将该数据提供给数据分析处理部132。

数据分析处理部132获取从接收部131提供的编码数据，并对数据进行解码，从而恢复捕获图像的特征量数据。另外，数据分析处理部132通过分析恢复的特征量来分析捕获图像，并且基于分析结果确认观察目标的安全。此外，数据分析处理部132可以根据安全确认结果执行预定服务(例如，通知等)。

<特征量提取编码部>

图3是示出特征量提取编码部124的主要配置示例的框图。在图3的示例中，特征量提取编码部124采用非专利文献1中描述的mpegcdvs(movingpictureexpertsgroupcompactdescriptorsforvisualsearch，用于视觉搜索的运动图像专家组紧凑描述符)。该mpegcdvs是定义了从输入图像提取和压缩特征量的方法的mpeg标准化技术(iso/iec15938-13:2015)。特征量提取编码部124通过与sift类似的方法计算关键点、局部特征量和总特征量，并对它们进行压缩。

如图3所示，在这种情况下，特征量提取编码部124包括：关键点检测部151、局部特征选择部152、局部描述符计算部153、局部描述符压缩部154、坐标编码部155以及全局描述符总计部156。关键点检测部151从输入图像数据中检测关键点。局部特征选择部152从图像数据中得出局部特征量。局部描述符计算部153对局部描述符进行计算。局部描述符压缩部154对局部描述符进行压缩。坐标编码部155对坐标进行编码。全局描述符总计部156对全局描述符进行总计。

<图像捕获处理的流程>

将参照图4中的流程图描述由图像捕获装置101执行的图像捕获处理的流程的示例。

当开始图像捕获处理时，光接收部121在步骤s101中捕获被摄体的图像，并且生成捕获图像的电信号。在步骤s102中，adc122对在步骤s101中获得的捕获图像的电信号执行a/d转换，以生成捕获图像数据。

在步骤s103中，特征量提取信号处理部123对在步骤s102中生成的捕获图像数据执行用于特征量提取的信号处理。

在步骤s104中，特征量提取编码部124从在步骤s103中适当地经过信号处理的捕获图像数据中提取捕获图像的特征量，并且通过对特征量进行编码来生成特征量的编码数据。

在步骤s105中，传送部125(向云102)传送在步骤s104中生成的编码数据。

当完成步骤s105的处理时，图像捕获处理结束。

通过执行如上所述的图像捕获处理，图像捕获装置101可以更安全地向云102提供信息。即，可以防止通信安全的降低。

<4.第二实施方式(方法1-1的细节)>

<图像捕获元件>

通过将光接收部121到传送部125的处理部划分成多个部分，参照图2描述的图像捕获元件112可以被配置为多个装置，或者光接收部121到传送部125的处理部可以被封装成一个部并且被配置为单个装置。通过封装图像捕获元件112的配置，可以进一步防止捕获图像的泄漏。即，可以实现更强的隐私保护。

图5是示出在光接收部121到传送部125的处理部被封装成一个部的情况下图像捕获元件112的主要配置示例的框图。在这种情况下，封装的图像捕获元件112具有多个半导体基板(半导体基板171和半导体基板172)。光接收部121和adc122形成在封装中的半导体基板171中，并且特征量提取信号处理部123、特征量提取编码部124和传送部125形成在封装中的半导体基板172中。换言之，光接收部121和特征量提取编码部124分别形成在不同的半导体基板中。

半导体基板171和半导体基板172可以并排布置在平面上，但是基板可以如图6的a中的示例那样彼此叠置以形成如图6的b中所示的堆叠结构。利用这种结构，可以减小封装的图像捕获元件112的面积，并且小型化是可能的。结果，可以防止电路规模的增加，并且可以防止成本的增加。

<图像捕获装置>

注意，传送部可以设置在封装的图像捕获元件112外部(设置在其他芯片上)。例如，图7中所示的图像捕获装置180是与图像捕获装置101(图2)类似的装置。然而，图像捕获装置180包括封装的图像捕获元件112、报头生成部181和添加部182以及传送部183。

在这种情况下，封装的图像捕获元件112基本上具有与图5中所示的示例类似的配置，但是与图5的示例的不同之处在于图像捕获元件112不包括传送部125。换言之，光接收部121和adc122形成在半导体基板171中，并且特征量提取信号处理部123和特征量提取编码部124形成在半导体基板172中。因此，从封装的图像捕获元件112输出特征量的编码数据。

报头生成部181生成包括关于从封装的图像捕获元件112输出的编码数据的信息(即，关于捕获图像的特征量的信息)的报头信息，并且将报头信息提供给添加部182。添加部182将从报头生成部181提供的报头信息添加到从封装的图像捕获元件112(特征量提取编码部124)输出的编码数据。添加部182将被添加有报头信息的编码数据提供给传送部183。

传送部183是类似于传送部125的处理部，并且获取从添加部182提供的被添加有报头信息的编码数据，从而(向云102)传送数据。

换言之，图像捕获装置180生成报头信息，将报头信息与特征量的编码数据进行组合，并且将被添加有报头信息的编码数据传送至封装的图像捕获元件112的外部。以上述这种方式，可以防止硬件规模和功耗整体的增加。

<图像捕获处理的流程>

将参照图8的流程图描述在这种情况下图像捕获处理的流程的示例。当开始图像捕获处理时，以与步骤s101至步骤s104(图4)的每个处理类似的方式执行步骤s121至步骤s124的每个处理。

在步骤s125中，报头生成部181生成报头信息，并且添加部182将报头信息添加到特征量的编码数据。

在步骤s126中，传送部183传送在步骤s125中被添加有报头信息的特征量的编码数据。当完成步骤s126的处理时，图像捕获处理结束。

通过执行如上所述的图像捕获处理，图像捕获装置180可以更安全地向云102提供信息。即，可以防止通信安全的降低。

<5.第三实施方式(方法1-1-1的细节)>

<通信系统>

图像捕获元件或图像捕获装置可以具有选择操作模式的功能。例如，图像捕获元件或图像捕获装置可以能够选择是输出捕获图像还是输出特征量。

图9是示出在该情况下通信系统100的主要配置示例的框图。如图9所示，在这种情况下，除了图2所示的配置之外，图像捕获元件112还包括控制部211、选择部212、信号处理部213、编码部214和选择部215。

控制部211从图像捕获装置101的外部接收关于操作模式的请求，并且基于该请求控制操作模式。更具体地，控制部211控制选择部212和选择部215以选择(切换)操作模式。

在这种情况下，图像捕获元件112设置有输出特征量(其编码数据)的模式和输出捕获图像(其编码数据)的模式作为操作模式。控制部211可以通过控制选择部212和选择部215来选择任一模式。

顺便提及，关于操作模式的请求的请求源是自由选择的。例如，请求源可以是图像捕获装置101的用户，或者可以是云102(例如，数据分析处理部132)，如图9所示的那样。在图9的示例的情况下，数据分析处理部132可以基于特征量的分析结果(安全确认结果)做出关于操作模式的请求。例如，在安全确认中确认观察目标中的异常的情况下，数据分析处理部132可以请求图像捕获装置101(图像捕获元件112)以输出捕获图像(其编码数据)的模式进行操作以进行确认。以上述这种方式，云102不仅可以实施纯粹的安全确认，而且可以实施增强服务，诸如在发生异常的情况下通过使用捕获图像进行通知。

选择部212根据控制部211的控制来控制adc122的连接目的地。例如，当选择部212将adc122连接至信号处理部213时，adc122经由选择部212将捕获图像数据提供给信号处理部213。即，图像捕获元件112以输出捕获图像(其编码数据)的模式进行操作。另外，当选择部212将adc122连接至特征量提取信号处理部123时，adc122经由选择部212将捕获图像数据提供给特征量提取信号处理部123。即，图像捕获元件112以输出特征量(其编码数据)的模式进行操作。

信号处理部213获取经由选择部212提供的捕获图像数据，并且对捕获图像数据执行预定信号处理。该信号处理的内容是可选的。信号处理部213可以独立于特征量提取信号处理部123执行信号处理。例如，与特征量提取信号处理部123的信号处理相比，信号处理部213执行用于更高图像质量的信号处理，使得图像捕获装置101可以输出具有更高质量的捕获图像(其编码数据)。将适当地经过信号处理的捕获图像数据提供给编码部214。编码部214对从信号处理部213提供的并且适当地经过信号处理的捕获图像数据进行编码，并且生成捕获图像的编码数据。顺便提及，编码方法是可选的。编码部214将生成的编码数据提供给选择部215。

注意，可以省略对捕获图像的编码。换言之，可以省略编码部214。即，可以经由选择部215将未编码的捕获图像数据(适当地经过信号处理部213的预定信号处理的捕获图像数据)从信号处理部213提供给传送部125以进行传送。

选择部215根据控制部211的控制来控制传送部125的连接源。例如，当选择部215将编码部214连接至传送部125时，编码部214经由选择部215将捕获图像的编码数据提供给传送部125。即，图像捕获元件112以输出捕获图像(其编码数据)的模式进行操作。另外，当选择部215将特征量提取编码部124连接至传送部125时，特征量提取编码部124经由选择部215将特征量的编码数据传送到传送部125。换言之，图像捕获元件112以输出特征量(其编码数据)的模式进行操作。

以上述这种方式，图像捕获装置101不仅可以输出特征量，而且可以输出捕获图像。因此，可以提高便利性。

<图像捕获处理的流程>

将参照图10的流程图描述在这种情况下图像捕获处理的流程的示例。当开始图像捕获处理时，控制部211在步骤s201中接收关于操作模式的请求。

在步骤s202中，控制部211将图像捕获元件112的操作模式设置为与在步骤s201中接收的请求相对应的模式(即，所请求的模式)。

在步骤s203中，选择部212和选择部215根据步骤s202中控制部211的控制来确定是否输出捕获图像。在确定选择了输出特征量的模式的情况下，选择部212将adc122连接至特征量提取信号处理部123，并且选择部215将特征量提取编码部124连接至传送部125，然后处理进行到步骤s204。

在步骤s204中，光接收部121捕获被摄体的图像并且生成捕获图像的电信号。在步骤s205中，adc122对在步骤s204中获得的捕获图像的电信号执行a/d转换，以生成捕获图像数据。在步骤s206中，特征量提取信号处理部123对在步骤s205中生成的捕获图像数据执行用于特征量提取的信号处理。在步骤s207中，特征量提取编码部124从在步骤s206中适当地经过信号处理的捕获图像数据中提取捕获图像的特征量，并且对特征量进行编码以生成特征量的编码数据。在步骤s208中，传送部125(向云102)传送在步骤s207中生成的编码数据。当完成步骤s208的处理时，图像捕获处理结束。

另外，在步骤s203中确定选择了输出捕获图像的模式的情况下，选择部212将adc122连接至信号处理部213，并且选择部215将编码部214连接至传送部125，然后，处理进行到步骤s209。

在步骤s209中，光接收部121捕获被摄体的图像并且生成捕获图像的电信号。在步骤s210中，adc122对在步骤s209中获得的捕获图像的电信号执行a/d转换，以生成捕获图像数据。在步骤s211中，信号处理部213对在步骤s210中生成的捕获图像数据执行预定信号处理。在步骤s212中，编码部214对在步骤s211中适当地经过信号处理的捕获图像数据进行编码，以生成捕获图像的编码数据。在步骤s213中，传送部125(向云102)传送在步骤s212中生成的捕获图像的编码数据。当完成步骤s213的处理时，图像捕获处理结束。

通过执行如上所述的图像捕获处理，图像捕获装置101不仅可以将特征量提供给云102，而且可以将捕获图像提供给云102。因此，可以提高便利性。

<6.第四实施方式(方法1-1-1-1的细节)>

<通信系统>

另外，可以在对以上提及的请求(请求源)进行认证并且确认请求为合法请求之后，切换操作模式。

图11是示出在该情况下通信系统100的主要配置示例的框图。如图11所示，在这种情况下，除了图9所示的配置之外，图像捕获元件112还具有认证部231。

认证部231对关于来自图像捕获装置101外部的请求的请求源进行认证。认证方法是可选的。当确认请求源是合法请求源(换言之，合法请求)时，认证部231将该请求提供给控制部211。控制部211以与图9的情况类似的方式执行处理。

以上述这种方式，来自不诚实请求者的请求可以被拒绝。即，图像捕获装置101可以更安全地接受来自外部的请求。因此，图像捕获装置101可以更安全地输出捕获图像。

顺便提及，执行以上认证处理的定时是可选的。例如，可以在每次切换操作模式时(即，每当存在用以改变操作模式的请求时)或者仅在首次切换操作模式时(例如，仅在登录时)执行处理。另外，可以仅在将操作模式切换到输出捕获图像的模式的情况下(当存在这样的请求时)执行对请求源的认证处理。

<图像捕获处理的流程>

将参照图12的流程图描述在这种情况下图像捕获处理的流程的示例。当开始图像捕获处理时，在步骤s231中，认证部231对请求源执行认证处理。当确认请求源是合法请求源时，处理进行到步骤s232。

以与步骤s201至步骤s213(图10)的每个处理类似的方式执行步骤s232至步骤s244的每个处理。然后，当完成步骤s239或步骤s244的处理时，图像捕获处理结束。

通过执行如上所述的图像捕获处理，图像捕获装置101可以更安全地接受来自外部的请求，并且更安全地输出捕获图像。

<7.第五实施方式(方法1-1-2的细节)>

<通信系统>

另外，在图像捕获装置101输出捕获图像的情况下，可以通过使用像素区域(光电转换区域)的一部分(部分区域)来生成图像。即，可以限制视角，并且可以输出具有比从中提取特征量的捕获图像的分辨率更低的分辨率的捕获图像。以上述这种方式，可以减小捕获图像数据的数据量，从而可以防止图像捕获元件112中的处理负荷的增加。此外，可以防止从图像捕获元件112输出数据时输出数据速率的增加。因此，可以防止图像捕获元件112的成本的增加。类似地，也可以防止云102的处理和图像显示侧的处理的负荷的增加。

应当注意，可以基于从捕获图像提取的特征量来设置像素区域的这种限制(视角的限制)。即，图像捕获部可以通过使用光电转换区域的、在基于由特征量提取部提取的特征量的范围内的部分来生成捕获图像。例如，基于通过分析特征量而执行的对捕获图像的图像分析，可以将捕获图像中出现异常的地方(部分区域)、存在观察目标的地方(部分区域)等指定为要被密切观察的区域。通过输出要被密切观察的这种区域的捕获图像(通过删除其他区域而获得的捕获图像)，图像捕获装置101可以输出更值得观看的捕获图像。换言之，通过不包括捕获图像中的不太值得观察的其他部分区域，可以防止捕获图像中数据量的不必要的增加(典型地，可以减小捕获图像中的数据量)。

另外，这种限制像素区域的方法是可选的。例如，可以在不限制视角的情况下生成一次捕获图像，并且可以通过图像处理从捕获图像中切出要被密切观察的区域。另外，例如，可以控制光接收部121和adc122以仅驱动与要被密切观察的区域相对应的像素区域和a/d转换器，从而生成要被密切观察的区域的捕获图像。通过如在后一种情况下那样仅驱动必要部分，可以防止图像捕获负荷的增加。

图13是示出在该情况下通信系统100的主要配置示例的框图。如图13所示，在这种情况下，除了图像捕获装置101和云102之外，通信系统100还具有接收装置201和图像显示装置202。接收装置201接收从图像捕获装置101传送的捕获图像的编码数据，并且将接收的编码数据提供给图像显示装置202。图像显示装置202获取从接收装置201提供的编码数据，对数据进行解码以生成捕获图像数据，并且显示捕获图像。

另外，除了图11所示的配置之外，图像捕获元件112还具有图像驱动控制部261。图像驱动控制部261获取由特征量提取编码部124提取的捕获图像的特征量，并且基于该特征量来控制光接收部121和adc122。更具体地，图像驱动控制部261控制光接收部121和adc122，以驱动生成在通过获取的特征量得出的要被密切观察的区域中的捕获图像所需的部分。

光接收部121仅驱动像素区域的由图像驱动控制部261指定的部分以生成捕获图像。另外，adc122根据图像驱动控制部261的控制仅驱动必要的a/d转换器，以生成要被密切观察的区域的捕获图像数据。以上述这种方式，可以防止驱动不必要的部分并且防止负荷的增加。

<图像捕获处理的流程>

将参照图14的流程图描述在这种情况下图像捕获处理的流程的示例。当开始图像捕获处理时，以与步骤s231至步骤s239的每个处理类似的方式执行步骤s261至步骤s269的每个处理。

另外，在步骤s264中确定要输出捕获图像的情况下，处理进行到步骤s270。

在步骤s270中，图像驱动控制部261基于过去提取的特征量设置要被密切观察的区域(也称为“密切观察区域”)。

在步骤s271中，光接收部121根据步骤s270中的图像驱动控制部261的控制捕获被摄体的图像，并且生成密切观察区域的捕获图像。在步骤s272中，adc122根据步骤s270中的图像驱动控制部261的控制，对密切观察区域中的捕获图像执行a/d转换。

以与步骤s242至步骤s244(图12)的每个处理类似的方式执行步骤s273至步骤s275的每个处理。

当完成步骤s269或步骤s275的处理时，图像捕获处理结束。

通过执行如上所述的图像捕获处理，图像捕获装置101可以防止负荷的增加。

<8.附记>

<计算机>

可以通过硬件或通过软件来执行上述一系列处理。在通过软件执行一系列处理的情况下，将构成软件的程序安装在计算机中。这里，计算机包括结合在专用硬件中的计算机、例如能够通过安装各种类型的程序来执行各种类型的功能的通用个人计算机等。

图15是示出通过程序执行以上提及的一系列处理的计算机的硬件配置示例的框图。

在图15所示的计算机900中，cpu(中央处理单元)901、rom(只读存储器)902和ram(随机存取存储器)903经由总线904彼此连接。

输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接到输入/输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、ram盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述的那样配置的计算机中，例如，cpu901经由输入/输出接口910和总线904将存储单元913中存储的程序加载至ram903中，并且执行该程序，从而执行上述一系列处理。ram903还适当地存储cpu901执行各种类型的处理所需的数据等。

例如，由计算机(cpu901)执行的程序可以被记录在作为封装介质等的可移除介质921中以被应用。在这种情况下，可以通过将可移除介质921附接至驱动器915，经由输入/输出接口910将程序安装到存储单元913中。

另外，也可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下，程序可以由通信单元914接收并被安装在存储单元913中。

此外，该程序也可以被预先安装在rom902或存储单元913中。

<本技术的适用对象>

本技术可以应用于任何图像编码/解码方法。即，只要不与上述本技术矛盾，与图像编码/解码有关的各种类型的处理的规范是可选的，并且不限于以上提及的示例。

另外，尽管以上已经描述了本技术被应用于图像捕获装置的情况，但是本技术不仅可以被应用于图像捕获装置，而且可以被应用于任何装置(电子设备)。例如，本技术也可以被应用于对由其他图像捕获装置生成的捕获图像执行图像处理的图像处理装置等。

另外，本技术也可以作为要安装在可选装置或构成系统的装置上的任何配置来执行，这样的配置例如是作为系统lsi(大规模集成)等的处理器(例如，视频处理器)、使用多个处理器的模块(例如，视频模块)等、使用多个模块的单元(例如，视频单元)等、其中还将其他功能添加至单元的组(例如，视频组)等(即，装置的一部分的配置)。

另外，本技术还可以应用于包括多个装置的网络系统。例如，本技术还可以应用于向诸如计算机、av(视听)设备、便携式信息处理终端和iot(物联网)装置的任何终端提供与图像(运动图像)相关的服务的云服务。

<其他>

另外，可以以任何形式传送或记录关于编码数据(比特流)的各种信息段(元数据等)，只要该信息与编码数据相关联即可。这里，术语“关联”是指例如在处理一个数据时使其他数据可用(可链接)。即，彼此相关联的数据段可以被组合为一段数据，或者可以是单独的数据段。例如，可以通过与编码数据(图像)的传输路径不同的传输路径传送与编码数据(图像)相关联的信息。另外，例如，与编码数据(图像)相关联的信息可以被记录在与用于编码数据(图像)的记录介质不同的记录介质(或同一记录介质的其他记录区域)中。注意，这种“关联”可以应用于数据的一部分而不是整个数据。例如，图像和与该图像相对应的信息可以以例如多个帧、一个帧或帧内的一部分的任何单位彼此相关联。

另外，在本说明书中，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“打包”、“放入”、“插入”的术语是指将多个对象放在一起，例如，将编码数据和元数据放入一个数据中，并且这样的术语意指上述“关联”的一种方法。

另外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的主旨的情况下可以进行各种改变。

另外，例如，本技术也可以作为构成装置或系统的任何配置来执行，这样的配置例如是作为系统lsi(大规模集成)的处理器等、使用多个处理器的模块等、使用多个模块的单元等以及其中将其他功能添加至单元的组等(即，装置的配置的一部分)。

顺便提及，在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集合，并且所有部件是否在同一壳体中无关紧要。因此，容纳在单独的壳体中并经由网络彼此连接的多个装置以及其中多个模块容纳在一个壳体中的装置两者均是系统。

另外，例如，可以将描述为一个装置(或处理部)的配置划分以配置为多个装置(或处理部)。相反，以上描述为多个装置(或处理部)的配置可以被共同配置为一个装置(或处理部)。此外，当然，可以将除了以上配置之外的配置添加到每个装置(或每个处理部)的配置。此外，只要整个系统的配置和操作基本相同，则一个装置(或处理部)的配置的一部分可以包括在其他装置(或其他处理部)的配置中。

此外，例如，本技术可以具有云计算配置，其中由多个装置经由网络以共享和协作的方式处理一个功能。

此外，例如，可以在任何装置中执行以上提及的程序。在这种情况下，如果装置具有需要的功能(功能块等)并且可以获得需要的信息就足够了。

此外，例如，以上提及的流程图中描述的每个步骤可以由一个装置执行，也可以由多个装置以共享的方式执行。此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者也可以由多个装置以共享的方式执行。换言之，一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤共同执行。

应当注意，在由计算机执行的程序中，用于描述程序的步骤的处理可以根据本说明书中描述的顺序按时间顺序执行，或者可以在诸如被调用的时间的需要定时处单独地执行或并行执行。即，只要不存在矛盾，就可以以与以上提及的顺序不同的顺序执行每个步骤的处理。此外，用于描述该程序的步骤的处理可以与其他程序的处理并行地执行，或者可以与其他程序的处理组合地执行。

顺便提及，只要不存在矛盾，本说明书中描述的多个本技术就可以单独地独立实现。当然，可以组合地使用多个本技术中的任何技术。例如，在任何实施方式中描述的本技术的一些或全部可以与在其他实施方式中描述的本技术的一些或全部组合以执行。此外，任何以上提及的本技术的一些或全部也可以结合以上未描述的其他技术来执行。

应当注意，本技术还可以具有以下配置。

(1)一种图像捕获元件，包括：

图像捕获部，其捕获被摄体的图像以生成捕获图像；以及

特征量提取部，其从由所述图像捕获部生成的所述捕获图像中提取要输出至外部的预定特征量。

(2)根据项目(1)中所述的图像捕获元件，其中，

所述图像捕获部和所述特征量提取部被封装并形成在彼此不同的相应基板中。

(3)根据项目(2)中所述的图像捕获元件，其中，

形成有所述图像捕获部的基板和形成有所述特征量提取部的基板彼此叠置。

(4)根据项目(1)至(3)中任一项所述的图像捕获元件，还包括：

信号处理部，其对由所述图像捕获部生成的所述捕获图像执行用于提取所述特征量的信号处理，其中，

所述特征量提取部从经过所述信号处理部的信号处理的所述捕获图像中提取所述特征量。

(5)根据项目(1)至(4)中任一项所述的图像捕获元件，其中，

所述特征量提取部对所提取的所述特征量进行编码。

(6)根据项目(1)至(5)中任一项所述的图像捕获元件，还包括：

传送部，其传送由所述特征量提取部提取的所述特征量。

(7)根据项目(1)至(6)中任一项所述的图像捕获元件，还包括：

选择部，其选择是输出所述捕获图像还是输出所述特征量。

(8)根据项目(7)中所述的图像捕获元件，其中，

所述选择部基于来自所述图像捕获元件的外部的请求进行选择。

(9)根据项目(8)中所述的图像捕获元件，还包括：

认证部，其对所述请求的请求源进行认证，其中

在所述认证部认证了所述请求源的情况下，所述选择部基于所述请求进行选择。

(10)根据项目(7)至(9)中任一项所述的图像捕获元件，还包括：

图像信号处理部，其对由所述图像捕获部生成的所述捕获图像执行预定信号处理；以及

编码部，其对经过所述图像信号处理部的信号处理的所述捕获图像进行编码。

(11)根据项目(7)至(10)中任一项所述的图像捕获元件，其中，

在所述选择部选择输出捕获图像的情况下，所述图像捕获部通过使用光电转换区域的一部分来生成捕获图像。

(12)根据项目(11)中所述的图像捕获元件，其中，

所述图像捕获部通过使用所述光电转换区域的、在基于由所述特征量提取部提取的所述特征量的范围内的部分来生成所述捕获图像。

(13)一种图像捕获装置，包括：

图像捕获部，其捕获被摄体的图像以生成捕获图像；以及

特征量提取部，其从由所述图像捕获部生成的所述捕获图像中提取要输出至外部的预定特征量。

(14)根据项目(13)中所述的图像捕获装置，还包括：

传送部，其将由所述特征量提取部提取的所述特征量传送到外部。

(15)根据项目(14)中所述的图像捕获装置，还包括：

报头生成部，其生成针对所述特征量的报头信息；以及

添加部，其将由所述报头生成部生成的所述报头信息添加到由所述特征量提取部提取的所述特征量。

(16)一种用于捕获图像的方法，包括：

通过捕获被摄体的图像来生成捕获图像；以及

从所生成的所述捕获图像中提取要输出至外部的预定特征量。

附图标记列表

100通信系统，101图像捕获装置，102云，111光学系统，112图像捕获元件，121光接收部，122adc，123特征量提取信号处理部，124特征量提取编码部，125传送部，131接收部，132数据分析处理部，171和172半导体基板，180图像捕获装置，181报头生成部，182添加部，183传送部，201接收装置，202图像显示装置，211控制部，212选择部，213信号处理部，214编码部，215选择部，231认证部，261图像驱动控制部