固态成像装置、固态成像方法、以及电子装备与流程

本公开涉及一种固态成像装置、固态成像方法、以及电子装备。

背景技术：

近年来，已知一种用于增强由摄像机成像的人(以下也被称为“成像目标”)的隐私保护的技术。例如，为了在成像人不希望如此做之时防止使用蜂窝电话的内置摄像机对成像人进行成像，公开了一种在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术(例如，参考专利文献1)。

[引用列表]

[专利文献]

[专利文献1]

日本专利特开公开号2015-133624

技术实现要素：

[技术问题]

然而，需要提供一种能够进一步增强由摄像机成像的人的隐私保护的技术。

[问题的解决方案]

根据本公开，提供一种固态成像装置，包括：成像单元，被配置为捕获第一捕获图像；存储控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中；以及发送控制单元，被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。

根据本公开，提供一种固态成像方法，包括：捕获第一捕获图像；并且由处理器基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中，并且当从第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。

根据本公开，提供一种电子装备，包括：应用；成像单元，被配置为捕获第一捕获图像；以及发送控制单元，被配置为基于与从第一捕获图像内检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中，并且被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制将第二捕获图像或基于第二捕获图像的数据的发送至应用。

附图说明

[图1]是描述根据本公开的实施方式的固态成像系统的配置例的示图。

[图2]是描述图像传感器的结构的第一实施例的示图。

[图3]是描述图像传感器的结构的第二实施例的示图。

[图4]是描述根据本公开的第一实施方式的固态成像系统的详细配置例的示图。

[图5]是描述信号处理单元的详细配置例的示图。

[图6]是描述本地认证单元的详细配置例的示图。

[图7]是描述数据发送决策单元的详细配置例的示图。

[图8]是描述根据本公开的第一实施方式的图像传感器的操作例的流程图。

[图9]是描述根据实施方式的数据发送可用性决策的详细操作例的流程图。

[图10]是描述指示发送可用的姿势的实施例的示图。

[图11]是描述根据实施方式的变形1的数据发送可用性决策的详细操作例的流程图。

[图12]是描述根据实施方式的变形2的数据发送可用性决策的详细操作例的流程图。

[图13]是描述指示发送不可用的姿势的实施例的示图。

[图14]是描述根据实施方式的变形3的数据发送可用性决策的详细操作例的流程图。

[图15]是描述根据实施方式的变形4的数据发送可用性决策的详细操作例的流程图。

[图16]是描述根据本公开的第二实施方式的固态成像系统的详细配置例的示图。

[图17]是描述根据实施方式的图像传感器的操作例的流程图。

[图18]是描述根据本公开的第三实施方式的固态成像系统的详细配置例的示图。

[图19]是描述根据本公开的第四实施方式的固态成像系统的详细配置例的示图。

具体实施方式

在下文中，参考附图对本公开的优选实施方式进行详细描述。应注意，在本说明书和附图中，以相同的参考标号表示具有大致相同的功能配置的部件，并且省去其重复性描述。

进一步地，在本说明书和附图中，有时通过将不同的标号附加至相同的参考标号而对具有大致相同的功能配置的多个部件彼此进行区分。然而，在不需要具体区分彼此具有大致相同的功能配置的多个部件的情况下，仅以相同的参考标号表示这些部件。进一步地，有时通过将不同的阿拉伯字母附加至相同的参考标号而对具有相同或相似的功能配置的多个部件彼此进行区分。然而，在不需要具体区分彼此具有相同或相似的功能配置的多个部件的情况下，仅以相同的参考标号表示这些部件。

应注意，按照下列顺序给出描述。

0.概况

1.实施方式的细节

1.1.系统的配置例

1.2.图像传感器的配置例

1.3.第一实施方式

1.4.第二实施方式

1.5.第三实施方式

1.6.第四实施方式

2.结论

<0.概况>

近年来，已知一种用于增强由摄像机成像的人(以下也被称为“成像目标”)的隐私保护的技术。例如，为了在成像人不希望如此做之时防止使用蜂窝电话的内置摄像机对成像人进行成像，公开了一种在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术。然而，需要提供一种能够进一步增强由摄像机成像的人的隐私保护的技术。

更具体地，根据在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术，存在由恶意应用创建器创建应用的可能性，因此，即使内置摄像机在操作，也不发出这种效果的通知。进一步地，根据在内置摄像机操作的情况下发出内置摄像机在操作的通知的技术，因为将通过成像目标的成像而获得的数据自动发送至图像传感器的外面，所以成像目标的隐私保护不充分。

因此，在本公开的实施方式中，主要给出了通过控制将由于成像目标的成像而获得的数据发送至图像传感器的外面而进一步增强成像目标的隐私保护的技术的描述。

本公开的实施方式的概况如上所述。

<1.实施方式的细节>

[1.1.系统的配置例]

现在，参考图1对根据本公开的实施方式的固态成像系统的配置例进行描述。参考图1，根据本公开的实施方式的固态成像系统1包括电子装备10、服务器装置40、以及网络50。电子装备10与服务器装置40通过网络50彼此通信。应注意，在图1描述的实施例中，尽管电子装备10连接至网络50，然而，多件电子装备10可以连接至网络50并且每件电子装备10可以通过网络50与服务器装置40进行通信。

电子装备10包括图像传感器20和应用30。图像传感器20用作固态成像装置的实施例并且包括cis(接触图像传感器)210、逻辑电路220、dsp(数字信号处理器)230、存储器240、以及选择器250。

此处，cis210与成像单元的实施例对应并且包括成像元件、光源、光接收透镜、a/d转换器等。逻辑电路220包括对来自cis210的输出信号等执行信号处理的信号处理单元。进一步地，本公开的实施方式主要假设了其中电子装备10是摄像机的情况。然而，如果其是具有图像传感器20的装备，则电子装备10并不局限于摄像机并且可以是任意其他类型的装备(例如，智能手机、蜂窝电话等)。同时，由内置于电子装备10中的处理器执行应用30。

在本公开的实施方式中，通过图像传感器20捕获视频。通过连续捕获多帧(捕获图像)的图像传感器20获得视频。本公开的实施方式主要假设了其中将通过图像传感器20捕获的帧(捕获图像)或基于帧(捕获图像)的数据(以下被称为“元数据”)发送至服务器装置40的情况。然而，还如下面所描述的，捕获图像或元数据的发送目的地可以是应用30或可以是电子装备10的外部记录介质。

根据本公开的实施方式的固态成像系统1的配置例如上所述。

[1.2.图像传感器的配置例]

随后，对根据本公开的实施方式的图像传感器20的结构的实施例进行描述。图2是描述图像传感器20的结构的第一实施例的示图。图3是描述图像传感器20的结构的第二实施例的示图。参考图2，图像传感器20包括第一半导体芯片l1和第二半导体芯片l2。参考图3，图像传感器20包括第一半导体芯片l1、第二半导体芯片l2、以及第三半导体芯片l3。

以这种方式，图像传感器20包括多个半导体芯片，并且多个半导体芯片以分层方式进行配置并且电连接至彼此。图像传感器20中所包括的半导体芯片的数量并不局限于两个或三个并且可以是一个或四个或多个。

参考图2，cis210包括在第一半导体芯片l1中。进一步地，存储器240、dsp230、以及逻辑电路220包括在第二半导体芯片l2中。参考图3，cis210包括在第一半导体芯片l1中。进一步地，存储器240与dsp230包括在第二半导体芯片l2中。逻辑电路220包括在第三半导体芯片l3中。然而，cis210、存储器240、dsp230、以及逻辑电路220各自可以包括在任意半导体芯片中。

在图2和图3所描述的实施例中，下面所描述的本地认证单元231(第一认证单元)可以包括在第二半导体芯片l2中。更具体地，通过第二半导体芯片l2中所包括的dsp230可以实现本地认证单元231(第一认证单元)。下面所描述的数据发送决策单元233还可以包括在第二半导体芯片l2中。更具体地，通过第二半导体芯片l2中所包括的dsp230可以实现数据发送决策单元233。

进一步地，在图3所描述的实施例中，信号处理单元221可以包括在第三半导体芯片l3的逻辑电路220中。可替代地，在图2所描述的实施例中，信号处理单元221可以包括在第二半导体芯片l2的逻辑电路220中。进一步地，在图3所描述的实施例中，下面所描述的本地认证数据存储单元232可以包括在第三半导体芯片l3的存储器240中。可替代地，在图2所描述的实施例中，本地认证数据存储单元232可以包括在第二半导体芯片l2的存储器240中。

图像传感器20的结构的实施例如上所述。

[1.3.第一实施方式]

现在，对根据本公开的第一实施方式的固态成像系统1的详细配置进行描述。图4是描述根据本公开的第一实施方式的固态成像系统1的详细配置例的示图。应注意，在图4及后续的附图中，为便于示出，省去了应用30和网络50。参考图4，对图像传感器20和服务器装置40进行描述。

图像传感器20包括成像元件211、a/d转换器212、信号处理单元221、本地认证单元231、本地认证数据存储单元232、数据发送决策单元233、数据发送可用性列表存储单元234、选择器250、数据发送单元261、以及数据接收单元262。同时，服务器装置40包括数据接收单元410、服务器认证单元(第二认证单元)420、服务器认证数据存储单元430、以及数据发送单元440。

成像元件211将从成像目标接收的光的光信号转换成电信号。a/d转换器212将电信号从模拟信号转换成数字信号并且输出数字信号。信号处理单元221对来自a/d转换器212的输出信号(捕获图像)执行各种各样的信号处理并且输出经过处理之后的信号(捕获图像)。此处，对由信号处理单元221执行的信号处理的实施例进行描述。然而，信号处理单元221不一定必须执行下面所述的全部信号处理，并且信号处理单元221可以仅执行信号处理的一部分或信号处理单元221可以执行与信号处理不同的处理。

图5是描述信号处理单元221的详细配置例的示图。如图5中描述的，信号处理单元221可以包括执行阴影校正的阴影校正单元2211、执行颜色混合校正的颜色混合校正单元2212、以及执行数字增益调整的数字增益调整单元2213。进一步地，信号处理单元221可以包括调整白平衡增益的白平衡增益调整单元2214、执行波检测的波检测单元2215、执行去马赛克处理的去马赛克处理单元2216、以及执行伽马校正的伽马校正单元2217。

返回参考图4继续进行描述。将经过信号处理单元221的处理之后的信号(捕获图像)输出至选择器250、数据发送决策单元233、以及本地认证单元231。首先，对本地认证单元231的详细配置例进行描述。图6是描述本地认证单元231的详细配置例的示图。如图6中所描述的，本地认证单元231包括归一化处理单元2311和本地认证处理单元2312。

归一化处理单元2311执行本地认证处理单元2312(例如，神经网络)的处理所需的预处理。例如，预处理可以是第二捕获图像的范围调整、尺寸调整等。在从第二捕获图像中提取与第一特征量一致或相似的第二特征量的情况下，本地认证处理单元2312基于第二捕获图像执行第一认证。例如，通过第一认证获得的数据可以是基于第二捕获图像的数据(元数据)。该元数据可以是从第二捕获图像识别的成像目标(人)的识别信息。

应注意，本地认证单元231可以包括经过机器学习的神经网络(第一神经网络)。假设这提高了认证的准确性。例如，神经网络可以是深度学习网络。在刚刚描述的这种情况下，假设进一步提高了认证准确性。然而，通过不需要学习的配置可以执行本地认证单元231的第一认证。将第一认证的认证结果(成功/失败)及通过第一认证所获得的数据(元数据)输出至选择器250。

现在，对数据发送决策单元233的详细配置例进行描述。图7是描述数据发送决策单元233的详细配置例的示图。如图7中所描述的，数据发送决策单元233包括发送控制单元2331和存储控制单元2332。

本公开的实施方式主要假设了其中数据发送决策单元233对从信号处理单元221输入的视频的每个帧(捕获图像)执行处理的情况。然而，数据发送决策单元233的处理目标并不局限于从信号处理单元221输入的视频的每个帧(捕获图像)，而是可以是多个帧的各个集合。此处，将在特定时刻输入至数据发送决策单元233的帧称为“第一捕获图像”，并且将在第一捕获图像之后输入至数据发送决策单元233的帧称为“第二捕获图像”。

首先，将通过成像元件211捕获的第一捕获图像输入至数据发送决策单元233。存储控制单元2332基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像内提取成像目标的第一特征量。存储控制单元2332将所提取的第一特征量存储到数据发送可用性列表存储单元234中。

然后，将通过成像元件211捕获的第二捕获图像输入至数据发送决策单元233。发送控制单元2331尝试查找是否从第二捕获图像中提取与第一特征量一致或相似的第二特征量。在从第二捕获图像中提取与第一特征量一致或相似的第二特征量的情况下，发送控制单元2331控制将第二捕获图像或基于第二捕获图像的数据(元数据)发送至服务器装置40。应注意，如果发送控制单元2331控制从选择器250输出第二捕获图像或基于第二捕获图像的元数据中的哪一个、以使得将其中任一个发送至服务器装置40则足以。

根据上述所述该配置，可以控制将通过成像目标的成像而获得的第二捕获图像或第二捕获图像的元数据发送至图像传感器20的外部。这使得可以进一步增强成像目标的隐私保护。

例如，在本地认证单元231的第一认证成功的情况下，如果发送控制单元2331控制将基于第二捕获图像的数据(元数据)发送至服务器装置40则足以。另一方面，在本地认证单元231的第一认证失败的情况下，发送控制单元2331控制将第二捕获图像发送至服务器装置40已足以。

第一行为不受限制。例如，假设了其中当成像目标允许成像目标自身成像时、成像目标执行特定姿势(位置姿势)的情况。在刚刚描述的这种情况下，位置姿势能够与第一行为对应。在这种情况下，当从第一捕获图像中检测到第一行为时，存储控制单元2332提取第一特征量，以将第一特征量存储到数据发送可用性列表存储单元234中。然而，还如下面所描述的，第一行为可以是成像目标抑制成像目标自身成像时所执行的姿势(消极姿势)。

使用经过机器学习的神经网络(第三神经网络)可以提取第一特征量和第二特征量。假设这提高了提取特征量的准确性。例如，神经网络可以是深度学习网络。在刚刚描述的这种情况下，假设进一步提高了提取特征量的准确性。然而，通过并不需要学习的配置可以提取第一特征量和第二特征量。应注意，数据发送决策单元233中能够包括经过机器学习的神经网络(第三神经网络)。

在数据发送决策单元233的控制下，通过数据发送单元261将第二捕获图像或基于第二捕获图像的数据(元数据)发送至服务器装置40。在服务器装置40中，通过数据接收单元410接收第二捕获图像或基于第二捕获图像的数据(元数据)。服务器认证单元420基于第二捕获图像执行第二认证。例如，通过第二认证获得的数据可以是基于第二捕获图像的数据(元数据)。该元数据可以是从第二捕获图像中识别的成像目标(人)的识别信息。

应注意，服务器认证单元420可以包括经过机器学习的神经网络(第二神经网络)。假设这提高了认证准确性。例如，神经网络可以是深度学习网络。在刚刚描述的这种情况下，假设进一步提高了认证准确性。然而，通过并不需要学习的配置可以执行第二认证单元420的第二认证。通过数据发送单元440将第二认证的认证结果(成功/失败)和经由第二认证获得的数据(元数据)发送至图像传感器20。

在图像传感器20中，通过数据接收单元262接收第二认证的认证结果(成功/失败)和经过第二认证获得的数据(元数据)。

在第一认证成功的情况下，由图像传感器20执行基于通过第一认证所获得的数据(元数据)的处理。还是在第二认证成功的情况下，由图像传感器20执行基于通过第二认证所获得的数据(元数据)的处理。基于元数据的处理并非限制性。例如，在元数据是成像目标的识别信息的情况下，基于元数据的处理可以是用于在屏幕上显示与基于识别信息所识别的成像目标对应的化身的处理。

应注意，存在服务器认证单元420中所包括的第二神经网络的第二参数可能比本地认证单元231中所包括的第一神经网络的第一参数对高分辨率准确性更多的可能性。作为参数，假设了权重、偏置等。因此，希望基于服务器认证单元420中所包括的第二神经网络的第二参数在预定时刻对本地认证单元231中所包括的第一神经网络的第一参数进行更新。

具体地，在服务器认证单元420基于第二捕获图像的第二认证成功的情况下，服务器认证单元420可以从服务器认证数据存储单元430中获取服务器认证单元420中所包括的第二神经网络的第二参数并且通过数据发送单元440将第二参数发送至图像传感器20。此时，在图像传感器20中，通过数据接收单元262接收第二参数，并且本地认证单元231可以基于第二参数对本地认证单元231中所包括的第一神经网络的第一参数(存储在本地认证数据存储单元232中)进行更新。

随后，对根据本公开的第一实施方式的图像传感器20的操作例进行描述。图8是描述根据本公开的第一实施方式的图像传感器20的操作例的流程图。如图8中所描述的，数据发送决策单元233判断数据发送可用性(s11)。参考图9对数据发送可用性决策进行描述。

图9是描述根据本公开的第一实施方式的数据发送可用性决策的详细操作例的流程图。如图9中所描述的，在数据发送可用性决策s11中，数据发送决策单元233尝试从被输入其中的捕获图像中检测面部(面部的特征量)(s111)。应注意，可以使用成像目标的另一特征量代替面部的特征量。在未检测到面部(面部的特征量)的情况下(在s111，“否”)，数据发送决策单元233判断数据发送不可用(s112)。另一方面，在检测到面部的情况下(在s111，“是”)，数据发送决策单元233判断所检测到的面部是否是数据发送可用性列表中所包括的面部(s113)。

在所检测到的面部是数据发送可用性列表中包括的面部的情况下(在步骤s113，“是”)，数据发送决策单元233判断数据发送是可用的(s116)。另一方面，在所检测到的面部不是数据发送许可列表中所包括的面部的情况下(在s113，“否”)，数据发送决策单元233判断所输入的捕获图像是否包括指示发送可用的姿势(s114)。指示发送可用的姿势与上述所述位置姿势的实施例对应。

图10是描述指示发送的姿势可用的实施例的示图。参考图10，对所输入的捕获图像m10进行描述。在捕获图像m10中，使指示发送可用的面部f10和姿势f20成像。在刚刚描述的这种情况下，从捕获图像m10中检测面部f10，并且在数据发送可用性列表中未发现面部f10的情况下，从捕获图像m10中判断存在指示发送可用的姿势f20。应注意，尽管图10指示大拇指朝上的姿势作为指示发送可用的姿势f20的实施例，然而，指示发送可用的姿势f20并不局限于该实施例。

返回参考图9继续进行描述。在数据发送决策单元233判断所输入的捕获图像不包括指示发送可用的姿势的情况下(在s114，“否”)，数据发送决策单元233判断数据发送不可用(s112)。另一方面，在数据发送决策单元233判断所输入的捕获图像包括指示发送可用的姿势的情况下(在s114，“是”)，数据发送决策单元233将所检测到的面部(面部的特征量)注册到数据发送可用性列表中(s115)并且判断数据发送可用(s116)。

返回参考图8继续进行描述。在判断数据发送不可用的情况下(在s11，“未通过(ng)”)，数据发送不可用(s12)。另一方面，在判断数据发送可用的情况下(在s11，“通过(ok)”)，本地认证单元231执行本地认证(s13)。本地认证能够与上述所述第一认证对应。在本地认证成功的情况下(在s13，“ok”)，通过数据发送单元261将元数据发送至服务器装置40(s14)，从而使得认证成功(s15)。另一方面，在本地认证失败的情况下(在s13，“ng”)，通过数据发送单元261将捕获图像发送至服务器装置40。此时，可以发出表示数据发送状态的通知(s16)。

然后，执行服务器装置40的服务器处理(s17)。具体地，通过数据发送单元440接收捕获图像(s18)，并且基于捕获图像执行服务器认证(s19)。服务器认证能够对上述所述第二认证对应。在服务器认证成功的情况下(在s19，“通过”)，利用服务器认证数据对本地认证数据进行更新(s21)，从而使得认证成功(s15)。另一方面，在服务器认证失败的情况下(在s19，“未通过”)，认证失败(s20)。

随后，对本公开的第一实施方式的变形1进行描述。上述描述表示了这样的实施例，即，其中，在从第二捕获图像中提取与第一特征量一致或相似的第二特征量的情况下，发送控制单元2331在无任何具体限制的情况下控制将第二捕获图像或基于第二捕获图像的数据(元数据)发送至服务器装置40。然而，在第一特征量存储到数据发送可用性列表存储单元234中之后的流逝时间段超过预定时间段的情况下，发送控制单元2331可以停止第二捕获图像或基于第二捕获图像的数据的发送。期望这进一步增强了成像目标的隐私保护。

图11是描述根据本公开的第一实施方式的变形1的数据发送可用性决策的详细操作例的流程图。如图11中所描述的，与图9中所描述的实施例不同，在数据发送可用性决策s11中，在所检测到的面部是数据发送可用性列表中所包括的面部的情况下(在s113，“是”)，数据发送决策单元233判断当前时间点是否在面部(面部的特征量)被注册到数据发送可用性列表中之后的预定时间段内(s118)。在当前时间点在面部(面部的特征量)被注册到数据发送可用性列表中之后的预定时间段内的情况下(在s118，“是”)，数据发送决策单元233判断数据发送可用(s116)。另一方面，在当前时间点不在面部(面部的特征量)被注册到数据发送可用性列表中之后的预定时间段内的情况下(在s118，“否”)，数据发送决策单元233判断数据发送不可用(s112)。

随后，对本公开的第一实施方式的变形2进行描述。上述描述面向其中使用成像目标许可成像目标自身成像时所使用的姿势(位置姿势)作为第一行为的实施例。然而，作为第一行为，可以使用成像目标抑制成像目标自身成像时所使用的姿势(位置姿势)。换言之，当未检测到第一行为时，存储控制单元2332可以提取第一特征量，以将第一特征量存储到数据发送可用列表存储单元234中。

图12是描述根据本公开的第一实施方式的变形2的数据发送可用性决策的详细操作例的流程图。如图12中所描述的，与图9中所描述的实施例不同，在所检测到的面部不是数据发送可用性决策s11的数据发送可用性列表中所包括的面部的情况下(在s113，“否”)，数据发送决策单元233判断所输入的捕获图像是否包括指示发送不可用的姿势(s119)。指示发送不可用的姿势与上述所述消极姿势的实施例对应。

图13是描述指示发送不可用的姿势的实施例的示图。参考图13，对所输入的捕获图像m20进行描述。在捕获图像m20中，使指示发送不可用的面部f10和姿势f30成像。在刚刚描述的这种情况下，从捕获图像m20中检测面部f10，并且在数据发送可用性列表中未发现面部f10的情况下，从捕获图像m20中判断存在指示发送不可用的姿势f30。应注意，尽管图13将双臂交叉的姿势描述为指示发送不可用的姿势f30的实施例，然而，指示发送不可用的姿势f30并不局限于该实施例。

返回参考图12继续进行描述。在数据发送决策单元233判断所输入的捕获图像包括指示发送不可用的姿势的情况下(在s199，“是”)，数据发送决策单元233判断数据发送不可用(s112)。另一方面，在数据发送决策单元233判断所输入的捕获图像不包括指示发送不可用的姿势的情况下(在s119，“否”)，数据发送决策单元233将所检测到的面部(面部的特征量)注册到数据发送可用性列表中(s115)并且判断数据发送是可用的(s116)。

随后，对本公开的第一实施方式的变形3进行描述。上述描述面向这样的实施例，即，其中，在第二捕获图像或基于第二捕获图像的数据的发送开始之后，无论成像目标的行为如何，继续发送。然而，在数据发送决策单元233从第二捕获图像中检测到成像目标的第二行为的情况下，数据发送决策单元233可以停止第二捕获图像或基于第二捕获图像的数据的发送。例如，第二行为可以是指示成像目标未感知到自身被成像的行为。如此，在成像目标未感知到自身被成像的情况下，防止将通过成像目标的成像而获得的数据发送至图像传感器20的外部，并且因此，增强成像目标的隐私保护。

此处，希望数据发送决策单元233通过使用循环神经网络rnn而检测第二行为。如此，不仅能够从第二捕获图像中识别成像目标的行为，而且还能够从第二捕获图像及在第二捕获图像之前输入的捕获图像中识别成像目标的行为。因此，期望以更高的准确度识别指示成像目标未感知到自身被成像的行为。

图14是描述根据本公开的第一实施方式的变形3的数据发送可用性决策的详细操作例的流程图。如图14中所描述的，与图9中所描述的实施例不同，在数据发送可用性决策s11中，在所检测到的面部是数据发送可用性列表中所包括的面部的情况下(在s113，“是”)，数据发送决策单元233通过使用rnn评估成像目标是否感知到自身被成像(s120)。在数据发送决策单元233判断成像目标未感知到自身被成像的情况下(在s121，“否”)，数据发送决策单元233判断数据发送不可用(s112)。另一方面，在数据发送决策单元233判断成像目标感知到自身被成像的情况下(在s121，“是”)，数据发送决策单元233判断数据发送可用(s116)。

随后，对本公开的第一实施方式的变形4进行描述。在上述描述中，在其中从捕获图像中检测到面部(面部的特征量)的情况下的变形3中指出了实施例(在s111，“是”)，判断所检测到的面部是否是数据发送列表中所包括的面部。然而，不可以判断所检测到的面部是否是数据发送列表中所包括的面部。

图15是描述根据本公开的第一实施方式的变形4的数据发送可用性决策的详细操作例的流程图。如图15中所描述的，与图14中所描述的实施例不同，在数据发送可用性决策s11中，在检测到面部(面部的特征量)的情况下(在s111，“是”)，数据发送决策单元233通过使用rnn评估成像目标是否感知到自身被成像(s120)。在数据发送决策单元233判断成像目标未感知到自身被成像的情况下(在s121，“否”)，数据发送决策单元233判断数据发送不可用(s112)。另一方面，在数据发送决策单元233判断成像目标感知到自身被成像的情况下(在s121，“是”)，数据发送决策单元233判断数据发送可用(s116)。

本公开的第一实施方式如上所述。

[1.4.第二实施方式]

随后，对本公开的第二实施方式进行描述。描述了根据本公开的第二实施方式的固态成像系统1的详细配置。图16是描述根据本公开的第二实施方式的固态成像系统1的详细配置例的示图。如图16中所描述的，本公开的第二实施方式与本公开的第一实施方式的不同在于，图像传感器20并不包括本地认证单元231和本地认证数据存储单元232。在这种情况下，不将元数据从图像传感器20发送至服务器装置40。

随后，对根据本公开的第二实施方式的图像传感器20的操作例进行描述。图17是描述根据本公开的第二实施方式的图像传感器20的操作例的流程图。如图17中所描述的，与图8中所描述的实施例不同，在判断数据发送可用的情况下(在s11，“通过”)，通过数据发送单元261将捕获图像发送至服务器装置40。此时，可以发出表示数据发送状态的通知(s16)。

然后，执行服务器装置40的服务器处理(s17)。具体地，通过数据发送单元440接收捕获图像(s18)，并且基于捕获图像执行服务器认证(s19)。服务器认证能够与上述所述第二认证对应。在服务器认证成功的情况下(在s19，“通过”)，认证成功(s15)。另一方面，在服务器认证失败的情况下(在s19，“未通过”)，认证失败(s20)。

本公开的第二实施方式如上所述。

[1.5.第三实施方式]

随后，对本公开的第三实施方式进行描述。描述了根据本公开的第三实施方式的固态成像系统1的详细配置。图18是描述根据本公开的第三实施方式的固态成像系统1的详细配置例的示图。如图18中所描述的，本公开的第三实施方式与本公开的第一实施方式的不同在于，固态成像系统1包括检测装置60。在这种情况下，通过检测装置60能够检测第一行为。例如，在检测装置60包括麦克风作为第一行为的情况下，可以使用预定语音的话语代替从捕获图像中所识别的姿势。可替代地，在检测装置60包括输入装置(例如，触摸面板等)作为第一行为的情况下，可以使用预定的输入操作(例如，对触摸面板的触摸操作等)。

本公开的第三实施方式如上所述。

[1.6.第四实施方式]

随后，对本公开的第四实施方式进行描述。描述了根据本公开的第四实施方式的固态成像系统1的详细配置。图19是描述根据本公开的第四实施方式的固态成像系统1的详细配置例的示图。如图19中所描述的，本公开的第四实施方式与本公开的第一实施方式的不同在于，固态成像系统1包括外部记录介质70代替服务器装置40。在这种情况下，可以将第二捕获图像或基于从图像传感器20发送的第二捕获图像的数据(元数据)记录在外部记录介质70中。应注意，可以将第二捕获图像或基于第二捕获图像的数据(元数据)从图像传感器20输出至应用30。

本公开的第四实施方式如上所述。

<2.结论>

如上所述，根据本公开的实施方式，提供一种固态成像装置，包括：成像单元，被配置为捕获第一捕获图像；存储控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息而从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中；以及发送控制单元，被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。

根据刚刚描述的该配置，因为控制将通过成像目标的成像而获得的数据发送至图像传感器的外部，所以能够进一步增强成像目标的隐私保护。

尽管参考所附附图对本公开的优选实施方式进行了详细描述，然而，本公开的技术范围并不局限于该实施方式。显而易见，在权利要求描述的技术构思的范围内，具有本公开的技术领域的常识的技术人员能够构思各种更改或改造，并且视为其自然属于本公开的技术范围。

例如，在上述描述中，已经描述了本公开的第一实施方式、本公开的第一实施方式的变形1至4、本公开的第二实施方式、本公开的第三实施方式、以及本公开的第四实施方式。从各种改实施方式及变形中，可以通过适当的方式对若干配置进行选择性地组合。

进一步地，本说明书中所描述的有利效果到最后是说明性或示出性的并且并非限制性。简言之，代替或除上述所述有利效果之外，根据本公开的技术能够从本说明书的描述中实现对本领域技术人员显而易见的其他有利效果。

应注意，如下所述的这种配置也落在本公开的技术范围内。

(1)一种固态成像装置，包括：

成像单元，被配置为捕获第一捕获图像；

存储控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，以将第一特征量存储到存储单元中；以及

发送控制单元，被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。

(2)根据上面(1)所述的固态成像装置，还包括：

第一认证单元，被配置为在从第二捕获图像中提取第二特征量的情况下，基于第二捕获图像执行第一认证；其中，

发送控制单元在第一认证成功的情况下控制基于第二捕获图像的数据的发送，并且在第一认证失败的情况下控制第二捕获图像的发送。

(3)根据上面(2)所述的固态成像装置，其中，

第一认证单元包括经过机器学习的第一神经网络。

(4)根据上面(3)所述的固态成像装置，其中，

包括经过机器学习的第二神经网络的第二认证单元存在于第二捕获图像的发送目的地中；并且

在第二认证单元执行的基于第二捕获图像的第二认证成功的情况下，第一认证单元基于第二神经网络的第二参数对第一神经网络的第一参数进行更新。

(5)根据上面(2)至(4)中任一项所述的固态成像装置，还包括：

多个半导体芯片，其中，

第一认证单元包括在多个半导体芯片之中、与包括成像单元的第一半导体芯片不同的第二半导体芯片中。

(6)根据上面(5)所述的固态成像装置，其中，

由第二半导体芯片中所包括的dsp实现第一认证单元。

(7)根据上面(5)或(6)所述的固态成像装置，还包括：

信号处理单元，被配置为对来自成像单元的输出信号执行信号处理；其中，

信号处理单元包括在多个半导体芯片之中、与第一半导体芯片和第二半导体芯片不同的第三半导体芯片中或第二半导体芯片中。

(8)根据上面(5)至(7)中任一项所述的固态成像装置，其中，

存储单元包括在多个半导体芯片之中、与第一半导体芯片和第二半导体芯片不同的第三半导体芯片中或第二半导体芯片中。

(9)根据上面(1)至(8)中任一项所述的固态成像装置，其中，

在第一特征量存储到存储单元中之后的流逝时间段超过预定时间段的情况下，发送控制单元停止第二捕获图像或基于第二捕获图像的数据的发送。

(10)根据上面(1)至(9)中任一项所述的固态成像装置，其中，

在从第二捕获图像中检测到成像目标的第二行为的情况下，发送控制单元停止第二捕获图像或基于第二捕获图像的数据的发送。

(11)根据上面(10)所述的固态成像装置，其中，

发送控制单元通过使用循环神经网络而对第二行为进行检测。

(12)根据上面(1)至(11)中任一项所述的固态成像装置，其中，

使用经过机器学习的第三神经网络提取第一特征量和第二特征量。

(13)根据上面(1)至(12)中任一项所述的固态成像装置，其中，

当检测到第一行为时，存储控制单元提取第一特征量，并将第一特征量存储到存储单元中。

(14)根据上面(1)至(12)中任一项所述的固态成像装置，其中，

当未检测到第一行为时，存储控制单元提取第一特征量，以将第一特征量存储到存储单元中。

(15)根据上面(1)至(14)中任一项所述的固态成像装置，其中，

发送控制单元控制将第二捕获图像或基于第二捕获图像的数据发送至应用、服务器装置、或外部记录介质。

(16)根据上面(2)至(8)中任一项所述的固态成像装置，其中，

在第一认证成功的情况下，执行基于通过第一认证而获得的数据的处理。

(17)根据上面(16)所述的固态成像装置，其中，

通过第一认证获得的数据包括从第二捕获图像中所识别的成像目标的识别信息。

(18)根据上面(4)所述的固态成像装置，其中，

在第二认证成功的情况下，执行基于通过第二认证而获得的数据的处理。

(19)一种固态成像方法，包括：

捕获第一捕获图像；并且

由处理器基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，并将第一特征量存储到存储单元中，并且当从第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制第二捕获图像或基于第二捕获图像的数据的发送。

(20)一种电子装备，包括：

应用；

成像单元，被配置为捕获第一捕获图像；以及

发送控制单元，被配置为基于与从第一捕获图像检测成像目标的第一行为有关的信息从第一捕获图像中提取成像目标的第一特征量，并将第一特征量存储到存储单元中，并且被配置为当从通过成像单元捕获的第二捕获图像中提取与第一特征量一致或相似的第二特征量时，控制将第二捕获图像或基于第二捕获图像的数据的发送至应用。

[参考标号列表]

1：固态成像系统

10：电子装备

20：图像传感器

210:cis

211：成像元件

212：a/d转换器

220：逻辑电路

221：信号处理单元

2211：阴影校正单元

2212：颜色混合校正单元

2213：数字增益调整单元

2214：白平衡增益调整单元

2215：波检测单元

2216：去马赛克处理单元

2217：伽马校正单元

230：dsp

231：本地认证单元

2311：归一化处理单元

2312：本地认证处理单元

232：本地认证数据存储单元233：数据发送决策单元2331：发送控制单元

2332：存储控制单元234：数据发送可用性列表存储单元240：存储器

250：选择器

261：数据发送单元

262：数据接收单元

30：应用

40：服务器装置

410：数据接收单元

420：服务器认证单元430：服务器认证数据存储单元440：数据发送单元

50：网络

60：检测装置

70：外部记录介质

l1：第一半导体芯片

l2：第二半导体芯片

l3：第三半导体芯片。