固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和程序与流程

本公开涉及一种固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和计算机程序。

背景技术：

近来，已经公开了在其上实现神经网络的各种装置。例如，专利文献1公开了一种基于所获取的网络结构的评估结果来搜索较高性能的网络结构的技术。

现有技术文献

专利文献

专利文献1：日本专利号2017-182710

技术实现要素：

本发明要解决的问题

包括互补金属氧化物半导体(cmos)和数字信号处理器(dsp)的图像传感器安装在诸如数字相机的仪器上。近来，例如，优选地在图像传感器上实现深度神经网络(dnn)的功能，并且执行高级处理以实现图像处理的多样化和加速、私人信息的保护等。

因此，本公开提供了能够改变要执行的dnn模型的固态图像捕获装置、信息处理装置、信息处理系统、信息处理方法和计算机程序。

问题的解决方案

为了解决上述问题，一种固态图像捕获装置包括：dnn处理单元，被配置为基于dnn模型对输入图像执行dnn；以及dnn控制单元，被配置为接收基于dnn的执行结果的评估信息而生成的控制信息，并基于该控制信息来改变dnn模型。

附图说明

图1是示出根据本公开的第一实施例的固态图像捕获系统的示例性配置的框图。

图2是用于描述根据本公开的第一实施例的固态图像捕获系统的示例性连接关系的示意图。

图3是示出根据本公开的第一实施例的固态图像捕获装置的示例性层压结构的示意图。

图4是用于描述示例性对象感测处理的图。

图5是示出根据本公开的第一实施例的固态图像捕获系统处的处理的示例性过程的序列图。

图6是示出根据本公开的第一实施例的固态图像捕获装置处的学习处理的示例性过程的流程图。

图7是示出根据本公开的第一实施例的固态图像捕获装置处的学习处理的示例性过程的流程图。

图8是用于描述根据本公开的第一实施例的对图像数据进行处理的示意图。

图9是示出根据本公开的第一实施例的固态图像捕获系统的示例性用例的图。

图10是示出根据本公开的第一实施例的修改例的固态图像捕获系统的示例性配置的框图。

图11是示出根据本公开的第二实施例的固态图像捕获系统的示例性配置的框图。

图12是用于描述根据本公开的第二实施例的固态图像捕获系统的示例性连接关系的示意图。

图13是用于描述根据本公开的第二实施例的固态图像捕获系统的示例性连接关系的示意图。

图14是示出根据本公开的第三实施例的固态图像捕获系统的示例性配置的框图。

图15是用于描述根据本公开的第三实施例的固态图像捕获系统的示例性连接关系的示意图。

图16是示出被配置为实现本公开的固态图像捕获装置和信息处理装置的功能的示例性计算机的硬件配置图。

图17是示出内窥镜手术的示例性示意配置的图。

图18是示出摄像头和ccu的示例性功能配置的框图。

图19是示出诊断支持系统的示例性示意配置的框图。

图20是示出车辆控制系统的示例性示意配置的框图。

图21是示出外部信息检测单元和图像捕获单元的示例性安装位置的说明性图。

具体实施方式

以下，将参考附图来详细地描述本公开的实施例。以下实施例中的相同部位由相同的附图标记表示，并且省略对其的重复描述。

将按照以下描述的内容顺序来描述本公开。

1.第一实施例

1-1根据第一实施例的固态图像捕获系统的配置

1-2根据第一实施例的固态图像捕获系统处的处理

1-3根据第一实施例的固态图像捕获系统的用例

1-4根据第一实施例的固态图像捕获系统的修改例

2.第二实施例

2-1根据第二实施例的固态图像捕获系统的配置

2-2根据第二实施例的固态图像捕获系统的修改例的配置

3.第三实施例

3-1根据第三实施例的固态图像捕获系统的配置

4.硬件配置

5.内窥镜手术的示例性应用

6.示例性应用1

7.移动对象的示例性应用

(1.第一实施例)

[1-1.根据第一实施例的固态图像捕获系统的配置]

下面参考图1和图2描述根据本公开的第一实施例的固态图像捕获系统的配置。图1是示出根据本公开的第一实施例的固态图像捕获系统的示例性配置的框图。图2是用于描述根据本公开的第一实施例的固态图像捕获系统的连接关系的图。

如图1所示出的，该固态图像捕获系统1包括固态图像捕获装置100和信息处理装置200。

如图2所示，固态图像捕获装置100和信息处理装置200设置在同一壳体10中。具体地，固态图像捕获装置100和信息处理装置200作为不同的芯片设置在同一壳体10中。固态图像捕获装置100和信息处理装置200各自安装为片上系统(soc)、多芯片模块(mcm)、系统级封装(sip)、小外形封装(smalloutlinepackage,sop)等。固态图像捕获系统1可以例如通过互联网通信网络300与外部装置连接，以在其间执行通信。在该情况下，固态图像捕获系统1可以例如通过无线通信与外部装置连接，以在其间执行通信。固态图像捕获系统1例如适用于虚拟个人助理(vpa)或车载相机。

如图1所示，固态图像捕获装置100包括图像捕获单元110、图像捕获处理单元120、dnn处理单元130、存储单元140、评估单元150、dnn控制单元160、选择器170、通信i/f180和通信控制单元190。

图3是示出根据第一实施例的固态图像捕获装置100的示例性层压结构的示意图。如图3所示出的，固态图像捕获装置100例如具有其中矩形形状的第一基板11与矩形形状的第二基板12彼此接合的层压结构。

第一基板11与第二基板12可以例如通过所谓的片上芯片(coc)方案而彼此接合，在该coc方案中，第一基板11和第二基板12被切片成芯片，并且然后切片后的第一基板11与第二基板12彼此接合。可替代地，第一基板11与第二基板12可以通过所谓的晶圆上芯片(cow)方案而彼此接合，在该cow方案中，第一基板11和第二基板12中的一个(例如，第一基板11)被切割成芯片，并且然后切片后的第一基板11接合到尚未被切片(换句话说，处于晶圆状态)的第二基板12。可替代地，第一基板11与第二基板12可以通过所谓的晶圆上晶圆(wow)方案而以晶圆状态彼此接合。

第一基板11与第二基板12可以例如通过等离子联接而联接在一起。然而，本公开不限于此，并且可以使用各种联接方法。

第一基板11和第二基板12的大小可以相同或不同。第一基板11和第二基板12是诸如硅基板的半导体基板。

在图1所示出的固态图像捕获装置100的部件当中，例如，图像捕获单元110设置在第一基板11上。

在图1所示出的固态图像捕获装置100的部件当中，例如，图像捕获处理单元120、dnn处理单元130、存储单元140、评估单元150、dnn控制单元160、选择器170、通信i/f180和通信控制单元190设置在第二基板12上。

因此，固态图像捕获装置100的图像捕获单元110堆叠并安装在除了该图像捕获单元110之外的部件上。

再次参照图1。例如，图像捕获单元110包括：光学系统，包括变焦透镜、聚焦透镜和光圈；以及像素阵列单元，像素阵列单元具有这样的配置，即单位像素中的每个包括以二维矩阵排列的诸如光电二极管的光接收元件。从外部入射的光通过光学系统成像到像素阵列单元中的其上排列有光接收元件的光接收表面上。像素阵列单元的每个单位像素对入射到光接收元件上的光进行光电转换，并且按照入射光的光量来生成图像数据。图像捕获单元110将因此捕获的图像数据输出到图像捕获处理单元120。

例如，图像捕获处理单元120将图像数据转换成数字图像数据。例如，图像捕获处理单元120对转换后的数字图像数据执行“预处理”、“数据扩展”和“数据归一化”。预处理是在推断和学习时在图像捕获单元110上执行的处理，并且包括诸如去变形(dewarping)、裁剪、透镜阴影校正、缩小和放大的处理。数据扩展是在学习时对图像数据执行的处理，并且例如包括改变图像数据的纵横比、平移图像数据、旋转图像数据、反转图像数据以及使图像数据几何变形的处理。数据扩展例如包括改变图像数据的颜色的灰度并变化颜色的处理。数据扩展例如还包括将噪声添加到图像数据的处理。数据归一化是在推断和学习时对图像数据执行的处理，并且例如包括将图像数据的像素值的平均值设定为零、将像素值的色散设定为1以及将部件之间的相关性设定为0以将图像数据白化的处理。图像捕获处理单元120将被执行了各种处理的数字图像数据输出到dnn处理单元130和选择器170。

dnn处理单元130通过基于例如存储在存储单元140中的dnn模型对图像数据执行dnn，来执行识别从图像捕获处理单元120输入的图像数据中所包括的对象的处理。具体地，dnn处理单元130对从图像捕获处理单元120接收的图像数据执行感测图像数据中所包括的对象的处理。dnn处理单元130将图像数据的dnn的执行结果输出到评估单元150。可以例如通过dsp来实现dnn处理单元130。换句话说，可以通过向dsp提供执行dnn的功能来实现dnn处理单元130。固态图像捕获装置100可以仅包括一个dnn处理单元130，或者可以包括多个dnn处理单元130。

下面参考图4描述由dnn处理单元130执行的示例性对象感测处理。图4是用于描述由dnn处理单元130执行的示例性对象感测处理的图。图4所示出的对象感测处理仅是示例性的，并不限制本公开。

如图4所示出的，dnn处理单元130例如执行图像分类处理、对象定位处理、对象识别处理、语义分割、实例分割和关键点检测处理。

图像分类处理是对整个图像数据中所包括的对象的种类进行分类的处理。例如，图像分类处理识别出图像数据中包括人和动物。

对象定位处理是对图像数据中所包括的主要对象的位置和种类进行分类的处理。例如，指定处理将人的位置指定为主要对象。

对象识别处理是对图像数据中所包括的多个对象的位置和种类进行分类的处理。例如，对象识别处理对人和动物进行分类，并且识别人和动物的位置。

语义分割是对图像数据中所包括的多个对象的位置和种类进行分类并且对同一种类的对象提供同一掩蔽的处理。例如，语义分割为人和动物提供不同种类的掩蔽。在该示例中，为每个动物提供相同的掩蔽。

实例分割是对图像数据中所包括的多个对象的位置和种类进行分类并且对每个对象提供掩蔽的处理。例如，实例分割为人和动物提供不同种类的掩蔽。

关键点检测处理是对图像数据中所包括的多个对象的位置和种类进行分类并且检测每个对象的关键点的处理。例如，关键点检测处理检测人的关键点。

再次参照图1。具体地，dnn处理单元130通过对从图像捕获处理单元120接收的图像数据执行例如卷积、偏差相加、激活计算和池化处理来执行对象感测处理。

dnn处理单元130在激活计算时使用的激活函数的示例包括恒等函数、sigmoid函数、softmax函数，阶跃函数、relu函数和tanh函数，但本公开不限于此。

例如，dnn处理单元130计算学习时的误差和损失函数的值。dnn处理单元130通过使用诸如梯度下降法、随机梯度下降法、牛顿法、拟牛顿法或误差反向传播法的方法来计算目标dnn模型的误差。dnn处理单元130通过使用诸如最小二乘误差或交叉熵误差的方法来计算损失函数的值。

例如，存储单元140在其中存储要由dnn处理单元130执行的至少一个dnn模型。存储单元140可以由诸如随机存取存储器(ram)、只读存储器(rom)或闪存的半导体存储元件来实现。

存储在存储单元140中的dnn模型的示例包括分类、对象感测、人体关键点识别、面部检测、面部识别、图像生成(例如，生成对抗网络(gan)、循环(例如，循环神经网络(rnn))和去噪模型。上述dnn种类仅是示例性的，而不限制本公开。

存储在存储单元140中的每个dnn模型与诸如id的标识信息相关联。换句话说，利用标识信息管理每个dnn模型并将该dnn模型存储在存储单元140中，使得可以基于标识信息从外部选择期望的dnn模型。具体地，可以基于标识信息从外部读取存储在存储单元140中的每个dnn模型并且通过添加、改变等来写入该dnn模型。存储在存储单元140中的dnn模型可以与固态图像捕获装置100的标识信息相关联。因此，当提供多个固态图像捕获装置100时，可以确定dnn模型存储在哪个装置中。存储单元140可以在其中存储一个或多个推断dnn模型，并且可以在其中存储一个或多个学习dnn模型。可替代地，存储单元140可以在其中存储推断dnn模型和一个或多个学习dnn模型。

通过模型信息来区分存储在存储单元140中的每个dnn模型。模型信息的示例包括输入图像大小、滤波器大小、滤波器值、滤波器编号、步幅数量、填充数量、偏差值、激活函数的种类、dnn的准确度、损失函数的值、批量大小、归一化的种类和学习率。dnn模型的上述模型信息仅是示例性的，而不限制本公开。

输入图像大小意指被执行dnn的图像数据的大小，并且由纵向像素的数量×横向像素的数量×通道数量来定义。通道数量意指输入图像的数量。

滤波器大小是应用于输入图像并由纵向像素的数量×横向像素的数量×通道数量来定义的滤波器。滤波器值是滤波器的权重并且是通过学习自动设定的值。通过将滤波器应用于输入图像来提取输入图像的特征量。在该示例中，当对输入图像执行正常卷积时，生成小于输入图像大小的特性图。当对输入图像执行转置卷积时，生成大于输入图像大小的特性图。

步幅数量意指在滤波器应用于输入图像时该滤波器的移动量。填充数量意指在应用滤波器之后特性图的边缘处的区域的大小。偏差值是独立于输入图像输入的值，并且偏差值通过学习而自动设置。

例如，激活函数的种类是如上所述的恒等函数、sigmoid函数、softmax函数，阶跃函数、relu函数或tanh函数。

dnn的准确度是对输入图像的识别的准确度，并且由本实施例中的评估单元150评估。损失函数的值是通过最小二乘误差、交叉熵误差等计算出的值。批量大小意指学习数据的数据采样数量。学习率意指dnn模型的学习计数。

存储单元140还可以存储例如学习数据。例如，学习数据是用于训练误差计算的训练数据或用于测试误差计算的测试数据。存储单元140可以在其中预先存储学习数据，或者可以存储在学习模式下的由图像捕获单元110捕获的图像数据作为学习数据。

当存储例如由图像捕获单元110捕获的图像数据作为学习数据时，存储单元140在其中将图像数据存储为原始(raw)数据。在该情况下，在学习之前，由图像捕获处理单元120向图像捕获单元110所捕获的图像数据提供“预处理”、“数据扩展”和“数据归一化”。当在该存储器140中存储图像数据而不是原始数据时，存储单元140也可以预先提供“预处理”、“数据扩展”和“数据归一化”。

评估单元150基于例如dnn处理单元130执行dnn的结果，通过评估dnn处理单元130的处理情形来生成评估信息。在推断时，评估单元150通过测量例如在dnn处理单元130执行dnn时使用的电力的消耗或dnn的识别准确度来生成评估信息。为了确定dnn的准确度，评估信息优选地包括与dnn的识别准确度相关的信息。在学习时，评估单元150通过测量例如dnn的识别准确度或损失函数的值来生成评估信息。评估单元150可以通过评估包括dnn处理单元130的固态图像捕获装置100的处理情形来生成评估信息。评估单元150将评估信息的至少部分发送到信息处理装置200。评估信息包括dnn模型的模型信息、dnn模型的标识信息、固态图像捕获装置100的标识信息、每个部件的电力消耗、每个部件的操作频率、帧速率以及包括类别分类的数量和所感测对象的数量(关注区域(roi)的数量)的分类的数量。评估信息中所包括的上述信息仅是示例性的，而不限制本公开。

dnn控制单元160从信息处理装置200的控制单元230获取控制信息。dnn控制单元160基于控制信息来改变存储在存储单元140中的dnn模型的参数。因此，dnn控制单元160将存储在存储单元140中的dnn模型改变为另一不同的dnn模型。具体地，例如，dnn控制单元160基于dnn模型的标识信息和固态图像捕获装置100的标识信息来搜索dnn模型，并读取该dnn模型。然后，例如，dnn控制单元160基于控制信息将添加、改变等写入dnn模型。另外，例如，dnn控制单元160基于控制信息新生成dnn模型并删除存储在存储单元140中的dnn模型。例如，dnn控制单元160可以将dnn模型改变完成的通知发送到信息处理装置200。

具体地，dnn控制单元160对dnn模型执行归一化、弃权(drop-out)、动量、权重初始化等。归一化是约束权重自由度以防止在学习时过度学习的处理。弃权是在学习时以预定的概率选择多层网络的单元并且更新权重的处理。动量是在学习时在计算权重计数的校正量以提高梯度下降法的收敛性能时，添加先前校正量的恒定倍数的处理。权重初始化是将初始值设定为由高斯分布给出的随机值的处理。

更具体地，dnn控制单元160优选地改变输入图像大小和存储在存储单元140中的dnn模型的滤波器大小中的至少一项。因此，可以针对各种图像数据执行dnn。

例如，dnn控制单元160通过基于控制信息控制dnn处理单元130来改变存储在存储单元140中的dnn模型的分类数量。例如，在初始存储的dnn模型基于这样的假设，即dnn针对室内图像数据而执行并且分类数量相对小时，该dnn模型可以改变为通过增加分类数量而可以应用于室外图像的dnn模型。

例如，dnn控制单元160基于控制信息来改变存储在存储单元140中的dnn模型的电力消耗。例如，当dnn处理单元130因执行dnn模型而过度消耗电力时，可以通过将dnn模型改变为电力消耗小的dnn模型来降低电力消耗耗。

例如，dnn控制单元160基于控制信息来改变存储在存储单元140中的dnn模型的识别准确度。例如，在dnn处理单元130执行的dnn模型导致识别准确度低时，将dnn模型改变为高识别准确度的dnn模型。因此，可以提高对象识别的准确度。当识别准确度高于所需时，将dnn模型改变为低识别准确度的dnn模型。因此，可以提高计算速度并减少电力消耗。

例如，dnn控制单元160可以基于控制信息将所执行的dnn模型切换为存储在存储单元140中存储的dnn模型。因此，可以使用存储在存储单元140中的dnn模型，而不新生成dnn模型，并且从而可以容易地执行dnn模型的改变。因此，可以容易地获得不同dnn的执行结果。

例如，选择器170从图像捕获处理单元120接收被提供了各种处理的数字图像数据。例如，选择器170从dnn处理单元130接收dnn执行结果。例如，选择器170从评估单元150接收评估信息。例如，选择器170根据来自该选择器的控制单元(未示出)的控制信号，将从图像捕获处理单元120、dnn处理单元130或评估单元150接收的数据选择性地输出到通信i/f180。

通信i/f180包括发送单元181和接收单元182。数据从固态图像捕获装置100通过发送单元181发送到信息处理装置200。数据从信息处理装置200通过接收单元182输入到固态图像捕获装置100。

通信控制单元190控制通信i/f180。因此，通信i/f180将数据发送到信息处理装置200，并从信息处理装置200接收数据。例如，通信控制单元190可以加密数据。当执行加密时，通信控制单元190可以使用诸如数据加密标准(des)或高级加密标准(aes)的公共密钥加密。通信控制单元可以使用诸如电子码本(ecb)、密码块链接(cbc)、密码反馈(cfb)、输出反馈(ofb)和计数器(ctr)的加密模式。

信息处理装置200包括通信i/f210、通信控制单元220和控制单元230。在第一实施例中，信息处理装置200可以例如由应用处理器来实现。

通信i/f210包括接收单元211和发送单元212。数据从固态图像捕获装置100通过接收单元211输入到控制单元230。数据从信息处理装置200通过发送单元212发送到固态图像捕获装置100。

通信控制单元220控制通信i/f210。因此，通信i/f210将数据发送到信息处理装置200，并且从信息处理装置200接收数据。例如，通信控制单元220可以加密数据并且与固态图像捕获装置100传输数据。当执行加密时，通信控制单元220可以使用诸如des或aes的公共密钥加密。通信控制单元220可以使用诸如ecb、cbc、cfb、ofb和ctr的加密模式。

例如，控制单元230通过通信i/f210从固态图像捕获装置100获取由评估单元150生成的评估信息。控制单元230基于评估信息来生成用于改变dnn模型的控制信息。例如，控制单元230将控制信息发送到固态图像捕获装置100，以使固态图像捕获装置100执行另一dnn模型。具体地，例如，控制单元230将控制信息发送到固态图像捕获装置100以改变dnn模型的分类数量、识别准确度和电力消耗。因此，可以根据固态图像捕获装置100周围的环境来执行最佳dnn。控制信息包括与dnn模型的模型信息、dnn模型的标识信息、固态图像捕获装置100的标识信息、电力消耗、操作频率、帧速率和分类数量相关的用于改变的信息。

例如，控制单元230优选地获取与存储在固态图像捕获装置100的存储单元140中的dnn模型相关的信息。因此，控制单元230可以基于存储在固态图像捕获装置100的存储单元140中的dnn模型来生成控制信息。因此，固态图像捕获装置100可以有效地改变dnn模型。

[1-2.根据第一实施例的固态图像捕获系统处的处理]

下面参考图5来描述固态图像捕获装置100和信息处理装置200处的处理。图5是示出固态图像捕获装置100和信息处理装置200处的处理过程的序列图。

首先，固态图像捕获装置100对输入图像执行dnn(步骤s101)。具体地，固态图像捕获装置100使dnn处理单元130从存储单元140读取dnn模型，并对输入图像执行dnn。

随后，固态图像捕获装置100生成dnn的评估信息(步骤s102)。具体地，固态图像捕获装置100使评估单元150生成评估信息。

随后，固态图像捕获装置100将评估信息发送到信息处理装置200(步骤s103)。具体地，固态图像捕获装置100使评估单元150通过通信i/f180将评估信息发送到信息处理装置200。

随后，信息处理装置200生成控制信息(步骤s104)。具体地，信息处理装置200使控制单元230基于评估信息生成控制信息。

随后，信息处理装置200将控制信息发送到固态图像捕获装置100(步骤s105)。

随后，固态图像捕获装置100改变dnn(步骤s106)。具体地，固态图像捕获装置100使dnn控制单元160改变存储在存储单元140中的dnn模型。

下面参考图6来描述使用dnn的学习操作。图6是示出使用预先存储在存储单元中的数据和使用基于控制信号的dnn的学习处理的过程的流程图。

首先，固态图像捕获装置100设定dnn模型的参数(步骤s201)。具体地，固态图像捕获装置100基于来自信息处理装置200的控制信号，使dnn控制单元160控制dnn处理单元130以设定存储在存储单元140中的dnn模型的参数。

随后，固态图像捕获装置100执行dnn(步骤s202)。具体地，固态图像捕获装置100使dnn处理单元130基于具有在步骤s201中改变的参数的dnn模型来执行dnn模型。

随后，固态图像捕获装置100评估在步骤s202中执行的dnn(步骤s203)。具体地，固态图像捕获装置100使评估单元150计算损失函数的值和dnn的准确度。

随后，固态图像捕获装置100执行学习，直到损失函数的值和dnn的准确度达到期望值为止(步骤s204)。具体地，固态图像捕获装置100基于控制信号使dnn处理单元130执行学习，直到损失函数的值和dnn的准确度达到期望值为止。

随后，固态图像捕获装置100将达到了期望值的dnn模型存储在存储单元中(步骤s205)。具体地，固态图像捕获装置100使dnn控制单元160控制dnn处理单元130以将dnn模型存储在存储单元140中。

下面参考图7和图8描述了在图像捕获单元110按顺序地执行图像捕获的同时执行的学习处理。图7是示出在图像捕获单元110按顺序地执行图像捕获的同时执行的学习处理的过程的流程图。图8是用于描述对图像数据的处理的示意图。

首先，固态图像捕获装置100执行可选对象的图像捕获(步骤s301)。具体地，固态图像捕获装置100使图像捕获单元110执行可选对象的图像捕获。

随后，固态图像捕获装置100处理通过图像捕获而获得的图像数据(步骤s302)。具体地，固态图像捕获装置100使图像捕获处理单元120对图像数据执行预处理、数据扩展和数据归一化中的任一者。

随后，固态图像捕获装置100将批量数量存储在存储单元140中(步骤s303)。具体地，固态图像捕获装置100使dnn处理单元130将批量数量存储在存储单元140中。

随后，固态图像捕获装置100设定dnn模型的参数(步骤s304)。具体地，固态图像捕获装置100使dnn控制单元160控制dnn处理单元130以设定存储在存储单元140中的dnn模型的参数。

随后，固态图像捕获装置100执行dnn(步骤s305)。具体地，固态图像捕获装置100使dnn处理单元130基于具有在步骤s304中改变的参数的dnn模型来执行dnn模型。更具体地，dnn处理单元130针对多个图像数据执行dnn模型，并且针对每个图像数据输出识别结果。在该处理中，dnn处理单元130被设定为处于推断理论模式。例如，如图8所示出的，第一图像数据id1、通过转换第一图像数据id1的纵横比而获得的第二图像数据id2以及通过对第一图像数据id1施加噪声而获得的第三图像数据id3输入到dnn处理单元130。然后，dnn处理单元130输出第一识别结果rr1、第二识别结果rr2和第三识别结果rr3以分别作为第一图像数据id1、第二图像数据id2和第三图像数据id3的识别结果。在第一识别结果rr1、第二识别结果rr2和第三识别结果rr3中的每个中识别面部位置。在第一识别结果rr1、第二识别结果rr2和第三识别结果rr3中识别到出的面部位置彼此重叠地布置以作为第四识别结果rr4。

随后，固态图像捕获装置100评估在步骤s305中执行的dnn(步骤s306)。具体地，固态图像捕获装置100使评估单元150计算损失函数的值和dnn的准确度。另外，固态图像捕获装置100使评估单元150基于dnn的准确度的值和损失函数的值来生成评估信息。

随后，固态图像捕获装置100基于识别结果和评估信息生成正确答案数据(步骤s307)。具体地，固态图像捕获装置100使评估单元150基于第一识别结果rr1、第二识别结果rr2、第三识别结果rr3、评估信息等来生成正确答案数据。例如，如图8所示出的，评估单元150通过计算第一识别结果rr1、第二识别结果rr2和第三识别结果rr3的平均值来生成正确答案数据。在该示例中，评估单元150通过使用算术平均来生成正确答案数据，但也可以通过使用加权平均来生成正确答案数据。例如，评估单元150可以从平均处理中排除识别结果当中的准确度等于或低于预先确定的阈值的识别结果(具有低准确度的识别结果)。当计算识别结果的平均值时，评估单元150优选地相对于原始图像数据校正每个识别结果的坐标(位置关系)。例如，对于由图像捕获处理单元120平移的图像数据，由dnn处理单元130获得的识别结果也从原始图像数据平移。因此，评估单元150优选地将识别结果平移并校正为具有与平均之前的原始图像数据的坐标相同的坐标。

随后，固态图像捕获装置100将正确答案数据和图像数据存储在存储单元140中(步骤s308)。具体地，固态图像捕获装置100致评估单元150将正确答案数据和图像数据存储在存储单元140中作为学习数据ld1。因此，在本实施例中，固态图像捕获装置100可以基于多个认证结果自动生成教师数据。换句话说，注释过程可以自动化进行，而无需手动操作。

随后，固态图像捕获装置100执行学习，直到损失函数的值和dnn的准确度达到期望值为止(步骤s309)。具体地，固态图像捕获装置100基于控制信号使dnn处理单元130执行学习，直到损失函数的值和dnn的准确度达到期望值为止。更具体地，如图8所示出的，dnn控制单元160控制dnn处理单元130以通过使用步骤s308中的存储在存储单元140中的学习数据ld1来执行在步骤s305中使用的dnn模型的学习。在该过程中，dnn处理单元130被设定为处于学习模式。注意，dnn处理单元130可以通过将学习数据ld1与预先存储在存储单元140中的学习数据混合使用来执行dnn模型的学习。在该情况下，优选地，将在步骤s303中存储的批量数量中所包括的恒定数量的所生成的多个学习数据进行混合。dnn处理单元130可以仅通过使用学习数据ld1来执行学习。如上所述，在本实施例中，自动化进行注释过程。因此，在本实施例中，可以自动执行dnn模型的学习，而无需从固态图像捕获装置100向外部输出图像数据。

随后，固态图像捕获装置100将学习结果存储在存储单元140中(步骤s310)。具体地，固态图像捕获装置100使dnn控制单元160控制dnn处理单元130以将完成了学习的dnn模型存储在存储单元140中。

注意，评估单元150可以通过使用步骤s310中的存储在存储单元140中的完成了学习的dnn模型再次执行上述处理来生成学习数据。固态图像捕获装置100不仅可以通过使用由图像捕获单元110捕获的图像数据而且还可以通过使用存储在存储单元140中的学习图像数据来执行dnn模型的学习。

[1-3.根据第一实施例的固态图像捕获系统的用例]

下面参考图9来描述改变dnn模型时的用例。图9是列出了改变dnn模型时的用例的表格。

用例1是dnn处理单元130在推断时的操作。在该操作中，固态图像捕获装置100的评估单元150生成所执行的dnn模型的评估信息。信息处理装置200的控制单元230基于评估信息来确定目标性能。在该情况下，目标性能被设定为控制信息。换句话说，在用例1中，控制信息不包括dnn模型的参数。然后，固态图像捕获装置100的dnn控制单元160基于控制信息来确定dnn模型的参数，并将参数设定到dnn模型。

用例2是dnn处理单元130在推断时的操作。在该操作中，固态图像捕获装置100的评估单元150生成所执行的dnn模型的评估信息。信息处理装置200的控制单元230基于评估信息来确定目标性能，并且确定dnn模型的参数。在该情况下，dnn模型的参数被设定为控制信息。换句话说，在用例2中，控制信息包括目标设定和dnn模型的参数。然后，固态图像捕获装置100的dnn控制单元160基于控制信息来确定dnn模型的参数，并且将参数设定到dnn模型。

用例3是dnn处理单元130在学习时的操作。在该操作中，固态图像捕获装置100的评估单元150生成所执行的dnn模型的评估信息。信息处理装置200的控制单元230基于评估信息来确定目标性能。在该情况下，目标性能被设定为控制信息。换句话说，在用例3中，控制信息不包括dnn模型的参数。然后，固态图像捕获装置100的dnn控制单元160基于控制信息来确定dnn模型的参数，并将参数设定到dnn模型。

用例4是dnn处理单元130在学习时的操作。在该操作中，固态图像捕获装置100的评估单元150生成所执行的dnn模型的评估信息。信息处理装置200的控制单元230基于评估信息来确定目标性能，并且确定dnn模型的参数。在该情况下，dnn模型的参数被设定为控制信息。换句话说，在用例4中，控制信息包括目标设定和dnn模型的参数。然后，固态图像捕获装置100的dnn控制单元160基于控制信息来确定dnn模型的参数，并且将参数设定到dnn模型。

[1-4.根据第一实施例的固态图像捕获系统的修改例]

下面参考图10描述根据第一实施例的修改例的固态图像捕获系统的配置。图10是示出根据第一实施例的修改例的固态图像捕获系统的配置的框图。

如图10所示出的，该固态图像捕获系统1a包括固态图像捕获装置100a和信息处理装置200。

固态图像捕获装置100a包括图像捕获单元110-1和图像捕获单元110-2、图像捕获处理单元120-1和图像捕获处理单元120-2、dnn处理单元130-1和dnn处理单元130-2、存储单元140-1和存储单元140-2、评估单元150-1和评估单元150-2、dnn控制单元160-1和dnn控制单元160-2、选择器170-1和选择器170-2、复用器171、解复用器172、通信i/f180和通信控制单元190。因此，固态图像捕获装置100a包括两个图像捕获单元、两个图像捕获处理单元、两个dnn处理单元、两个存储单元、两个评估单元、两个dnn控制单元和两个选择器。

在这种情况下，一个固态图像捕获装置100a-1由图像捕获单元110-1、图像捕获处理单元120-1、dnn处理单元130-1、存储单元140-1、评估单元150-1、dnn控制单元160-1和选择器170-1构成。另外，一个固态图像捕获装置100a-2由图像捕获单元110-2、图像捕获处理单元120-2、dnn处理单元130-2、存储单元140-2、评估单元150-2、dnn控制单元160-2和选择器170-2构成。固态图像捕获装置100a-1和固态图像捕获装置100a-2中所包括的每个部件与固态图像捕获装置100中的部件相同，并因此省略对其的描述。

从固态图像捕获装置100a-1和固态图像捕获装置100a-2输出的信号输入到复用器171。复用器171将从固态图像捕获装置100a-1和固态图像捕获装置100a-2输出的信号一并输入到通信i/f180的发送单元181。因此，从固态图像捕获装置100a-1和固态图像捕获装置100a-2输出的信号发送到信息处理装置200。

从信息处理装置200输出的控制信息通过通信i/f180的接收单元182输入到解复用器172。解复用器172将输入的控制信息划分成两条，并将这两条信息分别输入到dnn控制单元160-1和dnn控制单元160-2。因此，控制信息输入到固态图像捕获装置100a-1和固态图像捕获装置100a-2。

在图10中，固态图像捕获装置100a-1和固态图像捕获装置100a-2中的每个包括存储单元、评估单元和dnn控制单元，但该配置仅是示例性的，并不限制本公开。固态图像捕获装置100a-1和固态图像捕获装置100a-2可以共享存储单元、评估单元和dnn控制单元。

(2.第二实施例)

[2-1.根据第二实施例的固态图像捕获系统的配置]

下面参考图11和图12描述根据本公开的第二实施例的固态图像捕获系统的配置。图11是示出根据本公开的第二实施例的固态图像捕获系统的示例性配置的框图。图12是用于描述根据本公开的第二实施例的固态图像捕获系统的连接关系的图。

如图11所示出的，该固态图像捕获系统1b包括固态图像捕获装置100和信息处理装置200a。固态图像捕获系统1b中所包括的每个装置的部件和操作与根据第一实施例的固态图像捕获系统1的部件和操作相同，因此省略对其的描述。

如图12所示出的，固态图像捕获装置100与信息处理装置200a例如通过互联网通信网络300彼此连接，以在其间执行通信。在该情况下，固态图像捕获装置100的通信i/f180与信息处理装置200a的通信i/f210可以通过互联网通信网络300彼此连接，以在其间执行通信。固态图像捕获装置100的通信i/f180与信息处理装置200a的通信i/f210可以通过无线通信彼此连接，以在其间执行通信。在第二实施例中，信息处理装置200a例如是云服务器，该云服务器通过互联网通信网络300和无线通信与固态图像捕获装置100连接，以在其间执行通信。固态图像捕获系统1b例如适用于工厂自动化(fa)或监控相机。

[2-2.根据第二实施例的固态图像捕获系统的修改例的配置]

下面参考图13描述根据本公开的第二实施例的固态图像捕获系统的配置。图13是用于描述根据本公开的第二实施例的固态图像捕获系统的连接关系的修改例的图。

该固态图像捕获系统1b-1包括固态图像捕获装置100-1、固态图像捕获装置100-2、...以及固态图像捕获装置100-n(n是等于或大于3的整数)、信息处理装置200a-1、信息处理装置200a-2、...以及信息处理装置200-n。具体地，在固态图像捕获系统1b-1中，多个固态图像捕获装置中的每个通过互联网通信网络300与多个信息处理装置中的每个连接，以在其间执行通信。在固态图像捕获系统1b-1中，固态图像捕获装置的数量与信息处理装置的数量可以彼此相等或者可以彼此不同。

尽管固态图像捕获系统1b-1包括多个固态图像捕获装置和多个信息处理装置，但该配置仅是示例性的，并不限制本公开。固态图像捕获系统1b-1可以例如包括一个固态图像捕获装置和多个信息处理装置。可替代地，固态图像捕获系统1b-1可以例如包括多个固态图像捕获装置和一个信息处理装置。

(3.第三实施例)

[3-1.根据第三实施例的固态图像捕获系统的配置]

下面参考图14和图15描述根据本公开的第三实施例的固态图像捕获系统的配置。图14是示出根据本公开的第三实施例的固态图像捕获系统的示例性配置的框图。图15是用于描述根据本公开的第三实施例的固态图像捕获系统的连接关系的图。

如图14所示出的，该固态图像捕获系统1c包括固态图像捕获装置100、信息处理装置200b和电池400。固态图像捕获装置100的部件与根据第一实施例的固态图像捕获系统1的固态图像捕获装置100的部件相同，因此省略对其的描述。

如图15所示出的，信息处理装置200b设置在固态图像捕获装置100内部。固态图像捕获装置100和信息处理装置200中的每个被安装为soc、mcm、sip、sop等。电池400与固态图像捕获系统1c连接。电池400向固态图像捕获系统1c供应电力。固态图像捕获系统1c例如可适用于物联网(iot)相机。

再次参照图14。信息获取装置200b包括控制单元230。在第三实施例中，评估单元150例如将评估信息直接输出到控制单元230。

控制单元230例如从评估单元150接收评估信息。控制单元230例如与电池400连接，并测量电池400的电力剩余量。在该情况下，控制单元230例如基于评估信息和电池400的电力剩余量来生成用于改变dnn模型的控制信息。具体地，当电池400的电力剩余量低时，控制单元230生成用于将dnn模型改变为电力消耗小的另一dnn模型的控制信息。然后，控制单元230将所生成的控制信息直接输入到dnn控制单元160。因此，dnn控制单元160可以通过控制dnn处理单元130来根据电池400的电力剩余量执行对dnn模型的改变。

(4.硬件配置)

通过例如具有如图16所示出的配置的计算机100来实现根据上述每个实施例的固态图像捕获装置和信息处理装置。下面描述了具有根据第一实施例的固态图像捕获装置100的示例。图16是示出被配置为实现固态图像捕获装置100的功能的示例性计算机1000的硬件配置图。计算机1000包括cpu1100、ram1200、rom(只读存储器)1300、hdd(硬盘驱动器)1400、通信接口1500和输入-输出接口1600。计算机1000的部件通过总线1050彼此连接。

cpu1100基于存储在rom1300或hdd1400中的计算机程序进行操作，并且执行每个部件的控制。例如，cpu1100通过将存储在rom1300或hdd1400中的计算机程序加载到ram1200上来执行与各种计算机程序相对应的处理。

rom1300在其中存储有诸如在计算机1000启动时由cpu1100执行的基本输入输出系统(bios)、取决于计算机1000的硬件的计算机程序等的引导程序。

hdd1400是由cpu1100执行的计算机程序、供计算机程序使用的数据等以非暂时方式记录在其中的计算机可读记录介质。具体地，hdd1400是记录根据本公开的计算机程序的记录介质，该计算机程序是示例性计算机程序数据1450。

通信接口1500是用于连接计算机1000与外部网络1550(例如，互联网)的接口。例如，通过通信接口1500，cpu1100从另一仪器接收数据，并且由cpu1100生成的数据被发送到另一仪器。

输入-输出接口1600是用于将计算机1000与输入-输出装置1650连接的接口。例如，cpu1100通过输入-输出接口1600从诸如键盘或鼠标的输入装置接收数据。cpu1100通过输入-输出接口1600将数据发送到诸如显示器、扬声器或打印机的输出装置。输入-输出接口1600可以用作用于读取记录在预定记录介质中的计算机程序等的介质接口。介质例如是诸如数字通用盘(dvd)或相变可重写盘(pd)的光记录介质、诸如磁光盘(mo)的磁光记录介质、磁带介质、磁记录介质或半导体存储器。

例如，当计算机1000用作根据第一实施例的固态图像捕获装置100时，计算机1000的cpu1100通过执行加载到ram1200上的计算机程序来实现固态图像捕获装置100中所包括的每个部件的功能。hdd1400在其中存储有根据本公开的计算机程序。注意，cpu1100从hdd1400读取计算机程序数据1450并且执行计算机程序数据1450，但例如可以通过外部网络1550从另一装置获取这些计算机程序。

(5.内窥镜手术的示例性应用)

本公开的技术(本技术)适用于各种产品。例如，本公开的技术可以应用于内窥镜手术。

图17是示出本公开的技术(本技术)适用的内窥镜手术的示例性示意配置的图。

图17示出操作者(医生)11131通过使用该内窥镜手术系统11000对病床11133上的患者11132执行医疗手术的情形。如图17所示出的，内窥镜手术系统11000包括内窥镜11100、诸如气腹管11111和能量治疗仪器11112的其它手术仪器11110、支撑内窥镜11100的支撑臂装置11120以及其上安装有用于内窥镜医疗手术的各种装置的推车11200。

内窥镜11100包括镜筒11101和摄像头11102，该镜筒11101的从前端延伸预定长度的区域插入患者11132的体腔中，该摄像头11102与镜筒11101的底端连接。在所示出的示例中，内窥镜11100被配置为包括刚性的镜筒11101的所谓的刚性镜，但内窥镜11100也可以被配置为包括柔性的镜筒的所谓的柔性镜。

在镜筒11101的前端处设置有装配物镜的开口。光源装置11203与内窥镜11100连接，并且由光源装置11203生成的光通过在镜筒11101内部延伸的光导引导到镜筒11101的前端，并且通过物镜朝向患者11132的体腔中的观察目标发射。注意，内窥镜11100可以是直视镜、斜视镜或侧视镜。

光学系统和图像捕获元件设置在摄像头11102内部，并且来自观察目标的反射光(观察光)通过光学系统会聚到图像捕获元件上。通过图像捕获元件对观察光进行光电转换，使得生成与观察光相对应的电信号，换句话说，与观察图像相对应的图像信号。图像信号作为原始数据发送到相机控制单元(ccu)11201。

ccu11201包括中央处理单元(cpu)和图形处理单元(gpu)，并且一并控制内窥镜11100和显示装置11202的操作。另外，ccu11201从摄像头11102接收图像信号，并且向该图像信号提供诸如图像显影处理(去马赛克处理)的各种图像处理，以基于该图像信号来显示图像。

显示装置11202在ccu11201的控制下基于被ccu11201提供了图像处理的图像信号来显示图像。

光源装置11203包括诸如发光二极管(led)的光源，并且向内窥镜11100供应用于对手术部位等进行图像捕获的照射光。

输入装置11204是用于内窥镜手术系统11000的输入接口。用户可以通过输入装置11204向内窥镜手术系统11000输入各种信息和指令。例如，用户输入改变内窥镜11100的图像捕获条件(诸如，照射光的种类、放大倍率和焦距)的指令。

治疗仪器控制装置11205控制能量治疗仪器11112的驱动，以用于组织烧灼、切片、血管密封等。气腹装置11206通过气腹管11111将气体供给到体腔中，从而使患者11132的体腔膨胀，以获得内窥镜11100的视野和操作者的工作空间。记录仪11207是能够记录与医疗手术相关的各种信息的装置。打印机11208是能够以文本、图像、图形等各种格式来打印与医疗手术相关的各种信息的装置。

注意，可以通过被配置为例如led、激光束源或其组合的白光源来实现向内窥镜11100供应进行手术部位图像捕获的照射光的光源装置11203。当白光源被配置为rgb激光束光源的组合时，可以高度精确地控制每种颜色(波长)的输出强度和输出定时，从而可以在光源装置11203处调整捕获图像的白平衡。另外，在该情况下，可以通过以时分方式利用来自各个rgb激光束源的激光束照射观察目标并且与照射定时同步地控制摄像头11102的图像捕获元件的驱动，来以时分方式捕获与rgb中的每个相对应的图像。利用该方法，可以获得彩色图像而无需为图像捕获元件提供滤色器。

另外，可以控制光源装置11203的驱动，使得输出光的强度在每个预定时间改变。与光强度改变的定时同步地控制摄像头11102的图像捕获元件的驱动，从而以时分方式获取图像。可以合成图像以生成高动态范围的图像，而没有所谓的曝光不足和过度曝光的情况。

光源装置11203能够供应用于特殊光观察的预定波长带的光。在特殊光观察中，例如，执行所谓的窄带光观察(窄频带成像)，在该窄频带光观察中，通过使用身体组织的光吸收的波长依赖性，通过照射比通常观察时的照射光(换句话说，白光)的频带窄的频带下的光，以高对比度捕获粘膜表层上的诸如血管的预定组织。可替代地，在特殊光观察中，可以执行荧光观察，在该荧光观察中，使用通过利用激发光照射而生成的荧光来获得图像。在荧光观察中，例如，用激发光照射身体组织以观察来自身体组织的荧光(自发荧光观察)，或者将诸如吲哚菁绿(icg)的试剂局部地注射到身体组织中，并且利用与该试剂的荧光波长相对应的激发光照射身体组织，以获得荧光图像。光源装置11203能够供应与这种特殊光观察相对应的窄带光和/或激发光。

图18是示出图17所示出的摄像头11102和ccu11201的示例性功能配置的框图。

摄像头11102包括透镜单元11401、图像捕获单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。ccu11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和ccu11201通过传输电缆11400彼此连接，以在其间执行通信。

透镜单元11401是设置在与镜筒11101连接的部分处的光学系统。从镜筒11101的前端获取的观察光被引导到摄像头11102，并入射到透镜单元11401上。透镜单元11401通过组合包括变焦透镜和聚焦透镜的多个透镜而形成。

图像捕获单元11402包括图像捕获元件。图像捕获单元11402可以包括一个图像捕获元件(所谓的单板配置)或多个图像捕获元件(所谓的多板配置)。当图像捕获单元11402具有多板配置时，例如，可以由各个图像捕获元件生成与rgb相对应的图像信号，并将该图像信号合成以获得彩色图像。可替代地，图像捕获单元11402可以包括用于分别获取用于三维(3d)显示的左眼图像信号和右眼图像信号的一对图像捕获元件。当执行3d显示时，操作者11131可以更准确地理解手术部位处的活体组织的深度。注意，当图像捕获单元11402具有多板配置时，为各个图像捕获元件提供多个透镜单元11401。

图像捕获单元11402不必需要设置于摄像头11102。例如，图像捕获单元11402可以正好设置在镜筒11101内部的物镜之后。

驱动单元11403由致动器实现并且在摄像头控制单元11405的控制下，使透镜单元11401的变焦透镜和聚焦透镜中的每个沿着光轴移动预定距离。因此，可以适当地调整由图像捕获单元11402捕获的图像的放大倍率和焦点。

通信单元11404由用于与ccu11201进行各种信息的通信的通信装置来实现。通信单元11404通过传输电缆11400将从图像捕获单元11402获取的图像信号作为原始数据发送到ccu11201。

通信单元11404从ccu11201接收用于控制摄像头11102的驱动的控制信号，并将控制信号供应到摄像头控制单元11405。控制信号包括诸如关于指定捕获图像的帧速率的信息、关于指定图像捕获时的曝光值的信息和/或关于指定捕获图像的放大倍率和焦点的信息的与图像捕获条件相关的信息。

注意，诸如帧速率、曝光值、放大倍率和焦点的上述图像捕获条件可以由用户适当地指定，或者可以由ccu11201的控制单元11413基于所获取的图像信号而自动设定。在后一种情况下，内窥镜11100具有所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。

摄像头控制单元11405基于通过通信单元11404从ccu11201接收的控制信号来控制摄像头11102的驱动。

通信单元11411由用于与摄像头11102进行各种信息的通信的通信装置来实现。通信单元11411通过传输电缆11400接收从摄像头11102发送的图像信号。

通信单元11411将用于控制摄像头11102的驱动的控制信号发送到摄像头11102。可以通过电通信、光通信等来发送图像信号和控制信号。

图像处理单元11412对从摄像头11102发送的作为原始数据的图像信号执行各种图像处理。

控制单元11413执行与由内窥镜11100进行的手术部位等的图像捕获以及通过手术部位等的图像捕获而获得的捕获图像的显示相关的各种控制。例如，控制单元11413生成用于控制摄像头11102的驱动的控制信号。

另外，控制单元11413基于被图像处理单元11412执行了图像处理的图像信号来使显示装置11202显示手术部位等的捕获图像。在该情况下，控制单元11413可以通过使用各种图像识别技术来识别所捕获图像中的各种对象。例如，控制单元11413检测捕获图像中所包括的每个对象的边缘形状、颜色等，以识别例如诸如手术钳的手术仪器，特定的活体部位、出血和在使用能量治疗仪器11112时的雾。当使显示装置11202显示捕获图像时，控制单元11413使用识别的结果，以叠加的方式在手术部位的图像上显示各种手术支持信息。当手术支持信息以叠加方式显示并呈现给操作者11131时，可以减轻操作者11131的负担，并且操作者11131可以可靠地执行医疗手术。

连接摄像头11102与ccu11201的传输电缆11400是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或其复合电缆。

在所示出的示例中，使用传输电缆11400以有线方式执行通信，但也可以以无线方式执行摄像头11102与ccu11201之间的通信。

以上描述是对适用本公开的技术的内窥镜手术的示例进行的。本公开的技术适用于例如上述部件当中的内窥镜11100、摄像头11102的图像捕获单元11402和ccu11201的图像处理单元11412。具体地，根据本公开的固态图像捕获装置100适用于内窥镜11100、摄像头11102的图像捕获单元11402、ccu11201的图像处理单元11412等。当本公开的技术应用于这些部件时，可以提高内窥镜手术的性能。例如，可以通过使用具有扩大的动态范围的固态图像捕获装置100来获得高清的捕获图像。具体地，在活体的内部和外部进行图像捕获时，容易识别到灰度差异大的地方处的对象。另外，固态图像捕获装置可以执行快速操作，这导致从对象感测到摄像头11102的控制等的操作所花费的时间减少。

(6.示例性应用1)

本公开的技术适用于各种产品。例如，本公开的技术可以应用于医生等通过观察从患者收集的细胞和组织来诊断病变的病理诊断系统以及用于诊断的支持系统(下文中被称为诊断支持系统)。诊断支持系统可以是整体载玻片成像(wsi)系统，该整体载玻片成像基于通过使用数字病理技术获取的图像来诊断病变或支持诊断。

图19是示出应用本公开的技术的诊断支持系统5500的示例性示意配置的图。如图19所示出的，诊断支持系统5500包括一个或多个病理系统5510。诊断支持系统5500还可以包括医疗信息系统5530和推导装置5540。

一个或多个病理系统5510中的每个是主要供病理医生使用并且安装在例如实验室或医院中的系统。病理系统5510可以彼此安装在不同的医院中，并且每个病理系统5510通过诸如广域网(wan)(包括互联网)、局域网(lan)、公共网络和移动通信网络的各种网络与医疗信息系统5530和推导装置5540连接。

每个病理系统5510包括显微镜5511、服务器5512、显示控制装置5513和显示装置5514。

显微镜5511具有光学显微镜的功能，对设置于载玻片上的观察对象执行图像捕获，并且将病理图像获取为数字图像。观察对象是例如从患者收集的组织或细胞，或者可以是器官、唾液或血液。

服务器5512将显微镜5511所获取的病理图像存储并记录在存储单元(未图示)中。当已经从显示控制装置5513接收到浏览请求时，服务器5512在存储单元(未图示)中搜索病理图像，并且将搜索到的病理图像传送到显示控制装置5513。

显示控制装置5513将从用户接收到的浏览病理图像的请求传送到服务器5512。然后，显示控制装置5513使用液晶显示器、电致发光(el)显示器或阴极射线管(crt)显示器在显示装置5514上显示从服务器5512接收的病理图像。注意，显示装置5514可以兼容4k和8k，并且显示装置的数量不限于一个，而可以是两个或更多个。

当观察对象是诸如器官的固体物质时，观察对象可以是例如染色的切片。例如，该切片可以通过对从诸如器官的样本切出的块件进行切片而产生。在切片时，可以用例如石蜡将块件固定。

切片的染色可以通过各种染色(例如，使组织的形式可视化的诸如苏木精-曙红(he)染色的普通染色，或者使组织的免疫状态可视化的诸如免疫组织化学(ihc)染色的免疫染色)来实现。可以通过使用多种不同的试剂对一个切片进行染色，或者可以使用彼此不同的试剂对从同一块件连续切出的两个或更多个切片(也被称为相邻切片)进行染色。

显微镜5511可以包括用于以低分辨率进行图像捕获的低分辨率图像捕获单元以及用于以高分辨率进行图像捕获的高分辨率图像捕获单元。低分辨率图像捕获单元和高分辨率图像捕获单元可以是不同的光学系统或者可以是相同的光学系统。当图像捕获单元是相同的光学系统时，显微镜5511的分辨率可以根据图像捕获目标而改变。

设置有观察对象的载玻片放置在载物台上的显微镜5511的视角中的位置。显微镜5511首先通过使用低分辨率图像捕获单元获取视角中的整个图像，并且从所获取的整个图像中指定观察对象的区域。随后，显微镜5511将观察对象存在的区域划分为预定大小的多个划分区域，并且通过高分辨率图像捕获单元按顺序地捕获划分区域的图像，由此获取每个划分区域的高分辨率图像。在切换目标划分区域时，可以移动载物台、可以移动图像捕获光学系统、或者可以移动这二者。每个划分区域可以与相邻的划分区域重叠，以防止由于载玻片的意外滑动而生成未捕获的区域等。整个图像可以包括用于将整个图像与患者关联的标识信息。标识信息可以例如是字符串或qr码(注册商标)。

显微镜5511所获取的高分辨率图像输入到服务器5512。服务器5512将每个高分辨率图像划分为大小更小的局部图像(下文中被称为图块图像(tileimage))。例如，服务器5512将一个高分辨率图像在纵向方向和横向方向上划分为10个图块×10个图块的100个图块图像。当相邻的划分区域彼此重叠时，服务器5512可以通过使用诸如模板匹配的技术向彼此相邻的高分辨率图像提供拼接处理。在该情况下，服务器5512可以通过划分通过拼接处理而接合在一起的高分辨率整体图像来生成图块图像。然而，可以在上述拼接处理之前执行从高分辨率图像生成图块图像。

服务器5512可以通过进一步划分每个图块图像来生成大小更小的图块图像。可以重复这种图块图像的生成，直到生成被设定为最小单位的大小的图块图像为止。

一旦以该方式生成了最小单位的图块图像，服务器5512就针对每个图块图像执行通过合成预定数量的相邻图块图像以生成一个图块图像的图块合成处理。可以重复图块合成处理，直到最终生成一个图块图像为止。通过这种处理，生成了在每层级包括一个或多个图块图像的金字塔结构的图块图像组。在该金字塔结构中，一层的图块图像的像素数量等于另一层的图块图像的像素数量，但它们的分辨率彼此不同。例如，当合成2×2的四个图块图像以生成上层的一个图块图像时，上层的图块图像的分辨率是用于合成的下层的图块图像的分辨率的一半。

当创建了这种金字塔结构的图块图像组时，可以根据显示目标图块图像所属的层级来切换在显示装置上显示的观察对象的细节等级。例如，当使用最下层的图块图像时，可以详细地显示观察对象的窄区域，并且当使用上层的图块图像时，可以粗略地显示观察对象的宽区域。

所生成的金字塔结构的图块图像组例如与可唯一地识别每个图块图像的标识信息(被称为图块标识信息)一起存储在存储单元(未图示)中。当从另一装置(例如，显示控制装置5513或推导装置5540)接收到包括图块标识信息的图块图像的获取请求时，服务器5512将与图块标识信息相对应的图块图像发送到另一装置。

注意，可以针对诸如焦距或染色条件的每个图像捕获条件生成作为病理图像的图块图像。当针对每个图像捕获条件生成图块图像时，特定病理图像可以与另一病理图像并排显示，该另一病理图像对应于与特定图像捕获条件不同的图像捕获条件并且对应于与特定病理图像的区域相同的区域。特定图像捕获条件可以由浏览者来指定。当浏览者指定了多个图像捕获条件时，可以并排显示与相应图像捕获条件和同一区域相对应的病理图像。

服务器5512可以将金字塔结构的图块图像组存储在除了服务器5512之外的另一存储装置中，例如，存储在云服务器中。如上所述的部分或全部图块图像生成处理可以在云服务器等处执行。

显示控制装置5513根据来自用户的输入操作，从金字塔结构的图块图像组中提取期望的图块图像，并且将该图块图像输出到显示装置5514。通过这种处理，用户可以通过改变观察的放大倍率来获得观察观察对象的感觉。换句话说，显示控制装置5513用作虚拟显微镜。虚拟观察的放大倍率与现实中的分辨率相对应。

注意，可以通过任何方法来捕获高分辨率图像。可以通过在反复停止和移动载物台的同时捕获划分区域的图像来获取高分辨率图像，或者可以通过以预定速度移动载物台的同时捕获划分区域的图像来获取条带上的高分辨率图像。从高分辨率图像生成图块图像的处理不是必需的，但通过拼接处理而接合在一起的高分辨率整体图像的分辨率可以逐步改变，以生成分辨率逐步不同的图像。同样在该情况下，可以逐步向用户呈现宽区域的低分辨率图像至窄区域的高分辨率图像。

医疗信息系统5530是所谓的电子病历系统，并且在该医疗信息系统5530中存储了诸如识别患者的信息、患者的疾病信息、用于诊断的检查信息和图像信息、诊断结果和处方的与诊断相关的信息。例如，通过对患者的观察对象进行图像捕获而获得的病理图像可以由服务器5512临时存储，然后通过显示控制装置5513在显示装置5514上显示。使用病理系统5510的病理医生基于显示在显示装置5514上的病理图像执行病理诊断。由病理医生执行的病理诊断的结果存储在医疗信息系统5530中。

推导装置5540可以执行病理图像的分析。该分析可以使用通过机器学习产生的学习模型。推导装置5540可以推导特定区域的分类结果、组织的标识结果等作为分析的结果。另外，推导装置5540可以推导诸如细胞信息、数量、位置和亮度信息、其的得分信息等的标识结果。由推导装置5540推导出的这些信息可以作为诊断支持信息显示在病理系统5510的显示装置5514上。

注意，推导装置5540可以是由一个或多个服务器(包括云服务器)构成的服务器系统。推导装置5540可以例如并入病理系统5510中的显示控制装置5513或服务器5512中。换句话说，可以在病理系统5510中执行对病理图像的各种分析。

本公开的技术极好地适用于上述部件当中的显微镜5511。具体地，根据本公开的固态图像捕获装置100极好地适用于显微镜5511。当本公开的技术应用于显微镜5511时，可以获得更清晰的病理图像，从而更准确地诊断病变。另外，可以以较低的延迟获得病理图像，并从而更快且更准确地执行诊断。

(7.移动对象的示例性应用)

本公开的技术(本技术)适用于各种产品。例如，本公开的技术可以实现为安装在诸如汽车、电动车辆、混合电动车辆、自动两轮车、自行车、个人移动装置、飞机、无人机、轮船或机器人的任何种类的移动对象上的装置。

图20是示出适用本公开的技术的作为示例性移动对象控制系统的车辆控制系统的示例性示意配置的框图。

车辆控制系统12000包括通过通信网络12001彼此连接的多个电子控制单元。在图20所示出的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、外部信息检测单元12030、内部信息检测单元12040和集成控制单元12050。另外，微型计算机12051、语音图像输出单元12052和车载网络i/f(接口)12053被示出为集成控制单元12050的功能配置。

驱动系统控制单元12010根据各种计算机程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于生成车辆的驱动动力的诸如内燃机或驱动马达的驱动动力生成装置、用于将驱动动力传送到车轮的驱动动力传输机构、被配置为调整车辆的舵角的转向机构、被配置为生成车辆的制动力的制动装置等的控制装置。

车身系统控制单元12020根据各种计算机程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置以及诸如前照灯、尾灯、制动灯、指示灯和雾灯的各种灯的控制装置。在该情况下，车身系统控制单元12020可以接收从用作钥匙的便携式装置发送的无线电波或各种开关信号。车身系统控制单元12020接收无线电波或信号的输入，并且控制车辆的门锁装置、电动窗装置、灯等。

外部信息检测单元12030检测关于安装有车辆控制系统12000的车辆的外部的信息。例如，外部信息检测单元12030与图像捕获单元12031连接。外部信息检测单元12030使图像捕获单元12031捕获外部图像，并且接收所捕获的图像。外部信息检测单元12030可以基于接收到的图像，对人、汽车、障碍物、标志、路面上的字符等执行对象检测处理或距离检测处理。

图像捕获单元12031是被配置为接收光并分局该光的接收光量输出电信号的光传感器。图像捕获单元12031可以将电信号输出为图像，或者可以将电信号输出为距离测量信息。由图像捕获单元12031接收到的光可以是可见光或诸如红外线的不可见光。

内部信息检测单元12040检测内部信息。内部信息检测单元12040与例如被配置为检测驾驶员状态的驾驶员状态检测单元12041连接。驾驶员状态检测单元12041例如包括被配置为捕获驾驶员图像的相机，并且内部信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳或专注程度，或者确定驾驶员是否正在打瞌睡。

微型计算机12051可以基于由外部信息检测单元12030和内部信息检测单元12040获取的内部和外部信息来计算驱动动力生成装置、转向机构或制动装置的控制目标值，并且可以针对驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行协作控制以实现高级驾驶员辅助系统(adas)的功能，该功能包括车辆的碰撞避免或冲击减小、基于车辆间距离的跟随行驶、车速保持行驶、车辆碰撞警告、车辆车道偏离警告等。

微型计算机12051可以基于由外部信息检测单元12030和内部信息检测单元12040获取的关于车辆周围的信息，通过控制驱动动力生成装置、转向机构、制动装置等来执行例如用于车辆独立于驾驶员的操作而自主行驶的自动驾驶的协作控制。

微型计算机12051可以基于由外部信息检测单元12030获取的外部信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以根据由外部信息检测单元12030感测到的前车或即将接近的车辆的位置来控制前照灯，并且可以执行协作控制以实现诸如从远光束切换为近光束的调光。

语音图像输出单元12052将语音和图像中的至少一种的输出信号发送到能够在视觉或听觉上将信息通知给在车上的人或外面的人的输出装置。在图20的示例中，音频扬声器12061、显示单元12062和仪表板12063被示例性示出为输出装置。显示单元12062例如可以包括车载显示器和平视显示器中的至少一种。

图21是示出图像捕获单元12031的示例性安装位置的图。

在图21中，车辆12100包括图像单元12101、图像单元12102、图像单元12103、图像单元12104和图像单元12105作为图像捕获单元12031。

图像捕获单元12101、图像捕获单元12102、图像捕获单元12103、12104和图像捕获单元12105设置在例如车辆12100的前鼻、后视镜、后保险杠、和后门、车辆中的前玻璃的上部等的位置处。设置在前鼻处的图像捕获单元12101和设置在车辆中的前玻璃的上部处的图像捕获单元12105主要获取车辆12100前侧的图像。设置在后视镜处的图像捕获单元12102和图像捕获单元12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门处的图像捕获单元12104主要获取车辆12100后侧的图像。由图像捕获单元12101和图像捕获单元12105获取的前侧图像主要用于检测前车、行人、障碍物、交通信号灯、交通标志、车道等。

注意，图21示出图像捕获单元12101至图像捕获单元12104的示例性图像捕获范围。图像捕获范围12111指示设置在前鼻处的图像捕获单元12101的图像捕获范围，图像捕获范围12112和图像捕获范围12113指示设置在各个后视镜处的图像捕获单元12102和图像捕获单元12103的图像捕获范围，并且图像捕获范围12114指示设置在后保险杠或后门处的图像捕获单元12104的图像捕获范围。例如，当从上方观看车辆12100时，由图像捕获单元12101至图像捕获单元12104捕获的图像数据可以放置在一起以获得全景图像。

图像捕获单元12101至图像捕获单元12104中的至少一个可以具有获取距离信息的功能。例如，图像捕获单元12101至图像捕获单元12104中的至少一个可以是由多个图像捕获元件制成的立体相机，或者可以是包括用于相位差检测的像素的图像捕获元件。

例如，微型计算机12051基于从图像捕获单元12101至图像捕获单元12104获得的距离信息来计算与图像捕获范围12111至图像捕获范围12114中的每个立体对象的距离以及该距离的时间变化(相对于车辆12100的速度)，由此，具体地，提取在车辆12100的行驶路径上最近的并且在与车辆12100的方向基本相同的方向上以预定速度(例如，等于或高于0km/h)行驶的立体对象作为前车。另外，微型计算机12051预先设定要确保与前车的车辆间距离，由此执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。以这种方式，可以执行例如用于自动驾驶的协作控制，在该自动驾驶中，车辆独立于驾驶员的操作而自主行驶。

例如，微型计算机12051可以基于从图像捕获单元12101至图像捕获单元12104获得的距离信息，将与立体对象相关的立体对象数据分类成两轮车辆、标准型车辆、大型车辆、行人、电线杆和其它立体对象，提取立体对象数据，并且使用立体对象数据以用于自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员在视觉上可识别的障碍物或者难以在视觉上识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的危险程度的碰撞风险，并且在碰撞风险等于或大于设定值并且有可能发生碰撞的情形下，微型计算机12051可以通过利用音频扬声器12061和显示单元12062向驾驶员输出警报或者通过驱动系统控制单元12010执行强制减速和避免转向来执行避免碰撞的操作支持。

图像捕获单元12101至图像捕获单元12104中的至少一个可以是被配置为检测红外线的红外相机。例如，微型计算机12051可以通过确定在由图像捕获单元12101至图像捕获单元12104捕获的图像中是否存在行人来识别行人。该行人识别例如通过以下过程执行：提取作为红外相机的图像捕获单元12101至图像捕获单元12104所捕获的图像中的特征点的过程、以及通过对指示对象轮廓的一系列特征点执行图案匹配处理来确定对象是否是行人的过程。当微型计算机12051确定在由图像捕获单元12101至图像捕获单元12104捕获的图像中存在行人并识别出该行人时，语音图像输出单元12052控制显示单元12062以将识别出的行人与用于强调的矩形轮廓线叠加地显示。语音图像输出单元12052可以控制显示单元12062在期望的位置显示示出行人的图标等。

以上描述是对适用本公开的技术的车辆控制系统的示例进行的。本公开的技术适用于上述部件当中的图像捕获单元12031。具体地，根据本公开的固态图像捕获装置100适用于图像捕获单元12031。当本公开的技术应用于图像捕获单元12031时，可以提高车辆控制系统的性能。例如，可以通过使用具有扩大的动态范围的固态图像捕获装置10来获得高清的捕获图像。具体地，在车辆的内部和外部进行图像捕获时，容易识别到灰度差异大的地方处的对象。另外，固态图像捕获装置可以执行快速操作，这导致从对象感测到车辆控制的操作所花费的时间减少。

注意，本说明书中描述的效果仅仅是示例性的而非限制性的，但可以实现任何其它效果。

注意，可以如下所述地配置本技术。

(1)一种固态图像捕获装置，包括：

dnn处理单元，被配置为基于dnn模型对输入图像执行dnn；以及

dnn控制单元，被配置为接收基于dnn的执行结果的评估信息而生成的控制信息，并且基于该控制信息来改变dnn模型。

(2)根据(1)的固态图像捕获装置，其中，dnn控制单元基于控制信息来改变dnn模型的参数。

(3)根据(2)的固态图像捕获装置，其中，dnn控制单元改变dnn模型的输入图像大小和滤波器大小中的至少一个者。

(4)根据(1)至(3)中任一项的固态图像捕获装置，还包括存储单元，该存储单元在其中存储至少一个由dnn处理单元执行的dnn模型。

(5)根据(4)的固态图像捕获装置，其中，存储单元在其中存储用于dnn处理单元的学习数据。

(6)根据(4)或(5)的固态图像捕获装置，其中，dnn控制单元基于控制信息将所执行的dnn模型切换为存储在存储单元中的dnn模型。

(7)根据(1)至(6)中任一项的固态图像捕获装置，还包括评估单元，该评估单元被配置为通过评估dnn的执行结果来生成评估信息。

(8)根据(7)的固态图像捕获装置，其中，评估单元通过在dnn处理单元的推断时和学习时的评估处理情形来生成评估信息。

(9)根据(7)或(8)的固态图像捕获装置，其中，评估单元基于dnn的识别结果和评估信息来生成正确答案数据。

(10)根据(9)的固态图像捕获装置，其中，dnn控制单元基于正确答案数据来改变dnn模型。

(11)根据(1)至(10)中任一项的固态图像捕获装置，其中，评估信息包括与dnn的识别结果相关的信息。

(12)一种信息处理装置，包括控制单元，该控制单元被配置为基于由外部装置执行的dnn模型的执行结果的评估信息来生成用于改变dnn模型的控制信息。

(13)根据(12)的信息处理装置，其中，控制单元获取与存储在外部装置中的dnn模型相关的信息。

(14)一种信息处理系统，包括：

固态图像捕获装置；以及

信息处理装置，

固态图像捕获装置，包括：

dnn处理单元，被配置为基于dnn模型对输入图像执行dnn；以及

dnn控制单元，被配置为接收基于dnn的执行结果的评估信息而生成的控制信息，并且基于该控制信息来改变dnn模型，并且

该信息处理装置包括控制单元，该控制单元被配置为基于dnn模型的执行结果来生成用于改变dnn模型的控制信息。

(15)一种信息处理方法，包括：

基于dnn模型对输入图像执行dnn；并且

接收基于dnn的执行结果的评估信息而生成的控制信息，并且基于该控制信息来改变dnn模型。

(16)一种信息处理方法，该方法包括基于dnn模型的执行结果的评估信息来生成用于改变dnn模型的控制信息。

(17)一种被配置为使计算机用作以下的计算机程序：

dnn处理单元，被配置为基于dnn模型对输入图像执行dnn；以及

dnn控制单元，被配置为接收基于dnn的执行结果的评估信息而生成的控制信息，并且基于该控制信息来改变dnn模型。

(18)一种计算机程序，该计算机程序被配置为使计算机用作控制单元，该控制单元被配置为基于dnn模型的执行结果的评估信息来生成用于改变dnn模型的控制信息。

参考符号列表

1固态图像捕获系统

100固态图像捕获装置

110图像捕获单元

120图像捕获处理单元

130dnn处理单元

140存储单元

150评估单元

160dnn控制单元

170选择器

171复用器

172解复用器

180、210通信i/f

181、212发送单元

182、211接收单元

190、220通信控制单元

200信息处理装置

230控制单元。