目前为止的预定期间内生成的复原图像的时间平均图 像，利用加法采样信息，根据模数转换单元的输出信号求出与时间平均图像对应的信号的 差分。然后，根据差分信号，利用压缩感知技术复原图像。
[0223] 根据本发明涉及的摄像系统，对一部分读出像素组，在按每帧而变更加法采样信 息的同时进行拍摄，对其他一部分读出像素组，进行拍摄而不变更加法采样信息。
[0224] 通过按每个拍摄的帧图像来变更加法采样信息，能够使取决于加法采样信息的伪 影按复原后的每个帧图像而变化。由此，能够生成高画质的时间平均图像。由于在帧之间 存在关联的信号成分被消除，所以，与一般图像信号相比，与时间平均图像的差分图像信号 的稀疏性变高。因此，通过利用压缩感知将差分信号图像复原，能够进行更高画面质量的图 像复原。进一步，通过加法采样处理，由于能够降低ADC的驱动频率，所以能够实现低功耗 化、高SN化以及通信带宽的缩窄。
[0225] 另一方面，通过进行加法采样处理而不按每个拍摄的帧图像来变更加法采样信 息，能够不进行图像复原处理而得到低分辨率化的图像。因此，能够实时地显示低分辨率图 像而基本上不产生处理负荷。
[0226] 从上述说明可以理解，可以说在本实施方式中，在编码装置1和解码装置2中进行 的处理是主要的处理。因此，在以下说明中，主要详细说明包含编码装置1和解码装置2的 编码系统的处理。此外，也着眼于编码系统说明后续的各实施方式，但编码系统组装入如图 2所示的摄像系统而加以安装这一点与本实施方式相同。
[0227] 此外，在图2中，摄像装置20和解码装置2是分离的，但摄像装置20也可以包含 解码装置2。只要能够在AD转换前压缩图像而至少得到一个上述优点，则无需将编码装置 1和解码装置2设置在独立的装置内。
[0228] 图19是表示本实施方式的编码系统100的结构的框图。另外，图20是表示本实 施方式的编码系统100的主要处理的步骤的流程图。
[0229] 如上所述，编码系统100包含编码装置1和解码装置2。
[0230] 编码装置1具备加法采样摄像单元101和发送单元150a。
[0231] 解码装置2具备接收单元150b、低分辨率图像生成显示单元102、图像复原单元 103、用户接口单元104以及输出单元105。在实施方式1的解码装置中追加了低分辨率图 像生成显示单元102和用户接口单元104而构成本实施方式的解码装置2。
[0232] 参照图20对编码装置1和解码装置2的各构成要素的工作进行说明。与实施方式 1涉及的编码装置1和解码装置2的工作的不同点在于追加的低分辨率图像生成显示单元 102和用户接口单元104。具体而言，追加了步骤S102和S104的工作。此外，在图20中， 简化记载了步骤S103。
[0233] 以下，说明追加的步骤S102和S104的工作。
[0234] 低分辨率图像生成显示单元102利用加法采样摄像单元101拍摄的信号而生成低 分辨率图像，并显示在另外设置的阅览器（未图示）上（步骤S102)。例如在编码系统100 的整体安装于摄像装置的情况下，阅览器是安装在摄像装置上的液晶显示装置或电子取景 器。为了调整拍摄场景的视角、构图、亮度、焦点等，要求实时的图像输出。因此，如后所述， 低分辨率图像生成显示单元102不进行图像复原处理，实时输出分辨率比拍摄图像低的图 像。
[0235] 用户接口单元104确认用户是否有录像的意图，并切换输出单元105的处理（步 骤S104)。这例如确认摄像开关是否为接通（On)即可。如后所述，本实施方式的摄像系统 10从用户开始摄像以前在后台进行摄像，并生成高画质的时间平均图像。因此，即使在用户 未接通摄像开关的情况下，图像复原单元103也进行复原处理。
[0236] 图21是表示加法采样摄像单元101和图像复原单元103的详细结构的框图。另 夕卜，图22是表示本实施方式中的摄像装置的加法采样摄像单元101和图像复原单元103的 处理步骤的流程图。
[0237] 与图5的结构的不同点在于：追加了低分辨率图像生成显示单元102和用户接口 单元104、以及记载了图像复原单元103的详细情况。
[0238] 图像复原单元103具备平均信号生成单元206、平均信号保持单元207、差分信号 生成单元208以及差分图像复原单元209。图像复原单元103与图1中的图像复原电路15 对应。平均信号生成单元206、差分信号生成单元208以及差分图像复原单元209例如是由 集成电路实现的运算电路。另外，平均信号保持单元207例如是缓冲器等的存储电路。集 成电路、缓冲器例如可以一体化而作为DSP(digital signal processor :数字信号处理器） 等来组装。
[0239] 以下，详细说明加法采样摄像单元101和图像复原单元103的各构成要素。此外， 适当省略与实施方式1共同的处理的说明。
[0240] 首先，详细说明加法采样摄像单元101的处理。
[0241] 加法采样信息设定单元203设定加法采样信息，以使得在由加法采样单元204执 行的加法采样处理中按时间而被进行加法运算的像素不同，另外，能够通过加法处理来容 易地生成低分辨率图像（步骤S203)。
[0242] 加法采样信息是用于确定加法采样单元204执行的处理的内容的信息，如在实施 方式1中说明的那样。即，加法采样信息是如下的信息：关于加法采样处理后的新输出信号 的各信号值，为了在原来的电荷信号上进行加法运算而进行了采样的像素的位置、施加何 种程度的增益来进行加法运算这一像素的增益信息、以及以何种顺序发送相加得到的输出 信号这样的顺序信息。后面叙述具体例。
[0243] 针对电荷保持单元52保持的多个像素的电荷信号，加法采样单元204基于加法采 样信息设定单元203设定的加法采样信息进行加法采样处理，生成并输出新的信号（步骤 S204)。此时，如后所述，通过加法采样信息设定单元按每帧而变更加法采样信息，能够提高 复原画质。
[0244] 接着，参照图23?图32,详细说明加法采样单元204进行的加法采样处理。在本 说明书中，为了简化说明，以针对4X4共16个像素输出8个信号的处理为例来进行说明。 此外，像素编号的标注方法按照对图7的上述说明。在图23的（a)?（h)中示出了分别标 注了编号①-⑧的读出像素组302-309。此外，为了方便说明，参照标号仅指示了读出像素 组的一个像素。在以下也是同样的。图23?图26是用于说明加法采样处理的示意图。
[0245] 图23的（a)?（h)分别表示时刻tl的8个输出信号各自是对来自哪个像素的电 荷信号进行而得到的。也就是说，在图23的（a)?（h)各自中标注有编号的各像素表示用 于加法采样处理的像素。
[0246] 同样地，图24的（a)?（h)表示时刻t2的8个输出信号中的读出像素组310-317， 图25的（a)?（h)表示时刻t3的8个输出信号中的读出像素组318-325,图26的（a)? (h)表示时刻t4的8个输出信号中的读出像素组326-333。
[0247] 在这里，说明本实施方式的加法采样处理与实施方式1的加法采样处理的主要不 同点。
[0248] 从图23和图24的各自的（a)?（d)可以理解，存在即使帧改变、用于加法采样处 理的像素组也相同的情况。另一方面，根据图8和图9的各自的（a)?（d)，在实施方式1 中，当帧时刻改变时，用于加法采样处理的像素组不同。
[0249] 这意味着：在实施方式1的加法采样处理中，当帧改变时改变像素组，但在本实施 方式的加法采样处理中，存在不改变像素组的情况。此外，需要留意的是，从图23和图24 的各自的（e)?（h)可以理解，在本实施方式中，也存在当帧改变时、用于加法采样处理的 像素组不同的情况。以下，具体地进行说明。
[0250] 在图23的（a)中，通过读出像素编号1、2、5、6的电荷信号并对该4个像素的电荷 信号进行加法处理，生成时刻tl的第1输出信号。同样地，在图23的（b)中，读出像素编 号3、4、7、8的电荷信号并对该4个像素的电荷信号进行加法处理，生成时刻tl的第2输出 信号。在图23的（c)中，读出像素编号9、10、13、14的电荷信号并对该4个像素的电荷信 号进行加法处理，生成时刻tl的第3输出信号。
[0251] 在图23的（d)中，读出像素编号11、12、15、16的电荷信号并对该4个像素的电荷 信号进行加法处理，生成时刻tl的第4输出信号。在图23的（e)?（f)中也同样地根据 像素编号1、6、11、16生成时刻tl的第5输出信号，根据像素编号3、8、9、14生成时刻tl的 第6输出信号，根据像素编号2、5、12、15生成时刻tl的第7输出信号，根据像素编号4、7、 10、13生成时刻tl的第8输出信号。
[0252] 这样，将4X4= 16个像素的电荷信号压缩成8个输出信号。由此，由于能够使后 述的模数转换单元205的工作速度减慢，所以能够在实现低功耗化、高SN化以及通信带宽 的缩窄的同时复原图像。
[0253] 另外，前述的加法采样信息例如将为了进行加法运算而进行了采样的像素设为 "1"，将未进行采样的像素设为"〇"，表现为按图中所示的像素编号顺序编码的数据。具体而 言，如下。
[0254] 第 1 输出信号："1100 1100 0000 0000"
[0255] 第 2 输出信号："0011 0011 0000 0000"
[0256] 第 3 输出信号："0000 0000 1100 1100"
[0257] 第 4 输出信号："0000 0000 0011 0011"
[0258] 第 5 输出信号："1000 0100 0010 0001"
[0259] 第 6 输出信号："0010 0001 1000 0100"
[0260] 第 7 输出信号："0100 1000 0001 0010"
[0261] 第 8 输出信号："0001 0010 0100 1000"
[0262] 因此，当连结这些信号时，时刻tl的加法采样信息如下。
[0263] "1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 1000 0100 0010 0001 0010 0001 1000 0100 0100 1000 0001 0010 0001 0010 0100 1000"
[0264] 在本说明书中，将上述数字列（数字串）称为"加法采样信息编码数据"或简称为 "编码数据"。此外，加法采样信息的形式不限于在此示出的形式。只要是能够知道为了进 行加法运算而进行了采样的像素的位置的形式即可。
[0265] 同样地，根据图24,时刻t2的编码数据如下。
[0266] "1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 0100 0010 0001 1000 0001 1000 0100 0010 0010 0100 1000 0001 1000 0001 0010 0100"
[0267] 根据图25,时刻t3的编码数据如下。
[0268] "1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 0010 0001 1000 0100 1000 0100 0010 0001 0001 0010 0100 1000 0100 1000 0001 0010"
[0269] 根据图26,时刻t4的编码数据如下。
[0270] "1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 0001 1000 0100 0010 0100 0010 0001 1000 1000 0001 0010 0100 0010 0100 1000 0001"
[0271] 图27和图28是示出了作为这种编码数据的表现方法的一例的、加法采样信息表 的例子的示意图。这些图中的表编号1、2、3、4的各编码数据分别与图23、图24、图25、图 26的加法采样处理对应。
[0272] 这样，通过多次读出一个像素，并进一步进行多次加法处理，由于能够提高输出信 号的动态范围，所以也能够降低噪音。例如在非专利文献2中记载了这种加法采样处理。