择器16选择可否输出由图像复原电路15复原的图像。例如，如果用于进行 摄像的摄像开关（未图示）被切断（off)，则输出选择器16禁止输出复原的图像。或者， 如果摄像开关（未图示）被接通（〇n)，则输出选择器16允许输出复原的图像。
[0116] 图2是表示本实施方式涉及的摄像系统10的结构例的框图。摄像系统10具备摄 像装置20和解码装置2。摄像装置20将拍摄得到的图像信号编码并进行输出。解码装置 2使用从摄像装置20发送来的已被编码的图像信号来对图像进行解码和复原。
[0117] 摄像装置20具备光电转换单元51、电荷保持单元52以及编码装置1。
[0118] 光电转换单元51具有多个像素，各像素将接收的光转换成与该光量对应的电信 号。电荷保持单元52将由光电转换单元51得到的电信号存储一定时间，并作为电荷信号 加以保持。光电转换单元51和电荷保持单元52与图1中的摄像元件11对应。
[0119] 编码装置1与图1的多路复用器12、控制电路13以及ADC14对应。
[0120] 解码装置2与图1中的图像复原电路15和输出选择器16对应。
[0121] 本发明的一个实施方式中的摄像系统10的摄像装置20使用压缩感知方法，压缩 AD转换前的图像信号来减少信息量。摄像装置20将模拟信号转换成数字数据并进行输出。 解码装置2根据该数字数据复原图像。
[0122] 压缩处理和复原处理对最终输出的画质有很大的影响，如何进行这些处理是一个 问题。
[0123] 关于压缩处理，将在一部分像素进行的加法采样处理的采样方法（加法采样信 息）设定为根据帧的不同而不同，按照加法采样信息，在多个像素中对电荷保持单元保持 的电荷信号进行加法处理。
[0124] 关于复原处理，根据在到该复原处理为止的预定期间内取得的多个帧的数字数据 和多个帧的加法采样信息，利用压缩感知技术将图像复原。
[0125] 根据本发明涉及的摄像系统10,在根据帧来变更加法采样信息的同时进行拍摄。 通过根据拍摄的帧来变更加法采样信息，能够使取决于加法采样信息的伪影（artifact) 根据帧而变化。由此，能够进行更高画面质量的图像复原。进一步，通过加法采样处理，由 于能够降低ADC的驱动频率，所以能够实现低功耗化、高SN化以及通信带宽的缩窄。
[0126] 根据上述说明可知，可以说在本实施方式中，在编码装置1和解码装置2中进行的 处理是主要的处理。因此，在以下说明中，主要详细说明包含编码装置1和解码装置2的编 码系统30的处理。此外，关于后续的各实施方式，也着重说明编码系统。各实施方式涉及 的编码系统也可以组装入如图2所示的摄像系统而加以安装。
[0127] 此外，在图2中，摄像装置20和解码装置2是分离的，但摄像装置20也可以包含 解码装置2。只要能够在AD转换前对图像进行压缩而至少得到一个上述优点，则不一定必 须将编码装置1和解码装置2设置在独立的壳体内。
[0128] 图3是表示本实施方式的编码系统30的结构的框图。另外，图4是表示本实施方 式的编码系统30的主要处理的步骤的流程图。
[0129] 如上所述,编码系统30包含编码装置1和解码装置2。
[0130] 编码装置1具备加法采样摄像单元101和发送单元150a。
[0131] 解码装置2具备接收单元150b、图像复原单元103以及输出单元105。
[0132] 编码装置1的发送单元150a和解码装置2的接收单元150b进行通信，收发图像的 数字数据和加法采样信息。通信经由无线或有线的通信线路（网络）来进行。也就是说， 接收单元150b可以作为通信电路来进行安装（组装）。
[0133] 此外，编码装置1不需要始终实时将图像的数字数据和加法采样信息发送给解码 装置2。例如，也可以设置记录介质来代替发送单元150a，并将图像的数字数据和加法采样 信息写入该记录介质。记录介质可以内置于编码装置1，或者可以设置于编码装置1的外 部。在记录时，也可以复合地使用其他压缩编码技术。并且，将从记录介质读出的图像的数 字数据和加法采样信息发送给解码装置2即可。该结构例也同样可以应用于以下实施方式 中。
[0134] 参照图4对编码装置1和解码装置2的各构成要素的工作进行说明。
[0135] 加法采样摄像单元101从电荷保持单元52接收电荷信号，进行根据后述的帧而不 同的加法采样处理来对场景进行拍摄（步骤S101)。
[0136] 电荷保持单元52也可以按每个预定的帧期间而输出电荷信号来作为帧图像。
[0137] 发送单元150a将加法采样摄像单元101拍摄到的图像的数字数据和加法采样摄 像单元101在拍摄时利用的加法采样信息发送给解码装置2 (步骤S150a)。
[0138] 接收单元150b接收发送单元150a发送的图像的数字数据和加法采样摄像单元 101在拍摄时利用的加法采样信息（步骤S150b)。
[0139] 图像复原单元103根据加法采样摄像单元101拍摄的多个帧的加法采样信号，利 用压缩采样技术复原拍摄图像（步骤S103)。
[0140] 输出单元105输出复原的图像（步骤S105)。
[0141] 图5是表示加法采样摄像单元101和图像复原单元103的详细结构的框图。在图 5中，省略了发送单元150a、接收单元150b。另外，图6是表示本实施方式中的摄像装置的 加法采样摄像单元101的处理步骤的流程图。
[0142] 加法采样摄像单元101具备加法采样信息设定单元203、加法采样单元204以及模 数转换单元205。加法采样信息设定单元203、加法采样单元204、模数转换单元205分别与 图1的控制电路13、MUX12、ADC14对应。
[0143] 图像复原单元103与图1中的图像复原电路15对应，例如是由集成电路实现的运 算电路。
[0144] 以下，详细说明加法采样摄像单元101和图像复原单元103的各构成要素。
[0145] 首先，详细说明加法采样摄像单元101的处理。
[0146] 在由加法采样单元204执行的加法采样处理中，加法采样信息设定单元203设定 加法采样信息以使得根据帧而相加的像素不同（步骤S203)。加法采样信息设定单元203 也可以按每帧图像而变更加法采样信息。加法采样信息是用于确定加法采样单元204执行 的处理的内容的信息。
[0147] 具体而言，加法采样信息是如下的信息：关于加法采样处理后的新输出信号的各 信号值，为了在原来的电荷信号进行加法运算而进行了采样的像素的位置、施加何种程度 的增益来进行加法运算这一像素的增益信息、以及对加法运算得到的输出信号以何种顺序 发送的顺序信息。加法采样信息设定单元203也可以切换多种加法采样信息，按每帧图像 而变更加法采样信息。后面叙述具体例。
[0148] 针对电荷保持单元52保持的多个像素的电荷信号（像素值），加法采样单元204 基于加法采样信息设定单元203设定的加法采样信息来进行加法采样处理，生成并输出新 的信号（步骤S204)。此时，如后所述，通过根据帧而变更加法采样信息，能够提高复原画 质。
[0149] 模数转换单元205将在加法采样单元204生成的信号转换成数字信号（步骤 S205)。该处理既可以利用上述的Λ Σ型ADC来进行，也可以利用周知的流水线型模数转 换器或列型模数转换器来进行。
[0150] 通过加法采样单元204进行加法采样处理，能够压缩图像信息的信息量，能够减 少向模数转换单元205发送的信号量即模数转换单元205应处理的信号量。通过使用加法 采样信息，图像复原单元103能够根据压缩后的图像信息来复原图像。
[0151] 接着，参照图7、图8?图17对加法采样单元204进行的加法采样处理进行详细说 明。在本说明书中，为了简化说明，以针对4X4共16个像素输出8个信号的处理为例来进 行说明。
[0152] 此外，对该16个像素的处理例既可以应用于摄像元件11的全部像素，也可以应用 于摄像元件11的一部分像素。
[0153] 在本说明书中，图7表示例示的4X4共16个像素的配置。在图7中，在4X4 的各像素上标注了像素编号。S卩，在4X4像素中，从左上角的像素开始向右按顺序设为 "1" "2" "3" "4"，同样地，从下一行的左端的像素开始设为"5" "6"…，将右下角的像素设 为"16"。例如像素301是像素编号为4的像素。图8?图11是用于说明加法采样处理的 示意图。
[0154] 假设在时刻tl、时刻t2、时刻t3、时刻t4的各个时刻（按tl、t2、t3、t4的顺序而 时刻变晚，tl为最早的时刻）进行加法采样处理。通过各时刻的采样处理，针对16个像 素的像素值输出8个加法采样信号。
[0155] 在帧I、帧2、帧3、帧4按该顺序连续时，在帧1中，也可以使用时刻tl的8个加法 米样处理的输出信号。在巾贞2中，也可以使用时刻t2的8个加法米样处理的输出信号。在 帧3中，也可以使用时刻t3的8个加法采样处理的输出信号。在帧4中，也可以使用时刻 t4的8个加法采样处理的输出信号。
[0156] 图8的（a)?（h)分别表示时刻tl的8个加法采样处理的输出信号各自是加上 来自哪个像素的电荷信号而得到的。也就是说，在图8的（a)?（h)的每一个中标注有编 号的像素是用于加法采样处理的像素。在本说明书中，将图8的（a)?（h)的每一个所示 的、用于加法采样处理的成组的像素组称为"读出像素组"。
[0157] 图8的（a)?（h)表示时刻tl的8个读出像素组302-309。
[0158] 图8的（a)表示读出像素组302包含标注了编号①的像素。
[0159] 图8的（b)表示读出像素组303包含标注了编号②的像素。
[0160] 图8的（c)表示读出像素组304包含标注了编号③的像素。
[0161] 图8的（d)表示读出像素组305包含标注了编号④的像素。
[0162] 图8的（e)表示读出像素组306包含标注了编号⑤的像素。
[0163] 图8的（f)表示读出像素组307包含标注了编号⑥的像素。
[0164] 图8的（g)表示读出像素组308包含标注了编号⑦的像素。
[0165] 图8的（h)表示读出像素组309包含标注了编号⑧的像素。同样地，图9的（a)? (h)表示时刻t2的8个读出像素组310-317。
[0166] 同样地，图10的（a)?（h)表示时刻t3的8个读出像素组318-325。
[0167] 同样地，图11的（a)?（h)表示时刻t4的8个读出像素组326-333。
[0168] 8个加法米样处理的输出信号设为第1输出信号、第2输出信号、第3输出信号、第 4输出信号、第5输出信号、第6输出信号、第7输出信号、第8输出信号。
[0169] 通过读出图8的（a)所示的像素编号1、3、10、12的像素的电荷信号，对该4个像 素的电荷信号进行加法处理而生成时刻tl的第1输出信号。
[0170] 通过读出图8的（b)所示的像素编号2、8、9、16的像素的电荷信号，对该4个像素 的电荷信号进行加法处理而生成时刻tl的第2输出信号。
[0171] 通过读出图8的（c)所示的像素编号4、5、13、15的像素的电荷信号，对该4个像 素的电荷信号进行加法处理而生成时刻tl的第3输出信号。
[0172] 通过读出图8的（d)所示的像素编号6、7、11、14的像素的电荷信号，对该4个像 素的电荷信号进行加法处理而生成时刻tl的第4输出信号。
[0173] 通过读出图8的（e)所示的像素编号1、6、11、16的像素的电荷信号，对该4个像 素的电荷信号进行加法处理而生成时刻tl的第5输出信号。
[0174] 通过读出图8的（f)所示的像素编号3、8、9、14的像素的电荷信号，对该4个像素 的电荷信号进行加法处理而生成时刻tl的第6输出信号。
[0175] 通过读出图8的（g)所示的像素编号2、5、12、15的像素的电荷信号，对该4个像 素的电荷信号进行加法处理而生成时刻tl的第7输出信号。
[0176] 通过读出图8的（h)所示的像素编号4、7、10、13的像素的电荷信号，对该4个像 素的电荷信号进行加法处理而生成时刻tl的第8输出信号。
[0177] 这样，将4X4= 16个像素的电荷信号压缩成8个输出信号。由此，由于能够降低 后述的模数转换单元205的工作速度，所以能够在实现低功耗化、高SN化以及通信带宽的 缩窄的同时复原图像。
[0178] 另外，对于前述的加法采样信息，例如为了进行加法运算而将进