行了采样的像素 设为"1"，将未进行采样的像素设为"0"，表现为按图中所示的像素编号顺序编码的数据 (参照图7、图8的（a)-(h))。具体而言为如下。
[0179] 第 1 输出信号："1010 0000 0101 0000"
[0180] 第 2 输出信号："0100 0001 1000 0001"
[0181] 第 3 输出信号："0001 1000 0000 1010"
[0182] 第 4 输出信号："0000 0110 0010 0100"
[0183] 第 5 输出信号："1000 0100 0010 0001"
[0184] 第 6 输出信号："0010 0001 1000 0100"
[0185] 第 7 输出信号："0100 1000 0001 0010"
[0186] 第 8 输出信号："0001 0010 0100 1000"
[0187] 因此，当连结这些信号时，时刻tl的加法采样信息如下。
[0188] "1010 0000 0101 0000 0100 0001 1000 0001 0001 1000 0000 1010 0000 0110 0010 0100 1000 0100 0010 0001 0010 0001 1000 0100 0100 1000 0001 0010 0001 0010 0100 1000"
[0189] 在本说明书中，将上述数字列称为"加法采样信息编码数据"或简称为"编码数 据"。此外，加法采样信息的形式不限于在此示出的形式。只要是能够知道为了进行加法运 算而进行了采样的像素的位置的形式即可。
[0190] 同样地，根据图9,时刻t2的编码数据如下。
[0191] "1000 0010 1000 0010 0101 0000 0010 1000 0000 1001 0001 0100 0010 0100 0100 0001 0100 0010 0001 1000 0001 1000 0100 0010 0010 0100 1000 0001 1000 0001 0010 0100"
[0192] 根据图10,在时刻t3的编码数据如下。
[0193] "1000 0001 0010 0100 0110 0000 0100 0010 0000 1010 1000 0001 0001 0100 0001 1000 0010 0001 1000 0100 1000 0100 0010 0001 0001 0010 0100 1000 0100 1000 0001 0010"
[0194] 根据图11，在时刻t4的编码数据如下。
[0195] "1001 0000 0000 1001 0100 0010 0001 0100 0010 1000 0110 0000 0000 0101 1000 0010 0001 1000 0100 0010 0100 0010 0001 1000 1000 0001 0010 0100 0010 0100 1000 0001"
[0196] 图12和图13是示出了作为这种编码数据的表现方法的一例的、加法采样信息表 的例子的示意图。这些图中的表编号1、2、3、4的各编码数据分别与图8、图9、图10、图11 的加法采样处理对应。
[0197] 这样，通过多次读出一个像素，并进一步进行多次加法处理，由于能够提高输出信 号的动态范围，所以也能够降低噪音。例如在非专利文献2中记载了这种加法采样处理。
[0198] 在本实施方式的编码装置1中，在加法采样处理中提供以下特征。即，与第1?第 8各输出信号相关联的加法采样处理按每帧（每个帧图像）而不同，换句话说，按每个采 样时刻而不同。此外，读出像素组所包含的各像素的采样频度相等。但是，采样的频度相等 并不是必须的。各像素的采样的频度也可以不同。另外，无需使全部帧的加法采样处理不 同。例如也可以在第1帧和第2帧中进行相同的采样处理，在第3帧中进行不同的采样处 理。局部地看，只需在相邻的两个帧（在上述例子中为第2帧和第3帧）进行不同的处理 即可。
[0199] 图14?图17是用于说明本实施方式的加法采样处理的特征的示意图。在这些图 中，对与图8?图11相同的构成要素标注相同的标号并省略说明。
[0200] 图14的（a)示出用于时刻tl的加法采样处理的像素组302 (读出像素组302)所 包含的像素（标注了编号①的像素）、用于时刻tl的加法采样处理的像素组303 (读出像 素组303)所包含的像素（标注了编号②的像素）、用于时刻tl的加法采样处理的像素组 304 (读出像素组304)所包含的像素（标注了编号③的像素）、用于时刻tl的加法采样处 理的像素组305 (读出像素组305)所包含的像素（标注了编号④的像素）。
[0201] 图14的（b)示出用于时刻tl的加法采样处理的像素组306 (读出像素组306)所 包含的像素（标注了编号⑤的像素）、用于时刻tl的加法采样处理的像素组307 (读出像 素组307)所包含的像素（标注了编号⑥的像素）、用于时刻tl的加法采样处理的像素组 308(读出像素组308)所包含的像素（标注了编号⑦的像素）、用于时刻tl的加法采样处 理的像素组309 (读出像素组309)所包含的像素（标注了编号⑧的像素）。
[0202] 同样地，图15的（a)、图15的（b)示出用于时刻t2的加法采样处理的读出像素组 310?317各自所包含的像素。
[0203] 同样地，图16的（a)、图16的（b)示出用于时刻t3的加法采样处理的读出像素组 318?325各自所包含的像素。
[0204] 同样地，图17的（a)、图17的（b)示出用于时刻t4的加法采样处理的读出像素组 326?333各自所包含的像素。
[0205] 时刻tl的加法采样处理的8个输出信号包含：基于读出像素组302所包含的像素 的像素值的输出信号、基于读出像素组303所包含的像素的像素值的输出信号、基于读出 像素组304所包含的像素的像素值的输出信号、基于读出像素组305所包含的像素的像素 值的输出信号、基于读出像素组306所包含的像素的像素值的输出信号、基于读出像素组 307所包含的像素的像素值的输出信号、基于读出像素组308所包含的像素的像素值的输 出信号以及基于像素组309所包含的像素的像素值的输出信号。
[0206] 时刻t2的加法采样处理的8个输出信号包含：基于读出像素组310所包含的像素 的像素值的输出信号、基于读出像素组311所包含的像素的像素值的输出信号、基于读出 像素组312所包含的像素的像素值的输出信号、基于读出像素组313所包含的像素的像素 值的输出信号、基于读出像素组314所包含的像素的像素值的输出信号、基于读出像素组 315所包含的像素的像素值的输出信号、基于读出像素组316所包含的像素的像素值的输 出信号以及基于像素组317所包含的像素的像素值的输出信号。
[0207] 时刻t3的加法采样处理的8个输出信号包含：基于读出像素组318所包含的像素 的像素值的输出信号、基于读出像素组319所包含的像素的像素值的输出信号、基于读出 像素组320所包含的像素的像素值的输出信号、基于读出像素组321所包含的像素的像素 值的输出信号、基于读出像素组322所包含的像素的像素值的输出信号、基于读出像素组 323所包含的像素的像素值的输出信号、基于读出像素组324所包含的像素的像素值的输 出信号以及基于像素组325所包含的像素的像素值的输出信号。
[0208] 时刻t4的加法采样处理的8个输出信号包含：基于读出像素组326所包含的像素 的像素值的输出信号、基于读出像素组327所包含的像素的像素值的输出信号、基于读出 像素组328所包含的像素的像素值的输出信号、基于读出像素组329所包含的像素的像素 值的输出信号、基于读出像素组330所包含的像素的像素值的输出信号、基于读出像素组 331所包含的像素的像素值的输出信号、基于读出像素组332所包含的像素的像素值的输 出信号以及基于像素组333所包含的像素的像素值的输出信号。
[0209] 如上所述，根据基于读出像素组的各输出信号，在时刻tl、时刻t2、时刻t3、时刻 t4,采样像素的位置总是变化。但是，对4X4像素的全部像素必定进行一次采样，采样频 度相等。这样，通过使采样像素按时间而变化，如后所述，能够提高在平均信号生成单元206 生成的时间平均图像的画质，进一步，也能够提高图像复原单元103复原的图像的画质。另 夕卜，通过以相等的频度来采样全部像素，能够取得拍摄的信息而不会遗漏。
[0210] 上述的采样的像素位置不过是一个例子。加法采样单元204也可以空间上、时间 上尽可能随机和/或独立地选择采样的像素位置。由此，能够防止加法采样处理导致的图 像信息的劣化，能够提高复原图像的画质（例如参照非专利文献3的第43-44页）。这种 随机的加法采样处理通过如图12?图13所示那样事前设定随机采样得到的编码数据来实 现。在该情况下，加法采样信息设定单元203可以按每帧而变更利用的表编号。
[0211] 再次参照图5来说明在编码系统30的解码装置2中进行的处理。解码装置2的 主要处理由图像复原单元103进行。
[0212] 图像复原单元103利用模数转换单元205输出的多个帧的数字信号和加法采样 信息设定单元203设定的多个帧的加法采样信息，复原与数字信号对应的图像。对于该 复原处理，利用在利用了多个帧的压缩感知中所使用的、利用了协同稀疏（Collaborative Sparsity)的方法（例如参照非专利文献8)等公知方法即可。
[0213] 在压缩感知的采样中，已知在输入图像为未知的情况下通过进行随机采样来提高 复原画质。因此，在利用多个帧来进行图像复原处理的情况下，通过根据帧而变更加法采 样，不仅是空间方向，在时间方向上也能实现随机采样，提高复原画质。以下，对通过根据帧 而变更加法采样来提高复原画质进行说明。
[0214] 图18的（a)?（c)示出了作为基准的图像、利用非专利文献8的图像复原方法对 16帧数据进行复原而得到的图像以及通过本实施方式的处理进行复原而得到的图像。图 18的（a)示出了正确图像，图18的（b)示出了按每帧进行了固定的加法采样的情况下的复 原图像，图18的（c)示出了按每帧进行了不同的加法采样的情况下的复原图像。在通常情 况下，当进行加法采样处理时，相当于正确图像的拍摄图像本身的信息会丢失。然而，在图 18中，为了进行评价，示出不进行加法采样处理的已知图像来作为正确图像。
[0215] 从该图可知，当根据巾贞来变更加法采样时，PSNR(Peak Signal to Noise Ratio :峰 值信噪比）从23.91dB到27.41dB提高了 3. 5dB。这样，在本实施方式的摄像装置中，通过 按每帧来变更加法采样信息，能够抑制复原图像的伪影，能够大幅提高画质。
[0216] 如以上所说明的，根据本实施方式，通过根据帧来变更加法采样信息，并进行利用 了多个帧的图像复原处理，能够提高复原画质。
[0217] 在以上的说明中，加法采样单元204对多个像素数据进行加法运算，当然，也可以 作为增益来以加权的方式进行加法运算。这对于解决将多个像素相加时、数据的动态范围 增大、模数转换单元205的负荷增加来说是有效的。例如，在如图8所示进行加法采样时， 为了匹配相加后的数据的动态范围，在进行标准化处理的情况下，提供权重1/4来作为增 益即可。当这样在加法采样处理中附加增益时，在加法采样信息中提供该增益信息即可。
[0218] 此外，本说明书中的摄像装置也可以不作为装置来实现。例如，也可以通过作为计 算机的通用处理器执行记录于计算机能够读取的记录介质的计算机程序，来进行上述摄像 装置的工作。这样的计算机程序包含用于使计算机执行例如通过图4的流程图实现的处理 的命令组。计算机程序记录在⑶-ROM等记录介质上而作为产品在市场上流通，或者通过互 联网等电通信线路传送。
[0219] (实施方式2)
[0220] 以下，说明本实施方式涉及的系统的结构。此外，在后续的各实施方式的说明中， 对具有与已经说明过的实施方式1的构成要素相同的结构和功能的构成要素标注相同的 参照标号，并适当省略其说明。
[0221] 在本实施方式的压缩处理中，在对一部分读出像素组进行的加法采样处理中，设 定按每个帧而不同的采样方法（加法采样信息）。进一步，在对其他一部分读出像素组进行 的加法采样处理中，设定与帧无关而相同的加法采样信息。也就是说，即使时刻变化，也利 用相同的读出像素组进行加法采样处理。
[0222] 关于复原处理，生成在到