如， 如散落有小物体的随机性高的图像难以变稀疏。因此，在这种图像中，即使使用在非专利文 献1中公开的方法，复原图像的画质也会劣化。因此，要求进一步提高复原图像的画质。
[0085] 因此，本发明的一个技术方案涉及的摄像系统具备：光电转换单元，将多个像素 接受的光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持； 加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包 含第1加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；加法采样单元， 使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样 单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来 进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2 加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于 与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所 述第2信号；转换单元，将所述加法采样单元输出的信号转换成数字信号；以及图像复原单 元，根据所述数字信号，利用所述加法采样信息生成并输出复原图像。
[0086] 根据本发明的一个技术方案涉及的摄像系统，在根据帧来变更加法采样信息的同 时进行利用加法采样处理的拍摄，并对结果得到的多个帧的输出信号进行基于压缩感知技 术的图像复原处理。由于在根据帧来变更加法采样信息的同时进行加法采样处理，所以能 够进行输出信号在帧方向上也随机的采样。因此，能够在抑制信号量的同时得到更高画质 的复原图像。
[0087] 在某技术方案中，所述第1多个像素为η个像素，所述加法采样单元针对作为η个 像素值的所述第1像素值，对由所述第1信息所包含的m个信息各自指定的像素的像素值 进行加法处理，得到m个的加法结果，并且，所述加法采样单元针对作为η个像素值的所述 第2像素值，对由所述第2信息所包含的m个信息各自指定的像素的像素值进行加法处理， 得到m个的加法结果，其中，m〈n。
[0088] 在某技术方案中，所述加法采样信息设定单元设定加法采样信息，所述加法采样 信息用于进行控制以使得针对所述多个像素的全部像素的像素值进行按每帧而不同的加 法采样处理。
[0089] 在某技术方案中，所述加法采样信息设定单元设定加法采样信息，所述加法采样 信息用于进行控制以使得针对所述第1多个像素进行相同的加法采样处理而与帧无关。
[0090] 在某技术方案中，所述图像复原单元具备：平均信号生成单元，生成在到当前为止 的预定期间内生成的复原图像的时间平均图像；差分信号生成单元，生成表示所述数字信 号与所述时间平均图像的差分的差分信号；以及差分图像复原单元，利用所述加法采样信 息，根据所述差分信号生成差分图像，进而使用所述差分图像和所述时间平均图像生成所 述复原图像。
[0091] 在某技术方案中，所述加法采样信息设定单元设定表示在所述加法采样单元中进 行的所述加法采样处理的方法的信息来作为所述加法采样信息。
[0092] 在某技术方案中，所述电荷保持单元按每个预定的帧期间而输出所述电荷信号来 作为帧图像，所述加法采样信息设定单元按每个所述帧图像而变更所述加法采样信息，所 述电荷信号包含与所述多个像素各自对应的像素信号，所述加法采样单元基于所述加法采 样信息，对所述多个像素中的邻近的像素组同时进行所述加法采样处理并输出一个信号。 [0093] 在某技术方案中，所述多个像素被分类为多个像素组，摄像系统还具备低分辨率 图像生成显示单元，所述低分辨率图像生成显示单元根据与各像素组对应地输出的各信 号，生成用于显示在阅览器上的分辨率相对低的低分辨率图像。
[0094] 在某技术方案中，推定在所述光电转换单元中将所述光信号转换成所述电信号时 的状况即摄像状况，并按照推定的所述摄像状况对所述加法采样信息设定单元进行指示以 使得变更所述加法采样信息。
[0095] 在某技术方案中，所述摄像系统还具备摄像状况推定单元，所述摄像状况推定单 元检测时间变化为预先确定的基准以上的激烈场景所包含的图像区域，对所述加法采样信 息设定单元进行指示以使得关于对所述图像区域的所述加法采样处理增加采样数。
[0096] 本发明的另一技术方案涉及的摄像装置具备：光电转换单元，将多个像素接受的 光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持；加法采 样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第I 加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；以及加法采样单元，使 用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单 元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行 所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法 采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第 1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2 信号。
[0097] 本发明的又一技术方案涉及的解码装置从编码装置接收数字信号，所述编码装置 包含：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，存储所述电 信号并作为电荷信号进行保持；加法采样信息设定单元，设定加法采样处理所使用的加法 采样信息，所述加法采样信息包含第1加法采样信息、与第1加法采样信息不同的第2加法 采样信息；加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理 并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1 多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加 法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法 采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号 包含所述第1信号和所述第2信号；以及转换单元，将所述加法采样单元输出的信号转换成 数字信号，所述解码装置包含：接收单元，从所述编码装置接收所述数字信号和所述加法采 样信息；和图像复原单元，利用所述数字信号和所述加法采样信息生成复原图像。
[0098] 在某技术方案中，所述图像复原单元具备：平均信号生成单元，生成在到当前为止 的预定期间内生成的复原图像的时间平均图像；差分信号生成单元，生成表示所述数字信 号与所述时间平均图像的差分的差分信号；以及差分图像复原单元，利用所述加法采样信 息，根据所述差分信号生成差分图像，进而使用所述差分图像和所述时间平均图像生成所 述复原图像。
[0099] 作为本发明涉及的另一技术方案的摄像方法包含：光电转换步骤，将多个像素接 受的光信号转换成电信号；电荷保持步骤，存储所述电信号并作为电荷信号进行保持；力口 法采样信息设定步骤，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含 第1加法采样信息、与第1加法采样信息不同的第2加法采样信息；加法采样步骤，使用所 述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样步骤中 使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所 述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样步骤中使用所述第2加法 采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第 1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2 信号；转换步骤，将所述加法采样单元输出的信号转换成数字信号；以及图像复原步骤，根 据所述数字信号，利用所述加法采样信息生成并输出复原图像。
[0100] 作为本发明涉及的另一技术方案的显示控制系统，具备：接收单元，从权利要求 11所述的摄像装置接收基于进行了所述加法采样处理的所述电荷信号的多个帧的数字信 号、和所述加法采样信息；解码装置，利用压缩采样技术，抽出根据所述加法采样信息和所 述数字信号确定的帧的至少一部分区域来作为静止图像；以及输出单元，输出所述静止图 像。
[0101] 在某技术方案中，所述显示控制系统还具备判定单元，所述判定单元判定在所述 多个帧之间的图像区域的变化的比例，在所述判定单元的判定结果为所述多个帧之间的图 像区域的变化的比例小于预定的比例的情况下，所述解码装置抽出根据所述指示确定的帧 的至少一部分区域来作为静止图像。
[0102] 以下，说明本发明的概要。
[0103] 本发明的摄像系统利用压缩感知技术来进行拍摄。摄像系统具备：光电转换单 元，将多个像素接受的光信号转换成电信号；电荷保持单元，存储电信号并作为电荷信号 来加以保持；加法采样信息设定单元，设定加法采样信息，所述加法采样信息用于进行控制 以使得针对多个像素的至少一部分且连续的预定的两个帧，进行按每帧而不同的加法采样 处理；加法采样单元，按照加法采样信息对电荷信号进行加法采样处理并进行输出；转换 单元，将从加法采样单元输出的输出信号转换成数字信号；以及图像复原单元，根据数字信 号，利用加法采样信息生成并输出复原图像。
[0104] 本发明的摄像装置具备：加法采样摄像单元，利用压缩感知技术，通过对多个像素 进行加法采样来进行拍摄；低分辨率图像生成显示单元，利用加法采样摄像单元拍摄到的 信息，生成并显示低分辨率图像；图像复原单元，利用加法采样摄像单元拍摄到的信息来复 原图像；用户接口单元，用于检测用户的意图；以及输出单元，基于通过用户接口单元检测 出的用户的意图来显示输出图像。
[0105] 另外，加法采样摄像单元具备：光电转换单元，将多个像素接受的光信号转换成电 信号；电荷保持单元，保持存储在光电转换单元中的电荷；加法采样信息设定单元，将加法 采样的采样方法（加法采样信息）设定为按每帧而不同；加法采样单元，在多个像素中，按 照加法采样信息对电荷保持单元保持的电荷信号进行加法处理；以及模数转换单元，将加 法采样单元的输出信号转换成数字信号。进一步，图像复原单元具备：平均信号生成单元， 生成复原图像的时间平均图像；平均信号保持单元，保持平均信号生成单元生成的时间平 均图像；差分信号生成单元，利用加法采样信息设定单元设定的加法采样信息，从模数转换 单元的输出信号减去与平均信号保持单元保持的时间平均图像对应的信号；以及差分图像 复原单元，利用压缩感知技术，根据差分信号复原图像。
[0106] 根据本结构，摄像装置能够在按每帧而变更加法采样信息的同时进行拍摄。由此， 能够生成高画质的时间平均图像。由于帧之间存在关联的信号成分被消除，所以与一般图 像信号相比，与时间平均图像的差分图像信号的稀疏性变高。因此，通过压缩感知对差分信 号进行图像复原，从而能够进行更高画面质量的图像复原。进一步，通过加法采样处理，由 于降低了模数转换器（ADC)的驱动频率，所以能够实现低功耗化、高SN化以及缩窄通信带 宽。
[0107] 以下，参照附图对本发明涉及的摄像系统的实施方式进行说明。
[0108] (实施方式1)
[0109] 图1表示本发明的一个实施方式涉及的摄像系统10的硬件结构例。摄像系统10 具备摄像元件11、多路复用器（MUX) 12、控制电路13、模数转换器（ADC) 14、图像复原电路15 以及输出选择器16。
[oho] 摄像元件11是由多个像素构成的像素阵列。摄像元件11将接收的光信号转换成 电信号。更具体而言，摄像元件11的各像素接收光，积蓄与入射的光的量对应的电荷并进 行输出。
[0111] MUX12进行对多个像素的像素值（电荷信号）进行加法运算的处理（加法采样处 理）。更具体而言，加法采样处理是指如下处理：在对某位置的像素采样得到的电荷信号上 加上对与该像素的位置存在预定关系的位置的像素采样得到的电荷信号，生成新的信号。 加法采样处理对模拟电荷信号而进行，所得到的信号也还是模拟电荷信号。后面将说明本 实施方式涉及的加法采样处理的详细情况。
[0112] 控制电路13生成用于控制多路复用器12中的加法采样处理的控制信号，并输出 给多路复用器12。该控制信号是后述的加法采样信息。
[0113] ADC14将加法采样处理后得到的模拟电荷信号转换成数字数据。ADC14例如是串 联连接Λ Σ调制器和数字滤波器（均未图示）而构成的Λ Σ型ADC。Λ Σ调制器接收模 拟信号，将其转换成以比假想的采样速率高的速率采样得到的一比特的脉冲波形（数字波 形）。数字滤波器对该脉冲波进行带宽限制和抽取（剔除），输出设想的采样速率的多位数 字数据。
[0114] 图像复原电路15根据由ADC14转换的数字数据，使用压缩采样技术生成应该是由 摄像元件11当初生成的图像。在本说明书中，将该处理称为"将图像复原"。
[0115] 输出选