摄像系统、摄像装置、编码装置以及摄像方法
【技术领域】
[0001] 本发明涉及使用了压缩感知（compressed sensing)的摄像装置。
【背景技术】
[0002] 近年来，正在开发称为"压缩感知"的技术。压缩感知是指如下技术：通过在摄像 (拍摄）时将多个像素的像素值（电荷信号）相加从而压缩图像的信息量，并进行利用了图 像的稀疏（sparse)性（后述）的图像复原（例如参照非专利文献1)。基于上述方式的摄 像称为加法采样摄像。
[0003] 在先技术文献
[0004] 专利文献1 :日本特开2010-245955号公报
[0005] 非专利文献 I :J. Ma，"Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement,，' IEEE Transactions on Instrumentation and Measurement，第 60 卷，no. 1，第 126-136 页，2011.
[0006] 非专利文献 2 :Y. Oike 和 A. Ε· Gamal，"A 256X256 CMOS Image Sensor with Δ Σ-Based Single-Shot Compressed Sensing，'，IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers,第 386-387 页，2012.
[0007] 非专利文献3 :田中利幸，"压缩感知的数学理论"，IEICE Fundamentals Review, 第 4 卷，no. 1，第 39-47 页，2010.
[0008] 非专利文献4 :茨木俊秀、福岛雅夫著、"信息数学讲座（全15卷）第14卷最优化 的方法"共立出版株式会社、1993年7月20日初版第一次印刷发行（P159-P164).
[0009] 非专利文献 5 :Μ· V. Afonso、J. M. Bioucas-Dias 以及 M. A. T. Figueiredo, "Fast Image Recovery Using Variable Splitting and Constrained Optimization，'，IEEE Transactions on Image Processing,第 19 卷，No. 9,第 2345-2356 页，2010.
[0010] 非专利文献 6 :C. Tomasi 和 R. Manduchi，"Bilateral filtering for gray and color images，'，Proc. of IEEE International Conference on Computer Vision,第 839-846 页，1998.
[0011] 非专利文献7:中静真，"稀疏信号表现及其图像处理应用"，影像信息媒体学会志， 第 65 卷，No. 10,第 1381-1386 页，2011.
[0012] 非专利文献 8 :J. Zhang、D. Zhao、C. Zhao、R. Xiong、S. Ma 以及 W. Gao, "Compressed Sensing Recovery via Collaborative Sparsity，'，Proc. of IEEE Data Compression Conference，第 287-296 页，2012.
【发明内容】
[0013] 然而，要求进一步提高复原图像的画质。
[0014] 一个非限制的例示性实施例提供一种提高复原图像的画质的摄像系统。
[0015] 本发明的实施方式的其他益处和优点将通过说明书和附图得到明确。这些益处和 /或优点能够单独地由所公开的说明书和附图的各个实施方式和特征来实现，并且，不需要 通过所有的实施方式和特征来实现一个或更多的益处和/或优点。
[0016] 本发明的一个技术方案涉及一种摄像系统，具备：光电转换单元，将多个像素接受 的光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持；加法 采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1 加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；加法采样单元，使用所 述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使 用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述 加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样 信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧 连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信 号；转换单元，将所述加法采样单元输出的信号转换成数字信号；以及图像复原单元，根据 所述数字信号，利用所述加法采样信息生成并输出复原图像。
[0017] 本发明的一个技术方案涉及的摄像系统能够得到更高画质的复原图像。
【附图说明】
[0018] 图1是表示发明的一个实施方式涉及的摄像系统10的硬件结构例的图。
[0019] 图2是表示实施方式1涉及的摄像系统10的结构例的框图。
[0020] 图3是表示实施方式1中的编码系统500的结构的框图。
[0021] 图4是表示实施方式1涉及的编码系统30的主要处理的步骤的流程图。
[0022] 图5是表示本实施方式1中的加法采样摄像单元101和图像复原单元103的详细 结构的框图。
[0023] 图6是表示实施方式1中的摄像装置的加法采样摄像单元101的处理步骤的流程 图。
[0024] 图7是表示4X4共16个像素的配置的图。
[0025] 图8的（a)?（h)是用于说明时刻tl的加法采样处理的示意图。
[0026] 图9的（a)?（h)是用于说明时刻t2的加法采样处理的示意图。
[0027] 图10的（a)?（h)是用于说明时刻t3的加法采样处理的示意图。
[0028] 图11的（a)?（h)是用于说明时刻t4的加法采样处理的示意图。
[0029] 图12是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示 意图。
[0030] 图13是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示 意图。
[0031] 图14的（a)和（b)是用于说明加法采样处理的特征的示意图。
[0032] 图15的（a)和（b)是用于说明加法采样处理的特征的示意图。
[0033] 图16的（a)和（b)是用于说明加法采样处理的特征的示意图。
[0034] 图17的（a)和（b)是用于说明加法采样处理的特征的示意图。
[0035] 图18是示出了成为基准的图像、通过非专利文献8的图像复原方法对16帧数据 进行复原而得到的图像以及通过实施方式的处理复原而得到的图像的图。
[0036] 图19是表示实施方式2的编码系统30的结构的框图。
[0037] 图20是表示实施方式2的编码系统30的主要处理的步骤的流程图。
[0038] 图21是表示加法采样摄像单元101和图像复原单元103的详细结构的框图。
[0039] 图22是表示实施方式2中的摄像装置的加法采样摄像单元101和图像复原单元 103的处理步骤的流程图。
[0040] 图23的（a)?（h)是用于说明时刻tl的加法采样处理的示意图。
[0041] 图24的（a)?（h)是用于说明时刻t2的加法采样处理的示意图。
[0042] 图25的（a)?（h)是用于说明时刻t3的加法采样处理的示意图。
[0043] 图26的（a)?（h)是用于说明时刻t4的加法采样处理的示意图。
[0044] 图27是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示 意图。
[0045] 图28是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示 意图。
[0046] 图29的（a)和（b)是用于说明加法采样处理的两个特征的示意图。
[0047] 图30的（a)和（b)是用于说明加法采样处理的两个特征的示意图。
[0048] 图31的（a)和（b)是用于说明加法采样处理的两个特征的示意图。
[0049] 图32的（a)和（b)是用于说明加法采样处理的两个特征的示意图。
[0050] 图33的（a)?（d)是用于说明利用了差分图像的复原处理的示意图。
[0051] 图34是表示按每帧而固定了加法采样信息的情况下、和按每帧而变更加法采样 信息的情况下的复原图像及其时间平均图像的示意图。
[0052] 图35是表不利用了时间平均图像的复原图像的画质的不意图。
[0053] 图36是表示实施方式3中的编码系统200的结构的框图。
[0054] 图37是表不实施方式3中的编码系统200的处理步骤的流程图。
[0055] 图38是表示摄像状况推定单元106与图像复原单元103的关系的框图。
[0056] 图39是表示实施方式4中的编码系统300的结构的框图。
[0057] 图40是表示实施方式5中的编码系统400的结构的框图。
[0058] 图41是表示实施方式6中的编码系统500的结构的框图。
[0059] 图42是表示实施方式7涉及的显示控制系统600的结构例的框图。
[0060] 图43是表示实施方式7中的显示控制系统600的主要处理步骤的流程图。
[0061] 图44是表示实施方式7涉及的其他显示控制系统601的结构例的框图。
[0062] 图45是表示实施方式7中的其他显示控制系统601的主要处理步骤的流程图。
[0063] 标号说明
[0064] 101加法采样摄像单元
[0065] 102低分辨率图像生成显示单元
[0066] 103图像复原单元
[0067] 104用户接口单元
[0068] 105输出单元
[0069] 106摄像状况推定单元
[0070] 201光电转换单元
[0071] 202电荷保持单元
[0072] 203加法采样信息设定单元
[0073] 204加法采样单元
[0074] 205模数转换单元
[0075] 206平均信号生成单元
[0076] 207平均信号保持单元
[0077] 208差分信号生成单元
[0078] 209差分图像复原单元
【具体实施方式】
[0079] (基础见解）
[0080] 通常来说，当进行上述的加法采样摄像时，由于会失去图像的信息量，所以复原图 像的画质会较大程度地劣化。但是，在压缩感知中，由于进行利用了图像的稀疏性的复原处 理，所以即使通过加法运算拍摄减少了数据量，也能够得到画质不逊色于不压缩的情况下 的图像的复原图像。在这里，"图像的稀疏性"是指如下见解：在将图像向小波域（Wavelet Domain)空间或离散余弦（DCT :Discrete Cosine Transform)空间等投影时，许多系数值 大致成为0。作为利用了图像的稀疏性的图像复原方法，在压缩感知中，利用LO范数（norm) 最小化或LI范数最小化方法。
[0081] 在压缩感知中，在摄像元件内的模数转换器（以下描述为"ADC"）中进行处理以 前，由于能够进行简单的加法运算处理而压缩数据量，所以能够降低ADC的驱动频率。由 此，能够实现低功耗化、高SN (信噪比）化、以及缩窄通信带宽。
[0082] 例如专利文献1公开了利用压缩感知的概念的固态成像器件。在该固态成像器件 中，在多个像素各自连接有多条不同的布线。固态成像器件在错开了相位的定时按顺序驱 动像素组的多个像素而读出信号。通过该结构，减少了追加的电路，无需采样和保持电路， 实现了能够防止由噪声增加导致的画质劣化、面积增加、速度下降的固态成像器件。
[0083] 另夕卜，非专利文献1公开了通过利用改进的Curvelet阈值迭代（Improved Iterative Curvelet Thresholding)法，对图像应用压缩感知的方法。
[0084] 然而，在压缩感知中作为前提的图像的稀疏性在一般图像中并不一定成立。例