编码方法、电子相机、记录有编码程序的记录介质以及解码方法

专利名称：编码方法、电子相机、记录有编码程序的记录介质以及解码方法
技术领域：
本发明涉及对由全光相机(Plenoptic camera)拍摄到的图像进行编 码的编码方法、电子相机、记录有编码程序的记录介质以及对编码后的 图像进行解码的解码方法。
背景技术：
图20是表示通常的相机聚焦功能的图。通过聚焦透镜21和未图示 的其他光学系统(例如变焦光学系统)聚光后的光被投射到配置于像平 面21F的摄像元件27上。如箭头21B所示，聚焦透镜21相对于像平面 21F的位置可以沿着光轴21H而改变。聚焦透镜21的位置例如在自动聚 焦(AF)等控制时用于相机的固件(Firmware)等的处理。该聚焦透镜 21的位置是通过离散性的数值进行管理的。图中21A表示这种"聚焦值"。在此，当通常的相机的光学系统中包含变焦光学系统时、或者其属 于较复杂的光学系统时，通过包含多个透镜在内的透镜组来构成聚焦透 镜21。此时，聚焦值21A成为表示这种透镜组中可改变和控制的总体状 态的值。相机的透镜基本上在平面上对平面上的物体进行成像。在此，将通 过配置成规定的聚焦值的聚焦透镜21而清晰地成像在像平面21F上的平 面称作"最佳的物体平面"。当被拍摄体位于最佳的物体平面21D上时， 在完全对焦的状态下成像在摄像元件27上。通过改变聚焦值21A，可以 改变从像平面21F到最佳的物体平面21D的距离、即被拍摄体距离21E。 聚焦值21A与被拍摄体距离21E成为一对一的对应关系。
实际上即使存在与模糊的允许范围对应的被拍摄场深度21G，物体平面21J从最佳的物体平面错开相当于被拍摄场深度21G的量，实质上 也会在对焦的状态下投射在摄像元件27上。图19A表示使用这种通常的相机进行拍摄的情况。首先通过自动聚 焦或者手动聚焦的操作使焦点对准被拍摄体X。该动作与通过使聚焦透 镜21在光轴21H的方向上移动从而将最佳的物体平面21D对准被拍摄 体X的被拍摄体面的情况对应。图19A表示聚焦透镜21移动到某个聚 焦值21A上，最佳的物体平面21D与被拍摄体X的被拍摄体面一致的状 态。当在该状态下按下释放按钮时，来自被拍摄体X的光通过对焦状态 下的聚焦透镜21而被投射到摄像元件27上。与此相对，如图19B所示，在全光相机中，将来自被拍摄体X的光 投射到微透镜阵列25上。即，在图19B的像平面21F上设置有微透镜阵 列25，摄像元件27被配置在其后的面上。通过这种结构，被投射到微透 镜阵列25上的来自被拍摄体X的各种光线K1、K2、K3被各个微透镜25A 分离，投射到摄像元件27的一部分27A上。因而在通过该摄像元件的一 部分27A成像的信息中包含光线方向的信息。另一方面，由于被拍摄体X 的光投射到微透镜阵列25上，所以可以认为摄像元件27的成像结果包 含有位置信息，该位置信息表示光线是来自被拍摄体的哪个位置的光。这样，作为全光相机的摄像元件的成像结果的图像信息(光场(Light field)图像)包含有空间上的光线的信息(光线信息)。如上所述，全光 相机可以对四维的光线信息进行采样。在美国专利6097394中记载有对光线信息(光场图像信息)进行编 码的方法。在该方法中，为了提高解码速度而采用了矢量量子化。并且， 该方法不同于例如访问解码数据较为复杂的动态图像专家组(MPEG)方 式等中采用的预测编码，而是参照码本(Codebook)内的索引并将其输 出来对矢量编码数据进行解码。在美国专利6097394的方法中，光线信息被矢量量子化，在进行矢 量量子化时采用的码本和索引被LZ (Lempd-Ziv)编码而装入到位流(Bit Stream)内。为了提高图像质量，在最开始生成适当的码本之前，例如进
行基于试误(Try and Error)的编码，生成训练(training)集合。在此，由于基于试误的编码处理负荷较大，因而应用到便携型全光 相机的实时拍摄中未必适当。因而期待出现一种适于装入便携型全光相 机的更为适当的编码方法。而且，在美国专利6097394中没有记载如何从与主要的光线信息一并 被编码的图像中提取索引显示于便携设备或计算机上的縮略图像的内容。在"Light Field Photography with a Hand-held Plenoptic Camera", Ren Ng et, Stanford Tech Repot CTSR 2005-02, 2005中公开了具备机械/光学特 征的便携型全光相机。但在该文献中没有公开如何对所取得的图像进行 编码的内容。而且，在该文献中也没有公开在显示器上实时显示所取得 的图像的方法、和对縮略图像进行编码的方法。在"Fourier Slice Photography", Ren Ng， Stanford University, 2005中 公开有傅立叶分层(Fourier Slicing)法，其是对由全光相机取得的图像 进行重新聚焦(Refocus)来生成各种焦点深度下聚焦而成的图像的方法。 但在该文献中没有公开取得光线信息的全光相机等设备如何对光线信息 进行编码，也没有公开对应取得的图像进行实时取景显示的方法。并且，在"光線情報K基刁 < 空間符号化(3-D Space Coding Based on Light Ray Data)" 高野他、映像情報乂fV了学会誌Vol.52， No.l, pp.1321-7中，公开有把光线信息分割为块而实施四维离散余弦转换 (DCT)的技术。但在该技术中必须对庞大的四维数据执行四维的DCT。 因而不仅编码变得复杂，还要对除去直流分量之外的所有DCT系数应用 线性量子化，所以光线的传播方向的信息被不可逆地编码，存在丢失该 信息的可能。发明内容本发明的目的在于，提供一种能够以较小的编码处理负担来提供高 画质的光线信息的编码方法及其解码方法、电子相机、以及记录有这样 的编码程序的记录介质。本发明的其他优点将在随后的说明中进行阐述，其部分根据该说明
会变得清楚，或者可以通过实施本发明而获知。本发明的优点可以由下 文中具体指出的手段及其组合而实现并获得。


被并入且构成本说明书的一部分的附图例示了本发明的实施方式， 并与前面给出的一般描述和后面给出的实施方式的详细描述一起用于解 释本发明的原理。图1是本发明的实施方式涉及的数字相机的整体结构图。 图2是用于说明图1所示的微透镜阵列和摄像部的像素之间的关系 的图。图3是用于说明微透镜块的图。图4是用于说明图1所示的处理部的功能的一部分的框图。 图5是用于说明图4所示的像素数据生成部的处理的流程图。 图6是用于说明本发明的实施方式中微透镜块的图。 图7是用于说明本发明的实施方式中处理(processing)块的图。 图8A是用于说明本发明的实施方式中微透镜块的编码方法的图。 图8B是用于说明微透镜块的其他编码方法的图。 图9是用于说明本发明的实施方式涉及的编码方法中采用的Z形扫 描的图。图10是用于说明本发明的实施方式中被编码的图像数据的记录格 式的图。图11是用于说明根据图1所示的摄像部的成像结果对图像数据进行 编码并将其写入到作业存储器中的动作的流程图。图12是用于说明图11所示的动作中的数据流向的图。图13是用于说明图ll所示的步骤S24的处理的流程图。图14是用于说明本发明的实施方式中縮略图像的编码方法的流程图。图15是用于说明本发明的实施方式中再现处理的流程图。 图16是用于说明图15所示的再现处理中数据流向的图。 图17是用于说明本发明的实施方式中实时取景图像的显示处理的图。图18是用于说明本发明的实施方式的编码处理的变形例的图。图19A和图19B是用于说明现有相机和全光相机的拍摄原理的图。 图20是用于说明通常的相机的拍摄原理的图。
具体实施方式
图1是本发明的实施方式涉及的数字相机1的整体结构图。如图1 所示，数字相机1例如具有操作部22、光学系统23、微透镜阵列25、摄 像部27、模拟前端(analog front end: AFE) 29、作业存储器31、处理 部32、存储器接口 33、内部存储器35、存储器接口 37、可拆装的存储 器39、视频存储器41、显示部43、外部接口45、闪速存储器(Flash Memory) 47和CPU 48。AFE 29、作业存储器31、处理部32、存储器接口 33、存储器接口 37、视频存储器41、外部接口45和CPU48通过信号线21电连接。操作部22把对应于用户操作的操作信号输出给CPU 48。操作部22 包含用于使数字相机1的电源导通的电源按钮、和用于执行静止图像拍 摄的释放按钮等各种操作部件。光学系统23由聚焦透镜23a和变焦透镜23b构成，对来自被拍摄体 的光进行聚光等而朝向微透镜阵列25出射。聚焦透镜23a将来自被拍摄 体各点的光投射到微透镜阵列25上的一个汇聚点上。如图2和图3所示，微透镜阵列25是通过配置成sXt矩阵状的多个 微透镜ML (s，t)而构成的。各微透镜分别将从被拍摄体的各点入射进来 的光(汇聚光)按照始于该点的出射方向(角度)进行分离，投射到摄 像部27的摄像元件面上对应的像素上。在本实施方式中，构成微透镜阵列25的各个微透镜的二维形状与聚 焦透镜23a的二维形状相同。该二维形状例如为矩形。使各微透镜的二 维形状与聚焦透镜23a的二维形状相同，从而可以减少构成微透镜块 MLB (s，t)的6X6像素中有效光没有入射的像素(无用的像素)的数量。
摄像部27是CCD传感器和CMOS传感器，其相对于微透镜阵列25 位于光学系统23的相反侧。摄像部27既可以是单板式也可以是三板式。 摄像部27是把多个像素配置成矩阵状而构成的。各个像素的受光面的形 状例如为矩形。在本实施方式中，聚焦透镜23a、各个微透镜以及像素的 受光面都为相同形状、即矩形。由此可以减少从聚焦透镜23a入射的光 中无法用摄像部27的像素接受的光的比例，可以提高摄像部27的受光 灵敏度。在本实施方式中，例如以6X6像素的微透镜块MLB为单位对构成 摄像部27的像素进行处理。微透镜块MLB (s，t)例如与一个微透镜ML (s,t)对应。微透镜块MLB (s,t)无需与一个微透镜ML (s，t) 一对一 地对应。还可以通过像素插值处理等来生成微透镜块MLB (s，t)。如图3所示，各微透镜块MLB(s,t)被分配有6X6个像素PIC(u，v)。 摄像部27生成与对各像素接受的光进行光电转换而产生的电荷对应的模 拟的RAW图像信号。如后所述，在本实施方式中，处理部32根据从RAW图像信号获得 的数字的RAW图像数据进行插值处理等，生成各微透镜块MLB (s,t) 的像素PIC (u,v)的像素数据L (u,v,s，t)。在本实施方式中，各微透镜块MLB (s，t)的6X6个像素的像素数 据L (u,v,s,t)具有光线信息。广义上的光线信息是指光线的信息。 一般而言，为了获得光线的信 息，需要获得该光线在自由空间内通过的一点(x,y,z)和通过该点时的角 度(W)。但在数字相机1的摄影等中所设想的自由空间中，无论放射 亮度取光线上的哪个点都是不变的，所以将一般的光线信息视为四维的 光线信息。即，在此所说的光线信息是指包含光线在规定的二维多样体 中交叉的点的位置和入射到该多样体中的角度的信息在内的信息。此时， 规定的多样体是假想的要素，是任意的。规定的多样体例如是平面或者 球面。并且，多样体也可以不是单一的，例如还可以由2个不同的平面 构成。进而，根据光线信息的用途，还可以不是四维的光线信息而是三 维的光线信息，其中，该三维的光线信息是仅考虑到光线在规定的平面
上交叉的点的位置(二维)和入射到该平面上的角度(二维)中该光线 与平面上的一个方向矢量所成的角度(一维)而得到的。还可以把光线信息描述为2个规定的第1平面与第2平面交叉的2 个部位的信息。这样的描述方法例如记载在美国专利6097394中。在本实施方式的数字相机1中，可以把微透镜阵列25的平面设为规 定的平面。此时，可以视为用坐标(s,t)描述该平面上的位置，用坐标 (n，v)描述相对于该平面的入射角。AFE 29对从摄像部27输入的模拟图像信号实施规定的模拟前端处 理。然后对处理后得到的图像信号进行A/D转换，将通过A/D转换得到 的数字的RAW图像数据写入作业存储器31 。作业存储器31暂时存储处理部32的处理对象数据或者处理后的数 据。作业存储器31例如是同步DRAM (SDRAM)。处理部32如后所述进行通过拍摄得到的图像数据的编码、解码等处 理。处理部32例如是数字信号处理器(DSP)。后面详细说明该处理部 32的处理。另外，处理部32是编码部的一个例子。内部存储器35例如是闪速存储器等半导体存储器，其固定装入在数 字相机1内。内部存储器35存储通过拍摄得到的图像数据，并通过存储 器接口 33将图像数据输入输出给信号线21。可拆装的存储器39例如是由闪速存储器构成的存储卡，可拆装地安 装在数字相机1上。可拆装的存储器39存储通过拍摄得到的图像数据， 并通过存储器接口 37将图像数据输入输出给信号线21。视频存储器41暂时存储由处理部32生成的显示用的图像数据。显 示部43显示与存储在视频存储器41中的图像数据对应的图像。显示部 43例如是液晶显示器。外部接口 45与数字相机1的外部设备之间进行数据的输入输出。外 部接口 45例如是通用串行总线(USB接口)。闪速存储器47存储有用于执行拍摄动作的各种程序和用于执行各 种处理的参数。CPU 48执行从闪速存储器47读取的程序，统一控制数字相机1的动作。下面说明图l所示的处理部32。图4是用于说明图l所示的处理部32的功能的一部分的框图。如图4所示，处理部32作为功能块例如具有像素数据生成部50、 间除处理部51、联合图像专家组(JPEG)编码部53、全光编码部55、 头附加部61、头解释部63、 JPEG解码部65、全光解码部67。还可以不使用DSP而使用专用的硬件电路来构成像素数据生成部 50、间除处理部51、 JPEG编码部53、全光编码部55、头附加部61、头 解释部63、 JPEG解码部65、全光解码部67的一部分。而且，还可以通 过DSP之外的处理器来实现这些功能的一部分或者全部。大致把处理部32的处理分为例如生成像素数据L (u，v，s,t)的处理、 对像素数据L (u，v,s，t)进行编码的处理、对编码后的像素数据L (u，v,s,t) 进行解码的处理、显示与解码后的像素数据对应的图像的处理。下面按顺序说明各处理。首先说明像素数据生成部50。图5是用于说明像素数据生成部50 的处理的流程图。步骤S11:像素数据生成部50例如从作业存储器31读取RAW图像数据。 步骤S12:像素数据生成部50对读取到的RAW图像数据执行去马赛克 (De-mosaic)处理、失调(Misalliance)校正处理以及插值处理等。去 马赛克处理是通过在摄影时对各像素从其周边像素收集不足的颜色信息 并赋予给该像素从而补充颜色信息，制作出全色图像的处理。例如在很 多数字相机所采用的单板式图像传感器中，为使各像素仅具有单色的颜 色信息而需要进行去马赛克处理。三板式的情况下不需要去马赛克处理。 失调校正处理例如是旋转RAW图像数据表示的图像，校正图3所示的微 透镜阵列25的微透镜ML (s，t)的排列和摄像部27的微透镜块MLB的 排列的横向失调的处理。插值处理例如为了使各微透镜块MLB包含规定 数量的像素数据而进行。
步骤S13:像素数据生成部50将在步骤S12中生成的相当于1帧的像素数据L (u，v,s,t)作为被编码图像数据TE写入作业存储器31等。像素数据L (u，v，s，t)是光线信息的一个例子。下面说明用于对被编码图像数据进行编码的间除处理部51、 JPEG 编码部53、全光编码部55和头附加部61。如图6所示，间除处理部51从构成被编码图像数据TE的像素数据 L (u,v,s,t)中间除作为各微透镜块MLB内的像素PIC (4,4)的、像素 PIC (uO，vO)之外的像素PIC (u，v)的像素数据L (u，v,s，t)，生成图像数 据TE2。通过间除，如图7等所示，图像数据TE2成为由像素数据L (uO，vO,s,t)构成的数据。JPEG编码部53对由间除处理部51生成的图像数据TE2实施JPEG 编码处理，生成JPEG哈夫曼编码(Huffinan Code) JF。 JPEG哈夫曼编 码jf是第i图像信息的一个例子，jpeg编码部53进行的编码处理是第 1编码处理的一个例子。在本实施方式中，作为第1编码处理的一个例子， 例示JPEG编码处理，但也可以使用其他的空间频率转换。具体而言，JPEG编码部53对图像数据TE2实施DCT转换处理而 生成DCT转换系数K。然后，JPEG编码部53对DCT转换系数K进行 量子化。接着，JPEG编码部53对量子化后的DCT转换系数从低频分量 (直流)向高频分量呈Z状扫描。接着，JPEG编码部53对扫描后的DCT 转换系数实施哈夫曼编码等熵编码，生成JPEG哈夫曼编码JF。如图4所示，全光编码部55具有路径扫描部57和LZW处理部59。 如上所述，JPEG编码部53对由像素数据L (u0,v0，s,t)构成的图像 数据TE2进行编码。与此相对，全光编码部55对被编码图像数据TE内 的像素数据L (u0,v0,s,t)之外的像素数据L (u，v,s,t)进行可逆编码，生 成字符串数据WORD。字符串数据WORD是第2图像信息的一个例子， 全光编码部55进行的编码处理是第2编码处理的一个例子。在本实施方 式中，作为第2编码处理例示LZW编码，但也可以使用其他的LZ编码 处理。
如图8A所示，路径扫描部57以各微透镜块MLB内的像素PIC (uO，vO)为基点，沿着路径PATH1、 PATH2、 PATH3、 PATH4、 PATH5 这5个路径扫描像素PIC (uO,vO)之外的像素PIC (u，v)的像素数据L (u，v，s，t)。在此，路径扫描部57在路径PATH1的扫描中，生成像素数据L (5，4，s,t)与像素数据L (uO,vO，s，t)的差值数据D (5,4,s，t)、像素数据L (5，3,s,t)与像素数据L(5,4，s，t)的差值数据D(5,3，s,t)、像素数据L(6,3,s,t) 与像素数据L (5，3,s，t)的差值数据D (6,3,s,t)、以及像素数据L (6,4，s,t) 与像素数据L (6，3，s，t)的差值数据D (6,4，s,t)。然后，路径扫描部57生 成由差值数据D (5，4,s,t)、 D (5，3,s，t)、 D (6,3,s，t)、 D (6，4，s,t)构成的 字符W0RD1。并且，路径扫描部57在路径PATH2的扫描中，生成像素数据L (4，3，s,t)与像素数据L (uO，vO,s,t)的差值数据D (4,3，s，t)、像素数据L (4，2,s，t)与像素数据L(4,3,s,t)的差值数据D(4,2,s,t)、像素数据L(5,2，s,t) 与像素数据L (4,2,s，t)的差值数据D (5，2，s，t)、像素数据L (4，1,s，t)与 像素数据L (5,2，s,t)的差值数据D (4,1，s，t)、以及像素数据L (3,1，s，t) 与像素数据L (4,1,s,t)的差值数据D (3，1，s，t)。然后，路径扫描部57生 成由差值数据D (4,3,s,t)、 D (4,2,s,t)、 D (5，2,s，t)、 D (4，1，s，t)、 D (3，1,s,t) 构成的字符W0RD2。并且，路径扫描部57在路径PATH3的扫描中，生成像素数据L G,3,s,t)与像素数据L (uO,vO,s，t)的差值数据D (3,3，s，t)、像素数据L (3，2,s,t)与像素数据L(3,3，s,t)的差值数据DG，2,s,t)、像素数据L(2，2，s,t) 与像素数据L (3,2,s，t)的差值数据D (2，2，s,t)、像素数据L (2,3,s,t)与 像素数据L (2,2,s,t)的差值数据D (2，3，s，t)、以及像素数据L (1,3,s,t) 与像素数据L (2,3,s，t)的差值数据D (1,3,s,t)。然后，路径扫描部57生 成由差值数据D (3，3，s，t)、 D (3,2，s,t)、 D (2，2,s,t)、 D (2,3，s，t)、 D (1，3，s,t) 构成的字符W0RD3。并且，路径扫描部57在路径PATH4的扫描中，生成像素数据L (3，4，s，t)与像素数据L (uO，vO,s,t)的差值数据D (3,4,s,t)、像素数据L(2，5，s，t)与像素数据L(3，4，s,t)的差值数据D(2,5,s,t)、像素数据L(2,4,s,t) 与像素数据L (2,5,s,t)的差值数据D (2，4,s，t)、以及像素数据L (1，4，s，t) 与像素数据L (2,4,s,t)的差值数据D (1，4,s，t)。然后，路径扫描部57生 成由差值数据D (3,4，s,t)、 D (2，5，s，t)、 D (2,4，s,t)、 D (1，4,s,t)构成的 字符WORD4。并且，路径扫描部57在路径PATH5的扫描中，生成像素数据L (4,5，s，t)与像素数据L (uO，vO，s，t)的差值数据D (4，5,s,t)、像素数据L (3,5,s,t)与像素数据L(4，5,s，t)的差值数据D(3,5,s,t)、像素数据L(3,6，s，t) 与像素数据L (3，5，s，t)的差值数据D (3,6,s，t)、像素数据L (4，6，s，t)与 像素数据L (3,6,s,t)的差值数据D (4，6,s,t)、以及像素数据L (5,5，s,t) 与像素数据L (4,6,s，t)的差值数据D (5,5,s,t)。然后，路径扫描部57生 成由差值数据D (4,5，s，t)、 D (3，5，s，t)、 D G，6,s，t)、 D (4,6，s，t)、 D (5,5,s，t) 构成的字符W0RD5。在此，如图6所示，各微透镜块MLB内的4角的像素PIC 的 像素数据L (l,l,s,t)、 L (1，2，s,t)、 L (2，1，s,t)、 L (5,1,s，t)、 L (6,1,s,t)、 L (6,2，s,t)、 L (1，5，s，t)、 L (1，6，s,t)、 L (2,6,s,t)、 L (5，6,s，t)、 L (6，5,s，t)、 L (6，6,s,t)由于微透镜块MLB与微透镜ML的位置关系的原因而不能获 得有效的像素数据，因而不进行上述扫描。不能在各微透镜块MLB内的 4角的像素中获得有效的像素数据，是因为聚焦透镜23a具有圆形形状， 通过聚焦透镜23a投影在微透镜块MLB上的像成为模糊不清的圆形形 状。另外，在将聚焦透镜23a和变焦透镜23b设为矩形时，例如图8B所 示，微透镜ML内的4角的各1个像素之外的像素的像素数据为有效。 这种情况下，路径扫描部57也可以在图8B所示的路径PATH11 14上 进行扫描。路径扫描部57例如以图7所示的被编码图像数据TE内的处理块数 据PRBK为单位，对该处理块数据PRBK内的像素数据L (u，v,s,t)进行 上述扫描处理，生成字符串数据WORD。另外，处理块数据PRBK是处 理单位块的一个例子。并且，微透镜块MLB是二维块数据的一个例子。在此，在处理块数据PRBK中包含有8X8合计64个微透镜块MLB 的像素数据L (u,v,s，t)。因此，路径扫描部57对处理块数据PRJBK生成 320 (=5X8X8)字符的字符串数据WORD。如图9所示，路径扫描部57例如通过Z形扫描，将对处理块数据 PRBK内的8X8合计64个微透镜块MLB分别生成的字符WORD1 5 按顺序排列，生成字符串数据WORD。LZW处理部59对从路径扫描部57输入的字符串数据WORD实施 LZW压縮处理，生成LZW压縮编码LZ。另外，LZW处理部59还可以 进行LZW之外的基于字典的通用编码(LZ编码)。头附加部61生成由JPEG编码部53生成的JPEG哈夫曼编码JF和 由LZW处理部59生成的LZW压缩编码LZ的头数据HEADER。头数据 HEADER中写入有向LZW压縮编码LZ的指针、縮略图像数据、文件尺 寸、图像尺寸、摄影日期时间、其他标签信息。处理部32把头附加部61 生成的头数据HEADER、向LZW压缩编码LZ的指针LZP、 JEPG縮略 数据THM、 JPEG哈夫曼编码JF，以图IO所示的数据结构的文件形式写 入到内部存储器35和可拆装的存储器39中。头解释部63对从作业存储器31读取到的JPEG哈夫曼编码JF和 LZW压缩编码LZ的头数据HEADER进行解释。头解释部63读取向LZW 压縮编码LZ的指针LZP对其进行保持。然后，当头解释部63之后进行 LZW压缩编码LZ的读取的情况下，根据该指针LZP对读取对象的LZW 压縮编码LZ进行访问。然后，头解释部63把从作业存储器31读取到的 JPEG哈夫曼编码JF输出给JPEG解码部65，把LZW压縮编码LZ输出 给全光解码部67。JPEG解码部65对从头解释部63输出的JPEG哈夫曼编码JF进行 JPEG解码，生成JPEG解码图像数据。JPEG解码图像数据由像素数据L (uO,vO,s,t)构成。JPEG解码部65进行的解码处理对应于上述JPEG编 码部53的编码处理。即，JPEG解码部65对JPEG哈夫曼编码JF依次实 施哈夫曼解码处理、逆量子化和逆DCT处理。全光解码部67根据JPEG 解码图像数据对LZW压縮编码LZ进行解码，生成像素数据L(uO，vO，s，t) 之外的像素数据L (u,v，s,t)。全光解码部67的解码处理例如对应于上述
全光编码部55的编码处理。下面说明数字相机1的动作例。 [图像数据记录处理]图11是用于说明对与摄像部27的成像结果对应的图像数据进行编码并将其写入到作业存储器31中的动作的流程图。图12是用于说明图11所示的动作中的数据流向的图。下面参照图12说明图11所示的各步骤。另外，下面所示的处理中的一部分的执行顺序是任意的。还可以同时执行一部分处理。步骤S2h当接通操作部22的释放开关时，摄像部27在各像素接受来自被拍 摄体的光，对各像素接受到的光进行光电转换，生成与通过光电转换产 生的电荷对应的模拟的RAW图像信号。步骤S22:处理部32取得在生成步骤S21的RAW图像信号时光学系统23中 使用的镜头参数和聚焦值f。另外，聚焦值f与图19B中的被拍摄体距离 21E成为一对一的对应关系。因此，还可以通过计算来取得与聚焦值f 对应的被拍摄体距离的值，来代替聚焦值f。以下也用f来表示这样计算 出来的被拍摄体距离。并且，在单焦点相机的情况下，不需要取得聚焦 值。不过，为了进行再现处理，也可以取得相机固有的过焦距的值f而作 为聚焦值。步骤S23:AFE 29对从摄像部27输入的模拟图像信号实施规定的模拟前端处 理，把对处理后的图像信号进行A/D转换而得到的数字的RAW图像数 据写入作业存储器31。并且，像素数据生成部50从作业存储器31读取 RAW图像数据，进行去马赛克处理、失调校正处理、插值处理等，生成 像素数据L (u,v,s，t)。之后，像素数据生成部50按照每帧把由像素数据 L (u,v,s,t)构成的被编码图像数据TE写入作业存储器31。步骤S24:处理部32从作业存储器31读取被编码图像数据TE进行编码，生成
JPEG哈夫曼编码JF和LZW压縮编码LZ。然后，处理部32将这两个编 码与在步骤S22中取得的镜头参数和聚焦值f 一起写入作业存储器31。 在此，编码处理等是在图4所示的间除处理部5K JPEG编码部53、全 光编码部55和头附加部61中进行的。关于该步骤S24的处理，将在后 面参照图13进行详细说明。 步骤S25:头解释部63从作业存储器31读取JPEG哈夫曼编码JF，同时对头 数据HEADER进行解释，在JPEG解码部65中进行解码。由此生成像素 数据L (uO，vO,s，t)。接着，处理部32根据解码后的像素数据L (uO,vO，s，t)， 生成縮略图像数据和快速取景显示用图像。之后，将通过对縮略图像数 据进行JPEG编码而得到的縮略图像数据和快速取景显示用图像写入作 业存储器31。在此，处理部32例如在接受縮略显示指示时生成縮略图像 数据并将其写入视频存储器41。由此将縮略图像显示在显示部43上。縮 略图像数据例如是用于在接受索引显示指示后使显示部43显示由多个縮 略图像构成的索引图像的图像数据。步骤S26:处理部32从作业存储器31读取已写入到作业存储器31的JPEG哈 夫曼编码JF、 LZW压縮编码LZ和縮略JPEG图像，将它们写入到内部 存储器35或者可拆装的存储器39中。[编码处理(图11的步骤S24)]图13是用于详细说明图11的步骤S24的编码处理的流程图。也可 以同时执行本实施方式中的图13所示的步骤S35 S37的处理(JPEG编 码处理)和步骤S38、 S39的处理(LZW编码处理)。步骤S31:将用于确定生成JPEG哈夫曼编码JF中使用的像素PIC (uO,vO)的 信息输入到处理部32。用于确定像素PIC (uO,vO)的信息例如预先存储 在规定的存储器中。在本实施方式中，设110^0=4。其理由是认为微透镜 块ML的中央部的像素具有最有效的信息。步骤S32:
处理部32把初始值"0"代入到变量PBC中。在此，变量PBC所 示的值用于确定图7所示的进行编码的处理块数据PRBK。 步骤S33:处理部32将对变量PBC设定的值加"1 "。 步骤S34:处理部32从作业存储器31读取与变量PBC所示的值对应的编码对 象的处理块数据PRBK内的像素数据L (u,v,s，t)。 步骤S35:间除处理部51根据在步骤S31中输入的信息，提取在步骤S34中读 取到的处理块数据PRBK内的像素数据L (u,v，s，t)中的像素数据L (uO,vO,s,t)，生成图像数据TE2。然后，JPEG编码部53对图像数据TE2 实施DCT转换处理，生成DCT转换系数K (i，j)。 步骤S36:JPEG编码部53对在步骤S35中生成的DCT转换系数K (i，j)进行 量子化。步骤S37:JPEG编码部53从低频分量(直流)向高频分量呈Z状扫描在步骤 S36中量子化后的DCT转换系数。接着，JPEG编码部53对扫描后的DCT 转换系数实施哈夫曼编码等熵编码，生成JPEG哈夫曼编码JF1 。步骤S38:如图8A所示，对于编码对象的处理块数据PRBK内的像素数据L (u，v，s，t)，全光编码部55的路径扫描部57以各微透镜块MLB内的像素 PIC (uO，vO)为基点，沿着路径PATH1、 PATH2、 PATH3、 PATH4、 PATH5 这5个路径扫描像素PIC (uO,vO)之外的像素PIC (u,v)的像素数据L(u,v，s,t)。如上所述，路径扫描部57对路径上的像素数据L (u,v,s,t)， 生成与其前1个像素数据L (u,v,s,t)的差值数据D (u，v,s,t)。然后，路 径扫描部57生成由差值数据D (u，v，s,t)构成的字符。并且，如图9所示， 路径扫描部57例如通过Z形扫描，将对处理块数据PRBK内的8X 8共 计64个微透镜块MLB分别生成的字符W0RD1 5按顺序排列，生成字
符串数据WORD。 步骤S39:
LZW处理部59对从路径扫描部57输入的字符串数据WORD实施 LZW压縮处理，生成LZW压縮编码LZ1。 步骤S40:
头附加部61生成由JPEG编码部53生成的JPEG哈夫曼编码JF和 由LZW处理部59生成的LZW压縮编码LZ的头数据HEADER,把它们 对应起来写入作业存储器31。
步骤S41:
处理部32对被编码图像数据TE内的所有处理块数据PRBK判断处 理是否已结束，在判断为已结束时结束步骤S24的处理。另一方面，在 处理部32对被编码图像数据TE内的所有处理块数据PRBK判断为处理 没有结束时，返回步骤S33。
由此，把对每个处理块数据PRBK生成的JPEG哈夫曼编码JF(JFl、 JF2、...)和LZW压缩编码LZ (LZ1、 LZ2...)分别写入图IO所示的数 据结构的JPEG哈夫曼编码的存储区域和LZW压縮编码的存储区域中。
图14是用于说明处理部32进行的縮略图像的编码处理的流程图。 步骤S51:
将确定用于生成縮略图像数据的像素PIC (uO，vO)的信息输入到处 理部32。
步骤S52:
处理部32根据在步骤S51中输入的信息，读取存储在作业存储器 31中的、构成编码图像数据TE的像素数据L (n,v,s，t)中的像素数据L (uO，vO,s，t)。
步骤S53:
处理部32对在步骤S52中读取到的像素数据L (uO,vO，s,t)进行间 除处理，生成编码对象的縮略图像数据。 步骤S54:
处理部32对在步骤S53中生成的编码对象的縮略图像数据实施
JPEG编码处理。
步骤S55:
处理部32把在步骤S54中生成的编码后的縮略图像数据写入作业存 储器31。
图15是用于说明再现处理的流程图。参照图16说明图15所示的各 步骤。
步骤S61:
处理部32例如从图1所示的内部存储器35或者可拆装的存储器39 中读取縮略图像数据(JPEG图像数据)，对读取到的缩略图像数据进行 JPEG解码并写入视频存储器41。由此在显示部43上显示縮略图像。在 此，JPEG解码后的縮略图像数据以在编码时被间除后的像素数据L (uO，vO，s,t)为要素。
步骤S62:
处理部32根据用户对操作部的操作，判断是否已选择显示在显示部 43上的一个縮略图像，在判断为已选择时，进入步骤S63。 步骤S63:
处理部32从内部存储器35或者可拆装的存储器39读取与在步骤 S62中选择出的缩略图像对应的图像的JPEG哈夫曼编码JF和LZW压縮 编码LZ，将它们写入作业存储器31。
然后，处理部32的JPEG解码部65从作业存储器31读取与在步骤 S62中选择出的縮略图像对应的JPEG哈夫曼编码JF，对其进行JPEG解 码，生成JPEG解码图像数据。JPEG解码图像数据以像素数据L(uO，vO，s,t) 为要素。
处理部32把上述JPEG解码图像数据写入视频存储器41而显示在 显示部43上。并且，处理部32把上述JPEG解码图像数据写入作业存储 器31。
步骤S64:
JPEG解码部65根据在步骤S63中生成的JPEG解码图像数据和与 在步骤S62中选择出的縮略图像对应的LZW压縮编码LZ，生成选择出 的图像的像素数据L (uO，vO，s,t)之外的像素数据L (u，v，s，t)，将其写入作 业存储器31。然后，处理部32根据像素数据L (ii,v，s，O生成聚焦值f的 图像数据，将其写入视频存储器41，在显示部43上显示与之对应的图像。
步骤S65:
JPEG解码部65使用解码得到的像素数据L (n，v，s，t)，生成在步骤 S63中同与聚焦值f离散地相邻的聚焦值对应的图像数据，把所生成的图 像数据写入作业存储器31，其中，聚焦值f是与图像对应地读取到的。 该图像数据的生成例如根据上述"Light Field Photography with a Hand-held Plenoptic Camera", Ren Ng et， Stanford Tech Repot CTSR 2005-02, 2005中公开的方法来进行。
步骤S66:
当用户选择新的聚焦值时，处理部32使显示部43显示与该聚焦值 对应的图像，并且，根据像素数据L (u，v,s，t)生成同与该新的聚焦值相 邻的聚焦值对应的图像数据，并将其写入作业存储器31。此时，JPEG解 码部65从作业存储器31中删除同已经不与新选择出的聚焦值相邻的聚 焦值对应的图像数据。
图17是用于说明在图1所示的显示部43上显示实时取景图像的处 理的流程图。 步骤S71:
摄像部27生成模拟的RAW图像信号，该模拟的RAW图像信号与 通过对各像素接受到的光进行光电转换而产生的电荷对应。 步骤S72:
AFE 29对从摄像部27输入的模拟图像信号实施规定的模拟前端处 理，把处理后的数字的RAW图像数据写入作业存储器31。并且，像素 数据生成部50从作业存储器31读取RAW图像数据，进行去马赛克处理、 失调校正处理、插值处理等而生成像素数据L (n,v,s,t)。之后，像素数据
生成部50针对每帧把由像素数据L (u,v，s，t)构成的被编码图像数据TE 写入作业存储器31。
步骤S73:
处理部32读取在步骤S72中写入到作业存储器31的像素数据L (u,v,s，t)中的像素数据L (uO,vO，s，t)。 步骤S74:
处理部32根据在步骤S73中读取到的像素数据L (uO,vO，s，t)生成 实时取景图像数据，将所生成的实时取景图像数据写入视频存储器41。 由此在显示部43上显示实时取景图像。
如上所述，在数字相机l中，如使用图7和图13等说明的那样，以 处理块数据PRBK为单位对包含四维光线信息的被编码图像数据进行编 码。
因此，可以减轻伴随处理部32的编码处理产生的负荷，能够使用较 低处理能力的芯片，并且还能减小作业存储器31所需的存储容量。
并且，在数字相机1中，如使用图13等说明的那样，将微透镜块 MLB内的像素数据L (uO,vO，s，t)与相同处理块数据PRBK内的其他像素 数据L (uO,vO,s,t) —体地进行JPEG编码。并且，还将微透镜块MLB内 的像素数据L (uO，vO，s，t)之外的像素数据L (u,v，s,t)，与相同处理块数 据PRBK内的其他微透镜块MLB内的像素数据L (uO,vO，s,t)之外的像 素数据L (u，v,s,t) —体地进行LZW编码。此时同时执行JPEG处理中8 X 8个块处理和处理块PRBK的LZW压縮处理。
因此，根据数字相机1，与以所有像素数据为对象进行空间编码的 情况相比，可以减少编码处理量。因而易于应用到便携型全光相机中。 进而，在各个处理块PRBK中，通过同时执行JPEG处理中的8X8个块 处理和处理块PRBK的LZW压縮处理，编码处理的速度得到提高。另外， 在数字相机1中，由于像素数据L (uO,vO,s，t)之外的像素数据L (u，v，s,t) 在微透镜块MLB内进行LZW编码(可逆编码)，因而信息量不会丢失， 能够进行维持高画质的光线信息的编码。也就是说，由于光线的传播方 向的信息被可逆地进行编码，因而对各种聚焦值进行重新聚焦时所需的
信息被记录而不会丢失。因此，重新聚焦后的图像极为鲜明。
并且，在数字相机1中，如图14所示，间除构成被编码图像数据
TE的像素数据L (uO,vO,s，t)而生成縮略图像数据，并对其进行编码。因 此可以通过较低的处理负荷来生成縮略图像数据。
并且，在数字相机1中，如图17所示，在拍摄时把像素数据L(u,v,s，t) 写入作业存储器31 ，通过把对从作业存储器31读取像素数据L(uO，vO，s，t) 而得到的图像实施恢复尺寸处理后的图像写入视频存储器41，从而在显 示部43上显示实时取景图像。
由此，无需进行累积微透镜块MLB内的像素数据那样的图像处理， 可以减轻处理负担。
在此，在上述实施方式中，如图8A中箭头所示那样，例示了生成相 邻的像素数据L (u,v,s,t)间的差值数据D (u,v，s,t)的情况，但差值数据 D (u,v,s,t)的生成方法是任意的。例如图18所示，还可以生成一个像素 数据和多个像素数据之间的差值数据，对该差值数据进行编码。
并且，本实施方式所示的构成微透镜块MLB的像素数量、以及构成 处理块数据PRBK的微透镜块MLB的数量仅是一个例子。这些数量可以 任意设定。
并且，在上述实施方式中，例示了将来自被拍摄体的光线通过微透 镜阵列25而在摄像部27的像素上成像的情况，但只要是以包含光线信 息的方式使光入射到像素中即可而没有特别限定，还可以用反射器反射 来自被拍摄体的光线，使其成像在摄像部27的像素上。
并且，在上述实施方式中，例示了使用通过DSP等实现的处理部32 对光线信息进行编码和解码的情况，但例如也可以用微处理器执行程序 来实现这些功能。
对于本领域的技术人员来说，将容易地发现另外的优点和修改。因 此，在其更宽广方面中的本发明不限于这里所示出和描述的具体细节和 代表性实施方式。因而，在不偏离由所附的权利要求及其等同物限定的 一般创造性概念的精神或范围的情况下，可以做出各种修改。
权利要求
1.一种编码方法，该编码方法对光线信息进行编码，该光线信息包含来自被拍摄体的光线入射到规定平面时在该平面上的位置信息、以及该光线入射到上述平面的角度信息，该编码方法包括如下步骤把上述光线信息分割为多个处理单位块；执行第1编码处理，即分别对上述多个处理单位块实施压缩编码，取得构成与上述被拍摄体有关的第1图像信息的第1块单位信息；以及执行第2编码处理，即分别对上述多个处理单位块实施压缩编码，取得构成不同于上述第1图像信息的第2图像信息的第2块单位信息。
2. 根据权利要求1所述的编码方法，并列执行上述第1编码处理和 上述第2编码处理。
3. 根据权利要求2所述的编码方法，上述第1编码处理是不可逆的 压縮处理，上述第2编码处理是可逆的压縮处理。
4. 根据权利要求3所述的编码方法，上述第1编码处理是基于空间 频率转换的编码处理，上述第2编码处理是使用基于LZ编码的编码方式 的编码处理。
5. —种编码方法，该编码方法对光线信息进行编码，该光线信息包 含来自被拍摄体的光线入射到规定平面时在该平面上的位置信息、以及 该光线入射到上述平面的角度信息，该编码方法包括如下步骤把上述光线信息分割为多个二维块，其中，上述光线信息是通过使 用摄像元件接受来自上述被拍摄体的光线而得到的二维排列的像素数 据，上述多个二维块包含多个上述像素数据，且包含有从上述被拍摄体 向不同方向扩散的上述光线的角度信息；每次多个地汇集上述二维块，取得多个处理单位块作为处理单位块; 执行第1编码处理，即分别对上述多个处理单位块实施压縮编码， 取得构成与上述被拍摄体有关的第1图像信息的第1块单位信息；以及执行第2编码处理，即分别对上述多个处理单位块实施压縮编码， 取得构成不同于上述第1图像信息的第2图像信息的第2块单位信息。
6. 根据权利要求5所述的编码方法，上述第1编码处理中，将上述 处理单位块内的上述多个二维块中规定像素的像素数据作为编码处理对象，上述第2编码处理中，将上述规定像素之外的像素的像素数据作为编码处理对象。
7. 根据权利要求6所述的编码方法，上述第2编码处理包含如下处 理，即，在上述二维块内依次生成以上述规定像素为基点而相邻的像素 的像素数据之间的差值数据，对通过一维排列上述所生成的多个差值数 据而得到的字符进行编码。
8. 根据权利要求6或7所述的编码方法，上述第2编码处理中，不 将上述规定像素之外的像素中的一部分像素作为编码对象。
9. 根据权利要求5所述的编码方法，并列执行上述第1编码处理和 上述第2编码处理。
10. 根据权利要求9所述的编码方法，上述第1编码处理是不可逆的 压縮处理，上述第2编码处理是可逆的压縮处理。
11. 根据权利要求IO所述的编码方法，上述第1编码处理是基于空间 频率转换的编码处理，上述第2编码处理是使用基于LZ编码的编码方式 的编码处理。
12. —种电子相机，该电子相机具有 聚焦透镜；微透镜阵列，其配置在上述聚焦透镜的焦点位置上，由多个微透镜 构成；摄像元件，其由二维配置的多个像素构成，把按照顺序分别通过上 述聚焦透镜和上述多个微透镜而形成的被拍摄体像转换为电信号；以及编码部，其对与上述多个像素的受光结果对应的光线信息进行编码，上述光线信息包括来自上述被拍摄体的光线入射到规定平面时在该 平面上的位置信息、以及该光线入射到上述平面的角度信息，上述编码部对拍摄上述被拍摄体时得到的上述光线信息进行编码， 当取得与上述被拍摄体有关的第1图像信息和与上述第1图像信息不同 种类的第2图像信息时，将上述光线信息分割为多个处理单位块，对每个上述处理单位块执行第1编码处理和第2编码处理，其中，上述第1 编码处理中，分别对上述多个处理单位块实施压縮编码，生成构成上述第1图像信息的第1块单位信息；上述第2编码处理中，分别对上述处 理单位块实施压縮编码，取得构成上述第2图像信息的第2块单位信息。
13. 根据权利要求12所述的电子相机，该电子相机还具有 显示图像的显示部；以及显示处理部，其使上述显示部显示对与上述光线信息中用于生成上 述第1图像信息的光线信息对应的图像实施图像处理后的图像，作为实 时取景。
14. 根据权利要求12所述的电子相机，上述编码部生成从上述光线 信息中用于生成上述第1图像信息的光线信息中间除规定信息后的信息， 对该所生成的信息进行编码，生成縮略图像数据。
15. 根据权利要求14所述的电子相机，该电子相机还具有记录部， 该记录部把上述第1图像信息、上述第2图像信息和上述縮略图像数据 记录到可相对于上述电子相机拆装的记录介质中。
16. —种解码方法，该解码方法对编码后的光线信息进行解码，该光 线信息包括来自被拍摄体的光线入射到规定平面时在该平面上的位置信 息、以及该光线入射到上述平面的角度信息，该解码方法具有如下步骤按照每个规定的处理单位块，对将上述光线信息编码而得到的上述 被拍摄体的编码后的第1图像信息进行解码，生成构成上述第1解码图 像信息的第l块单位信息；以及按照每个上述规定的处理单位块，对与上述被拍摄体有关的、与上 述第1图像信息不同种类的编码后的第2图像信息进行解码，生成构成 上述第2解码图像信息的第2块单位信息。
17. 根据权利要求16所述的解码方法，上述第2解码处理中，根据 上述第1解码图像信息对上述第2图像信息进行解码。
18. 根据权利要求16所述的解码方法，上述第1解码处理是与不可 逆的压縮处理对应的解码处理；上述第2解码处理是与可逆的压縮处理 对应的解码处理。
19.根据权利要求16所述的解码方法，上述第1解码处理是生成构成上述处理单位块的多个二维块数据的各个规定像素数据而作为上述第1解码图像信息的处理；上述第2解码处理是根据上述所生成的规定像素 数据，分别对上述多个二维块数据生成上述规定像素数据之外的像素数 据而作为上述第2解码图像信息的处理。
全文摘要
本发明提供一种编码方法、电子相机、记录有编码程序的记录介质以及解码方法，该编码方法对光线信息进行编码，该光线信息包括来自被拍摄体的光线入射到规定平面时在该平面上的位置信息、以及该光线入射到上述平面的角度信息，上述光线信息被分割为多个处理单位块PRBK。在第1编码处理中，分别对上述多个处理单位块PRBK实施压缩编码，取得构成与上述被拍摄体有关的第1图像信息的第1块单位信息(步骤S35～S37)。在第2编码处理中，分别对上述多个处理单位块实施压缩编码，取得构成不同于上述第1图像信息的第2图像信息的第2块单位信息(步骤S38～S39)。
文档编号H04N5/376GK101212566SQ20071016054
公开日2008年7月2日 申请日期2007年12月25日 优先权日2006年12月26日
发明者坂田诚一郎, 堀江健一 申请人:奥林巴斯映像株式会社