用于压缩微透镜阵列采集的光场图像的方法和系统的制作方法
【专利摘要】本发明提供一种用于压缩微透镜阵列采集的光场图像的方法和系统，所述方法包括：从光场图像中分解出多幅微图像，其中每幅微图像由组成该光场图像的所有宏像素块中相同位置的像素点组成；将所述多幅微图像进行排序并按该顺序合成为无损视频文件；以及采用基于视频编码的方法对所述视频文件进行压缩。本发明适用于压缩由微透镜阵列获取的光场图像，能够达到较高的压缩比，并且具有较好的压缩性能。
【专利说明】用于压缩微透镜阵列采集的光场图像的方法和系统
【技术领域】
[0001] 本发明涉及对光场图像的处理技术，具体涉及一种用于压缩微透镜阵列采集的光 场图像的方法和系统。
【背景技术】
[0002] 光场是空间中任意位置任意方向的光线的总和，光场图像可以通过以下两种方式 获取：通过普通相机阵列采集或者通过光场相机（其具有微透镜阵列）采集。通过普通相 机阵列可获取到以二维图像为元素的二维数组，其中每幅图像代表不同视角下的光信息； 而通过光场相机获取的是一幅以宏像素块为单元的尺寸较大的图像，同一宏像素块中的不 同像素代表了同一物点在不同视角下的光信息。
[0003] 由于光场图像尺寸较大，为了节省存储空间，通常会对光场图像进行压缩。现有的 光场图像压缩方法主要有六类：基于矢量量化的方法、基于变换的方法、基于视频编码的方 法、基于差异补偿的方法，和基于多焦点图像的方法。然而，这些光场图像压缩方法处理的 是由普通相机阵列采集的以二维图像为单元的二维矩阵，大多不能直接用来压缩由微透镜 阵列采集的光场图像。其中，基于视频编码的方法通过去除同一视角内和不同视角间的相 关性来达到压缩的目的，直接将多幅光场相机采集的光场图像以一定的顺序排列成多帧视 频，再采用基于视频编码的方法进行压缩。然而，采用这种方法的压缩率和压缩质量较低。
[0004] 随着光场相机的普及，如何压缩由微透镜阵列获取的光场图像且达到较高的压缩 率和较好的压缩性能是当前需要解决的问题。
【发明内容】
[0005] 针对上述问题，本发明提供一种用于压缩微透镜阵列采集的光场图像的方法。该 方法包括：
[0006] 步骤1)、从光场图像中分解出多幅微图像；其中，每幅微图像由组成该光场图像 的所有宏像素块中相同位置的像素点组成；
[0007] 步骤2)、将所述多幅微图像进行排序并按该顺序合成为视频文件；
[0008] 步骤3)、采用基于视频编码的方法对所述视频文件进行压缩。
[0009] 上述方法中，步骤1)包括对于组成光场图像的所有宏像素块的每个像素点位置 执行以下步骤：
[0010] 取出所有宏像素块中该位置的像素点构成微图像，使得取出的像素点在该微图像 中的位置与该像素点所属的宏像素块在该光场图像中的位置一致。
[0011] 上述方法中，步骤2)包括：
[0012] 步骤21)、根据微图像之间的相关性对从所述光场图像中分解出的多幅微图像进 tx排序；
[0013] 步骤22)、按照该顺序将多幅微图像合成为视频文件。
[0014] 在一个实施例中，在步骤21)中，对于宏像素块中的每个像素点位置，从中心点开 始由内向外顺时针排序；根据每个像素点位置的顺序，得到由来自该位置的像素点组成的 微图像的顺序。
[0015] 在另一个实施例中，在步骤21)中，对于宏像素块中的每个像素点位置，从中心点 开始由内向外逆时针排序；根据每个像素点位置的顺序，得到由来自该位置的像素点组成 的微图像的顺序。
[0016] 在又一个实施例中，在步骤21)中，对于宏像素块中的每个像素点位置，从左上角 开始从左向右、从上向下进行排序；根据每个像素点位置的顺序，得到由来自该位置的像素 点组成的微图像的顺序。
[0017] 上述方法中，所述视频文件是无损视频文件。
[0018] 根据本发明的一个实施例，还提供一种用于压缩微透镜阵列采集的光场图像的方 法，包括：
[0019] 步骤A)、对于多幅光场图像中的每幅光场图像，从该光场图像中分解出多幅微图 像，其中每幅微图像由组成该光场图像的所有宏像素块中相同位置的像素点组成；
[0020] 步骤B)、对于所述多幅光场图像中的每幅光场图像，将从该光场图像中分解出的 多幅微图像进行排序并按该顺序合成为与该光场图像对应的视频文件；
[0021] 步骤C)、将与所述多幅光场图像对应的多个视频文件连接成一个视频文件；
[0022] 步骤D)、采用基于视频编码的方法对上一步得到的视频文件进行压缩。
[0023] 上述方法中，在步骤C)中，按照光场图像的采集时间顺序将与每幅光场图像对应 的视频文件连接成一个视频文件。
[0024] 根据本发明的一个实施例，还提供一种用于压缩微透镜阵列采集的光场图像的系 统，包括：
[0025] 用于从光场图像中分解出多幅微图像的设备；其中，每幅微图像由组成该光场图 像的所有宏像素块中相同位置的像素点组成；
[0026] 用于将所述多幅微图像进行排序并按该顺序合成为视频文件的设备；用于采用基 于视频编码的方法对所述视频文件进行压缩的设备。
[0027] 本发明适用于压缩由微透镜阵列获取的光场图像，通过将光场图像分解为多个微 图像并且进行排序合并，使得排序好的相邻微图像之间的相关性较大，便于后续采用基于 视频编码的方法对其进行压缩。采用本发明能够达到较高的压缩比，且具有较好的压缩性 能。
【专利附图】
【附图说明】
[0028] 图1是根据本发明一个实施例的用于压缩微透镜阵列采集的光场图像的方法流 程图；
[0029] 图2(a)是根据本发明一个实施例的由微透镜阵列采集的一幅光场图像；
[0030] 图2 (b)是对图2 (a)所示的光场图像进行分解得到的121幅微图像；
[0031] 图3是分别采用本发明提供的方法和现有方法对由微透镜阵列采集的多幅光场 图像进行压缩的压缩效果对比图。
【具体实施方式】
[0032] 下面结合附图和【具体实施方式】对本发明加以说明。应当理解，此处所描述的具体 实施例仅用以解释本发明，并不用于限定本发明。
[0033] 根据本发明的一个实施例，提供一种用于压缩微透镜阵列采集的光场图像的方 法。
[0034] 参考图1且概括而言，该方法包括：对由微透镜阵列采集的光场图像进行分解得 到多幅微图像，其中每幅微图像由所有宏像素块中相同位置的像素点组成；将得到的多幅 微图像进行排序，并且按照该顺序将微图像合成为视频文件；以及，采用基于视频编码的方 法对视频文件进行压缩。
[0035] 下文针对一幅光场图像来描述该压缩方法的每个步骤。
[0036] 第一步：对由微透镜阵列采集的光场图像进行分解得到多幅微图像。
[0037] 如上文所述，微透镜阵列采集到的是以宏像素块为单元的尺寸较大的图像，一幅 光场图像是由多个宏像素块组成的。例如，对于由11x11 (单位为像素）的宏像素块组成的 尺寸为4147x4147的光场图像来说，该图像包括377x377个宏像素块。
[0038] 在一个实施例中，本步骤的实现过程如下：
[0039] 对于组成一幅光场图像的所有宏像素块，取出所有宏像素块中相同行相同列（即 相同位置）的像素点构成一幅小图像（即微图像）。在一个优选的实施例中，应使取出的像 素点在微图像中的位置与该像素点所属的宏像素块在光场图像中的位置一致。在其他实施 例中，取出的像素点在微图像中的位置与该像素点所属的宏像素块在光场图像中的位置可 以不一致，但来自同一宏像素块的像素点在不同微图像中的位置需要一致。采用这种方法， 可以得到与宏像素块中的每个像素点位置对应的微图像。
[0040] 根据本发明的一个实施例，对于所有宏像素块，可按照从左到右、从上到下的顺序 取像素点。例如，首先取出每个宏像素块中第1行第1列处的像素点，得到与宏像素块第1 行第1列对应的微图像；接着，取出每个宏像素块中第1行第2列处的像素点，得到与宏像 素块第1行第2列对应的微图像；以此类推。
[0041] 第二步：将得到的多幅微图像进行排序，并且按照该顺序将微图像合成为视频文 件。
[0042] 本步骤包括以下两个子步骤：
[0043] 步骤1、根据微图像之间的相关性对与光场图像对应的多幅微图像进行排序，使得 相邻微图像之间的相关性较大，以便于之后采用基于视频编码的方法进行压缩。排序方式 可包括以下几种：
[0044] (1)、旋转排序
[0045] 由于每幅微图像与宏像素块中的一个像素点位置相对应（即像素点取自该位 置），为表述方便，本文通过对宏像素块中每个像素点位置进行排序，来得到与每个像素点 位置对应的微图像之间的顺序。
[0046] 旋转排序是指从宏像素块的中心像素点开始，由内向外对每个像素点位置进行排 序。例如，从中心像素点开始，沿顺时针或者逆时针方向从内到外遍历宏像素块中的所有像 素点位置。根据像素点位置的顺序可得到与每个像素点位置对应的微图像的顺序。
[0047] (2)、水平排序
[0048] 水平排序是指从宏像素块某一行的最左端开始，自左向右遍历该行的像素点位 置，并且照此方法遍历宏像素块每一行的像素点位置。
[0049] 优选地，可以从宏像素块的左上角开始，自左向右，从上到下得到每个像素点位置 的顺序，从而得到对应的微图像的顺序。
[0050] (3)、垂直排序
[0051] 垂直排序是指从宏像素块某一列的最上端开始，自上向下遍历该列的像素点位 置，并且照此方法遍历宏像素块每一列的像素点位置。
[0052] 优选地，可以从宏像素块的左上角开始，从上到下，从左到右得到每个像素点位置 的顺序，从而得到对应的微图像的顺序。
[0053] (4)、自定义排序
[0054] 还可以根据预先定义好的顺序来排列与一幅光场图像对应的微图像。
[0055] 步骤2、在排序后，将光场图像对应的多幅微图像按该顺序作为视频中的帧进行合 并，得到无损视频文件，例如YUV文件。
[0056] 第三步：采用基于视频编码的方法对视频文件进行压缩。
[0057] 本领域技术人员应理解，可以采用现有的视频文件压缩方法进行压缩。在一个实 施例中，采用x264编码方法进行视频文件的压缩，在本发明的另一个实施例中，采用x265 等编码方法进行编码，从而得到压缩后的码流文件。
[0058] 上文以一幅光场图像为例，描述了本发明提供的用于压缩微透镜阵列采集的光场 图像的方法。在需要压缩多幅光场图像的实施例中，可以首先得到每幅光场图像对应的视 频文件，接着将这些视频文件合成为一个总的视频文件，再对总的视频文件采用基于视频 编码的方法进行压缩。具体来说，包括以下步骤：
[0059] 第一步：对多幅光场图像中的每一幅光场图像进行分解，得到与每幅光场图像对 应的多幅微图像。分解的过程已在上文中进行了说明，此处不再重复描述。
[0060] 第二步：对于每一幅光场图像，将对应的多幅微图像进行排序，并且按照该顺序将 多幅微图像合成为视频文件，从而得到与每幅光场图像对应的视频文件。其中，排序方法可 包括旋转排序、水平排序、垂直排序等。
[0061] 第三步：将得到的所有视频文件连接起来，合成一个总的视频文件。
[0062] 其中，可采用任意顺序来连接这些视频文件，在一个优选的实施例中，可以按照采 集这些光场图像的时间顺序来将与每幅光场图像对应的视频文件连接起来，得到由多个光 场图像合并得到的总的视频文件。
[0063] 第四步：采用基于视频编码的方法对上一步得到的总的视频文件进行压缩。
[0064] 下面以使用光场相机采集的19幅3个小人的光场图像为例，根据本发明提供的方 法具体描述对这些光场图像进行压缩的过程，图2(a)示出了其中一幅光场图像。其中，光 场图像的格式为BMP，每幅光场图像的尺寸为4147x4147且图像大小为49. 2MB，宏像素块的 尺寸为11x11。
[0065] 1、由于每一幅光场图像有377x377个11x11的宏像素块，可将每一幅光场图像分 解为11x11幅尺寸为377x377的微图像。
[0066] 具体分解过程包括：
[0067] 对于377x377个11x11的宏像素块，将每一个宏像素块中的第i行第j列处的像 素点取出（i = 1，…11 ;j = 1，…，11)，则共有377x377个像素点；将这377x377个像素点 中的每个像素点按照该像素点所属的宏像素块在原始光场图像中的位置进行排列构成一 幅377x377的微图像，该微图像的文件大小为417KB。
[0068] 基于上述的分解方法，按照从左到右，从上到下的顺序遍历宏像素块，则可以得到 121 (11x11)幅微图像，每一幅微图像都与宏像素块中一个位置相对应。当i为6且j为6 时，取出的微图像如图2(b)中心图像所示。
[0069] 2a、对于每幅光场图像，将分解出的121幅微图像按照顺时针的旋转排序方式进 行重新排序，该旋转排序映射表如表1所示。在表1中，第i行第j列的元素表示像素点来 自宏像素块第i行第j列的微图像，元素值表示该微图像在旋转排序后的序号。以来自宏 像素块中第4行第6列的像素点构成的尺寸为377x377的微图像为例，其旋转排序后的序 号为15。同样地，以来自宏像素块中第5行第5列的像素点构成的尺寸为377x377的微图 像为例，其旋转排序后的序号为3。
[0070] 表 1
[0071]
【权利要求】
1. 一种用于压缩微透镜阵列采集的光场图像的方法，包括： 步骤1)、从光场图像中分解出多幅微图像；其中，每幅微图像由组成该光场图像的所 有宏像素块中相同位置的像素点组成； 步骤2)、将所述多幅微图像进行排序并按该顺序合成为视频文件； 步骤3)、采用基于视频编码的方法对所述视频文件进行压缩。
2. 根据权利要求1所述的方法，其中，步骤1)包括对于组成光场图像的所有宏像素块 的每个像素点位置执行W下步骤： 取出所有宏像素块中该位置的像素点构成微图像，使得取出的像素点在该微图像中的 位置与该像素点所属的宏像素块在该光场图像中的位置一致。
3. 根据权利要求1或2所述的方法，其中，步骤2)包括： 步骤21)、根据微图像之间的相关性对从所述光场图像中分解出的多幅微图像进行排 序； 步骤22)、按照该顺序将多幅微图像合成为视频文件。
4. 根据权利要求3所述的方法，在步骤21)中， 对于宏像素块中的每个像素点位置，从中屯、点开始由内向外顺时针排序； 根据每个像素点位置的顺序，得到由来自该位置的像素点组成的微图像的顺序。
5. 根据权利要求3所述的方法，在步骤21)中， 对于宏像素块中的每个像素点位置，从中屯、点开始由内向外逆时针排序； 根据每个像素点位置的顺序，得到由来自该位置的像素点组成的微图像的顺序。
6. 根据权利要求3所述的方法，在步骤21)中， 对于宏像素块中的每个像素点位置，从左上角开始从左向右、从上向下进行排序； 根据每个像素点位置的顺序，得到由来自该位置的像素点组成的微图像的顺序。
7. 根据权利要求1或2所述的方法，其中，所述视频文件是无损视频文件。
8. -种用于压缩微透镜阵列采集的光场图像的方法，包括： 步骤A)、对于多幅光场图像中的每幅光场图像，从该光场图像中分解出多幅微图像，其 中每幅微图像由组成该光场图像的所有宏像素块中相同位置的像素点组成； 步骤B)、对于所述多幅光场图像中的每幅光场图像，将从该光场图像中分解出的多幅 微图像进行排序并按该顺序合成为与该光场图像对应的视频文件； 步骤C)、将与所述多幅光场图像对应的多个视频文件连接成一个视频文件； 步骤D)、采用基于视频编码的方法对上一步得到的视频文件进行压缩。
9. 根据权利要求8所述的方法，其中，在步骤C)中， 按照光场图像的采集时间顺序将与每幅光场图像对应的视频文件连接成一个视频文 件。
10. -种用于压缩微透镜阵列采集的光场图像的系统，包括： 用于从光场图像中分解出多幅微图像的设备；其中，每幅微图像由组成该光场图像的 所有宏像素块中相同位置的像素点组成； 用于将所述多幅微图像进行排序并按该顺序合成为视频文件的设备； 用于采用基于视频编码的方法对所述视频文件进行压缩的设备。
【文档编号】H04N19/88GK104469372SQ201410638332
【公开日】2015年3月25日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】代锋, 张勇东 申请人:中国科学院计算技术研究所