一种影像数据处理装置及拍摄设备、显示系统的制作方法

本发明涉及显示领域，特别是涉及一种影像数据处理方法及拍摄设备、显示系统。

背景技术：

人眼对亮度接受的适应范围很广，极限的话最暗可以感知0.0001尼特，最亮可以感知近100000尼特。在极亮和极暗的环境下，人眼的视力会下降。不影响视力的人眼亮度感知范围大约是0.01-1000尼特，以不影响视力的人眼亮度感知范围为例，人眼可接受的最亮信号是最暗信号的100000倍。而正常单片的空间光调制器能调制的灰阶范围及其有限，以常见的8位灰阶信号为例，其能显示的灰阶不过256阶，对比度也很难超过2000:1。无论灰阶还是对比度，正常单片的空间光调制器能调制的范围都远低于人眼的感知范围。人们对投影显示图像的追求是希望能尽量接近人眼对自然环境的感知，因此，hdr(high-dynamicrange，高动态范围)技术被提出以提高投影显示系统的动态范围。

正常的摄影摄像设备，尤其数字摄影摄像设备通常没有高达16位的灰阶。一般的方法是在一帧图像的拍摄时间内拍下两幅照片，一幅曝光时间短，其包含所有亮部细节，一幅曝光时间长，其包含所有暗部细节。然后通过图像处理技术，把分别包含亮部细节和暗部细节的两幅低位灰阶图像合成为一幅同时包括亮部细节和暗部细节的高位灰阶图像。

然而，同样的显示图像，16灰阶图像虽然比8位灰阶图像拥有更高的动态范围，但是数据量也极大的增加了，图像信号的数据量会极大增加，对图像信息的传输和存储都带来了困难。

技术实现要素：

针对上述现有技术的影像数据信息量大、不利于存储和传输的缺陷，本发明提供一种使影像数据适合高效存储与传输的影像数据处理方法。

本发明的基本构思在于，对影像数据中的每帧图像提取一个表示该帧图像亮度与影像整体亮度之间关系的量，同时减少该帧图像的每个像素的亮度数据长度。

现有的影像数据中往往包含大量的无用信息，每帧图像的每个像素都需要多位数据来存储该像素的亮度信息，而这些亮度信息中，从该像素的最大亮度到整个影像的最大亮度之间需要占用多位零值数据空间。例如，假设整个影像的亮度数据对应有10位二进制灰阶值数据，而可能某一帧图像的最亮像素的亮度值对应的灰阶值仅为0001111111，那么高三位数据的存储空间就浪费在了存储三位“0”上，如果该帧图像为1080p的图像，有200多万个像素，那么该帧图像需要600多万bit存储各个像素的高三位的“0”，导致数据量非常庞大。

本发明通过比较每帧图像的像素最大亮度与影像的像素最大可能亮度，将该帧图像的像素最大亮度值放大至影像的像素最大可能亮度，同时对该帧图像的所有像素的亮度值等比放大；待显示时，只要使显示光源的亮度降低至放大倍数的倒数，即可使显示的影像亮度不失真。例如，某一帧图像的像素最大亮度值对应到显示系统最大光输出功率时的灰阶值为0001111111，将该像素的亮度值放大n倍，并使得该放大后的亮度值对应的显示系统的灰阶值变为1111111000，同时将显示系统的光输出功率变为1/n，即可保证显示系统输出的光亮度不变。然后根据显示系统实际能够调制的灰阶位数(如8位)，扣除该帧图像所有像素对应的灰阶值的后二位，如上“1111111000”就变成了“11111110”。那么，该帧图像的任意像素的灰阶数据都减少了2位，代价仅为增加了一个存储放大倍数n的数据，总体上来说，该帧图像的数据量大大减少。显示时，只要使得显示光源的亮度降低至1/n即可保证显示的影像亮度不失真。

此处，由于现技术阶段摄像所能得到的灰阶位数总是大于显示装置能够调制的灰阶位数的，所以显示装置总要或多或少的压缩、裁剪摄像得到的数据。本发明通过将亮度数据放大后裁剪后几位，能够保留更多的图像暗部细节，并提高动态对比度。例如，在不改变显示系统亮度的情况下，若显示系统实际能够调制8位灰阶，则“0001111111”将被截为“00011111”；而本发明的技术方案下，显示系统光源亮度降低至1/n，“0001111111”变为“11111110”，使得图像多2位的显示细节。

具体地，本发明提供了一种影像数据处理装置，包括：数据获取模块，用于获取影像数据，所述影像数据包括至少两帧图像的原始数据信息，且每帧图像的原始数据信息包括该帧图像上各个像素的亮度值，所述影像数据能够表示的最大可能亮度为lmax，所述影像数据能够表示的最小可能亮度为lmin；数据转换模块，用于接收来自所述数据获取模块的影像数据，并将所述影像数据中的每帧图像的原始数据信息转换为新数据信息，包括：获取该帧图像的像素最大亮度值l1，将l1/lmax作为该帧图像的最大亮度相对值η，将该帧图像的各个像素的亮度值放大为原来的1/η倍，将放大后亮度值小于lmin1的像素的亮度值设置为0，其中lmin1＞lmin；数据输出模块，用于将所述数据转换模块中每帧图像的新数据信息与其相应的最大亮度相对值η一并输出。

在一个实施方式中，所述每帧图像的原始数据信息能够表示的亮度范围为lmin～lmax。

在一个实施方式中，所述每帧图像的原始数据信息能够表示的亮度范围为ηlmin1～ηlmax。

与现有技术相比，本发明通过获取影像数据中的每一帧图像的最大亮度相对值，并将该帧图像的各个像素的亮度值除以最大亮度相对值以获得各个像素的新亮度值，从而使得该帧图像的最亮像素的亮度值与影像整体的亮度上限值相等，并使得其余各像素的亮度值也相应等比例提高，截取亮度范围为lmin1-lmax的新亮度值，并将亮度小于lmin1的像素的新亮度值设置为0，以此新的亮度值作为图像的新数据信息与最大亮度相对值一并输出，作为显示用数据，从而不必浪费每一帧图像从最亮像素的亮度值至影像亮度上限值之间的空白数据资源，有利于数据的高效存储与传输。

本发明还提供了一种拍摄设备，包括上述的影像数据处理装置，还包括摄像模块，所述摄像模块通过在每帧时间内至少拍摄两幅曝光不同的图像，并将该两幅图像合成，得到每帧图像的原始数据信息；所述拍摄设备拍摄的亮度范围为lmin～lmax；所述数据获取模块从所述摄像模块获取影像数据。

在一个实施方式中，所述摄像模块拍摄的每帧图像能够表示的亮度范围都是lmin～lmax。

在一个实施方式中，包括感光系统，所述感光系统在所述拍摄模块拍摄每帧图像前判断欲拍摄图像的像素最大亮度值l1，所述拍摄设备根据该像素最大亮度值l1设置拍摄该帧图像时的曝光时间和光圈大小。在该实施方式中，通过拍摄前预判图像的像素最大亮度，减少了存储图像时的存储空间，或者使得存储空间更好的利用到了记录图像明暗细节方面，减少了数据获取模块的运算负担。

在一个实施方式中，所述摄像模块拍摄的每帧图像能够表示的亮度范围为ηlmin1～ηlmax。本实施方式中，拍摄得到的图像的亮度范围通过放大1/η倍后能够直接与输出的每帧图像的新数据信息的亮度范围相等，使得拍摄设备能够更好的与显示系统对接，减少了数据运算。

本发明还提供了一种显示系统，包括上述影像数据处理装置，所述显示系统还包括光源、光源控制装置和光调制装置，所述光源控制装置根据所述影像数据处理装置输出的每帧图像的最大亮度相对值η控制所述光源的输出光通量，使所述光源的输出光通量为该光源最大输出光通量的η倍，所述光调制装置根据每帧图像的新数据信息对来自所述光源的光进行调制。

在一个实施方式中，所述影像数据处理装置输出的每帧图像的新数据信息的灰阶位数与所述光调制装置能够调制的灰阶位数相等。

在一个实施方式中，所述光调制装置包括第一光调制装置和第二光调制装置，所述第一光调制装置调制来自所述光源的光，所述第二光调制装置调制来自所述第一光调制装置的输出光。

与现有技术相比，本发明的显示系统将输入的图像数据亮度值放大至1/η倍，同时降低光源的光通量至η倍，保证了显示的影像亮度不失真，同时通过对每帧图像像素亮度的放大，使得代表暗部细节的低位亮度值能够被显示系统显示出来，提高了动态对比度和影像显示质量。

附图说明

图1为本发明的影像数据处理装置的结构框图。

图2为本发明的显示系统的结构框图。

具体实施方式

在本发明中，一个像素的亮度值是指显示该像素所对应的白光的亮度。例如，一个蓝色像素的亮度值，应当计算获得该蓝色所需要多少白光，然后确定该白光的亮度值。

下面结合附图和实施方式对本发明实施例进行详细说明。

请参见图1，图1为本发明的影像数据处理装置的结构框图，影像数据处理装置包括数据获取模块、数据转换模块和数据输出模块。

其中，数据获取模块为数据输入端，用于获取影像数据。影像数据包括至少两帧图像的原始数据信息，即是说，本发明所述的影像数据并非单张图像，而且一组图像或者一个视频。可以理解，一组图像包括两帧或多帧图像，一个视频包括两帧或多帧图像。影像数据能够表示的最大可能亮度为lmax，能够表示的最小可能亮度为lmin。此处的最大可能亮度和最小可能亮度为整个影像数据(如一组图像或一个视频整体)的亮度上限和亮度下限值，代表影响数据的表现能力，未必要有某一个或几个像素显示为该亮度。例如，一影像数据的最大可能亮度为100，最小可能亮度为1，也许该影像数据中的一帧图像的像素亮度范围仅为20～80，也许该影像数据中没有一帧图像的实际最大像素亮度达到100。需要注意的是，“最小可能亮度”lmin是指除了0(像素全暗)之外能够表示的最小亮度，对应到显示系统的灰阶则为灰阶值等于1时的亮度。

每帧图像的原始数据信息包括该帧图像上各个像素的亮度值、色度值等信息，可以是常规的yuv编码或rgb编码等，可以根据需要进行相互转化。

在一些实施方式中，影像数据不包含直接表示图像上各像素亮度值的数据，但是可以通过数据编码转换等方式间接得到各像素亮度值，该实施方式也是本发明所要保护的技术方案，符合“每帧图像的原始数据信息包括该帧图像上各个像素的亮度值”的描述。

数据转换模块为影像数据处理装置的核心模块，用于接收来自数据获取模块的影像数据，并将影像数据中的每帧图像的原始数据信息转换为新数据信息。

具体地，该数据转换过程包括如下步骤。获取每帧图像的像素最大亮度值l1，将l1/lmax作为该帧图像的最大亮度相对值η，以表示该帧图像与影像整体的亮度关系。例如某一帧图像的像素最大亮度l1为50，而影像的最大可能亮度(亮度上限)lmax为100，那么该帧图像的最大亮度相对值就是50％。随后，将该帧图像的各个像素的亮度值放大为原来的1/η倍。l1放大1/η倍就是l1×1/η＝lmax，如上举例，就是亮度从50放大到100，放大一倍，那么该帧图像的其他像素的亮度值也都放大一倍。设该帧图像的最小亮度值为l2(除了亮度值为0的像素之外)，经过该步骤后，该帧图像的亮度范围从l2～l1变为l2/η～l1/η，也即

l2/η～lmax。

由于现技术阶段摄像所能得到的亮度范围总是大于显示装置能够显示的亮度范围，所以显示装置总要或多或少的对影像数据进行压缩或裁剪。因此，本发明的数据转换过程中，在各个像素的亮度值放大处理后还包括裁剪步骤：将放大后亮度值小于lmin1的像素的亮度值设置为0。若l2/η≥lmin1，则数据裁剪后亮度值数据不变；若l2/η＜lmin1，则将亮度值为l2/η～lmin1(不含lmin1)的亮度值设置为0。为使得裁剪后的亮度数据能够被显示系统有效显示，其中lmin1＞lmin。

此处，lmin1可以根据该影像数据将应用到的显示系统所能够显示的亮度值范围进行设定。具体来说，在一个实施方式中，当显示系统能够显示的最大亮度为lmax时(对应显示系统的最大灰阶值)，其显示的最小非零亮度为lmin1(对应显示系统的最小灰阶值)。

本发明通过将亮度值数据放大后裁剪后，相比于直接裁剪数据，能够保留更多的图像暗部细节，并提高动态对比度和图像显示效果。在发明内容部分已做详细论述，此处不再赘述。

可以理解，数据转换模块还可以将数据信息进行数据格式变换或数据编码转换等本领域公知的数据变换，该部分不是本发明的侧重点，此处不再赘述。

至此，经过数据放大和数据裁剪，得到的该帧图像的新的亮度值数据替换原亮度值数据，成为该帧图像的新数据信息的一部分。

在上述数据转换模块将影像数据中的每帧图像的原始数据信息转换为新数据信息后，数据输出模块将数据转换模块中每帧图像的新数据信息与其相应的最大亮度相对值η一并输出，作为影像数据处理装置的输出数据。

在本发明的一个实施方式中，每帧图像的原始数据信息能够表示的亮度范围为lmin～lmax。该实施方式中，构成影像数据的每帧图像的亮度范围都与整个影像数据所能够表述的亮度范围一致，使得每帧图像的数据格式统一，便于处理。与上述相同，此处的亮度范围是指除去了亮度值为0之后的范围，既最小可能亮度至最大可能亮度的范围。对应到显示系统的灰阶值，就是从灰阶值为1到最大灰阶值的范围。

在本发明的另一个实施方式中，每帧图像的原始数据信息能够表示的亮度范围为ηlmin1～ηlmax。在该实施方式中，当每帧图像被放大1/η倍后，亮度范围变为lmin1～lmax，恰好不必进行亮度值裁剪，省略了将亮度放大后亮度值小于lmin1的亮度值设置为0的步骤，使得数据处理更加简化快捷。同理，此处的亮度范围也是除去了亮度值为0之后的范围。

本发明中，数据获取模块、数据转换模块和数据输出模块是对影像数据处理装置各个具体功能的划分，实际这三者可以是一个整体模块，该技术方案也在本发明的保护范围之内。

本发明还公开了一种拍摄设备，包括上述的影像数据处理装置，除此之外，还包括摄像模块。

摄像模块通过在每帧时间内至少拍摄两幅曝光不同的图像，并将该两幅图像合成，得到每帧图像的原始数据信息。拍摄设备拍摄的亮度范围与数据获取模块获取的影像数据的亮度范围相同，为lmin～lmax。在摄像模块拍摄后，数据获取模块从摄像模块获取影像数据，以进行后续的数据转换等过程。同样的，此处所述的亮度范围也是不含亮度值为0的亮度范围。

在一个实施方式中，摄像模块拍摄的每帧图像能够表示的亮度范围都是lmin～lmax。该实施方式下，各帧图像的数据格式统一，便于处理。为了能够满足后续数据放大和数据裁剪程序，本实施方式下的摄像模块需要有较高的拍摄能力，以保证数据裁剪后每帧图像能够有足够的暗部细节显示。例如，摄像设备可以在一帧时间内针对高亮特征、中亮特征和低亮特征拍摄3幅甚至更多不同曝光的图像来实现。

在一个实施方式中，拍摄设备包括感光系统，在拍摄时动态控制摄像模块。具体地，通过程序设置，感光系统在拍摄模块拍摄每帧图像前短时间内判断欲拍摄图像的像素最大亮度值l1，然后，拍摄设备根据该像素最大亮度值l1设置拍摄该帧图像时的曝光时间和光圈大小。该像素最大亮度值l1可同时被记录下来，以供之后数据转换时使用。该实施方式中的拍摄设备，减少了无用数据在每帧图像中占据的存储空间，具体减少了从l1至lmax之间的空白亮度所占的数据存储空间。使得拍摄设备在存储和传输数据时更加快速和高效。同时，由于拍摄时以l1而非lmax为亮度上限，使得在相同的拍摄对比度范围下，能够拍摄出更多的暗部细节，提高图像的显示质量。在有些例子里，在本实施方式下曝光三次合成的图像相当于不采用本实施方式时曝光四次合成的图像，例如，在整体较亮的情况下，长曝光时间拍摄的图像实际可能是无用的。

进一步地，在一个实施方式中，摄像模块拍摄的每帧图像能够表示的亮度范围为ηlmin1～ηlmax。在该实施方式中，当每帧图像被放大1/η倍后，亮度范围变为lmin1～lmax，恰好不必进行亮度值裁剪，从摄像端简化了后续数据处理的复杂度。

本发明还公开了一种显示系统，如图2所示。显示系统包括上述的影像数据处理装置，显示系统还包括光源、光源控制装置和光调制装置。光源发出照明光，入射到光调制装置的入射面，然后光调制器根据图像信号对照明光进行调制，输出图像光，该图像光通过镜头或显示屏幕显示出预显示的影像。

其中，光源控制装置根据影像数据处理装置输出的每帧图像的最大亮度相对值η产生光源控制信号，以控制光源的输出光通量，使光源的输出光通量为该光源最大输出光通量的η倍，光调制装置则根据每帧图像的新数据信息对来自所述光源的光进行调制。

在一个实施方式中，显示系统的光源是指整个照明光模块，包括发光元件(如激光二极管、led、激光器阵列等)和匀光、整形装置，光源输出一个均匀光斑到达光调制装置的入射面。

光调制装置可以是选自dmd、lcd或lcos等光调制器组成的光调制组件，可以是三调制器系统(如3lcd、3dlp系统)、二调制器系统或单调制器系统(如单dlp系统)。

在一个实施方式中，光调制装置还可以包括第一光调制器装置和第二光调制装置，其中，第一光调制装置调制来自光源的光，第二光调制装置调制来自第一光调制装置的输出光。该技术方案通过将两个光调制装置“串联”，使得显示系统的对比度大大提高，使得显示系统可显示的灰阶大大增加。如两个光调制装置都是一般的8位灰阶，则显示系统灰阶可达16位灰阶，共约6万多灰阶值。若两个光调制装置的分辨率分别为m:1和n:1，则显示系统的对比度为m×n:1。

在一个实施方式中，影像数据处理装置输出的每帧图像的新数据信息的灰阶位数与光调制装置能够调制的灰阶位数相等，使得影像数据处理装置能够良好的与光调制装置匹配。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。