处理高动态范围全景图的方法和装置的制造方法
【技术领域】
[0001]本发明涉及处理高动态范围全景图的方法和装置，更具体地说，涉及通过利用原始全景图作为参考值来压缩高动态范围全景图的方法和装置。
【背景技术】
[0002]目前单个相机通常难以捕捉到一个场景的全方位画面，市场上流行的卡片式数码相机通常采用焦距为35-38mm的镜头，这类镜头可以提供62°的画面视角，而较为高端焦距的28_广角镜头也只能提供76°的视角。虽然6-16_的短焦距超广角鱼眼镜头视角可以达到220°?230°，但带来的代价是画面的扭曲与变形。为了更容易地获得一个场景的全方位画面，可以采用全景图的拼接技术。将相机进行平移、旋转或角度变换针对一个场景拍摄多幅图像或一段视频，然后通过相应算法进行跟踪、拼接、融合等步骤从而实现针对整个场景的恢复，这个过程被称为全景图拼接。
[0003]此外，普通相机无法捕捉到现实场景中的整个亮度变化范围。现实场景中的高低亮度比可以达到10000:1，相比之下通用的图像文件如联合图像专家组(JPEG)能表示的亮度范围仅为[0，255]。在自动曝光模式下相机在不同的光照条件里会通过改变光圈大小和曝光时间来改变曝光值，此时在不同光照下真实场景的亮度范围到图像表示的亮度范围并非线性映射的过程。因此，在全景图拍摄过程中，由于光照不同使得多幅图像之间或视频不同帧之间的曝光值不同，使图像之间的亮度不一致，从而在拼接边缘出现明显的拼接痕迹。
[0004]为了解决在全景图的拼接边缘出现明显的拼接痕迹的问题，采用梯度场重建方法来产生高动态范围(HDR)全景图，其中，高动态范围(HDR)全景图指的是全景图中的部分像素的亮度值超过[0，255]的范围的全景图。
[0005]然而，由于HDR全景图不能被直接显示或者打印，因此需要将HDR全景图压缩为低动态范围(LDR)全景图，此外，由于HDR全景图到LDR全景图的压缩是非线性的，故可能产生较大失真。因此，需要一种可以去除全景图拼接痕迹并减少全景图失真的全景图处理方法。
【发明内容】
[0006]根据本发明的一方面，提供一种可以去除全景图拼接痕迹并减少全景图失真的全景图的处理方法。
[0007]根据本发明的一方面，提供一种一种处理高动态范围(HDR)全景图的方法，所述方法包括:计算高动态范围HDR全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；去除所述差值图像中的亮度值跳变以获得补偿图像；基于补偿图像来获得低动态范围(LDR)全景图。
[0008]亮度图像的亮度值可以为RGB颜色空间中的亮度值。
[0009]获得LDR全景图的步骤可包括:将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用修正亮度图像来获得LDR全景图。
[0010]使用修正亮度图像来获得LDR全景图的步骤可包括:将所述修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果所述修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。
[0011]如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将该像素或像素块的亮度值重新设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。
[0012]如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则可将所述修正亮度图像中的所有像素或像素块的亮度值范围整体缩小，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。
[0013]去除差值图像中的亮度值跳变的步骤可包括:利用高斯平滑滤波器对所述差值图像进行平滑来去除差值图像中的亮度值跳变，以获得补偿图像。
[0014]根据本发明的另一方面，提供一种处理高动态范围(HDR)全景图的装置，所述装置包括:计算单元，计算高动态范围(HDR)全景图的亮度图像与和HDR全景图对应的原始全景图的亮度图像之间的差值图像；图像处理单元，去除所述差值图像中的亮度值跳变以获得补偿图像；低动态范围(LDR)图像获得单元，基于补偿图像来获得LDR全景图。
[0015]亮度图像的亮度值可以为RGB颜色空间中的亮度值。
[0016]所述LDR图像获得单元可将HDR全景图的亮度图像减去补偿图像来获得修正亮度图像，并使用该修正亮度图像来获得LDR全景图。
[0017]所述LDR图像获得单元可将所述修正亮度图像中的每个像素或像素块的亮度值与阈值范围进行比较，如果所述修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元使用所述修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。
[0018]如果所述修正亮度图像中存在亮度值超过阈值范围的像素或像素块，则LDR图像获得单元可将该像素或像素块的亮度值重新设置为预定值，并使用像素或像素块的亮度值被重新设置后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。
[0019]如果所述修正亮度图像中存在亮度值超过阈值范围的像素或块，则LDR图像获得单元可将所述修正亮度图像中的所有像素或像素块的亮度值范围整体缩小，使得亮度值范围被整体缩小后的修正亮度图像中不存在亮度值超过阈值范围的像素或像素块，并使用亮度值范围被整体缩小后的修正亮度图像中的每个像素或像素块的亮度值来设置HDR全景图中的对应像素或对应像素块的亮度值，从而获得LDR全景图。
[0020]所述图像处理单元可利用高斯平滑滤波器对所述差值图像进行平滑来去除差值图像中的亮度值跳变，以获得补偿图像。
[0021]有益效果
[0022]根据本发明，可以在去除全景图拼接痕迹的同时减少全景图的失真，从而获得较好的压缩效果。
【附图说明】
[0023]通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中:
[0024]图1A示出通过拼接相机捕捉的关键帧而获得的全景图的示图；
[0025]图1B示出图1A中示出的全景图的拼接边缘；
[0026]图2A是示出原始全景图的亮度图像的亮度值的曲线图；
[0027]图2B是示出根据梯度场重建生成的HDR全景图的亮度图像的亮度值的曲线图；
[0028]图3示出根据本发明实施例的处理HDR全景图的方法的流程图；
[0029]图4A示出根据本发明实施例的HDR全景图的亮度图像与原始全景图的亮度图像的亮度值之差的曲线图；
[0030]图4B示出根据本发明实施例对图4A示出的曲线进行平滑后获得的补偿量的曲线图；
[0031]图5示出根据本发明实施例的基于补偿量曲线压缩HDR全景图而获得的LDR全景图的亮度图像的亮度值的曲线图；
[0032]图6示出根据本发明实施例的处理HDR全景图的装置的框图。
【具体实施方式】
[0033]现将详细描述本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号指示相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。然而应理解，所描述的实施例只