一种图像融合方法及移动设备与流程

本发明涉及图像处理技术领域，尤其是一种图像融合方法及移动设备。

背景技术：

现在越来越多的移动设备中使用到双摄系统(即，由两颗摄像头组成的拍照系统)，如具有双摄系统的手机、相机等。现有的双摄系统，大多是基于深度信息对图像进行处理，以实现3d效果，如图像背景虚化、物体分割、3d扫描、辅助对焦、动作识别等。一般在这种应用场景下，会要求两个摄像头之间保持尽可能大的间距，以得到更高的景深精度。

另一种场景下，利用双摄系统实现光学变焦，不同于以往的在后端处理图像像素，以达到放大效果(即，数码变焦)的处理方式，双摄系统采用“远焦+近焦”的双摄像头组合模式，再经过后期合成处理，从而实现光学变焦。

在上述各种应用场景下，如何利用双摄系统输出色彩丰富、图像质量更高的图像，是本发明要解决的一个问题。

技术实现要素：

为此，本发明提供了一种图像融合方案，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种图像融合方法，该方法用于处理同时针对同一物体拍摄的第一图像和第二图像，其中第一图像具有亮度信息，第二图像具有色度信息，该方法包括步骤：对第一图像中的每个像素点：在第二图像中查找是否存在与其内容相同的像素点；若存在，则将查找到的第二图像中的像素点的色度信息赋给第一图像中的对应像素点；根据亮度信息对第一图像进行超像素分区，在每个超像素分区内，按照预定条件对色度信息进行筛选，得到第三图像；按照预定的采样方法对第三图像中尚不具有色度信息的像素点进行颜色填充，使所有像素点都具有色度信息；以及将对应像素点的色度信息和第三图像的亮度信息相融合，得到融合后的图像。

可选地，在根据本发明的图像融合方法中，根据亮度信息对第一图像进行超像素分区的步骤包括：利用亮度信息和像素空间坐标对第一图像进行聚类处理，得到多个超像素分区。

可选地，在根据本发明的图像融合方法中，对第一图像进行聚类处理的步骤包括：计算第一图像内各像素点之间的距离值，得到各像素点到其他像素点的初始距离集；根据设置的分区数计算排列间隔，并按照排列间隔生成各分区的初始中心点；遍历所有分区，分别计算每个分区的初始中心点邻域内像素点到该初始中心点的距离值，若该距离值小于该像素点初始距离集中的任一距离值，则将该像素点归入该分区；遍历结束后，根据各分区内像素点的亮度信息和像素空间坐标计算出该分区的新中心点，并计算该新中心点与初始中心点的差值；以及重复迭代上述遍历分区、计算新中心点的步骤，直至新中心点与上一中心点的差值小于第一阈值，聚类结束。

可选地，在根据本发明的图像融合方法中，聚类结束的步骤之后，还包括：判断聚类得到的超像素分区是否连通；以及若判断某一超像素分区不连通，则将该分区归入其相邻分区。

可选地，在根据本发明的图像融合方法中，判断超像素分区是否连通的步骤包括：统计每个超像素分区的大小；以及若该超像素分区小于第二阈值，则判断该分区不连通。

可选地，在根据本发明的图像融合方法中，按照排列间隔生成各分区的初始中心点的步骤还包括：计算初始中心点与其八邻域内像素点的梯度值，选取梯度值最小的像素点作为该分区的初始中心点。

可选地，在根据本发明的图像融合方法中，还包括步骤：根据两个像素点之间的亮度距离和物理距离加权求和得到所述两个像素点的距离值。

可选地，在根据本发明的图像融合方法中，还包括步骤：根据第一图像的总像素数和设置的分区数计算出排列间隔：

其中，n是第一图像的总像素数，k是设置的分区数。

可选地，在根据本发明的图像融合方法中，第二阈值由所述排列间隔计算得到。

可选地，在根据本发明的图像融合方法中，按照预定条件对色度信息进行筛选得到第三图像的步骤包括：对具有色度信息的像素点，按色度信息从小到大的顺序排序；以及去除处于预定区间外的像素点的色度信息。

可选地，在根据本发明的图像融合方法中，预定区间与对应超像素分区内像素点总数相关。

可选地，在根据本发明的图像融合方法中，按照预定的采样方法对第三图像中尚不具有色度信息的像素点进行颜色填充的步骤包括：以第三图像的亮度信息为基准，对其色度信息进行至少一次下采样得到至少一个下采样图像，直至下采样图像的尺寸为2*2像素，在下采样过程中，计算每个下采样图像的色度信息并记录对应像素空间坐标；以及从2*2像素尺寸的下采样图像开始，按下采样的逆顺序对下采样图像进行上采样，直至恢复到第三图像的尺寸，在上采样过程中，根据每个下采样图像的色度信息和对应像素空间坐标计算每个上采样图像的色度信息。

可选地，在根据本发明的图像融合方法中，计算每个下采样图像的色度信息或计算每个上采样图像的色度信息的步骤包括：根据一像素点四邻域或对角四邻域内像素点的色度信息加权求得该像素点的色度信息，其中，加权系数与对应像素点的亮度距离负相关。

可选地，在根据本发明的图像融合方法中，色度信息包括第一色差信息和第二色差信息。

可选地，在根据本发明的图像融合方法中，第一图像是灰度图像，以及第二图像是彩色图像。

根据本发明的又一方面，提供了一种移动设备，包括：双摄像头成像系统，适于同时采集第一图像和第二图像；一个或多个处理器；存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述方法中的任一方法的指令。

可选地，在根据本发明的移动设备中，双摄像头成像系统包括一黑白摄像头成像系统和一彩色摄像头成像系统。

根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得计算设备执行如上所述的方法中的任一方法。

根据本发明的图像融合方案，以第一图像的亮度信息作为最终融合图像的亮度，能够充分发挥黑白摄像头成像系统噪点少、细节丰富、动态对比度高的特点；进而采用超像素分区修正已上色信息，以减少融合过程中的颜色溢出，同时又增强了算法的鲁棒性；而后期又模拟了颜色在全图的扩散过程，得到最终的融合图像，既保证了融合后图像色彩丰富、又具有很高的图像质量。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的移动设备100的构造示意图；

图2示出了根据本发明一个实施例的图像融合方法200的流程图；

图3a示出了根据本发明一个实施例的下采样图像的部分示意图；以及

图3b示出了根据本发明一个实施例的上采样图像的部分示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的移动设备100的构造示意图。参照图1，移动设备100包括：存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动设备100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。例如，运动传感器110、光传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如gps接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。

相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中相机子系统和光学传感器例如可以是电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)光学传感器。在本发明中，相机子系统120被布置为双摄系统，用于同时获取同一目标物体的两张图像。可选地，该双摄系统采用“彩色+黑白”的组合模式，即一个彩色摄像头成像系统和一个黑白摄像头成像系统。在后期的图像处理中，色度信息主要由彩色摄像头成像系统提供，而细节信息主要由黑白摄像头成像系统提供。

可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动设备100所支持的一个或多个通信网络。例如，移动设备100可以包括被设计成支持gsm网络、gprs网络、edge网络、wi-fi或wimax网络以及blueboothtm网络的通信子系统124。音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。

i/o子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、usb端口、和/或指示笔之类的指点设备。一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。

存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如nand，nor)。存储器150可以存储操作系统152，例如android、ios或是windowsphone之类的操作系统。该操作系统152可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用154。这些应用在操作时，会从存储器150加载到处理器104上，并在已经由处理器104运行的操作系统之上运行，并利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用可以是独立于操作系统提供的，也可以是操作系统自带的。在一些实现方式中，应用154可以是一个或多个程序。

本发明提供了基于“彩色+黑白”双摄系统的图像融合方案，通过在移动设备100的存储器150中存储相应的一个或多个程序来实现上述功能。需要说明的是，本发明所指的移动设备100可以是具有上述构造的手机、平板、相机等。

“彩色+黑白”双摄系统的合成方案是目前的一大难题，通常可以选择“以彩色图像作为主要参考图像”“以黑白图像作为主要参考图像”“仅以彩色图像作为参考图像”等等。然而，双摄系统会不可避免地带来遮挡效应，并且大部分的合成算法速度较慢，或是，合成之后依然会出现噪点较多的问题，融合效果不好在很大程度上影响了用户体验。

图2示出了根据本发明一个实施例的图像融合方法200的流程图。

根据本发明的一个实施例，通过移动设备100采集到的两张图像，其中一张为黑白图像，一张为彩色图像，将这两张图像记为：第一图像和第二图像，其中，第一图像具有亮度信息，第二图像具有色度信息。应当注意的是，这里并不是说第二图像(即，彩色图像)不具有亮度信息，只是在本实施例中，对于第二图像更关注其色度信息。

另外，本方法200也不局限于从移动设备100中获取第一图像和第二图像。具有亮度信息的第一图像和具有色度信息的第二图像例如可以是通过两个并行放置的移动设备对同一物体拍摄所得。本发明对此不做限制。

如图2所示，该方法始于步骤s210，以第一图像作为主图，对第一图像中的每个像素点，在第二图像中查找是否存在与其内容相同的像素点(即，相互匹配的像素点)，若存在，则将查找到的第二图像中的像素点的色度信息赋给第一图像中的对应像素点。由于视差的关系，同一内容在第一图像和第二图像中的坐标位置可能会不同，例如，对于照片内的某个桌角，在第一图像中位于第100行第200列，而在第二图像中对应第100行第250列，那么，在本发明的实施例中，认为第一图像中的(100,200)和第二图像中的(100,250)是相互匹配的，这时，会将第二图像中(100,250)像素点的色度信息赋值给第一图像中的(100,200)的色度信息。

根据本发明的实施例，考虑到亮色分离，将采集到的rgb图像转换到yuv通道进行处理，此时，亮度信息为y通道值，色度信息为u、v两通道的值，u通道记录第一色差信息，v通道记录第二色差信息。更进一步地，考虑到尽可能多地保留图像的颜色信息，可以采用“yuv4：4：4”的格式进行处理。可选地，也可以在hsi、hsv等颜色空间进行处理，只要保证亮色分离即可。

经步骤s210的处理后，第一图像中部分像素点具有色度信息，即，为已上色状态，还有部分像素点因找不到相匹配的像素点而依旧保持灰度状态。

随后在步骤s220中，根据亮度信息对第一图像进行超像素分区，根据本发明的实施方式，超像素分区就是利用第一图像的亮度信息和像素空间坐标对第一图像的像素点进行聚类处理，得到多个超像素分区。

更具体地，对第一图像进行聚类处理的步骤包括：

a.计算第一图像内各像素点之间的距离值，得到各像素点到其他像素点的初始距离集。可选的，定义两个像素点的距离既包含亮度y之间的距离，也包含了坐标(x,y)之间的距离，故而距离值根据两个像素点之间的亮度距离和物理距离加权求和得到。

b.根据设置的分区数和第一图像的总像素数计算排列间隔，即，

排列间隔

其中，n是第一图像的总像素数，k是设置的分区数。

再按照排列间隔生成各分区的初始中心点。若直接按排列间隔s选出各分区的初始中心点，可能中心点会落在边缘或者噪点上，为解决这一问题，根据本实施例，计算初始中心点与其八邻域内像素点的梯度值，选取梯度值最小的像素点作为该分区的初始中心点。

c.遍历所有分区，分别计算每个分区的初始中心点邻域内(如，各初始中心点的2s*2s区域内)像素点到该初始中心点的距离值，若该距离值小于该像素点初始距离集中的任一距离值，则将该像素点归入该分区。

d.遍历结束后，根据各分区内像素点的亮度信息和像素空间坐标计算出该分区的新中心点，可选地，以分区内所有像素的(y,x,y)的平均值作为该分区的新的中心点，并计算该新中心点与初始中心点的差值；以及

e.重复迭代上述遍历分区、计算新中心点的步骤(即步骤c、步骤d)，直至新中心点与上一中心点的差值小于第一阈值，聚类结束。

聚类结束之后，会存在某些分区内的少数点和这个分区并不在一个区域内，因此，还需要再确认聚类后各分区的连通性，保证每个聚类后的分区都只标记一个区域块。具体做法是：判断聚类得到的每个超像素分区是否连通，当判断某一超像素分区不连通时，就将该分区归入其相邻分区，以保证各分区的连通性。可选地，统计每个超像素分区的大小，若该超像素分区小于第二阈值，则判断该分区不连通。在本实施例中，第二阈值由排列间隔来确定，如选取第二阈值为s/4。

至此，完成了对第一图像的超像素分区，然后在每个超像素分区内，按照预定条件对色度信息进行筛选，得到第三图像。具体地，在每个超像素分区内，对经步骤s210上色的像素点，按其色度信息从小到大的顺序进行排序，然后只保留预定区间内的像素点的色度信息。可选地，预定区间与对应超像素分区内像素点总数相关。

这样做的目的是为了增强像素点“相互匹配”算法的鲁棒性，防止超像素之间的漏色问题。

例如，某超像素分区内有100个像素，其中有60个像素经步骤s210上色，另外40个像素还保持灰度状态。那么针对这60个像素的uv通道，以u为例，可以进行一个从小到大的排序，一般而言，可以将排序后的u中的最大5％、最小5％的对应点的颜色给去掉，例如这里就抹掉了共60*5％*2＝6个点，因此只有60-6＝54个点是有颜色的，而另外40+6＝46个像素点则是没有色度信息，继续进行后面的上色算法。在实际操作过程中，可以将uv通道联合处理，只保留那些排序后u、v值均位于5％～95％区间段内的像素点的色度信息，也就是说，只要u、v通道中有一个过大或者过小，则两通道的色度信息都弃用。

随后在步骤s230中，按照预定的采样方法对第三图像中尚不具有色度信息的像素点进行颜色填充，使所有像素点都具有色度信息。

根据本发明的一种实现方式，以第三图像的亮度信息为基准，对其色度信息进行至少一次下采样得到至少一个下采样图像，直至下采样图像的尺寸为2*2像素。换句话说，下采样的过程就是把图像通过半宽半高压缩过程循环至最小尺寸2*2的过程(圧缩过程中，若像素数不能被2整除，则向上取整)。例如，图像原始尺寸为1920*1080，则下采样过程为1920*1080→960*540→480*270→240*135→120*68→60*34→30*17→15*9→8*5→4*3→2*2，上述各尺寸对应的图像称为一级下采样图像。

在下采样的过程中，计算每个下采样图像的色度信息并记录对应像素空间坐标。可选地，根据一像素点四邻域或对角四邻域内像素点的色度信息加权求得该像素点的色度信息。根据本发明的实施方式，根据像素点的空间坐标判断，当行坐标+列坐标为偶数时，根据该像素点及四邻域像素点加权求得色度信息；当行坐标为偶数且列坐标也为偶数时，根据该像素点及对角四邻域像素点加权求得色度信息。

如图3a所示，坐标点f＝w1f+w2(a1b+a2e+a3g+a4j)，

坐标点k＝w1k+w2(a1f+a2h+a3n+a4p)，其中，w1和w2可以取0.5，加权系数a1、a2、a3、a4与对应像素点的亮度距离负相关，也就是说，与中心点亮度值y相近的点，其色度值u、v也会比较接近，如加权系数取1/(|y1-y2|^α+ε)或exp(-(y1-y2)²/σ²)等等，其中，y1-y2代表两个像素点的亮度差值。

下采样结束后，从2*2像素尺寸的下采样图像开始，按下采样的逆顺序对下采样图像进行上采样，直至恢复到第三图像的尺寸。

在上采样过程中，根据每个下采样图像的色度信息和对应像素空间坐标计算每个上采样图像的色度信息。如上面下采样过程对应的上采样过程为2*2→4*3→8*5→15*9→30*17→60*34→120*68→240*135→480*270→960*540→1920*1080，上述各尺寸对应的图像称为一级下采样图像。

在上采样的过程中，保留下采样时记录的像素点及其对应像素空间坐标，其余位暂时补0。通过如上所述的(低通滤波的)方法，计算其他像素点的色度信息。根据本发明的实施方式，根据像素点的空间坐标判断，当行坐标为奇数且列坐标也为奇数时，根据该像素点对角四邻域像素点加权求得色度信息；当行坐标+列坐标为奇数时，根据该像素点四邻域像素点加权求得色度信息。

如图3b所示，坐标点f＝b1a+b2c+b3i+b4k，坐标点g＝b1c+b2f+b3h+b4k，其中，加权系数b1、b2、b3、b4与对应像素点的亮度距离负相关，如上所述，加权系数可以取1/(|y1-y2|^α+ε)或exp(-(y1-y2)²/σ²)等等，其中，y1-y2代表两个像素点的亮度差值。

由上所述，在整个“下采样——上采样”颜色填充的过程中，均是以亮度信息y作为导向，这样做可以保持边界，避免填色过程中颜色越界。

最后，在步骤s240中，将填充所得的对应像素点的色度信息和第三图像的亮度信息相融合，得到融合后的图像。

根据本发明的图像融合方案，以第一图像的亮度信息作为最终融合图像的亮度，能够充分发挥黑白摄像头成像系统噪点少、细节丰富、动态对比度高的特点；进而采用超像素分区修正已上色信息，以减少融合过程中的颜色溢出，同时又增强了算法的鲁棒性；而后期的“下采样——上采样”过程相当于模拟了颜色在全图的扩散过程，并以亮度y为导向，相当于在颜色扩散的过程中引入边界限制，不跨界扩散，避免错误上色，最终得到的融合图像既保证了色彩丰富、又具有很高的图像质量。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、cd-rom、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的图像融合方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明还一并公开了：

a8、如a3-7中任一项所述的方法，还包括步骤：根据第一图像的总像素数和设置的分区数计算出排列间隔。

a9、如a8所述的方法，其中，

排列间隔其中，n是第一图像的总像素数，k是设置的分区数。

a10、如a5-9中任一项所述的方法，其中第二阈值由所述排列间隔计算得到。

a11、如a1-10中任一项所述的方法，其中，按照预定条件对色度信息进行筛选得到第三图像的步骤包括：对具有色度信息的像素点，按色度信息从小到大的顺序排序；以及去除处于预定区间外的像素点的色度信息。

a12、如a11所述的方法，其中，预定区间与对应超像素分区内像素点总数相关。

a13、如a1-12中任一项所述的方法，其中，按照预定的采样方法对第三图像中尚不具有色度信息的像素点进行颜色填充的步骤包括：以第三图像的亮度信息为基准，对其色度信息进行至少一次下采样得到至少一个下采样图像，直至下采样图像的尺寸为2*2像素，在下采样过程中，计算每个下采样图像的色度信息并记录对应像素空间坐标；以及从2*2像素尺寸的下采样图像开始，按下采样的逆顺序对下采样图像进行上采样，直至恢复到第三图像的尺寸，在上采样过程中，根据每个下采样图像的色度信息和对应像素空间坐标计算每个上采样图像的色度信息。

a14、如a13所述的方法，其中，计算每个下采样图像的色度信息或计算每个上采样图像的色度信息的步骤包括：根据一像素点四邻域或对角四邻域内像素点的色度信息加权求得该像素点的色度信息，其中，加权系数与对应像素点的亮度距离负相关。

a15、如a1-14中任一项所述的方法，其中，色度信息包括第一色差信息和第二色差信息。

a16、如a1-15中任一项所述的方法，其中，第一图像是灰度图像，以及第二图像是彩色图像。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。