一种用于便携式终端的图像处理方法及图像处理装置制造方法
【专利摘要】本发明提供一种用于便携式终端的图像处理方法及图像处理装置。所述用于便携式终端的图像处理方法包括：基于单张图像的亮度提升：捕捉第一图像，通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像，并且将所述第一图像与所述第二图像进行合成，生成第三图像。通过本发明提供的用于便携式终端的图像处理方法及图像处理装置，既无需提高便携式终端的硬件配置，又解决了多张图像连拍处理时对快门速度的要求过高的问题，既节约便携式终端的硬件成本又很好地提高了夜拍图像的成像质量。
【专利说明】一种用于便携式终端的图像处理方法及图像处理装置
【技术领域】
[0001]本发明涉及图像处理技术，尤其涉及一种用于便携式终端的图像处理方法及图像处理装置。
【背景技术】
[0002]在未配置专业摄影器材的情况下，用户使用便携式终端(如手机)进行夜间或室内暗环境拍摄时，所得的成像图片往往存在模糊不清、噪点过多、照片亮度以及对比度较差等问题。
[0003]为了解决上述问题，在现有技术中通常采用以下两个技术方案:
[0004]I)通过提升硬件配置来提高夜拍成像质量，如配置800万以上像素的摄像头，使光圈达到F2.0，并配备独立的专业ISP (图像信号处理)处理芯片。
[0005]2)通过多图连拍、对齐，并进行图像合成，以提高图像亮度以及对比度的方法来提高夜拍成像质量。
[0006]然而，技术方案I)会导致厂家生产成本增加，并且不具有普及特性；而技术方案2)需要相机具有较高的快门速度，否则会出现拍摄多张图片需要时间较长、用户体验不佳、相机抖动严重，无法完全对齐等一系列问题。
【发明内容】
[0007]本发明目的在于，提供一种用于便携式终端的图像处理方法及图像处理装置，通过基于单张图像来执行亮度提升处理的方案，实现在不提高便携式终端的硬件配置并且在便携式终端的快门速度不够快的情况下，就能提高夜拍图像的成像质量的目标，既节约便携式终端的硬件成本又很好地提高了夜拍图像的成像质量。
[0008]根据本发明的一方面，本发明提供一种用于便携式终端的图像处理方法，包括:捕捉第一图像，通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像，并且将所述第一图像与所述第二图像进行合成，生成第三图像。
[0009]根据本发明的另一方面，本发明提供一种用于便携式终端的图像处理方法，包括:采集预定张/帧数的第四图像，将所述预定张/帧数的第四图像对齐，并且将对齐后的所述第四图像进行合成，生成第五图像。
[0010]根据本发明的一方面，本发明提供一种用于便携式终端的图像处理装置，包括单张图像亮度提升处理单元，用于基于单张图像执行亮度提升处理，其包括:第一图像捕捉单元，用于捕捉第一图像；亮度提升单元，用于通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像；第一图像合成单元，用于将所述第一图像与所述第二图像进行合成，生成第三图像。
[0011]根据本发明的一方面，本发明提供一种用于便携式终端的图像处理装置，包括多张图像亮度提升处理单元，用于基于多张图像执行亮度提升处理，其包括:第二图像捕捉单元，用于采集预定张/帧数的第四图像；图像对齐单元，用于将所述预定张/帧数的第四图像对齐；第二图像合成单元，用于将对齐后的所述第四图像进行合成，生成第五图像。
[0012]本发明提供的用于便携式终端的图像处理方法及图像处理装置，通过对便携式终端的摄像头捕捉的第一图像调整亮度生成第二图像，再由第二图像与第一图像进行合成处理的方案，既无需提高便携式终端的硬件配置，又解决了多张图像连拍处理时对快门速度的要求过高的问题,既节约便携式终端的硬件成本又很好地提高了夜拍图像的成像质量。
【专利附图】
【附图说明】
[0013]图1为本发明示例性实施例的用于便携式终端的图像处理方法的流程图；
[0014]图2为本发明示例性实施例的基于单张图像执行亮度提升处理的示例图；
[0015]图3为本发明的优选实施例的用于便携式终端的图像处理方法的总体流程图；
[0016]图4为本发明另一示例性实施例的用于便携式终端的图像处理方法的流程图；
[0017]图5为本发明示例性实施例的基于多张图像执行亮度提升处理的示例图之一；
[0018]图6为本发明示例性实施例的基于多张图像执行亮度提升处理的示例图之二 ；
[0019]图7为本发明示例性实施例的用于便携式终端的图像处理装置的逻辑框图；
[0020]图8为本发明的优选实施例的用于便携式终端的图像处理装置的总体逻辑框图；
[0021]图9为本发明另一示例性实施例的用于便携式终端的图像处理装置的逻辑框图。
【具体实施方式】
[0022]本发明的总体发明构思是，提供一种用于便携式终端的图像处理方法及图像处理装置，在便携式终端的硬件配置不高并且快门速度不够快的情况下，通过软件处理的方式对摄像头捕捉的单张图像进行亮度调整，以提高夜间拍摄的图像的成像质量。具体地，先捕捉第一图像；然后对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像，再将所述第一图像与所述第二图像进行合成，生成第三图像。通过上述的方法，得到了高质量的第三图像，实现了在不提高便携式终端的硬件配置并且在便携式终端的快门速度不够快的情况下，就能提高夜拍图像的成像质量的目标，既节约便携式终端的硬件成本又很好地提高了夜拍图像的成像质量。
[0023]除此以外，在便携式终端的视频采集分辨率、帧率满足一定的配置要求时，本发明可优先采取基于多张图像进行亮度调整的处理方案:采集预定帧数的所拍摄视频的连续序列帧的第四图像，并对所述预定张\帧数的第四图像执行基于多张图像的亮度提升处理，即先将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐，再将对齐后的多张\帧第四图像进行合成，生成第五图像。通过此方案，便携式终端只需达到一定的视频采集分辨率、帧率要求，无需达到多张图像连拍处理时对快门速度的要求，就能够进行基于多张图像的亮度提升处理，得到高质量的第五图像。
[0024]进一步地，当便携式终端达到多张图像连拍处理时对快门速度的要求时，则可更优先地采取如下方案:连拍采集预定张数的第四图像，并对所述预定张数的第四图像执行上述的基于多张图像的亮度提升处理。
[0025]结合上述的发明构思，本发明根据便携式终端的不同配置，采取相应的图像处理方案，使得对夜拍图像的成像质量提升处理更加灵活，对任意配置的便携式终端都能够提供相应最优的图像处理方案来提高夜拍图像的成像质量。
[0026]下面结合附图对本发明的用于便携式终端的图像处理方法及图像处理装置进行详细描述。
[0027]图1是示出本发明示例性实施例的用于便携式终端的图像处理方法的流程图。
[0028]参照图1，在步骤S110，捕捉第一图像。在本实施例中，可通过所述便携式终端的摄像头捕捉第一图像。
[0029]在步骤S120，通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像。根据本发明的示例性实施例，在步骤S120中，根据预定的映射规则，将所述第一图像的每个像素的灰度值映射为所述第二图像中对应像素的灰度值。具体地，对所述第一图像中灰度值小于所述灰度阈值的像素，将所述像素的灰度值按照预定的抛物线函数映射成为第二图像中对应像素的灰度值，对所述第一图像中灰度值不小于所述灰度阈值的像素，将所述像素的灰度值不变地映射成为第二图像中对应像素的灰度值。具体的映射函数可参考式(I)。
η (Χ + Λ-0)2
vl) H--X < lhre
[0030]願/)[λ-]二jα(I)
X.X >二 /7? re
[0031]式(I)中，X为原始第一图像的灰度值，X e [O, 255]，map[x]为映射后第二图像的灰度值，map [X] e [0，255], x0、y0、a为固定系数,是通过多次曲线调整试验得到的经验值，可根据具体情况调整这三个系数的值。
[0032]通过上述的处理，生成了亮度更高、图像更清晰的第二图像，为后续步骤S130的处理效果奠定了良好的基础。
[0033]在步骤S130，将所述第一图像与所述第二图像进行合成，生成第三图像。根据本发明的示例性实施例，在步骤S130中，将所述第一图像中每个像素的灰度值与所述第二图像中对应像素的灰度值按照各自的权值进行加权求和，得到所述第三图像的对应像素的灰度值。具体的计算方法可如式(2)。
[0034]image2 (x, y) = src (x, y)氺weight+imagel (x, y)氺(I—weight) (2)
[0035]其中，src(x，y)表示第一图像中(x, y)点位置的灰度值，imagel (x, y)表示第二图像中(X，y)点位置的灰度值，image2(x, y)表示第三图像中(x, y)点位置的灰度值，weight为第一图像(X，Y)位置像素的权值，(1-weight)为第三图像中对应像素的权值。在这里，当前点亮度越高，则整体亮度相对低的图像中对应像素的权值越高。将高的权值赋予像素在亮度相对低的图像中的灰度值，以进行图像亮度的均衡，并保存图像中的细节。
[0036]可根据任一像素在第一图像和第二图像中的RGB分量值计算所述像素分别在第一图像和第二图像中的权值。例如，可根据式(3)计算任一像素在第一图像中的权值，也可根据具体情况重新自定义。
[0037]
,src — r + src_g + src_b + image\ — r + imagcA _g + image — b ^Weig lt _6*255(3)
[0038]式(3)中，src_r, src_g, src_b分别为所述像素在第一图像中的红、绿、蓝分量值，imagel_r, imagel_g, image_b分别为所述像素在第二图像中的红、绿、蓝分量值。所述像素在第二图像中的权值为(I 一 weight)。
[0039]根据本发明的优选实施例，在步骤S130之后，还对第三图像进行局部对比度增强。例如，但不限于:将第三图像分成mXn块区域(m和η为自然数)，对每一块区域的图像进行限制对比度直方图均衡，并以边界渐变方式，将mXn块进行限制对比度直方图均衡后的结果图拼接，形成最终的呈现给用户的图像。本实施例也可以采取其它的方法来进行局部对比度增强的处理，不局限于上述方法。通过该局部对比度增强的处理，进一步提升了第三图像的清晰度，给用户提供了更高的成像质量。
[0040]图2为经过上述的基于单张图像执行亮度提升处理的示例图，其中左图为在夜拍场景下便携式终端拍摄的第一图像，右图为经过本实施例的基于单张图像执行亮度提升处理后得到的第三图像。可以看出，第三图像相对于第一图像亮度及清晰度都得到了提升，很大程度地提高了夜拍图像的成像质量。
[0041]根据本发明的优选实施例，可根据便携式终端的拍摄参数，执行基于单张图像的亮度提升或者执行基于多张图像的亮度提升。
[0042]图3是示出本发明的优选实施例的用于便携式终端的图像处理方法的总体流程图。
[0043]参照图3，在步骤S310，获取所述便携式终端连拍预定张数图片的处理时间。本实施例所述的处理时间包括拍摄时间和将拍摄的图像导入内存的时间，通常在所述处理时间不能太长，否则采集的多个图像会产生较大的位移差别。
[0044]在步骤S320，确定所述处理时间是否小于预定的时间阈值(比如处理时间〈2秒)。如果所述处理时间小于预定的时间阈值，则执行步骤S330，此处，将在此条件下执行步骤S330的情形定义为情形一。在步骤S330，执行基于多张图像的亮度提升。可使用现有技术中基于多张图像进行亮度提升的技术来执行步骤S330，也可执行如图4所述的基于多张图像进行亮度提升的处理(稍后将结合图4对步骤S330的处理进行详细描述)。如果在步骤S320，确定所述处理时间大于或等于预定的时间阈值，则执行步骤S340。在步骤S340，确定所述便携式终端的视频分辨率以及帧率是否满足预定的配置标准(比如视频分辨率>720p且帧率>15帧/秒)。
[0045]如果在步骤S340，确定所述便携式终端的视频分辨率以及帧率满足所述预定的配置标准，则执行步骤S330，此处，将在此条件下执行步骤S330的情形定义为情形二。
[0046]如果在步骤S340，确定所述便携式终端的视频分辨率以及帧率不满足所述预定的配置标准，则执行步骤S350。在步骤S350，如前所述，执行基于单张图像的亮度提升。
[0047]根据本发明的可选实施例，可不基于所述处理时间确定是否执行基于多张图像的亮度提升处理，也就是说，不执行步骤S310?S320的处理，而是首先执行步骤S340，仅通过所述视频分辨率和所述帧率确定执行基于单张图像的亮度提升还是执行多张图像的亮度提升。在步骤S340如果所述视频分辨率和所述帧率满足预定的配置标准(比如视频分辨率>720p且帧率>15帧/秒)，则执行步骤S330，同样地，将在此条件下执行步骤S330的情形也为情形二。如果所述分辨率和所述帧率不满足预定的配置标准，则执行步骤S350，执行基于单张图像的亮度提升。
[0048]图4是示出本发明另一示例性实施例的用于便携式终端的图像处理方法的流程图，即基于前述的多张第四图像执行的亮度提升处理。
[0049]参照图4，在步骤S331，采集预定张/帧数的第四图像。具体地，如果对应前述情形一，则在步骤S331中，连拍采集预定张数(比如5张)的第四图像；如果对应前述情形二，则在步骤S331中，采集预定帧数的所拍摄视频的连续序列帧的第四图像。
[0050]在步骤S332，将所述预定张/帧数的第四图像对齐。根据本发明的示例性实施例，在步骤S332中，计算每张\帧第四图像相对第一张\帧第四图像的旋转平移矩阵，并且根据所述旋转平移矩阵，将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐。
[0051]其中，根据获取所述便携式终端的陀螺仪数据或计算机视觉理论来计算所述旋转平移矩阵。
[0052]如果所述便携式终端装有陀螺仪，则获取陀螺仪数据，根据所述陀螺仪数据计算每张\帧第四图像相对第一张\帧第四图像的旋转平移矩阵。
[0053]具体地，通过陀螺仪数据，我们可以获得任意时刻便携式终端与地面绕X、1、z轴的夹角α β Y，所述X轴指向便携式终端被放在其默认的方向上时水平指向右的方向，所述y轴指向便携式终端被放在其默认的方向上时垂直向上的方向，所述Z轴是指向便携式终端的屏幕正面之外的方向，两张\帧图像之间旋转矩阵的计算可通过α β Y角的差值来计算。例如:如果两张\帧图像之间的位移以及旋转量非常小，并且主要旋转量为绕ζ轴旋转的角度Y，则可以获得两张\帧图像之间绕ζ轴旋转的角度:Λ γ = Y1-Y2，然
r, ? 「cosAf -sin Ar
后获得旋转矩阵A= & r = sinAr ε08Δχ 两张\帧图像之间旋转矩阵的计算，可
—O
通过加速度传感器分别获得任意时刻两张\帧图像沿X、1、Z轴的加速度axayaz。由于两张\帧图像拍摄间隔时间较短，便携式终端沿着X轴、Y轴方向做微小位移，并且拍摄间隔时间t固定，因此可以由加速度和时间获得两张\帧图像之间沿着X轴、y轴方向的位
V = α x/1
移。即、=νχ彳= s =其中，a为加速度，V为速度，s为位移。因此可按照公式
「/t =axtxt
y =α χ?χ?计算平移矩阵。通过旋转矩阵和平移矩阵的计算，我们就得到了旋转平移矩阵
γ>τ=[Γ0 Γ1 tXl
/V Iο
Lr2r3ty\
[0054]如前所述，还可通过计算机视觉理论来计算所述旋转平移矩阵。
[0055]通过计算机视觉理论计算所述旋转平移矩阵的步骤如下:通过SIFT (尺度不变特征转换)算法、surf (Speed-Up Robust Features)算法等方法获得两张\巾贞图像的特征点位置，以及特征向量；对两张\帧图像进行特征点匹配，找到两张\帧图像中的所有匹配点；设对准目标图像中的特征点为Ix1, Y11 X2, y2……Xn, yj，待对准图像中与之相匹配的特征点为氏，Y1, X2, Y2......Xn, YJ，每对匹配的特征点，根据计算机视觉中的仿射理论存在以
「η「x_
下线性关系X = % Γι [χ X Y 。可列线性方程组如下:
L^J Lr2 G j
[0056]X1 = r0X1+r1Y1+tx
[0057]Y1 = T2XJr3Y^ty
[0058]x2 = roX^rJ^t,
[0059]j2 = r2X2+r3Y2+ty
[0060].
[0061].
[0062].
[0063]xn = roX^rJ^t,
[0064]yn = r2Xn+r3Yn+ty
[0065]然后通过解线性方程组的方法求解A Γι r2 r3 tx ty，所得矩阵ΑΓ= ~ ^ [x
lr2 Γ3 ty_
即为旋转平移矩阵。
[0066]之后，根据所述旋转平移矩阵，将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐。在本实施例中，将除第一张\帧第四图像之外的其它第四图像经过公式(4)的计算，与第一张\帧第四图像对齐。
Γ? Γτ> γ? ? ΓΧ
χ new Rq R1 tx
[0067]—=X V?Λλ
y_new R R3 tv ,(4)
-j I
[0068]公式⑷中的x、y为对准前的坐标值，x_new、y_new为对准后的坐标值，
-R R 亡-
O0 O1 tX为上面计算的旋转平移矩阵。
K2 A3 lyl
[0069]在步骤S333，将对齐后的所述第四图像进行合成，生成第五图像。根据本发明的示例性实施例，在步骤S333中，将包括对齐后的多张/帧第四图像亮度叠加，生成第五图像。具体地，在计算所述第五图像每个点的灰度值时，取所述所有第四图像对应点的周边kXj(比如3X3)的像素集合，对所述像素集合内的像素进行快速排序取灰度值为中间的预定个数的灰度值(如三个值)进行叠加，其中，k、j为奇数。需要说明的是，如果叠加后的灰度值大于255，则取255作为第五图像对应像素的灰度值。通过本示例性实施例方法可以有效的抑制夜景模式下，连拍叠加所造成的噪声放大的问题。
[0070]根据本发明的优选实施例，在步骤S334之后，还对第五图像进行局部对比度增强。可参照前述对第三图像进行的局部对比度增强承担处理，在此不再赘述。
[0071]图5和图6为经过上述的基于多张图像执行亮度提升处理的示例图，其中图5为在夜拍场景下便携式终端拍摄的多张第四图像，图6为经过本实施例的基于多张图像执行亮度提升处理后得到的第五图像。可以看出，第五图像相对于第四图像亮度及清晰度都得到了提升，很大程度地提高了夜拍图像的成像质量。
[0072]图7是示出本发明示例性实施例的用于便携式终端的图像处理装置的逻辑框图。
[0073]参照图7，本发明的用于便携式终端的图像处理装置包括单张图像亮度提升处理单元700，用于基于单张图像执行亮度提升处理，单张图像亮度提升处理单元700包括--第一图像捕捉单元710、亮度提升单元720以及第一图像合成单元730。
[0074]第一图像捕捉单元710用于捕捉第一图像。在本实施例中，可以通过所述便携式终端的摄像头捕捉第一图像。
[0075]亮度提升单元720用于通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像。
[0076]根据本发明的实例性实施例，亮度提升单元720根据预定的映射规则，将所述第一图像的每个像素的灰度值映射为所述第二图像中对应像素的灰度值。具体地，对所述第一图像中灰度值小于所述灰度阈值的像素，所述亮度提升单元720将所述像素的灰度值按照预定的抛物线函数映射成为第二图像中对应像素的灰度值；对所述第一图像中灰度值不小于所述灰度阈值的像素，所述亮度提升单元720将所述像素的灰度值不变地映射成为第二图像中对应像素的灰度值。通过亮度提升单元720，生成了亮度更高、图像更清晰的第二图像。
[0077]第一图像合成单元730用于将所述第一图像与所述第二图像进行合成，生成第三图像。第一图像合成单元730将所述第一图像中每个像素的灰度值与所述第二图像中对应像素的灰度值按照各自的权值进行加权求和，得到所述第三图像的对应像素的灰度值。
[0078]可根据任一像素在第一图像和第二图像中的RGB分量值计算所述像素分别在第一图像和第二图像中的权值。
[0079]图8是示出本发明的优选实施例的用于便携式终端的图像处理装置的总体逻辑框图。
[0080]参照图8，本发明的图像处理装置还可包括处理方案确定单元800和多张图像亮度提升处理单元900。处理方案确定单元800用于根据所述便携式终端的拍摄参数，通过所述单张图像亮度提升处理单元700基于单张图像执行亮度提升处理或者通过多张图像亮度提升处理单元900基于多张图像执行亮度提升处理。稍后将参照图9详细描述所述多张图像亮度提升处理单元900。多张图像亮度提升处理单元900用于基于多张图像执行亮度提升处理。
[0081]具体地，处理方案确定单元800用于获取所述便携式终端的视频分辨率以及帧率；如果所述视频分辨率和所述帧率满足预定的配置标准，则处理方案确定单元800通过多张图像亮度提升处理单元900基于多张图像执行亮度提升处理，此处，也将在此条件下调用多张图像亮度提升处理单元900的情形定义为情形二 ；如果所述视频分辨率和所述帧率不满足预定的配置标准，则处理方案确定单元800通过单张图像亮度提升处理单元700基于单张图像执行亮度提升处理。
[0082]另一方面，处理方案确定单元800还可获取所述便携式终端连拍预定张数图片的处理时间；如果所述处理时间小于预定的时间阈值，则处理方案确定单元800通过多张图像亮度提升处理单元900基于多张图像执行亮度提升处理，此处，相应地将在此条件下调用多张图像亮度提升处理单元900的情形定义为情形一；如果拍摄处理时间获取单元获取的所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率满足所述预定的配置标准，则处理方案确定单元800通过多张图像亮度提升处理单元900基于多张图像执行亮度提升处理，此处，相应地将在此条件下调用多张图像亮度提升处理单元900的情形定义为情形二 ；如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率不满足所述预定的配置标准，则处理方案确定单元800通过所述单张图像亮度提升处理单元700基于单张图像执行亮度提升处理。
[0083]通过上述的处理方案确定单元800，使得本发明的图像处理装置处理更加灵活，对任意配置的便携式终端都能够提供相应最优的图像处理方案来提高夜拍图像的成像质量。
[0084]下面结合图9来详细说明多张图像亮度提升处理单元900。
[0085]图9是示出本发明另一示例性实施例的用于便携式终端的图像处理装置的逻辑框图。图9示出多张图像亮度提升处理单元的逻辑框图。
[0086]参照图9，多张图像亮度提升处理单元900包括:第二图像捕捉单元910、图像对齐单元920、第二图像合成单元930。
[0087]第二图像捕捉单元910用于采集预定张/帧数的第四图像。具体地，如果对应上述情形一，则第二图像捕捉单元910连拍采集预定张数的第四图像；如果对应上述情形二，第二图像捕捉单元910采集预定帧数的所拍摄视频的连续序列帧的第四图像。
[0088]图像对齐单元920用于将所述预定张/帧数的第四图像对齐。根据本发明的示例性实施例，图像对齐单元920计算每张\帧第四图像相对第一张\帧第四图像的旋转平移矩阵，并且根据所述旋转平移矩阵，将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐。
[0089]其中，图像对齐单元920根据获取所述便携式终端的陀螺仪数据或计算机视觉理论来计算所述旋转平移矩阵。关于所述旋转平移矩阵的计算，在对图4中的步骤S332的说明中已经进行了详细介绍，此处不再赘述。
[0090]之后，图像对齐单元920根据所述旋转平移矩阵，将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐。在本实施例中，将除第一张\帧第四图像之外的其它第四图像经过公式(4)的计算，与第一张\帧第四图像对齐。公式(4)中的x、y为
■R R t -
对准前的坐标值，X_neW、y_neW为对准后的坐标值，^ /为上面计算的旋转平移矩阵。
[0091]第二图像合成单元930用于将对齐后的所述第四图像进行合成，生成第五图像。根据本发明的示例性实施例，第二图像合成单元630将对齐后的所述第四图像亮度叠加，生成第五图像。具体地，第二图像合成单元930在将对齐后的所述第四图像亮度叠加的处理中，取所述所有第四图像对应点的周边kX j的像素集合，对所述像素集合内的像素进行快速排序取灰度值为中间的预定个数(如三个)的灰度值进行叠加，其中，k、j为奇数。需要说明的是，如果叠加后的灰度值大于255，则取255作为第五图像对应像素的灰度值。通过本示例性实施例的第二图像合成单元930，可以有效的抑制夜景模式下，连拍叠加所造成的噪声放大的问题。
[0092]根据上述实施例的用于便携式终端的图像处理方法及图像处理装置，通过基于单张图像执行亮度提升处理的方案，实现了在不提高便携式终端的硬件配置并且在便携式终端的快门速度不够快的情况下，就能提高夜拍图像的成像质量的目标，既节约便携式终端的硬件成本又很好地提高了夜拍图像的成像质量。
[0093]此外，通过根据便携式终端的拍摄参数确定基于单张图像执行亮度提升处理还是基于多张图像执行亮度提升处理，实现了可根据便携式终端的不同配置，采取相应的图像处理方案，从而对夜拍图像的成像质量提升处理更加灵活，对任意配置的便携式终端都能够提供相应最优的图像处理方案来提高夜拍图像的成像质量。
[0094]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【权利要求】
1.一种用于便携式终端的图像处理方法，其特征在于，所述方法包括: 基于单张图像的亮度提升:捕捉第一图像，通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像，并且将所述第一图像与所述第二图像进行合成，生成第二图像。
2.根据权利要求1所述的方法，其特征在于，所述通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像的处理包括:根据预定的映射规则，将所述第一图像的每个像素的灰度值映射为所述第二图像中对应像素的灰度值。
3.根据权利要求2所述的方法，其特征在于，所述预定的映射规则包括: 对所述第一图像中灰度值小于所述灰度阈值的像素，将所述像素的灰度值按照预定的抛物线函数映射成为第二图像中对应像素的灰度值， 对所述第一图像中灰度值不小于所述灰度阈值的像素，将所述像素的灰度值不变地映射成为第二图像中对应像素的灰度值。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一图像与所述第二图像进行合成的处理包括: 将所述第一图像中每个像素的灰度值与所述第二图像中对应像素的灰度值按照各自的权值进行加权求和，得到所述第三图像的对应像素的灰度值。
5.根据权利要求4所述的方法，其特征在于，根据任一像素在第一图像和第二图像中的RGB分量值计算所述像素分别在第一图像和第二图像中的权值。
6.根据权利要求1?5中任一项所述的方法，其特征在于，所述方法还包括: 根据所述便携式终端的拍摄参数，执行所述基于单张图像的亮度提升或者执行基于多张图像的亮度提升。
7.根据权利要求6所述的方法，其特征在于，所述根据所述便携式终端的拍摄参数，执行所述基于单张图像的亮度提升或者执行基于多张图像的亮度提升包括: 获取所述便携式终端的视频分辨率以及帧率， 如果所述视频分辨率和所述帧率满足预定的配置标准，则执行所述基于多张图像的亮度提升， 如果所述分辨率和所述帧率不满足预定的配置标准，则执行所述基于单张图像的亮度提升。
8.根据权利要求6所述的方法，其特征在于，所述根据所述便携式终端的拍摄参数，执行所述基于单张图像的亮度提升或者执行基于多张的亮度提升包括: 获取所述便携式终端连拍预定张数图片的处理时间， 如果所述处理时间小于预定的时间阈值，则执行所述基于多张图像的亮度提升，如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率满足所述预定的配置标准，则执行所述基于多张图像的亮度提升， 如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率不满足所述预定的配置标准，则执行所述基于单张图像的亮度提升。
9.一种用于便携式终端的图像处理方法，其特征在于，所述方法包括: 基于多张图像的亮度提升:采集预定张/帧数的第四图像，将所述预定张/帧数的第四图像对齐，并且将对齐后的所述第四图像进行合成，生成第五图像。
10.根据权利要求9所述的方法，其特征在于，所述将所述预定张/帧数的第四图像对齐的处理包括:计算每张\帧第四图像相对第一张\帧第四图像的旋转平移矩阵，并且根据所述旋转平移矩阵，将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐。
11.根据权利要求10所述的方法，其特征在于，所述计算每张\帧第四图像相对第一张\帧第四图像的旋转平移矩阵包括: 根据获取所述便携式终端的陀螺仪数据或计算机视觉理论来计算所述旋转平移矩阵。
12.根据权利要求11所述的方法，其特征在于，所述将对齐后的所述第四图像进行合成，生成第五图像的处理包括: 在计算所述第五图像每个点的灰度值时，取所述预定张/帧数的第四图像对应点的周边kXj的像素集合，对所述像素集合内的像素进行快速排序取灰度值为中间的预定个数的灰度值进行叠加，其中，k和j为奇数。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括: 获取所述便携式终端的视频分辨率以及帧率， 如果所述视频分辨率和所述帧率满足预定的配置标准，则执行基于多张图像的亮度提升处理，其中，所述采集预定张/帧数的第四图像的处理包括:采集预定帧数的所拍摄视频的连续序列帧的第四图像。
14.根据权利要求12所述的方法，其特征在于，所述方法还包括: 获取所述便携式终端连拍预定张数图片的处理时间， 如果所述处理时间小于预定的时间阈值，则执行基于多张图像的亮度提升处理，其中，所述采集预定张/帧数的第四图像的处理包括:连拍采集预定张数的第四图像； 如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率满足所述预定的配置标准，则执行基于多张图像的亮度提升处理，所述采集预定张/帧数的第四图像的处理包括:采集预定帧数的所拍摄视频的连续序列帧的第四图像。
15.一种用于便携式终端的图像处理装置，其特征在于，所述装置包括: 单张图像亮度提升处理单元，用于基于单张图像执行亮度提升处理，其包括: 第一图像捕捉单元，用于捕捉第一图像， 亮度提升单元，用于通过对所述第一图像中灰度值低于灰度阈值的像素调整亮度生成第二图像， 第一图像合成单元，用于将所述第一图像与所述第二图像进行合成，生成第三图像。
16.根据权利要求15所述的图像处理装置，其特征在于，所述亮度提升单元用于根据预定的映射规则，将所述第一图像的每个像素的灰度值映射为所述第二图像中对应像素的灰度值，其中， 对所述第一图像中灰度值小于所述灰度阈值的像素，所述亮度提升单元将所述像素的灰度值按照预定的抛物线函数映射成为第二图像中对应像素的灰度值， 对所述第一图像中灰度值不小于所述灰度阈值的像素，所述亮度提升单元将所述像素的灰度值不变地映射成为第二图像中对应像素的灰度值。
17.根据权利要求16所述的图像处理装置，其特征在于，所述第一图像合成单元将所述第一图像中每个像素的灰度值与所述第二图像中对应像素的灰度值按照各自的权值进行加权求和，得到所述第三图像的对应像素的灰度值，其中，根据任一像素在第一图像和第二图像中的RGB分量值计算所述像素分别在第一图像和第二图像中的权值。
18.根据权利要求15?17中任一项所述的图像处理装置，其特征在于，所述装置还包括:多张图像亮度提升处理单元，用于基于多张图像执行亮度提升处理。
19.根据权利要求18所述的图像处理装置，其特征在于，所述装置还包括: 处理方案确定单元，用于根据所述便携式终端的拍摄参数，通过所述单张图像亮度提升处理单元基于单张图像执行亮度提升处理或者通过所述多张图像亮度提升处理单元基于多张图像执行亮度提升处理。
20.根据权利要求19所述的图像处理装置，其特征在于，所述处理方案确定单元用于获取所述便携式终端的视频分辨率以及帧率，并且如果所述视频分辨率和所述帧率不满足预定的配置标准，则所述处理方案确定单元用于通过所述单张图像亮度提升处理单元基于单张图像执行亮度提升处理， 如果所述视频分辨率和所述帧率满足预定的配置标准，则所述处理方案确定单元用于通过所述多张图像亮度提升处理单元基于多张图像执行亮度提升处理。
21.根据权利要求20所述的图像处理装置，其特征在于，所述处理方案确定单元用于获取所述便携式终端连拍预定张数图片的处理时间，并且 如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率不满足所述预定的配置标准，则所述处理方案确定单元通过所述单张图像亮度提升处理单元基于单张图像执行亮度提升处理。 如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率满足所述预定的配置标准，则所述处理方案确定单元通过所述多张图像亮度提升处理单元基于多张图像执行亮度提升处理， 如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率不满足所述预定的配置标准，则所述处理方案确定单元通过所述单张图像亮度提升处理单元基于单张图像执行亮度提升处理。
22.一种用于便携式终端的图像处理装置，其特征在于，所述装置包括: 多张图像亮度提升处理单元，用于基于多张图像执行亮度提升处理，其包括: 第二图像捕捉单元，用于采集预定张/帧数的第四图像， 图像对齐单元，用于将所述预定张/帧数的第四图像对齐， 第二图像合成单元，用于将对齐后的所述第四图像进行合成，生成第五图像。
23.根据权利要求22所述的图像处理装置，其特征在于，所述图像对齐单元用于计算每张\帧第四图像相对第一张\帧第四图像的旋转平移矩阵，根据所述旋转平移矩阵，将除第一张\帧第四图像之外的其它第四图像与第一张\帧第四图像对齐。
24.根据权利要求23所述的图像处理装置，其特征在于，所述图像对齐单元用于根据获取所述便携式终端的陀螺仪数据或计算机视觉理论来计算所述旋转平移矩阵。
25.根据权利要求24所述的图像处理装置，其特征在于，所述第二图像合成单元在将对齐后的所述第四图像进行合成的处理中，取所述所有第四图像对应点的周边kX j的像素集合，对所述像素集合内的像素进行快速排序取灰度值为中间的预定个数的灰度值进行叠加，其中，k和j为奇数。
26.根据权利要求25所述的图像处理装置，其特征在于，所述装置还包括处理方案确定单元，用于获取所述便携式终端的视频分辨率以及帧率， 如果所述视频分辨率和所述帧率满足预定的配置标准，则所述处理方案确定单元通过所述多张图像亮度提升处理单元基于多张图像执行亮度提升处理，其中，第二图像捕捉单元采集预定帧数的所拍摄视频的连续序列帧的第四图像。
27.根据权利要求26所述的图像处理装置，其特征在于，所述处理方案确定单元用于获取所述便携式终端连拍预定张数图片的处理时间， 如果所述处理时间小于预定的时间阈值，则所述处理方案确定单元通过多张图像亮度提升处理单元基于多张图像执行亮度提升处理，其中，第二图像捕捉单元连拍采集预定张数的第四图像， 如果所述处理时间大于或等于预定的时间阈值并且所述分辨率和所述帧率满足所述预定的配置标准，则所述处理方案确定单元通过所述多张图像亮度提升处理单元基于多张图像执行亮度提升处理，其中，第二图像捕捉单元采集预定帧数的所拍摄视频的连续序列帧的第四图像。
【文档编号】H04N5/262GK104320576SQ201410522560
【公开日】2015年1月28日 申请日期:2014年9月30日 优先权日:2014年9月30日
【发明者】程懿远, 赵铮 申请人:百度在线网络技术（北京）有限公司