星空图像处理方法及装置与流程

本发明实施例涉及图片处理技术领域，尤其涉及一种星空图像处理方法及装置。

背景技术：

随着电子设备的普及，已经有越来越多的人使用电子设备拍照来记录生活中的美好瞬间。因此，照片的显示效果逐渐成为电子设备最重要的功能考量。

但是，目前的电子设备拍摄得到的星空图像往往会黑成一片，且电子设备不会主动对拍摄的星空图像进行清晰化处理，最多通过添加滤镜等方式对星空图像进行调整，导致星空图像的成像效果差，用户无法清晰的识别出星空图像中的星星；或者需要用户通过专业设备进行图片处理，耗时长且需要用户具有较高的专业能力。

技术实现要素：

本发明实施例提供一种星空图像处理方法及装置，以解决星空图像成像效果差，且图像处理困难的问题。

第一方面，本发明实施例提供了一种星空图像处理方法，应用于电子设备，包括：

获取拍摄图像；拍摄图像为连续拍摄的多帧图像；

在拍摄图像内的参考图像为星空图像的情况下，获取参考图像的拍摄时间和定位地点对应的星图；

确定星图上与参考图像对应的星图区域；

依据星图区域内星星的灰度值对拍摄图像内星星的灰度进行调整。

第二方面，本发明实施例还提供了一种星空图像处理装置，应用于电子设备，包括：

图像获取模块，用于获取拍摄图像；拍摄图像为连续拍摄的多帧图像；

星图获取模块，用于在拍摄图像内的参考图像为星空图像的情况下，获取参考图像的拍摄时间和定位地点对应的星图；

区域确定模块，用于确定星图上与参考图像对应的星图区域；

星星调整模块，用于依据星图区域内星星的灰度值对拍摄图像内星星的灰度进行调整。

第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如第一方面的星空图像处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第一方面的星空图像处理方法的步骤。

在本发明实施例中，在参考图像为星空图像的情况下，即获取的拍摄图像为星空图像，此时能够通过获取当前对应的星图来调整拍摄图像内星星对应的像素点的灰度，从而提高所拍摄的星空图像的成像效果，使星星部分能够被用户清晰的识别到。这种方法使得用户拍摄的任意星空图像均能够达到较好的效果。并且，本发明实施例不需要通过专业设备进行图片处理，缩短了星空图像的处理时间，对用户的专业能力要求低，用户只需要进行星空图像的拍摄，电子设备即可自动完成星空图像的处理，因而提高了用户的便利性。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明其中，相同或相似的附图标记表示相同或相似的特征。

图1为本发明实施例提供的一种星空图像处理方法的流程示意图；

图2为本发明实施例提供的另一种星空图像处理方法的流程示意图；

图3为本发明实施例提供的再一种星空图像处理方法的流程示意图；

图4为本发明实施例提供的又一种星空图像处理方法的流程示意图；

图5为本发明实施例提供的一种星空图像处理装置的结构示意图；

图6为本发明实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前在用户使用电子设备，如手机、相机等，由于电子设备拍摄的图像的效果受到了成像设备本身的体积和成本限制，难以拍出专业相机的效果，星空图像的拍摄效果差。具体的，目前的电子设备在拍摄星空图像时，如果想要得到显示效果较好的星空图像需要在空旷的场地而无法在城市内进行拍摄，并且还需要用三脚架固定电子设备，长时间曝光以及长时间处理，才能得到较为清晰的星空图像，而在电子设备拍照效果较差或者并未满足上述拍照条件的情况下，拍摄的星空图像就会黑成一片，用户无法清晰的识别出星空图像中的星星。

同时，由于目前的电子设备，无法自动对拍摄的星空图像进行清晰化处理，最多通过添加滤镜等方式对星空图像进行调整，导致星空图像的最终显示的成像效果差。如果用户想要得到显示效果较好的星空图像，则需要通过专业的设备进行图片处理，处理过程复杂且耗时长，需要用户具有较高的专业能力。

因此，为了解决上述技术问题，本发明实施例提供了一种星空图像处理方法、装置、电子设备及介质。其中，图1示出了本发明实施例提供的一种星空图像处理方法的流程示意图。该方法应用于电子设备，包括：

s101、获取拍摄图像；拍摄图像为连续拍摄的多帧图像；

在拍摄图像为多帧图像时，需要保证这多帧图像均是对同一片星空在同一时间段拍摄的，因为如果不是同一片星空，则这些图像无法进行整体的调整，并且，由于星空中的星星位置会随着时间进行变化，因此若不是同一时间段拍摄的，则这些图像也无法进行整体调整。故为了保证以上两点，多帧图像需要是连续拍摄的图像。当然，在拍摄图像仅包括单帧图像的情况则不需要进行上述限定。

s102、在拍摄图像内的参考图像为星空图像的情况下，获取参考图像的拍摄时间和定位地点对应的星图；

由于不同时间和地点的星图是不一样的，因此为了能够准确的对拍摄图像内的星星进行调整，需要根据拍摄图像内的参考图像的拍摄时间和定位地点来获取星图。其中，星图是通过网络进行下载的。

此外，由于在获取星图的过程中，需要确定一个准确的拍摄时间和定位地点，而在拍摄图像包括多帧连续拍摄的图像时，这些连续图像的拍摄时间和定位地点可能会有微小的差别，因此需要在拍摄图像内选择参考图像作为基准。其中，这里的拍摄时间根据电子设备内的时钟进行确认，定位地点基于全球定位系统(globalpositioningsystem，gps)等定位程序进行确认。

s103、确定星图上与参考图像对应的星图区域；

由于星图上包含的区域很大，因此需要将与参考图像对应的星图区域识别出来。

s104、依据星图区域内星星的灰度值对拍摄图像内星星的灰度进行调整。

在本发明实施例中，在在参考图像为星空图像的情况下，即获取的拍摄图像为星空图像的情况下，能够通过获取当前对应的星图来调整拍摄图像内星星对应的像素点的灰度，从而提高所拍摄的星空图像的成像效果，使星星部分能够被用户清晰的识别到。这种方法使得用户拍摄的任意星空图像均能够达到较好的效果。并且，本发明实施例不需要通过专业设备进行图片处理，缩短了星空图像的处理时间，对用户的专业能力要求低，用户只需要进行星空图像的拍摄，电子设备即可自动完成星空图像的处理，因而提高了用户的便利性。

在本发明一种实施例中，s101之后，该方法还可以包括：

统计参考图像的灰度直方图；

依据灰度直方图判断参考图像是否为夜间场景图像；

在参考图像为夜间场景图像的情况下，通过预先训练的第一神经网络模型对参考图像进行检测，确定参考图像是否为星空图像。

由于灰度直方图能够反映图像的亮暗程度，因此基于灰度直方图即能够进行夜间场景和白天场景的区分，这种识别方式简单直观，计算量较小。而根据神经网络模型来进行星空图像的识别，能够尽可能保证识别的准确性。

进一步的，在本发明另一实施例中，上述依据灰度直方图判断参考图像是否为夜间场景图像，可以包括：

依据灰度直方图计算参考图像的平均灰度；

若平均灰度小于预设灰度阈值，且参考图像中灰度值小于预设灰度阈值的像素点个数占总像素数的比例高于预设比例阈值，则确定参考图像为夜间场景图像。

其中，灰度直方图是将数字图像中的所有像素按照灰度值的大小统计其出现的频率的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。因此，通过灰度直方图统计的结果进行求平均计算，即可得到平均灰度。

在本实施例中，参考图像的平均灰度能够反映参考图像整体的亮暗程度，但是为了避免参考图像中有部分灰度值特别低的像素点拉低了整体的平均灰度的情况，本实施例限定了灰度值小于预设灰度阈值的像素点个数所占的比例要高于预设比例阈值，即灰度值低于预设灰度阈值的像素点的个数要达到一定程度，才能够认为参考图像为夜间场景图像，例如，预设比例阈值为1/2，而参考图像中灰度值小于预设灰度阈值的像素点个数占总像素数的比例为2/3，这种情况下，能够保证平均灰度低是由于大部分像素点的灰度值较低导致的，符合夜间场景的特点，从而提高了夜间场景识别的准确性。

在本发明的一些实施例中，在参考图像为星空图像的情况下，s103之前，还可以包括：

依据预先训练的第二神经网络模型提取参考图像的第一星空区域；

步骤s103具体可以包括：确定星图上与第一星空区域对应的区域作为星图区域。

星图(staratlas)，是恒星观测的一种形象记录，它是天文学上用来认星和指示位置的一种重要工具。现在星图是把夜空中持久的特征精确描述或绘制，例如恒星、恒星组成的星座、银河系、星云、星团和其它河外星系的绘图集，即星图包含的星空区域的范围非常大，而电子设备拍摄的图像内仅能够包含很小的一部分星空区域，而不同的星空区域上的星星的分布显然是不同的，因此需要确定星图上与第一星空区域对应的区域，来进行后续的处理。

并且，拍摄图像内除了星空区域之外，还可以能会包含其他的内容，例如人物、建筑物等，这部分如果不与星空区域进行分割的话，在后续依据星图进行灰度调整的过程中，可能存在将这部分中的某些部分误作为星星进行灰度调整，从而导致最终得到的星空图像中除了星星之外的部分发生失真的情况。而该实施例中通过图像分割，将参考图像中的星空区域提取出来，后续仅依据星图对该部分星空区域进行调整，使得在保证星空区域的显示效果的情况下，还能保证拍摄图像内其他部分的显示效果。

其中，上述几个实施例中的第一神经网络模型和第二神经网络模型的训练过程均可以为：收集预先拍摄的包含星空的照片素材作为训练样本，之后利用前述训练样本通过google开源深度学习系统tensorflow或其他深度神经网络系统训练神经网络模型，使这些神经网络模型学习对星空图像的识别和/或星空区域的分割。这一训练过程可以预先离线完成。

基于上述实施例，在本发明的一些实施例中，上述依据预先训练的第二神经网络模型提取所述参考图像的第一星空区域之后，确定所述星图上与所述第一星空区域对应的区域作为所述星图区域之前，还可以包括：将星图与第一星空区域进行对齐。

其中，将星图与第一星空区域进行对齐的方法可以为：

对星图的特征点和第一星空区域的特征点进行定位匹配；

依据匹配结果计算得到第一单应矩阵；

通过第一单应矩阵将星图与第一星空区域对齐。

在本实施例中，通过第一单应矩阵对星图和第一星空区域进行了对齐。单应矩阵能够对图像进行对齐，其中依据单应矩阵进行对齐的过程中，会对星图和第一星空区域进行仿射变换(warp变换)，仿射变换是一种二维坐标到二维坐标之间的线性变换，仿射变换包括:平移、缩放、翻转、旋转和错切等。通过将星图与第一星空区域进行对齐后，才能够在星图上准确确定与拍摄图像内的星空区域相同的区域，从而保证后续依据星图调整拍摄图像的准确性。

其中，本发明中的拍摄图像包括单帧和多帧两种情况，其中，多帧可以选择5～10帧图像，既能利用多帧信息，又不会造成较大的延时等待，当然，本发明不限定多帧的具体帧数。此外，在拍摄图像包括多帧图像的情况下，可以选择清晰度最高、平均亮度最大的一帧图像作为参考图像。在拍摄图像包括多帧图像的情况下，本发明提供了以下的一些实施例：

在本发明的一种实施例中，如图2所示，图2为本发明实施例提供的另一种星空图像处理方法的流程示意图。上述s104可以包括：

s104a、计算星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度；

星星对应的像素点，指的是每颗星星的区域范围内包含的像素点，由于在拍摄图像内，一个星星会占据至少一个像素点的范围，这些像素点的平均灰度则作为该颗星星对应的第一平均灰度。

s104b、计算拍摄图像内除参考图像外的图像的平均图像；

由于拍摄图像内除参考图像外，还可能包含多张图像，而本实施例的最终目的是输出一张处理后的星空图像，因此需要将这多张图像进行多帧叠加求平均，求平均的方式为将这多张图像内对应的像素点的灰度值求和，并除以图像的张数，得到的平均灰度值组成的图像，即为平均图像。并且，通过对多帧图像求平均，能够减少部分图像内的误差导致的噪声。其中，求平均的关系式可以为：

其中，multi_result_image(x,y)为(x，y)像素点的平均灰度，imagei(x,y)为第i张图像内(x，y)像素点的灰度值，n为拍摄图像内除参考图像外的图像的张数。

s104c、计算平均图像内的星星对应的像素点的平均灰度，得到第二平均灰度；

s104d、依据第一平均灰度对平均图像内同一颗星星对应的第二平均灰度进行调整。

即依据星图区域内每颗星星对应的第一平均灰度对平均图像内的同一颗星星对应的第二平均灰度进行调整，调整的目的主要是增强平均图像内星星的亮度，使平均图像内灰暗的或者看不见的星星进行亮度增强，使平均图像内的星星更加闪亮，能够清晰的被人眼识别，从而提高处理后得到的星空图像的显示效果。

需要注意的是，在上述实施例中，s104a和s104b～s104c之间的顺序本发明不作限定，两者可以并列进行，可以依次顺序进行，并且首先执行s104a或者首先执行s104b～s104c均属于本发明的保护范围内。

基于上述实施例，在本发明另一实施例中，s104a可以包括：

将星图区域进行二值化分割，得到第一背景区域和第一前景区域；

获取第一前景区域的第一掩模图；

定位第一掩模图中的第一连通域；

分别计算各个第一连通域内的像素点的平均灰度，作为第一平均灰度。

图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。而二值化分割是基于灰度值将灰度图像或彩色图像进行二分处理，分布前景部分和背景部分。

在本实施例中，由于本发明的主要目的是对星星的灰度进行调整，因此，为了清楚的计算星星的平均灰度，需要将包含星星的前景区域和不包含星星的背景区域进行分割，从而提高灰度计算的准确性。图像掩模，是用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程，因此，本实施例为了对星星的区域进行处理，需要通过掩模来遮挡星星的区域。由于星星的形状为封闭的连通域，因此，通过定位第一掩模图中的第一连通域，即可确定各个星星的位置和区域范围，从而方便计算每个星星内的像素点的平均灰度。

基于上述实施例，在本发明另一实施例中，在s104b之前，还可以包括：将拍摄图像内除参考图像之外的图像与参考图像对齐；

其中，上述将拍摄图像内除参考图像之外的图像与参考图像对齐的方法可以为：

对参考图像的特征点和拍摄图像内除参考图像之外的图像的特征点进行定位匹配；

依据匹配结果计算得到第二单应矩阵；

通过第二单应矩阵将拍摄图像内除参考图像之外的图像与参考图像对齐。

在本实施例中，通过单应矩阵将参考图像和拍摄图像内除参考图像之外的图像进行对齐，由于在计算平均图像的过程中，若计算平均图像的多帧图像之间并未对齐，则会导致最终计算得到的平均图像存在噪声，不够准确，进而影响最后的星空图像的处理效果，因此为了避免上述问题，本实施例将待计算平均图像的多帧图像均与参考图像对齐，从而尽可能降低了平均图像内的噪声，提高星空图像处理的准确性。

基于上述实施例，在本发明另一实施例中，s104c之前，还可以包括：

依据预先训练的第二神经网络模型提取平均图像的第二星空区域；

s104c可以包括：计算第二星空区域内的星星对应的像素点的平均灰度，得到第二平均灰度。

由于平均图像内可能会包含非星空部分，例如人物、建筑物等，因此为了避免这部分也被错误识别为星空的一部分而进行调整，需要将平均图像内的星空区域进行提取，使后续仅需要对第二星空区域内的灰度进行调整，避免了星空区域的调整过程中对平均图像内的其他区域进行误调整的情况，提高了星空区域调整的可靠性。

在另一实施例中，s104c可以包括：

将第二星空区域进行二值化分割，得到第二背景区域和第二前景区域；

获取第二前景区域的第二掩模图；

定位第二掩模图中的第二连通域；

分别计算各个第二连通域内的像素点的平均灰度，作为第二平均灰度。

基于与上述计算第一平均灰度的实施例相似的原理，为了准确计算第二星空区域内星星的平均灰度，需要对第二星空区域进行二值化分割以及图像掩模处理。

在本发明的另一实施例中，上述s104d可以包括：

计算同一颗星星对应的第一平均灰度和第二平均灰度的比值；

将第二星空区域内的星星对应的像素点的灰度值与星星对应的比值相乘，得到目标灰度；

依据目标灰度调整第二星空区域。

在本实施例中，上述计算目标灰度的关系式为：

multi_result_image(x,y)′＝multi_result_image(x,y)*luma_ratioi

(x,y)∈star_regioni

其中，luma_ratioi为上述比值，lumai为第一星空区域上第i颗星星的平均灰度，luma_curi为第二星空区域上第i颗星星的平均灰度。multi_result_image(x,y)′为(x,y)像素点的目标灰度，multi_result_image(x,y)为第二星空区域内(x,y)像素点的灰度，star_regioni为第二星空区域。

在本实施例中，第一平均灰度和第二平均灰度的比值，能够反映星图与平均图像内星星灰度的差异，也可以理解为亮度的差异，因此通过令平均图像内星空区域中的像素点的灰度与该比值进行相乘，即能够使相乘后的结果与星图中的第一平均灰度近似相同，从而达到增强拍摄图像内星星亮度的目的。

进一步的，在本发明的另一些实施例中，为了进一步突出星星的清晰程度，还可以对平均图像内除了星星之外的背景区域进行亮度增强，该方法还可以包括：对前述第二背景区域进行背景提亮处理。

由于提高星星的清晰程度，主要就是使星星的部分与背景的部分能够清晰的区分，本实施例通过对背景区域进行了背景提亮处理，增加了背景区域的饱和度，使背景区域内的颜色更加饱满，从而更容易与星星进行区分，并且星空图像也更为美观，呈现给用户的效果更好。

具体的，在本发明实施例中，上述对前述第二背景区域进行背景提亮处理的方法可以包括：按照预设伽马值对第二背景区域进行伽马变换，预设伽马值小于第二背景区域对应的初始伽马值。

伽马变换是用于在图像处理中，将过亮(相机过曝)的图片或者过暗(曝光不足)的图片，进行修正。其中，伽马变换过程中，伽马值适用于进行伽马校矫正的值，当伽马值大于1时，图像的高光部分被压缩而暗调部分被扩展，即会被调暗，而当伽马值小于1时，图像的高光部分被扩展而暗调部分被压缩，即会被调亮，通常未进行伽马变换时图像的伽马值为2.5。由于本实施例的目的是为了进行背景提亮，因此伽马值应该小于正常情况下的初始伽马值。本实施例通过伽马变换对第二背景区域的亮暗程度进行调整，从而进一步提高最终输出的星空图像的显示效果。

基于前述实施例，在本发明的一种优选实施例中，如图3所示，图3为本发明实施例提供的再一种星空图像处理方法的流程示意图；在拍摄图像包括多帧图像的情况下，该方法可以包括以下步骤：

201、获取拍摄图像，将平均亮度最大的一帧图像作为参考图像；

202、统计参考图像的灰度直方图；

203、依据灰度直方图判断参考图像是否为夜间场景图像；

204、在参考图像为夜间场景图像的情况下，通过预先训练的第一神经网络模型对参考图像进行检测，确定参考图像是否为星空图像；

205、在参考图像为星空图像的情况下，依据预先训练的第二神经网络模型提取参考图像的第一星空区域；

206、将星图与第一星空区域进行对齐，确定星图上与第一星空区域对应的区域作为星图区域；

207、计算星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度；

208、将拍摄图像内除参考图像之外的图像与参考图像对齐；

209、计算拍摄图像内除参考图像外的图像的平均图像；

210、依据预先训练的第二神经网络模型提取平均图像的第二星空区域；

211、计算第二星空区域内的星星对应的像素点的平均灰度，得到第二平均灰度；

212、依据第一平均灰度对平均图像内同一颗星星对应的第二平均灰度进行调整；

213、对平均图像内的第二背景区域进行背景提亮处理。

本实施例通过神经网络模型识别拍摄图像是否属于星空场景，之后获取与拍摄图像的时间地点相同的星图，并根据星图来调整拍摄图像的星星灰度(也就是亮度)，并通过伽马变换增强了拍摄图像内背景区域的亮度，从而使得处理后的拍摄图像的清晰度提高，能够具有较好的星空显示效果。并且，本实施例通过将星图与拍摄图像均与参考图像对齐，并将拍摄图像内的星空区域进行图像分割，仅对星空区域进行处理，从而提高了对星空区域处理时的准确性，尽可能保证了对拍摄图像内的星空区域的处理效果。

在拍摄图像包括单帧图像的情况下，参考图像即为该拍摄图像；本发明提供了以下的一些实施例：

在本发明的一种实施例中，上述s104可以包括：

计算所述星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度；

计算所述第一星空区域内的星星对应的像素点的平均灰度，得到第三平均灰度；

依据所述第一平均灰度对所述参考图像内同一颗星星对应的所述第三平均灰度进行调整。

本实施例通过分别计算每颗星星的平均灰度，来增强拍摄图像内星星的亮度，使拍摄图像内灰暗的或者看不见的星星进行亮度增强，使拍摄图像内的星星更加闪亮，能够清晰的被人眼识别，从而提高处理后得到的星空图像的显示效果。

需要注意的是，在上述实施例中，计算第一平均灰度和计算第三平均灰度这两步操作之间的顺序本发明不作限定，两者也可以并列执行。

其中，上述计算所述星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度的操作，可以与前述实施例给出了计算第一平均灰度的方法相同，在此不再进行赘述。

在另一实施例中，上述计算所述第一星空区域内的星星对应的像素点的平均灰度，得到第三平均灰度可以包括：

将第一星空区域进行二值化分割，得到第三背景区域和第三前景区域；

获取第三前景区域的第三掩模图；

定位第三掩模图中的第三连通域；

分别计算各个第三连通域内的像素点的平均灰度，作为第三平均灰度。

基于与上述计算第一平均灰度和第二平均灰度的实施例相似的原理，为了准确计算第一星空区域内星星的平均灰度，需要对第一星空区域进行二值化分割以及图像掩模处理。

在本发明的另一实施例中，上述依据所述第一平均灰度对所述参考图像内同一颗星星对应的所述第三平均灰度进行调整的方法可以包括：

计算同一颗星星对应的第一平均灰度和第三平均灰度的比值；

将第一星空区域内的星星对应的像素点的灰度值与星星对应的比值相乘，得到目标灰度；

依据目标灰度调整第一星空区域。

在本实施例中，第一平均灰度和第三平均灰度的比值，能够反映星图与拍摄图像内星星灰度的差异，也可以理解为亮度的差异，因此通过令拍摄图像内星空区域中的像素点的灰度与该比值进行相乘，即能够使相乘后的结果与星图中的第一平均灰度近似相同，从而达到增强拍摄图像内星星亮度的目的。

进一步的，在本发明的另一些实施例中，为了进一步突出星星的清晰程度，还可以对拍摄图像内除了星星之外的背景区域进行亮度增强，该方法还可以包括：对前述第三背景区域进行背景提亮处理。

由于提高星星的清晰程度，主要就是使星星的部分与背景的部分能够清晰的区分，本实施例通过对背景区域进行了背景提亮处理，增加了背景区域的饱和度，使背景区域内的颜色更加饱满，从而更容易与星星进行区分，并且星空图像也更为美观，呈现给用户的效果更好。

具体的，在本发明实施例中，上述对前述第三背景区域进行背景提亮处理的方法可以包括：按照预设伽马值对第三背景区域进行伽马变换，预设伽马值小于第三背景区域对应的初始伽马值。本实施例通过伽马变换对第三背景区域的亮暗程度进行调整，从而进一步提高最终输出的星空图像的显示效果。

基于前述实施例，在本发明的一种优选实施例中，如图4所示，图4为本发明实施例提供的又一种星空图像处理方法的流程示意图。在拍摄图像包括多帧图像的情况下，该方法可以包括以下步骤：

301、获取拍摄图像，将拍摄图像作为参考图像；

302、统计参考图像的灰度直方图；

303、依据灰度直方图判断参考图像是否为夜间场景图像；

304、在参考图像为夜间场景图像的情况下，通过预先训练的第一神经网络模型对参考图像进行检测，确定参考图像是否为星空图像；

305、在参考图像为星空图像的情况下，依据预先训练的第二神经网络模型提取参考图像的第一星空区域；

306、将星图与第一星空区域进行对齐，确定星图上与第一星空区域对应的区域作为星图区域；

307、计算星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度；

308、计算第一星空区域内的星星对应的像素点的平均灰度，得到第三平均灰度；

309、依据第一平均灰度对参考图像内同一颗星星对应的第三平均灰度进行调整；

310、对参考图像内的第三背景区域进行背景提亮处理。

本实施例通过神经网络模型识别拍摄图像是否属于星空场景，之后获取与拍摄图像的时间地点相同的星图，并根据星图来调整拍摄图像的星星灰度(也就是亮度)，并通过伽马变换增强了拍摄图像内背景区域的亮度，从而使得处理后的拍摄图像的清晰度提高，能够具有较好的星空显示效果。并且，本实施例通过将星图与拍摄图像对齐，并将拍摄图像内的星空区域进行图像分割，仅对星空区域进行处理，从而提高了对星空区域处理时的准确性，尽可能保证了对拍摄图像内的星空区域的处理效果。

基于上述方法实施例，为了解决上述技术问题，本发明还提供了一种星空图像处理装置的实施例，图5示出了本发明实施例提供的一种星空图像处理装置的结构示意图。该装置应用于电子设备，包括：

图像获取模块401，用于获取拍摄图像；拍摄图像为连续拍摄的多帧图像；

星图获取模块402，用于在拍摄图像内的参考图像为星空图像的情况下，获取参考图像的拍摄时间和定位地点对应的星图；

区域确定模块403，用于确定星图上与参考图像对应的星图区域；

星星调整模块404，用于依据星图区域内星星的灰度值对拍摄图像内星星的灰度进行调整。

其中，这里的拍摄时间根据电子设备内的时钟进行确认，定位地点基于gps等定位程序进行确认。

在本发明实施例中，在参考图像为星空图像的情况下，即获取的拍摄图像为星空图像的情况下，能够通过获取当前对应的星图来调整拍摄图像内星星对应的像素点的灰度，从而提高所拍摄的星空图像的成像效果，使星星部分能够被用户清晰的识别到。这种方法使得用户拍摄的任意星空图像均能够达到较好的效果。并且，本发明实施例不需要通过专业设备进行图片处理，缩短了星空图像的处理时间，对用户的专业能力要求低，用户只需要进行星空图像的拍摄，电子设备即可自动完成星空图像的处理，因而提高了用户的便利性。

在本发明一种实施例中，该装置还包括：

夜间场景判断模块，用于统计参考图像的灰度直方图；依据灰度直方图判断参考图像是否为夜间场景图像；

星空场景判断模块，用于在参考图像为夜间场景图像的情况下，通过预先训练的第一神经网络模型对参考图像进行检测，确定参考图像是否为星空图像。

由于灰度直方图能够反映图像的亮暗程度，因此基于灰度直方图即能够进行夜间场景和白天场景的区分，这种识别方式简单直观，计算量较小。而根据神经网络模型来进行星空图像的识别，能够尽可能保证识别的准确性。

进一步的，在本发明另一实施例中，夜间场景判断模块具体用于：统计参考图像的灰度直方图；依据灰度直方图计算参考图像的平均灰度；若平均灰度小于预设灰度阈值，且参考图像中灰度值小于预设灰度阈值的像素点个数占总像素数的比例高于预设比例阈值，则确定参考图像为夜间场景图像。

在本实施例中，参考图像的平均灰度能够反映参考图像整体的亮暗程度，但是为了避免参考图像中有部分灰度值特别低的像素点拉低了整体的平均灰度的情况，本实施例限定了灰度值小于预设灰度阈值的像素点个数所占的比例要高于预设比例阈值，即灰度值低于预设灰度阈值的像素点的个数要达到一定程度，才能够认为参考图像为夜间场景图像，这种情况下，能够保证平均灰度低是由于大部分像素点的灰度值较低导致的，符合夜间场景的特点，从而提高了夜间场景识别的准确性。

在本发明的一些实施例中，在参考图像为星空图像的情况下，该装置还可以包括：第一图像分割模块，用于依据预先训练的第二神经网络模型提取参考图像的第一星空区域；

相应的，区域确定模块403具体可以用于：确定星图上与第一星空区域对应的区域作为星图区域。

在该实施例中，对参考图像进行了图像分割，从而得到了参考图像内的星空区域。该实施例通过图像分割，将参考图像中的星空区域提取出来，后续仅依据星图对该部分星空区域进行调整，使得在保证星空区域的显示效果的情况下，还能保证拍摄图像内其他部分的显示效果。

其中，该装置还可以包括：模型训练模块，用于收集预先拍摄的包含星空的照片素材作为训练样本，利用前述训练样本通过tensorflow或其他深度神经网络系统训练深度神经网络模型，使这些神经网络模型学习对星空图像的识别和/或星空区域的分割。这一训练过程可以预先离线完成。

基于上述实施例，在本发明的一些实施例中，该装置还可以包括：

对齐模块，用于将星图与第一星空区域进行对齐；对齐后，再触发区域确定模块403。其中，对齐模块具体可以用于：对星图的特征点和第一星空区域的特征点进行定位匹配；依据匹配结果计算得到第一单应矩阵；通过第一单应矩阵将星图与第一星空区域对齐。

在本实施例中，通过将星图与第一星空区域进行对齐后，才能够在星图上准确确定与拍摄图像内的星空区域相同的区域，从而保证后续依据星图调整拍摄图像的准确性。

其中，本发明中的拍摄图像包括单帧和多帧两种情况，其中，多帧可以选择5～10帧图像，既能利用多帧信息，又不会造成较大的延时等待，当然，本发明不限定多帧的具体帧数。此外，在拍摄图像包括多帧图像的情况下，可以选择清晰度最高、平均亮度最大的一帧图像作为参考图像。在拍摄图像包括多帧图像的情况下，本发明提供了以下的一些实施例：

在本发明的一种实施例中，上述星星调整模块404具体可以包括：

第一灰度计算单元，用于计算星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度；

平均图像计算单元，用于计算拍摄图像内除参考图像外的图像的平均图像；

第二灰度计算单元，用于计算平均图像内的星星对应的像素点的平均灰度，得到第二平均灰度；

第一灰度调整单元，用于依据第一平均灰度对平均图像内同一颗星星对应的第二平均灰度进行调整。

即依据星图区域内每颗星星对应的第一平均灰度对平均图像内的同一颗星星对应的第二平均灰度进行调整，调整的目的主要是增强平均图像内星星的亮度，使平均图像内灰暗的或者看不见的星星进行亮度增强，使平均图像内的星星更加闪亮，能够清晰的被人眼识别，从而提高处理后得到的星空图像的显示效果。

基于上述实施例，在本发明另一实施例中，第一灰度计算单元可以用于：将星图区域进行二值化分割，得到第一背景区域和第一前景区域；获取第一前景区域的第一掩模图；定位第一掩模图中的第一连通域；分别计算各个第一连通域内的像素点的平均灰度，作为第一平均灰度。

在本实施例中，由于本发明的主要目的是对星星的灰度进行调整，因此，为了清楚的计算星星的平均灰度，需要将包含星星的前景区域和不包含星星的背景区域进行分割，从而提高灰度计算的准确性。图像掩模，是用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程，因此，本实施例为了对星星的区域进行处理，需要通过掩模来遮挡星星的区域。由于星星的形状为封闭的连通域，因此，通过定位第一掩模图中的第一连通域，即可确定各个星星的位置和区域范围，从而方便计算每个星星内的像素点的平均灰度。

基于上述实施例，在本发明另一实施例中，星星调整模块404还可以包括：

对齐单元，用于将拍摄图像内除参考图像之外的图像与参考图像对齐；

其中，上述对齐单元，具体用于对参考图像的特征点和拍摄图像内除参考图像之外的图像的特征点进行定位匹配；依据匹配结果计算得到第二单应矩阵；通过第二单应矩阵将拍摄图像内除参考图像之外的图像与参考图像对齐。

在本实施例中，通过单应矩阵将参考图像和拍摄图像内除参考图像之外的图像进行对齐，由于在计算平均图像的过程中，若计算平均图像的多帧图像之间并未对齐，则会导致最终计算得到的平均图像存在噪声，不够准确，进而影响最后的星空图像的处理效果，因为为了避免上述问题，本实施例将待计算平均图像的多帧图像均与参考图像对齐，从而尽可能降低了平均图像内的噪声，提高星空图像处理的准确性。

基于上述实施例，在本发明另一实施例中，星星调整模块404还可以包括：

第二图像分割单元，用于依据预先训练的第二神经网络模型提取平均图像的第二星空区域；第二灰度计算单元可以用于：计算第二星空区域内的星星对应的像素点的平均灰度，得到第二平均灰度。

由于平均图像内可能会包含非星空部分，例如人物、建筑物等，因此为了避免这部分也被错误识别为星空的一部分而进行调整，需要将平均图像内的星空区域进行提取，使后续仅需要对第二星空区域内的灰度进行调整，避免了星空区域的调整过程中对平均图像内的其他区域进行误调整的情况，提高了星空区域调整的可靠性。

在另一实施例中，第二灰度计算单元具体可以用于：将第二星空区域进行二值化分割，得到第二背景区域和第二前景区域；获取第二前景区域的第二掩模图；定位第二掩模图中的第二连通域；分别计算各个第二连通域内的像素点的平均灰度，作为第二平均灰度。

基于与上述计算第一平均灰度的实施例相似的原理，为了准确计算第二星空区域内星星的平均灰度，需要对第二星空区域进行二值化分割以及图像掩模处理。

在本发明的另一实施例中，第一灰度调整单元可以用于：计算同一颗星星对应的第一平均灰度和第二平均灰度的比值；将第二星空区域内的星星对应的像素点的灰度值与星星对应的比值相乘，得到目标灰度；依据目标灰度调整第二星空区域。

在本实施例中，第一平均灰度和第二平均灰度的比值，能够反映星图与平均图像内星星灰度的差异，也可以理解为亮度的差异，因此通过令平均图像内星空区域中的像素点的灰度与该比值进行相乘，即能够使相乘后的结果与星图中的第一平均灰度近似相同，从而达到增强拍摄图像内星星亮度的目的。

进一步的，在本发明的另一些实施例中，为了进一步突出星星的清晰程度，还可以对平均图像内除了星星之外的背景区域进行亮度增强，该装置还可以包括：第一背景增强模块，用于对前述第二背景区域进行背景提亮处理。

由于提高星星的清晰程度，主要就是使星星的部分与背景的部分能够清晰的区分，本实施例通过对背景区域进行了背景提亮处理，增加了背景区域的饱和度，使背景区域内的颜色更加饱满，从而更容易与星星进行区分，并且星空图像也更为美观，呈现给用户的效果更好。

具体的，在本发明实施例中，上述第一背景增强模块可以用于：按照预设伽马值对第二背景区域进行伽马变换，预设伽马值小于第二背景区域对应的初始伽马值。

由于本实施例的目的是为了进行背景提亮，因此伽马值应该小于正常情况下的初始伽马值。本实施例通过伽马变换对第二背景区域的亮暗程度进行调整，从而进一步提高最终输出的星空图像的显示效果。

在拍摄图像包括单帧图像的情况下，参考图像即为该拍摄图像；本发明提供了以下的一些实施例：

在本发明的一种实施例中，上述星星调整模块404还可以包括：

第一灰度计算单元，用于计算星图区域内的星星对应的像素点的平均灰度，得到第一平均灰度；

第三灰度计算单元，用于计算第一星空区域内的星星对应的像素点的平均灰度，得到第三平均灰度；

第二灰度调整单元，用于依据第一平均灰度对参考图像内同一颗星星对应的第三平均灰度进行调整。

本实施例通过分别计算每颗星星的平均灰度，来增强拍摄图像内星星的亮度，使拍摄图像内灰暗的或者看不见的星星进行亮度增强，使拍摄图像内的星星更加闪亮，能够清晰的被人眼识别，从而提高处理后得到的星空图像的显示效果。

其中，第一灰度计算单元与前述实施例中的第一灰度计算单元相同，在此不再赘述。

基于上述实施例，在本发明另一实施例中，第三灰度计算单元可以用于：将第一星空区域进行二值化分割，得到第三背景区域和第三前景区域；获取第三前景区域的第三掩模图；定位第三掩模图中的第三连通域；分别计算各个第三连通域内的像素点的平均灰度，作为第三平均灰度。

基于与上述计算第一平均灰度和第二平均灰度的实施例相似的原理，为了准确计算第一星空区域内星星的平均灰度，需要对第一星空区域进行二值化分割以及图像掩模处理。

在本发明的另一实施例中，第二灰度调整单元可以用于：计算同一颗星星对应的第一平均灰度和第三平均灰度的比值；将第一星空区域内的星星对应的像素点的灰度值与星星对应的比值相乘，得到目标灰度；依据目标灰度调整第一星空区域。

在本实施例中，第一平均灰度和第三平均灰度的比值，能够反映星图与拍摄图像内星星灰度的差异，也可以理解为亮度的差异，因此通过令拍摄图像内星空区域中的像素点的灰度与该比值进行相乘，即能够使相乘后的结果与星图中的第一平均灰度近似相同，从而达到增强拍摄图像内星星亮度的目的。

进一步的，在本发明的另一些实施例中，为了进一步突出星星的清晰程度，还可以对拍摄图像内除了星星之外的背景区域进行亮度增强，该方法还可以包括：第二背景增强模块，用于对前述第三背景区域进行背景提亮处理。

由于提高星星的清晰程度，主要就是使星星的部分与背景的部分能够清晰的区分，本实施例通过对背景区域进行了背景提亮处理，增加了背景区域的饱和度，使背景区域内的颜色更加饱满，从而更容易与星星进行区分，并且星空图像也更为美观，呈现给用户的效果更好。

具体的，在本发明实施例中，上述第二背景增强模块可以用于：按照预设伽马值对第三背景区域进行伽马变换，预设伽马值小于第三背景区域对应的初始伽马值。本实施例通过伽马变换对第三背景区域的亮暗程度进行调整，从而进一步提高最终输出的星空图像的显示效果。

本发明实施例提供的星空图像处理装置能够实现图1至图4的方法实施例中实现的各个方法步骤，为避免重复，这里不再赘述。

图6示出了本发明实施例提供的一种电子设备的硬件结构示意图。

该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器510，用于获取拍摄图像；拍摄图像为连续拍摄的多帧图像；在拍摄图像内的参考图像为星空图像的情况下，获取参考图像的拍摄时间和定位地点对应的星图；确定星图上与参考图像对应的星图区域；依据星图区域内星星的灰度值对拍摄图像内星星的灰度进行调整。

在本发明实施例中，在参考图像为星空图像的情况下，即获取的拍摄图像为星空图像的情况下，能够通过获取当前对应的星图来调整拍摄图像内星星对应的像素点的灰度，从而提高所拍摄的星空图像的成像效果，使星星部分能够被用户清晰的识别到。这种方法使得用户拍摄的任意星空图像均能够达到较好的效果。并且，本发明实施例不需要通过专业设备进行图片处理，缩短了星空图像的处理时间，对用户的专业能力要求低，用户只需要进行星空图像的拍摄，电子设备即可自动完成星空图像的处理，因而提高了用户的便利性。

应理解的是，本发明实施例中，射频单元501可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器510处理；另外，将上行的数据发送给基站。通常，射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元501还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块502为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。

输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(graphicsprocessingunit，gpu)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。

电子设备500还包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度，接近传感器可在电子设备500移动到耳边时，关闭显示面板5061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板5061。

用户输入单元507可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器510，接收处理器510发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071，用户输入单元507还可以包括其他输入设备5072。具体地，其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板5071可覆盖在显示面板5061上，当触控面板5071检测到在其上或附近的触摸操作后，传送给处理器510以确定触摸事件的类型，随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图6中，触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元508为外部装置与电子设备500连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。

存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器509可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器510是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器509内的软件程序和/或模块，以及调用存储在存储器509内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元；优选的，处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。

电子设备500还可以包括给各个部件供电的电源511(比如电池)，优选的，电源511可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备500包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器510，存储器509，存储在存储器509上并可在所述处理器510上运行的计算机程序，该计算机程序被处理器510执行时实现上述星空图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述星空图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。