一种夜景图像的处理方法和移动终端的制作方法
【专利摘要】本文公布一种夜景图像的处理方法和移动终端，该方法包括：移动终端获取同一预览画面的多帧夜景图像；对获得的多帧夜景图像进行图像配准处理；对图像配准处理后的多帧夜景图像进行融合去噪处理；对融合去噪处理后的图像进行夜景增强处理。本发明实施例提升了夜景图像的清晰度和对比度，增强了用户体验。
【专利说明】
一种夜景图像的处理方法和移动终端
技术领域
[0001] 本发明实施例涉及但不限于图像处理领域，尤指一种夜景图像的处理方法和移动 终端。
【背景技术】
[0002] 传统的夜景增强拍照处理，一般都是拍摄图像后，利用图像亮度算法或者对比度 增强算法将已拍摄的夜景图像进行增强处理，这样就会提升图像暗部的亮度和对比度。但 是，由于夜景图像的噪点比较多，并且噪点也可能会被增强，导致整个夜景图像的增强效果 不佳。
[0003] 因此，可以采用单帧图像去噪方法对夜景图像进行去噪处理，但是采用单帧图像 去噪方法处理后的夜景图像的边缘细节模糊，去噪效果不好，用户体验不佳。
【发明内容】
[0004] 本申请提供了一种夜景图像的处理方法和移动终端，能够提升夜景图像的清晰度 和对比度，增强用户体验。
[0005] 为了达到本申请目的，本发明实施例提供了一种夜景图像的处理方法，包括：
[0006] 移动终端获取同一预览画面的多帧夜景图像；
[0007] 对获得的多帧夜景图像进行图像配准处理；
[0008] 对图像配准处理后的多帧夜景图像进行融合去噪处理；
[0009] 对融合去噪处理后的图像进行夜景增强处理。
[0010] 可选地，所述对获得的多帧夜景图像进行图像配准处理包括：
[0011]在所述获得的多帧夜景图像中选取一帧图像作为基准图像；
[0012] 分别将所述获得的多帧夜景图像中除去所述基准图像以外的其它图像与所述基 准图像对齐。
[0013] 可选地，所述对图像配准处理后的多帧夜景图像进行融合去噪处理包括：
[0014] 分别获取所述图像配准处理后的多帧夜景图像的每帧图像的每个像素的像素值；
[0015] 根据获得的每帧图像的每个像素的像素值按照以下公式计算所述进行融合去噪 处理后的图像的每个像素的像素值：
[0017] 其中，D(x，y)是进行融合去噪处理后的所述图像在点（x，y)处的像素值；IJ^y) 是所述图像配准处理后的多帧夜景图像中的第i帧图像在点（x，y)处的像素值;η是图像配 准处理后的多帧夜景图像的数量。
[0018] 可选地，所述对融合去噪处理后的图像进行夜景增强处理包括：
[0019] 获取所述融合去噪处理后的图像的预设区域内的各个灰度值；
[0020] 根据获得的各个灰度值计算所述融合去噪处理后的图像的预设区域的灰度平均 值以及局部标准方差；
[0021 ]根据获得的所述局部标准方差确定增强系数；
[0022]根据计算出的所述灰度平均值以及确定出的增强系数对所述融合去噪处理后的 图像进行夜景增强处理。
[0023]可选地，根据以下公式对所述融合去噪处理后的图像进行夜景增强处理：
[0024] f(x，y) = averageH(x，y)+G(x，y) [H(x，y)_averageH(x，y)]
[0025]其中，f (x，y)表示进行夜景增强处理后的图像在点（x，y)处的像素值;averageH (义，7)表示在点(1，7)处的灰度平均值;6(1，7)表示在点(1，7)处的增强系数;!1(1，7)表示点 (x，y)处的灰度值。
[0026]可选地，根据以下公式计算所述灰度平均值：
[0028] 其中，2m+l表示所述预设区域的长度;2k+l表示所述预设区域的宽度，H(l，j)表示 点（l，j)处的灰度值;点(x，y)是所述预设区域的中心点;m和k均为正整数。
[0029] 可选地，根据以下公式计算所述局部标准方差：
[0031]其中，0H(x，y)是在点(X，y)处的局部标准方差。
[0032]可选地，根据以下公式确定所述增强系数：
[0034]其中，Μ表示进行融合去噪处理后的图像的长度;N表示所述进行融合去噪处理后 的图像的宽度。
[0035] 本发明实施例还提供了一种移动终端，包括:获取模块、配准模块、去噪模块和增 强模块;其中，
[0036] 获取模块，用于获取同一预览画面的多帧夜景图像；
[0037] 配准模块，用于对获得的多帧夜景图像进行图像配准处理；
[0038]去噪模块，用于对图像配准处理后的多帧夜景图像进行融合去噪处理；
[0039]增强模块，用于对融合去噪处理后的图像进行夜景增强处理。
[0040]可选地，所述配准模块，具体用于：
[0041]在所述获得的多帧夜景图像中选取一帧图像作为基准图像；
[0042]分别将所述获得的多帧夜景图像中除去所述基准图像以外的其它图像与所述基 准图像对齐。
[0043]可选地，所述增强模块，具体用于：
[0044] 获取所述融合去噪处理后的图像的预设区域内各个点的灰度值；
[0045] 根据获得的各个点的灰度值计算所述融合去噪处理后的图像的预设区域的灰度 平均值以及局部标准方差；
[0046] 根据获得的所述局部标准方差确定增强系数；
[0047] 根据计算出的所述灰度平均值以及确定出的增强系数对所述融合去噪处理后的 图像进行夜景增强处理。
[0048] 本发明实施例包括:移动终端获取同一预览画面的多帧夜景图像;对获得的多帧 夜景图像进行图像配准处理;对图像配准处理后的多帧夜景图像进行融合去噪处理;对融 合去噪处理后的图像进行夜景增强处理。本发明实施例提升了夜景图像的清晰度和对比 度，增强了用户体验。
【附图说明】
[0049] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0050] 图1为实现本申请各个实施例一个可选的移动终端的硬件结构示意图；
[0051] 图2为支持本申请移动终端之间进行通信的通信系统的示意图；
[0052]图3为本申请夜景图像的处理方法的流程图；
[0053]图4为本申请夜景图像的处理方法的实施例的流程图；
[0054]图5为本申请移动终端的结构示意图。
【具体实施方式】
[0055]下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
[0056]现在将参考附图描述实现本申请各个实施例的移动终端。在后续的描述中，使用 用于表示元件的诸如"模块"、"部件"或"单元"的后缀仅为了有利于本发明的说明，其本身 并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0057]移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动 电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理）、PAD(平板电脑）、PMP (便携式多媒体播放器）、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固 定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动 目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
[0058]图1为实现本申请各个实施例一个可选的移动终端的硬件结构示意图。
[0059] 移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入 单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190 等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组 件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0060] 无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统 或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块 112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
[0061] 广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播 相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送 广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息 并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播 信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相 关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模 块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子 节目指南(EPG)、数字视频广播手持(DVB-Η)的电子服务指南(ESG)等等的形式而存在。广播 接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111 可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广 播-手持（DVB-H)，前向链路媒体(MediaFLO @)的数据广播系统、地面数字广播综合服务 (ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广 播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/ 或广播相关信息可以存储在存储器160(或者其它类型的存储介质）中。
[0062]移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等）、外部终端 以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通 话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。 [0063]无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地 耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN) (Wi-Fi)、Wibro (无线宽带）、Wimax(全球微波互联接入）、HSDPA(高速下行链路分组接入)等等。
[0064] 短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝 牙?、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂?等等。
[0065] 位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块 的典型示例是GPS(全球定位系统）。根据当前的技术，GPS模块115计算来自三个或更多卫星 的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、炜度 和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫 星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，GPS模块115 能够通过实时地连续计算当前位置信息来计算速度信息。
[0066] A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和 麦克风122,相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片 或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理 后的图像帧可以存储在存储器160(或其它存储介质）中或者经由无线通信单元110进行发 送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记 录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据），并且能够将这样 的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可 经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪 声消除（或抑制）算法以消除（或抑制)在接收和发送音频信号的过程中产生的噪声或者干 扰。
[0067]用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各 种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸 板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件）、滚轮、摇杆等 等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
[0068] 感测单元140检测移动终端100的当前状态，（例如，移动终端100的打开或关闭状 态）、移动终端100的位置、用户对于移动终端100的接触（即，触摸输入）的有无、移动终端 100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的 操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测 该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或 者接口单元170是否与外部装置耦接。
[0069] 接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如， 外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无 线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出（I/O)端 口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各 种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USM) 等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识 别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自 外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的 一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
[0070] 另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电 力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其 传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是 否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输 出信号（例如，音频信号、视频信号、警报信号、振动信号等等）。输出单元150可以包括显示 单元151、音频输出模块152、警报单元153等等。
[0071] 显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电 话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件 下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式 或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图 像以及相关功能的UI或GUI等等。
[0072]同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元 151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管 IXD(TFT-IXD)、有机发光二极管(0LED)显示器、柔性显示器、三维(3D)显示器等等中的至少 一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明 显示器，典型的透明显示器可以例如为T0LED(透明有机发光二极管）显示器等等。根据特定 想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置），例如，移 动终端可以包括外部显示单元(未示出）和内部显示单元(未示出）。触摸屏可用于检测触摸 输入压力以及触摸输入位置和触摸输入面积。
[0073]音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、 语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160 中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动 终端100执行的特定功能相关的音频输出（例如，呼叫信号接收声音、消息接收声音等等）。 音频输出模块152可以包括扬声器、蜂鸣器等等。
[0074] 警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以 包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元 153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式 提供输出，当接收到呼叫、消息或一些其它进入通信(incoming communication)时，警报单 元153可以提供触觉输出（即，振动）以将其通知给用户。通过提供这样的触觉输出，即使在 用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也 可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
[0075] 存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可 以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等）。而 且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的 数据。
[0076] 存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多 媒体卡、卡型存储器(例如，SD或DX存储器等等）、随机访问存储器(RAM)、静态随机访问存储 器（SRAM)、只读存储器(R0M)、电可擦除可编程只读存储器(EEPR0M)、可编程只读存储器 (PR0M)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器 160的存储功能的网络存储装置协作。
[0077] 控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据 通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒 体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制 器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片 绘制输入识别为字符或图像。
[0078]电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元 件和组件所需的适当的电力。
[0079] 这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算 机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可 编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的 电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。 对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的 软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来 实施，软件代码可以存储在存储器160中并且由控制器180执行。
[0080] 至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、 直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示 例。因此，本申请能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
[0081] 如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有 线和无线通信系统以及基于卫星的通信系统来操作。
[0082] 现在将参考图2描述其中根据本申请的移动终端能够操作的通信系统。
[0083] 这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的 空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系 统(UMTS)(特别地，长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例，下 面的描述涉及CDMA通信系统，但是这样的教导同样适用于其它类型的系统。
[0084] 参考图2,⑶MA无线通信系统可以包括多个移动终端100、多个基站(BS)270、基站 控制器(BSC)275和移动交换中心(MSCUSOJSCSSO被构造为与公共电话交换网络(PSTN) 290形成接口。MSC280还被构造为与可以经由回程线路耦接到基站270的BSC275形成接口。 回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如E1/T1、ATM，IP、 PPP、帧中继、HDSL、ADSL或xDSL。将理解的是，如图2中所示的系统可以包括多个BSC275。
[0085] 每个BS270可以服务一个或多个分区（或区域），由多向天线或指向特定方向的天 线覆盖的每个分区放射状地远离BS270。或者，每个分区可以由用于分集接收的两个或更多 天线覆盖。每个BS270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱 (例如，1·25ΜΗζ，5ΜΗζ 等等）。
[0086]分区与频率分配的交叉可以被称为CDMA信道。BS270也可以被称为基站收发器子 系统（BTS)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个 BSC275和至少一个BS270。基站也可以被称为〃蜂窝站〃。或者，特定BS270的各分区可以被称 为多个蜂窝站。
[0087]如图2中所示，广播发射器(BT)295将广播信号发送给在系统内操作的移动终端 100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT295发送的广播 信号。在图2中，示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端 100中的至少一个。
[0088]在图2中，描绘了多个卫星300,但是理解的是，可以利用任何数目的卫星获得有用 的定位信息。如图1中所示的GPS模块115通常被构造为与卫星300配合以获得想要的定位信 息。替代GPS跟踪技术或者在GPS跟踪技术之外，可以使用可以跟踪移动终端的位置的其它 技术。另外，至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
[0089]作为无线通信系统的一个典型操作，BS270接收来自各种移动终端100的反向链路 信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反 向链路信号被在特定BS270内进行处理。获得的数据被转发给相关的BSC275ASC提供通话 资源分配和包括BS270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数 据路由到MSC280,其提供用于与PSTN290形成接口的额外的路由服务。类似地，PSTN290与 MSC280形成接口，MSC与BSC275形成接口，并且BSC275相应地控制BS270以将正向链路信号 发送到移动终端100。
[0090]基于上述移动终端硬件结构以及通信系统，提出本申请方法各个实施例。
[0091 ]图3为本申请夜景图像的处理方法的流程图，如图3所示，包括：
[0092]步骤301:移动终端获取同一预览画面的多帧夜景图像。
[0093]本步骤具体包括：
[0094]设置拍摄参数；
[0095] 根据设置的拍摄参数获取同一预览画面的多帧夜景图像；
[0096] 其中，获得的多帧夜景图像中任意相邻的两帧图像的时间间隔为预设时长。
[0097] 需要说的是，获得的同一预览画面的多帧夜景图像的拍摄参数是相同的。
[0098] 其中，拍摄参数包括但不限于:感光度(ISO)，和/或曝光度，和/或对焦参数等。
[0099] 其中，预设时长可以是由移动终端的系统设定的默认值，也可以是由移动终端提 供一人机交互界面，由用户根据自身的需求进行设定，如可以是50毫秒，35毫秒，也可以是 100毫秒。
[0100]可选地，该方法之前还包括:在移动终端的拍摄页面添加用于开启或关闭处理夜 景图像功能的配置项；
[0101]当检测到对用于开启或关闭处理夜景图像功能的配置项的开启操作时，开启处理 夜景图像功能；
[0102] 当检测到对用于开启或关闭处理夜景图像功能的配置项的关闭操作时，关闭处理 夜景图像功能。
[0103] 可选地，该方法之前还包括：
[0104] 当检测到开启处理夜景图像功能，且检测到用户确认拍摄的指令时，转入步骤 301 〇
[0105]步骤302:对获得的多帧夜景图像进行图像配准处理。
[0106]本步骤具体包括：
[0107] 在获得的多帧夜景图像中选取一帧图像作为基准图像；
[0108] 分别将获得的多帧夜景图像中除去基准图像以外的其它图像与基准图像对齐。
[0109] 其中，可以选取第一帧图像作为基准图像，也可以选取第二帧图像作为基准图像， 也可以选取最后一帧图像作为基准图像。
[0110]需要说明的是，如何将某一帧图像和其它帧图像进行对齐属于本领域技术人员所 熟知的惯用技术手段，如可以采用Lucas-Kanade光流法进行不同帧图像之间的对齐，关于 采用何种配准(或对齐)方法并不用来限制本申请。
[0111] 步骤303:对图像配准处理后的多帧夜景图像进行融合去噪处理。
[0112] 其中，图像配准处理后的多帧夜景图包括多帧进行对齐处理的图像和上述基准图 像。
[0113] 本步骤具体包括：
[0114]分别获取图像配准处理后的多帧夜景图像的每帧图像的每个像素的像素值；
[0115]根据获得的每帧图像的每个像素的像素值按照公式（1)计算进行融合去噪处理后 的图像的每个像素的像素值：
(1)
[0117] 其中，D(x，y)是进行融合去噪处理后的图像在点（x，y)处的像素值；MX，y)是图 像配准处理后的多帧夜景图像中的第i帧图像在点（x，y)处的像素值;η是图像配准处理后 的多帧夜景图像的数量。
[0118] 其中，公式（1)的推导过程如下：假设经过配准处理操作后的图像是η帧，依次是
[Ιι,Ι2.......111]，融合去噪处理后的图像在点(1，7)处的像素值是〇&，7)，假设1 1(1，7)为 第i帧图像在点(x，y)处的真实像素值，Ndxj)为图像受到噪声干扰后在点(x，y)处的像素 值，则有公式(1.0)
(1 0 )
[0120] 由于噪声通常满足高斯模型，所以
约等于0,由公式（1.0)可以得到公 式（1)，可以通过公式（1)计算在点(X，y)处融合去噪处理后的像素值。
[0121] 其中，可以按照公式(2)对融合去噪处理后的图像进行夜景增强处理：
[0122] f(x，y) = averageH(x，y)+G(x，y) [H(x，y)_averageH(x，y) ] (2)
[0123]其中，f (x，y)表示进行夜景增强处理后的图像在点（x，y)处的像素值;averageH (义，7)表示在点(1，7)处的灰度平均值;6(1，7)表示在点(1，7)处的增强系数;!1(1，7)表示点 (x，y)处的灰度值。
[0124]其中，可以根据公式(3)计算灰度平均值：
(3 )
[0126] 其中，2m+l表示预设区域的长度;2k+l表示预设区域的宽度，H(l，j)表示点（l，j) 处的灰度值;点(x，y)是预设区域的中心点;m和k均为正整数。
[0127] 其中，预设区域可以是长方形，也可以是正方形，当预设区域是正方形时，此处的m =k。需要说明的是，预设区域也可以是一个以点（x，y)为中心点的圆形，也可以是以点（X， y)为中心点的菱形等，当一个以点(x，y)为中心点的圆形时，可以根据圆形的半径确定预设 区域的长度和宽度等。
[0128] 其中，可以根据公式(4)计算局部标准方差：
(4)
[0130] 其中，〇H(x，y)是在点(x，y)处的局部标准方差。
[0131] 其中，可以根据公式(5)确定增强系数：
(5) 及局部标准方差；
[0138] 根据获得的局部标准方差确定增强系数；
[0139] 根据计算出的灰度平均值以及确定出的增强系数对融合去噪处理后的图像进行 夜景增强处理。
[0140] 本申请实施方式中，通过对获得的多帧夜景图像进行图像配准处理和融合去噪处 理，以及对融合去噪处理后的图像进行夜景增强处理，从而提升了夜景图像的清晰度和对 比度，增强了用户体验。
[0141] 图4为本申请夜景图像的处理方法的实施例的流程图，如图4所示，包括：
[0142] 步骤401:在移动终端的拍摄页面添加用于开启或关闭处理夜景图像功能的配置 项。
[0143] 步骤402:移动终端检测是否存在对用于开启或关闭处理夜景图像功能的配置项 的开启操作。当检测到对用于开启或关闭处理夜景图像功能的配置项的开启操作时，转入 步骤403;否则，结束本流程。
[0144] 步骤403:移动终端开启处理夜景图像功能。
[0145] 步骤404:移动终端检测是否存在用户确认拍摄的指令。当检测到用户确认拍摄的 指令时，转入步骤405;否则，继续执行步骤404。
[0146] 步骤405:移动终端获取同一预览画面的多帧夜景图像。
[0147] 本步骤具体包括：
[0148] 设置拍摄参数；
[0149] 根据设置的拍摄参数获取同一预览画面的多帧夜景图像；
[0150] 其中，获得的多帧夜景图像中任意相邻的两帧图像的时间间隔为预设时长。
[0151]需要说的是，获得的同一预览画面的多帧夜景图像的拍摄参数是相同的。
[0152] 其中，拍摄参数包括但不限于:感光度(ISO)，和/或曝光度，和/或对焦参数等。
[0153] 其中，预设时长可以是由移动终端的系统设定的默认值，也可以是由移动终端提 供一人机交互界面，由用户根据自身的需求进行设定，如可以是50毫秒，35毫秒，也可以是 100毫秒。
[0154] 步骤406:移动终端对获得的多帧夜景图像进行图像配准处理。
[0155]本步骤具体包括：
[0156] 在获得的多帧夜景图像中选取一帧图像作为基准图像；
[0157] 分别将获得的多帧夜景图像中除去基准图像以外的其它图像与基准图像对齐。
[0158] 其中，可以选取第一帧图像作为基准图像，也可以选取第二帧图像作为基准图像， 也可以选取最后一帧图像作为基准图像。
[0159]需要说明的是，如何将某一帧图像和其它帧图像进行对齐属于本领域技术人员所 熟知的惯用技术手段，如可以采用Lucas-Kanade光流法进行不同帧图像之间的对齐，关于 采用何种配准(或对齐)方法并不用来限制本申请。
[0160]步骤407:移动终端对图像配准处理后的多帧夜景图像进行融合去噪处理。
[0161]其中，图像配准处理后的多帧夜景图包括多帧进行对齐处理的图像和上述基准图 像。
[0162]本步骤具体包括：
[0163] 分别获取图像配准处理后的多帧夜景图像的每帧图像的每个像素的像素值；
[0164] 根据获得的每帧图像的每个像素的像素值按照公式（1)计算进行融合去噪处理后 的图像的每个像素的像素值：
(1 )
[0166] 其中，D(x，y)是进行融合去噪处理后的图像在点（x，y)处的像素值；MX，y)是图 像配准处理后的多帧夜景图像中的第i帧图像在点（x，y)处的像素值;η是图像配准处理后 的多帧夜景图像的数量。
[0167] 其中，公式（1)的推导过程如下：假设经过配准处理操作后的图像是η帧，依次是
[Ιι,Ι2.......111]，融合去噪处理后的图像在点(1，7)处的像素值是〇&，7)，假设1 1(1，7)为 第i帧图像在点(x，y)处的真实像素值，Ndxj)为图像受到噪声干扰后在点(x，y)处的像素 值，则有公式(1.0)
(1.0)
[0169]由于噪声通常满足高斯模型，所以
约等于0,由公式（1.0)可以得到公 式（1)，可以通过公式（1)计算在点(X，y)处融合去噪处理后的像素值。
[0170] 其中，可以按照公式(2)对融合去噪处理后的图像进行夜景增强处理：
[0171] f(x，y) =averageH(x，y)+G(x，y) [H(x，y)_averageH(x，y) ] (2)
[0172]其中，f (x，y)表示进行夜景增强处理后的图像在点（x，y)处的像素值;averageH (义，7)表示在点(1，7)处的灰度平均值;6(1，7)表示在点(1，7)处的增强系数;!1(1，7)表示点 (x，y)处的灰度值。
[0173]其中，可以根据公式(3)计算灰度平均值：
(3)
[0175]其中，2m+l表示预设区域的长度;2k+l表示预设区域的宽度，H(l，j)表示点（l，j) 处的灰度值;点(x，y)是预设区域的中心点;m和k均为正整数。
[0176]其中，预设区域可以是长方形，也可以是正方形，当预设区域是正方形时，此处的m =k。需要说明的是，预设区域也可以是一个以点（x，y)为中心点的圆形，也可以是以点（X， y)为中心点的菱形等，当一个以点(x，y)为中心点的圆形时，可以根据圆形的半径确定预设 区域的长度和宽度等。
[0177]其中，可以根据公式(4)计算局部标准方差：
(4)
[0179]其中，0H(x，y)是在点(X，y)处的局部标准方差。
[0180]其中，可以根据公式(5 )确定增强系数：
[0182] 其中，Μ表示进行融合去噪处理后的图像的长度;N表示进行融合去噪处理后的图 像的宽度。
[0183] 步骤408:移动终端对融合去噪处理后的图像进行夜景增强处理。
[0184]本步骤具体包括：
[0185] 获取融合去噪处理后的图像的预设区域内的各个灰度值；
[0186] 根据获得的各个灰度值计算融合去噪处理后的图像的预设区域的灰度平均值以 及局部标准方差；
[0187] 根据获得的局部标准方差确定增强系数；
[0188] 根据计算出的灰度平均值以及确定出的增强系数对融合去噪处理后的图像进行 夜景增强处理。
[0189] 步骤409:移动终端检测是否存在对用于开启或关闭处理夜景图像功能的配置项 的关闭操作。当检测到对用于开启或关闭处理夜景图像功能的配置项的关闭操作时，转入 步骤410;否则，结束本流程。
[0190] 步骤410:移动终端关闭处理夜景图像功能。
[0191] 针对于图3所示的方法，本申请提供了与之对应的如图5所示的移动终端。
[0192] 图5为本申请移动终端的结构示意图，如图5所示，包括:获取模块50、配准模块51、 去噪模块52和增强模块53。其中，
[0193] 获取模块50,用于获取同一预览画面的多帧夜景图像。
[0194] 其中，获取模块50具体用于：
[0195] 设置拍摄参数；
[0196] 根据设置的拍摄参数获取同一预览画面的多帧夜景图像；
[0197] 其中，获得的多帧夜景图像中任意相邻的两帧图像的时间间隔为预设时长。
[0198] 其中，获取模块50可以是摄像头。
[0199] 其中，预设时长可以是由移动终端的系统设定的默认值，也可以是由移动终端提 供一人机交互界面，由用户根据自身的需求进行设定，如可以是50毫秒，35毫秒，也可以是 100毫秒。
[0200] 配准模块51，用于对获得的多帧夜景图像进行图像配准处理。
[0201 ]其中，配准模块51具体用于：
[0202] 在获得的多帧夜景图像中选取一帧图像作为基准图像；
[0203] 分别将获得的多帧夜景图像中除去基准图像以外的其它图像与基准图像对齐。
[0204] 其中，配准模块51可以采用Lucas-Kanade光流法进行不同帧图像之间的对齐。 [0205]去噪模块52,用于对图像配准处理后的多帧夜景图像进行融合去噪处理。
[0206]其中，去噪模块52具体用于：
[0207] 分别获取图像配准处理后的多帧夜景图像的每帧图像的每个像素的像素值；
[0208] 根据获得的每帧图像的每个像素的像素值按照公式（1)计算进行融合去噪处理后 的图像的每个像素的像素值：
[0210]其中，D(x，y)是进行融合去噪处理后的图像在点（x，y)处的像素值；MX，y)是图 像配准处理后的多帧夜景图像中的第i帧图像在点（x，y)处的像素值;η是图像配准处理后 的多帧夜景图像的数量。
[0211]增强模块53,用于对融合去噪处理后的图像进行夜景增强处理。
[0212] 其中，增强模块53具体用于：
[0213] 获取融合去噪处理后的图像的预设区域内各个点的灰度值；
[0214] 根据获得的各个点的灰度值计算融合去噪处理后的图像的预设区域的灰度平均 值以及局部标准方差；
[0215] 根据获得的局部标准方差确定增强系数；
[0216] 根据计算出的灰度平均值以及确定出的增强系数对融合去噪处理后的图像进行 夜景增强处理。
[0217]其中，增强模块53根据公式(2)对融合去噪处理后的图像进行夜景增强处理：
[0218] f(x，y) =averageH(x，y)+G(x，y) [H(x，y)_averageH(x，y) ] (2)
[0219]其中，f (x，y)表示进行夜景增强处理后的图像在点（x，y)处的像素值;averageH (义，7)表示在点(1，7)处的灰度平均值;6(1，7)表示在点(1，7)处的增强系数;!1(1，7)表示点 (x，y)处的灰度值。
[0220]其中，增强模块53根据公式(3)计算灰度平均值：
(3)
[0222]其中，2m+l表示预设区域的长度;2k+l表示预设区域的宽度，H(l，j)表示点（l，j) 处的灰度值;点(x，y)是预设区域的中心点;m和k均为正整数。
[0223]其中，预设区域可以是长方形，也可以是正方形，当预设区域是正方形时，此处的m =k。需要说明的是，预设区域也可以是一个以点（x，y)为中心点的圆形，也可以是以点（X， y)为中心点的菱形等，当一个以点(x，y)为中心点的圆形时，可以根据圆形的半径确定预设 区域的长度和宽度等。
[0224]其中，增强模块53根据公式(4)计算局部标准方差：
(4 )
[0226] 其中，〇H(x，y)是在点(x，y)处的局部标准方差。
[0227] 其中，增强模块53根据公式(5)确定增强系数：
[0229] 其中，Μ表示进行融合去噪处理后的图像的长度;N表示进行融合去噪处理后的图 像的宽度。
[0230] 可选地，该移动终端还包括设置模块54,用于在移动终端的拍摄页面添加用于开 启或关闭处理夜景图像功能的配置项。
[0231] 可选地，该移动终端还包括检测模块55,用于当检测到对用于开启或关闭处理夜 景图像功能的配置项的开启操作时，开启处理夜景图像功能。
[0232]可选地，检测模块55还用于当检测到对用于开启或关闭处理夜景图像功能的配置 项的关闭操作时，关闭处理夜景图像功能。
[0233] 可选地，检测模块55还用于当检测到开启处理夜景图像功能，且检测到用户确认 拍摄的指令时，通知获取模块50。
[0234] 针对于图4所示的方法，本申请提供了与之对应的较佳实施例中的移动终端。
[0235] 较佳实施例，该较佳实施例中的移动终端包括:设置模块54、检测模块55、获取模 块50、配准模块51、去噪模块52和增强模块53。其中，
[0236]设置模块54,用于在移动终端的拍摄页面添加用于开启或关闭处理夜景图像功能 的配置项。
[0237]检测模块55,用于当检测到对用于开启或关闭处理夜景图像功能的配置项的开启 操作时，开启处理夜景图像功能；当检测到开启处理夜景图像功能，且检测到用户确认拍摄 的指令时，通知获取模块50。
[0238]可选地，检测模块55还用于当检测到对用于开启或关闭处理夜景图像功能的配置 项的关闭操作时，关闭处理夜景图像功能。
[0239]获取模块50,用于获取同一预览画面的多帧夜景图像。
[0240]其中，获取模块50具体用于：
[0241] 设置拍摄参数；
[0242] 根据设置的拍摄参数获取同一预览画面的多帧夜景图像；
[0243] 其中，获得的多帧夜景图像中任意相邻的两帧图像的时间间隔为预设时长。
[0244]其中，获取模块50可以是摄像头。
[0245] 其中，预设时长可以是由移动终端的系统设定的默认值，也可以是由移动终端提 供一人机交互界面，由用户根据自身的需求进行设定，如可以是50毫秒，35毫秒，也可以是 100毫秒。
[0246] 配准模块51，用于对获得的多帧夜景图像进行图像配准处理。
[0247] 其中，配准模块51具体用于：
[0248] 在获得的多帧夜景图像中选取一帧图像作为基准图像；
[0249] 分别将获得的多帧夜景图像中除去基准图像以外的其它图像与基准图像对齐。
[0250]其中，配准模块51可以采用Lucas-Kanade光流法进行不同帧图像之间的对齐。 [0251]去噪模块52,用于对图像配准处理后的多帧夜景图像进行融合去噪处理。
[0252] 其中，去噪模块52具体用于：
[0253] 分别获取图像配准处理后的多帧夜景图像的每帧图像的每个像素的像素值；
[0254] 根据获得的每帧图像的每个像素的像素值按照公式（1)计算进行融合去噪处理后 的图像的每个像素的像素值：
(1)
[0256] 其中，D(x，y)是进行融合去噪处理后的图像在点（x，y)处的像素值；MX，y)是图 像配准处理后的多帧夜景图像中的第i帧图像在点（x，y)处的像素值;η是图像配准处理后 的多帧夜景图像的数量。
[0257] 增强模块53,用于对融合去噪处理后的图像进行夜景增强处理。
[0258] 其中，增强模块53具体用于：
[0259] 获取融合去噪处理后的图像的预设区域内各个点的灰度值；
[0260] 根据获得的各个点的灰度值计算融合去噪处理后的图像的预设区域的灰度平均 值以及局部标准方差；
[0261 ]根据获得的局部标准方差确定增强系数；
[0262]根据计算出的灰度平均值以及确定出的增强系数对融合去噪处理后的图像进行 夜景增强处理。
[0263]其中，增强模块53根据公式(2)对融合去噪处理后的图像进行夜景增强处理：
[0264] f(x，y) =averageH(x，y)+G(x，y) [H(x，y)_averageH(x，y) ] (2)
[0265]其中，f (x，y)表示进行夜景增强处理后的图像在点（x，y)处的像素值;averageH (义，7)表示在点(1，7)处的灰度平均值;6(1，7)表示在点(1，7)处的增强系数;!1(1，7)表示点 (x，y)处的灰度值。
[0266]其中，增强模块53根据公式(3)计算灰度平均值：
(3 J
[0268]其中，2m+l表示预设区域的长度;2k+l表示预设区域的宽度，H(l，j)表示点（l，j) 处的灰度值;点(x，y)是预设区域的中心点;m和k均为正整数。
[0269]其中，预设区域可以是长方形，也可以是正方形，当预设区域是正方形时，此处的m =k。需要说明的是，预设区域也可以是一个以点（x，y)为中心点的圆形，也可以是以点（X， y)为中心点的菱形等，当一个以点(x，y)为中心点的圆形时，可以根据圆形的半径确定预设 区域的长度和宽度等。
[0270]其中，增强模块53根据公式(4)计算局部标准方差：
(4) L0272J 其中，〇H(x，y)是在点（x，y)处的局部标准方差。
[0273]其中，增强模块53根据公式(5)确定增强系数：
[0275]其中，Μ表示进行融合去噪处理后的图像的长度;N表示进行融合去噪处理后的图 像的宽度。
[0276]需要说明的是，在本文中，术语"包括"、"包含"或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而 且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有 的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括该 要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0277] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0278] 本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令 相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、 磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来 实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，例如通过集成电路 来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存 储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结 合。
[0279] 以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申 请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技 术领域，均同理包括在本申请的专利保护范围内。
【主权项】
1. 一种夜景图像的处理方法，其特征在于，包括： 移动终端获取同一预览画面的多帖夜景图像； 对获得的多帖夜景图像进行图像配准处理； 对图像配准处理后的多帖夜景图像进行融合去噪处理； 对融合去噪处理后的图像进行夜景增强处理。2. 根据权利要求1所述的处理方法，其特征在于，所述对获得的多帖夜景图像进行图像 配准处理包括： 在所述获得的多帖夜景图像中选取一帖图像作为基准图像； 分别将所述获得的多帖夜景图像中除去所述基准图像W外的其它图像与所述基准图 像对齐。3. 根据权利要求1所述的处理方法，其特征在于，所述对图像配准处理后的多帖夜景图 像进行融合去噪处理包括： 分别获取所述图像配准处理后的多帖夜景图像的每帖图像的每个像素的像素值； 根据获得的每帖图像的每个像素的像素值按照W下公式计算所述进行融合去噪处理 后的图像的每个像素的像素值：其中，D(x，y)是进行融合去噪处理后的所述图像在点（x，y)处的像素值;Ii(x，y)是所述 图像配准处理后的多帖夜景图像中的第i帖图像在点（X，y)处的像素值;η是图像配准处理 后的多帖夜景图像的数量。4. 根据权利要求1所述的处理方法，其特征在于，所述对融合去噪处理后的图像进行夜 景增强处理包括： 获取所述融合去噪处理后的图像的预设区域内的各个灰度值； 根据获得的各个灰度值计算所述融合去噪处理后的图像的预设区域的灰度平均值W 及局部标准方差； 根据获得的所述局部标准方差确定增强系数； 根据计算出的所述灰度平均值W及确定出的增强系数对所述融合去噪处理后的图像 进行夜景增强处理。5. 根据权利要求4所述的处理方法，其特征在于，根据W下公式对所述融合去噪处理后 的图像进行夜景增强处理： f (x，y) = averag削（x，y)+G(x，y) [H(x，y)_averag削（x，y)] 其中，f(x，y)表示进行夜景增强处理后的图像在点（x，y)处的像素值;averageH(x，y)表 示在点（x，y)处的灰度平均值;G(x，y)表示在点（x，y)处的增强系数;H(x，y)表示点（x，y)处 的灰度值。6. 根据权利要求5所述的处理方法，其特征在于，根据W下公式计算所述灰度平均值：其中，2m+l表示所述预设区域的长度；2k+l表示所述预设区域的宽度，H(l，j)表示点 (l，j)处的灰度值;点(X，y)是所述预设区域的中屯、点;m和k均为正整数。7. 根据权利要求6所述的处理方法，其特征在于，根据W下公式计算所述局部标准方 差：其中，〇H(x，y)是在点(x，y)处的局部标准方差。8. 根据权利要求7所述的处理方法，其特征在于，根据W下公式确定所述增强系数：其中，Μ表示进行融合去噪处理后的图像的长度;N表示所述进行融合去噪处理后的图 像的宽度。9. 一种移动终端，其特征在于，包括:获取模块、配准模块、去噪模块和增强模块;其中， 获取模块，用于获取同一预览画面的多帖夜景图像； 配准模块，用于对获得的多帖夜景图像进行图像配准处理； 去噪模块，用于对图像配准处理后的多帖夜景图像进行融合去噪处理； 增强模块，用于对融合去噪处理后的图像进行夜景增强处理。10. 根据权利要求9所述的移动终端，其特征在于，所述配准模块，具体用于： 在所述获得的多帖夜景图像中选取一帖图像作为基准图像； 分别将所述获得的多帖夜景图像中除去所述基准图像W外的其它图像与所述基准图 像对齐。
【文档编号】G06T5/50GK106097284SQ201610618707
【公开日】2016年11月9日
【申请日】2016年7月29日 公开号201610618707.8, CN 106097284 A, CN 106097284A, CN 201610618707, CN-A-106097284, CN106097284 A, CN106097284A, CN201610618707, CN201610618707.8
【发明人】戴向东
【申请人】努比亚技术有限公司