一种拍照效果自动优化方法、装置、存储介质及终端设备与流程

本发明涉及拍照技术领域，尤其涉及一种拍照效果自动优化方法、装置、计算机可读存储介质及终端设备。

背景技术：

用户在使用移动终端拍照时，往往需要手动调整拍照参数，或者手动对照片进行后期处理，才能得到理想的照片，此过程对缺少摄影及后期处理经验的用户来说是不友好的，因此，移动终端的相机需要具有根据拍照现场自动优化拍照参数的功能。

目前一些移动终端相机上已经集成了智能识别拍照场景并自动优化拍照参数的功能，该功能可以根据相机预览画面输入，实时识别拍照场景，并自动调用对应的拍照效果参数优化方法对照片进行优化。

但是，现有技术提供的自动优化方法在同一拍照时刻，场景识别结果仅为单一场景，也仅能调用该单一场景对应的优化方法，而实际拍照的环境中有很多情况是同时拍摄到多个场景的，识别算法会相应返回多个场景的置信度结果，若只挑选一个场景识别结果作为最终识别出的场景，可能会对其他场景优化不到位，或者产生负优化影响，导致优化效果较差，用户体验不佳。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种拍照效果自动优化方法、装置、计算机可读存储介质及终端设备，能够对复杂拍照场景下的拍照效果进行自动优化，提高优化效果和用户体验。

为了解决上述技术问题，本发明实施例提供了一种拍照效果自动优化方法，包括：

采集当前拍照的环境光信号；

根据所述环境光信号以及预设的固定效果参数生成初始图像；

根据所述初始图像进行拍照场景识别，获得若干个场景识别结果；

根据若干个所述场景识别结果、预设的基础效果参数和预设的场景效果参数获取最优效果参数；

根据所述最优效果参数对所述初始图像进行优化，生成优化后的图像。

进一步地，所述采集当前拍照的环境光信号，具体包括：

通过摄像头或者传感器采集当前拍照的环境光信号；其中，所述环境光信号包括环境光光谱信息。

进一步地，所述根据所述环境光信号以及预设的固定效果参数生成初始图像，具体包括：

根据所述固定效果参数对所述环境光信号进行格式转换、Gamma校正、色彩空间变换、降噪和锐化处理，获得所述初始图像。

进一步地，所述根据所述初始图像进行拍照场景识别，获得若干个场景识别结果，具体包括：

根据预先训练的场景分类模型对所述初始图像进行拍照场景分类识别，获得若干个所述场景识别结果；其中，所述场景分类模型中预设了不同的场景分类标签；所述场景识别结果以对应的场景分类标签的置信度的形式输出。

进一步地，所述场景识别结果表示为P＝{p1,p2,…,pN}；其中，N为场景识别结果的个数，px为第x个场景识别结果对应的场景分类标签的置信度，且

所述基础效果参数表示为B＝{b1,b2,…,bM}；其中，M为将环境光信号转化为图像的图像处理模块所包含的图像处理子模块的个数，by为第y个图像处理子模块的执行参数；

所述场景效果参数表示为E＝{eij|1<i<M,1<j<N}；其中，eij为第i个图像处理子模块针对第j个场景识别结果设置的场景增强效果参数；

则，所述最优效果参数F具体为F＝{fi|1≤i≤M}；其中，fi为第i个图像处理子模块对应的最优效果参数，Wij为第j个场景识别结果对第i个图像处理子模块的影响权重，0≤Wij≤1。

进一步地，所述基础效果参数根据图像处理器的功能特性、摄像头的元器件特性以及影像风格指导调试获得。

进一步地，所述场景效果参数根据不同的拍照场景对所述基础效果参数进行修正获得。

为了解决上述技术问题，本发明实施例还提供了一种拍照效果自动优化装置，包括图像采集模块、图像处理模块、图像识别模块和效果参数计算模块；其中，

所述图像采集模块用于采集当前拍照的环境光信号；

所述图像处理模块用于根据所述环境光信号以及预设的固定效果参数生成初始图像；

所述图像识别模块用于根据所述初始图像进行拍照场景识别，获得若干个场景识别结果；

所述效果参数计算模块用于根据若干个所述场景识别结果、预设的基础效果参数和预设的场景效果参数获取最优效果参数；

所述图像处理模块还用于根据所述最优效果参数对所述初始图像进行优化，生成优化后的图像。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的拍照效果自动优化方法。

本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的拍照效果自动优化方法。

与现有技术相比，本发明实施例提供了一种拍照效果自动优化方法、装置、计算机可读存储介质及终端设备，通过对图像进行拍照场景识别以获得若干个场景识别结果，并根据若干个场景识别结果、预设的基础效果参数和预设的场景效果参数计算获取最优效果参数，从而根据最优效果参数对图像进行优化，能够对复杂拍照场景下的拍照效果进行自动优化，提升了在同时拍摄到多个场景的复杂拍照条件下的拍照效果，并且提高了优化效果和用户体验，同时，在拍照界面发送改变时，能够使场景间的过渡更加平滑。

附图说明

图1是本发明提供的一种拍照效果自动优化方法的一个优选实施例的流程图；

图2是本发明提供的一种拍照效果自动优化装置的一个优选实施例的结构框图；

图3是本发明提供的一种终端设备的一个优选实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种拍照效果自动优化方法，参见图1所示，图1是本发明提供的一种拍照效果自动优化方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S15：

步骤S11、采集当前拍照的环境光信号；

步骤S12、根据所述环境光信号以及预设的固定效果参数生成初始图像；

步骤S13、根据所述初始图像进行拍照场景识别，获得若干个场景识别结果；

步骤S14、根据若干个所述场景识别结果、预设的基础效果参数和预设的场景效果参数获取最优效果参数；

步骤S15、根据所述最优效果参数对所述初始图像进行优化，生成优化后的图像。

具体的，采集当前拍照所处的环境光信号，并根据预先设置的固定效果参数对环境光信号进行处理，生成相应的初始图像，采用现有的图像分类算法对初始图像进行拍照场景识别，相应获得若干个场景识别结果，根据若干个场景识别结果对预先设置的基础效果参数和预先设置的场景效果参数进行修正计算，获得适应当前拍照环境，即适应识别出的若干个场景识别结果的最优效果参数，从而根据计算获得的最优效果参数对初始图像进行优化，生成相应的优化后的图像。

需要说明的是，本发明实施例所提供的优化方法适用于具有拍照功能的终端设备，例如手机、电脑等，可以理解的，该优化方法同样适用于具有图像处理功能的终端设备，本发明实施例不作具体限定。

本发明实施例所提供的一种拍照效果自动优化方法，根据图像进行拍照场景识别，并采用一定的过滤规则，输出多个场景识别结果，根据多个场景识别结果，调用不同的优化方法对默认的拍照参数(包括曝光、白平衡、降噪、锐化、滤镜等相关的效果参数)进行修正，使得在当前拍照场景可以采用更优的拍照参数，从而得到效果更好的照片。

在另一个优选实施例中，所述采集当前拍照的环境光信号，具体包括：

通过摄像头或者传感器采集当前拍照的环境光信号；其中，所述环境光信号包括环境光光谱信息。

可以理解的，可以通过摄像头或者传感器采集当前拍照所处的环境光信号，该环境光信号主要包括当前的环境光光谱信息。

在又一个优选实施例中，所述根据所述环境光信号以及预设的固定效果参数生成初始图像，具体包括：

根据所述固定效果参数对所述环境光信号进行格式转换、Gamma校正、色彩空间变换、降噪和锐化处理，获得所述初始图像。

具体的，结合上述实施例，在采集到当前拍照所处的环境光信号之后，可以根据预先设置的固定效果参数对环境光信号进行格式转换、Gamma校正、色彩空间变换、降噪和锐化等处理，从而获得相应的初始图像。

在具体实施时，先将环境光信号转换为相应的电信号，再将电信号转换为相应的图像信号，例如，图像传感器受到光线照射之后，会产生相应的输出电流，输出电流的大小和光照强度相对应，实现光信号到电信号的转换，再经过A/D转换将电信号转换为数字图像信号，从而生成显示所支持的格式的初始图像，例如yuv、JPEG等格式的初始图像，该过程由预先设置的固定效果参数控制执行，不同的效果参数会得到不同的成像输出。

在又一个优选实施例中，所述根据所述初始图像进行拍照场景识别，获得若干个场景识别结果，具体包括：

根据预先训练的场景分类模型对所述初始图像进行拍照场景分类识别，获得若干个所述场景识别结果；其中，所述场景分类模型中预设了不同的场景分类标签；所述场景识别结果以对应的场景分类标签的置信度的形式输出。

具体的，结合上述实施例，在获得初始图像之后，可以根据预先训练的场景分类模型对初始图像进行拍照场景分类识别，相应获得若干个场景识别结果该场景分类模型中预先设置了不同的场景分类标签，场景识别结果则以对应的场景分类标签的置信度的形式输出。

需要说明的是，场景识别方法为现有技术，即对拍摄到的初始图像进行分类，算法输入是拍摄获得的初始图像，输出是初始图像所属的场景分类标签的置信度，其中，分类方法有多种，包括基于色彩特征分类、基于形状分类、基于机器学习分类等。

以基于机器学习的分类方法为例，实现上分为模型训练和模型应用两部分，首先给定移动终端可识别的场景分类列表，然后采用大量的图像及每张图像所属分类的标定数据作为输入，训练出分类网络模型，并进行网络裁剪、权重调整，再将分类网络模型应用到移动终端中，对移动终端所拍摄的图像进行实时的分类识别。

在又一个优选实施例中，所述场景识别结果表示为P＝{p1,p2,…,pN}；其中，N为场景识别结果的个数，px为第x个场景识别结果对应的场景分类标签的置信度，且

所述基础效果参数表示为B＝{b1,b2,…,bM}；其中，M为将环境光信号转化为图像的图像处理模块所包含的图像处理子模块的个数，by为第y个图像处理子模块的执行参数；

所述场景效果参数表示为E＝{eij|1<i<M,1<j<N}；其中，eij为第i个图像处理子模块针对第j个场景识别结果设置的场景增强效果参数；

则，所述最优效果参数F具体为F＝{fi|1≤i≤M}；其中，fi为第i个图像处理子模块对应的最优效果参数，Wij为第j个场景识别结果对第i个图像处理子模块的影响权重，0≤Wij≤1。

具体的，结合上述实施例，对初始图像进行拍照场景识别后获得的N个场景识别结果表示为P＝{p1,p2,…,pN}，预先设置的基础效果参数表示为B＝{b1,b2,…,bM}，预先设置的场景效果参数表示为E＝{eij|1<i<M,1<j<N}；根据N个场景识别结果、预设的基础效果参数和预设的场景效果参数计算获得的最优效果参数具体为F＝{fi|1≤i≤M}；其中，fi为对应输入到第i个图像处理子模块的最优效果参数，求和表示需要参考针对当前拍照环境，根据相应的初始图像识别出的各个场景的置信度获取参数优化结果，最优效果参数对应的结果输出需对该参数优化结果及相应的基础效果参数进行求和。

作为上述方案的改进，所述基础效果参数根据图像处理器的功能特性、摄像头的元器件特性以及影像风格指导调试获得。

需要说明的是，预先设置的基础效果参数可以内置在移动终端的存储介质中，由影像效果调试人员根据图像处理器(ISP)的功能特性、摄像头元器件特性及影像风格指导调试出相应的效果参数，一般所有带有拍照功能的产品都会内置该部分参数，基础效果参数是一组通用的控制ISP执行的参数。

作为上述方案的改进，所述场景效果参数根据不同的拍照场景对所述基础效果参数进行修正获得。

需要说明的是，预先设置的场景效果参数由影像调试人员针对上述不同的拍照场景分类，在基础效果参数的基础上进行修正，相应得到更加适合不同场景的主观拍摄效果的照片，这部分参数修正量就是场景效果参数，场景效果参数是面向特定拍照场景的，相对基础效果参数的ISP参数的偏移量。

本发明实施例所提供的一种拍照效果自动优化方法，通过对图像进行拍照场景识别以获得若干个场景识别结果，并根据若干个场景识别结果、预设的基础效果参数和预设的场景效果参数计算获取最优效果参数，从而根据最优效果参数对图像进行优化，该方法同时参考了多个场景识别结果获得最优效果参数，能够根据最有效果参数对复杂场景下的拍照效果进行自动优化，提升了在同时拍摄到多个场景的复杂拍照条件下的拍照效果，并且提高了优化效果和用户体验，同时，在拍照界面发送改变时，能够使场景间的过渡更加平滑。

本发明实施例还提供了一种拍照效果自动优化装置，能够实现上述任一实施例所述的拍照效果自动优化方法的所有流程，装置中的各个模块、子模块、单元的作用以及实现的技术效果分别与上述实施例所述的拍照效果自动优化方法的作用以及实现的技术效果对应相同，这里不再赘述。

参见图2所示，是本发明提供的一种拍照效果自动优化装置的一个优选实施例的结构框图，所述装置包括图像采集模块11、图像处理模块12、图像识别模块12和效果参数计算模块14；其中，

所述图像采集模块11用于采集当前拍照的环境光信号；

所述图像处理模块12用于根据所述环境光信号以及预设的固定效果参数生成初始图像；

所述图像识别模块13用于根据所述初始图像进行拍照场景识别，获得若干个场景识别结果；

所述效果参数计算模块14用于根据若干个所述场景识别结果、预设的基础效果参数和预设的场景效果参数获取最优效果参数；

所述图像处理模块11还用于根据所述最优效果参数对所述初始图像进行优化，生成优化后的图像。

优选地，所述图像采集模块11具体包括：

光信号采集单元，用于通过摄像头或者传感器采集当前拍照的环境光信号；其中，所述环境光信号包括环境光光谱信息。

优选地，所述图像处理模块12具体包括：

图像处理子模块，用于根据所述固定效果参数对所述环境光信号进行格式转换、Gamma校正、色彩空间变换、降噪和锐化处理，获得所述初始图像。

需要说明的是，图像处理模块中包含了若干个图像处理子模块，每一个图像处理子模块中都预先设置了相应的基础效果参数，该基础效果参数作为对应的图像处理子模块的执行参数，并且针对不同的拍照场景，每一个图像处理子模块中都预先设置了相应的场景效果参数。

优选地，所述图像识别模块13具体包括：

图像识别单元，根据预先训练的场景分类模型对所述初始图像进行拍照场景分类识别，获得若干个所述场景识别结果；其中，所述场景分类模型中预设了不同的场景分类标签；所述场景识别结果以对应的场景分类标签的置信度的形式输出。

优选地，所述场景识别结果表示为P＝{p1,p2,…,pN}；其中，N为场景识别结果的个数，px为第x个场景识别结果对应的场景分类标签的置信度，且

所述基础效果参数表示为B＝{b1,b2,…,bM}；其中，M为将环境光信号转化为图像的图像处理模块所包含的图像处理子模块的个数，by为第y个图像处理子模块的执行参数；

所述场景效果参数表示为E＝{eij|1<i<M,1<j<N}；其中，eij为第i个图像处理子模块针对第j个场景识别结果设置的场景增强效果参数；

则，所述最优效果参数F具体为F＝{fi|1≤i≤M}；其中，fi为第i个图像处理子模块对应的最优效果参数，Wij为第j个场景识别结果对第i个图像处理子模块的影响权重，0≤Wij≤1。

需要说明的是，效果参数计算模块的输入包括场景识别结果P＝{p1,p2,…,pN}、基础效果参数为B＝{b1,b2,…,bM}和场景效果参数为E＝{eij|1<i<M,1<j<N}，效果参数计算模块的输出为给到图像处理模块的各个图像处理子模块的最优效果参数F＝{fi|1≤i≤M}，即效果参数计算模块以场景识别结果、基础效果参数和场景效果参数这三个部分输入为依据，计算出适应当前拍照环境的最优化效果参数，并将最优效果参数传递给图像处理模块，图像处理模块11则根据接收到的最优效果参数对初始图像进行优化，以优化拍照成像输出。

优选地，所述基础效果参数根据图像处理器的功能特性、摄像头的元器件特性以及影像风格指导调试获得。

优选地，所述场景效果参数根据不同的拍照场景对所述基础效果参数进行修正获得。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的拍照效果自动优化方法。

本发明实施例还提供了一种终端设备，参见图3所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的拍照效果自动优化方法。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。

所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。

需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

综上，本发明实施例所提供的一种拍照效果自动优化方法、装置、计算机可读存储介质及终端设备，通过对图像进行拍照场景识别以获得若干个场景识别结果，并根据若干个场景识别结果、预设的基础效果参数和预设的场景效果参数计算获取最优效果参数，从而根据最优效果参数对图像进行优化，该技术方案同时参考了多个场景识别结果获得最优效果参数，能够根据最有效果参数对复杂场景下的拍照效果进行自动优化，提升了在同时拍摄到多个场景的复杂拍照条件下的拍照效果，并且提高了优化效果和用户体验，同时，在拍照界面发送改变时，能够使场景间的过渡更加平滑。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。