图像处理方法及相关设备与流程

本技术涉及终端，属于图像处理技术，尤其涉及一种图像处理方法及相关设备。

背景技术：

1、随着终端技术的发展，智能手机、个人电脑等智能电子设备都具有摄像功能，并且为了提升照片的美感，可以自动对照片进行优化，例如增加亮度、优化人物肤色等。智能电子设备通过lut对照片进行颜色转换，从而对照片进行优化，然而，这种照片优化方式对于照片局部区域的调整有限，导致照片的优化效果较差。

技术实现思路

1、鉴于以上内容，有必要提供一种图像处理方法及相关设备，解决通过lut对照片进行优化时对照片局部区域的调整有效而导致照片优化效果较差的问题。

2、第一方面，本技术提供一种图像处理方法，应用于电子设备，所述方法包括：将原始图像输入特征提取模型，通过所述特征提取模型提取所述原始图像的多个特征向量；将所述原始图像的所述多个特征向量输入lut预测模型，通过所述lut预测模型确定所述原始图像对应的多个3dlut；将所述原始图像输入参数预测模型，通过所述参数预测模型确定所述多个3dlut的lut参数；根据所述原始图像对应的所述多个3dlut和所述多个3dlut的所述lut参数确定所述原始图像对应的目标3dlut；根据所述原始图像对应的目标3dlut对所述原始图像进行颜色转换，得到目标图像。

3、通过上述技术方案，采用特征提取模型可以精确地提取原始图像的特征，采用lut预测模型可以获取原始图像的全局特征关系，并根据原始图像的全局特征关系确定对应的目标3dlut，采用参数预测模型可以确定3dlut的参数，实现图像自适应的3dlut，从而采用图像自适应的间隔采样方式对原始图像进行优化增强处理，提升了图像的全局和局部区域的优化效果。

4、在一种可能的实现方式中，所述特征提取模型为自编码器，所述自编码器包括第一输入层、第一编码器及第一输出层，所述自编码器根据多个训练图像的图像特征作为训练数据训练生成。

5、通过上述技术方案，采用自编码器作为特征提取模型，可以精确地提取出原始图像的特征，提升lut预测模型确定的3dlut对图像的自适应性，优化图像优化增强效果。

6、在一种可能的实现方式中，所述通过所述特征提取模型提取所述原始图像的多个特征向量，包括：所述第一输入层接收输入的所述原始图像，对所述原始图像进行预处理，将所述原始图像划分为多个图像块，并将所述多个图像块发送至所述第一编码器；所述第一编码器对所述多个图像块进行卷积处理，提取所述多个图像块的颜色特征，并对所述颜色特征进行降维，得到每个图像块的颜色特征向量；所述第一编码器还对每个图像块的位置进行编码，得到每个图像块的位置特征向量。

7、在一种可能的实现方式中，所述自编码器还包括隐藏层和第一解码器，所述方法还包括：将多个所述训练图像作为训练集，输入所述自编码器；所述第一输入层对所述多个训练图像进行预处理，并将预处理后的所述多个训练图像发送至所述第一编码器；所述第一编码器提取所述多个训练图像的特征向量，并将提取的所述多个训练图像的特征向量发送至隐藏层；所述隐藏层对所述多个训练图像的特征向量进行下采样处理，并将下采样处理后的所述特征向量发送至第一解码器；所述第一解码器根据下采样处理后的所述特征向量获取每个训练图像的重构图像；计算每个重构图像与对应的训练图像之间的差异值，若每个重构图像与对应的训练图像之间的差异值小于或等于第一预设差异值，确定所述自编码器完成训练；或若每个重构图像与对应的训练图像之间的差异值大于所述第一预设差异值，调整所述自编码器的参数，并继续对所述自编码器进行训练。

8、通过上述技术方案，对自编码器进行预训练，保证自编码器提取的图像特征的有效性，提升lut预测模型确定的3dlut对图像的自适应性，优化图像优化增强效果。

9、在一种可能的实现方式中，所述lut预测模型为视觉转换器模型，所述视觉转换器模型包括第二输入层、编码器块、分类网络及第二输出层，所述编码器块包括至少一个第二编码器，所述第二编码器包括注意力模块、归一化模块及多层感知机，所述视觉转换器模型根据多个原始训练图像、每个原始训练图像对应的目标训练图像及将每个原始训练图像转换为目标训练图像的至少一个3dlut作为训练数据进行训练生成。

10、通过上述技术方案，将视觉转换器模型作为lut预测模型，可以获取原始图像的全局特征关系，并根据原始图像的全局特征关系确定对应的多个3dlut，提升了3dlut对图像全局的优化效果。

11、在一种可能的实现方式中，所述注意力模块包括多头注意力模块和多个交叉注意力模块，所述通过所述lut预测模型确定所述原始图像对应的多个3dlut，包括：所述视觉转换器模型的所述第二输入层接收由所述特征提取模型输入的原始图像的多个特征向量，将所述多个特征向量发送至所述注意力模块，其中，所述多个特征向量包括所述原始图像的每个图像块的颜色特征向量和位置特征向量；通过每个交叉注意力模块权重矩阵wq、wk、wv以及每个图像块的颜色特征向量和位置特征向量分别计算每个图像块对应的查询矩阵、键值矩阵及值矩阵，并根据激活函数、每个图像块的所述查询矩阵、键值矩阵及值矩阵计算每个图像块的特征矩阵；通过所述多头注意力模块根据每个图像块对应的特征矩阵计算得到所述原始图像的输出矩阵；通过所述归一化模块对所述原始图像的输出矩阵进行归一化处理，通过所述多层感知机对所述输出矩阵进行线性变换，得到所述原始图像的特征矩阵，并将所述原始图像的特征矩阵发送至所述分类网络；通过所述分类网络对所述原始图像的特征矩阵进行分类，并根据所述原始图像的分类以及多个图像分类和多个3dlut之间的对应关系确定所述原始图像对应的多个3dlut。

12、通过上述技术方案，视觉转换器模型将原始图像的图像块的颜色特征向量和位置特征向量相结合，可以获取原始图像特征的全局关系，从而根据原始图像的全局特征关系确定对应的多个3dlut，提升了3dlut对图像全局的优化效果。

13、在一种可能的实现方式中，所述方法还包括：对所述视觉转换器模型进行初始化；将所述多个原始训练图像、每个原始训练图像对应的目标训练图像及将每个原始训练图像转换为目标训练图像的至少一个3dlut作为训练集输入所述视觉转换器模型；通过所述第二输入层对每个原始训练图像进行预处理，并将预处理后的每个原始训练图像发送至所述编码器块；通过所述编码器块提取每个原始训练图像的特征，并将提取的每个原始训练图像的特征发送至所述分类网络；通过所述分类网络根据每个原始训练图像的特征对每个原始训练图像中的目标对象进行分类；计算每个原始训练图像的分类结果和实际分类结果之间的差异值；若每个原始训练图像的分类结果和实际分类结果之间的差异值小于或等于第二预设差异值，确定所述转换器模型完成训练；或若任一原始训练图像的分类结果和实际分类结果之间的差异值大于所述第二预设差异值，调整所述视觉转换器模型的参数，并根据调整的参数继续对所述视觉转换器模型进行训练。

14、通过上述技术方案，对视觉转换器模型进行预训练，提升了视觉转换器模型确定的3dlut的精确性，以及对图像的自适应性，有效提升了图像的优化效果。

15、在一种可能的实现方式中，所述参数预测模型为unet模型，unet模型包括第三输入层、主干特征提取网络、加强特征提取网络、预测网络及第三输出层，unet模型根据多个原始训练图像的特征、每个原始训练图像的lut参数、每个原始训练图像中的目标对象的掩膜图像作为训练数据训练生成。

16、通过上述技术方案，将unet模型作为参数预测模型，可以根据unet模型提取的图像特征确定3dlut的权重，增强了3dlut对原始图像的自适应性，有效提升了图像的优化增强效果。

17、在一种可能的实现方式中，所述通过所述参数预测模型确定所述多个3dlut的lut参数，包括：通过所述第三输入层接收所述原始图像，对所述原始图像进行预处理，并将预处理后的所述原始图像发送至所述主干特征提取网络；通过所述主干特征提取网络对预处理后的所述原始图像进行卷积处理，提取所述原始图像的第一特征；所述主干特征提取网络与全连接层连接，所述主干特征提取网络将所述原始图像的第一特征发送至所述全连接层，通过所述全连接层根据所述原始图像的第一特征确定对应的lut参数。

18、通过上述技术方案，根据unet模型提取的图像特征和全连接层可以精确地确定原始图像的多个3dlut的参数，使得3dlut的颜色转换效果与图像特征自适应，有效提升了图像的优化增强效果。

19、在一种可能的实现方式中，所述根据所述原始图像对应的所述多个3dlut和所述多个3dlut的所述lut参数确定所述原始图像对应的目标3dlut，包括：对所述原始图像对应的所述多个3dlut和所述多个3dlut的lut参数进行加权求和，得到所述原始图像对应的所述目标3dlut。

20、通过上述技术方案，采用多个3dlut融合的方式确定对图像进行颜色转换的目标3dlut，可以提升图像的优化效果。

21、在一种可能的实现方式中，所述根据所述原始图像对应的目标3dlut对所述原始图像进行颜色转换，得到目标图像，包括：根据所述目标3dlut对所述原始图像的每个像素点的像素值进行三线性插值，得到转换后的像素值，像素值转换后的多个像素点组成目标图像。

22、通过上述技术方案，目标3dlut通过三线性插值的方式可以精确地对原始图像的像素点的像素值进行颜色转换，提升了图像的优化增强效果。

23、在一种可能的实现方式中，所述方法还包括：计算所述目标图像与预设目标图像之间的差异值；若所述目标图像与所述预设目标图像之间的差异值小于或等于第三预设差异值，输出所述目标图像；或若所述目标图像与所述预设目标图像之间的差异值大等于所述第三预设差异值，调整所述特征提取模型、所述lut预测模型及/或所述参数预测模型的参数，通过所述特征提取模型重新提取所述原始图像的多个特征向量，及/或通过所述lut预测模型重新确定所述原始图像对应的多个3dlut，及/或通过所述参数预测模型重新确定所述原始图像对应的多个3dlut的lut参数。

24、通过上述技术方案，通过将优化增强后的图像与预设目标图像进行比对，可以判断优化增强后的图像是否符合需求，保证图像的优化效果符合用户需求。

25、第二方面，本技术提供一种电子设备，所述电子设备包括存储器和处理器：其中，所述存储器，用于存储程序指令；所述处理器，用于读取并执行所述存储器中存储的所述程序指令，当所述程序指令被所述处理器执行时，使得所述电子设备执行上述的图像处理方法。

26、第三方面，本技术提供一种芯片，与电子设备中的存储器耦合，所述芯片用于控制所述电子设备的处理器执行上述的图像处理方法。

27、第四方面，本技术提供一种计算机存储介质，所述计算机存储介质存储有程序指令，当所述程序指令在电子设备上运行时，使得所述电子设备的处理器执行上述的图像处理方法。

28、另外，第二方面至第四方面所带来的技术效果可参见上述方法部分各设计的方法相关的描述，此处不再赘述。