一种基于人工智能的图像优化方法和系统与流程

本申请涉及人工智能中的图像识别和图片模式匹配技术领域，特别涉及一种基于人工智能的图像优化方法和系统。

背景技术：

当前的图像处理，要么是对图片大小进行裁剪，要么是对图像亮度、对比度、景深等进行调整。

而对于构图及空间关系不够好的图像，由于现有的图像优化技术不支持图片元素间大小和空间关系的优化处理，因而无法精确调整构图细节，采用目前的技术无法对图像的构图及空间关系进行优化。

技术实现要素：

本申请提供了一种基于人工智能的图像优化方法和系统，以实现对图像的构图及空间关系的优化。

本申请公开了一种基于人工智能的图像优化方法，包括：

a、对模板图片进行图像对象识别，提取并记录所述模板图片的模板信息；

b、采用神经网络的图像识别算法，识别出待优化图片中的主体对象数量及类别；

c、根据设定的匹配条件和所述记录的模板信息，为待优化图片在模板数据库中匹配最优模板信息；

d、根据最优模板信息中的布局信息对待优化图片中的主体对象进行缩放调整；

e、根据输出目标图片的分辨率要求及构图的基本原则，对待优化图片的背景部分进行剪裁与调整；

f、将处理后的主体对象图像和背景图像，按照最优模板信息中的布局信息进行组合，恢复为一张完整的图片。

较佳的，该方法还包括：g、如果原始待优化图片经处理后出现部分缺失，则根据图像补全算法修补缺失部分的图像。

较佳的，所述g中，根据图像补全算法修补缺失部分的图像包括：如果图像本身的冗余性满足修补的要求，则用图像已知部分的信息来补全未知部分，否则利用卷积神经网络学习图像中的高阶特性，利用所述高阶特性来指导图像缺失部分的生成。

较佳的，所述a包括：对模板图片进行图像对象识别，识别出其中的主体对象，并识别主体对象的类别和主体对象的布局信息；

其中，所述模板信息包括以下信息的任意组合：分辨率、应用场景、对象数量、对象类别、布局信息、图片的长宽比。

较佳的，应用场景根据模板图片标定的应用场景得到，应用场景包括至少包括：头像、背景、桌面、封面；

对象类别为主体对象的类别，至少包括：人脸、动物、建筑；

主体对象的布局信息至少包括：主体对象之间的空间关系，主体对象在图片中所占据的面积大小。

较佳的，所述f中，是根据布局信息中的图片位置信息进行组合恢复。

本申请还公开了一种基于人工智能的图像优化系统，包括：模板数据库模块、对象识别模块、模板匹配模块、对象转换模块、背景优化模块和合成模块，其中：

所述模板数据库模块，用于对模板图片进行图像对象识别，提取并记录所述模板图片的模板信息；

所述对象识别模块，用于采用神经网络的图像识别算法，识别出待优化图片中的主体对象数量及类别；

所述模板匹配模块，用于根据设定的匹配条件和所述记录的模板信息，为待优化图片在模板数据库中匹配最优模板信息；

所述对象转换模块，用于根据最优模板信息中的布局信息对待优化图片中的主体对象进行缩放调整；

所述背景优化模块，用于根据输出目标图片的分辨率要求及构图的基本原则，对待优化图片的背景部分进行剪裁与调整；

所述合成模块，用于将所述对象转换模块处理后的主体对象图像和所述背景优化模块处理后的背景图像，按照最优模板信息中的布局信息进行组合，恢复为一张完整的图片。

较佳的，该系统还包括补全模块；

如果原始待优化图片经处理后出现部分缺失，则所述补全模块用于根据图像补全算法修补缺失部分的图像。

较佳的，所述补全模块具体用于：

如果图像本身的冗余性满足修补的要求，则用图像已知部分的信息来补全未知部分，否则利用卷积神经网络学习图像中的高阶特性，利用所述高阶特性来指导图像缺失部分的生成。

较佳的，所述模板数据库模块具体用于：对模板图片进行图像对象识别，识别出其中的主体对象，并识别主体对象的类别和主体对象的布局信息；

其中，所述模板信息包括以下信息的任意组合：分辨率、应用场景、对象数量、对象类别、布局信息、图片的长宽比。

较佳的，应用场景根据模板图片标定的应用场景得到，应用场景包括至少包括：头像、背景、桌面、封面；

对象类别为主体对象的类别，至少包括：人脸、动物、建筑；

主体对象的布局信息至少包括：主体对象之间的空间关系，主体对象在图片中所占据的面积大小。

较佳的，所述合成模块具体用于根据布局信息中的图片位置信息进行组合恢复。

由上述技术方案可见，本申请提供的基于人工智能的图像优化方法和系统可以根据用户提供的待优化图片，根据当前的应用场景，自动地将用户上传的图片优化到最适合当前应用场景的构图结构。

本发明利用人工智能领域的深度学习技术识别出照片中的人物、动物、建筑物等特征，结合系统要求、用户选择、照片信息(基于图片识别模块的输出结果)等，从模板数据库中适配最优模板，根据得出的最优模板提取、处理和裁剪出一到多个符合要求的照片，从而提高了照片质量及专业性。

附图说明

图1为本发明基于人工智能的图像优化系统的各个模块工作流程图；

图2为本发明为用户自动优化头像场景的实施例示意图；

图3为本发明为用户自动优化背景图片的实施例示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

本发明提出一种基于人工智能的图像优化技术方案，通过人工智能领域的深度学习技术进行图像识别及图片构图、风格等模式的提取及适配，以用户提供的目标图片或者大量专业图片作为输入提取、处理，得到目标图片的构图及风格特征，并以此特征为模板，对图像进行处理，得到一张或者多张优化图片。

图1为本发明的组成模块。本发明包括模板数据库模块、对象识别模块、模板匹配模块、对象转换模块、背景优化模块、合成模块，还可以包括补全模块。各模块具体描述如下：

1)模板数据库模块：该模块用于对模板图片进行图像对象识别，识别出其中的主体对象，并识别主体对象的类别和主体对象的布局信息，提取并记录所述模板图片的模板信息，所述模板信息包括以下信息的任意组合：分辨率、应用场景、对象数量、对象类别、布局信息、图片的长宽比。其中：

应用场景根据模板图片标定的应用场景得到，应用场景包括但不限于头像、背景、桌面、封面等；

对象类别为主体对象的类别，包括：人脸、动物、建筑等；

主体对象的布局信息可以是主体对象之间的空间关系，也可以是主体对象在图片中所占据的面积大小等。

模板图片可以是一些拍摄质量比较高的图片。

例如：假设图片数据库中包含一张320*320的模板图片，标定为适用于用户头像场景，经本发明模板数据库模块进行识别后，确认其中包含一张人脸和一个动物，经本模块处理后得到的模板信息为：分辨率320*320/适用于头像场景/主体对象包含人脸+动物/人脸占据图片左半部80％面积/动物占据图片右半部50％面积，将以上模板信息按照设定的格式记录如下：

{分辨率：xxx*xxx；

应用场景：xxx；

对象数量：？；

对象类别：aaa/bbb/ccc…；

布局信息：aaa:{大小/位置}，bbb:{大小/位置}，ccc:{大小/位置},…；

其他信息}

通过对大量模板图片的识别和分析，可以获得大量模板图片的模板信息，从而得到适用于不同分辨率、特定应用场景、针对主体对象类别的不同组合的模板。其中，“主体对象类别的不同组合”包括人和动物的组合、人和建筑的组合，动物和建筑的组合等等。

2)对象识别模块：以用户输入的待优化图片为源，采用神经网络的图像识别算法，识别出待优化图片中的主体对象数量及类别。

3)模板匹配模块：根据设定的匹配条件和模板数据库中的模板信息，为待优化图片在模板数据库中匹配最优模板信息。

例如：匹配条件可以是分辨率、主体对象类别、主体对象数量、应用场景等，按照设定的匹配条件对模板信息进行筛选，并可以对不同的匹配条件赋予不同的权值对各模板信息进行打分，最后将分值最高的模板信息确定为最优模板信息。

4)对象转换模块：根据最优模板信息中的布局信息对待优化图片中的主体对象进行缩放调整。具体包括：根据最优模板信息中的主体对象的大小，对待优化图片中的主体对象的大小进行缩放调整。

除此之外，还可以图片整体或局部的亮度，主体对象的角度等进行调整。

5)背景优化模块：根据输出目标图片的分辨率要求及构图的基本原则(例如：三分法、黄金分割比例等原则)，对待优化图片的背景部分进行剪裁与调整。

6)合成模块：将对象转换模块处理后的主体对象图像和背景优化模块处理后的背景图像，按照最优模板信息中的布局信息进行组合，恢复为一张完整的图片。具体的，是根据布局信息中的图片位置信息进行组合恢复。

7)补全模块：如果原图经本发明上述模块调整后出现部分缺失的情况，例如：背景缺失、建筑缺失等，则补全模块根据图像补全算法修补缺失部分的图像。这里，可以采用任何修补图像的算法来对缺失部分进行补全。较佳的，如果图像本身的冗余性可以满足修补的要求，则用图像已知部分的信息来补全未知部分，否则利用卷积神经网络来学习图像中的high-levelfeature，利用这些特性(feature)来指导图像缺失部分的生成。

当模板数据库中最优匹配的模板不止一个时，可以按照上述方式基于多个最优匹配模板信息分别对待优化图片进行处理，并最终提供多个优化处理后的图片供用户选择。

由上述可见，本发明利用人工智能领域的深度学习技术识别出照片中的人物、动物、建筑物等特征，结合系统要求、用户选择、照片信息(基于图片识别模块的输出结果)等，从模板数据库中适配最优模板，根据得出的最优模板提取、处理和裁剪出一到多个符合要求的照片，从而提高了照片质量及专业性。

本发明可以单独作为独立的应用使用，也可以作为中间件供其它应用调用。本发明技术方案作为应用单独使用时流程如下：

a:系统要求用户提供一张满足一定要求的图片；

b:用户上传一张原始图片(即：如前所述的待优化图片)；

c:系统根据模板数据库中最匹配的模板，自动对用户上传的图片进行优化，保证符合系统要求，并针对当前应用场景进行美化。

下面通过两个具体实施例对本申请技术方案进行举例说明：

参照图2，在需要用户上传图片作为用户头像的场景中，头像的要求一般为长宽比比较接近，人脸占据图片主体。如果用户上传的图片长宽比相差较大，人脸占比较小时，可通过本发明提供的方案，改变人脸与背景建筑的景深，使人脸占比增加，并且不破坏背景中的一些建筑、风景等图形信息，最后调整图片为合适的长宽比，基于用户提供的原始图片获得一张比较满意的头像图片。

参照图3，基于用户给定的一张竖幅的图片，如果想获得一张横幅的背景图片，利用本发明所提供的方案，识别出图片中的主体对象的数量及分类，匹配到模板数据库中的横幅背景模板，对原始图片进行重新布局，并由补全模块补全缺失部分的图形，则可以获得一幅高质量的背景图片。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。