基于元素识别的图像自动化评分方法与评分系统与流程

1.本发明属于图像处理技术领域，尤其涉及一种基于元素识别的图像自动化评分方法与评分系统、实现所述方法的计算机终端设备以及存储介质。


背景技术：

2.为了实现商品或者人物的知名度推广，通过图片或者视频的方式进行宣传是一种有效的推广方式，例如商品广告或者模特广告图片或者视频。高质量的图片或者视频元素，能够使得待推广或者宣传的对象的知名度迅速提高，并且给人留下深刻印象。消费者通常是通过视觉接收图片或者视频传递的信息，因此，图片或者视频能够在视觉上给消费者带来享受，成为推广或者宣传能够成功的关键；并且，这种视觉通常是“第一”显著性感觉，如果不能在第一时间通过“显著性”抓住消费者的第一感觉，则效果将大打折扣。
3.为了实现上述目的，就需要在广告图片或者视频发布之前，对其质量进行评估，例如为其评估打分。评估打分通常分为主观和客观两个方面，主观方面包括调查研究、专家库评分等，客观方面则基于图片或者视频本身的特性，包括尺寸、分辨率、区域像素值、rgb通道值分布、对比度等各种指标进行。由于调查研究、专家库评分带有很强的主观性，特定人群具有不同的喜好规则，而广告本身通常面对不特定对象，因此主观评分方法通常不适用，更多的是采用客观评估。
4.针对普通相机拍摄的平面（二维）图像，已经存在诸多图像或者视频评分方法。例如，中国发明专利申请公开文本cn113555089a提出一种应用于临床影像的人工智能医学影像质控方法，技师采集患者图像，并将图像传输至人工智能医学影像质控管理系统，人工智能医学影像质控管理系统用于对图像进行语义分割、分类处理并进行质控评分，在技师预览图像的操作界面显示评分，技师根据质控评分及患者情况判断是否需要进行备注或重新采集图像，以减少低分值图像质量的产生。cn113538324a则提出图像质量的评估方法包括：获取需要评估质量的待处理图像；通过特征提取网络提取所述待处理图像的图像特征，所述特征提取网络包括顺次相连的多个特征提取单元，每个所述特征提取单元包括顺次相连的卷积块和空间注意力模块，所述空间注意力模块用于提取所述待处理图像在空间上的局部特征；基于所述图像特征，通过全连接层对所述图像特征进行映射处理，得到所述待处理图像的质量评分。
5.得益于微电子技术的发展，图像传感器替代胶片相机后， 一直向着更小像素和更大阵列规模的方向发展，以期获得更大的图像分辨率。目前的采集数据像素已经可以超过千万级别甚至亿级别，因此，像素本身已经不是制约图像或者视频质量的主要因素。
6.由于传统照相机只能记录它某个二维平面上的信息。为了能够同时记录下光线的位置信息和方向信息，提出了光场成像技术。光场成像技术是对获得的光场数据（光场信息）进行计算处理，恢复三维世界的视觉信息，弥补了传统成像的不足。
7.同时由于视觉终端的硬件进步，图片或者视频能够以三维或者超高分辨率的形式展现，越来越多的广告宣传采用光场相机拍摄图片或者视频，如何评价此类场景下产生的
图片或者视频的质量，本领域尚未提出有效的客观评估方案。


技术实现要素：

8.为解决上述技术问题，本发明提出一种基于元素识别的图像自动化评分方法与评分系统、实现所述方法的计算机终端设备以及存储介质。
9.在本发明的第一个方面，提出一种基于元素识别的图像自动化评分方法，所述方法包括如下步骤：s100：获取待评分图片；s200：确定所述待评分图片的前景区域图像与背景区域图像；s300：获取所述前景区域图像的第一深度图信息以及所述背景区域图像的第二深度图信息；s400：基于所述第一深度图信息与所述第二深度图信息得出所述待评分图片的评分结果；其中，所述待评分图片通过光场相机采集；所述前景区域图像为包含有目标对象的区域图像；在确定待评分图片的前景区域图像之后，将所述前景区域图像相邻的多个区域作为所述背景区域图像。
10.同时，在上述技术方案中，通过所述光场相机拍摄得到所述待评分图片后，生成所述待评分图片对应的深度图信息，所述深度图信息包括所述待评分图片的不同区域的分块深度图信息；所述步骤s300包括：确定所述前景区域图像包含的第一数量的分块信息；基于所述第一数量的分块信息以及所述待评分图片的不同区域的分块深度图信息，获得所述前景区域图像的第一深度图信息。
11.所述步骤s400具体包括：基于所述第一深度图信息得出第一数量的第一深度图特征向量；基于所述第二深度图信息得出第二数量的第二深度图特征向量；计算所述第一深度图特征向量与所述第二深度图特征向量的关联度，基于所述关联度确定所述待评分图片的评分结果。
12.作为本发明的一个具体的应用场景，所述目标对象包含广告元素;在所述步骤s400之后，所述方法还包括：s500：判断所述待评分图片的评分结果是否满足预定标准；如果否，则调整所述广告元素的位置，或者调整所述光场相机的拍摄角度，重新通过所述光场相机获得包含有所述广告元素的图片，作为待评分图片，返回步骤s200；如果是，则分享所述待评分图片。
13.在本发明的第二个方面，提供一种基于元素识别的图像自动化评分系统，所述系统包括：光场相机拍摄组件，所述光场相机拍摄组件用于采集至少一张包含目标对象的光场信息图片；
用户交互组件，所述用户交互组件连接所述光场相机拍摄组件，用于接收用户的区域选择操作；通过所述区域选择操作确定所述光场信息图片中包含目标对象的前景区域；深度信息获取组件，所述深度信息获取组件连接所述光场相机拍摄组件与所述用户交互组件通信，用于获取所述前景区域对应的第一深度图信息，以及与所述前景区域邻接的多个背景区域对应的第二深度图信息；图片评分计算组件，所述图片评分组件基于所述第一深度图信息以及所述第二深度图信息，计算所述光场相机拍摄组件采集的光场信息图片评分。
14.作为进一步的改进，所述系统还包括：图片分享组件，所述图片分享组件连接所述图片评分计算组件；当所述图片评分计算组件计算的所述光场相机拍摄组件采集的光场信息图片评分满足预定标准时，所述图片分享组件将所述光场信息图片分享。
15.作为再一个改进，所述系统还包括：拍摄调整组件，所述拍摄调整组件连接所述图片评分计算组件；当所述图片评分计算组件计算的所述光场相机拍摄组件采集的光场信息图片评分不满足预定标准时，所述拍摄调整组件调整所述光场相机的拍摄角度，或者，发出提示信息指示用户调整所述目标对象的位置。
16.在本发明的第三个方面，提供一种终端设备，例如可以是数据交互设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序可以是数据交互程序，所述处理器执行所述计算机程序时，实现上述第一个方面所述方法的全部或者部分步骤。
17.在本发明第四个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一个方面所述方法的全部或者部分步骤。
18.本发明的技术方案可以针对光场相机拍摄的图片进行客观的质量评估。当用于广告拍摄时，可以自动化的评估当前广告图片的评分后给出提示或者分享图片，并且，所述评估是基于光场图片信息本身包含的深度信息，以及包含广告对象的前景区域和围绕前景区域的背景区域图像的深度信息比对和关联度得到，避免了人为主观因素的影响，符合光场图片本身的客观特性，准确度和客观度都有保证。
19.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明一个实施例的一种基于元素识别的图像自动化评分方法的流程示意图；图2-图4是图1所述方法的各个子步骤的具体实施例示意图；
图5是执行图1所述方法的部分步骤的基于元素识别的图像自动化评分系统的第一实施例示意图；图6是执行图1所述方法的部分步骤的基于元素识别的图像自动化评分系统的第二实施例示意图；图7是执行图1所述方法的部分步骤的基于元素识别的图像自动化评分系统的第三实施例示意图；图8是实现图1-图4所述方法的全部或者部分步骤的计算机设备的结构图。
具体实施方式
22.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
23.本发明的各个实施例将使用到如下概念：光场，类似于电场、磁场的概念，用以描述光的一些特性，其包含了光线强度、位置、方向等信息；光场相机(light-field camera)，也称为全光相机(plenoptic camera), 具体来说就是用极大量的微小透镜捕捉不同来源和不同角度的光线，每个透镜负责处理一定数量的像素。理论上，如果透镜数量足够的多，那么可以做到在整个光场区域捕捉的光都是清晰可辨的。
24.作为一个摄像头，光场相机不仅可以采集到图像信息（平面的、二维图像信息），还可以通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息；光场相机还能同时获取成像时光线的空间信息和角度信息，将二维图像中的像素按照一定规则映射为多维（大于2维，例如三维或者四维）光场进行重新投影，得到不同视角和不同相平面的对焦图像。
25.例如，美国专利授权us7965936 b2，公开的即是4d light field cameras。
26.深度图信息，用于在图像的每一个像素值中，表示场景中某点与摄像机（视点）的距离。
27.在上述介绍的基础上，接下来介绍本技术的各个实施例。
28.首先，参见图1。图1是本发明一个实施例的一种基于元素识别的图像自动化评分方法的流程示意图。
29.在图1中，示出一种基于元素识别的图像自动化评分方法，所述方法包括步骤s100-s400，各个步骤具体实现如下s100：获取待评分图片；s200：确定所述待评分图片的前景区域图像与背景区域图像；s300：获取所述前景区域图像的第一深度图信息以及所述背景区域图像的第二深度图信息；s400：基于所述第一深度图信息与所述第二深度图信息得出所述待评分图片的评分结果。
30.图2示出了所述步骤s200的具体操作如下：获得用户的区域选择操作，所述区域选择操作用于在所述待评分图片中选择至少一个目标对象；
基于所述区域选择操作，确定所述待评分图片的前景区域图像；在确定待评分图片的前景区域图像之后，将所述前景区域图像相邻的多个区域作为所述背景区域图像。
31.或者，将围绕所述前景区域图像的多个区域作为所述背景区域图像。
32.所述前景区域图像为包含有目标对象的区域图像。
33.所述前景区域图像包括多个第一图像块，所述背景区域图像包括多个第二图像块，每个所述第二图像块至少与一个第一图像块邻接。
34.接下来参见图3。
35.在图3中，示出了步骤s100包括：通过所述光场相机拍摄得到所述待评分图片；生成所述待评分图片对应的深度图信息，所述深度图信息包括所述待评分图片的不同区域的分块深度图信息。
36.前述已经提及，本发明各个实施例针对的图片，均是通过光场相机拍摄的光场图片。而光场相机不仅可以采集到图像信息（平面的、二维图像信息），还可以类似于激光雷达一样，通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息。
37.因此，在步骤s100中，光场相机拍摄得到一张图片之后，就可以生成所述待评分图片对应的深度图信息。
38.而带评分图片可以预先分为多个区域图像块，包括包含目标对象的区域和不包含目标对象的区域，因此，所述深度图信息包括所述待评分图片的不同区域的分块深度图信息。
39.此时，通过所述步骤s200确定所述待评分图片的前景区域图像与背景区域图像；然后，通过如下步骤实现步骤s300：s301：确定所述前景区域图像包含的第一数量的分块信息；s302：基于所述第一数量的分块信息以及所述待评分图片的不同区域的分块深度图信息，获得所述前景区域图像的第一深度图信息。
40.s311：确定所述背景区域图像包含的第二数量的分块信息；s312：基于所述第二数量的分块信息以及所述待评分图片的不同区域的分块深度图信息，获得所述背景区域图像的第二深度图信息。
41.优选的，所述步骤s301-s302与步骤s311-s312的执行是并行的。
42.在此基础上，步骤s400包括：基于所述第一深度图信息得出第一数量的第一深度图特征向量；基于所述第二深度图信息得出第二数量的第二深度图特征向量；计算所述第一深度图特征向量与所述第二深度图特征向量的关联度，基于所述关联度确定所述待评分图片的评分结果。
43.深度图特征向量是可以基于深度图信息确定的各种特征向量，包括点云特征向量、不同深度（视角）方向（笛卡尔坐标系下的xyz、柱坐标系等）下的特征向量等，深度特征向量的提取可通过神经网络例如cnn获取。
44.作为一个示例，深度特征向量的提取可以包括如下步骤：
将颜色图像和与所述颜色图像相关的深度图像分别进行图像分割后，获得多层次的没有重叠的图像区域；然后采用卷积神经网络模型分别对分割后的颜色图像和深度图像的特征向量进行提取。
45.当然，还可以采用其他方式进行深度图信息确定的各种特征向量的提取，本发明对此不做限制。
46.计算出深度特征向量后，可以确定不同深度特征向量的关联度。
47.这里的关联度，用于表征不同深度特征向量的显著性变化。
48.在本发明的各个实施例中，所述目标对象包含广告元素。
49.为了确保对象对象，也就是广告元素（包括人物、商品）的突出性，前景图像区域与背景图像必须存在一定的显著性差异，以达到宣传和视觉效果；但是显著性又不能过于明显，避免整体性视觉受到影响。
50.为了实现此种技术效果，本发明给出的改进手段包括：计算所述第一深度图特征向量与所述第二深度图特征向量的关联度，基于所述关联度确定所述待评分图片的评分结果。
51.这里的关联度，表征所述第一深度图特征向量与所述第二深度图特征向量的显著性变化。
52.作为示例，所述显著性变化可以是深度特征向量本身的方向变化，例如从所述第一深度图特征向量的第一方向变化为所述第二深度图特征向量的第二方向的差异度，差异度大于预定阈值同时小于最大限值，则表明当前图片评分较高，视觉效果较好，可以根据差异度的具体范围给出预定标准的不同等级的分值。
53.当然，显著性差异还可以采用其他现有技术给出的方法表征，例如可参见cn106462771a。
54.需要理解的是，本实施例突出改进不在于显著性本身，而是利用了不同的深度图信息。
55.接下来，作为本发明的一个具体方法应用实施例，参见图4，所述目标对象包含广告元素;在所述步骤s400之后，所述方法还包括：s500：判断所述待评分图片的评分结果是否满足预定标准；如果否，则调整所述广告元素的位置，或者调整所述光场相机的拍摄角度，重新通过所述光场相机获得包含有所述广告元素的图片，作为待评分图片，返回步骤s200；如果是，则分享所述待评分图片。
56.需要注意的是，某些设备可能不支持光场信息图片的直接读取，此时，所述分享所述带评分图片还包括：接收把待评分图片分享给第一设备的请求；对所述待评分图片进行分析，得到所述待评分图片的重聚焦焦点；以所述重聚焦焦点为焦点，采用所述待评分图片生成普通图像；将所述普通图像分享给所述第一设备。
57.在图1-图4的基础上，参见图5-图7，示出了执行图1-图4所述方法的全部或者部分步骤的基于元素识别的图像自动化评分系统的不同实施例。
58.在图5中，示出所述系统包括：光场相机拍摄组件，所述光场相机拍摄组件用于采集至少一张包含目标对象的光场信息图片；用户交互组件，所述用户交互组件连接所述光场相机拍摄组件，用于接收用户的区域选择操作；通过所述区域选择操作确定所述光场信息图片中包含目标对象的前景区域；深度信息获取组件，所述深度信息获取组件连接所述光场相机拍摄组件与所述用户交互组件通信，用于获取所述前景区域对应的第一深度图信息，以及与所述前景区域邻接的多个背景区域对应的第二深度图信息；图片评分计算组件，所述图片评分组件基于所述第一深度图信息以及所述第二深度图信息，计算所述光场相机拍摄组件采集的光场信息图片评分。
59.在图5基础上，参见图6，所述系统还包括：图片分享组件，所述图片分享组件连接所述图片评分计算组件；当所述图片评分计算组件计算的所述光场相机拍摄组件采集的光场信息图片评分满足预定标准时，所述图片分享组件将所述光场信息图片分享。
60.所述图片分享组件将所述光场信息图片分享给第一目标设备；若图片分享组件检测到所述第一目标设备不支持光场信息图片的分享，则图片分享组件对所述待评分图片进行分析，得到所述待评分图片的重聚焦焦点；以所述重聚焦焦点为焦点，采用所述待评分图片生成普通图像；将所述普通图像分享给所述第一目标设备。
61.在图5或图6基础上，参见图7，所述系统还包括：拍摄调整组件，所述拍摄调整组件连接所述图片评分计算组件；当所述图片评分计算组件计算的所述光场相机拍摄组件采集的光场信息图片评分不满足预定标准时，所述拍摄调整组件调整所述光场相机的拍摄角度，或者，发出提示信息指示用户调整所述目标对象的位置。
62.在图5-图7的实施例中，所述图片评分组件基于所述第一深度图信息以及所述第二深度图信息，计算所述光场相机拍摄组件采集的光场信息图片评分，具体包括：基于所述第一深度图信息得出第一数量的第一深度图特征向量；基于所述第二深度图信息得出第二数量的第二深度图特征向量；计算所述第一深度图特征向量与所述第二深度图特征向量的关联度，计算所述光场相机拍摄组件采集的光场信息图片评分。
63.具体的，这里的关联度，表征所述第一深度图特征向量与所述第二深度图特征向量的显著性变化。
64.作为示例，所述显著性变化可以是深度特征向量本身的方向变化，例如从所述第一深度图特征向量的第一方向变化为所述第二深度图特征向量的第二方向的差异度，差异度大于预定阈值同时小于最大限值，则表明当前图片评分较高，视觉效果较好，可以根据差异度的具体范围给出预定标准的不同等级的分值。
65.需要指出的是，图1-图4所述方法、流程的全部或者部分，均可以通过计算机程序指令自动化的实现。因此，参见图8提供一种电子计算机设备，该电子设备可以是数据交互设备，包括总线、处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包
括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。
66.该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现前述方法实例的步骤。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
67.本发明的技术方案可以针对光场相机拍摄的图片进行客观的质量评估。当用于广告拍摄时，可以自动化的评估当前广告图片的评分后给出提示或者分享图片，并且，所述评估是基于光场图片信息本身包含的深度信息，以及包含广告对象的前景区域和围绕前景区域的背景区域图像的深度信息比对和关联度得到，避免了人为主观因素的影响，符合光场图片本身的客观特性，准确度和客观度都有保证。
68.在实际应用中，将本发明提出的上述客观的针对光场信息图片的评分方法，和基于专家、调查方法等主观方法进行了对比，二者的结论的大致范围基本一致，但主观方法范围粗略，本技术提出的方法自动化程度更高，评分更为精细。
69.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
70.本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。