一种基于热力图的抠图效果评估方法和存储设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种基于热力图的抠图效果评估方法和存储设备。


背景技术：

2.抠图在图像处理中是一种比较常用的方法，意在将图像中的目标前景和背景进行分割，应用在前景虚化、背景替换以及图像合成等领域。介于神经网络等人工智能技术的发展使得抠图处理不再需要人工操作就能自动完成，大大提高了图像处理效率和精度。
3.目前常用的抠图精度评价指标有：sad(绝对误差和),mse(均方误差),gradient error(梯度误差),connectivity error(连通性误差)。以及，ssim(结构相似性指标)，bce(二分类交叉熵)等基础损失函数或联合损失函数的应用。这些指标往往用于评价抠图模型的预测值和真实值之间差异程度，最终会计算得出一个数值。该数值对模型精度的评价在数学上具有一定对参考比对价值，即数学评价标准。在多算法横向评测上，也往往采用在表格中进行数值比对的方法。但这一标准对于人眼对抠图效果的评价就并不那么的直观。
4.以上方法存在以下缺点：
5.1、现有常用的抠图精度评价指标偏数学化，实际应用中不符合人眼对抠图效果直观评估习惯。
6.2、多算法抠图效果评估采用的是在表格中进行数值比对，对于特定的图片抠图效果比较没有可视化比对界面；现有抠图平台，均未提供垂直领域的抠图效果比较功能。


技术实现要素：

7.鉴于上述问题，本技术提供了一种基于热力图的抠图效果评估方法，用以解决背景技术中所提及的技术问题。具体技术方案如下：
8.一种基于热力图的抠图效果评估方法，包括步骤：
9.获取目标图片，对所述目标图片进行抠图处理得所述目标图片对应的掩膜图；
10.通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，所述目标数据包括：缺陷数据；
11.对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像；
12.进行可视化界面展示，界面展示的内容包括：缺陷图像。
13.进一步的，所述通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，还包括步骤：
14.所述目标数据还包括：roi和损失数据；
15.通过对图片原始掩膜数据的区域进行计算，得图片roi区域；
16.通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行计算，得缺陷数据；
17.根据所述缺陷数据和所述roi进行图片缺陷率计算得损失数据。
18.进一步的，所述对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像，
还包括步骤：
19.对所述缺陷数据进行缺陷数据归一化处理；
20.将归一化处理后的缺陷数据透色到以某一锚点为中心，左右两侧对称的hvs色系上，再转换成rgb格式。
21.进一步的，所述对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像后，还包括步骤：
22.对缺陷图像和缺陷掩膜进行拟合生成可视化的热力图评价图像。
23.进一步的，所述进行可视化界面展示，还包括：
24.对同张图片不同处理方式的抠图效果进行排序比对显示，和/或显示损失数据值；
25.所述不同处理方式包括：不同算法和/或不同第三方平台。
26.为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
27.一种存储设备，其中存储有指令集，所述指令集用于执行：
28.获取目标图片，对所述目标图片进行抠图处理得所述目标图片对应的掩膜图；
29.通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，所述目标数据包括：缺陷数据；
30.对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像；
31.进行可视化界面展示，界面展示的内容包括：缺陷图像。
32.进一步的，所述指令集还用于执行：
33.所述通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，还包括步骤：
34.所述目标数据还包括：roi和损失数据；
35.通过对图片原始掩膜数据的区域进行计算，得图片roi区域；
36.通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行计算，得缺陷数据；
37.根据所述缺陷数据和所述roi进行图片缺陷率计算得损失数据。
38.进一步的，所述指令集还用于执行：
39.所述对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像，还包括步骤：
40.对所述缺陷数据进行缺陷数据归一化处理；
41.将归一化处理后的缺陷数据透色到以某一锚点为中心，左右两侧对称的hvs色系上，再转换成rgb格式。
42.进一步的，所述指令集还用于执行：所述对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像后，还包括步骤：
43.对缺陷图像和缺陷掩膜进行拟合生成可视化的热力图评价图像。
44.进一步的，所述指令集还用于执行：所述进行可视化界面展示，还包括：
45.对同张图片不同处理方式的抠图效果进行排序比对显示，和/或显示损失数据值；所述不同处理方式包括：不同算法和/或不同第三方平台。
46.本发明的有益效果是：一种基于热力图的抠图效果评估方法，包括步骤：获取目标图片，对所述目标图片进行抠图处理得所述目标图片对应的掩膜图；通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，所述目标数据包括：缺陷数据；对所
述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像；进行可视化界面展示，界面展示的内容包括：缺陷图像。通过上述方法，利用程序算法的方式将抠图处理后的掩膜图和标准掩膜图进行缺陷计算，并通过色彩投射出人眼可评估的热力图图像。使得人眼可以对抠图效果进行直观评价。
47.进一步的，兼具针对不同算法和第三方平台的抠图处理效果进行横向比较的功能。并且可以通过可视化操作的方式或通过数学损失的方式进行比对。使得抠图处理效果可以一目了然。
48.上述发明内容相关记载仅是本技术技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本技术的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本技术的上述目的及其它目的、特征和优点能够更易于理解，以下结合本技术的具体实施方式及附图进行说明。
附图说明
49.附图仅用于示出本技术具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本技术的限制。
50.在说明书附图中：
51.图1为具体实施方式所述一种基于热力图的抠图效果评估方法的流程图一；
52.图2为具体实施方式所述一种基于热力图的抠图效果评估方法的流程图二；
53.图3为具体实施方式所述一种基于热力图的抠图效果评估方法的流程图三；
54.图4为具体实施方式所述一种基于热力图的抠图效果评估方法的流程图四；
55.图5为具体实施方式所述一种存储设备的模块示意图。
56.上述各附图中涉及的附图标记说明如下：
57.500、存储设备。
具体实施方式
58.为详细说明本技术可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本技术的技术方案，因此只作为示例，而不能以此来限制本技术的保护范围。
59.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本技术中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。
60.除非另有定义，本文所使用的技术术语的含义与本技术所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本技术。
61.在本技术的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如a和/或b，表示：存在a，存在b，以及同时存在a和b这三种情况。另
外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。
62.在本技术中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。
63.在没有更多限制的情况下，在本技术中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。
64.在本技术中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本技术实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。
65.正如背景技术中所提及的基于神经网络的人工智能技术应用在图像抠图处理上较传统的人工手动抠图，不管在效率上还是精度上都提升了不少，而且由于算法的普及和开源各种平台都提出自有的一套抠图功能。但由于各平台算法和训练样本的差异性，使得抠图效果在不同垂直领域表现的效果各不相同。
66.故此本技术拟在结合人眼对抠图效果评价习惯和规律，针对特定垂直领域的标准图库数据，提出一种基于热力图的抠图效果评价方法，快速解决人眼感观横向评测抠图效果难的问题。降低针对特定垂直领域抠图功能的评估门槛，提高平台在垂直领域专业抠图应用。
67.举例来说：如首饰图像抠图由于其珠宝首饰行业的专业性，以及首饰款式的多样性，使得该领域对抠图效果有着及其严苛的要求。普通的抠图平台也能通过神经网络等算法对首饰进行抠图处理，但在细节上表现不是太好。用户往往并不能很容易的识别出来，或是需要通过专业图像处理软件才能判别出来，这无形中给后期图像处理埋下了隐患并增加了工作量。本技术拟在通过热力图方式直观的以图像方式展示抠图效果，让普通用户也能快速对抠图效果做出专业的评价。
68.以下结合图1至图4，对一种基于热力图的抠图效果评估方法的具体实施方式展开说明，所述一种基于热力图的抠图效果评估方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。
69.如图1所示，一种基于热力图的抠图效果评估方法包括了步骤s101至步骤s104。
70.在步骤s101中，获取目标图片，对所述目标图片进行抠图处理得所述目标图片对应的掩膜图。具体可为：图片标准库是根据特定垂直行业对图像抠图特点的不同要求建立的一套能真实评测特定行业图片抠图效果的标准图片库，标准图片库中覆盖特定行业图片图像的各类特征和相应的掩膜图。从图片标准库中选择一张目标图片进行抠图处理，抠图处理可以是一个独立的算法也可以是一个服务平台。抠图处理完成后会获得目标图片对应的掩膜图。如果得到的是已拟合的图片，则可以提取其alpha通道生成对应的掩膜图用于后续计算。
71.在步骤s102中，通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，所述目标数据包括：缺陷数据。如图2所示，步骤s102具体还包括步骤s201至步骤s203。
72.在步骤s201中，所述目标数据还包括：roi和损失数据；通过对图片原始掩膜数据的区域进行计算，得图片roi区域。
73.在步骤s202中，通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行计算，得缺陷数据。
74.在步骤s203中，根据所述缺陷数据和所述roi进行图片缺陷率计算得损失数据。
75.其中步骤s201至步骤s203具体还可以为：
76.通过对图片原始掩膜数据的区域计算，可以获得图片roi区域，用于计算单位区域内缺陷率。利用抠图处理获得的图片掩膜图和图片原始掩膜图数据进行计算，得出抠图效果缺陷数据，缺陷数据包含多抠或少抠的效果信息，以及计算获得缺陷掩膜。进一步将缺陷数据和roi数据进行图片缺陷率计算并得到一损失数据，该损失数据，在数学上反应其抠图效果的好坏，可以用于排序比对等。
77.在步骤s103中，对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像。如图3所示，步骤s103还包括步骤s301-步骤s302。
78.在步骤s301中，对所述缺陷数据进行缺陷数据归一化处理。
79.在步骤s302中，将归一化处理后的缺陷数据透色到以某一锚点为中心，左右两侧对称的hvs色系上，再转换成rgb格式。
80.如图4所示，在某些实施例中，还包括步骤s403。
81.在步骤s403中，对缺陷图像和缺陷掩膜进行拟合生成可视化的热力图评价图像。
82.其中步骤s401-s402与步骤s301-s302相同，对此不做重复说明。
83.其中步骤s401-步骤s403具体可如下：
84.缺陷计算获得的数据是一组矩阵数据，需要对其进行归一化和色彩投射处理才能获得可视化的缺陷图像。色彩透射即是将归一化的透色到以某一锚点为中心，左右两侧对称的hvs色系上，然后再转换成rgb格式。缺陷图像和缺陷掩膜进行拟合就生成一张可视化的热力图评价图像。
85.在步骤s104中，进行可视化界面展示，界面展示的内容包括：缺陷图像。
86.在一些实施例中，进行可视化界面展示，还包括：对同张图片不同处理方式的抠图效果进行排序比对显示，和/或显示损失数据值；所述不同处理方式包括：不同算法和/或不同第三方平台。具体可为：经过色彩投射处理后的缺陷图像，可以在界面上进行展示，并可标注起抠图处理和标准图图片之间的差距情况(即显示损失数据值)。可以就同张图片多个算法或平台的抠图效果进行横向排序比对。
87.通过上述方法，利用程序算法的方式将抠图处理后的掩膜图和标准掩膜图进行缺陷计算，并通过色彩投射出人眼可评估的热力图图像。使得人眼可以对抠图效果进行直观评价。
88.进一步的，兼具针对不同算法和第三方平台的抠图处理效果进行横向比较的功能。并且可以通过可视化操作的方式或通过数学损失的方式进行比对。使得抠图处理效果可以一目了然。
89.以下以首饰图像抠图处理为例进行举例说明(需要说明的是本技术不但可以应用在首饰抠图处理中对珠宝首饰这一垂直行业，也可以通过收集不同的行业的特征图像素材建立起该行业的抠图特征标准库，在不同垂直行业领域的抠图处理中起到相同作用)。
90.第一步：
91.在首饰抠图评价平台的标准分类库中选择一种分类(例如戒指)，并在该分类中挑选一张图片作为测试图片(即目标图片)。在平台页面上显示该图片预览图、抠图图像和图片掩膜图。点击抠图按钮，启动抠图引擎对图片进行抠图处理。如果是采用其他算法或针对第三方抠图平台测试，则可以点击下载按钮，将图片下载到本地。然后导入算法脚本或第三平台进行抠图处理。
92.第二步：
93.启动抠图引擎后，测试图片送入抠图模型进行推理预测，并处理得到测试图片的抠图掩膜图。如果是评价其他算法或第三方抠图平台，则需要将其他算法推理生成，或第三方平台抠图生成的图片导入到抠图评价平台。抠图评价平台会获取对应的图片掩膜图数据。其中，如若是已经拟合的图片则获取其alpha通道数据作为掩膜图数据。
94.第三步：
95.将抠图处理获得的掩膜图i
mat
(x，y)与测试图片掩膜图i
mask
(x，y)(即图片原始掩膜图)进行矩阵计算，即获得缺陷数据i
egt
(x，y)：
96.i
egt
(x，y)＝f(i
mat
(x，y)，i
mask
(x，y))，
97.其中，i
egt
(x，y)表示在[-1，1]之间的标准化数据。本例中使用过矩阵相减的方法得到[-255，255]之间的数据再通过标准化理得到i
egt
(x，y)值。利用归一化处理，将数据限定在[0，1]之间，其公式如下：
[0098][0099]
其中，k
min
和k
max
为常量。本例中，k
min
＝-1，k
max
＝2。
[0100]
第四步：
[0101]
根据人眼对抠图缺陷评价规律，多抠和少抠的像素值同样都表示为抠图效果差。即需要将缺陷数据i
egt
(x，y)进行向量映射处理，得到缺陷掩膜数据i
emk
(x，y)：
[0102][0103]
对测试图片掩膜图进行外接矩形计算获得s
mask
(w，h)，其中w表示图片的宽，h表示图片的高。缺陷率即为单位面积上的像素值：
[0104][0105]
第五步：
[0106]
将经过第三步归一化之后的数据i
norm
进行色彩透射获得c
hvs
，其公式如下：
[0107][0108]
其中，kz、kv和ks为常量，本例中分别取值：kz＝124，kv＝ks＝255。随后在转成rgb色
彩空间值c
rgb
。该投射图像c
rgb
拥有热力图的特征，其颜色趋于红色表示为少抠部分，颜色趋于蓝色表示多抠部分，其色彩浓度表示为多抠或少抠的程度。
[0109]
第六步：
[0110]
经过第三至五步的缺陷计算和色彩投射获得，首饰抠图评价平台将获得一组能够反映抠图效果的评价结果的图像和数据，并将其展现在界面上。此时就能直观的评价出其抠图效果好坏。如果需要对多组数据进行横向比较，只需要在第一步骤中选择添加新的算法或第三方平台抠图推理预测的结果，经过第三至五步计算后就能以e
loss
排序方式在首饰抠图评价平台界面列表中展示给用户。同时，用户可以进行叠加比较和标注操作。
[0111]
以下参阅图5，对一种存储设备500的具体实施方式展开说明：
[0112]
一种存储设备500，其中存储有指令集，所述指令集用于执行：获取目标图片，对所述目标图片进行抠图处理得所述目标图片对应的掩膜图。具体可为：图片标准库是根据特定垂直行业对图像抠图特点的不同要求建立的一套能真实评测特定行业图片抠图效果的标准图片库，标准图片库中覆盖特定行业图片图像的各类特征和相应的掩膜图。从图片标准库中选择一张目标图片进行抠图处理，抠图处理可以是一个独立的算法也可以是一个服务平台。抠图处理完成后会获得目标图片对应的掩膜图。如果得到的是已拟合的图片，则可以提取其alpha通道生成对应的掩膜图用于后续计算。
[0113]
通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行处理得目标数据，所述目标数据包括：缺陷数据。其中所述目标数据还包括：roi和损失数据；通过对图片原始掩膜数据的区域进行计算，得图片roi区域。通过对图片原始掩膜数据和抠图处理后的掩膜图数据进行计算，得缺陷数据。根据所述缺陷数据和所述roi进行图片缺陷率计算得损失数据。具体还可以为：
[0114]
通过对图片原始掩膜数据的区域计算，可以获得图片roi区域，用于计算单位区域内缺陷率。利用抠图处理获得的图片掩膜图和图片原始掩膜图数据进行计算，得出抠图效果缺陷数据，缺陷数据包含多抠或少抠的效果信息，以及计算获得缺陷掩膜。进一步将缺陷数据和roi数据进行图片缺陷率计算并得到一损失数据，该损失数据，在数学上反应其抠图效果的好坏，可以用于排序比对等。
[0115]
对所述缺陷数据进行归一化处理和色彩投射，得可视化缺陷图像；进行可视化界面展示，界面展示的内容包括：缺陷图像。具体可为：缺陷计算获得的数据是一组矩阵数据，需要对其进行归一化和色彩投射处理才能获得可视化的缺陷图像。色彩透射即是将归一化的透色到以某一锚点为中心，左右两侧对称的hvs色系上，然后再转换成rgb格式。缺陷图像和缺陷掩膜进行拟合就生成一张可视化的热力图评价图像。
[0116]
进一步的，所述指令集还用于执行：所述进行可视化界面展示，还包括：对同张图片不同处理方式的抠图效果进行排序比对显示，和/或显示损失数据值；所述不同处理方式包括：不同算法和/或不同第三方平台。具体可为：经过色彩投射处理后的缺陷图像，可以在界面上进行展示，并可标注起抠图处理和标准图图片之间的差距情况(即显示损失数据值)。可以就同张图片多个算法或平台的抠图效果进行横向排序比对。
[0117]
通过上述存储设备500，利用程序算法的方式将抠图处理后的掩膜图和标准掩膜图进行缺陷计算，并通过色彩投射出人眼可评估的热力图图像。使得人眼可以对抠图效果进行直观评价。
[0118]
进一步的，兼具针对不同算法和第三方平台的抠图处理效果进行横向比较的功能。并且可以通过可视化操作的方式或通过数学损失的方式进行比对。使得抠图处理效果可以一目了然。
[0119]
上述所提及的首饰图像抠图处理的例子同样能够用在上述存储设备500中，对此不做重复说明。
[0120]
最后需要说明的是，尽管在本技术的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本技术的专利保护范围。凡是基于本技术的实质理念，利用本技术说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本技术的专利保护范围之内。