一种结合视觉显著性的配色风格图色板提取方法

1.本发明属于一般的图像数据处理或产生小类索引通用图像数据处理的技术领域，特别涉及一种以深度学习和机器学习技术在织物花型设计行业应用的结合视觉显著性的配色风格图色板提取方法。


背景技术：

2.随着社会经济的发展，人们对织物花型的需求趋于个性化，织物花型设计行业的竞争日渐激烈，智能配色技术对花型设计的效率和收益影响巨大，已成为该行业的核心技术。配色风格图色板的自动化提取效果将直接影响智能配色的效率和最终结果，是智能配色的关键环节。
3.现有图像颜色提取方法主要有基于量化的颜色提取方法和基于特征建模的颜色提取方法。
4.基于量化的颜色提取方法主要关注于图像像素点的颜色信息，其中较为常用的有中位切分法、直方图分析法和基于聚类的方法；中位切分法在rgb颜色空间中进行切分，切分位置选择最长空间轴的中位数，反复切分直到满足要求，当颜色空间很大但是颜色较为稀疏时，会产生较大的误差；直方图分析方法常常和其他方法一起使用，根据统计结果找到重要的色调、饱和度、灰度值等信息来提取颜色，但该方法通常会产生冗余的结果；基于聚类的方法需要指定初始聚类中心的数量作为输入，通过反复迭代，使得每个类别中的数据样本距离该类别中心的距离和最小，但当颜色数据分布不均时该方法容易出现部分颜色缺失的情况。
5.而基于特征建模的颜色提取方法主要关注图像的特征，通过对这些特征进行建模来提取颜色，其中包括较为常用的高斯混合建模方法。该方法将一张图像的颜色分布看成是多个主要颜色的高斯分布的混合，将图像像素作为样本输入模型进行参数迭代，其中通常采用期望极大算法（em算法），最终得到多个主要颜色的分布模型，但是该方法在实施的时候存在处理速度较慢的问题。
6.现有技术中，申请号为201910598501.7的专利公开了一种基于人眼视觉的主题色提取方法，方法在rgb颜色空间中构建颜色图模型，在颜色图模型中建立像素点颜色间连接关系，利用louvain社区发现算法获得初始的主题色，最后利用数据驱动的方式获得与人眼视觉相似的排序主题色。虽然该方法通过构建线性方程拟合人眼提取颜色的规律，获得了与人眼相近似的颜色提取效果，但是在花型配色等实际应用场合难以获得符合设计师主观感受的标注数据集，应用场景有限。


技术实现要素：

7.本发明为了解决现有技术中存在的问题，提供了一种结合视觉显著性的配色风格图色板提取方法，可以快速提取配色风格图的主要颜色和视觉显著颜色，生成色板图，提供给智能配色算法使用。
8.本发明所采用的技术方案是，一种结合视觉显著性的配色风格图色板提取方法，所述方法包括以下步骤：步骤1：输入初始配色风格图p
orin
，一般来说，为rgb图样，进行预处理后得到配色风格图p
scale
；步骤2：对预处理后的配色风格图进行显著区域检测，得到显著区域p
roi
；步骤3：对检测到的显著区域p
roi
进行颜色提取；步骤4：基于显著区域p
roi
获得非显著区域p
nroi
，对非显著区域p
nroi
进行颜色提取；步骤5：将显著区域色板和非显著区域提取的颜色进行组合和调整；步骤6：生成配色色板。
9.优选地，所述步骤1中，以双线性插值方法将配色风格图p
orin
的分辨率缩放为w
×
h，得到缩放后的配色风格图p
scale
；一般来说，w的取值范围为[250, 1000]，h的取值范围为[250, 1000]。
[0010]
优选地，所述步骤2包括以下步骤：步骤2-1：以预训练完成的显著性检测网络模型对配色风格图p
scale
进行显著性检测，得到注意力图m0；“显著性”是指网络模型的输出结果分割出的是图像中的显著区域，即人眼看上去较明显的、能吸引人注意的区域；步骤2-2：以大津法处理注意力图m0，得到显著区域掩膜m1；步骤2-3：将配色风格图p
scale
转换到hsv空间，得到配色风格图p
hsv
；步骤2-4：以显著区域掩膜m1对配色风格图p
hsv
进行区域分割，得到配色风格图中的显著区域p
roi
。
[0011]
优选地，所述步骤3包括以下步骤：步骤3-1：对显著区域p
roi
的所有像素使用k-means算法进行颜色聚类，设置k1个聚类中心，k1为正整数；一般来说，k1的取值范围为[5, 20]；步骤3-2：将聚类得到的k1个聚类中心的像素值从hsv空间转换至rgb空间，得到显著区域p
roi
的色板颜色列表p1以及对应的色板像素点数量列表c1，其中p1包含k1个聚类中心的像素值，c1包含k1个聚类中心对应的像素点数量，p1中的像素值和c1中的像素点数量对应，即同属一个聚类结果，某一个像素值对应于以这个像素为聚类中心的类所包含的像素数量。
[0012]
优选地，所述步骤4包括以下步骤：步骤4-1：将步骤2-2中得到的显著区域掩膜m1取反，得到非显著区域掩膜m2，使用非显著区域掩膜m2对配色风格图p
hsv
进行区域分割，获得非显著区域p
nroi
，即配色风格图p
hsv
中除去显著区域p
roi
以外的部分。
[0013]
步骤4-2：对非显著区域p
nroi
的所有像素使用k-means算法进行聚类，设置k2个聚类中心，k2为正整数；一般来说，k2的取值范围为[8, 16]；步骤4-3：将聚类得到的k2个聚类中心像素值从hsv空间转换至rgb空间，得到非显著区域p
nroi
的色板颜色列表p2以及对应的色板像素点数量列表c2，其中p2包含k2个聚类中心的像素值，c2包含k2个聚类中心对应的像素点数量，p2中的像素值和c2中的像素点数量对应，即同属一个聚类结果，p2中的是类别的中心像素值，c2中的是对应类别的像素数量。
[0014]
优选地，所述步骤5中，提取显著区域p
roi
的颜色，获得色板颜色列表p1；提取非显
著区域p
nroi
的颜色，获得色板颜色列表p2；基于色板颜色列表p1和色板颜色列表p2，将显著区域色板和非显著区域提取的颜色进行组合和调整。
[0015]
优选地，所述步骤5包括以下步骤：步骤5-1：以两个像素值的rgb向量的欧氏距离衡量颜色的接近程度，设置距离阈值dis，dis大于0；一般来说，dis的取值范围为[10, 30]；步骤5-2：遍历色板颜色列表p1，在色板颜色列表p2中寻找与色板颜色列表p1中的任一颜色的向量欧氏距离小于dis的像素值，若存在，则将此颜色从p1中删除，并且将c1中属于该类颜色的像素数合并到c2中对应颜色的像素数中；步骤5-3：将显著区域色板像素点数量列表c1乘以权重wc，wc为正，一般来说，wc的取值范围为[1, 10]，再与非显著区域色板像素点数量列表c2合并，得到配色风格图整体的色板像素点数量列表c3；将显著区域色板颜色列表p1和非显著区域色板颜色列表p2合并，得到配色风格图整体的色板颜色列表p3，合并后p3中的像素值和c3中的像素点数量对应，即同属一个颜色类别。
[0016]
优选地，所述步骤5-2中，从p1中删除的颜色在非显著区域p
nroi
中存在，归类为非显著颜色。
[0017]
优选地，所述步骤6包括以下步骤：步骤6-1：对色板像素点数量列表c3中的像素点数量从大到小进行排序，根据排序结果相应调整色板颜色列表p3中的颜色顺序；步骤6-2：将p3中的颜色以条状按顺序填充到w
out
×hout
尺寸的色板画布中，一般以竖条状从左到右排列，每种颜色条的高度与画布一致，颜色条的宽度在画布的总宽度中的占比根据c3中每类颜色的像素点数量占比进行设置；为了方便后续智能配色使用，w
out
的取值范围为[512, 1024]，h
out
的取值范围为[512, 1024]；步骤6-3：将颜色填充后的色板画布作为配色色板输出。
[0018]
本发明涉及一种结合视觉显著性的配色风格图色板提取方法，输入初始配色风格图p
orin
后进行预处理，得到配色风格图p
scale
；对预处理后的配色风格图进行显著区域检测，得到显著区域p
roi
；对检测到的显著区域p
roi
进行颜色提取；基于显著区域p
roi
获得非显著区域p
nroi
，对非显著区域p
nroi
进行颜色提取；将显著区域色板和非显著区域提取的颜色进行组合和调整；生成配色色板。
[0019]
本发明的技术构思为，首先将输入的配色风格图缩放后送入预训练的显著性检测网络模型得到注意力图，并使用大津法处理注意力图得到显著区域掩膜；其次将缩放后配色风格图转换到hsv空间，并借助显著区域掩膜分割缩放后的配色风格图得到配色风格图中的显著区域，使用聚类算法对显著区域进行颜色聚类得到显著区域色板和对应的色板像素点数量表；接着将显著区域掩膜取反后对缩放后的配色风格图进行分割得到配色风格图中的非显著区域，同样使用聚类算法对非显著区域进行颜色聚类得到非显著区域色板和对应的色板像素点数量表；最后将显著区域色板和非显著区域色板进行组合，剔除显著区域色板中与非显著区域色板内容相近的颜色，并设置权重调整显著区域色板的比例，得到最终的配色色板。
[0020]
本发明的有益效果在于，结合了显著性检测对配色风格图进行颜色提取，克服了直接使用聚类算法容易出现的小面积显著颜色丢失的问题，使用权值对显著区域色板进行
了增强，提高了显著颜色在最终配色色板中的比例，有益于提升后续智能配色效果。
附图说明
[0021]
图1为本发明的流程框图；图2为本发明中的待处理配色风格图；图3为本发明中的配色风格图显著区域掩模图；图4为采用本发明的方法对图2进行色板提取后的效果图；图2和图4中，以引线标注的为当前色块的rgb值。
具体实施方式
[0022]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0023]
本发明色板提取的实施对象为各种常见的用于智能配色的配色风格图像，选用的处理平台为intel i9-11980hk、nvidia geforce rtx 3080 laptop和16g ram的组合，操作系统为windows 11。本发明的方法基于opencv图像处理函数库进行实现，包括resize、threshold、cvtcolor和kmeans、sort等函数。
[0024]
如图1所示，本发明涉及一种结合视觉显著性的配色风格图色板提取方法，按照如下步骤进行：(1)输入初始配色风格图p
orin
，进行预处理后得到配色风格图p
scale
；(2)对预处理后的配色风格图进行显著区域检测，得到显著区域p
roi
；(3)对检测到的显著区域p
roi
进行颜色提取；(4)基于显著区域p
roi
获得非显著区域p
nroi
，对非显著区域p
nroi
进行颜色提取；(5)将显著区域色板和非显著区域提取的颜色进行组合和调整；(6)生成配色色板。
[0025]
步骤(1)具体包括：输入一张rgb像素空间的配色风格图p
orin
，如图2所示。调用resize函数将输入的配色风格图的分辨率缩放为600
×
400，插值方式使用双线性插值，得到缩放后的配色风格图p
scale
。
[0026]
步骤(2)具体包括：(2-1) 先将步骤1中得到的配色风格图p
scale
送入现有预训练的u2-net显著性检测网络模型进行显著性检测，得到注意力图m0；显著性检测网络作为常见的神经网络，可选的模型不仅限于u2-net，本领域技术人员可以基于需求自行选择；(2-2) 调用threshold函数对注意力图m0使用大津法进行二值化，得到显著区域掩膜m1，如图3所示；(2-3) 调用cvtcolor函数将步骤1中得到的缩放后的配色风格图p
scale
的所有像素从rgb空间转换到hsv空间，得到配色风格图p
hsv
；(2-4) 使用步骤(2-2)中得到的显著区域掩膜m1对配色风格图p
hsv
进行区域分割，获得其显著区域p
roi
。
[0027]
步骤(3)具体包括：
ꢀ
(3-1) 调用kmeans函数对显著区域p
roi
的所有像素使用k-means算法进行聚类，设置8个聚类中心，迭代停止条件设置为误差小于0.01或者迭代次数超过100次，随机选择初始聚类中心；(3-2) 调用cvtcolor函数将聚类得到的8个聚类中心从hsv空间转换回rgb空间，得到配色风格图显著区域的色板颜色列表p1以及对应的色板像素点数量列表c1，其中p1包含8个聚类中心像素值，c1包含8个聚类中心对应的像素点数量，p1中的像素值和c1中的像素点数量相对应，同属一个聚类结果。
[0028]
步骤(4)具体包括：(4-1) 将步骤(2-2)中得到的显著区域掩膜m1取反，得到非显著区域掩膜m2，使用非显著区域掩膜m2对步骤(2-3)得到的配色风格图p
hsv
进行区域分割，获得非显著区域p
nroi
；(4-2) 调用kmeans函数对非显著区域p
nroi
的所有像素使用k-means算法进行聚类，设置8个聚类中心，迭代停止条件设置为误差小于0.01或者迭代次数超过100次，随机选择初始聚类中心；(4-3) 调用cvtcolor函数将聚类得到的8个聚类中心从hsv空间转换回rgb空间，得到配色风格图非显著区域的色板颜色列表p2以及对应的色板像素点数量列表c2，其中p2包含8个聚类中心像素值，c2包含8个聚类中心对应的像素点数量，p2中的像素值和c2中的像素点数量相对应，同属一个聚类结果。
[0029]
步骤(5)具体包括：将在步骤(3-2)中得到的配色风格图显著区域的色板颜色列表p1和在步骤(4-3)中得到的配色风格图非显著区域的色板颜色列表p2进行组合得到最终的配色图色板颜色列表p3，具体的方式如下：(5-1) 遍历显著区域色板颜色列表p1，在非显著区域色板颜色列表p2中寻找接近的颜色，使用两个rgb向量的欧氏距离来衡量颜色的接近程度；设定距离阈值dis等于15，将向量欧氏距离小于dis的两个颜色认定为相近；(5-2) 将步骤(5-1)中找到的相近颜色从p1中删除，并且将c1中属于该类颜色的像素数合并到c2中对应颜色的像素数中。因为该颜色在非显著区域中存在，所以将其重归类为非显著颜色；(5-3) 将显著区域色板像素点数量列表c1乘以权重wc(wc取5)，再与非显著区域色板像素点数量列表c2合并，得到配色风格图整体的色板像素点数量列表c3；将显著区域色板颜色列表p1和非显著区域色板颜色列表p2合并，得到配色风格图整体的色板颜色列表p3。合并后p3中的像素值和c3中的像素点数量相对应，同属一个颜色类别。
[0030]
步骤(6)具体包括：(6-1) 调用sort函数对配色风格图色板像素点数量列表c3从大到小进行排序，根据排序结果相应调整配色风格图色板颜色列表p3的颜色顺序；(6-2) 将p3中的颜色按顺序填充到1024
×
512尺寸的色板画布中，具体以竖条状从左到右排列，每种颜色条的高度都与画布一致，而颜色条的宽度在画布总宽度中的占比根据c3中每类颜色的像素点数量占比进行设置；(6-3) 将颜色填充后的色板画布作为配色色板图输出，如图4所示。