拼图版式整理方法及其装置、设备、介质、产品与流程

1.本技术涉及电商信息技术，尤其涉及一种拼图版式整理方法及其装置、设备、介质、产品。


背景技术：

2.在电商平台中，商家往往需要制作商品的图像进行宣传广告，有限的广告展示空间通常希望能够展示丰富的推广信息，通过将多种商品的商品图片构造为拼图，可以达到这一目的。
3.传统生产拼图的方式，无论是信赖人工还是自动合成，多种多样，但最终每个商家会积累出海量的拼图，非常杂乱，会影响商家用户对拼图的检索效率，但目的未见对拼图进行自动分类的相关方案，导致商家想要参考历史拼图或者整理历史拼图时，均会浪费不必要的人力物力。可见，拼图的维护是容易被忽视但却不应忽视的技术环节。
4.此外，电商平台在为商家提供的拼图的辅助技术中，除了提供工具供商家用户合成拼图之外，也未见对拼图做深度的应用，相关拼图多是静态形式呈现，只用于向用户展示静态信息，功能单一，进一步导致拼图的维护价值下降，也是导致针对拼图维护的技术方案稀少的原因。


技术实现要素：

5.本技术的目的在于解决上述问题而提供一种拼图版式整理方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
6.根据本技术的一个方面，提供一种拼图版式整理方法，包括如下步骤：
7.获取拼图库中的拼图，将其转换为灰度图，所述拼图包含多个商品图片；
8.检测确定所述拼图的边缘信息，获得相应的边缘特征图；
9.将所述灰度图与所述边缘特征图构造为多通道图像数据，输入预设的版式归类模型中，预测出所述拼图相对应的版式类别；
10.将预测出的版式类别确定为所述拼图的索引类别。
11.可选的，检测确定所述拼图的边缘信息，获得相应的边缘特征图，包括：
12.采用预设的边缘检测算法对所述拼图实施边缘检测，获得表示所述拼图的边缘信息的边缘特征图；
13.或者，
14.采用预设的图像分割模型检测所述拼图的边缘信息，获得表示所述拼图的边缘信息的边缘特征图。
15.可选的，将所述灰度图与所述边缘特征图构造为多通道图像数据，输入预设的版式归类模型中，预测出所述拼图相对应的版式类别，包括：
16.将所述灰度图和边缘特征图统一为相同规格的图像，获取其各自的图像数据；
17.将所述灰度图和边缘特征图相对应的图像数据作为不同通道进行拼接，获得多通
道图像数据；
18.采用所述版式归类模型提取所述多通道图像数据的深层语义信息，根据所述深层语义信息分类映射至预设的版式分类空间，获得所述版式分类空间中各个版式类别相对应的分类概率；
19.确定所述版式分类空间中分类概率最大的版式类别为所述拼图相对应的版式类别。
20.可选的，所述版式归类模型被预先训练，其训练过程包括：
21.调用拼图数据集中单张拼图相对应的多通道图像数据作为训练样本，以及该拼图相对应预先标注的版式类别作为监督标签；
22.将所述训练样本输入所述版式归类模型预测出映射到预设的版式分类空间中各个版式类别相对应的分类概率作为分类结果；
23.采用所述监督标签计算所述分类结果的损失值，在损失值表征所述版式归类模型未收敛时对该模型梯度更新，且调用所述拼图数据集中的下一训练样本继续实施迭代训练，直到所述模型达到收敛状态为止。
24.可选的，调用拼图数据集中单张拼图相对应的多通道图像数据作为训练样本之前，包括：
25.从商品数据库中获取不同品类的商品的商品图片构建素材集，每个品类获得一个商品图片集，且其中对应多种商品中的每一种商品包含多个商品图片，所述商品图片仅包含单商品的图像内容且无拼图信息；
26.按照预设的版式分类空间中各个版式类别的样式，为每个版式类别随机组合所述素材集中的不同商品的商品图片而合成出该版式类别相对应的多个拼图；
27.将全部合成而得的拼图关联其版式类别构成为映射关系数据存储于拼图数据集中。
28.可选的，为每个版式类别随机组合所述素材集中的不同商品的商品图片而合成出该版式类别相对应的多个拼图，包括：
29.针对需要对应目标版式类别合成的一张目标拼图，获取构成该目标拼图的素材的多个商品图片，所述目标版式类别中包含一个主图区域和多个子图区域；
30.将所述多个商品图片中的一个商品图片填充至所述主图区域，将其他商品图片填充至各个子图区域，且随机设置所述各个子图区域有无间隔线；
31.随机调整所述多个商品图片的像素亮度；
32.按照所述目标版式类别的样式将所述多个商品图片合成为所述目标拼图。
33.可选的，将预测出的版式类别确定为所述拼图的索引类别之后，包括：
34.将所述拼图及其配置信息推送至用户的终端设备显示，所述配置信息预先生成，包含所述拼图中的各个商品图片的来源商品的链接；
35.由所述终端设备解析所述配置信息将所述拼图中的商品图片转换为可操作控件，且为所述商品图片添加其相应的来源商品的链接；
36.由所述终端设备响应作用于任意一个所述的可操作控件的触控指令，跳转加载该可操作控件相对应的来源商品的链接。
37.根据本技术的另一方面，提供一种拼图版式整理装置，包括：
38.拼图获取模块，设置为获取拼图库中的拼图，将其转换为灰度图，所述拼图包含多个商品图片；
39.边缘检测模块，设置为检测确定所述拼图的边缘信息，获得相应的边缘特征图；
40.版式预测模块，设置为将所述灰度图与所述边缘特征图构造为多通道图像数据，输入预设的版式归类模型中，预测出所述拼图相对应的版式类别；
41.索引设置模块，设置为将预测出的版式类别确定为所述拼图的索引类别。
42.根据本技术的另一方面，提供一种拼图版式整理设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述的拼图版式整理方法的步骤。
43.根据本技术的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的拼图版式整理方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。
44.根据本技术的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本技术任意一种实施例中所述方法的步骤。
45.相对于现有技术，本技术针对拼图库中的拼图，在获取其灰度图及边缘特征图的基础上构造出多通道图像数据，然后采用版式归类模型对所述多通道图像数据提取深层语义信息，在深层语义信息的基础上预测出所述拼图的版式类别，实现对拼图的归类整理，方便对拼图库中海量的拼图进行有序索引，能提升对拼图的检索和利用效率，适于电商平台中使用。其中，由于版式归类模型所依赖的图像数据主要是来源于拼图的灰度图及其边缘特征图，两者均可表示为二值化信息，数据量远小于彩色图像数据，对系统存储和运行空间占用低，可确保版式归类模型高效运行，特别适用于处理大量拼图数据，完成海量拼图的快速整理。
附图说明
46.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1为本技术的技术方案的应用环境的网络架构示意图；
48.图2为本技术的拼图版式整理方法的一种实施例的流程示意图；
49.图3为本技术示例性的n+1拼图大类中n＝3时所确定的四个版式类别相对应的拼图示例；
50.图4为本技术示例性的2m+1拼图大类中m＝3时所确定的四个版式类别相对应的拼图示例；
51.图5为本技术示例性的l+1拼图大类中所确定的四个版式类别相对应的拼图示例；
52.图6为本技术示例性的2+3拼图大图及s宫格图拼图大类所确定的共四个版式类别相对应的拼图示例；
53.图7为本技术的版式归类模型示例性采用的网络架构的示意图；
54.图8为本技术实施例中版式类别识别过程的流程示意图；
55.图9为本技术实施例中版式归类模型的训练过程的流程示意图；
56.图10为本技术实施例中构造拼图数据集的过程的流程示意图；
57.图11为本技术实施例中自动生成单张拼图的过程的流程示意图；
58.图12为本技术实施例中应用拼图实现交互功能的过程的流程示意图；
59.图13为本技术的拼图版式整理装置的原理框图；
60.图14为本技术所采用的一种拼图版式整理设备的结构示意图。
具体实施方式
61.本技术中所引用或可能引用到的模型，包括传统机器学习模型或深度学习模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
62.请参阅图1，本技术一种示例性的应用场景所采用的网络架构，包括终端设备80、独立站服务器81和应用服务器82，所述应用服务器82可用于部署拼图版式整理服务，所述拼图版式整理服务通过运行根据本技术的拼图版式整理方法实现的计算机程序产品并开放相应的接口来提供服务。所述独立站服务器81可用于部署并开放电商服务的线上店铺，所述终端设备80上的用户可以在所述线上店铺的页面中提交拼图给独立站服务器81，独立站服务器81将所述拼图存储至其自身的拼图库中，进一步调用所述应用服务器82的拼图版式整理服务提供的相应接口向其提交所述拼图，获得所述拼图的版式类别，实现对所述拼图的归类。终端设备后续便可通过版式类别索引访问所述独立站的拼图库中属于该版式类别的拼图。
63.需要指出的是，图1的应用场景仅是给出一种平台化部署的示例，在另外一些示例性的实施例中，根据本技术的拼图版式整理方法实现的计算机程序产品也可以运行于任意具备足够算力的计算机设备中，执行所述方法的各个步骤，而实现所述拼图版式整理服务。例如，可以运行于所述终端设备80或独立站服务器中而提供所述拼图版式整理服务。
64.请参阅图2，根据本技术提供的一种拼图版式整理方法，在其一个实施例中，包括如下步骤：
65.步骤s1100、获取拼图库中的拼图，将其转换为灰度图，所述拼图包含多个商品图片；
66.示例性的应用场景是基于独立站的电商平台中，各个独立站所架设的线上店铺相对应的拼图库的整理场景。每个独立站通常会为其线上店铺的商家用户提供一个拼图库，在其中以文件的形式存储该商家用户为其线上店铺中的商品设计的拼图。所述拼图包括多个商品图片，所述商品图片一般是来源于不同商品的，由此可以通过单张拼图展示多个商品。当然，在一些实施例中，所述拼图中的多个商品图片也可以是相同商品不同视角或不同细节的图片。
67.为了方便商品生成拼图，可以按照不同版式预先制定版式模板，商家用户便可借助图像处理工具自动或手动地根据版式模板进行多个商品图片的拼装，获得相应的拼图。不同的版式模板可以对应不同的版式类别，由所有版式类别构成一个版式分类空间。一般来说，商家用户可以在版式分类空间中选定一个版式类别相对应的版式模板，来制作拼图。
68.商家用户所生成的拼图可以存储于其独立站的拼图库中，但是拼图库中的拼图未必都是依照版式类别套用相应的版式模板生成的，因而，部分拼图在拼图库中可能无法有效进行归类，导致拼图库中的拼图存储方式较为杂乱，因此可对这些未正确归类的拼图进行版式类别的识别后再在拼图库中归类，实现拼图库整理的目的。
69.对于需要识别版式类别的拼图，可以从拼图库中先调用出该拼图，然后，先将其转换为灰度图，灰度图可以有效减少拼图的数据量，从而减少后续处理的运算量，提升版式类别识别的效率。
70.所述版式分类空间中的版式类别数量可以设计得较为丰富，例如，一个实施例中，可以设计出如下各大类别，分别是：n+1拼图、2m+1拼图、3p+1拼图、l+1拼图、2+3拼图、s宫格拼图，其中的字母指代不同数字，从而带字母的大类实际上可以细分为更多版式类别，例如：
71.n+1拼图大类中，1表示在所生成的拼图中显要显示的主图，n可灵活设定，例如有n＝2,3,4,5,6,7,8共7种可能，主图的位置有上、下、左、右共4种可能，由此可见，该大类中实际包括4*7＝28种版式类别。如图3所示，是n＝3为示例的4种拼图版式。
72.2m+1拼图大类中，1表示在所生成的拼图中显要显示的主图，m可灵活设定，m＝2,3,4,5,6,7,8共7种可能，主图的位置同样有上、下、左、右共4种可能，由此可见，该大类中实际包括4*7＝28种版式类别。如图4所示，是m＝3为示例的4种拼图版式。
73.l+1拼图大类中，1表示在所生成的拼图中显要显示的主图，m可灵活设定，l＝5,7,9共3种可能，主图的位置有上、下、左、右共4种可能，故本大类有3*4个版式类别。如图5所示，是l＝3为示例的4种拼图版式。
74.2+3拼图大类中仅包含单独一个版式类别。
75.s宫格拼图大类中，有s＝4,6,9共3种可能，因而共有3个版式类别，如图6所示，分别是2+3拼图、四宫格图、六宫格图、九宫格图的拼图版式示例。
76.由此可见，版式分类空间中所包含的版式类别可以非常多，如果依赖于人工对拼图库中海量的拼图进行分类整理，其工作量极巨，因而借助技术手段来处理是非常必要的。
77.步骤s1200、检测确定所述拼图的边缘信息，获得相应的边缘特征图；
78.出于为版式类别识别提供关键参考信息的考虑，对于需要识别版式类别的所述拼图，进一步采用任意已知的边缘检测手段来检测所述拼图的边缘信息，相应获得所述拼图的边缘特征图。
79.一种实施例中，应用步骤s1210、采用预设的边缘检测算法对所述拼图实施边缘检测，获得表示所述拼图的边缘信息的边缘特征图：
80.具体而言，可以采用canny边缘检测算法、sobel边缘检测算法等算法类检测手段，来获取所述的边缘特征图，此类算法基于数学计算来实现边缘特征的提取，具有速度快，检测准确的特点，可以满足需求。
81.另一实施例中，应用步骤s1220、采用预设的图像分割模型检测所述拼图的边缘信息，获得表示所述拼图的边缘信息的边缘特征图：
82.具体而言，预先训练一个基于深度学习的图像分割模型，在所述拼图的基础上提取其边缘特征相对应的掩膜以表征其边缘特征，将其掩膜作为所述边缘特征图使用。所述图像分割模型，推荐使用u-net系列的已知模型，采用足量相应的训练样本对图像分割模型
实施训练至收敛状态，使其习得正确提取拼图的边缘特征而获得相应的掩膜作为边缘特征图即可。采用图像分割模型提取所述拼图的边缘特征，更为智能，且适于处理海量数据。
83.通过边缘检测获得的边缘特征图，能够给出所述拼图中的各个商品图片的边缘纹理信息，为灰度图增强语义，可使后续的版式归类模型获得更精准的特征表示。
84.步骤s1300、将所述灰度图与所述边缘特征图构造为多通道图像数据，输入预设的版式归类模型中，预测出所述拼图相对应的版式类别；
85.所述版式归类模型，是适应本技术所需而专门训练的深度学习模型，基于神经网络模型而构建。所述版式归类模型经采用足量的训练样本预先训练至收敛状态，使其习得根据同一张拼图的灰度图及其边缘特征图预测出相对应的版式类别即可投入使用。
86.图7是所述的版式归类模型的示例性网络架构，其包括一个图像编码器和一个分类器，其中的图像编码器可采用任意适于实现图像数据的特征表示的神经网络模型来构造，例如卷积神经网络(convolutional neural network，cnn)、残差网络(residual network,resnet)、vision transformer、swin transformer等；其中的分类器，可采用softmax函数构造的多分类器，该分类器的分类空间与所述版式分类空间完全对应，也即其中包括与版式分类空间的全部版式类别一一对应的各个分类。
87.由于基于所述拼图获得了其灰度图和边缘特征图两路图像数据，一般而来，基于同一拼图获得的两路图像数据在图像尺度上的规格是统一的，否则，可以先将两者统一为相同规格。然后，将相同规格的灰度图和边缘特征图拼接为多通道图像数据，输入所述图像编码器，由图像编码器提取所述多通道图像数据的深层语义信息，再由所述分类器将所述深层语义信息全连接后映射到所述版式分类空间，在其中的输出层借助softmax函数计算出其映射到各个版式类别相对应的分类概率，将其中分类概率最大的版式类别确定为所述拼图的版式类别。
88.步骤s1400、将预测出的版式类别确定为所述拼图的索引类别。
89.所述拼图库中的每张拼图均可以按照以上的过程确定出其相对应的版式类别，当然也可以是响应于实时提交的任意一张拼图进行以上过程的处理而确定出其版式类别，以便以版式类别为索引类别，建立对相关拼图的索引。
90.一个实施例中，对应所述拼图库，建立一个索引表格，在其中将版式类别与对应该版式类别的全部拼图建立映射关系，由此，便可通过版式类别快速查阅该版式类别相对应的全部拼图。
91.进一步的实施例中，可以在版式类别的基础上，利用版式类别与其拼图大类的关系，再设置一层上级索引，上级索引以拼图大类为项，拼图大类之下再归集其下的各个版式类别，再由各个版式类别对应到各个拼图。由此可建立更为系统的拼图归类架构。
92.一种实施例中，可以按照所述拼图归类架构设置目录架构重新存储所述拼图库中的各个拼图，使得各个版式类别的拼图按照拼图大类、版式类别进行归类存储。
93.又一实施例中，所述各个拼图在所述拼图库中可以其数据摘要设置文件名，然后，索引表格可以存储所述版式类别到其相应的拼图的文件名之间的映射关系数据，以此提升检索效率。
94.再一实施例中，在获得拼图制作工具的支持的条件下，允许商家用户会预先生成用于识别版式类别的拼图的配置信息，这些配置信息可以与所述拼图关联提供或存储，所
述配置信息中，包括其相应的拼图中的各个商品图片在所述拼图中的位置信息以及所述商品图片的来源商品的链接。对于这些配置信息，在建立所述索引表格时，也可以将所述配置信息与其相应的拼图关联设置于索引表格中，或者，将配置信息存储为独立文件，同样以其相应的拼图的文件名命名，实现两者的对应关系，由此，当以一个文件名调用一张拼图时，同理也可以该文件名调用该拼图相应的配置信息。
95.根据以上实施例可知，本技术针对拼图库中的拼图，在获取其灰度图及边缘特征图的基础上构造出多通道图像数据，然后采用版式归类模型对所述多通道图像数据提取深层语义信息，在深层语义信息的基础上预测出所述拼图的版式类别，实现对拼图的归类整理，方便对拼图库中海量的拼图进行有序索引，能提升对拼图的检索和利用效率，适于电商平台中使用。其中，由于版式归类模型所依赖的图像数据主要是来源于拼图的灰度图及其边缘特征图，两者均可表示为二值化信息，数据量远小于彩色图像数据，对系统存储和运行空间占用低，可确保版式归类模型高效运行，特别适用于处理大量拼图数据，完成海量拼图的快速整理。
96.在本技术任意实施例的基础上，请参阅图8，将所述灰度图与所述边缘特征图构造为多通道图像数据，输入预设的版式归类模型中，预测出所述拼图相对应的版式类别，包括：
97.步骤s1310、将所述灰度图和边缘特征图统一为相同规格的图像，获取其各自的图像数据；
98.当采用不同工具制作需要确定版式类别的所述拼图的灰度图和边缘特征图时，例如所述灰度图直接在所述拼图的基础上转换生成，但所述边缘特征图采用只能产出特定规格的结果图像的边缘特征检测手段生成，针对此类情况，灰度图和边缘特征图的尺度可能不统一，而适应版式归类模型的输入则需将两者统一到相同尺度规格，因此，在此处可适应版式归类模型中的图像编码器的入参要求而将所述灰度图和边缘特征图统一为相同规格的图像，从而获得相同规格下所述灰度图和边缘特征图相对应的图像数据。
99.步骤s1320、将所述灰度图和边缘特征图相对应的图像数据作为不同通道进行拼接，获得多通道图像数据；
100.灰度图的图像数据和边缘特征图的图像数据，实际上是不同通道的数据，因而，可以将两者以不同通道进行特征拼接，从而获得同一多通道图像数据，实际上也是适应所述版式归类模型中的图像编码器的入参要求而提供相应的图像数据。
101.步骤s1330、采用所述版式归类模型提取所述多通道图像数据的深层语义信息，根据所述深层语义信息分类映射至预设的版式分类空间，获得所述版式分类空间中各个版式类别相对应的分类概率；
102.如前所述，版式归类模型中的图像编码器获得所述多通道图像数据后，便对其提取深层语义信息，获得相应的特征表示，再将该特征表示输入至分类器中，所述分类器通过全连接层将所述特征表示映射到其输出层，在输出层中采用softmax函数计算出所述深层语义信息映射到所述版型分类空间中各个版式类别相对应的分类概率，作为分类结果。
103.一个实施例中，可以优选swintransformer用作所述的图像编码器，用于为所述多通道图像数据提取深层语义信息，swintransformer可以将所述多通道图像数据切分为多个图块，在图块的基础上进行分层卷积，通过窗口注意力和移窗操作，高效而精准地提取出
所述多通道图像数据中的深层语义信息。
104.无论如何，版式归类模型的图像编码器在边缘特征图的帮助下对灰度图提取深层语义信息，能够迅速捕捉出拼图中各个商品图片的整体轮廓，运算量小，获取结果高效，对于处理海量拼图的场景，其效率优势明显。
105.步骤s1340、确定所述版式分类空间中分类概率最大的版式类别为所述拼图相对应的版式类别。
106.根据多通道图像数据映射出的分类结果中，分类概率最大的版式类别，便可确认为相应的拼图所应归属的版式类别，从而达到确定所述拼图的版式类别的效果。
107.一种实施例中，可以进一步设置一个预设阈值，当且仅当所述分类结果中的最大分类概率高于所述预设阈值时，才将该最大分类概率相对应的版式类别确定为所述拼图的版式类别。由此可以过滤掉一些最大分类概率过低的情况，也即，当最大分类概率低于根据经验或实测所确定的所述预测阈值时，表明版式归类模型无法正确识别出相应的拼图的版式类别，虽然获得一个最大分类概率，但这个最大分类概率是不可置信的，因而不应采用。由此，避免出现误归类的情况。对于未能有效识别出版式类别的拼图，可以将其标记出来，后续提供给人工识别即可。
108.根据以上实施例可知，在灰度图和边缘特征图的基础上，借助版式归类模型来识别拼图所属的版式类别，更为高效快速，利于处理海量拼图数据，对于存在大量拼图的拼图库的归类整理来说，能够取得明显的规模经济效应。
109.在本技术任意实施例的基础上，请参阅图9，所述版式归类模型被预先训练，其训练过程包括：
110.步骤s2100、调用拼图数据集中单张拼图相对应的多通道图像数据作为训练样本，以及该拼图相对应预先标注的版式类别作为监督标签；
111.为了训练本技术的版式归类模型，预备一个拼图数据集，所述拼图数据集可以包含自动生成的各种版式类别的拼图，也可以包含人工编辑生成的各种拼图，只要相应标注其版式类别即可。此外，为便于对版式归类模型实施训练，还可以预先制备好各个拼图的灰度图及其边缘特征图构成其多通道图像数据，以便作为训练样本快速调用。在一些实施例中，所述灰度图和边缘特征图当然也可以在具体调用拼图的阶段再行制备，其制备方式可同前文各实施例所述，恕不赘述。
112.当需要对所述版式归类模型实施一次迭代训练时，可从所述拼图数据集中调用单张拼图，获得其相对应的多通道图像数据，也即其灰度图和边缘特征图，作为训练样本，同时获取其预标注的版式类别作为监督标签，以便输入所述版式归类模型实施一次迭代训练。
113.步骤s2200、将所述训练样本输入所述版式归类模型预测出映射到预设的版式分类空间中各个版式类别相对应的分类概率作为分类结果；
114.根据本技术前文所揭示的所述版式归类模型的工作原理可知，将所调用的训练样本输入所述版式归类模型之后，由其中的图像编码器提取出其中的图像特征相对应的深层语义信息，然后由分类器将该深层语义信息映射到预设的版式分类空间中，获得其对应各个版式类别的分类概率，构成分类结果。
115.步骤s2300、采用所述监督标签计算所述分类结果的损失值，在损失值表征所述版
式归类模型未收敛时对该模型梯度更新，且调用所述拼图数据集中的下一训练样本继续实施迭代训练，直到所述模型达到收敛状态为止。
116.对于每个训练样本获得的分类结果，进一步采用该训练样本相对应的监督标签计算损失值，损失值采用交叉熵损失公式进行计算即可，所述损失值实际上表征分类结果与监督标签之间的偏差程度，据此，可以出于追求损失值最小化的目的而预设一个用于校验版式归类模型是否收敛的阈值，在所述损失值达到所述阈值时，表明版式归类模型达到收敛状态，无需继续迭代训练；在所述损失值未达到所述阈值时，表明版式归类模型尚未达到收敛状态，故此需要根据所述损失值对版式归类模型实施梯度更新，通过反向传播修正版式归类模型的各个环节的权重参数，使其进一步逼近收敛，然后，继续从所述拼图数据集中调用下一训练样本，继续对版式归类模型实施迭代训练，以此类推，直至版式归类模型达到收敛状态为止。
117.根据以上实施例可知，在版式归类模型的训练阶段，以灰度图和训练样本构成的多通道图像数据为输入，可以提升版式归类模型的整体训练效率，使其更容易快速训练至收敛状态。
118.在本技术任意实施例的基础上，请参阅图10，调用拼图数据集中单张拼图相对应的多通道图像数据作为训练样本之前，包括：
119.步骤s3100、从商品数据库中获取不同品类的商品的商品图片构建素材集，每个品类获得一个商品图片集，且其中对应多种商品中的每一种商品包含多个商品图片，所述商品图片仅包含单商品的图像内容且无拼图信息；
120.示例性的应用场景中，独立站均具有自身的商品数据库，其中存储其线上店铺中各个商品的商品信息，每个商品的所述商品信息包括该商品的多个商品图片及商品标题、商品价格之类，所述多个商品图片中一般会包括一个或多个主要展示图片，所述主要展示图片通常能较为全面地展示商品的卖点特征，因而，在获取商品的商品图片时，可优先选用其中的主要展示图片。通常商品图片优先选用非拼图的商品图片，确保所选用的商品图片中无拼图信息，而且仅包含单商品的图像内容。
121.为了构造本技术的拼图数据集，可以先利用所述商品数据库中的各个商品的商品图片来构建一个素材集，所述素材集中，按照商品品类进行组织，对于每个品类，从商品数据库中获取该品类下的多个商品的商品图片，每个商品可以对应获取多个商品图片，从而，每个品类可以获得一个商品图片集，商品图片集中的每个具体商品有多张商品图片，所有品类的商品图片集构成所述的素材集。
122.步骤s3200、按照预设的版式分类空间中各个版式类别的样式，为每个版式类别随机组合所述素材集中的不同商品的商品图片而合成出该版式类别相对应的多个拼图；
123.为了自动生成大量拼图，可以对应本技术的版式分类空间中的各个版式类别而设置各个版式类别相对应的样式，然后，套用这些样式，为每个版式类别随机选用不同商品的一张商品图片，从而获得多个商品相对应的多张商品图片，填充到相应的样式中，获得一张拼图。按照这样的方式，通过变换样式、变换品类、变换商品、变换商品图片等不同组合方式，获得海量的拼图，最终确保每个版式类别均有大量的拼图，且这些拼图包含同品类的多个商品的商品图片，也包含不同品类的多个商品的商品图片，使拼图的内容尽量多样化、广泛化，确保所自动生成的海量拼图能够涵盖各种可能的组合情况，起到泛化拼图特征的作
用。
124.步骤s3300、将全部合成而得的拼图关联其版式类别构成为映射关系数据存储于拼图数据集中。
125.将经过以上过程自动生成的海量的拼图，使用其对应的版式类别对其进行标注，从而构成映射关系数据，存储于本技术的拼图数据集中，由此便完成本技术的拼图数据集的构造，可以用于训练本技术的版式归类模型。
126.在一个实施例中，可以在自动生成的拼图的基础上，进一步对其进行转换，将该拼图转换为灰度图，以及进一步借助边缘特征检测手段，检测出所述拼图中的边缘特征图，然后将所述拼图的灰度图和边缘特征图构造为多通道数据，与所述拼图的版式类别建立映射关系存储于所述拼图数据集中，方便在训练所述版式归类模型时，直接调用所述拼图的多通道图像数据作为训练样本，省去在训练所述版式分类模型时个别制作多通道图像数据的环节。
127.在其他的实施例中，随着独立站中商家用户自行设计的拼图的增加，其拼图库中的拼图越来越丰富，在这种情况下，可以利用商家用户在后续自行制作的拼图用于循环训练本技术的版式归类模型，使该版式归类模型的训练不仅仅依赖于自动生成的拼图，而且可借助手动定制的拼图进一步泛化特征，从而进一步提升版式归类模型对拼图的版式类别的分辨能力，实现版式归类模型的升级迭代。
128.根据以上实施例可知，本技术的版式归类模型可以采用自动生成的拼图数据集中的拼图进行训练，而拼图数据集中的拼图可以采用预设的版式类别相对应的样式，结合独立站的商品数据集中的商品图片进行自动化生成，因而，版式类别模型的训练样本的制作成本非常低，并且所获得的拼图数据集能够全面涵盖各种拼图特征，实现特征泛化，更容易低成本地将版式归类模型训练至收敛状态，取得规模经济效应。
129.在本技术任意实施例的基础上，请参阅图11，为每个版式类别随机组合所述素材集中的不同商品的商品图片而合成出该版式类别相对应的多个拼图，包括：
130.步骤s3210、针对需要对应目标版式类别合成的一张目标拼图，获取构成该目标拼图的素材的多个商品图片，所述目标版式类别中包含一个主图区域和多个子图区域；
131.当需要自动合成一张拼图时，需要合成的拼图称为目标拼图，该拼图相对应的版式类别称为目标版式类别，据此，根据所述目标拼图所采用的版式类别的样式，所述样式中通常会设置一个主图区域和多个子图区域，分别用于填充不同的商品图片，由此，按照该样式所需的商品图片数量，从预备的素材集中调用出多个商品图片，这些商品图片可以是同品类商品的，也可以是不同品类商品的，通常，每个商品图片对应一个来源商品。
132.步骤s3220、将所述多个商品图片中的一个商品图片填充至所述主图区域，将其他商品图片填充至各个子图区域，且随机设置所述各个子图区域有无间隔线；
133.对于对应所述目标拼图所获取的多个商品图片，适应所述样式的主图区域，可以随机选取其中之一填充到该主图区域中，同理，对于各个子图区域，也可以相应随机填充所述多个商品图片中的其他各个商品图片。一些实施例中，在向样式中填充各个商品图片的过程中，需要适应所述主图区域和子图区域的实际尺寸对相应的商品图片做适当的缩放处理，以便使各个商品图片置入其相应的区域后，可以得到最好的展示效果。
134.进一步，考虑到有些拼图会为各个子图区域设置分隔线，即针对各个子图区域形
成外框轮廓线，这种情况下，可以采用随机的方式，对于生成的目标拼图，按照随机概率确定是否生成其中各个子图区域的间隔线。也即，对于所生成的大量目标拼图，其中部分的子图区域有外框轮廓线，而其余部分的子图区域则无外框轮廓线。
135.同理，其他实施例中，在生成所述目标拼图的间隔线时，还可以随机设置所述间隔线的线宽，在合理的线宽范围内随机取值，所述线宽范围例如可以是5至30个像素，从而使得所生成的海量的有外框轮廓线的目标拼图中，外框轮廓线精细不等，从而泛化拼图中的子图的外框轮廓线的多样化特征。
136.步骤s3230、随机调整所述多个商品图片的像素亮度；
137.进一步，还可以从商品图片的图像质量的角度来泛化各个目标拼图的特征，而考虑到版式归类模型所依据的素材主要是灰度图，无需考虑其颜色特征，因而，主要是通过随机调整目标拼图所采用的各个商品图片的像素亮度来实现这样的调整目的。示例而言，可以对同一张目标拼图所需的各个商品图片应用不同的像素亮度，具体可将需要调整像素亮度的商品图片中的各个像素乘以一个亮度系数，所述亮度系数可以在预设的一个数值空间范围内随机取值，示例而言，所述数值空间的范围可以是在[0.7,1.3]的区间范围之内。可见，通过调整目标拼图中各个商品图片的亮度，实现进一步泛化所生成的各个拼图的特征，从而可以提升版式归类模型的训练效率。
[0138]
在一些实施例中，可以先针对目标拼图所需的各个商品图片单独调整其像素亮度，再将调整好亮度的商品图片填充到相应的样式的各个区域中，在此基础上再随机设置是否添加间隔线，由此可避免像素亮度调整对间隔线产生的影响，对此，本领域技术人员可灵活调节。
[0139]
步骤s3240、按照所述目标版式类别的样式将所述多个商品图片合成为所述目标拼图。
[0140]
在完成各个商品图片及整张目标拼图的特征泛化处理，也即调整像素亮度或者设置是否添加间隔线后，便可按照该样式的布局，将所有商品图片按照所述样式的布局进行图像拼接，从而生成相应的目标拼图。
[0141]
根据以上实施例可知，本技术在构造拼图数据集的拼图的过程中，通过多种方式泛化了所述拼图的特征，使整个拼图数据集所承载的拼图特征更为丰富，当将所述拼图数据集中的拼图作为训练样本用于训练本技术的版式归类模型时，通过丰富的泛化特征更容易将版式归类模型训练至收敛状态，使该版式归类模型能够辨析各种质量的拼图图像，而准确识别出拼图相对应的版式类别。
[0142]
在本技术任意实施例的基础上，请参阅图12，将预测出的版式类别确定为所述拼图的索引类别之后，包括：
[0143]
步骤s4100、将所述拼图及其配置信息推送至用户的终端设备显示，所述配置信息预先生成，包含所述拼图中的各个商品图片的来源商品的链接；
[0144]
如前所述，独立站在生成本技术的所述拼图用于推广时，可以一并预先生成所述拼图的配置信息，所述配置信息中，可以包含所述拼图中的各个区域的商品图片在所述拼图中的位置信息，以及其来源商品的链接，因此，所述配置信息可以用于为所述拼图中的各个区域创建交互控件。
[0145]
在用户访问独立站的某些推广页面时，独立站可以在该页面中插入所述的拼图，
并且将所述配置信息与所述页面一同推送到用户所在的终端设备中，以便由终端设备的浏览器进行解析显示。
[0146]
步骤s4200、由所述终端设备解析所述配置信息将所述拼图中的商品图片转换为可操作控件，且为所述商品图片添加其相应的来源商品的链接；
[0147]
所述终端设备接收到所述页面及配置信息后，对其进行解析，在浏览器加载页面的过程中，根据所述配置信息中的位置信息，对应到所述拼图中相应的区域，然后在该区域上方添加一个透明的可操作控件，并且将该可操作控件配置为可跳转至所述配置信息中与该位置信息相对应的链接，也即所述区域中的商品图片的来源商品的链接。不难理解，所述可操作控件具有人机交互能力，可以响应用户触控而执行链接的跳转功能。
[0148]
步骤s4300、由所述终端设备响应作用于任意一个所述的可操作控件的触控指令，跳转加载该可操作控件相对应的来源商品的链接。
[0149]
当所述页面完成解析并加载显示所述拼图之后，拼图上的可操作控件可供用户操作，用户可以触控其中的任意一个可操作控件，当其中任意一个可操作控件被用户触控后，便产生相应的触控指令，响应于该触控指令，所述可操作控件便触发访问其对应设置的链接的跳转请求，从而，向独立站进一步拉取所述链接所指向的来源商品的商品详情页面，实现通过拼图推广所述来源商品的目的。
[0150]
根据以上实施例可知，本技术进一步丰富了拼图的交互功能，使拼图不仅可以用于展示多种商品，而且还可以用于访问其中的任意一种商品的相关页面，在丰富了拼图的实用价值的基础上，进一步彰显拼图维护技术的技术价值，使本技术的技术方案所能取得的经济优势更为显著。
[0151]
请参阅图13，根据本技术的一个方面提供的一种拼图版式整理装置，包括拼图获取模块1100、边缘检测模块1200、版式预测模块1300，以及索引设置模块1400，其中，所述拼图获取模块1100，设置为获取拼图库中的拼图，将其转换为灰度图，所述拼图包含多个商品图片；所述边缘检测模块1200，设置为检测确定所述拼图的边缘信息，获得相应的边缘特征图；所述版式预测模块1300，设置为将所述灰度图与所述边缘特征图构造为多通道图像数据，输入预设的版式归类模型中，预测出所述拼图相对应的版式类别；所述索引设置模块1400，设置为将预测出的版式类别确定为所述拼图的索引类别。
[0152]
在本技术任意实施例的基础上，所述边缘检测模块1200，包括：第一检测单元，设置为采用预设的边缘检测算法对所述拼图实施边缘检测，获得表示所述拼图的边缘信息的边缘特征图；或者，第二检测单元，设置为采用预设的图像分割模型检测所述拼图的边缘信息，获得表示所述拼图的边缘信息的边缘特征图。
[0153]
在本技术任意实施例的基础上，所述版式预测模块1300，包括：格式化处理单元，设置为将所述灰度图和边缘特征图统一为相同规格的图像，获取其各自的图像数据；图像合并单元，设置为将所述灰度图和边缘特征图相对应的图像数据作为不同通道进行拼接，获得多通道图像数据；归类预测单元，设置为采用所述版式归类模型提取所述多通道图像数据的深层语义信息，根据所述深层语义信息分类映射至预设的版式分类空间，获得所述版式分类空间中各个版式类别相对应的分类概率；类别确定单元，设置为确定所述版式分类空间中分类概率最大的版式类别为所述拼图相对应的版式类别。
[0154]
在本技术任意实施例的基础上，本技术的拼图版式整理装置还包括用于实施对所
述版式归类模型的训练任务的如下构造，包括：样本调用模块，设置为调用拼图数据集中单张拼图相对应的多通道图像数据作为训练样本，以及该拼图相对应预先标注的版式类别作为监督标签；训练实施模块，设置为将所述训练样本输入所述版式归类模型预测出映射到预设的版式分类空间中各个版式类别相对应的分类概率作为分类结果；迭代决策模块，设置为采用所述监督标签计算所述分类结果的损失值，在损失值表征所述版式归类模型未收敛时对该模型梯度更新，且调用所述拼图数据集中的下一训练样本继续实施迭代训练，直到所述模型达到收敛状态为止。
[0155]
在本技术任意实施例的基础上，先于所述样本调用模块，包括：素材获取模块，设置为从商品数据库中获取不同品类的商品的商品图片构建素材集，每个品类获得一个商品图片集，且其中对应多种商品中的每一种商品包含多个商品图片，所述商品图片仅包含单商品的图像内容且无拼图信息；拼图生成模块，设置为按照预设的版式分类空间中各个版式类别的样式，为每个版式类别随机组合所述素材集中的不同商品的商品图片而合成出该版式类别相对应的多个拼图；拼图存储模块，设置为将全部合成而得的拼图关联其版式类别构成为映射关系数据存储于拼图数据集中。
[0156]
在本技术任意实施例的基础上，所述拼图生成模块，包括：图片引用单元，设置为针对需要对应目标版式类别合成的一张目标拼图，获取构成该目标拼图的素材的多个商品图片，所述目标版式类别中包含一个主图区域和多个子图区域；初始合成单元，设置为将所述多个商品图片中的一个商品图片填充至所述主图区域，将其他商品图片填充至各个子图区域，且随机设置所述各个子图区域有无间隔线；细节调整单元，设置为随机调整所述多个商品图片的像素亮度；合成执行单元，设置为按照所述目标版式类别的样式将所述多个商品图片合成为所述目标拼图。
[0157]
在本技术任意实施例的基础上，后于所述索引设置模块1400，包括：拼图推送模块，设置为将所述拼图及其配置信息推送至用户的终端设备显示，所述配置信息预先生成，包含所述拼图中的各个商品图片的来源商品的链接；控件构造模块，设置为由所述终端设备解析所述配置信息将所述拼图中的商品图片转换为可操作控件，且为所述商品图片添加其相应的来源商品的链接；触控响应模块，设置为由所述终端设备响应作用于任意一个所述的可操作控件的触控指令，跳转加载该可操作控件相对应的来源商品的链接。
[0158]
本技术的另一实施例还提供一种拼图版式整理设备。如图14所示，拼图版式整理设备的内部结构示意图。该拼图版式整理设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该拼图版式整理设备的计算机可读的非易失性可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种拼图版式整理方法。
[0159]
该拼图版式整理设备的处理器用于提供计算和控制能力，支撑整个拼图版式整理设备的运行。该拼图版式整理设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本技术的拼图版式整理方法。该拼图版式整理设备的网络接口用于与终端连接通信。
[0160]
本领域技术人员可以理解，图14中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的拼图版式整理设备的限定，具体的拼图版式整理设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不
同的部件布置。
[0161]
本实施方式中处理器用于执行图13中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的非易失性可读存储介质中存储有本技术的拼图版式整理装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。
[0162]
本技术还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本技术任一实施例的拼图版式整理方法的步骤。
[0163]
本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本技术任一实施例所述方法的步骤。
[0164]
本领域普通技术人员可以理解，实现本技术上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等计算机可读存储介质，或随机存储记忆体(random access memory，ram)等。
[0165]
综上所述，本技术通过预测出拼图的版式类别，实现对拼图的归类整理，方便对拼图库中海量的拼图进行有序索引，能提升对拼图的检索和利用效率，适于电商平台中使用。