一种基于AIGC技术的拜访陈列指引建议生成方法及系统与流程

本发明涉及多模态理解生成，尤其涉及一种基于aigc技术的拜访陈列指引建议生成方法及系统。

背景技术：

1、人工智能在快消行业的落地应用，一直以来，市场需求都是主要导向。而以数字化为基础设施的商业模式、经营理念、营销策略、科学技术等，正在催化各行业迭代与发展，以元宇宙、gpt(generative pre-trained transformer,生成式预训练模型)、aigc(artificial intelligence generates content，人工智能生产内容)等为代表的新技术，让企业数字化变革迎来了最佳的契机。

2、在快消零售领域，为了更好的制定市场投放策略，零售商需要雇佣一批业务员经常对线下渠道的门店进行陈列拜访核查，以掌握商品在各终端门店的铺设及销售情况，并希望能及时对门店的商品陈列做针对性的调整，以应对市场需求的变动。然而零售商对旗下的业务员管理难度大，且在管理流程上命令的上达下行往往需要耗费大量时间，从业务员采集到门店陈列结果，到结果上传到管理平台，管理人员基于管理平台上的门店陈列结果进行分析，得到了门店陈列的优化建议，然后相关的陈列优化建议向下传递给基层的业务员，由业务员基于建议执行相应的陈列优化措施。整个流程中，已经有很多成熟的ai能力对门店陈列结果采集过程进行赋能，但对门店陈列的优化建议需要专业的管理人员进行分析制定，目前还没有较好的ai赋能解决方案，因为对于陈列的优化建议的专业性程度较高，需要制定人员具备专业的分析能力和多年的管理经验。然而在整个拜访流程中，信息在流程中传递时，需要的时间成本和资源成本较高，而且，因为信息传递需要经过的流程节点较多，容易在传播过程中损耗、失真甚至丢失，进而造成更大的损失。如何减少业务拜访过程中信息传递的损耗或信息不对称，是快消零售各大品牌商亟待解决的痛点。传统的做法是减少信息传递的中间过程，即业务员上报门店陈列结果后，不用经过层层的信息传递过程，就可以获得门店的陈列优化建议，进而执行优化措施。由于业务员的工作性质以及自身的素质与惰性，让基层业务员进行陈列优化建议的制定，与现实相悖，有点不太切合实际，一是基层业务员本身的能力有限，没有制定决策建议的能力；二是决策的制定者和执行者同属一个人，容易滋生作弊的腐败行为，且与管理的理念相悖。类似地，让管理人员执行拜访，不仅执行的成本高，而且有点大材小用，是一种资源浪费。所以，针对以上问题，提供一种具备陈列结果分析能力的，可以在业务员在拜访采集陈列结果时进行拜访陈列指引建议生成的方法具有重要意义。

技术实现思路

1、本发明提供了一种基于aigc技术的拜访陈列指引建议生成方法及系统，提高快消领域中的业务拜访效率。

2、为了解决上述技术问题，第一方面，本发明实施例提供了一种基于aigc技术的拜访陈列指引建议生成方法，包括：

3、获取移动终端上传的门店的商品陈列的图像数据；

4、根据预设的商品陈列识别模型，对所述图像数据进行识别，获得所述门店商品陈列的总结文本；

5、以预设的提示词格式将所述总结文本与所述门店的陈列协议、所述门店的历史商品销量报告组合成提示词；

6、将所述提示词输入预设的llm模型，获得与所述门店商品陈列对应的商品陈列建议，并将所述商品陈列建议传回所述移动终端；

7、所述llm模型是由初始llm模型基于商品陈列相关的语料数据进行训练获得。

8、本发明实施例提供了一种基于aigc技术的拜访陈列指引建议生成方法，首先使用商品陈列识别模型将业务员拍摄的商品陈列图像转换为文本数据，然后将文本数据以预设的提示词格式输入至llm模型生成相应的商品陈列建议，简化了在快消领域中从陈列拜访核查到给出陈列指引建议流程的一系列流程，使得业务员仅需拍摄上传商品陈列图像即可获得相应的商品陈列建议，提高了业务员的业务拜访效率。

9、进一步的，所述商品陈列识别模型是根据目标检测算法对所述门店的商品进行建模获得。

10、本发明实施例提供了一种商品陈列识别模型的建模方法，通过目标检测算法对所述门店的商品进行建模，使得所述商品陈列识别模型可以准确识别图像中的各种商品，将业务员上传的图像数据转换为文本，便于后续对商品的识别结果进行汇总。

11、在一种可能实现的方式中，所述llm模型是由初始llm模型基于商品陈列相关的语料数据进行训练获得，具体为：

12、收集商品陈列相关的语料数据，构建用于训练的语料数据库，其中，所述语料数据包括：历史商品信息、历史门店信息、历史陈列报表总结、历史陈列协议、历史门店销售数据和历史门店商品陈列建议；

13、根据所述提示词格式将所述语料数据库中的语料数据转换为提示词数据；

14、使用分词器对所述提示词数据进行分词、映射处理，将所述提示词数据转换为各个相应的数字序列，所述各个数字序列的集合作为微调指令数据集并对所述微调指令数据集中的每条数据人工标注答案；

15、基于所述微调指令数据集对所述初始llm模型进行训练，获得所述llm模型。

16、本发明实施例提供了一种基于商品陈列相关的语料数据对初始llm模型进行训练的方法，通过收集语料数据构建语料数据库，并经一系列处理操作将语料数据库转换为微调指令数据集，使用微调指令数据集对初始llm模型进行训练，使得训练后的llm模型具备对快消领域专业知识的理解能力和生成能力，可以根据快消领域的专业提示词生成相应的答案，为业务员提供陈列建议，提高业务员的业务拜访效率。

17、进一步的，基于所述微调指令数据集对所述初始llm模型进行训练，获得所述llm模型，具体为：

18、基于所述微调指令数据集通过有监督微调技术对所述初始llm模型进行训练，减少所述初始llm模型下游任务的可训练参数，获得第一llm模型；

19、将所述微调指令数据集输入所述第一llm模型，输出与所述微调指令数据集中的每条数据对应的初始机器答案，对各个所述初始机器答案进行人工评分后将各个所述机器答案输入初始奖励模型，获得与各个所述初始机器答案对应的初始机器评分；通过调整所述初始奖励模型的参数来调整所述初始奖励模型的评分结果，使所述初始奖励模型的评分结果接近所述人工评分的结果，获得第一奖励模型；

20、结合所述第一llm模型和所述第一奖励模型，构建强化学习模型，通过多次迭代对所述第一llm模型进行强化学习，在每次迭代中，将所述微调指令数据集输入所述强化学习模型，由所述第一llm模型输出与所述微调指令数据集中的每条数据对应的强化学习答案，并由第一奖励模型对各个所述强化学习答案进行评分，所述强化学习模型根据所述第一奖励模型的评分结果，更新所述第一llm模型的可训练参数，直到所述可训练参数的变化率低于预设的阈值，停止迭代，获得所述llm模型。

21、本发明实施例提供了一种基于微调指令数据集对初始llm模型进行训练的方法，首先通过有监督微调技术对所述初始llm模型进行初步训练，减少了初始llm模型下游任务的可训练参数，简化了模型的训练复杂度，缩短了后续对llm模型的可训练参数的调整时间，从整体上提高了对初始llm模型进行微调的效率。其次，使用所述第一llm模型生成答案后，分别由初始奖励模型和人工对答案进行评分，并将机器评分与人工评分进行对比，通过调整初始奖励模型的参数使得机器评分更接近与人工评分，使得初始奖励模型具有正确评价第一llm模型生成的答案的能力，获得第一奖励模型。在后续训练过程中可以用第一奖励模型代替人工评分，减少了大量的人工评分的工作量，提高了对初始llm模型进行训练的效率。最后，将第一llm模型与第一奖励模型结合，构建强化学习模型，对第一llm模型进行强化训练，进一步提高了第一llm模型对于快消领域中的专业知识的理解能力和生成能力，获得最终的llm模型，使其可以用于生成快消领域的陈列建议。

22、在一种可能实现的方式中，将所述提示词输入预设的llm模型，获得与所述门店商品陈列对应的商品陈列建议，并将所述商品陈列建议传回所述移动终端，具体为：

23、所述llm模型获取所述提示词后，使用分词器对所述提示词进行分词、映射处理，将所述提示词转换为对应的数字序列；

24、根据所述数字序列，计算出相应的数字答案序列；

25、以预设的回答格式将所述数字答案序列转换为与所述门店商品陈列对应的商品陈列建议进行输出；

26、将所述商品陈列建议传回所述移动终端。

27、本发明实施例提供了一种使用llm模型识别提示词并生成对应的商品陈列建议的方法，通过将提示词进行分词、映射处理，将提示词转换为模型可以接收的数字序列形式，llm模型接收所述数字序列后，计算出相应的答案数字序列，最后再将答案数字序列转换为文字形式，生成所述商品的陈列建议，实现了根据快消领域的专业提示词生成相应的答案，为业务员提供陈列建议，提高业务员的业务拜访效率。

28、第二方面，相应的，本发明实施例还提供了一种基于aigc技术的拜访陈列指引建议生成系统，包括获取模块、识别模块、提示词组合模块、答案生成模块和训练模块；

29、其中，所述获取模块用于获取移动终端上传的门店的商品陈列的图像数据；

30、所述识别模块用于根据预设的商品陈列识别模型，对所述图像数据进行识别，获得所述门店商品陈列的总结文本；

31、所述提示词组合模块用于以预设的提示词格式将所述总结文本与所述门店的陈列协议、所述门店的历史商品销量报告组合成提示词；

32、所述答案生成模块用于将所述提示词输入预设的llm模型，获得与所述门店商品陈列对应的商品陈列建议，并将所述商品陈列建议传回所述移动终端；

33、所述训练模块用于将初始llm模型基于商品陈列相关的语料数据进行训练，获得所述llm模型。

34、进一步的，所述商品陈列识别模型是根据目标检测算法对所述门店的商品进行建模获得。

35、在一种可能实现的方式中，所述训练模块还包括获取单元、转换单元、分词单元和训练单元；

36、其中，所述获取单元用于收集商品陈列相关的语料数据，构建用于训练的语料数据库，其中，所述语料数据包括：历史商品信息、历史门店信息、历史陈列报表总结、历史陈列协议、历史门店销售数据和历史门店商品陈列建议；

37、所述转换单元用于根据所述提示词格式将所述语料数据库中的语料数据转换为提示词数据；

38、所述分词单元用于使用分词器对所述提示词数据进行分词、映射处理，将所述提示词数据转换为各个相应的数字序列，所述各个数字序列的集合作为微调指令数据集并对所述微调指令数据集中的每条数据人工标注答案；

39、所述训练单元用于基于所述微调指令数据集对所述初始llm模型进行训练，获得所述llm模型。

40、进一步的，所述训练单元用于基于所述微调指令数据集对所述初始llm模型进行训练，获得所述llm模型，具体为：

41、基于所述微调指令数据集通过有监督微调技术对所述初始llm模型进行训练，减少所述初始llm模型下游任务的可训练参数，获得第一llm模型；

42、将所述微调指令数据集输入所述第一llm模型，输出与所述微调指令数据集中的每条数据对应的初始机器答案，对各个所述初始机器答案进行人工评分后将各个所述机器答案输入初始奖励模型，获得与各个所述初始机器答案对应的初始机器评分；通过调整所述初始奖励模型的参数来调整所述初始奖励模型的评分结果，使所述初始奖励模型的评分结果接近所述人工评分的结果，获得第一奖励模型；

43、结合所述第一llm模型和所述第一奖励模型，构建强化学习模型，通过多次迭代对所述第一llm模型进行强化学习，在每次迭代中，将所述微调指令数据集输入所述强化学习模型，由所述第一llm模型输出与所述微调指令数据集中的每条数据对应的强化学习答案，并由第一奖励模型对各个所述强化学习答案进行评分，所述强化学习模型根据所述第一奖励模型的评分结果，更新所述第一llm模型的可训练参数，直到所述可训练参数的变化率低于预设的阈值，停止迭代，获得所述llm模型。

44、在一种可能实现的方式中，所述答案生成模块用于将所述提示词输入预设的llm模型，获得与所述门店商品陈列对应的商品陈列建议，并将所述商品陈列建议传回所述移动终端，具体为：

45、所述llm模型获取所述提示词后，使用分词器对所述提示词进行分词、映射处理，将所述提示词转换为对应的数字序列；

46、根据所述数字序列，计算出相应的数字答案序列；

47、以预设的回答格式将所述数字答案序列转换为与所述门店商品陈列对应的商品陈列建议进行输出；

48、将所述商品陈列建议传回所述移动终端。