产品生产质量监控方法及装置

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。在一些可能的实施方式中，根据本技术的电子设备可以包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的运营数据管理方法。例如，处理器可以执行如运营数据管理方法中的步骤。应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器，使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

背景技术：

1、我国是一个白酒生产大国，制酒历史源远流长，品种繁多。传统的白酒生产方式主是采用人工操作，随着技术的进步，目前大型白酒厂已基本上实现了机械化，大幅度减轻了工人的劳动强度，提高了白酒生产效率。在生产过程中，还需要对各个生产环节进行把关，避免引入杂质以及过度发酵。

2、然而，质量控制和生产效率的优化主要依赖于人工经验和离线实验，存在主观性、低效性和无法及时调整的问题。

技术实现思路

1、本技术提供一种产品生产质量监控方法及装置，本技术的技术方案如下：

2、根据本技术实施例的第一方面，提供一种产品生产质量监控方法，包括：

3、采用工业图像采集运算装置录制白酒生产过程中的视频，并基于所述视频中的图像数据间隔预设时间t分割为视频片段，以及对所述视频片段作拉伸或者剪切处理，统一图像分辨率为h×w，以得到大小为t×h×w的视觉模态图像帧集数据；

4、获取白酒生产过程中的传感器反馈的参数监控数据，对所述参数监控数据通过文本转换器进行预处理，得到文本模态数据；其中，所述文本数据至少包括温度数据、湿度数据、量水用量数据、量水温度数据中的一种；

5、构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果。

6、可选的，所述基于双模态的白酒生产过程质量优化模型包括输入标记化模块、transformer融合模块以及双模态投影头模块。

7、可选的，所述构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果，具体包括：

8、定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征。

9、将所述嵌入序列向量特征输入到所述transformer融合模块中，输出双模态融合特征。

10、将所述双模态融合特征输入到所述双模态投影头模块中，通过多实例对比估计模型评估所述白酒生产过程质量优化模型的损失，得到白酒生产过程质量优化结果。

11、可选的，定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征，具体包括：

12、将大小为t×h×w的视频片段分割为个补丁，每个补丁包含t×h×w×3个体素；其中，t表征一个补丁的单位时长，h和w表征所述补丁的宽高分辨率。

13、对每个所述补丁中的整个体素进行线性投影，得到一个d维向量表征，其中所述线性投影按照学习权值进行计算，得到视觉模态的线性投影嵌入特征向量；

14、定义预设维度的可学习嵌入序列，以对所述补丁进行位置编码，表示如下：

15、ei,j,k＝etemporal i+ehorizontal j+evertical k,            (1)

16、其中，ei是e的第i行，采用位置编码来对所述视频片段进行编码；

17、以及从文本模态训练数据集中的所有单词中构造一个大小为v的词汇表；将所述文本模态数据中的每个单词映射到v维的一位有效编码向量，并对所述单词进行线性投影处理，其权重为得到文本模态的线性投影嵌入特征向量。

18、可选的，定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征，具体包括：

19、将所述视觉模态的线性投影嵌入特征向量转换为3通道的rgb图像帧，以及将所述文本模态的线性投影嵌入特征向量转换为文字序列，按照第一位置编码位置，将token的顺序输入到transformer融合模块中。

20、可选的，所述transformer融合模块包括包含一个多层感知机mlp、两个归一化层以及一个多头注意力机制层，其中，所述transformer融合模块使用所述多头注意力机制层，并使用高斯误差线性函数gelu作为所述多层感知机mlp中的激活函数。

21、可选的，将所述嵌入序列向量特征输入到所述transformer融合模块中，输出双模态融合特征，具体包括：

22、将所述嵌入序列向量特征作为输入特征，并对所述输入特征标记序列，生成输入特征序列，其中，所述标记序列遵循以下公式：

23、zin＝[xagg；x0wp；x1wp；…；xnwp]+epos   (2)

24、其中xn,n∈[0,n]是输入补丁序列，xagg是特殊聚合标记的可学习嵌入；epos为修正参数。

25、将所述输入特征序列经过归一化处理后得到特征f1，将所述特征f1输入到所述多头注意力机制层，得到输出特征f2，其中所述多头注意力机制层使用标准的自注意力机制来进行运算，提取特征f2，其中，运算公式为：

26、

27、dk是缩放系数，使运算结果不至于过大或过小，q、k、v是根据输入特征x与可训练参数wq、wk、wv线性变换而来。softmax函数使权重概率分布，各权重和为1；

28、将特征f2与所述输入特征序列输入到加法器中进行逐元素相加得到特征f3，并经过归一化层的归一化处理得到特征f4；

29、将得到的特征f4通过多层感知机mlp处理，并输入到加法器中进行相加，得到双模态融合特征f5。

30、可选的，所述通过多实例对比估计模型评估所述白酒生产过程质量优化模型的损失，得到白酒生产过程质量优化结果，具体包括：

31、根据所述视觉模态的线性投影嵌入特征向量与文本模态的线性投影嵌入特征向量构建图像视觉-文本模态对，定义语义层次空间的公共空间映射，为使用余弦相似度进行比较，定义投影为：

32、

33、其中，gt→vt和gv→vt将文本模态数据与视觉模态图像帧集数据嵌入到视频-文本公共空间svt中；

34、对所述视觉模态的线性投影嵌入特征向量与文本模态的线性投影嵌入特征向量使用余弦相似度进行比较；所述余弦相似度是m维空间中两个m维向量之间角度的余弦，其公式如下所示：

35、

36、其中，a、b分别为视觉模态的线性投影嵌入特征向量与文本模态的线性投影嵌入特征向量；

37、使用多实例学习对齐所述图像视觉-文本模态对，所述图像视觉-文本模态对的正对通过从视频片段中相同的位置对应的流进行采样来构建，负对通过从视频片段中任何不匹配的位置进行采样来构建，其中，根据所述公共投影空间的损失目标可写为：

38、

39、其中，m表征所有不匹配的配对的个数，p包含五个在时间上与视频片段最接近的文本片段；τ表征温度，用于调整目标在区分正面对和负面对时的软度。

40、根据本技术实施例的第二方面，提供一种产品生产质量监控装置包括：

41、视频数据采集模块，用于数据采用工业图像采集运算装置录制白酒生产过程中的视频，并基于所述视频中的图像数据间隔预设时间y分割为视频片段，以及对所述视频片段作拉伸或者剪切处理，统一图像分辨率为h×w，以得到大小为t×h×w的视觉模态图像帧集数据；

42、文本数据采集模块，获取白酒生产过程中的传感器反馈的参数监控数据，对所述参数监控数据通过文本转换器进行预处理，得到文本模态数据；其中，所述文本数据至少包括温度数据、湿度数据、量水用量数据、量水温度数据中的一种；

43、白酒生产过程质量优化模型构建模块，用于构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果。

44、根据本技术实施例的第三方面，提供一种非易失性存储设备包括：处理器，以及与所述处理器通信连接的存储器；

45、所述存储器存储计算机执行指令；

46、所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面提供的方法。

47、有益效果：

48、本技术所涉及的产品生产质量监控方法及装置，采用工业图像采集运算装置录制白酒生产过程中的视频，并基于所述视频中的图像数据间隔预设时间t分割为视频片段，以及对所述视频片段作拉伸或者剪切处理，统一图像分辨率为h×w，以得到大小为t×h×w的视觉模态图像帧集数据；获取白酒生产过程中的操作平台记录的文本数据，对所述文本数据通过文本转换器进行预处理，得到文本模态数据；其中，所述文本数据至少包括温度数据、湿度数据、量水用量数据、量水温度数据中的一种；构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果。将传统的主观经验转化为客观、数据驱动的过程，实现了对白酒生产过程的监测、预测和优化。通过利用双模态数据和智能增强技术，可以提高生产过程的质量稳定性、减少人为误差，并在保证产品质量的同时提高生产效率和降低成本。

49、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。