机械臂绘画方法、装置、电子设备及存储介质与流程

本公开涉及机械臂绘画，尤其涉及一种机械臂绘画方法、装置、电子设备及存储介质。

背景技术：

1、相关技术中，使用机械臂绘画通常为临摹已有图像，一方面在图像较为复杂时，机械臂难以较快、较好地完成绘画，另一方面这种绘画方式较为机械、缺乏趣味性。

技术实现思路

1、根据本公开实施例的一方面，提供了一种机械臂绘画方法，包括：

2、接收目标绘画数据，其中，目标绘画数据包括提示词或图像；

3、使用预先训练的图像生成模型基于提示词或图像生成目标图像，其中，图像生成模型基于预设的绘画图像集合训练得到，该绘画图像集合中的绘画图像的视觉元素为线条和笔触，图像生成模型生成的图像与绘画图像集合中的绘画图像具有相似的视觉元素；

4、控制机械臂绘制目标图像。

5、通过该实施方式，由于绘画图像集合中的绘画图像的视觉元素为线条和笔触，图像生成模型生成的图像与绘画图像集合中的绘画图像具有相似视觉元素，因此图像生成模型生成的图像的视觉元素易于机械臂绘制，因此机械臂可以较快、较好地完成绘画。当绘画目标数据为提示词时，能够针对提示词进行较快、较好地完成绘画。当绘画目标数据为图像时，能够将图像进行转换后进行较快、较好地完成绘画，并且使得机械臂绘画具有趣味性，体现出绘画创意。

6、可选地，上述图像生成模型的训练方法，包括：

7、获取绘画图像集合；

8、对绘画图像集合中的每个绘画图像进行分割，包括：

9、根据绘画图像的空间连通性和相似性，从一个或多个种子像素开始，逐渐扩展或合并相邻的像素，从绘画图像上分割出包含线条与笔触的组合特征的多个区域，将绘画图像上每个区域对应的部分分别存储为一个图像，得到绘画图像集合对应的第一图像集合；以及

10、使用预先训练的目标识别模型识别绘画图像上的完整绘画对象，将绘画图像上每个完整绘画对象对应的部分分别存储为一个图像，得到绘画图像集合对应的第二图像集合；

11、至少使用第一图像集合和第二图像集合训练图像生成模型。

12、通过该实施方式，分别提取一般性的线条与笔触的组合特征、提取完整形象中的线条与笔触的组合特征，得到绘画图像上局部和形象线条与笔触的组合特征。能够突出线条与笔触的组合特征，从而使得图像生成模型生成的图像与绘画图像集合中的绘画图像具有相似的线条和笔触的特征。

13、可选地，对绘画图像集合中的每个绘画图像进行分割之前，还包括：通过调整对比度与明度使每个绘画图像背景处于白色，以使绘画内容与画纸清晰分离。通过该实施方式，使画面内容与画纸可以清晰分离，有利于线条与笔触的特征提取。

14、可选地，对绘画图像集合中的每个绘画图像进行分割之前，还包括：对绘画图像集合中的至少部分绘画图像按水平和/或竖直方向进行翻转，将翻转得到的图像放入绘画图像集合中。通过该实施方式，增加训练数据的多样性和丰富性。

15、根据本公开实施例的另一方面，提供了一种机械臂绘画装置，包括：

16、接收模块，用于接收目标绘画数据，其中，目标绘画数据包括提示词或图像；

17、生成模块，用于使用预先训练的图像生成模型基于提示词或图像生成目标图像，其中，图像生成模型基于预设的绘画图像集合训练得到，该绘画图像集合中的绘画图像的视觉元素为线条和笔触，图像生成模型生成的图像与绘画图像集合中的绘画图像具有相似的视觉元素；

18、控制模块，用于控制机械臂绘制该目标图像。

19、可选地，上述装置还包括：训练模块，用于：

20、获取绘画图像集合；

21、对绘画图像集合中的每个绘画图像进行分割，包括：

22、根据绘画图像的空间连通性和相似性，从一个或多个种子像素开始，逐渐扩展或合并相邻的像素，从绘画图像上分割出包含线条与笔触的组合特征的多个区域，将绘画图像上每个区域对应的部分分别存储为一个图像，得到绘画图像集合对应的第一图像集合；以及

23、使用预先训练的目标识别模型识别绘画图像上的完整绘画对象，将绘画图像上每个完整绘画对象对应的部分分别存储为一个图像，得到绘画图像集合对应的第二图像集合；

24、至少使用第一图像集合和第二图像集合训练图像生成模型。

25、可选地，上述训练模块，还用于：在对绘画图像集合中的每个绘画图像进行分割之前，通过调整对比度与明度使每个绘画图像背景处于白色，以使绘画内容与画纸清晰分离。

26、可选地，上述训练模块，还用于：在对绘画图像集合中的每个绘画图像进行分割之前，对绘画图像集合中的至少部分绘画图像按水平和/或竖直方向进行翻转，将翻转得到的图像放入所述绘画图像集合中。

27、根据本公开实施例的另一方面，提供了一种电子设备，包括：

28、处理器；以及

29、存储程序的存储器，

30、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行本公开实施例的方法。

31、根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例的方法。

32、本公开实施例中提供的一个或多个技术方案：由于绘画图像集合中的绘画图像的视觉元素为线条和笔触，图像生成模型生成的图像与绘画图像集合中的绘画图像具有相似视觉元素，因此图像生成模型生成的图像的视觉元素易于机械臂绘制，因此机械臂可以较快、较好地完成绘画。当绘画目标数据为提示词时，能够针对提示词进行较快、较好地完成绘画。当绘画目标数据为图像时，能够将图像进行转换后进行较快、较好地完成绘画，并且使得机械臂绘画具有趣味性，体现出绘画创意。

技术特征：

1.一种机械臂绘画方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述图像生成模型的训练方法，包括：

3.如权利要求2所述的方法，其特征在于，所述对所述绘画图像集合中的每个绘画图像进行分割之前，还包括：

4.如权利要求2或3所述的方法，其特征在于，所述对所述绘画图像集合中的每个绘画图像进行分割之前，还包括：

5.一种机械臂绘画装置，其特征在于，包括：

6.如权利要求5所述的装置，其特征在于，还包括：训练模块，用于：

7.如权利要求6所述的装置，其特征在于，所述训练模块，还用于：在对所述绘画图像集合中的每个绘画图像进行分割之前，通过调整对比度与明度使每个绘画图像背景处于白色，以使绘画内容与画纸清晰分离。

8.如权利要求6或7所述的装置，其特征在于，所述训练模块，还用于：在对所述绘画图像集合中的每个绘画图像进行分割之前，对所述绘画图像集合中的至少部分绘画图像按水平和/或竖直方向进行翻转，将翻转得到的图像放入所述绘画图像集合中。

9. 一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-4中任一项所述的方法。

技术总结
本公开实施例提供一种机械臂绘画方法、装置、电子设备及存储介质，该机械臂绘画方法，包括：接收目标绘画数据，其中，目标绘画数据包括提示词或图像；使用预先训练的图像生成模型基于提示词或图像生成目标图像，其中，图像生成模型基于预设的绘画图像集合训练得到，绘画图像集合中的绘画图像的视觉元素为线条和笔触，图像生成模型生成的图像与绘画图像集合中的绘画图像具有相似的视觉元素；控制机械臂绘制目标图像。本公开实施例能够使机械臂较快、较好地绘画，或者提高机械臂绘画的趣味性和绘画创意。

技术研发人员：姜波,吴卓浩,徐昕,王超,金准,高晨晖
受保护的技术使用者：北京阿派朗创造力科技有限公司
技术研发日：
技术公布日：2024/1/5