基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质与流程

1.本发明涉及墙体绘画技术领域，具体涉及一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质。


背景技术：

2.墙绘主要应用于城市宣传或者室内装修，其中城市宣传主要以倡导行为文明、宣传公益活动、鼓励健康运动、崇尚绿色环保、宣传新城市文化、推广本地名胜风景等以辅助社会民众素质提升，塑造城市文明形象，吸引潜在游客资源，勾勒和谐、文明、人文、艺术的城市风景线。家居装修则是屋主根据个人喜好兴趣、志向追求等采用墙绘方式把自己所喜所好的场景实施于室内墙面，以达到悦己悦人的效果。
3.但是目前普通墙绘都是通过人工描绘，耗费大量的人力和时间，尤其是高处墙体的绘制，更是会发生工作人员高空坠落或是支架倒塌等事故，后果不堪设想，并且一些定制化程度高的个人室内墙绘，往往需要技艺高超的专人才能完成，收费昂贵，工期也无法保证，更甚的无人能满足屋主需求。因此，自动化智能化的自动墙绘设备成为一个有效的手段，用户只需将所需绘制的图像进行采集录入，设置期望的风格，选定目标墙体，即可等待自动化墙绘设备绘制完成。


技术实现要素：

4.发明目的：针对现有技术中存在的问题，本发明提供一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质，利用智能化拍摄图像或录入图像，对图像进行目标分割，并进行图像识别和文字识别，确定各轮廓的色彩后再进行喷涂路径规划，实现了智能化的墙绘操作。
5.技术方案：本发明提供了一种基于图像识别与文字识别的智能化墙绘方法，包括如下步骤：
6.获取将要进行墙绘的图像，所述图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定；
7.对所述图像进行预处理；
8.对经过预处理的图像利用double-u-frame分割模型进行目标分割；
9.对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定和/或对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定；
10.根据色彩设定对分割所得轮廓图像内像素rgb值进行修改，得到新的目标分割图像；
11.根据最终的目标分割图像结合预设的含有喷枪类型、工艺方法、示教墙绘路径速度、加速度参数的经验库，利用路径规划算法生成最终的喷涂路径，同时本次生成路径规划将与本次的喷枪类型、工艺方法、示教墙绘路径速度、加速度同时存入经验库，作为后续的
经验库；
12.根据所述喷涂路径进行墙绘喷涂。
13.进一步地，在获取预先画于墙体的线条框图时，采集多张图像，并对多张图像进行匹配与合成，输出一张合成图像。
14.进一步地，所述图像预处理包括：
15.1)对于线条框图或完整图像进行中值滤波、对数增强的预处理操作；
16.2)结合rgb三通道信息对图像中每一个像素点进行分类，确定每个点的类别，进行区域划分轮廓。
17.进一步地，所述double-u-frame分割模型结构包括：
18.编码部分、解码部分以及基于bi-fpn的跳跃连接层，通道数为n的输入图像，通过连续四个编码器模块后，依次得到64、128、256、512、1024维的特征，再通过连续四个解码器模块后，依次将高维特征图恢复到原图大小，得到一个通道数为m的掩模图；并且每层同维度的特征图要进入bi-fpn双向特征网络进行通道方向的特征图扩展，将编码器部分的局部特征与解码器部分的宏观特征进行融合；其中，每个编码器模块由两次3x3卷积和一次最大值池化组成，解码器由两次3x3卷积和一次上采样反卷积组成。
19.进一步地，所述路径规划算法涂绘最小触笔单元为椭圆形，并且喷涂路径为轮廓向内法线方向等距生成，包括如下步骤：
20.1)构建涂层厚度分布模型：
[0021][0022][0023][0024]
其中，r1＝x2+y2，r2＝(x-δ)2+y2，a＝(a1+a2)/2，)/2，外着色点：墙绘喷枪在交叠边界喷涂时在外侧喷绘的单次喷涂面积，为椭圆形；内着色点：墙绘喷枪在交叠边界喷涂时在内侧喷绘的单次喷涂面积，为椭圆形；a为外着色点长轴长度，b为外着色点短轴长度，a1为外着色点外侧最远点与喷枪运动中心的距离，a2为外着色点内侧最远点与喷枪运动中心的距离，δ为外着色点与内着色点运动轨迹的距离，r为着色点在轨迹中中心处窄边高度，x,y为着色点轨迹中心坐标，t1为外着色点的厚度，t2为内着色点的厚度，ts为交叠边界的厚度，v为喷枪运动速度；
[0025]
2)根据上述模型获取涂层交叠处的目标优化函数：
[0026][0027]
其中，td为墙绘理想厚度，v
max
为喷枪最大运动速度，约束条件为v≤v
max
，0≤δ≤
2a；
[0028]
3)根据目标优化算法和约束条件确定最终的喷涂轨迹。
[0029]
进一步地，在进行路径规划之前还对得到新的目标分割图像利用风格迁移模型进行风格转换，所述风格迁移模型为优化后的卷积神经网络模型，由vgg19网络与gram矩阵组成，vgg19网络作为主干网络逐层提取图像的特征图集，通过计算原图与目标风格图的风格差异矩阵，即gram矩阵，来确定两幅图的风格差异量；通过对gram矩阵参数构建损失函数，完成指定风格的特征学习，后续通过训练好的vgg19网络模型进行推理计算即可将原图完成风格转换。
[0030]
本发明还公开一种基于图像识别与文字识别的智能化墙绘系统，包括：
[0031]
图像获取模块，用于获取将要进行墙绘的图像，所述图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定；
[0032]
图像预处理模块，用于对获取的图像进行预处理操作；
[0033]
目标分割模块，用于利用double-u-frame分割模型对预处理后的图像进行目标分割；
[0034]
图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定；和/或文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定；
[0035]
色彩修改模块，用于对分割所得轮廓图像内像素rgb值进行修改，得到新的目标分割图像；
[0036]
路径生成模块，用于利用路径规划算法生成最终的喷涂路径；
[0037]
喷涂执行模块，用于控制喷枪执行喷涂路径。
[0038]
优选地，还包括：
[0039]
风格迁移模块，用于在进行路径规划之前对得到新的目标分割图像利用风格迁移模型进行风格转换。
[0040]
本发明还公开一种墙绘设备，包括：
[0041]
存储器，用于存储计算机程序；
[0042]
处理器，用于执行所述计算机程序时实现如上述基于图像识别与文字识别的智能化墙绘方法的步骤。
[0043]
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述混流板材双面喷涂方法的步骤。
[0044]
有益效果：
[0045]
1、本发明基于图像识别与文字识别的智能化墙绘方法具有智能化、自动化的特点，可以在不需要技术人员具有墙绘/绘画基础的情况下，完成任意图像进入系统即可完成墙绘绘制，大幅提高生产作业效率。
[0046]
2、本发明设计的double-u-frame分割模型是一种端到端的深度学习方法可以解决墙绘图分割的任务。它在编码器和解码器之间合并了bi-fpn(双向特征网络)。此外，它使用prelu激活函数和掩码的权重，从而可以提高分割效率。
[0047]
3、本发明提出的一种适应墙绘边界曲线曲率变化的路径生成方法，涂绘最小触笔单元为椭圆形，可以很好的适应任意曲率轮廓的插补空隙，并且喷涂路径为轮廓向内法线
方向等距生成，与轮廓有近似性，因此在绘制时其边界曲率的变化不会造成色彩图层边界交叠影响。
[0048]
4、本发明在已有线条框图基础上进行墙绘填充彩色时，利用多张图像进行匹配合成的技术，可以防止图片拍摄不全。
附图说明
[0049]
图1为本发明实施例的墙绘设备示意图；
[0050]
图2为本发明图像分割用的double-u-frame神经网络模型的示意图；
[0051]
图3为本发明路径规划算法使用的喷涂模型；
[0052]
图4为本发明智能化墙绘系统模块框图。
[0053]
其中，1-墙绘设备，2-彩色工业相机，3-补光射灯，4-全向可伸缩支架，5-彩绘喷头，6-喷头活动轨道支架。
具体实施方式
[0054]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0055]
本发明公开了一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质，该基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质设置于图1所述的设备中，该设备包括墙绘设备、墙绘设备上设置有控制器，用于控制墙绘设备整体水平移动，在墙绘设备的顶端设置有彩色工业相机、补光射灯和全向可伸缩支架利用全向可伸缩支架实现彩色工业相机的伸缩和转向，彩色工业相机可以实现360度转向。在墙绘设备顶端还设置有彩绘喷头，彩绘喷头和喷头活动轨道支架连接，喷头活动轨道支架实现彩绘喷头360度旋转与伸缩，彩绘喷头与墙绘设备连接，彩色工业相机、补光射灯、彩绘喷头均与控制器连接，控制器控制整个墙绘设备的水平移动并且控制彩色工业相机、补光射灯开启与关闭，同时控制彩绘喷头进行喷涂操作。
[0056]
而且该墙绘设备上还设置有智能墙绘系统平台软件，该智能墙绘系统平台软件为本领域常用的软件，非本发明需要保护的重点，在此不做赘述。智能墙绘系统平台软件与墙绘设备中的控制器连接，控制器可以通过智能墙绘系统平台软件实现图像录入。图像还可以通过彩色工业相机现场拍摄，拍摄的图像为预先画于墙体的线条框图，线条框图的各区域通过文字标记有色彩设定。
[0057]
对于利用智能墙绘系统平台软件进行录入图像的情况下，控制器中设置有图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定。
[0058]
对于通过彩色工业相机现场拍摄的情况下：拍摄的图像为预先画于墙体的线条框图，线条框图的各区域通过文字标记有色彩设定，在控制器中设置有文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定。
[0059]
对于上述的控制器，控制器中设置有基于图像识别与文字识别的智能化墙绘方法，用于进行智能化墙绘，主要包括如下步骤：
[0060]
步骤1：用智能墙绘系统平台软件录入图像或者利用彩色工业相机正对需要墙绘的墙面进行拍摄照片，获取将要进行墙绘的图像，利用彩色工业相机拍摄的图像为预先画
于墙体的线条框图，线条框图的各区域通过文字标记有色彩设定。
[0061]
特别的，对于利用彩色工业相机拍摄的图像，可以多角度采集多张图像，并对多张图像进行匹配合成，输出一张合成的图像，本发明利用sift方法进行图像合成：
[0062]
在进行图像合成时，先对多张图像进行特征提取，提取各图像中的特征，多不同图像中的特征进行匹配，计算homogenous矩阵，并使用homogenous矩阵进行变换，将多张图像投影到同一平面，调整不同图像之间由于曝光等原因产生的色差，找到相邻图像的重合位置并进行融合，最终合成一张图像。
[0063]
步骤2：对于控制器获取的图像，对图像进行预处理，预处理操作包括：对于线条框图或完整图像进行中值滤波、对数增强的预处理操作；并结合rgb三通道信息对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、树或物体等)，进行区域划分轮廓。
[0064]
步骤3：对经过预处理的图像利用double-u-frame分割模型进行目标分割，本发明使用的double-u-frame分割模型参见附图2，它是一种端到端的深度学习方法可以解决墙绘图分割的任务。它在编码器和解码器之间合并了bi-fpn(双向特征网络)。此外，它使用prelu激活函数和掩码的权重，从而可以提高分割效率。
[0065]
double-u-frame具体结构包括三部分，左边是编码部分，右边是解码部分，中间是基于bi-fpn的跳跃连接层，由于网络结构像u型，并且跳跃连接层是双向特征网络，因此叫double-u-frame框架。通道数为n的输入图像，通过连续四个编码器模块后，依次得到64、128、256、512、1024维的特征，再通过连续四个解码器模块后，依次将高维特征图恢复到原图大小，得到一个通道数为m的掩模图。并且每层同维度的特征图要进入bi-fpn双向特征网络进行通道方向的特征图扩展，将编码器部分的局部特征与解码器部分的宏观特征进行融合，丰富同维度解码器模块的特征图信息。其中，每个编码器模块由两次3x3卷积和一次最大值池化组成，解码器由两次3x3卷积和一次上采样反卷积组成。
[0066]
步骤4：对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定和/或对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定。
[0067]
步骤5：根据步骤4中的色彩设定对分割所得轮廓图像内像素rgb值进行修改，得到新的目标分割图像。
[0068]
步骤6：对得到新的目标分割图像利用锋哥迁移模型进行风格转换，风格迁移模型为优化后的卷积神经网络模型，风格迁移模型由vgg19网络与gram矩阵组成，vgg19网络作为主干网络逐层提取图像的特征图集，通过计算原图与目标风格图的风格差异矩阵，即gram矩阵，来确定两幅图的风格差异量。通过对gram矩阵参数构建损失函数即可完成指定风格的特征学习，后续通过训练好的vgg19网络模型进行推理计算即可将原图完成风格转换。
[0069]
步骤7：根据最终的目标分割图像结合预设的含有喷枪类型、工艺方法、示教墙绘路径速度、加速度参数的经验库，例如喷嘴为2mm的雾型喷枪，采用匀速v喷涂，以及对应的走直线、圆弧的速度、加速度曲线参数图。喷涂路径依据轮廓向法线方向等间隔生成，所有轮廓逆时针方向为正方向，使用右手定则(四指指向轮廓线正方向，拇指所朝方向既为向内的法线方向)确认连通域内部，延向内法线方向等距轮廓线得到第一条喷涂路径路线，距离间隔为经验库内依据喷枪类型与工艺的预设值，也可以人工调整。若干次等距操作后，得到数个喷涂路径，当最新的喷涂路径连通域内部宽度小于预设等距宽度时，停止生成新的喷
涂路径，并且合并再等距过程中位置交换的关键点生成新的关键点。对每个轮廓重复上述操作后，可生成最终的喷涂路径，同时本次生成路径规划将与本次的喷枪类型、工艺方法、示教墙绘路径速度、加速度同时存进经验库，作为后续的经验库。
[0070]
本发明针对具有风格迁移特点的墙绘图形外形特征复杂多样，绘制时其边界曲率的变化大会造成色彩图层边界交叠影响较大的问题，设计一种适应墙绘边界曲线曲率变化的路径规划算法，涂绘最小触笔单元为椭圆形，可以很好的适应任意曲率轮廓的插补空隙，并且喷涂路径为轮廓向内法线方向等距生成，与轮廓有近似性，因此在绘制时其边界曲率的变化不会造成色彩图层边界交叠影响。包括如下步骤：
[0071]
1)构建涂层厚度分布模型：
[0072][0073][0074][0075]
其中，r1＝x2+y2，r2＝(x-δ)2+y2，a＝(a1+a2)/2，)/2，参见附图3，外着色点：墙绘喷枪在交叠边界喷涂时在外侧喷绘的单次喷涂面积，为椭圆形；内着色点：墙绘喷枪在交叠边界喷涂时在内侧喷绘的单次喷涂面积，为椭圆形；a为外着色点长轴长度，b为外着色点短轴长度，a1为外着色点外侧最远点与喷枪运动中心的距离，a2为外着色点内侧最远点与喷枪运动中心的距离，δ为外着色点与内着色点运动轨迹的距离，r为着色点在轨迹中中心处窄边高度，x,y为着色点轨迹中心坐标，t1为外着色点的厚度，t2为内着色点的厚度，ts为交叠边界的厚度，v为喷枪运动速度；v
max
为喷枪最大运动速度。
[0076]
2)根据上述模型获取涂层交叠处的目标优化函数：
[0077][0078]
其中，td为墙绘理想厚度，约束条件为v≤v
max
，0≤δ≤2a；
[0079]
3)根据目标优化算法和约束条件确定最终的喷涂轨迹。
[0080]
步骤8：根据上述的喷涂路径，控制器控制彩绘喷头进行墙绘喷涂。
[0081]
对于上述的基于图像识别与文字识别的智能化墙绘方法，其对应的系统模块参见附图4，主要包括：
[0082]
图像获取模块，用于获取将要进行墙绘的图像，图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定。
[0083]
图像预处理模块，用于对获取的图像进行上述的预处理操作。
[0084]
目标分割模块，用于利用double-u-frame分割模型对预处理后的图像进行目标分
割，具体的double-u-frame分割模型参见上述描述。
[0085]
图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定。和/或文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定。图像识别模块和文字识别模块利用传统的技术进行识别，非本发明需要保护的重点，此处不做赘述。
[0086]
色彩修改模块，用于对分割所得轮廓图像内像素rgb值进行修改，得到新的目标分割图像。
[0087]
路径生成模块，用于利用路径规划算法生成最终的喷涂路径，路径规划算法参见上述描述。
[0088]
喷涂执行模块，用于控制器控制彩绘喷枪、墙绘设备执行喷涂路径。
[0089]
在控制器中还设置风格迁移模块，可以根据需要选择不同的风格进行墙绘，用户可选择风格迁移的操作，实现目标图像的转换。智能墙绘系统平台软件可提供风格图片输入或风格类别(旧时光、青春、阳光等)选择。控制器中的风格迁移模块中使用预训练好的风格迁移模型进行风格转换，具体风格迁移模型参见步骤6中描述。
[0090]
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。