一种绘画辅导方法及装置与流程

本发明属于在线绘画技术领域，涉及一种在线绘画自动辅助学习系统的辅导方法及装置。

背景技术：

绘图是一种在二维的平面上以手工方式临摹自然的艺术，除了传统的手绘方法以外，在计算机技术高度发展的今天，自动化辅助学习绘画领域几乎是空白的，即使是互联网高度发达的今天，技术上也仅能提供录制视频和人工在线指导，除此之外，绘画技艺的提高完全要靠线下的教学培训机构来完成。轮廓线条、空间阴形阳形、透视比例关系、光线阴影是绘画领域的基本技能，绘画内容是千变万化的，这些基本技能是决定绘画作品质量的关键，而这些技能如何让计算机真正的理解，是一个技术难题。

现有的图像理解技术更多的只是针对拍摄的照片，根据机器学习的经验，来识别出照片中的物体，进一步在各个场合进行应用。但对于抽象的绘画图像，并没有针对性的研究方向，目前做的最多工作仅仅是根据图像匹配算法来推测用户正在画的图像是什么，然后给出一些内置的类似图形供用户参考。本发明旨在使用图像理解技术来辅助提高用户的绘画技能。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种在线绘画的自动辅助学习方法及装置，解决了现有技术中绘画技能提高无法通过智能自动化技术来完成的问题。

本发明采用以下技术方案：

一种绘画辅导方法，包括以下步骤：

S101接收用户的绘画信息；

S102根据图像识别技术提取出绘画信息中的线条轮廓，识别出不同前景背景物体；

S103根据步骤S102检测出的线条轮廓，分析粗细、光滑和长短的变化规律；

S104对步骤S102中识别出的物体进行直线检测，识别视平线和心点；

S105对步骤S102中识别出的图像进行图像处理光照分析，识别图像中的高光、阴影和投影；

S106根据以上步骤获得的信息，并指定一种绘画风格作为限定条件，对用户的绘画信息图像进行辅导，给出修正意见。

进一步的，步骤S102中，根据线条的边缘位置和走向，利用边缘检测和边缘特征过滤提取图像的线条轮廓，然后根据边缘连通状态和包含关系，识别出不同的物体，依靠颜色变化信息，以颜色连通线条的范围做出一个外接矩形，识别出物体所在范围，通过聚类算法将多个相似物体统一合并成一个物体集进行识别。

进一步的，步骤S103中，根据线条的准、挺、匀和活四个基本要求，通过线条的走向确定线条的粗细变化，通过光滑度反应确定曲率变化的快慢。

进一步的，步骤S104中，对同一物体内的直线进行识别，确定由直线组成的四边形平面，并对四边形不相邻的两条边作延伸，并检测交汇点，利用透视原理比较所述交汇点的透视要素特征。

进一步的，步骤S105中，首先识别高光部分，根据视角位置计算光源的初步范围，然后结合识别出的物体表面和周围的阴影、投影，进一步确定光源位置，最后综合多个物体的计算结果，计算分析所有存在的光源位置，根据计算出的物体的图像光源位置与方向，对于和光源方向垂直或成45度角的直线，分割出物体亮暗表面，根据物体表面亮暗分界线的位置，通过设定好的光照模型和物体材质来处理光的反射折射等高光阴影颜色效果，计算出照射该物体的光源方向，判断表面的光源处理是否存在遗漏或者异常。

进一步的，步骤S106中，预先搜集多种风格的作品进行识别分析，按照正常和多种异常问题对作品进行分类，在辅导过程中，利用前面步骤得到的多个物体轮廓区域和线条属性做为绘画特征，根据绘画特征建立神经网络进行识别分析，当绘画特征经由神经网络输出得出一个异常的分类情况时，重复测试找出导致分类异常的具体绘画特征，对所述绘画特征的线条或轮廓提出点评意见，完成辅导训练。

进一步的，根据所述异常分类对线条和位置进行修改，提供给用户相应的修改方案。

一种绘画辅导装置，包括分析比对系统和反馈系统，所述反馈系统用于将绘画信息发送给分析系统，所述分析系统接收反馈系统的所述绘画信息并进行识别分析，再将修正意见发送给反馈系统，反馈系统接收所述修正意见后进行绘画辅导。

进一步的，所述反馈系统包括绘画模块、反馈发送模块、反馈接收模块和显示模块；所述分析系统包括接收模块、识别模块、分析处理模块和发送模块；

所述绘画模块通过反馈发送模块将绘画信息发送给分析系统，所述分析系统的接收模块接收所述绘画信息并和识别模块内的标准绘画信息一起发送给分析处理模块，所述分析处理模块经过识别分析后将修正意见通过发送模块发送给反馈接收模块，所述反馈接收模块和绘画模块连接至显示模块，用于显示绘画信息和修正意见。

进一步的，包括以下步骤为：

S201绘画模块接收所有修正意见；

S202通过显示模块动态遍历展示用户所画的内容和修正意见；

S203用户对每一条修正意见进行选择性的接受；若是，执行步骤S204；若否，执行步骤S202；

S204去除当前意见用户所绘内容，接受修正意见。

与现有技术相比，本发明至少具有以下有益效果：

本发明根据绘画特征建立神经网络进行识别分析，当绘画特征经由神经网络输出得出一个异常的分类情况时，重复测试找出导致分类异常的具体绘画特征，通过将多种光照效果的绘画特征进行预置，然后通过图像比对来完成对光照效果的识别，进一步通过已知算法来完成光源的定位识别，通过对前面步骤检测出的物体识别其内部和周围的明暗区域可以初步判定光源的方向。当存在多个物体时，即可判定检测的光源之间是否存在矛盾现象，对所述绘画特征的线条或轮廓提出点评意见，得出最后的评价结果，其中评价的分类标准由人工预先设定，辅导绘画平台首先搜集多种风格的若干作品，进行上述识别分析，找出绘画特征，然后由画师进行人工分类，将点评意见及修改方案录入平台数据库，本发明实现了自动的机器评价绘画作品，减少了人工评价的代价，使用户在多次练习中能够体验到绘画技能提高的过程。

进一步的，根据用户的手绘图像，采用边缘检测技术，以及边缘特征提取技术对轮廓线条进行评价，根据边缘位置和走向，参考原图像进行必要的连通处理，过滤掉不重要的细节线条，提取出原图像的主要线条，对主要线条的特征，如粗细、曲率等进行分析，采用前景背景提取技术进行构图比较，依靠静态图像颜色信息的变化进行前景提取，采用直线检测技术进行透视比较，对物体的线条中检测出近似直线部分，然后应用透视原理来判定，采用图像处理光照技术对光线阴影进行比较，通过图像分析识别技术和基于绘画原理的智能数据对比技术，使用户在绘画过程中认知到绘画技能的差距和不足，全程无需人工干预，提升了用户的绘画效率，减轻了学习成本。

进一步的，借助图形技术来弥补线条检测的遗漏，根据图形绘制时在不同位置的绘制频率分析绘画的重点区域，使用多图层技术绘制图像来方便对物体的提取；根据用户绘制时所擦拭的线条，来确定消失点的位置，根据用户绘制时所用的高光和阴影颜色，来判断光的走向。

本发明还提供一种基于数据挖掘分析的智能自动化用户辅导体系的绘画辅导装置，可实现无人化教学辅导，降低教学成本，节约教学时间，用户仅需要通过网络连接到辅助绘画平台，就可以获悉绘画中存在的问题，以及平台提供的修改意见。进而可通过大量数据分析结果，针对每个用户的个人特点进行差异化辅导并提供教程，能进一步地提高用户学习效率。

本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

【附图说明】

图1为本发明辅导方法分析绘画作品的流程图；

图2为本发明辅导装置接收分析结果的流程图；

图3为本发明辅导绘画平台系统的框图；

图4为本发明辅导装置的系统框图；

图5为本发明辅导绘画平台系统推送教程的流程图。

【具体实施方式】

本发明提出一种绘画辅导方法，能够自动对比分析用户作品的问题，并提出修改意见。利用绘画辅导装置搜集一定规模的绘画作品，按照不同风格分类，然后由专业画师进行评比，对修改意见建立数据库。用户绘制完成任意一种风格的作品，直接上传到绘画辅导装置，或者在绘画辅导装置上直接绘制作品后由绘画辅导装置进行辅导，绘画辅导装置也能够连接网络数据库通过实时在线更新获取更多绘画作品用于进行在线辅导。

如图1所示，为了达到上述目的，本发明一种辅助绘画的方法包括以下步骤：

步骤S101：辅助绘画装置接收用户的绘画信息。

步骤S102：根据图像识别技术，提取出线条轮廓，简单识别出不同前景、背景物体；

其中，线条轮廓的提取可以采用图像边缘检测的方式实现，然后根据边缘连通状态和包含关系，识别出不同的物体。对于较多的相似的物体通过聚类算法，统一合并成一个物体集。然后根据物体的位置分布情况，来进行简易评价。

步骤S103：根据步骤S102检测出的线条轮廓，分析线条的光滑粗细长短属性变化规律。

其中，线条是绘画中的基本元素，在现代绘画理论中，已经总结出对线条的基本要求，即：准、挺、匀、活。所谓“准”是指在画物体或人物时，应根据形状及透视角度的不同，准确地将轮廓线、阴影线等画在相应的位置；“挺”是指在运笔过程中线条应流畅、光滑；“匀”是指运笔的力度应该平均，使一根线条浓淡自然过渡；“活”是指在画人或物体时，线条应充分考虑表现体积，用线条组成画面时要有活力，即脑与手的灵活配合。其中，线条的走向确定以后，粗细的变化也随之可以确定，光滑度反应的是曲率变化的快慢。故通过线条检测技术可以实现粗细和光滑的变化规律。在具体的实施例中，这种规律必须要结合作品的风格进一步判定。

步骤S104：对步骤S102中识别出的物体进行直线检测，分析透视学特征。

其中，对同一物体内的直线进行识别，确定由直线组成的四边形平面，并对四边形不相邻的两条边作延伸，并检测交汇点，然后分析所有交汇点的规律是否均位于同一透视消失线上。

步骤S105：对步骤S102中识别出的图像进行图像处理光照分析，识别图像中的高光、阴影、投影。

其中，根据计算出的物体的图像光源位置与方向，对于和光源方向垂直或成45度角的直线，分割出物体亮暗表面，判断表面的光源处理是否存在遗漏或者异常；

首先识别高光部分，根据视角位置计算光源的初步范围，然后结合识别出的物体表面和周围的阴影、投影，进一步确定光源位置，最后综合多个物体的计算结果，计算分析所有存在的光源位置，根据物体表面亮暗分界线的位置，通过设定好的光照模型和物体材质来处理光的反射折射等高光阴影颜色效果，计算出照射该物体的光源方向。

步骤S106：根据以上步骤获得的信息，并指定一种绘画风格作为限定条件，对用户的绘画信息图像进行辅导，给出修正意见。

上述的识别过程前后存在一定关联，前面识别结果会对后面结果产生影响，这是在智能识别分析中不可避免的问题，传统的手段是引入人工参与，人工确保前面的步骤正确，来逐步提高后面识别步骤的准确率。

绘画的评价与建议修改是基于绘画风格和绘画内容的，一些绘画风格由于线条之间的模糊或者一些夸张的绘画特征，会增加识别难度，并不适合智能分析。因此，平台需要挑选一些简易的绘画风格作为限定条件来完成辅助绘画功能。

首先，利用前面步骤得出的多个物体轮廓区域和线条属性，轮廓区域由其外接矩形在整个画布中的百分比位置所标记，线条属性由隔一定距离采样的子线条粗细、曲率的变化构成。在此类智能识别分析中，输入是多变的，而输出的分类则基本固定，比较适合神经网络分类模型。神经网络算法的现有技术已经十分成熟，当前研究的是如何应用在不同场景。其中，对于线条和轮廓位置评价的分类标准由人工预先设定，平台预先搜集多种风格的若干作品，进行上述识别分析，找出绘画特征用于神经网络的特征参数输入，画师对该作品进行人工挑选分类，来完成对神经网络的训练，分类包括正常和多种异常问题分类。在正式评价中，当这些特征经由神经网络输出得出一个异常的分类情况时，不断的测试由哪些输入特征导致分类异常，将这些特征线条或轮廓作为点评意见，进一步地，平台可以根据异常分类的特点来主动修改线条或位置，提供给用户相应的修改方案。

透视分析主要基于透视学的几何原理。首先根据各个物体轮廓内检测到的直线、四边形平面作延伸处理，根据相交关系，初步定位透视学中的视平线、心点等基本透视要素的位置，并根据此模型测试物体内的所有四边形表面，对于未按正常位置透视消失的四边形边线，给出修改意见。当多个物体存在时，则判断各个物体分析出的透视要素位置是否在一个合理的误差范围内。

光影分析首先根据前面检测的光源位置与方向，对于和光源方向垂直或成较大角度的直线分割出的物体表面，测试是否存在表面的光源处理遗漏或者异常，如果有异常或遗漏则给出修改意见。

将以上识别出的各种特征值输入到已经训练过的智能网络中，利用前面步骤得到的多个物体轮廓区域和线条属性作为绘画特征，根据绘画特征建立神经网络进行识别分析，当绘画特征经由神经网络输出得出一个异常的分类情况时，重复测试找出导致分类异常的具体绘画特征，对所述绘画特征的线条或轮廓提出点评意见，得出最后的评价结果，也可以通过网页工具绘制图像，然后辅助绘画装置将图像经由网络发送给辅导绘画平台系统用于分析辅导。评价的分类标准由人工预先设定，辅导绘画平台首先搜集多种风格的若干作品，进行上述识别分析，找出绘画特征，然后由画师进行人工分类，将点评意见及修改方案录入平台数据库。

作为上述技术方案的优选，所述方法还包括：借助图形技术来弥补线条检测的遗漏，根据图形绘制时在不同位置的绘制频率分析绘画的重点区域，使用多图层技术绘制图像来方便对物体的提取；

根据用户绘制时所擦拭的线条，来确定消失点的位置。根据用户绘制时所用的高光和阴影颜色，来判断光的走向。

请参阅图3和图4所示，本发明还提出一种绘画辅导装置，所述反馈系统包括绘画模块、反馈发送模块、反馈接收模块和显示模块；所述分析系统包括接收模块、识别模块、分析处理模块和发送模块；所述绘画模块通过反馈发送模块将绘画信息发送给分析系统，所述分析系统的接收模块接收所述绘画信息并和识别模块内的标准绘画信息一起发送给分析处理模块，所述分析处理模块经过识别分析后将修正意见通过发送模块发送给反馈接收模块，所述反馈接收模块和绘画模块连接至显示模块，用于显示绘画信息和修正意见。

用户打开绘画工具，绘制作品提交给绘画辅导装置，绘画辅导装置根据本发明的方法智能识别绘画元素。根据绘画理论和绘画元素特征数据分析，判别绘画元素的运用优劣。

绘画辅导装置根据不同的绘画原则，采用不同的分析技术。通过图像分析，给出绘画的基本特征数据，然后结合绘画理论和智能网络模型，进行对比分析后，给出修改意见，同时给出一些相应的训练课程。最终用户根据对比意见，理解自己在绘画技巧上存在的不足，并且获取到理想的绘画结果。对于轮廓线条的评价采用边缘检测技术，以及边缘特征提取技术。对于构图，采用前景、背景提取技术。对于透视，采用直线检测技术。对于光线阴影，采用图像处理光照技术。

反馈系统用于收集记录用户学习过程中各个环节的数据，例如登陆系统的时间点及时长、学习的科目、学习的时间、练习的科目、练习的时间、练习过程中所产生的基于图形标准偏差算法的数码绘画自动评价结果等，分析比对系统对已收集的数据进行深入挖掘分析，主要实现“用户性格分析”、“用户行为模式分析”、“用户能力分布及能力水平分析”。分析比对系统基于反馈系统所产生的结果进行加权计算，并根据计算结果和“辅导方案数据库”自动生成匹配用户的辅导方案。

在本发明实施例中，绘画辅导装置可以利用自带数据库对绘制图像进行评价并转化为图像处理方案后显示，辅导绘画人员进行绘画学习，也可以通过网络接收辅导绘画平台系统对绘制图像的评价处理，辅导绘画平台系统将评价转化为图像处理方案在绘画辅导装置上展示，绘画辅导装置根据需要来选择接收。

本发明还提出一种辅导绘画平台系统，辅导绘画平台系统置于互联网上，可供所有连接互联网的辅助绘画装置访问，可实现无人化教学辅导，降低教学成本。进而可通过大量数据分析结果，针对每个用户的个人特点进行差异化辅导，显著提高用户学习效率。

辅导绘画平台系统包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

接收用户的板绘图像；

智能识别绘画元素；

根据绘画理论，判别绘画元素的运用优劣。

请参阅图5所示，在本发明实施例中，还可以向辅助绘画装置推送教程，而教程的内容是依据前面评价的结果。

如图2所示，绘画辅导装置的使用方法包括以下步骤：

步骤S201：接收平台发送的所有修正意见。

其中，客户端通过网络接收平台发送的修改意见，并以图像的方式展示。

步骤S202：动态遍历展示用户所画的内容和平台的修改意见。

为了增强对比效果，可采用定时器的方式让对比前后的图像分时切换展示。

步骤S203：用户对每一条修改意见进行选择性的接受；若是，执行步骤S204；若否，执行步骤S202。

步骤S204：去除当前意见用户所绘内容，接受平台的修改内容。

在所有意见处理完毕后，用户得到一幅平台意见修改过后图像。

本发明的一种辅导绘画平台系统收集记录用户学习过程中各个环节的数据，例如登陆系统的时间点及时长、学习的科目、学习的时间、练习的科目、练习的时间、练习过程中所产生的基于图形标准偏差算法的数码绘画自动评价结果等。

再对已收集的数据进行深入挖掘分析，主要实现“用户性格分析”、“用户行为模式分析”、“用户能力分布及能力水平分析”。

对所产生的用户分析结果进行加权计算，并根据计算结果和“辅导方案数据库”自动生成匹配用户的辅导方案。

本发明根据用户的手绘的图像，通过图像分析识别技术和基于绘画原理的智能数据分析技术，使用户在绘画过程中认知到绘画技能的差距和不足，全程无需人工干预，提升了用户的绘画效率，减轻了学习成本。

以下介绍一些实施例中用到的算法，可供技术人员参考。

在提取边缘的过程中，首先可以通过各种已有的图像二值化算法，将图像转化成二值图像，即各种绘图工具将图像保存成单色位图的效果。其中较为方便的算法是根据亮度值划分，当图像中点的亮度值在0～127时认为是白色，在128～255时认为是黑色。而亮度值由点的RGB颜色通过公式Brightness＝0.3*R+0.6*G+0.1*B得出。对于二值化图像，再通过CANNY边缘检测算子或一些改进算法来完成边缘检测，如文献“一种改进的基于Canny算子的图像边缘提取算法,《吉林大学学报:理学版》,2007,45(2):244-248”。并且CANNY算法可以通过设定参数，来完成不同的边缘提取效果。

直线检测算法，可以使用最为经典的霍夫变换算法，或者一些高效率的改进算法，如文献“基于主元分析和聚类的直线检测算法《计算机应用》,2011,31(5):1202-1204”。

透视检测算法则基于透视学中的一点透视原理、两点透视原理和三点透视原理。对同一物体内检测到的若干条直线，通过解方程等方法寻找到两两相交的交点，然后判断这些交点是否和透视原理中的消失点相一致。

光源定位算法依据是正向的光照原理，即平面的光线强度和光线入射角度的余弦成正比。其中，对于近似真实场景的绘画可以采用论文“基于渲染的单幅图像的光源定位《华中科技大学》,2011”中的方法来实现，而对于一些略为简易抽象的绘画，则可根据物体表面的所有点做明暗聚类，然后识别出分类边界，当边界为直线时，其垂直方向为光源入射方向，近一步地，再次遍历物体表面中相对明亮的点，当这些点的分布状态为集中分布时，即直径范围小于某一设定的参数，则认定这些点是光源的入射中心。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。