专利名称：工程图纸矢量化和图元语义提取方法
技术领域：
本发明涉及工程图纸图元语义信息提取及图纸矢量化技术领域。
背景技术：
光栅图像矢量化(Raster to Vector Conversion,简称为RVC),就是利用计算机图形学、数字图像处理、人工智能等综合技术，把通过扫描仪输入到计算机中的以光栅图像格式保存的工程图，识别成矢量图形，最后以CAD软件能够识别的格式保存的过程。光栅图形矢量化，不仅在机械设计领域，更在各种工程设计、地理信息等行业具有广泛的应用前景，具有重要的理论和实践意义。另外，除了图元信息外，一张实际工程图纸主要由图形元素、尺寸标注、文字等三
部分构成。可由如下形式表达P={E，D，T}其中，P-工程图纸，E-图形元素，D-尺寸标注，T-文本说明这三部分所表达的各种信息构成了工程图样语义的主要内容。其中的文字说明部分包括产品的一些材料、精度、加工要求等信息。一般这些说明不涉及零件的三维形体信息，所以通常意义上的图样语义是指图形和尺寸标注两方面。通过标注提取和文字提取，可以为矢量化后的图纸数据的三维重建提供基础。常见的矢量化方法有基于细化的算法、动态骨架算法、轮廓匹配算法、网格模式算法和基于游程算法等以及基于整体识别的种子段算法等，同时也有将人工智能技术融合到矢量化方法当中，如神经网络技术和模糊识别技术等。图元语义提取涉及的方法主要有规则匹配、图文分离、文字识别三块内容。规则匹配是利用固定的规则判断出标注线、外型线、箭头、消隐线等图元；图文分离的主要目的是从图文混合的工程图中，将所有字符标注分离出来，本质上属于一种图像分割算法，通常利用轮廓特征进行判定；文字识别主要利用特征量算法实现。目前已有德国的vpstudio软件,Able公司的R2v软件等多种图纸矢量化软件,这些软件在一定程度上可以较好进行图纸的矢量化，但它们并不完美，矢量化的准确率不是很高，存在各种不足之处。同时在图元语义提取上，效果都比较差，不能准确识别箭头、标注等内容(基本上都是把文字识别为多段直线)。
发明内容
本发明的目的在于提供一种解决不同格式的工程图纸识别和输出的工程图纸矢量化和图元语义提取方法。为解决上述技术问题，本发明工程图纸矢量化和图元语义提取方法，包括如下步骤SI，利用脚本语言提取PDF图纸文件中的信息数据或生成对应BMP格式图像数据，并对图像格式的文件进行进一步预处理；S2，利用种子段算法对图像数据中的直线图元进行矢量化；S3，对图像数据中的圆/圆弧进行矢量化；
S4，图元关系识别，利用基于连通区域的图文分离算法去除图纸图像上的标注框、文字信息；S5，输出结果。所述种子段算法包括如下步骤S2. 1，搜索种子段；S2. 2，种子段生长；S2. 3，已识别直线的擦除。所述搜索种子段包括如下步骤S2. I. 1，以黑像素点C为中心作一个正方形窗口，从上边界开始，按顺时针方向取窗口边界上的连续黑像素段为候选段；S2. I. 2，将未处理的、长度为L的候选段，以其中点P作为初始点来寻找种子段；S2. I. 3，从P开始，按CP确定的方向，以搜索步长r为步长测正交方向上的黑像素段长度，如黑像素段长度< L，即为规则段，否则为不规则段，并以当前测得的规则段中点为Q；S2. I. 4，检查P、Q之间的黑像素连通区；S2. I. 5，结束寻找。所述S2. 1.2中，若无未处理的候选段，如搜索半径R <最大搜索范围scope，则R=R+r，并跳至S2. I. I。所述S2. I. 2中，若无未处理的候选段，如搜索半径R彡最大搜索范围scope，则结束寻找。所述S2. I. 3中，连续测得的规则段数η ;连续测得的不规则段数m，设当前测得的规则段中点为Q，如果nXr彡KXL，则进入S2. 1.4。所述S2. I. 3中，连续测得的规则段数η;连续测得的不规则段数m，设当前测得的规则段中点为Q，如果mXr> scope或| CP | >scope,则结束寻找并返回S2. I. 2。所述S2. I. 4中，若P、Q之间的黑像素连通区合格，则结束寻找，返回成功标志。所述S2. 1.4中，若P、Q之间的黑像素连通区不合格，则返回S2. 1.3。所述种子段生长包括如下步骤S2. 2. I,用Bresenham算法生成种子段长轴方向的正交方向路径；S2. 2. 2，按种子段的长轴方向用Bresenham算法逐点生成从种子段的中心点开始的跟踪路径,每生成一个点，检查该点对应的像素点是否为黑点。在所述S2. 2. 2中，如检查该点对应的像素点是黑点，则累计连续黑点的长度，如果长度大于噪音阈值，则将在检测到黑点前连续白点的长度记入路径段表.检查在当前路径点处的正交连通长度。在所述S2. 2. 2中，如检查该点对应的像素点不是黑点，则累计连续白点的长度，如果长度大于噪音阈值，则将在检测到白点前连续黑点的长度记入路径段表。在所述S2. 2. 2中，如果在检测到白点前连续黑点的长度大于虚线间距的阈值，则结束当前方向上的跟踪。所述已识别直线的擦除包括如下步骤S2. 3. 1，沿直线的路径测试路径正交方向上的连通长度，将路径划分为有交点段和无交点段，无交点段按线宽完全擦除；S2. 3. 2，检测交点处直线的中心线两侧的分支情况及其局部轮廓。在所述S2. 3. 2中，如所述分支为两侧分支，则用两边轮廓的趋势计算出近似的擦除边界。在所述S2. 3. 2中，如所述分支为单侧分支，则将无分支的一侧擦除至直线的中心线，另一侧用轮廓的趋势计算。所述S3利用最小二乘法逼近算法提取直线段中的圆及圆弧信息。所述S4利用规则匹配算法提取直线段、圆弧段中的箭头、标注线、辅助线、消隐线、外型线等语义信息；利用OCR技术对擦除已识别图元的图像进行文字识别，利用规则匹配算法将文字和图元信息关联。所述S5利用XML格式将所有已矢量化的图元及其语义信息输出至文件保存。本发明工程图纸矢量化和图元语义提取方法通过对图文分离算法的预处理，以及对种子段矢量化方法的改进，提高了矢量化的准确率和处理速度；同时通过规则匹配算法，较好地解决了图样语义信息的提取难题，为机器智能读图以及三维重建提供了较好的数据基础。
图I为本发明工程图纸矢量化和图元语义提取方法流程图；图2A为本发明工程图纸矢量化和图元语义提取方法直线矢量化搜索种子段流程图；图2B为本发明工程图纸矢量化和图元语义提取方法直线矢量化种子段生长流程图；图2C为本发明工程图纸矢量化和图元语义提取方法直线矢量化已识别直线的擦除流程图。
具体实施例方式下面结合附图对本发明工程图纸矢量化和图元语义提取方法作进一步详细说明。如图I、图2所示，本发明工程图纸矢量化和图元语义提取方法利用Ghostscript脚本语言提取HF图纸文件中的信息数据或生成对应BMP格式图像数据；对图像格式的文件进一步预处理(去噪及二值化)；利用改进的种子段算法提取图像中的所有直线段图元信
肩、O从一个黑像素点c开始按定义寻找种子段的算法如下r为搜索步长，scope为最大搜索范围，均根据图纸扫描分辨率确定。初始设R=r。Stepl. 1，以黑像素点c为中心作一个边长为2XR的正方形窗口，从上边界开始，按顺时针方向取窗口边界上的长度接近线宽范围的连续黑像素段为候选段。Stepl. 2，若有未处理的候选段(长度为L)，以中点p作为初始点来寻找种子段。若无未处理的候选段，如R〈scope,则R=R+r,并跳至Stepl. I ;若R彡scope,结束寻找,返回失败标志。St印L 3，从P开始，按cp确定的方向(上、下、左或右)，以r为步长测正交方向上的黑像素段长度，长度接近或小于L的黑像素段称为规则段，否则为不规则段。设η为连续测得的规则段数为连续测得的不规则段数。设当前测得的规则段中点为q，如果nXr彡KXL,则进入Stepl. 4 ;否则，如果mXr>scope或| cp | >scope,则结束寻找,返回Step2。经过几个不规则段以后，在又进入规则段时，将P定位到q，继续寻找，使搜索可以跳过小范围的噪音、缺损或交点。St印I. 4，根据种子段定义检查p，q之间的黑像素连通区是否合格。如果合格，则结束寻找，返回成功标志；否则，返回Stepl. 3继续寻找。该算法可从图像中任意一个黑像素点开始，寻找(如果搜索范围内存在)距离最近的一个任意方向直线的种子段。找到的种子段的长轴方向可作为该直线的初始方向，短轴长度可作为线宽的初值。对该算法的改进主要体现在初始步长的选取上。步长过大，会遗漏细小直线，步长过小，会影响程序效率。通过对选取窗口从正方形到长方形的改变(即2XR的正方形变为WXH的长方形)，可以从较小的步长，快速定位种子段。种子段的生长算法。种子段的生长由基于Bresenham扫描转换算法的定向跟踪技术来实现。Bresenham算法用于快速生成任意方向的直线路径上的点的序列。跟踪路径从种子段的长轴开始，沿着长轴的方向朝两个相反的方向延伸。只要满足下面两个条件，种子段就可以生
长条件1，跟踪路径上连续白点段的长度小于虚线间距的阈值；条件2，跟踪路径上连续黑点段上每一点处的与路径正交方向的连通长度接近或大于种子段线宽。条件I可以保证跳过小的位图缺损，并具有跟踪虚线的能力。条件2保证延伸的位图连通区中包含待识直线的特征，并能通过相交、粘连区域。路径段表为记录路径上连续的黑白段的链表，作用于两个方向的跟踪过程，初始化为空；L和R是跟踪路径两侧与路径点连通的黑像素点的计数器，作用于一个方向的跟踪过程。Step2. I,用Bresenham算法生成种子段长轴方向的正交方向路径Vo [i] (i=0......
η)。路径的中点在0(种子段的中心点)并且n=3XW(W是种子段的宽度)。初始化L和R为O。Step2. 2,按种子段的长轴方向用Bresenham算法逐点生成从O开始的跟踪路径。每生成一个点，检查该点对应的像素点是否为黑点。如果是，则进入St印2. 3，否则，进入Step2. 4oSt印2. 3，累计连续黑点的长度，如果长度大于噪音阈值，则将上一白段(如存在)的长度记入路径段表。检查在当前路径点P处的正交连通长度。这时，P点处的正交
方向路径Vp不必重新生成，而可以从Vo平移变换得到，Vp [i] =Vo [i]+offset (i=0......η,
offset=P-0) 0从中点Vp[n/2]开始向两侧检查Vp上的黑段连通长度，如果两侧的总长度近似W，则将两侧的长度分别累加到L和R。当L与R的差值大于L与R中的较小值时，表明种子段的方向与实际直线方向存在偏差，需要在进行调整后重新跟踪。种子段的动态调整确保种子段能按相应位图延伸到最大长度。Step2. 4，累计连续白点的长度，如果长度大于噪音阈值，则将上一黑段(如存在)的长度记入路径段表。如果长度大于虚线间距的阈值，则结束当前方向上的跟踪。整个跟踪过程以种子段的方向为参数，没有涉及任何具体方向，因此对任意方向的直线都具有相同的处理能力。另一方向的跟踪过程与此类似，只是在向路径段表中记入段的方式有所不同。一个方向添加到表尾，另一方向添加到表头，并且两个方向的第I段要合并成一个黑段。当向种子段的两个方向跟踪结束后，路径段表中记录了整个延伸路径从一端到另一端的顺序的黑、白段长度。如果只存在一个黑段，则该段是一条实线；否则，通过分析黑、白段之间是否存在与虚线模式类似的规律性，就可以实现对虚线的一次性识别。当一条直线被完整地识别后，准确的线宽可以由整个路径上近似于W的正交段长度的平均值计算得到。对该算法的改进主要为直线生长为两个端点方向分别做生长，同时对耗时较多的STEP3里的正交连通长度检查予以优化，采用带线宽的Bresenham算法检查直线正确性，对存在方向偏差的种子段不做方向调整，直接认为种子段生长结束，从而提高效率。擦除已识别直线的位图。对于一条孤立的直线段，按线宽擦除位图的操作很容易实现。但当直线与其他图形或文字相交时，交点的多样性使问题复杂化。事实上，由于与其相交的对象尚未识别，要准确计算交点处
应该保留的部分是不实际的。因而GLV采用了一个基于对交点分支位图的轮廓检测的近似算法。Step3. 1，沿直线的路径测试路径正交方向上的连通长度，将路径划分为有交点段和无交点段。无交点段按线宽完全擦除；有交点段的处理转入Step3. 2。Step3. 2，检测交点处直线的中心线两侧的分支情况及其局部轮廓。Step3. 3，若为两侧分支，则用两边轮廓的趋势计算出近似的擦除边界；若为单侧分支，则将无分支的一侧擦除至直线的中心线，另一侧用轮廓的趋势计算。对该算法的改进比较大，直接利用内存位图数据信息的变化，将已识别的直线段上的像素值+1(设O为白，I为黑)。这样在直线检测完成后，直线的擦除工作只是在内存中赋值；同时由于种子段生长过程中的带线宽的Bresenham算法寻找的仅是非白像素，线段的交点不会对寻找直线带来影响。而且利用最后内存位图上的像素值，可以快速找出所有交点(像素值大于2)，为后续数据整理(线宽变化部分重叠线段的处理等等情况)提供依据。利用最小二乘法逼近算法提取直线段中的圆及圆弧信息；利用规则匹配算法提取直线段、圆弧段中的箭头、标注线、辅助线、消隐线、外型线等语义信息；利用OCR技术对擦除已识别图元的图像进行文字识别，利用规则匹配算法将文字和图元信息关联；利用XML格式将所有已矢量化的图元及其语义信息输出至文件保存，作为下一步三维重建的基础数据。以上已对本发明创造的较佳实施例进行了具体说明，但本发明创造并不限于实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可作出种种的等同的变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
权利要求
1.工程图纸矢量化和图元语义提取方法，其特征在于，包括如下步骤 SI，利用脚本语言提取TOF图纸文件中的信息数据或生成对应BMP格式图像数据，并对图像格式的文件进行进一步预处理； S2，利用种子段算法对图像数据中的直线图元进行矢量化； S3，对图像数据中的圆/圆弧进行矢量化； S4，图元关系识别，利用基于连通区域的图文分离算法去除图纸图像上的标注框、文字信息； S5，输出结果。
2.根据权利要求I所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述种子段算法包括如下步骤 S2. 1，搜索种子段； S2. 2，种子段生长； S2. 3，已识别直线的擦除。
3.根据权利要求2所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述搜索种子段包括如下步骤 S2. I. 1，以黑像素点C为中心作一个正方形窗口，从上边界开始，按顺时针方向取窗口边界上的连续黑像素段为候选段； S2. I. 2，将未处理的、长度为L的候选段，以其中点P作为初始点来寻找种子段；若无未处理的候选段，如R〈scope,则R=R+r,并跳至S2. I. I ;若R彡scope,结束寻找，返回失败； S2. I. 3，从P开始，按CP确定的方向，以搜索步长r为步长测正交方向上的黑像素段长度，如黑像素段长度< L，即为规则段，否则为不规则段，并以当前测得的规则段中点为Q ;如nXr彡KXL,进入S2. I. 4 ;否则如mXr > scope或CP > scope,结束寻找，返回S2. I. 2 ;其他情况以Q点代替P点，继续S2. I. 3 ； S2. I. 4，检查P、Q之间的黑像素连通区； S2. I. 5，结束寻找。
4.根据权利要求3所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S2. 1.2中，若无未处理的候选段，如搜索半径R <最大搜索范围scope，则R=R+r，并跳至S2. I. I。
5.根据权利要求3所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S2. I. 2中，若无未处理的候选段，如搜索半径R >最大搜索范围scope，则结束寻找。
6.根据权利要求3所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S2. I. 3中，连续测得的规则段数η ;连续测得的不规则段数m，设当前测得的规则段中点为Q，如果nXr≥KXL，则进入S2. 1.4。
7.根据权利要求3所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S2. I. 3中，连续测得的规则段数η ;连续测得的不规则段数m，设当前测得的规则段中点为Q,如果mXr > scope或| CP | > scope,则结束寻找并返回S2. I. 2。
8.根据权利要求3所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S2. 1.4中，若P、Q之间的黑像素连通区合格(满足种子段定义标准)，则结束寻找，返回成功标志
9.根据权利要求3所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S2. 1.4中，若P、Q之间的黑像素连通区不合格，则返回S2. 1.3。
10.根据权利要求2所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述种子段生长包括如下步骤 S2. 2. I,用Bresenham算法生成种子段长轴方向的正交方向路径； S2. 2. 2，按种子段的长轴方向用Bresenham算法逐点生成从种子段的中心点开始的跟踪路径,每生成一个点，检查该点对应的像素点是否为黑点。
11.根据权利要求10所述的工程图纸矢量化和图元语义提取方法，其特征在于，在所述S2. 2. 2中，如检查该点对应的像素点是黑点，则累计连续黑点的长度，如果长度大于噪音阈值，则将在检测到黑点前连续白点的长度记入路径段表.检查在当前路径点处的正交连通长度。
12.根据权利要求10所述的工程图纸矢量化和图元语义提取方法，其特征在于，在所述S2. 2. 2中，如检查该点对应的像素点不是黑点，则累计连续白点的长度，如果长度大于噪音阈值，则将在检测到白点前连续黑点的长度记入路径段表。
13.根据权利要求12所述的工程图纸矢量化和图元语义提取方法，其特征在于，在所述S2. 2.2中，如果在检测到白点前连续黑点的长度大于虚线间距的阈值，则结束当前方向上的跟踪。
14.根据权利要求2所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述已识别直线的擦除包括如下步骤 S2. 3. 1，沿直线的路径测试路径正交方向上的连通长度，将路径划分为有交点段和无交点段，无交点段按线宽完全擦除； S2.3. 2，检测交点处直线的中心线两侧的分支情况及其局部轮廓。
15.根据权利要求14所述的工程图纸矢量化和图元语义提取方法，其特征在于，在所述S2. 3. 2中，如所述分支为两侧分支，则用两边轮廓的趋势计算出近似的擦除边界。
16.根据权利要求14所述的工程图纸矢量化和图元语义提取方法，其特征在于，在所述S2. 3. 2中，如所述分支为单侧分支，则将无分支的一侧擦除至直线的中心线，另一侧用轮廓的趋势计算。
17.根据权利要求I所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S3利用最小二乘法逼近算法提取直线段中的圆及圆弧信息。
18.根据权利要求I所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S4利用规则匹配算法提取直线段、圆弧段中的箭头、标注线、辅助线、消隐线、外型线等语义信息；利用OCR技术对擦除已识别图元的图像进行文字识别，利用规则匹配算法将文字和图元信息关联。
19.根据权利要求I所述的工程图纸矢量化和图元语义提取方法，其特征在于，所述S5利用XML格式将所有已矢量化的图元及其语义信息输出至文件保存。
全文摘要
本发明工程图纸矢量化和图元语义提取方法，包括如下步骤S1，利用脚本语言提取PDF图纸文件中的信息数据或生成对应BMP格式图像数据，并对图像格式的文件进行进一步预处理；S2，利用种子段算法对图像数据中的直线图元进行矢量化；S3，对图像数据中的圆/圆弧进行矢量化；S4，图元关系识别，利用基于连通区域的图文分离算法去除图纸图像上的标注框、文字信息；S5，输出结果。本发明工程图纸矢量化和图元语义提取方法通过对图文分离算法的预处理，以及对种子段矢量化方法的改进，提高了矢量化的准确率和处理速度；同时通过规则匹配算法，较好地解决了图样语义信息的提取难题，为机器智能读图以及三维重建提供了较好的数据基础。
文档编号G06K9/46GK102880868SQ201210277368
公开日2013年1月16日 申请日期2012年8月6日 优先权日2012年8月6日
发明者孙煦峰, 吴康宁, 陶余会, 赵亮 申请人:上海中和软件有限公司, 上海复旦复华科技股份有限公司