一种基于图片信息聚类的信息批量提取方法与流程

1.本发明涉及互联网大数据智能处理技术领域，更具体地，涉及一种基于图片信息聚类的信息批量提取方法、系统及计算机可读存储介质。


背景技术：

2.ocr识别技术框架是互联网公司经常用来识别图文信息的一项重要技术，技术本身是通过扫描仪或相机等光学输入设备获取纸张上的文字、图片信息，利用各种模式识别算法对文字的形态结构进行分析，形成相应的字符特征描述，通过合适的字符匹配方法将图像中的文字转换成文本格式。
3.对于大数据分析大量图片，是一项很实用高效的技术，但传统的识别技术往往会只是单条信息的扫描方式，把识别出来的文字当成单独个体，并没有识别组合内容的功能，以块状扫描的方式来处理，这便经常出现识别出来的单独文字无法准确得知描述对象的真实语义情况。
4.现有技术公开了一种图像中的对象识别方法及装置，所述方法包括：对待识别图像进行预处理，获得所述待识别图像的二值图像；将所述二值图像切割成多个子区域，并从所述多个子区域中选出第一子区域，所述第一子区域为包含有预设像素点的子区域；基于不同第一子区域在所述二值图像中的距离，对所述第一子区域进行合并得到至少一个第二子区域；识别所述第二子区域中的目标对象。该方案针对的是复杂背景中的对象识别，没有解决关联对象或组合对象的识别问题。


技术实现要素：

5.本发明为克服上述现有的图片信息提取方法没有解决关联对象或组合对象的识别提取的缺陷，提供一种基于图片信息聚类的信息批量提取方法、系统及计算机可读存储介质。
6.本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：本发明第一方面提供了一种基于图片信息聚类的信息批量提取方法，包括以下步骤：s1：利用ocr识别方法从待识别的图像中提取出商品对象和文字对象并分类编号，将每张图像中的对象均作为独立对象并确定每个对象的坐标系；s2：对每个图像中所有的商品对象和文字对象边缘打点，所打点记为边缘点，根据每个对象的坐标系确定边缘点的坐标；s3：将相邻的不同类对象利用边缘点进行碰撞计算，若相邻两个不同类对象的边缘点之间的距离小于预设值则将当前两个对象作为组合对象；s4：将组合的两个对象继续分别与其他不同类对象进行碰撞计算，若边缘点之间的距离大于当前已组合对象之间边缘点之间距离的预设倍数，则判定该对象不属于同一组合内对象，继续寻找其他不同类对象进行碰撞计算，直到所有对象均已组合，输出组合对
象。
7.进一步的，步骤s1中利用ocr识别方法从左至右，从上至下识别扫描从待识别的图像中提取出商品对象和文字对象。
8.进一步的，所述对每个图像中所有的商品对象和文字对象边缘打点具体过程为：确定打点的对象，首先在其左上角、右上角、左下角、右下角的最远距离分别取4个点，将四点连线构造成一个不规则矩形；分别取左上角到右上角、左下角到右下角、左上角到左下角、右上角到右下角的点与点之间的中心，则分别对应确定出上、下、左、右4个点。
9.进一步的，所述碰撞计算过程为：将两个对象相邻的点分别记为p1和p2，点p1的坐标记为（x1，y1），点p2的坐标记为（x2，y2），则两个对象在x轴相距的距离记为|x2-x1|。
10.进一步的，步骤s4所述预设倍数为大于或等于2。
11.进一步的，步骤s4中，在继续寻找其他不同类对象进行碰撞计算时，若没有识别到有效数据，也结束当前流程同时输出已组合的对象。
12.进一步的，所述碰撞计算仅在不同类型对象间进行。
13.本发明第二方面提供了一种基于图片信息聚类的信息批量提取系统，该系统包括：存储器、处理器，所述存储器中包括基于图片信息聚类的信息批量提取方法程序，所述基于图片信息聚类的信息批量提取方法程序被所述处理器执行时实现如下步骤：s1：利用ocr识别方法从待识别的图像中提取出商品对象和文字对象并分类编号，将每张图像中的对象均作为独立对象并确定每个对象的坐标系；s2：对每个图像中所有的商品对象和文字对象边缘打点，所打点记为边缘点，根据每个对象的坐标系确定边缘点的坐标；s3：将相邻的不同类对象利用边缘点进行碰撞计算，若相邻两个不同类对象的边缘点之间的距离小于预设值则将当前两个对象作为组合对象；s4：将组合的两个对象继续分别与其他不同类对象进行碰撞计算，若边缘点之间的距离大于当前已组合对象之间边缘点之间距离的预设倍数，则判定该对象不属于同一组合内对象，继续寻找其他不同类对象进行碰撞计算，直到所有对象均已组合，输出组合对象。
14.进一步的，步骤s1中利用ocr识别方法从左至右，从上至下识别扫描从待识别的图像中提取出商品对象和文字对象。
15.本发明第三方面提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于图片信息聚类的信息批量提取方法程序，所述一种基于图片信息聚类的信息批量提取方法程序被处理器执行时，实现所述的一种基于图片信息聚类的信息批量提取方法的步骤。
16.与现有技术相比，本发明技术方案的有益效果是：本发明首先对图片中的不同对象进行识别分类，然后对不同独立对象进行距离计算进而将不同对象进行组合，本发明能够实现复杂背景中关联对象的组合识别并进行信息提取。
附图说明
17.图1为本发明一种基于图片信息聚类的信息批量提取方法流程图。
18.图2为本发明实施例识别效果图。
19.图3为本发明实施例不同对象相邻点示意图。
20.图4为本发明实施例不同对象相邻点匹配示意图。
21.图5为本发明实施例已组合对象相邻点碰撞计算示意图。
具体实施方式
22.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
23.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
24.实施例1如图1所示，本发明第一方面提供了一种基于图片信息聚类的信息批量提取方法，包括以下步骤：s1：利用ocr识别方法从待识别的图像中提取出商品对象和文字对象并分类编号，将每张图像中的对象均作为独立对象并确定每个对象的坐标系；在一个具体的实施例中，例如在一张商品促销广告详情图，图片中有多个手机图像、多个对应的商品价格，并且图像+文字为上下布局，从左到右排列，如图2所示，手机图像下方带有商品名称、商品价格，这时便需要将他们识别成一个组合，指这段文字名称、价格对应的是这个手机图像。
25.首先需从待识别的图像中提取出商品对象和文字对象，可以采用ocr识别方法从左至右，从上至下识别扫描分别提取出商品对象和文字对象，例如商品对象001，文字对象001等，将每张图像中的对象均作为独立对象并确定每个对象的坐标系；s2：对每个图像中所有的商品对象和文字对象边缘打点，所打点记为边缘点，根据每个对象的坐标系确定边缘点的坐标；在一个具体的实施例中，在得到分类的对象并确定每个对象的坐标系后，需要在对象的边缘打点，例如可以打八个点，具体方式如下：确定打点的对象，首先在其左上角、右上角、左下角、右下角的最远距离分别取4个点，将四点连线构造成一个不规则矩形；分别取左上角到右上角、左下角到右下角、左上角到左下角、右上角到右下角的点与点之间的中心，则分别对应确定出上、下、左、右4个点。
26.需要说明的是，每个所打的点都能根据对象的坐标系统确定坐标位置便于接下来的用于对象与对象之间的距离计算。
27.s3：将相邻的不同类对象利用边缘点进行碰撞计算，若相邻两个不同类对象的边缘点之间的距离小于预设值则将当前两个对象作为组合对象；在一个具体的实施例中，碰撞计算的过程为：将两个对象相邻的边缘点分别记为p1和p2，点p1的坐标分别记为（x1，y1），点p2的坐标分别记为（x2，y2），则两个对象在x轴相
距的距离记为|x2-x1|。需要说明的是，所述碰撞计算仅在不同类型对象间进行，如：仅将商品对象1与文字对象1进行点到点的计算，但不会将商品对象1与商品对象2进行碰撞计算，如图3所示商品图（即商品对象）的左下边缘点1、下边缘点2、右下边缘点3三个边缘点与文字对象的左上边缘点4、上边缘点5、右上边缘点6三个边缘点进行计算，当商品图1与文字对象间距小于预设值时便设定他们作为组合对象，如图3所示，商品对象（商品图）的左下边缘点1、下边缘点2、右下边缘点3三个边缘点与文字对象的左上边缘点4、上边缘点5、右上边缘点6三个边缘点进行计算，当商品图1与文字对象间距小于预设值时便设定他们作为组合对象。
28.需要说明的是，上述处理方式，仅限于2个边缘点（包含2个以上）距离相近时，才进行当前碰撞计算操作，边缘点与边缘点之间没有固定匹配对象，边缘点只用于计算使用，取最近距离的边缘点进行计算。如图4所示，商品对象（即商品图片）边缘点2、边缘点3与下方文字对象的边缘点6、边缘点7进行计算匹配。
29.s4：将组合的两个对象继续分别与其他不同类对象进行碰撞计算，若边缘点之间的距离大于当前已组合对象之间边缘点之间距离的预设倍数，则判定该对象不属于同一组合内对象，继续寻找其他不同类对象进行碰撞计算，直到所有对象均已组合，输出组合对象。
30.在一个具体的实施例中，如图5所示，在得到了组合对象后，将组合的两个对象继续分别与其他不同类对象进行碰撞计算，碰撞计算中若两个对象的边缘点之间的距离大于当前已组合对象之间边缘点之间距离的预设倍数，例如预设倍数为2倍或2倍以上，则判定该对象不属于同一组合内对象，继续寻找其他不同类对象进行碰撞计算，直到所有对象均组合，输出组合对象，也即输出识别到的文本信息。需要说明的是，在继续寻找其他不同类对象进行碰撞计算时，若没有识别到有效数据，也结束当前流程同时输出已组合的对象。
31.实施例2本发明第二方面提供了一种基于图片信息聚类的信息批量提取系统，该系统包括：存储器、处理器，所述存储器中包括基于图片信息聚类的信息批量提取方法程序，所述基于图片信息聚类的信息批量提取方法程序被所述处理器执行时实现如下步骤：s1：利用ocr识别方法从待识别的图像中提取出商品对象和文字对象并分类编号，将每张图像中的对象均作为独立对象并确定每个对象的坐标系；在一个具体的实施例中，例如在一张商品促销广告详情图，图片中有多个手机图像、多个对应的商品价格，并且图像+文字为上下布局，从左到右排列，如图2所示，手机图像下方带有商品名称、商品价格，这时便需要将他们识别成一个组合，指这段文字名称、价格对应的是这个手机图像。
32.首先需从待识别的图像中提取出商品对象和文字对象，可以采用ocr识别方法从左至右，从上至下识别扫描分别提取出商品对象和文字对象，例如商品对象001，文字对象001等，将每张图像中的对象均作为独立对象并确定每个对象的坐标系；s2：对每个图像中所有的商品对象和文字对象边缘打点，所打点记为边缘点，根据每个对象的坐标系确定边缘点的坐标；在一个具体的实施例中，在得到分类的对象并确定每个对象的坐标系后，需要在对象的边缘打点，例如可以打八个点，具体方式如下：确定打点的对象，首先在其左上角、右
上角、左下角、右下角的最远距离分别取4个点，将四点连线构造成一个不规则矩形；分别取左上角到右上角、左下角到右下角、左上角到左下角、右上角到右下角的点与点之间的中心，则分别对应确定出上、下、左、右4个点。
33.需要说明的是，每个所打的点都能根据对象的坐标系统确定坐标位置便于接下来的用于对象与对象之间的距离计算。
34.s3：将相邻的不同类对象利用边缘点进行碰撞计算，若相邻两个不同类对象的边缘点之间的距离小于预设值则将当前两个对象作为组合对象；在一个具体的实施例中，碰撞计算的过程为：将两个对象相邻的点分别记为p1和p2，点p1的坐标分别记为（x1，y1），点p2的坐标分别记为（x2，y2），则两个对象在x轴相距的距离记为|x2-x1|。需要说明的是，所述碰撞计算仅在不同类型对象间进行，如：仅将商品对象1与文字对象1进行点到点的计算，但不会将商品对象1与商品对象2进行碰撞计算，如图3所示，商品对象（商品图）的左下边缘点1、下边缘点2、右下边缘点3三个边缘点与文字对象的左上边缘点4、上边缘点5、右上边缘点6三个边缘点进行计算，当商品图1与文字对象间距小于预设值时便设定他们作为组合对象。
35.需要说明的是，上述处理方式，仅限于2个边缘点（包含2个以上）距离相近时，才进行当前碰撞计算操作，边缘点与边缘点之间没有固定匹配对象，边缘点只用于计算使用，取最近距离的边缘点进行计算。如图4所示，商品对象（商品图）边缘点2、边缘点3与下方文字对象的边缘点6、边缘点7进行计算匹配。
36.s4：将组合的两个对象继续分别与其他不同类对象进行碰撞计算，若边缘点之间的距离大于当前已组合对象之间边缘点之间距离的预设倍数，则判定该对象不属于同一组合内对象，继续寻找其他不同类对象进行碰撞计算，直到所有对象均已组合，输出组合对象。
37.在一个具体的实施例中，在得到了组合对象后，将组合的两个对象继续分别与其他不同类对象进行碰撞计算，碰撞计算中若两个对象的边缘点之间的距离大于当前已组合对象之间边缘点之间距离的预设倍数，例如若预设倍数为2倍或2倍以上，则判定该对象不属于同一组合内对象，继续寻找其他不同类对象进行碰撞计算，直到所有对象均组合，输出组合对象，也即输出识别到的文本信息。需要说明的是，在继续寻找其他不同类对象进行碰撞计算时，若没有无识别到有效数据，也结束当前流程同时输出已组合的对象。
38.实施例3本发明第三方面提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于图片信息聚类的信息批量提取方法程序，所述一种基于图片信息聚类的信息批量提取方法程序被处理器执行时，实现所述的一种基于图片信息聚类的信息批量提取方法的步骤。
39.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。