一种图像目标关系抽取算法的制作方法

本发明涉及一种关系处理算法，特别设计图像目标或知识间关系增强的关系处理算法。

背景技术：

1、关系抽取旨在将非结构化文本转换为结构化三元组, 和是实体，属于目标关系集。在图像目标的理解和识别研究中，包含但不限于powerpoint截图解析、如吕品等人[1]借助光学字符识别接口、结合自然语言处理相关技术抽取关系的方法在序列任务中虽然取得了较好的成果,但其局限性在于关系信息更多蕴含于字体、字号、颜色和文字位置等非序列信息内。在一些通用的视觉场景任务中关系信息也蕴含于序列内容之外的视觉特征中，序列方法此时不再适用。

2、cn202310403811.5公布了一种目标间关系识别,通过根据上下句预测和掩码预测对联合模型进行模型预训练，接着将训练数据输入到联合抽取预训练模型中进行模型训练，得到训练模型的方法，训练需要大量数据。

3、cn113449734a公布了一种基于匹配连线的关系提取算法，而无连线的关系如何提取则是现有技术有待解决的问题。

技术实现思路

1、为实现本发明的目的，本发明提供一种基于图像目标关系增强的算法，该算法可根据目标位置将关系自动转为关系图片，可为后续通过深度学习方法分类提供数据。所述算法包括以下步骤：

2、s101：预设置存储空间大小为第一常数；在opencv平面（设为第一平面）接收图片设为第一图像，及所含知识位置；

3、s102：按顺序读取一对位置，设该知识对位置对为第一位置对，所含位置定义为第一位置对位置一、第一位置对位置二；

4、s103：检测位置对中第一位置终点纵坐标大于位置对中第二位置；若结果为是，则将图像沿中线垂直翻转图像得到第二图像并将第一、第二位置对调得到第二位置对；若为否，则不进行处理，并拷贝第一图像、第一位置对得到第二图像、第二位置对；

5、s104：根据第二位置对位置，算出第二位置对对应的中点，分别记为第一中点、第二中点；以第二中点为旋转中心，自动旋转第二位置对，直到第一中点在第二中点的“-y轴“方向，保证两点x值相等，此时第二位置对位置发生变化，并将所述位置对定义为第三位置对；判断第三位置对是否出界，所述出界情况为在渲染原图的区域以外；若结果为是，则将第三位置对进行缩放并移入可见区域内记为第四位置对；若结果为否，则直接复制第三位置对，记为第四位置对；结合第二位置对于第四位置对坐标变化结合第三方库opencv中getaffinetransform得到变换矩阵，其矩阵记为第一矩阵；借助第三方库opencv中warpaffine与第一变换矩阵、第二图像，将第二图像进行如第一变换矩阵的变换，所得图像记为第三图像；

6、s105：取第三图像的边缘顶点坐标定义为第一顶点坐标集；设定扩维变换后，第四位置对中点的变换范围集，所述范围集定义为第一变换范围集；条件随机过程、循环生成或利用智能方法生成出第三图像边缘顶点变换后与第一顶点坐标集不同位置坐标记为第二顶点坐标集、借助第三方库opencv下getperspectivetransform与第一、第二顶点坐标集变化，得到扩维变换矩阵，记为第二变换矩阵；将变换矩阵与第二变换矩阵相乘得到第四位置；将第三图像进行与第一顶点坐标同样变换的变换矩阵，记为第三变换矩阵；对第四位置对做第三变换矩阵的变换，变换后的位置记为第五位置对；判断第五位置对中两中点：第三、第四中点的位置是否在所设的第一变换范围集内；若第三、第四中点在第一变换范围集内，借助第三方库opencv下warpperspective方法，将第三图像进行第三变换矩阵变换得到第四图像；并进行s107、s108;若不在范围集内，不进行s107、s108，直接返回s105，重新生成第二顶点坐标集；

7、s107：将第四图像进行畸变处理后得到第五图像；

8、s108：将第五图像存储；

9、s109:判断存储图像张数，若达到s101中预设的第一常数，则回到s101重新选取；若未达到，则进入s105重新生成第二顶点坐标集。

10、经算法处理得到关系图片的处理的流程图如图1所示。本发明将结合实施例，及算法进行详细说明，以使对本发明的目的特征及优点进行更深入的了解。

技术特征：

1.一种图像目标间关系处理的算法，其特征在于、所述算法设置有以下至少之一：

2.根据权利要求1所述的扩维至高维关系的模块，其特征在于、所述的扩维操作包含但不限于：

3.根据权利要求1所述的目标间关系，其特征在于目标或知识之间的可明确表示的关联，所述目标或知识包括但不限于图像中的语义信息、文本信息。

4.根据权利要求1或2或3所述的扩维或畸变，其特征在于、所述扩维或畸变用于增强知识目标信息表征的有向或无向关系。

5.根据权利要求1所述的算法，其特征在于、所述算法用于产生关系图像矩阵。

技术总结
本发明涉及一种图像目标信息间关系的处理算法，其新颖之处在于针对图像目标关系抽取中的信息表征不足等问题，通过将二维关系扩展到三维，结合适当角度的投影截图或桶形畸变增强等技术，生成关系图片数据。后可利用深度学习方法提高关系识别准确率。与现有的流水线方式关系识别、联合抽取等方式相比，本发明有效增强关系信息的表征、可显著提升关系提取准确率，尤其为幻灯片文字目标间的关系识别、分类提供了更行之有效的处理方法。

技术研发人员：张亚洲
受保护的技术使用者：张亚洲
技术研发日：
技术公布日：2024/1/15