图文数据标注方法及装置与流程

本发明涉及图像标注和人工智能，尤其涉及图文数据标注方法及装置。

背景技术：

1、本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、在人工智能服务研发周期中，训练数据的产生效率从很大程度上影响了整个人工智能服务的研发效率。其中对原始数据进行标注是研发周期中不可或缺的环节，也是产生训练数据的重要手段。随着技术的发展，数据标注衍生出多种多样的场景，比较典型的就是图像内容的抽取以及文字内容的识别。但在传统技术中，若想对图片上的文字进行内容的识别，则需要通过ocr(光学字符识别)和ner(命名实体识别)两个场景实现。

3、现有数据标注的方法中，需要通过图像标注任务，将图像数据中带有文字的部分以打矩形框的形式抽取出来，然后将抽取出的结果导出(一般是导出到json或xml文件中)；接下来需要数据处理人员将导出的结果文件中文字内容部分进行提取，形成文本数据。再通过文本标注任务，将文本数据中需要标记的内容打上实体标签，然后将结果导出，最终得到实体标签的结果。此方法存在以下缺点：

4、(1)为了得到文本的实体标注结果，需要通过两个标注任务才能完成，标注的行为也会产生两次，这样会产生额外的标注时间成本和费用成本；

5、(2)在两个标注任务的衔接过程中，需要专业的数据处理人员对标注结果文件进行解析和提取，会产生一定的人力和时间成本；

6、(3)最终得到的文本实体标注结果，失去了文字在原图片上的位置信息，而在模型训练中，位置信息是模型训练的重要特征之一。如果没有位置信息，就缺失了图像上位置和文字的天生的联动效果，会从一定程度上影响模型推理的效果。为解决此问题，传统的做法是由两个模型来协作推理，一个负责位置的推理，一个负责文字内容的推理，这样便增加了服务的链路，会产生额外的响应时间。

技术实现思路

1、本发明实施例提供一种图文数据标注方法，用以提升对图文数据进行数据标注的处理效率，节省图文数据标注的时间成本和人力成本，该方法包括：

2、获取与目标图文数据的数据类型相关联的数据标签列表；

3、基于从所述数据标签列表中选取的目标数据标签，监听在目标图文数据中对应目标数据标签的划选文字操作；所述划选文字操作包括：以预设置划选工具，对目标图文数据中不同位置进行连续划选的操作；

4、根据所述划选文字操作，确定划选文字操作所划选出的至少一个区域；

5、确定每一区域所对应的位置信息和文字内容；

6、将所述每一区域所对应的位置信息和文字内容作为实体信息，并与目标数据标签进行关联，得到目标图文数据的实体标注。

7、本发明实施例还提供一种图文数据标注装置，用以提升对图文数据进行数据标注的处理效率，节省图文数据标注的时间成本和人力成本，该装置包括：

8、数据标签列表获取模块，用于获取与目标图文数据的数据类型相关联的数据标签列表；

9、监听模块，用于基于从所述数据标签列表中选取的目标数据标签，监听在目标图文数据中对应目标数据标签的划选文字操作；所述划选文字操作包括：以预设置划选工具，对目标图文数据中不同位置进行连续划选的操作；

10、区域确定模块，用于根据所述划选文字操作，确定划选文字操作所划选出的至少一个区域；

11、位置信息和文字内容确定模块，用于确定每一区域所对应的位置信息和文字内容；

12、数据标签关联模块，用于将所述每一区域所对应的位置信息和文字内容作为实体信息，并与目标数据标签进行关联，得到目标图文数据的实体标注。

13、本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图文数据标注方法。

14、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图文数据标注方法。

15、本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述图文数据标注方法。

16、本发明实施例中，获取与目标图文数据的数据类型相关联的数据标签列表；基于从所述数据标签列表中选取的目标数据标签，监听在目标图文数据中对应目标数据标签的划选文字操作；所述划选文字操作包括：以预设置划选工具，对目标图文数据中不同位置进行连续划选的操作；根据所述划选文字操作，确定划选文字操作所划选出的至少一个区域；确定每一区域所对应的位置信息和文字内容；将所述每一区域所对应的位置信息和文字内容作为实体信息，并与目标数据标签进行关联，得到目标图文数据的实体标注，与现有技术中需执行图像标注任务和文本标注任务才能实现对图文数据标注的技术方案相比，通过在图文数据上以划选文字绘制，并识别出划选区域的位置信息和区域内的文字内容，从而实现对图文数据进行实体标注，形成带有位置信息的实体标注，解决了现阶段数据标注方法中无法直接在图像上标注文字实体以及无法直接保留实体标注的位置信息的问题，提升了对图文数据进行数据标注的处理效率，节省了图文数据标注的时间成本；同时，也不产生中间数据，无需人工处理数据的环节，节省了人力成本。

技术特征：

1.一种图文数据标注方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，还包括：

3.如权利要求1所述的方法，其特征在于，监听在目标图文数据中对应目标数据标签的划选文字操作，包括：

4.如权利要求1所述的方法，其特征在于，监听在目标图文数据中对应目标数据标签的划选文字操作，包括：

5.如权利要求1所述的方法，其特征在于，监听在目标图文数据中对应目标数据标签的划选文字操作，包括：

6.如权利要求1所述的方法，其特征在于，确定每一区域所对应的位置信息和文字内容，包括：

7.如权利要求1所述的方法，其特征在于，所述目标数据标签对应的初始实体信息为空；

8.如权利要求1所述的方法，其特征在于，还包括：

9.如权利要求8所述的方法，其特征在于，还包括：

10.如权利要求1所述的方法，其特征在于，还包括：

11.如权利要求1所述的方法，其特征在于，还包括：

12.一种图文数据标注装置，其特征在于，包括：

13.如权利要求12所述的装置，其特征在于，还包括：

14.如权利要求12所述的装置，其特征在于，监听模块，具体用于：

15.如权利要求12所述的装置，其特征在于，监听模块，具体用于：

16.如权利要求12所述的装置，其特征在于，监听模块，具体用于：

17.如权利要求12所述的装置，其特征在于，区域确定模块，具体用于：

18.如权利要求12所述的装置，其特征在于，所述目标数据标签对应的初始实体信息为空；

19.如权利要求12所述的装置，其特征在于，还包括：

20.如权利要求19所述的装置，其特征在于，还包括：

21.如权利要求12所述的装置，其特征在于，还包括：

22.如权利要求12所述的装置，其特征在于，还包括：

23.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一所述方法。

24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一所述方法。

25.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一所述方法。

技术总结
本发明公开了一种图文数据标注方法及装置，涉及图像标注和人工智能技术领域，该方法包括：获取与目标图文数据的数据类型相关联的数据标签列表；基于从所述数据标签列表中选取的目标数据标签，监听在目标图文数据中对应目标数据标签的划选文字操作；所述划选文字操作包括：以预设置划选工具，对目标图文数据中不同位置进行连续划选的操作；根据所述划选文字操作，确定划选文字操作所划选出的至少一个区域；确定每一区域所对应的位置信息和文字内容；将所述每一区域所对应的位置信息和文字内容作为实体信息，并与目标数据标签进行关联，得到目标图文数据的实体标注。本发明用以提升进行图文数据标注的处理效率，节省数据标注时间成本和人力成本。

技术研发人员：贺潇铮,岳永强,王江洪,史亚萌,丁昌茂,万光明,冯瑜,胡莺夕
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/13