题块区域划分方法、题块区域划分模型的训练方法及装置与流程

本发明涉及题块区域划分，尤其涉及一种题块区域划分方法、题块区域划分模型的训练方法及装置。

背景技术：

1、近年来，计算机视觉技术飞速发展，其应用已遍布安防、金融和教育等多个行业，对人们的生产、工作乃至生活方面都带来了巨大的影响和便利。其中，图文识别技术在教育领域得到广泛应用，尽管现阶段已经取得长足的进步和发展，但仍有许多问题亟待解决。而作为图文识别技术的第一步，版面分析、文本检测技术直接决定了整体方案的效果，具有十分重要的作用。

2、在中小学作业场景中，不同题型的自动检测识别、题库查找和批改是一个具有巨大潜力的应用场景，能够帮助学生快速进行批改，减轻教师和家长的负担。在ai诊断拍搜过程中，需要对用户上传的图片进行题型区域划分，而后进行数据题库的比对查找和批改。

3、现有文本检测分割方法对题块区域分割效果较差，而通用目标检测和实例分割方案无法准确输出相对独立题型区域，且大部分目标检测方案基于anchor建模，在高度重叠嵌套的教辅作业场景中，往往存在大量冗余误检题框，仅靠nms(non-maximumsuppression，非极大值抑制)后处理无法准确输出相应题型区域。

技术实现思路

1、本发明提供一种题块区域划分方法、题块区域划分模型的训练方法及装置，用以解决现有技术中通用目标检测和实例分割方案无法准确输出相对独立题型区域，且大部分目标检测方案基于anchor建模，在高度重叠嵌套的教辅作业场景中，往往存在大量冗余误检题框，仅靠nms后处理无法准确输出相应题型区域的缺陷。

2、本发明提供一种题块区域划分方法，包括：

3、获取待分割的试题图像；

4、对所述试题图像进行题块区域检测，得到所述试题图像中的候选题块区域的区域特征和位置特征；

5、基于所述候选题块区域的区域特征和位置特征，确定所述候选题块区域之间的关系，并基于所述候选题块区域之间的关系，从所述候选题块区域中确定所述试题图像的题块区域。

6、根据本发明提供的一种题块区域划分方法，所述基于所述候选题块区域的区域特征和位置特征，确定所述候选题块区域之间的关系，并基于所述候选题块区域之间的关系，从所述候选题块区域中确定所述试题图像的题块区域，包括：

7、将所述候选题块区域的区域特征和位置特征作为节点的特征输入图网络中，由所述图网络基于节点之间的关系进行节点去重，得到所述图网络输出的保留节点特征；

8、基于所述保留节点特征，确定所述题块区域的位置和类型。

9、根据本发明提供的一种题块区域划分方法，所述对所述试题图像进行题块区域检测，得到所述试题图像中的候选题块区域的区域特征和位置特征，包括：

10、基于所述试题图像的视觉特征，生成所述候选题块区域的候选锚框；

11、基于所述候选锚框，进行可行变卷积自适应采样，得到所述试题图像中的候选题块区域的区域特征和位置特征。

12、本发明还提供一种题块区域划分模型的训练方法，包括：

13、获取样本试题图像；

14、基于初始模型，对所述样本试题图像进行题块区域检测，得到所述样本试题图像中的样本候选题块区域的区域特征和位置特征，并应用所述样本候选题块区域的区域特征和位置特征，确定所述样本候选题块区域之间的关系，应用所述样本候选题块区域之间的关系，从所述样本候选题块区域中确定所述样本试题图像的样本题块区域；

15、基于所述样本试题图像的题块标签，以及所述样本试题图像的样本题块区域确定目标损失，基于所述目标损失对所述初始模型进行参数迭代，并基于参数迭代后的初始模型确定所述题块区域划分模型。

16、根据本发明提供的一种题块区域划分模型的训练方法，所述应用所述样本候选题块区域的区域特征和位置特征，确定所述样本候选题块区域之间的关系，应用所述样本候选题块区域之间的关系，从所述样本候选题块区域中确定所述样本试题图像的样本题块区域，包括：

17、应用所述样本候选题块区域的区域特征和位置特征，确定将所述样本候选试题区域作为节点时的学生节点特征；

18、将所述学生节点特征输入至所述初始模型中的图网络中，得到所述图网络输出的保留节点特征；

19、应用所述保留节点特征，从所述样本候选题块区域中确定所述样本试题图像的样本题块区域。

20、根据本发明提供的一种题块区域划分模型的训练方法，所述应用所述样本候选题块区域的区域特征和位置特征，确定将所述样本候选试题区域作为节点时的学生节点特征，还包括：

21、应用所述样本候选题块区域的区域特征和位置特征，以及所述样本候选题块区域内文字的语义特征，确定教师节点特征；

22、所述基于所述样本试题图像的题块标签，以及所述样本试题图像的样本题块区域确定目标损失，包括：

23、基于所述学生节点特征和所述教师节点特征，确定特征蒸馏损失；

24、基于所述样本试题图像的题块标签，以及所述样本试题图像的样本题块区域，确定区域划分损失；

25、基于所述特征蒸馏损失和所述区域划分损失，确定所述目标损失。

26、根据本发明提供的一种题块区域划分模型的训练方法，所述语义特征的确定步骤包括：

27、对所述样本候选题块区域进行文本识别，得到题块区域文本；

28、对所述题块区域文本进行文本编码，得到所述语义特征。

29、本发明还提供一种题块区域划分装置，包括：

30、获取单元，用于获取待分割的试题图像；

31、题块区域检测单元，用于对所述试题图像进行题块区域检测，得到所述试题图像中的候选题块区域的区域特征和位置特征；

32、确定单元，用于基于所述候选题块区域的区域特征和位置特征，确定所述候选题块区域之间的关系，并基于所述候选题块区域之间的关系，从所述候选题块区域中确定所述试题图像的题块区域。

33、本发明还提供一种题块区域划分模型的训练装置，包括：

34、获取样本试题图像单元，用于获取样本试题图像；

35、确定样本题块区域单元，用于基于初始模型，对所述样本试题图像进行题块区域检测，得到所述样本试题图像中的样本候选题块区域的区域特征和位置特征，并应用所述样本候选题块区域的区域特征和位置特征，确定所述样本候选题块区域之间的关系，应用所述样本候选题块区域之间的关系，从所述样本候选题块区域中确定所述样本试题图像的样本题块区域；

36、参数迭代单元，用于基于所述样本试题图像的题块标签，以及所述样本试题图像的样本题块区域确定目标损失，基于所述目标损失对所述初始模型进行参数迭代，并基于参数迭代后的初始模型确定所述题块区域划分模型。

37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述题块区域划分方法，或实现所述题块区域划分模型的训练方法。

38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述题块区域划分方法，或实现所述题块区域划分模型的训练方法。

39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述题块区域划分方法，或实现所述题块区域划分模型的训练方法。

40、本发明提供的题块区域划分方法、题块区域划分模型的训练方法及装置，一方面，基于候选题块区域的区域特征和位置特征，确定候选题块区域之间的关系，可以加强候选题块区域之间的信息交互，学习到整图题型分布，从而确保后续基于候选题块区域之间的关系，从候选题块区域中确定出的试题图像的题块区域是较为独立的题型，进而提高了题块区域划分的准确性和可靠性；另一方面，抛弃了mask rcnn等传统方案中nms步骤，使得试题图像中高重叠的独立题型可以保留，即使在高度重叠嵌套的教辅作业场景中，也不会存在大量冗余误检题框，提高了题块区域划分的划分效果。