图像笔迹的处理方法、装置、设备及存储介质与流程

本发明涉及人工智能视觉识别的，更具体地，涉及一种图像笔迹的处理方法、装置、设备及存储介质。

背景技术：

1、用于会议、演讲、教学等的在白板或黑板等书写对象上的板书记录是信息传递的重要载体，参会者、观众或学生透过观看板书记录可以更好地理解主讲人要传达的信息。因此，在远程会议或教学中，也会拍摄板书的视频，让参与者能够观看主讲人的板书，但是在拍摄板书视频时，主讲人在讲解时往往会挡住板书内容，导致参与者无法观看全部的板书内容。

2、目前，为了解决视频中板书内容被遮挡的问题，通常对板书内容进行提取，然后将板书内容与有主讲人的当前图像帧进行叠加，得到既有主讲人又能够看清板书内容的目标视频帧。主讲人或老师通常会以不同的颜色进行板书，以区分开不同的内容，所以提取的板书内容或板书笔迹是需要带有颜色的。然而，拍摄时难免会受到如光线分布不均等外界因素的干扰，导致用于提取字迹的图像画面中对于原本是同一颜色的字迹呈现出不相同的色彩。以教学场景为例，如果直接使用这色彩作为提取后的板书内容的色彩的话，学生就不能通过颜色来区分不同的内容，不能完全读懂老师的板书意图，影响教学效果。

技术实现思路

1、为了解决拍摄过程受光照等外部因素干扰，导致板书画面颜色偏差，造成字迹颜色表示不统一的技术问题，本发明提供一种图像笔迹的处理方法、装置、设备及存储介质。为解决上述技术问题，本发明采用的技术方案如下。

2、第一方面，本发明提供一种图像笔迹的处理方法，包括：

3、获取图像的目标区域中每块字迹区域的字迹表征颜色，其中，所述字迹表征颜色用于代表本块字迹区域的字迹的颜色；

4、在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域，以所述基准颜色字迹区域的字迹表征颜色作为基准字迹表征颜色；

5、对基准颜色字迹区域之外的其他各字迹区域，分别计算字迹表征颜色与基准字迹表征颜色的颜色相似度；

6、对于颜色相似度在预设阈值区间内的字迹表征颜色所对应的字迹区域，用基准字迹表征颜色替代这些区域原来的字迹表征颜色；

7、根据当前的字迹表征颜色对各块字迹区域的字迹颜色进行调整。

8、在一种实施方式中，所述计算字迹表征颜色与基准字迹表征颜色的颜色相似度的过程，包括：

9、根据字迹表征颜色的色相与基准字迹表征颜色的色相，得出色相比对结果；

10、根据所述色相比对结果，得到颜色相似度。

11、在一种实施方式中，所述计算字迹表征颜色与基准字迹表征颜色的颜色相似度的过程，还包括：

12、根据字迹表征颜色的饱和度与基准字迹表征颜色的饱和度，得出饱和度比对结果；

13、根据所述饱和度比对结果，修正颜色相似度。

14、在一种实施方式中，所述根据所述饱和度比对结果，修正颜色相似度的过程，包括：

15、若字迹表征颜色的饱和度与基准字迹表征颜色的饱和度二者之一处于预设的黑白灰饱和度范围内时，以第一修正方式修正颜色相似度；

16、若字迹表征颜色的饱和度与基准字迹表征颜色的饱和度二者都不处于预设的黑白灰饱和度范围内时，以第二修正方式修正颜色相似度。

17、在一种实施方式中，所述根据所述饱和度比对结果，修正颜色相似度的过程，还包括：

18、若字迹表征颜色的饱和度与基准字迹表征颜色的饱和度二者都处于预设的黑白灰饱和度范围内时，以第二修正方式修正颜色相似度。

19、在一种实施方式中，所述计算字迹表征颜色与基准字迹表征颜色的颜色相似度的过程，还包括：

20、根据字迹区域与基准颜色字迹区域的距离，修正颜色相似度。

21、在一种实施方式中，所述在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域的过程，包括：

22、以面积最大的一块字迹区域作为基准颜色字迹区域。

23、在一种实施方式中，所述在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域的过程，包括：

24、根据所有字迹区域的字迹表征颜色，统计出占比最大的色相；

25、以在占比最大的色相中的且面积最大的一块字迹区域作为基准颜色字迹区域。

26、第二方面，本发明提供一种图像笔迹的处理装置，包括：

27、获取模块，用于获取图像的目标区域中每块字迹区域的字迹表征颜色，其中，所述字迹表征颜色用于代表本块字迹区域的字迹的颜色；

28、选定模块，用于在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域，以所述基准颜色字迹区域的字迹表征颜色作为基准字迹表征颜色；

29、比对模块，用于对基准颜色字迹区域之外的其他各字迹区域，分别计算字迹表征颜色与基准字迹表征颜色的颜色相似度；

30、校正模块，用于对于颜色相似度在预设阈值区间内的字迹表征颜色所对应的字迹区域，用基准字迹表征颜色替代这些区域原来的字迹表征颜色；

31、颜色调整模块，用于根据当前的字迹表征颜色对各块字迹区域的字迹颜色进行调整。

32、第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式的方法。

33、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。

34、本发明中，认为画面中颜色相差比较小的字迹颜色在实际空间中实为同一种颜色，其仅是受到了光照等外部因素干扰才造成颜色上的细微差异，所以对颜色相差比较小的字迹颜色统一为同一颜色，以消除因板书画面颜色偏差而造成字迹颜色表示不统一的问题，更准确地还原出原来的场面和原来的笔迹。

技术特征：

1.一种图像笔迹的处理方法，其特征在于，包括：

2.根据权利要求1所述的图像笔迹的处理方法，其特征在于，所述计算字迹表征颜色与基准字迹表征颜色的颜色相似度的过程，包括：

3.根据权利要求2所述的图像笔迹的处理方法，其特征在于，所述计算字迹表征颜色与基准字迹表征颜色的颜色相似度的过程，还包括：

4.根据权利要求3所述的图像笔迹的处理方法，其特征在于，所述根据所述饱和度比对结果，修正颜色相似度的过程，包括：

5.根据权利要求4所述的图像笔迹的处理方法，其特征在于，所述根据所述饱和度比对结果，修正颜色相似度的过程，还包括：

6.根据权利要求2-5任一项所述的图像笔迹的处理方法，其特征在于，所述计算字迹表征颜色与基准字迹表征颜色的颜色相似度的过程，还包括：

7.根据权利要求1-5任一项所述的图像笔迹的处理方法，其特征在于，所述在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域的过程，包括：

8.根据权利要求1-5任一项所述的图像笔迹的处理方法，其特征在于，所述在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域的过程，包括：

9.一种图像笔迹的处理装置，其特征在于，包括：

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

技术总结
本发明公开一种图像笔迹的处理方法、装置、设备及存储介质。其中，该方法包括步骤：获取图像的目标区域中每块字迹区域的字迹表征颜色；在所有字迹区域中选定其中一块字迹区域作为基准颜色字迹区域，以所述基准颜色字迹区域的字迹表征颜色作为基准字迹表征颜色；对基准颜色字迹区域之外的其他各字迹区域，分别计算字迹表征颜色与基准字迹表征颜色的颜色相似度；对于颜色相似度在预设阈值区间内的字迹表征颜色所对应的字迹区域，用基准字迹表征颜色替代这些区域原来的字迹表征颜色；根据当前的字迹表征颜色对各块字迹区域的字迹颜色进行调整。本发明能够消除因板书画面颜色偏差而造成字迹颜色表示不统一的问题，准确地还原出原来的笔迹。

技术研发人员：邹颖思,詹建勋
受保护的技术使用者：广州市奥威亚电子科技有限公司
技术研发日：
技术公布日：2024/1/15