文本图像处理方法、装置、存储介质及终端与流程

文档序号:15636303发布日期:2018-10-12 21:31阅读:153来源:国知局

本申请实施例涉及移动终端技术领域,尤其涉及文本图像处理方法、装置、存储介质及终端。



背景技术:

随着移动终端拍照功能的不断发展,用户使用移动终端拍摄连续文本图像后,可以直接通过移动终端对拍摄的文本图像进行处理。

但是,在对连续文本内容的文本图像进行处理时,用户需要对拍摄的每个文本图像都进行类似的处理操作,步骤比较繁琐,导致文本图像的处理功耗增加。



技术实现要素:

本申请实施例的目的是提供一种文本图像处理方法、装置、存储介质及终端,能够降低文本图像的处理功耗。

第一方面,本申请实施例提供了一种文本图像处理方法,包括:

当接收到面向多个第一图像的清晰化处理指令时,从所述多个第一图像中查找连续文本内容对应的多个第二图像;

根据所述清晰化处理执行分别获取每个所述第二图像对应的操作步骤序列;

根据所述多个第二图像对应的所述操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;

根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理。

第二方面,本申请实施例提供了一种文本图像处理装置,包括:

接收模块,用于接收面向多个第一图像的清晰化处理指令;

查找模块,用于当所述接收模块接收到所述面向多个第一图像的清晰化处理指令时,从所述多个第一图像中查找连续文本内容对应的多个第二图像;

获取模块,用于根据所述接收模块接收的清晰化处理执行分别获取每个所述查找模块查找到的所述第二图像对应的操作步骤序列;

确定模块,用于根据所述获取模块获取的所述多个第二图像对应的所述操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;

异步执行模块,用于根据所述确定模块确定的所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理。

第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所示的文本图像处理方法。

第四方面,本申请实施例提供了一种终端,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所示的文本图像处理方法。

本申请实施例中提供的文本图像处理方案,首先接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像;其次,根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列;再次,根据多个第二图像对应的操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;最后,根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理,能够降低文本图像的处理功耗。

附图说明

图1为本申请实施例提供的一种文本图像处理方法的流程示意图;

图2为本申请实施例提供的另一种文本图像处理方法的流程示意图;

图3为本申请实施例提供的另一种文本图像处理方法的流程示意图;

图4为本申请实施例提供的另一种文本图像处理方法的流程示意图;

图5为本申请实施例提供的另一种文本图像处理方法的流程示意图;

图6为本申请实施例提供的另一种文本图像处理方法的流程示意图;

图7为本申请实施例提供的一种文本图像处理装置的结构示意图;

图8为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

随着移动终端拍照功能的不断发展,用户使用移动终端拍摄连续文本图像后,可以直接通过移动终端对拍摄的文本图像进行处理。但是,在对连续文本内容的文本图像进行处理时,用户需要对拍摄的每个文本图像都进行处理,但是,由于连续文本内容的文本图像拍摄效果相差不多,因此对各文本图像的处理操作相差不大,对相似的步骤重复执行多次,操作比较繁琐,导致文本图像的处理功耗增加。

本申请实施例提供了一种文本图像处理方法,能够在接收到面向多个待处理文本图像的清晰化处理指令时,确定多个待处理文本图像间的重复步骤,以异步执行的方式对多个待处理文本图像进行清晰化处理,进而避免了接收一次清晰化处理指令处理一个待处理文本图像,简化了文本图像的处理操作,能够降低文本图像的处理功耗。具体方案如下所示:

图1为本申请实施例提供的文本图像处理方法的流程示意图,该方法用于终端进行连续文本内容文本图像处理的情况,该方法可以由自带图像处理功能的移动终端或安装有图像处理类应用程序(如美颜相机、美图秀秀等)的移动终端来执行,该移动终端可以为智能手机、平板电脑、可穿戴设备、笔记本电脑等,该方法具体包括如下步骤:

步骤110、当接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像。

第一图像可以是用户可通过勾选或框选等方式从图库中选取待进行清晰化处理的图像。可选的,用户选择第一图像时通常选择的是具有一系列共同特点的文本图像,例如,可以是针对书籍上的文本内容拍摄的一系列连续文本内容对应的文本图像。用户可以在选出多个第一图像后,触发清晰化处理指令。清晰化处理指令可以是用户点击清晰化处理按键后触发的指令,该指令可以包括一个或多个清晰化处理操作,例如,可以是用户点击显示屏上图像处理界面上的“一键清晰”按键后触发的清晰化处理指令,该指令包括:曝光控制、白平衡控制、多帧降噪、直方图调整、对比度调节、平滑去噪或细节锐化等处理操作中的一个或多个的组合,其中,该指令中所包括的处理操作可以是系统默认的,也可以是由用户根据自身需求预先设定的。清晰化处理指令也可以包括用户在多个可选的清晰化处理操作中触发的一个或多个子清晰化处理按键产生的指令。例如,可以是用户在对连续的文本内容拍摄了多张照片,但由于拍摄环境光线较暗导致拍摄图像不清晰,此时用户可以根据导致图像不清晰的原因,从多个可供选择的清晰化处理操作中,选择白平衡控制、多帧降噪和对比度调节等子清晰化处理操作触发的清晰化处理指令。

用户选择的多个第一图像中可能会存在重复图像或非连续文本内容的图像,例如,用户在拍照的时候可能存在对一个文本内容拍摄多张照片,此时就会出现多张重复图像,或者用户在选择时误选了一张非文本内容的封皮照片。此时若对重复图像或非文本内容的封皮图像执行清晰化处理指令,会增加不必要的处理操作,因此可以当接收到面向多个第一图像的清晰化处理指令时,先从多个第一图像中查找出连续文本内容对应的多个第二图像(即最终要进行清晰化处理的图像)。例如,用户选出的10个第一图像中包括1个书籍封皮图像、1个用户误选的其他非文本类的图像以及书籍连续文本内容对应的8个图像(其中,有3个是相同文本内容的图像)。此时当接收到用户发出的面向这10个第一图像的清晰化处理指令时,从10个第一图像中查找连续文本内容对应的8个图像,再从3个相同文本内容的图像中去除2个重复图像,最终得到无重复的连续文本内容对应的6个第二图像。

可选的,若用户选择的多个第一图像中不存在重复图像或非连续文本内容的图像,则,此时第一图像与第二图像相同。

步骤120、根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列。

清晰化处理执行的操作步骤可以有多个,例如曝光控制、白平衡控制、多帧降噪、直方图调整、对比度调节、平滑去噪或细节锐化等,但是针对每个第二图像不一定要执行所有的操作,例如,若图像中只是存在少量的噪点,并不存在其他问题,此时只需要执行清晰化处理操作中的多帧降噪或平滑去噪操作,并不需要控制曝光、白平衡等。根据清晰化处理执行的操作步骤,结合每一个第二图像的处理需求,确定每个第二图像对应的各操作步骤,对于各第二图像来说,清晰化处理的各操作步骤的顺序不同,可能会影响最终的处理结果,因此,获取第二图像对应的操作步骤后,还要确定操作步骤的执行顺序,将各操作步骤按照执行顺序进行排序后得到该第二图像对应的操作步骤序列。

步骤130、根据多个第二图像对应的操作步骤序列确定重叠步骤。

其中,重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤。

多个第二图像对应的是连续的文本内容,其拍摄环境通常是一致的,所以各第二图像中存在问题也存在一定的相关性,所以执行的清晰化处理操作可能只有略微的区别,大部分操作是一样的。因此,可以根据各第二图像对应的操作步骤序列确定多个第二图像中的重叠步骤。

可选的,在根据多个第二图像对应的操作步骤序列确定重叠步骤时,可以时先根据各第二图像对应的操作步骤序列确定所有第二图像共有的重叠步骤,若所有的第二图像没有共有的重叠步骤,可以选出多数第二图像所共有的重叠步骤,对不具有重叠步骤的个别第二图像单独进行处理。

步骤140、根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理。

重叠步骤可以有一步或多步,每个重复步骤都有其固定的线程,以同步的方式对多个第二图像进行清晰化处理需要预先为各步骤建立多个线程,导致文本图像处理的功耗较高,且存在浪费资源的情况。例如,每个步骤都设多个线程,在清晰化处理过程中,空闲线程较多,从而造成资源的浪费。因此,本申请实施例为各清晰化处理操作设置一个线程,采用异步执行的方式,控制各重复步骤对应的线程依次处理各第二图像。保证清晰化处理效果的同时,能够降低文本图像处理功耗,避免了空闲线程造成的资源浪费。

本申请实施例中提供的文本图像处理方法,首先接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像;其次,根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列;再次,根据多个第二图像对应的操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;最后,根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理。本申请实施例在第一图像中查找对应的多个第二图像,确定多个第二图像的重叠步骤,异步执行重叠步骤对第二图像进行清晰化处理,简化了对多个文本图像的处理操作,可以降低文本图像的处理功耗。

图2为本申请实施例提供的另一种文本图像处理方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤210、当接收到面向多个第一图像的清晰化处理指令时,获取第一图像的时间信息和场景信息。

第一图像的时间信息可以是图像的拍摄时间或连续文本内容对应的相邻两帧图像的间隔时间。场景信息可以是图像拍摄内容对应的场景,例如,拍摄的文本内容为书籍中的文字,则场景信息为书籍拍摄场景;若拍摄的文本内容为电视上的文字,则场景信息为电视拍摄场景;拍摄内容为人物,则场景信息为人物拍摄场景。

在接收到用户触发的面向多个第一图像的清晰化处理指令时,获取各第一图像对应的时间信息和场景信息,可选的,图像的时间信息和场景信息通常存储在图像的属性信息中,可以调用相应的线程从图像的属性信息中获取图像的时间信息和场景信息。

步骤220、查找场景信息相同的多个备选图像。

查找场景信息相同的多个备选图像可以是在多个第一图像中,根据各第一图像的场景信息,查找各第一图像中场景信息相同的第一图像作为备选图像,滤除第一图像中场景不符的待处理图片。

可选的,若多个第一图像对应了多个相同的场景信息,则可以选择场景信息对应图像个数多的场景,选择该场景信息的多个备选图像。例如,10个第一图像中,有2个图像的场景信息为电视拍摄场景,其余8个为书籍拍摄场景,则选择8个书籍拍摄场景下的第一图像作为备选图像。

步骤230、根据时间信息和预设时间阈值从多个备选图像中确定第二图像。

预设时间阈值可以是由系统默认设置,还可以由用户根据自身需求进行预先设置。预设时间阈值的大小可以根据所处理图像的信息而改变,例如,若备选图像是用户上课的过程中,在老师播放的幻灯片中拍摄下来的,而播放幻灯片时,相邻两页幻灯片之间的间隔较长,此时,可以将预设时间阈值设置的大一些。若备选图像是用户在一本书籍中拍摄下来的,用户拍摄书籍上的文字时翻页速度较快,拍摄频率也就相对较快,此时,可以将预设时间阈值设置的小一些。可选的,预设时间阈值可以是图像的拍摄时间,例如,9:00-9:30。还可以是相邻两个图像之间的帧间隔时间,例如,5分钟。

根据时间信息和预设时间阈值从多个备选图像中确定第二图像,可以是对于每个备选图像,判断其时间信息是否超过预设时间阈值,若没有超过,则将其确定为第二图像。

可选的,通过时间信息和预设时间阈值选出的第二图像中还可能存在重复图像的情况,例如,用户在拍摄图像时,对于一个文本内容拍摄了两个图像,两个图像肯定都满足场景信息且时间信息也满足预设时间阈值的要求,但如果将两个图像都作为备选图像,必定会增加处理功耗,此时,可以对时间信息满足预设时间阈值的多个备选图像进行相似度判断,过滤掉相同文本内容对应的重复图像。

可选的,由于重复图像通常是相邻的图像,因此,可以对多个备选图像中相邻的两个图像进行相似度判断(如,计算图像间的相关度),若相似度大于相似度阈值,则说明两图像属于重复图像,需要删除一个。

步骤240、根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列。

步骤250、根据多个第二图像对应的操作步骤序列确定重叠步骤。

步骤260、根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理。

本申请实施例提供的文本图像处理方法,能够根据第一图像的时间信息和场景信息,在多个第一图像中确定多个第二图像,获取各第二图像对应的操作步骤序列后,确定重叠步骤以异步执行方式对多个第二图像进行清晰化处理。能够提高第二图像选择的准确性,进而降低文本图像的处理功耗。

图3为本申请实施例提供的另一种文本图像处理方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤301、当接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像。

步骤302、根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列。

步骤303、根据多个第二图像对应的操作步骤序列确定重叠步骤。

步骤304、判断重叠步骤是否为连续步骤。

对于每个第二图像,其都对应有操作步骤序列,连续步骤是指各重叠步骤在步骤操作序列中是连续排列的步骤。判断重叠步骤是否为连续步骤可以是通过各第二图像的操作步骤序列,判断各第二图像中确定的重叠步骤是否是连续步骤,若是,执行步骤305;若否,执行步骤310。

步骤305、如果重叠步骤为连续步骤,则获取连续步骤的前续步骤和/或后续步骤。

如果重叠步骤为连续步骤,说明连续步骤之间不存在其他步骤,但是在连续步骤前或后可能还会存在第二图像进行清晰化处理的前续步骤和/或后续步骤。在对第二图像进行清晰化处理操作时,不仅要执行连续步骤,还要执行其前续步骤和/或后续步骤,因此,如果重叠步骤为连续步骤,则获取连续步骤的前续和/或后续步骤,即获取针对第二图像的清晰化处理操作中除连续步骤以外的其他操作步骤。例如,若第二图像的清晰化处理操作为操作1到操作5,如果操作2到操作4为连续的重叠步骤,则获取操作2到操作4的前续步骤(即操作1)和操作2到操作4的后续步骤(即操作5)。

步骤306、判断获取的是前续步骤还是后续步骤。

判断步骤305中获取的步骤是前续步骤还是后续步骤,若是前续步骤,则执行步骤307,即先执行前续步骤,再执行重叠步骤;若是后续步骤,则执行步骤309,即先执行重叠步骤,再执行后续步骤;若既有前续步骤又有后续步骤,则先执行步骤307到步骤308,待步骤308完成后再执行步骤309。

步骤307、如果存在前续步骤,则以并行执行方式执行前续步骤,并缓存前续步骤执行结果。

对于各第二图像除重叠步骤以外的清晰化处理步骤通常是针对各第二图像所特有的问题而选择的区别于其他第二图像的特有操作,故对于各第二图像的前续步骤通常是不一样的。为了降低文本图像处理的耗时,可以采用并行执行的方式,同时调用各第二图像对应的各前续步骤的线程,来对各第二图像进行相应的前续步骤处理操作。并缓存前续步骤执行结果。以便于后续执行重叠步骤时调用前续步骤执行结果,在该结果的基础上执行重叠步骤的处理操作。

可选的,若各第二图像的前续步骤中仍存在相同的前续操作,可以采用异步执行的方式对存在相同前续操作的第二图像执行相同的前续操作,采用并行执行的方式执行其他不相同的前续操作。

步骤308、通过异步执行方式读取缓存的前续步骤执行结果,以异步执行方式执行重叠步骤。

执行重叠步骤要在前续步骤执行结果的基础上进行,因此可在执行重复操作前先读取缓存的前续步骤执行结果。可选的,由于对各第二图像执行重叠步骤采用的是异步执行方式,因此无需设置多线程并行读取各第二图像的前续执行结果,可以与执行重叠操作类似,采用异步执行方式根据处理需要读取各第二图像的前续执行结果。例如,可以为读取缓存的前续步骤执行结果设置一个读取前续步骤执行结果线程,当执行重叠步骤中的第一步骤对比度调节前,根据待执行对比度调节的第二图像,调用读取前续步骤执行结果线程读取该第二图像的前续步骤的执行结果,读取完成后,在该前续步骤执行结果的基础上调用对比度调节线程执行对比度调节操作,当该第二图像的对比度调节操作完成后,读取前续步骤执行结果线程会根据下一个待处理的第二图像继续读取下一个前续步骤的执行结果,以供对比度调节线程对下一个待处理的第二图像进行对比度调节操作。

步骤309、如果存在后续步骤,则当重叠步骤执行完毕时执行后续步骤。

如果连续操作之后存在后续操作,则需要在每个第二图像处执行完重叠步骤之后再执行该第二图像对应的后续步骤。

可选的,在执行后续步骤时,若各第二图像的后续步骤中不存在重叠步骤,则可采用并行执行方式,同时调用不同的后续操作对应的线程对多个第二图像执行其对应的后续步骤;若各第二图像的后续操作中仍存在重叠步骤,则可以采用异步执行的方式对存在重叠后续操作的第二图像执行重叠操作,采用并行执行的方式执行其他非重叠后续操作。

步骤310、如果重叠步骤为非连续步骤,则判断重叠步骤之间的区别步骤是否可以作为预处理步骤。

区别步骤包括各第二图像对应的操作步骤序列中,除重叠步骤之外的和其他第二图像不同的操作步骤。例如,某一第二图像对应的操作步骤序列为步骤1到步骤5,重叠步骤为步骤1、步骤3到步骤4,此时,区别步骤为步骤2和步骤5。预处理步骤可以是在对文本图像进行某一具体清晰化处理操作之前,为了提高文本图像清晰化处理效率所执行的准备步骤,例如,文本图像中的文本内容可能包括表格,而表格的边框,容易给清晰化处理操作造成干扰(如,在处理过程中将表格边框误认为是不清晰的文本内容,进而增加多余的处理操作步骤),此时可以将裁剪文本图像中的非文本图形(如,线条、方框等)作为预处理步骤。

如果重叠步骤为非连续步骤,要先判断重叠步骤之间的区别步骤是否可以作为预处理步骤,如果可以,则执行步骤311,先执行预处理步骤后再执行重叠步骤,如果不可以,则执行步骤313,直接执行重叠步骤。

步骤311、如果区别步骤可以作为预处理步骤,则执行预处理步骤,并缓存预处理步骤执行结果。

如果第二图像的区别步骤可以作为预处理步骤,则先执行预处理步骤,并缓存预处理步骤执行结果,以便于后续执行重叠步骤时调用预处理步骤执行结果,在该结果的基础上执行接下来的重叠步骤。

本申请实施例对执行预处理步骤的方式不进行限定,可以采用同步执行的方式,也可以采用异步执行的方式,例如,若多个第二图像的预处理操作不同,则可以采用并行执行的方式同时调用不同的预处理步骤线程对需要进行预处理操作的第二图像执行预处理操作。若多个第二图像的预处理操作中存在相同的预处理操作,则可以采用异步执行的方式对存在相同预处理操作的第二图像执行相同的预处理操作,采用并行的执行的方式执行其他不相同的预处理操作。

步骤312、通过异步执行方式读取缓存的预处理步骤执行结果,以异步执行方式执行重叠步骤。

本步骤中,重叠步骤是非连续的,预处理操作在非连续的重叠步骤之间,通过异步执行方式读取缓存的预处理步骤执行结果,以异步执行方式执行重叠步骤,可以是先以异步执行方式执行预处理操作之前的重叠步骤,再以异步执行方式读取缓存的预处理步骤执行结果叠加在之前的重叠步骤执行结果上,最后在叠加的结果上以异步执行方式执行预处理步骤之后的重叠步骤。

步骤313、如果区别步骤不可以作为预处理步骤,则将重叠步骤拆分为至少一组连续的子重叠步骤,以异步执行方式执行子重叠步骤。

在本步骤中,重叠步骤是非连续的,对非连续的重叠步骤拆分为至少一组连续的子重复步骤可以是按照非连续重叠步骤的间断性进行拆分,例如,某一第二图像对应的操作步骤序列为步骤1到步骤5,重叠步骤为非连续的步骤1、步骤4和步骤5,此时可以按照非连续重叠步骤的间断性,将步骤1作为一个子重叠步骤,将步骤4和步骤5作为第二个子重叠步骤。需要说明的是,拆分为至少一组连续的子重叠步骤并不限定拆分后的子重叠步骤一定存在连续的子重叠步骤,也可能出现拆分后的子重叠步骤都为单独的一步,例如,某一第二图像对应的操作步骤序列为步骤1到步骤5,重叠步骤为非连续的步骤1、步骤3和步骤5,此时按照非连续重叠步骤的间断性拆分时,步骤1、步骤3和步骤5三个独立的步骤分别作为三个子重叠步骤。

在对连续的对重叠步骤拆分后,以异步执行方式执行各子重叠步骤。

需要说明的是,若重叠步骤为连续步骤,且该连续步骤不存在前续步骤和/或后续步骤,则可以直接以异步执行方式执行重叠步骤,即可完成对多个第二图像的清晰化处理操作。

本申请实施例提供的文本图像处理方法,能够根据确定的各第二图像的重叠步骤是否连续,进一步确定不同的重叠操作执行流程,简化了对多个文本图像的处理操作,可以降低文本图像的处理功耗。

图4为本申请实施例提供的另一种文本图像处理方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤410、当接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像。

步骤420、根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列。

步骤430、根据多个第二图像对应的操作步骤序列确定重叠步骤。

步骤440、启动第一线程执行第三图像的第一重叠步骤。

其中,第三图像为第二图像中的任意一个图像。

第一线程可以是为执行第一重叠步骤而建立的线程,对各第三图像执行第一重叠步骤时都需调用第一线程来执行。执行第一重叠步骤时采用的是异步执行方式,且一次只能对一个第三图像执行第一重叠步骤。

在确定多个第二图像对应的重叠步骤后,从多个第二图像中任意选择一个作为第三图像,调用第一重叠步骤对应的第一线程执行第三图像的第一重叠步骤。

步骤450、当第一重叠步骤执行完毕时,启动第二线程执行第三图像的第二重叠步骤,并调用第一线程执行第四图像的第一重叠步骤。

其中,第二重叠步骤为第一重叠步骤的下一个执行步骤,第四图像为第二图像中除第三图像以外的图像。

重叠步骤可以是一个或多个,当重叠步骤为一步时,启动第一线程执行完第三图像的第一重叠步骤后,说明第三图像的重叠步骤已经完成,此时需要再调用第一线程执行第四图像的第一重叠步骤,即依次调用第一线程对各第二图像执行第一重叠操作。

当重叠操作为多步时,启动第一线程执行完第三图像的第一重叠步骤后,对于第三图像要启动第二重叠步骤对应的第二线程来执行第三图像的第二重叠步骤,即当前重叠步骤执行完成后,调用下一个重叠步骤对应的线程对该图像继续执行下一重叠操作。而第三图像执行完第一重叠操作步骤后,第一线程处于空闲状态,此时可以从多个第二图像中选出除第三图像以外的任意一个图像作为第四图像,对第四图像调用第一线程执行第一重叠操作,等待第二线程空闲后,再对第四图像执行第二重叠操作。

以此类推,以异步执行的方式对多个第二图像都执行完重叠操作后,对于各第二图像可能还存在一些非重叠操作,此时,还可以对各第二图像执行其他非重叠操作,进而完成各第二图像的清晰化处理。

本申请实施例提供的文本图像处理方法,在对各第二图像执行重叠步骤时,为各重叠步骤设置对应的线程,以异步执行方式对各第二图像执行各重叠步骤,进而完成各第二图像的清晰化处理,简化了对多个文本图像的处理操作,可以降低文本图像的处理功耗。

图5为本申请实施例提供的另一种文本图像处理方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤510、当获取第一图像时,关闭多针降噪模式。

多帧降噪模式可以是移动终端进行拍照时选择的一种拍照模式,用户拍摄一张图像时,系统会通过拍摄多张图像进行处理来降低用户拍摄图像的噪声。由于文本内容本身内容简单,特征明显,不需要通过多帧降噪模式拍摄多张图像进行处理,只需要采集一张照片进行传统的清晰化处理操作(如去噪、细节锐化等)就可以得到清晰的图像,因此,为了降低对文本内容拍照时的功耗可以在获取第一图像时,可关闭移动终端的多帧降噪模式。

步骤520、对获取到的第一图像进行预处理。

拍摄到的第一图像可能会存在一些非清晰化的问题需要处理,因此,要在对第一图像进行清晰化处理之前先对第一图像存在的非清晰化问题进行预处理,例如,拍摄的文本图像可能存在一定的角度偏斜,可以在获取到拍摄的文本图像后先进行调整文本图像角度的预处理操作。

本申请实施例中,可以在获取第一图像后,先判断该第一图像是否需要进行预处理,若不需要,则保持原始第一图像,若需要,则对其进行对应的预处理。可选的,可以在进行预处理后,为了防止预处理后改变用户的拍摄需求,可以将预处理结果和原始第一图像的对比图显示在预览界面,供用户进行确认,当收到用户的确认指令时,将预处理后的图像替换原始第一图像。例如,用户通过预览界面的原始拍摄图像和预处理后的对比图,若发现经过预处理后反而达不到用户的预期效果了,则可以点击“撤销”按键,拒绝预处理结果,仍保持原始第一图像;若发现经过预处理后图像效果更好,则可以点击“确定”按键,将预处理后的图像替换原始第一图像。

步骤530、当接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像。

步骤540、根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列。

步骤550、根据多个第二图像对应的操作步骤序列确定重叠步骤。

步骤560、根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理。

本申请实施例提供的文本图像处理方法,拍摄第一图像时关闭多帧降噪模式,对获取的第一图像先进行预处理,在接收到面向多个第一图像的清晰化处理指令时,再对多个第一图像查找多个第二图像,确定多个第二图像的重叠步骤对第二图像进行清晰化处理,能够降低文本图像的拍摄功耗和处理功耗。

图6为本申请实施例提供的另一种文本图像处理方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤610、当接收到面向多个第一图像的清晰化处理指令时,从多个第一图像中查找连续文本内容对应的多个第二图像。

步骤620、根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列。

步骤630、根据多个第二图像对应的操作步骤序列确定重叠步骤。

步骤640、判断第二图像中是否包含不完整文字区域。

对于文本图像而言,文字区域是否完整尤为重要,因此在进行清晰化处理前要先判断第二图像中是否包含不完整文字区域,可选的,文本图像不完整可以包括文字区域缺失或模糊等。例如,可能是拍摄时对焦不准确导致的文字模糊不清;还可能是拍摄时由于亮度过强导致的文字部分缺失。

可选的,判断第二图像中是否包含不完整文字区域可以是移动终端自动进行判断的,例如,移动终端结合文字区域所特有的特征,识别各第二图像,若识别到文字区域出现空白,则说明文字区域不完整。还可以是人工进行判断,例如,用户通过第二图像预览界面人工进行判断,若用户发现第二图像中包含不完整的文字区域,则会触发对文字区域进行修复发指令。

判断第二图像中是否包含不完整文字区域,若包含则要执行步骤650先对文字区域进行修复,若不包含,则可执行步骤670根据重叠步骤以异步执行方式对第二图像进行清晰化处理。

步骤650、如果第二图像中包含不完整文字区域,则对文字区域进行修复。

如果第二图像中包含不完整的文字区域,对文字区域进行修复方法本申请不做限定,例如,若不完整文字区域是文字模糊造成的,可以通过文字内容识别工具识别模糊的文字内容,然后将识别出的文字替代文字区域的原有的文字,以达到对文字区域的修复。若不完整文字区域是文字缺失造成的,则需要判断缺失的文字部分是否能通过语义分析工具确定缺失文字,若可以,则可以将确定的缺失文字补入文字缺失区域,若文字缺失内容较多无法通过语义分析工具确定时,可以通过提示用户输入缺失文字,根据用户输入的缺失文字对文字区域进行修复。

可选的,若用户发现对文字区域修复后出现了错误,可以对错误的部分进行修改,例如,用户可以在文本图像中选出错误的文字区域,点击修改按键后,在修改界面输入正确的文字,点击确认后,系统会自动替换出错文字。

步骤660、根据重叠步骤以异步执行方式对修复后的多个第二图像进行清晰化处理。

将第二图像的文字区域修复后,可以根据重叠步骤以异步执行方式对修复后的多个第二图像进行清晰化处理。

步骤670、根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理。

需要说明的是,本申请实施例中,步骤640到步骤650也可以实在对第二图像根据重叠步骤执行清晰化处理之后,判断处理后的第二图像是否包含不完整文字区域,若包含则对文字区域进行修复。

本申请实施例提供的文本图像处理方法,能够在对第二图像异步执行重叠操作前,判断第二图像是否包含不完整的文字区域,若存在先对第二图像的文字区域进行修复后再执行重叠步骤。简化对多个文本图像的处理操作的同时,可以提高文本图像清晰化处理效果,降低文本图像的处理功耗。

图7为本申请实施例提供的一种文本图像处理装置的结构示意图。如图7所示,该装置包括:接收模块710,查找模块720,获取模块730,确定模块740,异步执行模块750。

接收模块710,用于接收面向多个第一图像的清晰化处理指令;

查找模块720,用于当所述接收模块710接收到所述面向多个第一图像的清晰化处理指令时,从所述多个第一图像中查找连续文本内容对应的多个第二图像;

获取模块730,用于根据所述接收模块710接收的清晰化处理执行分别获取每个所述查找模块720查找到的所述第二图像对应的操作步骤序列;

确定模块740,用于根据所述获取模块730获取的所述多个第二图像对应的所述操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;

异步执行模块750,用于根据所述确定模块740确定的所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理。

进一步的,查找模块720用于:

获取所述第一图像的时间信息和场景信息;

查找场景信息相同的多个备选图像;

根据所述时间信息和预设时间阈值从所述多个备选图像中确定第二图像。

进一步的,异步执行模块750用于:

判断所述重叠步骤是否为连续步骤;

如果所述重叠步骤为连续步骤,则获取所述连续步骤的前续步骤和/或后续步骤;

如果存在所述前续步骤,则以并行执行方式执行所述前续步骤,并缓存所述前续步骤执行结果;

通过所述异步执行方式读取缓存的前续步骤执行结果,以异步执行方式执行所述重叠步骤;

如果存在所述后续步骤,则当所述重叠步骤执行完毕时执行所述后续步骤。

进一步的,异步执行模块750用于,在判断所述重叠步骤是否为连续步骤之后,如果所述重叠步骤为非连续步骤,则判断所述重叠步骤之间的区别步骤是否可以作为预处理步骤;

如果区别步骤可以作为预处理步骤,则执行所述预处理步骤,并缓存所述预处理步骤执行结果;

通过所述异步执行方式读取缓存的所述预处理步骤执行结果,以异步执行方式执行所述重叠步骤;

如果区别步骤不可以作为预处理步骤,则将所述重叠步骤拆分为至少一组连续的子重叠步骤,以异步执行方式执行所述子重叠步骤。

进一步的,异步执行模块750用于:

启动第一线程执行第三图像的第一重叠步骤,所述第三图像为所述第二图像中的任意一个图像;

当所述第一重叠步骤执行完毕时,启动第二线程执行所述第三图像的第二重叠步骤,并调用所述第一线程执行第四图像的第一重叠步骤,所述第二重叠步骤为所述第一重叠步骤的下一个执行步骤,所述第四图像为所述第二图像中除所述第三图像以外的图像。

进一步的,上述装置还包括:

模式控制模块,用于当获取第一图像时,关闭多针降噪模式;

预处理模块,用于对获取到的第一图像进行预处理。

进一步的,异步执行模块750用于:

判断所述第二图像中是否包含不完整文字区域;

如果所述第二图像中包含不完整文字区域,则对所述文字区域进行修复;

根据所述重叠步骤以异步执行方式对修复后的多个第二图像进行清晰化处理。

本申请实施例中提供的文本图像处理装置,首先接收模块710接收到面向多个第一图像的清晰化处理指令时,查找模块720从多个第一图像中查找连续文本内容对应的多个第二图像;其次,获取模块730根据清晰化处理执行分别获取每个第二图像对应的操作步骤序列;再次,确定模块740根据多个第二图像对应的操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;最后,异步执行模块750根据重叠步骤以异步执行方式对多个第二图像进行清晰化处理。本申请实施例在第一图像中查找对应的多个第二图像,确定多个第二图像的重叠步骤,异步执行重叠步骤对第二图像进行清晰化处理,简化了对多个文本图像的处理操作,可以降低文本图像的处理功耗。

上述装置可执行本申请前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请前述所有实施例所提供的方法。

图8是本申请实施例提供的一种终端设备的结构示意图。如图8所示,该终端可以包括:壳体(图中未示出)、存储器801、中央处理器(centralprocessingunit,cpu)802(又称处理器,以下简称cpu)、存储在存储器801上并可在处理器802上运行的计算机程序、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述cpu802和所述存储器801设置在所述电路板上;所述电源电路,用于为所述终端的各个电路或器件供电;所述存储器801,用于存储可执行程序代码;所述cpu802通过读取所述存储器801中存储的可执行程序代码来运行与所述可执行程序代码对应的程序。

所述终端还包括:外设接口803、rf(radiofrequency,射频)电路805、音频电路806、扬声器811、电源管理芯片808、输入/输出(i/o)子系统809、触摸屏812、其他输入/控制设备810以及外部端口804,这些部件通过一个或多个通信总线或信号线807来通信。

应该理解的是,图示终端设备800仅仅是终端的一个范例,并且终端设备800可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于一种终端设备进行详细的描述,该终端设备以智能手机为例。

存储器801,所述存储器801可以被cpu802、外设接口803等访问,所述存储器801可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口803,所述外设接口803可以将设备的输入和输出外设连接到cpu802和存储器801。

i/o子系统809,所述i/o子系统809可以将设备上的输入输出外设,例如触摸屏812和其他输入/控制设备810,连接到外设接口803。i/o子系统809可以包括显示控制器8091和用于控制其他输入/控制设备810的一个或多个输入控制器8092。其中,一个或多个输入控制器8092从其他输入/控制设备810接收电信号或者向其他输入/控制设备810发送电信号,其他输入/控制设备810可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器8092可以与以下任一个连接:键盘、红外端口、usb接口以及诸如鼠标的指示设备。

其中,按照触摸屏的工作原理和传输信息的介质分类,触摸屏812可以为电阻式、电容感应式、红外线式或表面声波式。按照安装方式分类,触摸屏812可以为:外挂式、内置式或整体式。按照技术原理分类,触摸屏812可以为:矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏或表面声波技术触摸屏。

触摸屏812,所述触摸屏812是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。可选的,触摸屏812将用户在触屏幕上触发的电信号(如接触面的电信号),发送给处理器802。

i/o子系统809中的显示控制器8091从触摸屏812接收电信号或者向触摸屏812发送电信号。触摸屏812检测触摸屏上的接触,显示控制器8091将检测到的接触转换为与显示在触摸屏812上的用户界面对象的交互,即实现人机交互,显示在触摸屏812上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。

rf电路805,主要用于建立智能音箱与无线网络(即网络侧)的通信,实现智能音箱与无线网络的数据接收和发送。例如收发短信息、电子邮件等。

音频电路806,主要用于从外设接口803接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器811。

扬声器811,用于将智能音箱通过rf电路805从无线网络接收的语音信号,还原为声音并向用户播放该声音。

电源管理芯片808,用于为cpu802、i/o子系统及外设接口所连接的硬件进行供电及电源管理。

在本实施例中,中央处理器802用于:

当接收到面向多个第一图像的清晰化处理指令时,从所述多个第一图像中查找连续文本内容对应的多个第二图像;

根据所述清晰化处理执行分别获取每个所述第二图像对应的操作步骤序列;

根据所述多个第二图像对应的所述操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;

根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理。

进一步的,所述从所述多个第一图像中查找连续文本内容对应的多个第二图像,包括:

获取所述第一图像的时间信息和场景信息;

查找场景信息相同的多个备选图像;

根据所述时间信息和预设时间阈值从所述多个备选图像中确定第二图像。

进一步的,所述根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理,包括:

判断所述重叠步骤是否为连续步骤;

如果所述重叠步骤为连续步骤,则获取所述连续步骤的前续步骤和/或后续步骤;

如果存在所述前续步骤,则以并行执行方式执行所述前续步骤,并缓存所述前续步骤执行结果;

通过所述异步执行方式读取缓存的前续步骤执行结果,以异步执行方式执行所述重叠步骤;

如果存在所述后续步骤,则当所述重叠步骤执行完毕时执行所述后续步骤。

进一步的,在判断所述重叠步骤是否为连续步骤之后,还包括:

如果所述重叠步骤为非连续步骤,则判断所述重叠步骤之间的区别步骤是否可以作为预处理步骤;

如果区别步骤可以作为预处理步骤,则执行所述预处理步骤,并缓存所述预处理步骤执行结果;

通过所述异步执行方式读取缓存的所述预处理步骤执行结果,以异步执行方式执行所述重叠步骤;

如果区别步骤不可以作为预处理步骤,则将所述重叠步骤拆分为至少一组连续的子重叠步骤,以异步执行方式执行所述子重叠步骤。

进一步的,所述根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理,包括:

启动第一线程执行第三图像的第一重叠步骤,所述第三图像为所述第二图像中的任意一个图像;

当所述第一重叠步骤执行完毕时,启动第二线程执行所述第三图像的第二重叠步骤,并调用所述第一线程执行第四图像的第一重叠步骤,所述第二重叠步骤为所述第一重叠步骤的下一个执行步骤,所述第四图像为所述第二图像中除所述第三图像以外的图像。

进一步的,在接收到面向多个第一图像的清晰化处理指令之前,还包括:

当获取第一图像时,关闭多针降噪模式;

对获取到的第一图像进行预处理。

进一步的,所述根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理,还包括:

判断所述第二图像中是否包含不完整文字区域;

如果所述第二图像中包含不完整文字区域,则对所述文字区域进行修复;

根据所述重叠步骤以异步执行方式对修复后的多个第二图像进行清晰化处理。

本申请实施例还提供一种包含终端设备可执行指令的存储介质,所述终端设备可执行指令在由终端设备处理器执行时用于执行一种文本图像处理方法,该方法包括:

当接收到面向多个第一图像的清晰化处理指令时,从所述多个第一图像中查找连续文本内容对应的多个第二图像;

根据所述清晰化处理执行分别获取每个所述第二图像对应的操作步骤序列;

根据所述多个第二图像对应的所述操作步骤序列确定重叠步骤,所述重叠步骤为不同第二图像对应的操作步骤序列中的相同操作步骤;

根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理。

进一步的,所述从所述多个第一图像中查找连续文本内容对应的多个第二图像,包括:

获取所述第一图像的时间信息和场景信息;

查找场景信息相同的多个备选图像;

根据所述时间信息和预设时间阈值从所述多个备选图像中确定第二图像。

进一步的,所述根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理,包括:

判断所述重叠步骤是否为连续步骤;

如果所述重叠步骤为连续步骤,则获取所述连续步骤的前续步骤和/或后续步骤;

如果存在所述前续步骤,则以并行执行方式执行所述前续步骤,并缓存所述前续步骤执行结果;

通过所述异步执行方式读取缓存的前续步骤执行结果,以异步执行方式执行所述重叠步骤;

如果存在所述后续步骤,则当所述重叠步骤执行完毕时执行所述后续步骤。

进一步的,在判断所述重叠步骤是否为连续步骤之后,还包括:

如果所述重叠步骤为非连续步骤,则判断所述重叠步骤之间的区别步骤是否可以作为预处理步骤;

如果区别步骤可以作为预处理步骤,则执行所述预处理步骤,并缓存所述预处理步骤执行结果;

通过所述异步执行方式读取缓存的所述预处理步骤执行结果,以异步执行方式执行所述重叠步骤;

如果区别步骤不可以作为预处理步骤,则将所述重叠步骤拆分为至少一组连续的子重叠步骤,以异步执行方式执行所述子重叠步骤。

进一步的,所述根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理,包括:

启动第一线程执行第三图像的第一重叠步骤,所述第三图像为所述第二图像中的任意一个图像;

当所述第一重叠步骤执行完毕时,启动第二线程执行所述第三图像的第二重叠步骤,并调用所述第一线程执行第四图像的第一重叠步骤,所述第二重叠步骤为所述第一重叠步骤的下一个执行步骤,所述第四图像为所述第二图像中除所述第三图像以外的图像。

进一步的,在接收到面向多个第一图像的清晰化处理指令之前,还包括:

当获取第一图像时,关闭多针降噪模式;

对获取到的第一图像进行预处理。

进一步的,所述根据所述重叠步骤以异步执行方式对所述多个第二图像进行清晰化处理,还包括:

判断所述第二图像中是否包含不完整文字区域;

如果所述第二图像中包含不完整文字区域,则对所述文字区域进行修复;

根据所述重叠步骤以异步执行方式对修复后的多个第二图像进行清晰化处理。

本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的文本图像处理操作,还可以执行本申请任意实施例所提供的文本图像处理方法中的相关操作。

注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1