图像处理的方法、装置和系统与流程

本发明涉及图像处理领域，具体而言，涉及一种图像处理的方法、装置和系统。

背景技术：

h.264是目前比较主流的视频压缩标准，h.265是h.264的升级版，能够进一步降低码流。但是使用这两种压缩标准进行图像压缩时，如果码流较小，会导致画面中的文字模糊不清。

针对上述由于现有技术依据h.264/h.265对视频压缩的过程中，如果码流较小，会导致的显示画面时文字模糊的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种图像处理的方法、装置和系统，以至少解决由于现有技术依据h.264/h.265对视频压缩的过程中，如果码流较小，会导致的显示画面时文字模糊的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理的方法，包括：标记图像中包含文字的图像块；分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；将文字位置码流和图像码流发送至接收装置。

可选的，在标记图像中包含文字的图像块之前，该方法还包括：获取待处理图像；将待处理图像进行像素分割，得到组成图像的图像块；判断每个图像块中是否含有文字。

进一步地，可选的，判断每个图像块中是否含有文字包括：根据绘图指令判断每个图像块中文字的所在区域；或，通过角点检测从每个图像块中获取文字的所在区域。

可选的，标记图像中包含文字的图像块包括：若组成图像的图像块包含文字，则对图像块标记第一标识；若组成图像的图像块不包含文字，则对图像块标记第二标识；依据第一标识获取包含文字的图像块。

可选的，对包含有文字的图像块进行编码，生成文字位置码流包括：通过无损编码对包含有文字的图像块进行编码，生成文字位置码流。

根据本发明实施例的另一个方面，提供了一种图像处理的方法，包括：接收发送装置发送的文字位置码流和图像码流；分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

可选的，依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像包括：根据文字宏块信息从第一解码图像中获取包含文字的图像块的位置；依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块；将文字清晰度满足预设条件的图像块替换第一解码图像中文字的图像块的位置，得到第二解码图像。

进一步地，可选的，依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块包括：对包含文字的图像块进行锐化，得到文字清晰度满足预设条件的图像块；或，依据预设图像神经网络对包含文字的图像块进行文字处理，得到文字清晰度满足预设条件的图像块。

可选的，在依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块之前，训练神经网络，得到预设图像神经网络包括：将满足预设条件的包含文字的图像块作为训练目标；将满足预设条件的包含文字的图像块进行编码，得到训练样本；依据训练目标和训练样本对神经网络模型进行训练，得到预设图像神经网络。

根据本发明实施例的又一方面，还提供了一种图像处理的装置，包括：标记模块，用于标记图像中包含文字的图像块；编码模块，用于分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；发送模块，用于将文字位置码流和图像码流发送至接收装置。

根据本发明实施例的再一方面，还提供了一种图像处理的装置，包括：接收模块，用于接收发送装置发送的文字位置码流和图像码流；解码模块，用于分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；还原模块，用于依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

根据本发明另一实施例的一方面，还提供了一种图像处理的系统，包括：发送装置和接收装置，其中，发送装置，用于标记图像中包含文字的图像块；分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；将文字位置码流和图像码流发送至接收装置；接收装置，用于接收发送装置发送的文字位置码流和图像码流；分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

根据本发明另一实施例的一方面，还提供了一种存储介质，其中，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述图像处理的方法。

根据本发明另一实施例的一方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行上述图像处理的方法。

在本发明实施例中，通过标记图像中包含文字的图像块；分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；将文字位置码流和图像码流发送至接收装置，达到了提升文字清晰度的目的，从而实现了弥补了现有编码方法在降低码流的同时，文字清晰度降低的不足的技术效果，进而解决了由于现有技术依据h.264/h.265对视频压缩的过程中，如果码流较小，会导致的显示画面时文字模糊的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例1的图像处理的方法的流程示意图；

图2是根据本发明实施例1的一种图像处理的方法的流程示意图；

图3是根据本发明实施例2的图像处理的方法的流程示意图；

图4是根据本发明实施例2的一种图像处理的方法的流程示意图；

图5是根据本发明实施例3的一种图像处理的装置的示意图；

图6是根据本发明实施例4的一种图像处理的装置的示意图；

图7是根据本发明实施例5的一种图像处理的系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种图像处理的方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例1的图像处理的方法的流程示意图，如图1所示，应用于发送装置，本申请实施例提供的图像处理的方法包括如下步骤：

步骤s102，标记图像中包含文字的图像块；

可选的，在步骤s102中标记图像中包含文字的图像块之前，本申请实施例提供的图像处理的方法还包括：获取待处理图像；将待处理图像进行像素分割，得到组成图像的图像块；判断每个图像块中是否含有文字。

进一步地，可选的，判断每个图像块中是否含有文字包括：根据绘图指令判断每个图像块中文字的所在区域；或，通过角点检测从每个图像块中获取文字的所在区域。

具体的，在发送装置中获取待处理图像可以为对计算机画面进行采集，其中，计算机画面可以包括：计算机中显示的画面，如操作窗口，执行的操作指令，播放的多媒体画面等。在本申请实施例中将计算机画面作为待处理图像，基于获取到的待处理图像，按照n×m像素将画面分割为互不重叠的宏块(即，本申请实施例中的图像块)，如：将待处理图像分割为由a个宏块组成的图像。

判断每个宏块中是否含有文字，并用0/1记录宏块中是否含有文字。比如，包含文字记为0，不包含则记为1；或者包含文字记为1，不包含则记为0。通过0/1标记，得到了一个包含a个0/1的数组。

其中，判断每个图像块中是否含有文字包括：根据绘图指令判断每个图像块中文字的所在区域；或，通过角点检测从每个图像块中获取文字的所在区域，以使得从a个0/1的数组中快速分别宏块中是否包含文字。

可选的，步骤s102标记图像中包含文字的图像块包括：

步骤s1021，若组成图像的图像块包含文字，则对图像块标记第一标识；

步骤s1022，若组成图像的图像块不包含文字，则对图像块标记第二标识；

步骤s1023，依据第一标识获取包含文字的图像块。

具体的，结合步骤s1021至步骤s1023，假设第一标识为1，第二标识为2，若组成图像的图像块包含文字，则对该图像块标记为1，若组成图像的图像块不包含文字，则对该图像块标记为0；

整理a个0/1的数组中包含1的图像块，得到包含文字的图像块。

步骤s104，分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；

可选的，步骤s104对包含有文字的图像块进行编码，生成文字位置码流包括：

步骤s1041，通过无损编码对包含有文字的图像块进行编码，生成文字位置码流。

具体的，结合步骤s102，基于得到的标记有文字的图像块，根据a个0/1的数组得到每个包含有文字的图像块的位置，基于该位置和标记的文字图像块进行无损编码，可以得到文字位置码流；其中，由于待处理图像中除了文字还包含未包含文字的图像块，针对未包含文字的图像块通过送入h.264/265编码器进行编码，得到图像码流。

由于a个0/1的数组中只包含0/1，所以编码后码流会比较小，可以减小码流大小，以及提高码流传输效率。

步骤s106，将文字位置码流和图像码流发送至接收装置。

具体的，基于步骤s104得到的文字位置码流和图像码流，将该文字位置码流和图像码流发送至接收装置，以使得接收装置依据文字位置码流和图像码流进行解码显示。

综上，结合步骤s102至步骤s106，如图2所示，图2是根据本发明实施例1的一种图像处理的方法的流程示意图，本申请实施例提供的图像处理的方法具体如下：

step1:获取当前计算机屏幕图像；

step2：将该计算机屏幕图像按照n×m分为若干个宏块；

step3:判断每个宏块中是否含有文字，并记录；

step4:使用无损编码对文字宏块位置进行编码，得到文字位置码流；

step5:对图像使用h.264/265进行编码，得到图像码流；

step6:将文字位置码流和图像码流发送至接收装置。

在本发明实施例中，通过标记图像中包含文字的图像块；分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；将文字位置码流和图像码流发送至接收装置，达到了提升文字清晰度的目的，从而实现了弥补了现有编码方法在降低码流的同时，文字清晰度降低的不足的技术效果，进而解决了由于现有技术依据h.264/h.265对视频压缩的过程中，如果码流较小，会导致的显示画面时文字模糊的技术问题。

实施例2

根据本发明实施例的另一个方面，提供了一种图像处理的方法，图3是根据本发明实施例2的图像处理的方法的流程示意图，如图3所示，应用于接收装置，包括：

步骤s302，接收发送装置发送的文字位置码流和图像码流；

具体的，接收发送装置发送的文字位置码流和h.264/h.265视频码流(即，本申请实施例中的图像码流)。

步骤s304，分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；

具体的，解压文字宏块位置码流得到文字宏块信息；将h.264/265码流送入解码器进行解码，得到第一解码图像。

步骤s306，依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

可选的，步骤s306中依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像包括：

步骤s3062，根据文字宏块信息从第一解码图像中获取包含文字的图像块的位置；

步骤s3064，依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块；

步骤s3066，将文字清晰度满足预设条件的图像块替换第一解码图像中文字的图像块的位置，得到第二解码图像。

具体的，根据文字宏块信息从第一解码图像中确定文字宏块的位置(即，本申请实施例中的包含文字的图像块的位置)，并对确定出的文字宏块进行处理，以得到文字清晰度高的图像(即，本申请实施例中的第二解码图像)；

其中，对确定出的文字宏块进行处理包括：依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块，其中，该预设条件可以为当前显示任务中设置的分辨率，通过对文字宏块进行处理，得到满足该分辨率的图像，即，得到分辨率高于第一解码图像的第二解码图像。

或，

第二解码图像的文字清晰度高于第一解码图像的文字清晰度的情况下，第一解码图像的文字清晰度与第二解码图像的文字清晰度的差大于预设阈值，在大于该预设阈值的情况下，确定第二解码图像中的文字清晰度高于第一解码图像中的文字清晰度。

需要说明的是，通过步骤s3064中的文字清晰度满足预设条件的图像块替换第一解码图像中文字的图像块的位置，得到第二解码图像，使得能够在发送装置不显著增加码流的情况下，在解码装置得到文字清晰度高的图像，从而弥补了现有h.264/h.265编码方法在降低码流的同时，文字清晰度降低的不足的缺陷。

进一步地，可选的，步骤s3064中依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块包括：对包含文字的图像块进行锐化，得到文字清晰度满足预设条件的图像块；或，依据预设图像神经网络对包含文字的图像块进行文字处理，得到文字清晰度满足预设条件的图像块。

可选的，在步骤s3064中依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块之前，训练神经网络，得到预设图像神经网络包括：将满足预设条件的包含文字的图像块作为训练目标；将满足预设条件的包含文字的图像块进行编码，得到训练样本；依据训练目标和训练样本对神经网络模型进行训练，得到预设图像神经网络。

具体的，本申请实施例提供的依据包含文字的图像块的位置对第一解码图像进行文字处理，得到文字清晰度满足预设条件的图像块包括如下两种实现方式：

方式一：对包含文字的图像块进行锐化，得到文字清晰度满足预设条件的图像块；

方式二：依据预设图像神经网络对包含文字的图像块进行文字处理，得到文字清晰度满足预设条件的图像块；

其中，训练神经网络，得到预设图像神经网络可以包括：

预先对神经网络模型进行训练，使得训练好的神经网络模型具有还原清晰文字图像的能力。

具体的训练方法是：

预先准备大量原始文字宏块图像(清晰度高)作为训练目标；

对这些原始文字宏块图像采用h.264/h.265进行编码后，将这些图像作为训练样本；

不断输入训练样本和训练目标，对神经网络模型进行训练，使神经网络模型最终具有还原出与高清晰度文字宏块图像的能力。

综上，结合步骤s302至步骤s306，如图4所示，图4是根据本发明实施例2的一种图像处理的方法的流程示意图，本申请实施例提供的图像处理的方法具体如下：

step1:接收文字位置码流和h.264/h.265视频码流；

step2:解压文字位置码流得到文字位置信息；

step3:将h.264/h.265视频码流恢复成图像；

step4:根据文字位置信息对图像进行处理；

step5:显示处理后的图像。

实施例3

根据本发明实施例的又一方面，还提供了一种图像处理的装置，图5是根据本发明实施例3的一种图像处理的装置的示意图，如图5所示，应用于发送装置，包括：标记模块52，用于标记图像中包含文字的图像块；编码模块54，用于分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；发送模块56，用于将文字位置码流和图像码流发送至接收装置。

实施例4

根据本发明实施例的再一方面，还提供了一种图像处理的装置，图6是根据本发明实施例4的一种图像处理的装置的示意图，如图6所示，应用于接收装置，包括：接收模块62，用于接收发送装置发送的文字位置码流和图像码流；解码模块64，用于分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；还原模块66，用于依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

实施例5

根据本发明另一实施例的一方面，还提供了一种图像处理的系统，图7是根据本发明实施例5的一种图像处理的系统的示意图，如图7所示，包括：发送装置72和接收装置74，其中，发送装置72，用于标记图像中包含文字的图像块；分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；将文字位置码流和图像码流发送至接收装置；接收装置74，用于接收发送装置发送的文字位置码流和图像码流；分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

具体的，如图7所示，发送装置72标记图像中包含文字的图像块；分别对包含有文字的图像块和图像进行编码，生成文字位置码流和图像码流；将文字位置码流和图像码流发送至接收装置；接收装置74接收发送装置发送的文字位置码流和图像码流；分别对文字位置码流和图像码流进行解码，得到文字宏块信息和第一解码图像；依据文字宏块信息和第一解码图像进行图像还原，得到第二解码图像。

实施例6

根据本发明另一实施例的一方面，还提供了一种存储介质，其中，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述实施例1或2中的图像处理的方法。

实施例7

根据本发明另一实施例的一方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行上述实施例1或2中的图像处理的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。