图像处理方法及装置与流程

本公开涉及图像处理技术领域，尤其涉及图像处理方法及装置。

背景技术：

在有些应用场景中，用户需要通过本地计算机对异地计算机进行远程控制。

参照图1所示，计算机11和计算机12通过互联网连接，计算机11上连接有鼠标11-1和键盘11-2，用户通过操作鼠标11-1和键盘11-2可对计算机12进行远程控制，计算机12将其显示的图像通过互联网发送至计算机11，由计算机11显示给用户。

计算机12在向计算机11发送图像时，将前后两个图像帧进行全区域比较，确定后一帧图像与前一帧图像不同的部分，将不同的部分发送给计算机11。

计算机12对前后两个图像帧进行全区域比较，往往运算量巨大，一方面需要占用大量运算资源，另一方面导致向计算机11发送显示内容的延时较长。

技术实现要素：

本公开实施例提供一种图像处理方法及装置，能够解决耗费资源且延时长的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，应用于采集端，该方法包括：

获取控制信息；

根据所述控制信息确定差量信息，所述差量信息包括目标图像帧的目标区域内的图像数据以及所述目标区域的位置信息，所述目标图像帧为所述采集端响应所述控制信息更新显示内容后的图像帧，所述目标区域为所述目标图像帧相比参照图像帧显示内容变化的区域，所述参照图像帧为所述目标图像帧的相邻前一图像帧；

向显示端发送所述差量信息，以便于所述显示端显示所述目标图像帧。

本公开提供的技术方案中，由于采集端响应控制信息更新显示内容，因此可根据控制信息确定目标图像帧相对于相邻前一图像帧(参照图像帧)哪些区域(目标区域)的显示内容发生变化，采集端将目标区域的位置信息以及目标图像帧在该区域的显示内容发送给显示端，显示端对目标区域的内容进行更新即可实现显示端与采集端显示内容的同步。相比对相邻两个图像帧进行全区域比较确定目标区域的方案，根据控制信息确定目标区域可大大减少运算量，从而减少资源占用且缩短延时。

在一个实施例中，所述目标区域的位置信息包括：所述目标区域内参考像素点的坐标和所述目标区域的尺寸；

所述向显示端发送所述差量信息，包括：将采集到的所述目标区域内的图像数据经过压缩后，与所述参考像素点的坐标和所述目标区域的尺寸一同向所述显示端发送，由所述显示端根据所述参考像素点的坐标和所述目标区域的尺寸，将接收到的图像数据渲染到所述目标图像帧的目标区域。

在一个实施例中，根据所述控制信息确定所述目标区域的位置信息，包括：

通过调用所述采集端操作系统提供的接口，确定所述参照图像帧中焦点窗口的位置信息；

根据所述控制信息以及所述焦点窗口的位置信息确定所述目标区域的位置信息。

在一个实施例中，根据所述控制信息确定所述目标区域的位置信息，包括：

通过调用所述采集端操作系统提供的接口，确定所述参照图像帧中每一窗口的位置信息；

根据所述控制信息以及所述每一窗口的位置信息确定所述目标区域的位置信息。

在一个实施例中，所述获取控制信息，包括：

接收所述显示端发送的由所述显示端的输入设备所触发的所述控制信息；

或者，获取所述采集端的输入设备所触发的所述控制信息。

在一个实施例中，所述获取控制信息，包括：

获取窗口切换指示信息；

或者，获取窗口调节指示信息，所述窗口调节指示信息包括关闭窗口、最大化窗口和最小化窗口指示信息其中之一。

根据本公开实施例的第二方面，提供一种图像处理装置，用作采集端，图像处理装置包括：

控制模块，用于获取控制信息；

处理模块，用于根据所述控制信息确定差量信息，所述差量信息包括目标图像帧的目标区域内的图像数据以及所述目标区域的位置信息，所述目标图像帧为所述采集端响应所述控制信息更新显示内容后的图像帧，所述目标区域为所述目标图像帧相比参照图像帧显示内容变化的区域，所述参照图像帧为所述目标图像帧的相邻前一图像帧；

更新模块，用于向显示端发送所述差量信息，以便于所述显示端显示所述目标图像帧。

在一个实施例中，所述目标区域的位置信息包括：所述目标区域内参考像素点的坐标和所述目标区域的尺寸；

所述更新模块，具体用于将采集到的所述目标区域内的图像数据经过压缩后，与所述参考像素点的坐标和所述目标区域的尺寸一同向所述显示端发送，由所述显示端根据所述参考像素点的坐标和所述目标区域的尺寸，将接收到的图像数据渲染到所述目标图像帧的目标区域。

在一个实施例中，所述处理模块包括：

划分子模块，用于通过调用所述采集端操作系统提供的接口，确定所述参照图像帧中焦点窗口的位置信息；

选定子模块，用于根据所述控制信息以及所述焦点窗口的位置信息确定所述目标区域的位置信息。

在一个实施例中，所述处理模块包括：

区域子模块，用于通过调用所述采集端操作系统提供的接口，确定所述参照图像帧中每一窗口的位置信息；

筛选子模块，用于根据所述控制信息以及所述每一窗口的位置信息确定所述目标区域的位置信息。

在一个实施例中，所述控制模块包括远程子模块或者本地子模块；

所述远程子模块，用于接收所述显示端发送的由所述显示端的输入设备所触发的所述控制信息；

所述本地子模块，用于获取所述采集端的输入设备所触发的所述控制信息。

在一个实施例中，所述控制模块包括切换子模块或者调节子模块；

所述切换子模块，用于获取窗口切换指示信息；

所述调节子模块，用于获取窗口调节指示信息，所述窗口调节指示信息包括关闭窗口、最大化窗口和最小化窗口指示信息其中之一。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是对远程控制应用场景的说明示意图；

图2是本公开实施例提供的一种图像处理方法的流程图；

图3是本公开实施例提供的参照图像帧和目标图像帧的说明示意图；

图4是本公开实施例提供的一种图像处理方法的流程图；

图5是本公开实施例提供的参照图像帧和目标图像帧的说明示意图；

图6是本公开实施例提供的一种图像处理装置的结构示意图；

图7是本公开实施例提供的一种图像处理装置的结构示意图；

图8是本公开实施例提供的一种图像处理装置的结构示意图；

图9是本公开实施例提供的一种图像处理装置的结构示意图；

图10是本公开实施例提供的一种图像处理装置的结构示意图；

图11是本公开实施例提供的一种图像处理装置的结构示意图；

图12是本公开实施例提供的一种图像处理装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开的实施例提供一种图像处理方法，该技术方案涉及采集端和显示端。采集端和显示端包括但不限于电脑、手机、电视等电子设备，采集端和显示端可以无线、无线方式，通过网络连接。

以远程控制的情形为例，采集端为服务器端，显示端为客户端，二者通过互联网连接。用户可通过显示端的鼠标、键盘等输入设备对采集端进行操作。采集端可在本地显示输出的同时，将显示内容发送给显示端由显示端同步显示，由此用户可在显示端看到采集端的显示内容。

采集端在发送显示内容时，确定相邻两图像帧之间显示内容变化的区域，将该区域的位置信息以及变化后的内容发送给显示端。显示端将变化后的内容显示在对应区域，实现与采集端同步显示。

如图2所示，本公开实施例提供一种图像处理方法，应用于采集端，该图像处理方法包括以下步骤：

201、获取控制信息。

在一个实施例中，控制信息可以由采集端的输入设备触发，输入设备包括但不限于键盘、鼠标等。

用户可通过采集端的键盘对采集端进行控制。例如，采集端当前的显示内容为一个应用窗口，且该窗口为焦点窗口。采集端连接键盘，用户按下alt+f4键时，采集端获取到由键盘触发的控制信息，该控制信息用于指示关闭焦点窗口。

在一个实施例中，控制信息可以由显示端发送至采集端。

用户通过显示端的键盘对采集端进行远程控制。例如，用户按下显示端键盘的alt+f4键时，键盘触发关闭焦点窗口的控制信息，显示端将该控制信息发送至采集端。

202、根据控制信息确定差量信息。

差量信息包括目标图像帧的目标区域内的图像数据以及目标区域的位置信息。

目标图像帧为采集端响应控制信息更新显示内容后的图像帧，目标区域为目标图像帧相比参照图像帧显示内容变化的区域，参照图像帧为目标图像帧的相邻前一图像帧。

参照图3所示，参照图像帧为图像帧31，图像帧31包括焦点窗口32，当焦点窗口32关闭后，目标图像帧为图像帧33。结合图3，以用户通过显示端输入设备对采集端进行远程控制的情形为例，对确定差量信息的过程说明如下：

采集端采集计算机画面并通过网络传输到显示端，显示端显示接收到的图像数据并显示在屏幕上，显示内容为图3中的图像帧31。

当用户在显示端的键盘上按下alt+f4时，显示端通过调用显示端操作系统接口确定键盘事件，将该键盘事件转换为控制信息并通过网络发送给采集端，控制信息用于指示关闭焦点窗口32。

当采集端接收到控制信息后，根据控制信息确定需要关闭焦点窗口32。关闭焦点窗口32会引起焦点窗口32所在区域内显示内容更新，因此目标区域即为焦点窗口32所覆盖的区域。

采集端通过调用采集端操作系统提供的接口，确定焦点窗口32的位置信息即为目标区域的位置信息。位置信息可以包括焦点窗口32的坐标、尺寸等信息。

在一个实施例中，位置信息包括焦点窗口32的参考像素点的坐标，以及焦点窗口32的尺寸。其中，参考像素点可以包括焦点窗口32四个直角端点像素中的至少一个像素。尺寸信息用于说明焦点窗口32的大小，可以是焦点窗口32横边以及竖边的像素数量。

采集端响应控制信息更新显示内容，显示图像帧33。

203、向显示端发送差量信息，以便于显示端显示目标图像帧。

采集端将图像帧33目标区域内的图像数据，即图像帧33中虚线框区域的图像数据，以及焦点窗口32的位置信息发送至显示端。

显示端接收到采集端发送的图像数据以及位置信息后，将图像数据按照位置信息渲染到对应区域，显示图像帧33，完成显示端与采集端的同步显示以及通过显示端对采集端的远程控制。

步骤201中的控制信息，可以是窗口调节指示信息，窗口调节指示信息包括关闭窗口、最大化窗口和最小化窗口指示信息其中之一。

以输入设备为键盘的情形为例，用户按下alt+f4键时触发关闭窗口指示，此时对应的目标区域为焦点窗口所覆盖的区域。用户按下win+m键时触发最小化窗口指示，此时对应的目标区域为焦点窗口所覆盖的区域。用户按下win+↑键时触发最大化窗口指示，此时对应的目标区域为窗口最大化显示时所覆盖的区域。

以输入设备为鼠标盘的情形为例，鼠标点击焦点窗口的关闭、最小化、最大化按钮时，触发关闭窗口、最大化窗口、最小化窗口指示信息，各指示信息对应的目标区域不在赘述。

本公开实施例提供的图像处理方法，由于采集端响应控制信息更新显示内容，因此可根据控制信息确定目标图像帧相对于相邻前一图像帧(参照图像帧)哪些区域(目标区域)的显示内容发生变化，采集端将目标区域的位置信息以及目标图像帧在该区域的显示内容发送给显示端，显示端对目标区域的内容进行更新即可实现显示端与采集端显示内容的同步。相比对相邻两个图像帧进行全区域比较确定目标区域的方案，根据控制信息确定目标区域可大大减少运算量，从而减少资源占用且缩短延时。

基于上述图2-图3对应的实施例提供的图像处理方法，本公开另一实施例提供一种图像处理方法。本实施例以控制信息为窗口切换指示信息的情形为例进行说明，其中部分步骤中的内容与图2-图3对应的实施例中的步骤相同或类似，以下只对步骤中不同之处做详细说明。

参照图4所示，本实施例提供的图像处理方法包括以下步骤：

401、采集端获取窗口切换指示信息。

结合远程控制的应用场景，显示端的用户可通过显示端输入设备触发切换指示信息，

显示端将窗口切换指示信息发送至采集端。或者，采集端的用户也可通过采集端输入设备触发切换指示信息。

输入设备包括但不限于键盘、鼠标等。

以键盘为例，用户了按下alt+tab键触发窗口切换。以鼠标为例，用户点击某一个非焦点窗口时触发窗口切换。

402、确定参照图像帧中每一窗口的位置信息。

参照图5所示，参照图像帧51的显示内容包括两个窗口，分别为窗口52和窗口53，其中，窗口53为焦点窗口。

用户按下alt+tab键触发窗口52和窗口53进行切换时，或者用户通过鼠标点击窗口52时，触发窗口52和窗口53进行切换。

窗口切换后，目标图像帧54的显示内容包括窗口52和窗口53，其中，窗口52为焦点窗口。

采集端在获取窗口切换指示信息后，可通过调用采集端操作系统提供的接口，确定触发窗口51和窗口52各自的位置信息。

403、根据窗口切换指示信息以及每一窗口的位置信息确定目标区域的位置信息。

在参考图像帧中，窗口52的全部或者部分区域可能被其他若干个窗口遮盖，图5所示为窗口52部分区域被遮盖的情形。

当窗口切换指示信息指示将窗口52切换为焦点窗口时，采集端确定目标区域为参照图像帧51中窗口52被其他窗口所遮盖的区域，参照图像帧51中目标区域以阴影部分51-1标识。

在一个实施例中，目标区域的位置信息为目标区域内参考像素点的坐标和目标区域的尺寸。例如，参考像素点为阴影部分51-1左上角的一个像素点，目标区域的尺寸可以阴影部分51-1的横边和竖边的像素数量表示。

404、采集目标图像帧目标区域的图像数据。

参照图5所示，目标图像帧54相比参照图像帧51内容变化，目标图像帧54位于目标区域内的内容为变化后的内容。目标图像帧54中目标区域以阴影部分51-2标识。目标图像帧54中目标区域的图像数据，即阴影部分51-2的图像数据。

405、向显示端发送差量信息。

差量信息包括目标图像帧54中目标区域的图像数据，即阴影部分51-2的图像数据，以及目标区域的位置信息，包括目标区域内参考像素点的坐标和目标区域的尺寸。

采集端可将采集到的目标区域内的图像数据经过压缩后，与参考像素点的坐标和目标区域的尺寸一同向所述显示端发送。

显示端接收到采集端发送的图像数据以及位置信息后，将图像数据按照位置信息渲染到图像帧54的目标区域，完成显示端与采集端的同步显示。

本公开实施例提供的图像处理方法，由于采集端响应控制信息更新显示内容，因此可根据控制信息确定目标图像帧相对于相邻前一图像帧(参照图像帧)哪些区域(目标区域)的显示内容发生变化，采集端将目标区域的位置信息以及目标图像帧在该区域的显示内容发送给显示端，显示端对目标区域的内容进行更新即可实现显示端与采集端显示内容的同步。相比对相邻两个图像帧进行全区域比较确定目标区域的方案，根据控制信息确定目标区域可大大减少运算量，从而减少资源占用且缩短延时。

基于上述图2-图5对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种图像处理装置，如图6所示，图像处理装置包括：

控制模块601，用于获取控制信息。

处理模块602，用于根据控制信息确定差量信息，差量信息包括目标图像帧的目标区域内的图像数据以及目标区域的位置信息，目标图像帧为采集端响应控制信息更新显示内容后的图像帧，目标区域为目标图像帧相比参照图像帧显示内容变化的区域，参照图像帧为目标图像帧的相邻前一图像帧。

更新模块603，用于向显示端发送差量信息，以便于显示端显示目标图像帧。

在一个实施例中，目标区域的位置信息包括：目标区域内参考像素点的坐标和目标区域的尺寸；

更新模块603，具体用于将采集到的目标区域内的图像数据经过压缩后，与参考像素点的坐标和目标区域的尺寸一同向显示端发送，由显示端根据参考像素点的坐标和目标区域的尺寸，将接收到的图像数据渲染到目标图像帧的目标区域。

如图7所示，在一个实施例中，处理模块602包括：

划分子模块6021，用于通过调用采集端操作系统提供的接口，确定参照图像帧中焦点窗口的位置信息。

选定子模块6022，用于根据控制信息以及焦点窗口的位置信息确定目标区域的位置信息。

如图8所示，在一个实施例中，处理模块602包括：

区域子模块6023，用于通过调用采集端操作系统提供的接口，确定参照图像帧中每一窗口的位置信息。

筛选子模块6024，用于根据控制信息以及每一窗口的位置信息确定目标区域的位置信息。

如图9所示，在一个实施例中，控制模块601包括远程子模块6011。

远程子模块6011，用于接收显示端发送的由显示端的输入设备所触发的控制信息。

如图10所示，在一个实施例中，控制模块601包括本地子模块6012。

本地子模块6012，用于获取采集端的输入设备所触发的控制信息。

如图11所示，在一个实施例中，控制模块601包括切换子模块6013。

切换子模块6013，用于获取窗口切换指示信息。

如图12所示，在一个实施例中，控制模块601包括调节子模块6014。

调节子模块6014，用于获取窗口调节指示信息，窗口调节指示信息包括关闭窗口、最大化窗口和最小化窗口指示信息其中之一。

本公开实施例提供的图像处理装置，根据控制信息确定目标图像帧相对于相邻前一图像帧(参照图像帧)哪些区域(目标区域)的显示内容发生变化，将目标区域的位置信息以及目标图像帧在该区域的显示内容发送给显示端，显示端对目标区域的内容进行更新即可实现显示端与采集端显示内容的同步。相比对相邻两个图像帧进行全区域比较确定目标区域的方案，根据控制信息确定目标区域可大大减少运算量，从而减少资源占用且缩短延时。

基于上述图2-图5对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质。

该计算机可读存储介质可以是非临时性计算机可读存储介。例如，非临时性计算机可读存储介质可以是只读存储器(英文：readonlymemory，rom)、随机存取存储器(英文：randomaccessmemory，ram)、cd-rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，当计算机指令被执行时，可实现上述图2-图5对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。