实现多屏通信的方法、装置和系统以及用电设备与流程

本公开涉及工业控制领域，特别涉及一种实现多屏通信的方法、装置和系统以及用电设备。

背景技术：

在工业控制领域，经常有多屏通信的业务需求。例如，工控触摸显示屏的显示内容需要传送到电脑上进行同步显示。

目前了解到的相关技术是将一种显示装置的整屏图像不断传送给另一种显示装置进行显示。

技术实现要素：

发明人发现，相关技术中的多屏显示存在同步时延较大的问题。

本公开提出一种能够减少多屏显示中的同步时延的方案，提升多屏使用体验。

本公开的一些实施例提出一种实现多屏通信的方法，包括：

第一显示装置发送第一图像给第二显示装置；

第一显示装置检测到第一图像发生变化，从变化后的第一图像中裁剪出相对于变化前的第一图像变化的图像块；

第一显示装置将裁剪方案和变化的图像块发送给第二显示装置，使得第二显示装置根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像，

在一些实施例中，所述裁剪方案包括裁剪区域的位置和大小的描述信息；或者，所述裁剪方案包括裁剪区域的位置、形状和大小的描述信息。

在一些实施例中，所述裁剪方案根据第一图像中可能发生变化的区域确定，可选地，在裁剪之前预先发送给第二显示装置，使得第二显示装置利用变化的图像块的形状和大小信息匹配相应的裁剪方案，根据匹配的裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

在一些实施例中，所述裁剪方案还包括裁剪区域的图像标记信息，所述图像标记信息设置在变化的图像块中的预定位置；

所述裁剪方案根据第一图像中可能发生变化的区域确定，可选地，在裁剪之前预先发送给第二显示装置，使得第二显示装置利用变化的图像块中的图像标记信息识别相应的裁剪方案，根据识别出的裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

在一些实施例中，所述裁剪方案根据第一图像中已经发生变化的区域确定，并与变化的图像块一起发送给第二显示装置，使得第二显示装置根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

在一些实施例中，该方法还包括：

第一显示装置接收第二显示装置发送的用户对第二显示装置显示的第一图像的操作信息，其中，所述操作信息包括操作位置和重定义的操作行为，所述重定义的操作行为是由第二显示装置侧的操作行为转换得到的第一显示装置侧的操作行为；

第一显示装置对本地的第一图像中所述操作位置相应的操作对象执行所述重定义的操作行为。

在一些实施例中，该方法还包括：在第一显示装置执行所述重定义的操作行为使得本地的第一图像发生变化的情况下，按照前述的方法，将第一图像的变化信息发送给第二显示装置，使得第二显示装置显示变化后的第一图像。

在一些实施例中，操作行为的转换根据设置的第一显示装置侧的操作行为与第二显示装置侧的操作行为之间的对应关系实现。

本公开的一些实施例提出一种实现多屏通信的方法，包括：

第二显示装置响应于第一显示装置发送的第一图像，显示所述第一图像；

第二显示装置响应于第一显示装置发送的从变化后的第一图像中裁剪的相对于变化前的第一图像变化的图像块和裁剪方案，根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块；

第二显示装置显示变化后的第一图像。

在一些实施例中，所述裁剪方案根据第一图像中可能发生变化的区域确定，可选地，在裁剪之前预先发送，第二显示装置利用变化的图像块的形状和大小信息匹配相应的裁剪方案，根据匹配的裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块。

在一些实施例中，所述裁剪方案还包括裁剪区域的图像标记信息，所述图像标记信息设置在变化的图像块中的预定位置；所述裁剪方案根据第一图像中可能发生变化的区域确定，可选地，在裁剪之前预先发送；第二显示装置利用变化的图像块中的图像标记信息识别相应的裁剪方案，根据识别出的裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

在一些实施例中，所述裁剪方案根据第一图像中已经发生变化的区域确定，并与变化的图像块一起发送。

在一些实施例中，该方法还包括：

第二显示装置检测用户对第二显示装置显示的第一图像的操作位置和操作行为；

第二显示装置将检测到的操作行为转换为第一显示装置侧的操作行为，得到重定义的操作行为；

第二显示装置向第一显示装置发送用户对第二显示装置显示的第一图像的操作信息，其中，所述操作信息包括检测到的所述操作位置和所述重定义的操作行为，使得第一显示装置对本地的第一图像中所述操作位置相应的操作对象执行所述重定义的操作行为。

在一些实施例中，该方法还包括：在第一显示装置执行所述重定义的操作行为使得本地的第一图像发生变化的情况下，第二显示装置按照前述的方法显示变化后的第一图像。

在一些实施例中，第二显示装置根据设置的第一显示装置侧的操作行为与第二显示装置侧的操作行为之间的对应关系，将检测到的操作行为转换为第一显示装置侧的操作行为，得到重定义的操作行为。

本公开的一些实施例提出一种实现多屏通信的第一显示装置，包括：

发送模块，被配置为发送第一图像给第二显示装置；

裁剪模块，被配置为被配置为检测到第一图像发生变化，从变化后的第一图像中裁剪出相对于变化前的第一图像变化的图像块；

所述发送模块，还被配置为将裁剪方案和变化的图像块发送给第二显示装置，使得第二显示装置根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

在一些实施例中，该装置还包括：

接收模块，被配置为接收第二显示装置发送的用户对第二显示装置显示的第一图像的操作信息，其中，所述操作信息包括操作位置和重定义的操作行为，所述重定义的操作行为是由第二显示装置侧的操作行为转换得到的第一显示装置侧的操作行为；

执行模块，被配置为对本地的第一图像中所述操作位置相应的操作对象执行所述重定义的操作行为。

本公开的一些实施例提出一种实现多屏通信的第二显示装置，包括：

显示模块，被配置为响应于第一显示装置发送的第一图像，显示所述第一图像；

处理模块，被配置为响应于第一显示装置发送的从变化后的第一图像中裁剪的相对于变化前的第一图像变化的图像块和裁剪方案，根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块；

所述显示模块，还被配置为显示变化后的第一图像。

在一些实施例中，该装置还包括：

检测模块，被配置为检测用户对第二显示装置显示的第一图像的操作位置和操作行为；

转换模块，被配置为将检测到的操作行为转换为第一显示装置侧的操作行为，得到重定义的操作行为；

发送模块，被配置为向第一显示装置发送用户对第二显示装置显示的第一图像的操作信息，其中，所述操作信息包括检测到的所述操作位置和所述重定义的操作行为，使得第一显示装置对本地的第一图像中所述操作位置相应的操作对象执行所述重定义的操作行为。

本公开的一些实施例提出一种实现多屏通信的第一显示装置，包括：存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任意一个实施例的第一显示装置执行的实现多屏通信的方法。

本公开的一些实施例提出一种实现多屏通信的第二显示装置，包括：存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任意一个实施例的第二显示装置执行的实现多屏通信的方法。

本公开的一些实施例提出一种实现多屏通信的系统，包括：

前述的第一显示装置；

以及

前述的第二显示装置。

本公开的一些实施例提出一种用电设备，包括：前述任意一个实施例的第一显示装置和前述任意一个实施例的第二显示装置中的至少一个。

本公开的一些实施例提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一个实施例的实现多屏通信的方法。

在初始完整图像的基础上，不同显示装置之间仅需要传送变化的图像信息及其裁剪方案，极大地减少了传输数据量，从而减少多屏显示中的同步时延，提升多屏使用体验。

附图说明

下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开，

显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本公开一些实施例的实现多屏通信的方法的流程示意图。

图2为根据本公开一些实施例的第一图像20及其裁剪方案的示意图。

图3为根据本公开一些实施例的第一图像30及其裁剪方案的示意图。

图4为根据本公开一些实施例的实现多屏通信的方法的流程示意图。

图5为根据本公开一些实施例的实现多屏通信的方法的流程示意图。

图6为根据本公开一些实施例的实现多屏通信的第一显示装置的示意图。

图7为根据本公开一些实施例的实现多屏通信的第二显示装置的示意图。

图8为根据本公开一些实施例的实现多屏通信的第一显示装置或第二显示装置的示意图。

图9为根据本公开一些实施例的实现多屏通信的系统的示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

本公开中的“第一”和“第二”等描述仅用来表示不同的对象，并不用来表示大小或时序等含义。

显示装置具有显示屏和一些基本的图像处理功能，例如，图像的传输、显示、裁剪和替换等功能。不同显示装置可能具有不同的用户操作行为，例如，触摸屏的单击、长按、拖动等操作行为，电脑的鼠标的单击、双击、滚动等操作行为。显示装置例如可以是具有触控功能的触摸屏、电脑、平板等，但不限于所举示例。

图1为根据本公开一些实施例的实现多屏通信的方法的流程示意图。如图1所示，该实施例的方法100包括：

在步骤110，第一显示装置当前显示第一图像，发送第一图像给第二显示装置。

其中，第一图像是第一显示装置侧的一个完整图像，仅需要传输一次给第二显示装置。

在步骤120，第二显示装置响应于第一显示装置发送的第一图像，显示第一图像。

在步骤130，由于用户操作或其他原因，第一显示装置侧显示的第一图像可能会发生变化，第一显示装置检测到第一图像发生变化，从变化后的第一图像中裁剪出相对于变化前的第一图像变化的图像块。

在步骤140，第一显示装置将裁剪方案和变化的图像块发送给第二显示装置。

其中，裁剪方案例如可以包括裁剪区域的位置、形状和大小的描述信息。在默认裁剪区域是矩形的情况下，裁剪方案可以包括裁剪区域的位置和大小的描述信息，不需要再发送形状描述信息给第二显示装置。如果有多个裁剪区域，则裁剪方案可以包括各个裁剪区域的描述信息。

在一些实施例中，裁剪区域例如可以是矩形，矩形的位于对角线上的两个顶点的位置信息可以作为矩形的描述信息。通过这两个顶点的位置信息可以确定该矩形的位置、形状和大小的描述信息。

在步骤150，第二显示装置响应于第一显示装置发送的从变化后的第一图像中裁剪的相对于变化前的第一图像变化的图像块和裁剪方案，根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块。

在步骤160，第二显示装置显示变化后的第一图像。

上述实施例，在初始完整图像的基础上，不同显示装置之间仅需要传送变化的图像信息及其裁剪方案，极大地减少了传输数据量，从而减少多屏显示中的同步时延，提升多屏使用体验。

本公开提出了裁剪方案及其传输方式的多种实现方法，下面分别描述这些实现方法。

示例性方法一

裁剪方案包括裁剪区域的位置和大小的描述信息，可选地，还可以包括裁剪区域的形状描述信息。裁剪方案根据第一图像中可能发生变化的区域确定，可选地，在裁剪之前预先发送给第二显示装置。即，第一图像中可能发生变化的区域被确定为裁剪区域，将裁剪区域的各种描述信息在裁剪之前预先发送给第二显示装置。其中，第一图像中可能发生变化的区域例如可以通过对第一图像执行各个触控操作后的图像相对于第一图像的变化来预测。

然后，第二显示装置利用变化的图像块的形状(在第一显示装置未发送形状描述信息的情况下，采用默认形状，如矩形)和大小信息匹配相应的裁剪方案，根据匹配的裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

上述方法在第一图像中可能发生变化的区域比较固定的业务场景中具有更大的优势，并且裁剪方案中各个裁剪区域的形状和大小最好不同，以便识别相应的裁剪方案。如图2所示的第一图像20，其中，裁剪方案例如包括小矩形的裁剪区域21和大矩形的裁剪区域22。

示例性方法二

裁剪方案包括裁剪区域的位置和大小的描述信息，可选地，还可以包括裁剪区域的形状描述信息，此外，还包括裁剪区域的图像标记信息。图像标记信息设置在变化的图像块中的预定位置，例如，图像块的一个角落处。

裁剪方案根据第一图像中可能发生变化的区域确定，可选地，在裁剪之前预先发送给第二显示装置。即，第一图像中可能发生变化的区域被确定为裁剪区域，将裁剪区域的各种描述信息以及裁剪区域的图像标记信息在裁剪之前预先发送给第二显示装置。

然后，第二显示装置利用变化的图像块中的图像标记信息识别相应的裁剪方案，根据识别出的裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

上述方法在第一图像中可能发生变化的区域比较固定的业务场景中具有更大的优势，并且裁剪方案中各个裁剪区域的形状和大小可以相同，此时根据图像标记信息识别相应的裁剪方案。

如图3所示的第一图像30，其中，裁剪方案例如包括相同形状和大小裁剪区域31，32，但它们的图像标记信息不同，例如，裁剪区域31是网格状图像标记，裁剪区域32是点状图像标记。

示例性方法三

裁剪方案包括裁剪区域的位置和大小的描述信息，可选地，还可以包括裁剪区域的形状描述信息。裁剪方案根据第一图像中已经发生变化的区域实时确定，并与变化的图像块一起发送给第二显示装置。

然后，第二显示装置根据接收的裁剪方案(无需匹配裁剪方案)用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

上述方法在第一图像中可能发生变化的区域不固定或不容易预测的业务场景中具有更大的优势，并且裁剪方案中各个裁剪区域的形状和大小最好不同，以便识别相应的裁剪方案。

显然，本领域技术人员可以理解，上述示例性方法一、二和三可以结合起来用来。

本公开还提出一种实现多屏通信的方法，该方法使得一个显示装置上的用户操作可以复现到另一个显示装置，并在另一个显示装置上执行。

图4为根据本公开一些实施例的实现多屏通信的方法的流程示意图。其中，第二显示装置和第一显示装置均显示相同的图像(如前述的第一图像或变化后的第一图像，本实施例中，将这些相同的图像统称为“第一图像”)。

如图4所示，该实施例的方法400包括：

在步骤410，第二显示装置检测用户对第二显示装置显示的第一图像的操作位置和操作行为。

在步骤420，第二显示装置将检测到的操作行为转换为第一显示装置侧的操作行为，得到重定义的操作行为。

在一些实施例中，操作行为的转换例如根据设置的第一显示装置侧的操作行为与第二显示装置侧的操作行为之间的对应关系实现。对应关系是可设置的，用户可以根据需要定义自己的对应关系。对应关系通常是预先设置好的。

下面列举一些对应关系的示例，本领域技术人员可以理解，对应关系不仅限于所列举的示例。

例如，触摸屏的“长按”对应电脑端的“双击”。触摸屏的“按下”和“松开”可以对应用户在电脑端的“空格”键的按下和松开。触摸屏在“按下后”的“方向移动”可以对应电脑端的键盘的“方向键”。触摸屏的“单击”可以对应电脑端的“鼠标右键”实现。触摸屏的“双指拖动”可以对应电脑端的“ctrl”键以及鼠标拖动的组合。

在步骤430，第二显示装置向第一显示装置发送用户对第二显示装置显示的第一图像的操作信息，其中，操作信息包括检测到的操作位置和重定义的操作行为。

在步骤440，第一显示装置接收第二显示装置发送的用户对第二显示装置显示的第一图像的操作信息，并对本地的第一图像中操作位置相应的操作对象执行重定义的操作行为。

此外，在第一显示装置执行重定义的操作行为使得本地的第一图像发生变化的情况下，可以按照前述图1所示实施例的方法，将第一图像的变化信息发送给第二显示装置，使得第二显示装置同步显示变化后的第一图像。

从而，使得一个显示装置上的用户操作可以复现到另一个显示装置，并在另一个显示装置上执行，而另一个显示装置的执行结果又可以及时地同步到该显示装置。

此外，不同显示装置之间可以通过有线传输或无线传输等各种方式来传输信息。本公开对此不作限定。

显然，本领域技术人员可以理解，图1和图4所示的实施例可以结合起来。

例如，如图5所示，其中实线示出的是图1所示的方法100，虚线示出的是图4所示的方法400。第一显示装置和第二显示装置先利用图1所示的方法100实现图像的同步显示，然后，利用图4所示的方法400将第二显示装置上的用户操作复现到第一显示装置，并在第一显示装置上执行，而第一显示装置的执行结果又可以利用图1所示的方法100及时地同步到第二显示装置。

在一些实施例中，第一显示装置例如可以是主显示装置(或主屏)，第二显示装置例如可以是次显示装置(或次屏)，主显示装置(或主屏)相对于次显示装置(或次屏)具有更强大的处理功能，次显示装置(或次屏)起到分屏显示的作用。

例如，在空调系统中，第一显示装置例如可以是工控触摸屏，第二显示装置例如可以是分屏显示的电脑和手机等。

图6为根据本公开一些实施例的实现多屏通信的第一显示装置的示意图。

如图6所示，第一显示装置600，包括：

发送模块610，被配置为发送第一图像给第二显示装置；

裁剪模块620，被配置为检测到第一图像发生变化，从变化后的第一图像中裁剪出相对于变化前的第一图像变化的图像块；

发送模块610，还被配置为将裁剪方案和变化的图像块发送给第二显示装置，使得第二显示装置根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块，并显示变化后的第一图像。

在一些实施例中，裁剪方案包括裁剪区域的位置和大小的描述信息，可选地，还可以包括裁剪区域的形状描述信息。

在一些实施例中，第一显示装置600还包括：

接收模块630，被配置为接收第二显示装置发送的用户对第二显示装置显示的第一图像的操作信息，其中，操作信息包括操作位置和重定义的操作行为，重定义的操作行为是由第二显示装置侧的操作行为转换得到的第一显示装置侧的操作行为；

执行模块640，被配置为对本地的第一图像中操作位置相应的操作对象执行重定义的操作行为。

图7为根据本公开一些实施例的实现多屏通信的第二显示装置的示意图。

如图7所示，第二显示装置700，包括：

显示模块710，被配置为响应于第一显示装置发送的第一图像，显示第一图像；

处理模块720，被配置为响应于第一显示装置发送的从变化后的第一图像中裁剪的相对于变化前的第一图像变化的图像块和裁剪方案，根据裁剪方案用变化的图像块替换变化前的第一图像中相应位置的初始图像块；

显示模块710，还被配置为显示变化后的第一图像；

在一些实施例中，裁剪方案包括裁剪区域的位置和大小的描述信息，可选地，还可以包括裁剪区域的形状描述信息。

在一些实施例中，第二显示装置700还包括：

检测模块730，被配置为检测用户对第二显示装置显示的第一图像的操作位置和操作行为；

转换模块740，被配置为将检测到的操作行为转换为第一显示装置侧的操作行为，得到重定义的操作行为；

发送模块750，被配置为向第一显示装置发送用户对第二显示装置显示的第一图像的操作信息，其中，操作信息包括检测到的操作位置和重定义的操作行为，使得第一显示装置对本地的第一图像中操作位置相应的操作对象执行重定义的操作行为。

图8为根据本公开一些实施例的实现多屏通信的第一显示装置或第二显示装置的示意图。

如图8所示，第一显示装置或第二显示装置包括：存储器810以及耦接至该存储器810的处理器820。

第一显示装置的处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中第一显示装置执行的实现多屏通信的方法。

第二显示装置的处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中第二显示装置执行的实现多屏通信的方法。

其中，存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(bootloader)以及其他程序等。

第一显示装置或第二显示装置还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为sd卡、u盘等外置存储设备提供连接接口。

图9为根据本公开一些实施例的实现多屏通信的系统的示意图。

如图9所示，实现多屏通信的系统900包括：前述任意一个实施例中的第一显示装置910；以及前述任意一个实施例中的第二显示装置920。其中，第一显示装置910与第二显示装置920之间通信连接，以便于交互信息。

在一些实施例中，用来进行分屏显示的第二显示装置920可以有多个。

本公开的一些实施例提出一种用电设备，包括：前述任意一个实施例的第一显示装置和前述任意一个实施例的第二显示装置中的至少一个。用电设备例如可以是工业控制设备、家电设备等，但不限于所举示例。

本公开的一些实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一个实施例的实现多屏通信的方法。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。