显示屏输入源的远程控制方法、装置、设备及存储介质与流程

1.本技术属于显示屏播控技术领域，尤其涉及一种显示屏输入源的远程控制方法、装置、设备及存储介质。


背景技术：

2.随着显示技术的不断提升以及led(light emitting diode)显示屏、lcd(liquid crystal display)显示屏等显示载体的迅猛发展，商业显示涉及的领域也逐渐增多，比如固装的会议系统、公共区域的电视墙显示、交通指挥中心屏幕显示等等。这些领域中显示屏通常使用视频处理设备进行控制，其视频处理设备能从两种或者更多种输入源中选择一路或者多路信号输出，以实现显示的多样化。
3.而视频处理设备则通过电脑等电子设备控制，但是由于环境的约束，视频处理设备的输入源设备、视频处理设备以及视频处理设备的控制设备对应的使用场所都有一定的区域隔离，使用位置相对固定。例如在固装的会议系统中，会议大屏和视频处理设备的控制设备可以在会议室使用，而视频处理设备的输入源设备以及视频处理设备需要在机房进行使用。在会议进行中，难以在会议现场对位于机房中的输入源设备进行操控，造成操作不便，用户体验度差。


技术实现要素：

4.本技术实施例提供了一种显示屏输入源的远程控制方法、装置、设备及存储介质，可以解决在会议进行中，难以在会议现场对位于机房中的输入源设备进行操控，造成操作不便问题。
5.本技术实施例的第一方面提供了一种显示屏输入源的远程控制方法，应用于控制设备，所述控制设备用于对视频处理设备进行控制，以及所述控制设备包括操作显示界面，所述远程控制方法包括：
6.响应于用户的添加操作，添加与所述控制设备处于同一网段中的视频处理设备；
7.获取所述视频处理设备的输入源列表，所述输入源列表基于所述视频处理设备与输入源设备之间的物理连接关系确定；
8.响应于用户的目标源配置操作，从所述输入源列表中确定所述目标源，其中所述目标源用于为显示屏提供上屏显示画面；
9.响应于用户对所述目标源的反控操作，建立所述控制设备与目标源设备之间的网络连接关系，并通过所述网络连接关系向所述目标源设备发送基于图层画面的编辑指令，以远程控制所述目标源设备，所述图层画面是指由所述目标源生成且显示在所述操作显示界面中的画面。
10.本技术实施例的第二方面提供了一种显示屏输入源的远程控制方法，应用于目标源设备，所述目标源设备为视频处理设备连接的输入源设备中的一个，所述远程控制方法包括：
11.接收控制设备发送的反控指令，所述反控指令是指所述控制设备响应于用户对目标源的反控操作而发送的指令；
12.建立所述控制设备与所述目标源设备之间的网络连接关系，抓取目标源设备的显示画面，并通过所述网络连接关系将所述显示画面发送至所述控制设备，以将所述显示画面作为图层画面显示于操作显示界面中；
13.接收所述控制设备基于所述图层画面发送的编辑指令，执行所述编辑指令，将执行所述编辑指令后生成的显示画面发送至所述控制设备，以显示在所述操作显示界面中。
14.本技术实施例的第三方面提供了一种显示屏输入源的远程控制装置，所述远程控制装置包括：
15.设备添加模块，用于响应于用户的添加操作，添加与所述控制设备处于同一网段中的视频处理设备；
16.源获取模块，用于获取所述视频处理设备的输入源列表，所述输入源列表基于所述视频处理设备与输入源设备之间的物理连接关系确定；
17.目标源确定模块，用于响应于用户的目标源配置操作，从所述输入源列表中确定所述目标源，其中所述目标源用于为显示屏提供上屏显示画面；
18.控制模块，用于响应于用户对所述目标源的反控操作，建立所述控制设备与目标源设备之间的网络连接关系，并通过所述网络连接关系向所述目标源设备发送基于图层画面的编辑指令，以远程控制所述目标源设备，所述图层画面是指由所述目标源生成且显示在所述操作显示界面中的画面。
19.本技术实施例的第四方面提供一种显示屏输入源的远程控制装置，所述远程控制装置包括：
20.指令接收模块，用于接收控制设备发送的反控指令，所述反控指令是指所述控制设备响应于用户对目标源的反控操作而发送的指令；
21.画面抓取模块，用于建立所述控制设备与所述目标源设备之间的网络连接关系，抓取目标源设备的显示画面，并通过所述网络连接关系将所述显示画面发送至所述控制设备，以将所述显示画面作为图层画面显示于操作显示界面中；
22.指令执行模块，用于接收所述控制设备基于所述图层画面发送的编辑指令，执行所述编辑指令，将执行所述编辑指令后生成的显示画面发送至所述控制设备，以显示在所述操作显示界面中。
23.本技术实施例的第五方面提供了一种显示屏输入源的远程控制系统，所述远程控制系统包括至少一个输入源设备、视频处理设备、所述视频处理设备的控制设备以及显示屏，所述至少一个输入源设备与所述视频处理设备物理连接，所述控制设备与所述视频处理设备网络连接，所述显示屏与所述视频处理设备物理连接；
24.所述输入源设备用于向所述视频处理设备提供输入源显示画面，以便于所述控制设备在响应于目标源配置操作时，将目标源基于对应的输入源显示画面生成的图层画面显示在操作显示界面中；
25.所述控制设备用于响应所述目标源配置操作，从所述至少一个输入源设备中确定目标源设备，根据第一方面所述的远程控制方法，对所述目标源设备进行远程控制；
26.所述目标源设备中安装有远程服务程序和/或标注程序，用于根据第二方面所述
的远程控制方法，实现所述目标源设备的被控；
27.所述显示屏用于显示所述视频处理设备输出的上屏显示画面。本技术实施例的第六方面提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的显示屏输入源的远程控制方法。
28.本技术实施例的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的显示屏输入源的远程控制方法。
29.本技术实施例的第八方面提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述第一方面所述的显示屏输入源的远程控制方法。
30.本技术实施例与现有技术相比存在的有益效果是：
31.在本技术实施例中，控制设备响应于用户的添加指令，添加与控制设备处于与同一网段中的视频处理设备，然后获取该视频处理设备的输入源列表，并响应于用户的目标源配置操作，从输入源列表中确定出目标源，在确定出目标源之后，控制设备可以响应于用户对目标源的反控操作，建立控制设备与目标源设备之间的网络连接关系，由于图层画面由目标源生成且显示在操作显示界面中的画面，且控制设备与目标源设备之间存在网络连接关系，因此可以向目标源设备发送基于图层画面的编辑指令，即可以远程控制目标源设备按照编辑指令进行动作，以实现对目标源设备的远程控制。解决了在会议进行中，难以在会议现场对位于机房中的输入源设备进行操控，造成操作不便问题。
附图说明
32.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本技术实施例一提供的一种显示屏输入源的远程控制系统的结构示意图；
34.图2是本技术实施例二提供的一种显示屏输入源的远程控制方法的流程示意图；
35.图3是本技术实施例三提供的一种显示屏输入源的远程控制方法的流程示意图；
36.图4是本技术实施例四提供的一种显示屏输入源的远程控制装置的结构示意图；
37.图5是本技术实施例五提供的一种显示屏输入源的远程控制装置的结构示意图；
38.图6是本技术实施例七提供的一种电子设备的结构示意图。
具体实施方式
39.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
40.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描
述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
41.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
42.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0043]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0044]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0045]
现有技术中，固装显示屏的安装场所通常与视频处理设备的安装场所有一定的区域隔离，使用位置相对固定，视频处理设备的控制设备可以将视频处理设备处理后的输入源显示在固装显示屏上，但是受到使用环境与网络的限制，控制设备难以直接控制视频处理设备的输入源。例如在固装的会议系统中，会议大屏和视频处理设备的控制设备可以在会议室使用，而视频处理设备的输入源设备以及视频处理设备需要在机房进行使用。在会议进行中，难以在会议现场对位于机房中的输入源设备进行操控，需要有人守在输入源设备的面前，以在需要的时候对输入源设备进行操控，这造成了很大的操作不便，使得用户体验感较差。
[0046]
针对上述问题，本技术提供了一种显示屏输入源的远程控制方法，可以实现在不同的场所均能对显示屏的输入源设备进行远程控制。例如可以实现会议进行中，在会议现场对位于机房中的输入源设备进行操控。
[0047]
作为示例而非限定，本技术实施例提供的显示屏输入源的远程控制方法中的视频处理设备可以是指kvm(keyboard、video、mouse)切换器、vga(video graphics array)切换器、av(audio and video)切换器、高清多媒体接口(high definition multimedia interface，hdmi)切换器、数字视频接口(digital visual interface，dvi)切换器等。
[0048]
作为示例而非限定，视频处理设备的控制设备可以是指能够运行显示屏输入源的远程控制方法的个人计算机(personal computer，pc)、平板电脑、个人数字助理(personal digital assistant，pda)、移动互联网设备(mobile internet device，mid)等各种设备。
[0049]
作为示例而非限定，本技术实施例中的显示屏可以为以下显示屏中的一种：lcd显示屏、led显示屏、oled显示屏以及qled显示屏。
[0050]
以led显示屏为例，该led显示屏可以是普通的led显示屏，也可以是microled、miniled以及未来的新类型的led。
[0051]
进一步地，在一些实施例中，该显示屏的封装方式也可以为以下封装方式的一种：
例如，smd、cob、cog或未来的新型封装方式。本技术实施例对显示屏的尺寸不作具体限定，可以是具有较大尺寸的显示屏，如商场或演唱会等场景中使用的显示屏。该显示屏可以由很多拼接单元拼接而成。该拼接单元有时可以称为灯箱(如led灯箱)。对于以灯箱为基本单元的显示屏而言，本技术实施例提及的显示屏可以指一个灯箱对应的显示屏，也可以指多个灯箱拼接而成的显示屏。也可以是较小尺寸的显示屏，例如灯箱、灯板等。随着未来显示的发展，在更小尺寸的显示屏上很可能包含较大的像素数量，也适用本技术实施例提供的方法。
[0052]
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0053]
为了说明本技术的技术方案，下面通过具体实施例来说明。
[0054]
参见图1，示出了本技术实施例一提供的一种显示屏输入源的远程控制系统的结构示意图。如图1所示，该远程控制系统包括视频处理设备、视频处理设备的控制设备、显示屏以及多个输入源设备，图1中的输入源设备1、输入源设备2、输入源设备3以及输入源设备4仅为示例，本技术对输入源设备的具体数量不作限定。
[0055]
在显示屏的固装领域，视频处理设备可以对多个输入源设备生成的图层画面进行处理(例如剪辑、拼接、整合等)，然后将处理之后的图层画面输出到显示屏上进行上屏显示，但是由于视频处理设备的使用场所和显示屏的使用场所往往具有区域隔离，因此需要第三方对视频处理设备进行控制，以可视化的形式展示视频处理设备对多个图层画面的处理过程，以及将处理之后的图层画面进行上屏显示的过程。该第三方可以是指视频处理设备的控制设备，例如装有控制软件的计算机设备、平板电脑等。用于对视频处理设备进行控制，将视频处理设备的工作过程可视化展示，同时也便于操作，但是目前的控制设备并不能反控与视频处理设备连接的输入源设备，还需要人工操作。
[0056]
为了实现对输入源设备的远程控制，控制设备首先可以通过响应用户的添加操作，添加与控制设备处于同一网段中的视频处理设备，实现对视频处理设备的控制，由于视频处理设备与输入源设备之间往往是通过物理连接，例如数据线连接，具备一定的物理连接关系，因此可以获取视频处理设备的输入源列表。
[0057]
其次控制设备可以响应于用户的目标源配置操作，从输入源列表中确定目标源，其中该目标源即为用户从输入源列表中选中的目标源。
[0058]
最后响应于用户对目标源的反控操作，向目标源设备发送反控指令，进行握手连接，即建立控制设备与目标源设备之间的网络连接关系，然后目标源设备可以抓取当前的显示画面，将该显示画面发送给控制设备，以作为目标源生成的图层画面显示在操作显示界面中，当操作显示界面中显示该图层画面之后，用户可以对该图层画面进行编辑操作，然后响应于该编辑操作，控制设备可以通过控制设备与目标源设备之间的网络连接关系，向目标源设备发送基于图层画面的编辑指令，目标源设备在接收到编辑指令后，可以执行编辑指令，并将执行编辑指令后生成的显示画面发送至控制设备，以将显示画面作为图层画面显示在操作显示界面中，进而实现控制设备对目标源设备的远程控制。
[0059]
本技术通过视频处理设备，建立了控制设备与目标源设备之间的网络连接关系，通过该网络连接关系以及指令的发送以及画面接收的方式，解决了目前的控制设备不能反控输入源设备，还需要人工操作，导致操作不便，用户体验感差的问题。
[0060]
举例来说，可以先在控制设备中启动控制软件，在控制软件启动后，通过搜索的方式搜索与控制设备处于同一网段中的视频处理设备，还可以直接输入与控制设备处于同一网段中的视频处理设备的ip地址，响应于用户对界面上添加控件的点击，添加与控制设备处于同一网段中的视频处理设备，然后由于视频处理设备上的输入输出接口分别连接有输入源设备和显示屏，因此控制设备可以获取视频处理设备的输入源列表。其次，响应于用户的目标源配置操作，将输入源列表中的输入源1确定为目标源，其中输入源1对应于输入源设备1。在配置完目标源之后，目标源生成的图层画面可以显示在屏幕拓扑图中，此时基于目标源生成的图层画面，用户可以对目标源进行反控操作，用于建立控制设备与目标源设备之间的网络连接关系，其中屏幕拓扑图是基于对视频处理设备的输出接口进行配置后生成的，屏幕拓扑图也显示在控制设备的操作显示界面中。在建立好网络连接关系后，用户可以基于图层画面对输入源1进行编辑操作，例如该图层画面为输入源设备1的桌面显示画面，其桌面显示画面上包括一个a文件，此时用户可以对该图层画面进行编辑操作，例如使用鼠标点击图层画面中的a文件并进行打开操作，控制设备可以将该打开操作指令发送至输入源设备1，输入源设备1接收到a文件的打开操作指令，可以执行该操作指令，打开a文件，并将打开a文件之后生成的显示画面发送给控制设备，以将该显示画面作为输入源1生成的图层画面显示在操作显示界面中，即实现了控制设备对目标源设备的远程控制。
[0061]
应理解，响应于用户对目标源的选择，任何一个输入源设备都有可能作为目标源设备，被选为目标源的输入源设备在被控时与上述被控过程相同。
[0062]
还应理解，目标源设备中需安装被控端操作系统与对应版本的远程服务程序，被控端操作系统用于运行远程服务程序。其中，作为示例而非限定，操作系统可以为安卓、ios、windows等系统，其安装的远程服务程序应为与操作系统相对应的版本。远程服务程序可以用来抓取被控端的画面以及响应控制设备的反控指令和编辑指令，在一种可选的方式中，还可以提供开启标注的操作入口(例如在目标源设备的桌面上显示标注程序的快捷方式)，便于执行控制设备发送的标注程序启动指令。
[0063]
其中，抓取被控端的画面，可以通过d3dhook接口调取桌面图像数据流的方式或者获取截图的方式。
[0064]
在本技术实施例中，控制设备可以通过视频处理设备建立与多个输入源设备之间的网络连接关系，然后通过网络连接关系，向选定的输入源设备(即目标源设备)发送基于对应图层画面的编辑指令，以使输入源设备根据编辑指令进行响应，即执行编辑指令进行相应的编辑操作，并将执行编辑操作之后的生成的画面发送给控制设备，以实现控制设备对选定的输入源设备的远程控制。在固定场景下，例如会议中，可以解决难以在会议现场对位于机房中的输入源设备进行操控，造成操作不便问题。
[0065]
参照图2，示出了本技术实施例二提供的一种显示屏输入源的远程控制方法的流程示意图。应用于图1系统中的控制设备，控制设备用于对视频处理设备进行控制，且控制设备包括操作显示界面，如图2所示，该远程控制方法可以包括如下步骤：
[0066]
步骤201，响应于用户的添加操作，添加与控制设备处于同一网段中的视频处理设备。
[0067]
在本技术实施例中，用户的添加操作，可以是指用户对操作显示界面上添加控件的点击操作。需要说明的是，添加视频处理设备可以通过手动添加的方式或者自动搜索的
方式。
[0068]
其中，手动添加的方式可以为：用户点击操作显示界面上手动添加的控件按钮，生成添加指令，响应于用户的添加指令，弹窗为ip地址的输入窗口，用户可以输入与控制设备处于同一网段中的视频处理设备的ip地址，然后将ip地址对应的视频处理设备添加至控制设备的控制软件中，以建立控制设备与视频处理设备之间的连接关系，该连接关系为tcp/ip网络连接。
[0069]
其中，自动搜索的方式可以为：用户输入控制设备所处的网段，点击操作显示界面上自动搜索的控件按钮，得到视频处理设备列表，用户可以点击对应的视频处理设备的添加按钮，生成添加指令，响应于用户的添加指令，可以将该视频处理设备添加至控制设备的控制软件中，以建立控制设备与视频处理设备之间的连接关系，该连接关系为tcp/ip网络连接。
[0070]
步骤202，获取视频处理设备的输入源列表。
[0071]
在本技术实施例中，获取视频处理设备的输入源列表，其前提为已完成视频处理设备与输入源设备之间的物理连接。其视频处理设备与输入源设备之间的物理连接关系，可以包括视频处理设备的输入接口与输入源设备输出接口的物理连接关系，因此在已完成视频处理设备与输入源设备物理连接的基础上，可以直接获取视频处理设备的输入源列表。
[0072]
在一种可能的实现方式中，获取视频处理设备的输入源列表之后，可以将输入源列表显示在操作显示界面中，以便于用户对目标源的配置。
[0073]
步骤203，响应于用户的目标源配置操作，从输入源列表中确定目标源。
[0074]
在本技术实施例中，用户的目标源配置操作，可以是指用户对操作显示界面上输入源列表中的任一输入源对应的控件的拖动操作，该拖动操作的功能对应配置目标源。其中，从输入源列表中确定目标源，可以是指将目标源生成的图层画面显示在操作显示界面中。
[0075]
在一种可能的实现方式中，远程控制方法还包括：
[0076]
获取视频处理设备的多个输出接口与至少一个显示屏之间的第一连接关系；
[0077]
根据第一连接关系，配置多个输出接口在操作显示界面上的显示位置和/或显示大小，生成屏幕显示拓扑图，并显示在操作显示界面中；
[0078]
响应于用户的目标源配置操作，从输入源列表中确定目标源，包括：
[0079]
响应于用户的目标源配置操作，从输入源列表中确定目标源，将目标源生成的图层画面显示在屏幕显示拓扑图中，使得目标源与多个输出接口建立显示对应关系。
[0080]
在本技术实施例中，目标源生成的图层画面可以显示在操作显示界面中，而在视频处理设备的多个输出接口与至少一个显示屏之间具有第一连接关系的情况下，控制设备基于该第一连接关系，可以对视频处理设备的多个输出接口进行配置，并在操作显示界面中生成屏幕显示拓扑图，以展示与多个输出接口连接的显示屏的显示位置和/或显示大小，由于目标源生成的图层画面在被控制设备进行处理之后需要上屏显示，因此在确定目标源之后，可以将目标源生成的图层画面显示在屏幕拓扑图中，便于用户基于图层画面进行操作，同样也便于上屏显示。
[0081]
举例来说，假设视频处理设备的3个输出接口分别连接了3个显示屏，那么可以基
于3个输出接口和3个显示屏之间的物理连接关系，配置视频处理设备的3个输出接口，在控制设备的操作显示界面中显示3个输出接口所连接的3个显示屏之间的拓扑关系，并生成屏幕显示拓扑图，该拓扑关系包含了3个输出接口所连接的3个显示屏之间的位置关系和/或大小关系，即用户可以配置输出接口连接显示屏的实际分辨率和拼接方式。在生成屏幕显示拓扑图之后，可以将目标源生成的图层画面直接拖入到屏幕显示拓扑图，建立目标源与多个输出接口的显示对应关系，即图层画面可以显示在与目标源具有显示对应关系的输出接口所连接的显示屏上。
[0082]
且将目标源生成的图层画面显示在屏幕显示拓扑图后，用户可以基于该图层画面对目标源进行反控操作。
[0083]
应理解，在操作显示界面生成的屏幕显示拓扑图中，多个输出接口的物理连接关系与实际场景中至少一个显示屏的物理连接关系是一致的。
[0084]
还应理解，目标源生成的图层画面显示在操作显示界面，例如屏幕拓扑图中，是便于用户基于图层画面进行操作，因此在对目标源设备进行反控时，该图层画面可以作为用于对目标设备进行反控的反控画面，由于上屏显示的画面也是由目标源生成的，因此上屏显示的画面与反控画面的显示内容可以是相同，但形式不同，即反控画面是控制设备处理中的画面，而上屏显示的画面是控制设备处理后的画面。
[0085]
还需要理解的是，反控画面与上屏显示的画面的显示内容也可以是不同的，例如在控制设备对反控画面进行处理的过程中，可以选择不将该处理过程进行上屏，此时显示屏上可以显示其他输入源设备的显示画面，而反控画面显示的是目标源生成的图层画面。
[0086]
在一种可能的实现方式中，输出接口所连接的显示屏之间的拓扑关系还包括大小关系，其可以在屏幕拓扑图中展示各显示屏的分辨率大小。
[0087]
在一种可能的实现方式中，将目标源生成的图层画面显示在屏幕显示拓扑图中，包括：
[0088]
响应于用户对图层画面的调整操作，确定图层画面在屏幕显示拓扑图的显示位置和/或显示大小；
[0089]
根据图层画面在屏幕显示拓扑图的显示位置和/或显示大小，将图层画面显示在屏幕显示拓扑图中。
[0090]
在本技术实施例中，用户可以对图层画面的显示大小和/或显示位置进行调整操作(即可以单独对图层画面的显示大小进行调整，还可以单独对图层画面的显示位置进行调整，还可以既对图层画面的显示大小进行调整，还对图层画面的显示位置进行调整)，生成调整指令，控制设备响应于该调整指令，可以对图层画面进行调整，并将调整之后的图层画面显示在屏幕显示拓扑图中。
[0091]
应理解，用户对图层画面的显示大小以及显示位置进行调整，可以是在操作显示界面输入显示大小尺寸和显示位置坐标，还可以是直接对图层画面进行放大、缩小以及拖动等操作。
[0092]
步骤204，响应于用户对目标源的反控操作，建立控制设备与目标源设备之间的网络连接关系，并通过网络连接关系向目标源设备发送基于图层画面的编辑指令，以远程控制目标源设备。
[0093]
在本技术实施例中，反控，可以是指向目标源设备发送控制指令以使目标源设备
控制自身执行指令的控制手段。
[0094]
在本技术实施例中，图层画面，可以是指由目标源设备生成且显示在操作显示界面中的画面。
[0095]
其中，响应于用户对目标源的反控操作，可以是指用户对目标源进行反控配置，在配置完成的图层画面上点击反控控件，生成反控指令。
[0096]
在本技术实施例中，响应于用户对目标源的反控操作，即将生成的反控指令发送至目标源设备，与目标源进行握手连接，在确认目标源接收到该反控指令后，可以建立控制设备与目标设备之间的网络连接关系，例如通过配置控制设备与目标源设备之间的ip和端口互通，来建立控制设备与目标设备之间的网络连接关系。
[0097]
在一种可能的实现方式中，建立控制设备与目标源设备之间的网络连接关系，包括：
[0098]
根据目标源设备的ip地址和网络数据收发端口编号，建立控制设备与目标源设备之间的网络连接关系。
[0099]
举例来说，可以在向目标源设备发送过反控指令之后，获取目标源设备的ip地址和网络数据收发端口编号，将目标源设备的ip地址和网络数据收发端口编号输入至控制软件中，以建立控制设备与目标源设备之间的ip网络连接关系，且可以通过端口编号对应的网络数据收发端口传输数据。
[0100]
在本技术实施例中，控制设备与目标源设备之间具备网络连接关系，控制设备可以基于图层画面的编辑指令通过配置的网络数据收发端口发送至目标源设备，以使目标源设备控制自身执行编辑指令，即抓取目标源设备当前的显示画面，将目标源设备当前的显示画面发送给控制设备，以将该显示画面作为图层画面显示在操作显示界面中。
[0101]
在一种可能的实现方式中，通过网络连接关系向目标源设备发送基于图层画面的编辑指令，以远程控制目标源设备，包括：
[0102]
获取用户对图层画面进行的编辑操作；
[0103]
对编辑操作进行编码，生成表征编辑操作的编辑指令；
[0104]
将编辑指令通过网络连接关系发送至目标源设备，以远程控制目标源设备按照编辑指令进行编辑操作。
[0105]
其中，编辑操作至少包括键鼠操作和/或触控操作。需要理解的是，若控制设备是无触屏功能的计算机设备，则编辑操作可以是指键鼠操作，即使用键盘或鼠标作为指令输入设备。若控制设备是具备触屏功能的计算机设备，则编辑操作可以包括键鼠操作和/或触控操作。
[0106]
在本技术实施例中，用户针对操作显示界面显示的图层画面进行键鼠操作和/或触控操作，然后对编辑操作进行编码，即按照对应键鼠协议或者对应触控协议进行编码转换，生成表征编辑操作的编辑指令，之后将编辑指令通过配置的网络数据收发端口发送至目标源设备，以远程控制目标源设备按照编辑指令进行编辑操作。
[0107]
在一种可能的实现方式中，通过网络连接关系向目标源设备发送基于图层画面的编辑指令，以远程控制目标源设备，还包括：
[0108]
响应于用户通过图层画面对目标源设备中标注程序的启动操作，通过网络连接关系向目标源设备发送标注程序启动指令；
[0109]
在标注程序启动之后，响应于用户针对图层画面的标注操作，通过网络连接关系向目标源设备发送标注指令，以使目标源设备执行标注指令，并将生成的标注画面发送至控制设备进行图层显示。
[0110]
在本技术实施例中，用户通过控制设备对目标源设备中标注程序的启动指令的生成方式可以为：用户点击启动操作显示界面的图层画面中标注程序的快捷方式，生成标注程序启动指令，向目标源设备发送标注程序启动指令，以使目标源设备启动该标注程序。然后用户可以基于操作显示界面的图层画面进行标注操作，生成标注指令，可以向目标源设备发送标注指令，以使执行标注指令，并将生成的标注画面发送至控制设备进行图层显示。
[0111]
在本技术实施例中，控制设备响应于用户的添加指令，添加与控制设备处于与同一网段中的视频处理设备，然后获取该视频处理设备的输入源列表，并响应于用户的目标源配置操作，从输入源列表中确定出目标源，在确定出目标源之后，控制设备可以响应于用户对目标源的反控操作，建立控制设备与目标源设备之间的网络连接关系，由于图层画面由目标源生成且显示在操作显示界面中的画面，且控制设备与目标源设备之间存在网络连接关系，因此可以向目标源设备发送基于图层画面的编辑指令，即可以远程控制目标源设备按照编辑指令进行动作，以实现对目标源设备的远程控制。解决了在会议进行中，难以在会议现场对位于机房中的输入源设备进行操控，造成操作不便问题。
[0112]
参见图3，示出了本技术实施例三提供的一种显示屏输入源的远程控制方法的流程示意图。应用于目标源设备，即图1系统中多个输入源设备中的一个，如图3所示，该远程控制方法可以包括如下步骤：
[0113]
步骤301，接收控制设备发送的反控指令。
[0114]
需要说明的是，本技术实施例的远程控制方法应用于显示屏输入源中的目标源设备，该目标源设备是从多个输入源设备中确定得到的。
[0115]
其中，反控指令是指控制设备响应于用户对目标源的反控操作而发送的指令，目标源设备可以通过控制设备配置的网络数据收发端口接收该反控指令。
[0116]
步骤302，建立控制设备与目标源设备之间的网络连接关系，抓取目标源设备的显示画面，并通过网络连接关系将显示画面发送至控制设备，以将显示画面作为图层画面显示于操作显示界面中。
[0117]
在本技术实施例中，目标源设备在接收到反控指令后，首先需要与控制设备进行握手连接，即建立tcp连接，以使交互双方可以接收到对方接收到消息的响应。在进行握手连接时候，目标源设备执行接收到的反控指令，对目标源设备的显示画面进行抓取，然后通过网络回传的方式将显示画面传回至控制设备，显示在操作显示界面的图层中。
[0118]
应理解，抓取可以通过d3dhook接口调取桌面图像数据流的方式或者获取截图等的方式，本技术对此不作限定。
[0119]
步骤303，接收控制设备基于图层画面发送的编辑指令，执行编辑指令，将执行编辑指令后生成的显示画面发送至控制设备，以显示在操作显示界面中。
[0120]
在本技术实施例中，目标源设备可以通过控制设备端配置的网络数据收发端口接收控制设备发送的编辑指令，该编辑指令是基于图层画面上某一控件进行编辑的指令，因此，目标源设备执行该编辑指令，即是对图层画面上某一控件进行动作，执行完指令将生成的显示画面发送至控制设备。
[0121]
在一种可能的实现方式中，编辑指令可以是指表征用户编辑操作的编码信息，即可以是根据对应的键鼠协议以及触控协议编码后的编码信息，目标源设备在接收到该编码信息后，需要对该编码信息进行解码后，才能获取对应的编辑指令。即上述步骤303，可以包括：
[0122]
接收表征编辑操作的编码信息；
[0123]
采用对应的解码规则对编码信息进行解码，确定编辑指令并执行编辑指令。
[0124]
在本技术实施例中，目标源设备中存储有与控制设备中键鼠协议以及触控协议对应的解析模块，可以用于采用对应的解码规则对编码信息进行解码。
[0125]
在一种可能的实现方式中，目标源设备中安装有远程服务程序和标注程序，其中，远程服务程序用于响应控制设备的反控指令，以使目标源设备执行控制设备的编辑操作，标注程序用于响应控制设备的标注指令，以使目标源设备对目标源生成的图层画面执行标注。
[0126]
在本技术实施例中，目标源设备可以接收控制设备的反控指令，并建立握手连接以告知控制设备自身的在线状态，然后根据自身安装的远程服务程序，根据反控指令进行显示画面的抓取，根据编辑指令执行编辑指令对应的操作，并将操作之后的生成的显示画面发送给控制设备，以实现控制设备对目标源设备的远程控制。
[0127]
参见图4，示出了本技术实施例四提供的一种显示屏输入源的远程控制装置的结构示意图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0128]
显示屏输入源的远程控制装置具体可以包括如下模块：
[0129]
设备添加模块401，用于响应于用户的添加操作，添加与控制设备处于同一网段中的视频处理设备；
[0130]
源获取模块402，用于获取视频处理设备的输入源列表，输入源列表基于视频处理设备与输入源设备之间的物理连接关系确定；
[0131]
目标源确定模块403，用于响应于用户的目标源配置操作，从输入源列表中确定目标源，其中目标源用于为显示屏提供上屏显示画面；
[0132]
控制模块404，用于响应于用户对目标源的反控操作，建立控制设备与目标源设备之间的网络连接关系，并通过网络连接关系向目标源设备发送基于图层画面的编辑指令，以远程控制目标源设备，图层画面是指由目标源生成且显示在操作显示界面中的画面。
[0133]
在本技术实施例中，控制模块404具体可以包括如下子模块：
[0134]
连接配置子模块，用于根据目标源设备的ip地址和网络数据收发端口编号，建立控制设备与目标源设备之间的网络连接关系。
[0135]
在本技术实施例中，控制模块404具体还可以包括如下子模块：
[0136]
操作获取子模块，用于获取用户对图层画面进行的编辑操作，编辑操作至少包括键鼠操作和/或触控操作；
[0137]
编码子模块，用于对编辑操作进行编码，生成表征编辑操作的编辑指令；
[0138]
指令发送子模块，用于将编辑指令通过网络连接关系发送至目标源设备，以远程控制目标源设备按照编辑指令进行编辑操作。
[0139]
在本技术实施例中，控制模块具体还可以包括如下子模块：
[0140]
操作响应子模块，用于响应于用户通过图层画面对目标源设备中标注程序的启动
操作，通过网络连接关系向目标源设备发送标注程序启动指令；
[0141]
标注子模块，用于在标注程序启动之后，响应于用户针对图层画面的标注操作，通过网络连接关系向目标源设备发送标注指令，以使目标源设备执行标注指令，并将生成的标注画面发送至控制设备进行图层显示。
[0142]
在本技术实施例中，远程控制装置具体还可以包括如下模块：
[0143]
关系获取模块，用于获取视频处理设备的多个输出接口与至少一个显示屏之间的第一连接关系；
[0144]
屏幕生成模块，用于根据第一连接关系，配置多个输出接口在操作显示界面上的显示位置和/或显示大小，生成屏幕显示拓扑图，并显示在操作显示界面中；
[0145]
对应地，目标源确定模块403具体可以包括如下子模块：
[0146]
图层显示子模块，用于响应于用户的目标源配置操作，从输入源列表中确定目标源，将目标源生成的图层画面显示在屏幕显示拓扑图中，使得目标源与多个输出接口建立显示对应关系。
[0147]
在本技术实施例中，图层显示子模块具体可以包括如下单元：
[0148]
画面调整单元，用于响应于用户对图层画面的调整操作，确定图层画面在屏幕显示拓扑图的显示位置和/或显示大小；
[0149]
画面显示单元，用于根据图层画面在屏幕显示拓扑图的显示位置和/或显示大小，将图层画面显示在屏幕显示拓扑图中。
[0150]
在本技术实施例中，目标源设备中安装有远程服务程序和标注程序，其中，远程服务程序用于响应控制设备的反控指令，以使目标源设备执行控制设备的编辑操作，标注程序用于响应控制设备的标注指令，以使目标源设备对目标源生成的图层画面执行标注。
[0151]
本技术实施例提供的显示屏输入源的远程控制装置可以应用在前述方法实施例中，详情参见上述方法实施例的描述，在此不再赘述。
[0152]
参见图5，示出了本技术实施例五提供的一种显示屏输入源的远程控制装置的结构示意图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0153]
显示屏输入源的远程控制装置具体可以包括如下模块：
[0154]
指令接收模块501，用于接收控制设备发送的反控指令，反控指令是指控制设备响应于用户对目标源的反控操作而发送的指令；
[0155]
画面抓取模块502，用于建立控制设备与目标源设备之间的网络连接关系，抓取目标源设备的显示画面，并通过网络连接关系将显示画面发送至控制设备，以将显示画面作为图层画面显示于操作显示界面中；
[0156]
指令执行模块503，用于接收控制设备基于图层画面发送的编辑指令，执行编辑指令，将执行编辑指令后生成的显示画面发送至控制设备，以显示在操作显示界面中。
[0157]
在本技术实施例中，在编辑指令为表征用户编辑操作的编码信息的情况下，指令执行模块503具体可以包括如下子模块：
[0158]
信息接收子模块，用于接收表征编辑操作的编码信息；
[0159]
解码子模块，用于采用对应的解码规则对编码信息进行解码，确定编辑指令并执行编辑指令。
[0160]
本技术实施例提供的显示屏输入源的远程控制装置可以应用在前述方法实施例
中，详情参见上述方法实施例的描述，在此不再赘述。
[0161]
在本技术实施例六中，提供了一种显示屏输入源的远程控制系统，远程控制系统包括至少一个输入源设备、视频处理设备、视频处理设备的控制设备以及显示屏，至少一个输入源设备与视频处理设备物理连接，控制设备与视频处理设备网络连接，显示屏与所述视频处理设备物理连接；
[0162]
输入源设备用于向视频处理设备提供输入源显示画面，以便于控制设备在响应于目标源配置操作时，将目标源基于对应的输入源显示画面生成的图层画面显示在操作显示界面中；
[0163]
控制设备用于响应目标源配置操作，从至少一个输入源设备中确定目标源设备，根据实施例一中的远程控制方法，对目标源设备进行远程控制；
[0164]
目标源设备中安装有远程服务程序和/或标注程序，用于根据实施例二中的远程控制方法，实现目标源设备的被控；
[0165]
显示屏用于显示视频处理设备输出的上屏显示画面。
[0166]
其中，至少一个输入源设备与视频处理设备的物理连接，可以是指输入源设备通过数据线和网络与视频处理设备连接，例如输入源设备可以通过视频传输线与视频处理设备连接，从而进行视频数据传输。
[0167]
其中，控制设备与视频处理设备网络连接，可以是指控制设备通过网络与视频处理设备进行连接，从而进行控制设备与视频处理设备之间的数据传输。
[0168]
其中，目标源设备是至少一个输入源设备中的一个，且目标源设备与控制设备之间通过网络进行连接，从而实现控制设备与目标源设备之间的数据传输。
[0169]
其中，显示屏与视频处理设备物理连接，可以是指显示屏通过数据线与视频处理设备连接，例如通过视频传输线进行连接，且通过视频传输线进行数据阐述。
[0170]
在本技术实施例中，输入源显示画面是指输入源设备的屏幕上所显示的画面，目标源显示画面是指目标源对应的输入源画面，即目标源设备的屏幕上所显示的画面，应理解，输入源显示画面是输入源设备自身的显示画面；
[0171]
在本技术实施例中，图层画面是指在控制设备的操作显示界面中进行图层显示的画面，目标源生成的图层画面是指目标源基于自身的显示画面生成的图层画面，该图层画面与目标源显示画面显示内容一致，区别在于目标源显示画面显示在目标源设备的屏幕上，图层画面显示在控制设备的操作显示界面的图层中；
[0172]
在本技术实施例中，上屏显示画面是指在显示屏中显示的画面，在控制设备的操作显示界面中存在多个图层画面，在需要上屏显示时，控制设备可以响应于用户的上屏操作，将多个图层画面上屏显示在显示屏中，进而生成一副上屏显示画面，上屏显示画面与图层画面的区别在于图层画面显示在控制设备的操作显示界面的图层中，且为处理中的画面，可以进行编辑操作，而上屏显示画面显示在显示屏中，为处理完成的画面，不可进行编辑操作。
[0173]
图6是本技术实施例七提供的电子设备的结构示意图。如图6所示，该实施例的电子设备600包括：至少一个处理器610(图6中仅示出一个)处理器、存储器620以及存储在所述存储器620中并可在所述至少一个处理器610上运行的计算机程序621，所述处理器610执行所述计算机程序621时实现上述显示屏输入源的远程控制方法实施例中的步骤。
[0174]
所述电子设备600可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器610、存储器620。本领域技术人员可以理解，图6仅仅是电子设备600的举例，并不构成对电子设备600的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0175]
所称处理器610可以是中央处理单元(central processing unit，cpu)，该处理器610还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0176]
所述存储器620在一些实施例中可以是所述电子设备600的内部存储单元，例如电子设备600的硬盘或内存。所述存储器620在另一些实施例中也可以是所述电子设备600的外部存储设备，例如所述电子设备600上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器620还可以既包括所述电子设备600的内部存储单元也包括外部存储设备。所述存储器620用于存储操作系统、应用程序、引导装载程序(boot loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器620还可以用于暂时地存储已经输出或者将要输出的数据。
[0177]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0178]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0179]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0180]
在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置
或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0181]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0182]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0183]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0184]
本技术实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行时可实现上述各个方法实施例中的步骤。
[0185]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制。尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。