一种基于视频采集的远程主机控制方法及系统与流程

本发明涉及计算机远程控制领域，尤其涉及一种基于视频采集的远程主机控制方法及系统。

背景技术：

目前，在学校教学，办公会议，PPT、代码演示等场合，主要采用了计算机远程控制技术实现来显示多台电脑的内容，其中多个电脑之间主要采用局域网或者互联网等目前成熟的组网方式实现相互连接，并基于现有网络协议进行远程主机的画面显示以及键鼠事件的传输。

基于现有的互联网通信协议以及局域网通信协议的远程主机的画面显示以及键鼠事件的传输方案，由于其技术成熟的年代对于画面清晰度和远程操控的实时性要求并不高，并没有过多考虑高清显示远程主机画面的问题。然而，现在很多特殊应用场景下，比如：对于较为庞杂结构图纸的从整体角度的实时描述分析、代码审核过程中的海量代码的展现等，都需要高清显示远程主机画面，从而才能够保证所显示的内容的细节清晰度。

但是，现有的方案对网络带宽以及远端主机性能要求都比较高，当网络以及远程主机性能较差时，会出现操控延时的现象。若提高远程主机的性能则需要增加经费成本，会增加很多教学、科研机构和中小企业的经费开支。

技术实现要素：

本发明的实施例提供一种基于视频采集的远程主机控制方法及系统，能够在对画面质量要求较高，网络带宽有限的应用场景下，实现高效实时的控制远端主机。

为达到上述目的，本发明的实施例采用如下技术方案：

所述远程主机包括用于输出视频信号的视频接口；所述本地主机中配置视频采集卡，所述视频采集卡通过线缆与所述远程主机的视频接口连接，并用于采集所述远程主机输出的视频信号；所述本地主机连接输出显示设备，所述输出显示设备用于显示所述视频采集卡所采集到的所述远程主机输出的视频信号；所述本地主机中配置hid gadget设备，所述hid gadget设备为hid类型的通过USB与所述远程主机相连的gadget设备；所述本地主机连接HID输入设备，并且在所述远程主机中枚举与所述HID输入设备对应的HID输入设备，与所述本地主机连接的HID输入设备所发出的控制信号通过所述hid gadget设备的信号输出接口向所述远程主机的信号输入接口传输，并由所述远程主机中所枚举的HID输入设备接收，所述HID输入设备至少包括HID鼠标键盘设备；

所述方法包括：所述本地主机通过所述视频采集卡获取所述远程主机输出的视频信号，并在所述输出显示设备同步显示所采集的视频信号对应的画面；所述本地主机获取由所述HID输入设备产生的HID事件，并对所产生的HID事件进行筛选过滤，将筛选过滤后的HID事件向所述远程主机发送，以便于所述远程主机根据接收到的HID事件执行相应操作。

所述在所述输出显示设备同步显示所采集的视频信号对应的画面，包括：通过所述输出显示设备显示所述本地主机的显示界面，并在所述本地主机的显示界面中划分指定显示窗口；当接收到所采集的视频信号后，在所述指定显示窗口中显示所采集的视频信号对应的画面。

所述对所产生的HID事件进行筛选过滤，包括：根据所述HID事件，确定所述本地主机的用户通过所述HID输入设备在所述本地主机的显示界面中进行操作的位置；检测所述进行操作的位置是否被所述指定显示窗口捕获；若是，则保留所述HID事件；若否，则过滤所述HID事件，并由所述本地主机根据所述HID事件执行相应操作。

本发明实施例提供的基于视频采集的远程主机控制方法及系统，在本地主机中配置视频采集卡，视频采集卡通过线缆与远程主机的视频接口连接，并用于采集远程主机输出的视频信号。本地主机连接HID输入设备，并且在远程主机中枚举与HID输入设备对应的HID输入设备，与本地主机连接的HID输入设备所发出的控制信号通过hid gadget设备的信号输出接口向远程主机的信号输入接口传输，并由远程主机中所枚举的HID输入设备接收。从而使得本地主机与远程主机之间的交互过程可以直接通过VGA、DVI或HDMI等制式的视频接口和USB接口，使用视频采集卡直接采集远程主机的显示输出,不需要占用互联网或者局域网络的网络带宽，并通过HID事件过滤转发机制实现对远程主机的控制。相对于现有技术中需要占用网络带宽的远程主机的画面显示以及键鼠事件的传输方案，本实施例由于直接采集远程主机的视频输出，所以远程主机不需要将视频信号进行压缩编码和网络传输，极大的降低了对网络带宽以及远程主机性能的要求；并且本实施例将鼠标键盘等HID设备产生的控制事件经过软件过滤后，直接通过USB转发给远程主机，避免了控制事件在网络传输过程中的延时，提高了远程控制的实时响应性。在对画面质量要求较高，网络带宽有限的应用场景下，能够实现高效实时的控制远端主机。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的基于视频采集的远程主机控制系统的架构示意图；

图2为本发明实施例提供的基于视频采集的远程主机控制方法的流程示意图；

图3为本发明实施例提供的具体实例的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明实施例提供一种基于视频采集的远程主机控制系统，如图1所示，包括：远程主机和本地主机，其中：

所述远程主机包括用于输出视频信号的视频接口。

所述本地主机中配置视频采集卡，所述视频采集卡通过线缆与所述远程主机的视频接口连接，并用于采集所述远程主机输出的视频信号。

所述本地主机连接输出显示设备，所述输出显示设备用于显示所述视频采集卡所采集到的所述远程主机输出的视频信号。所述本地主机中配置hid gadget设备，所述hid gadget设备为hid类型的通过USB与所述远程主机相连的gadget设备。例如：一种由本地主机上的软件虚拟实现的hid类型的USB gadget设备，所述hid gadget设备通过USB与远程主机相连，hid gadget设备具体可以理解为一种由软件虚拟实现的一个HID类型的USB从设备。

所述本地主机连接HID(Human Interface Device，直接与人交互的设备)输入设备，并且在所述远程主机中枚举与所述HID输入设备对应的HID输入设备，与所述本地主机连接的HID输入设备所发出的控制信号通过所述hid gadget设备的信号输出接口向所述远程主机的信号输入接口传输，并由所述远程主机中所枚举的HID输入设备接收，所述HID输入设备至少包括HID鼠标键盘设备，比如常用的通过USB接口与本地主机相连的鼠标、键盘。

其中，所述视频接口包括VGA、DVI或HDMI制式的接口。具体的，所述本地主机的信号输出接口与所述远程主机的信号输入接口之间通过USB线连接，所述信号输出接口与所述信号输入接口为USB制式。本地主机可以通过视频采集卡将远程主机输出的视频信号通过VGA(Video Graphics Array，视频图形阵列)，DVI(Digital Visual Interface，即数字视频接口)或HDMI(High Definition Multimedia Interface，高清晰度多媒体接口)采集到本地主机。本地主机的应用层将采集的画面绘制到应用窗口。本地主机创建的hid gadget设备,通过USB线连接至远程主机，在远程主机端枚举成hid键鼠设备。

需要说明的是，本发明所揭示的远程主机、本地主机，可以实作成单独一台计算机设备，或也可以整合于各种不同的能够通过输入输出设备实现人机交互的计算机设备中，诸如台式电脑、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、以及具备人机交互界面的服务器设备等。

本发明实施例提供的基于视频采集的远程主机控制系统，在本地主机中配置视频采集卡，视频采集卡通过线缆与远程主机的视频接口连接，并用于采集远程主机输出的视频信号。本地主机连接HID输入设备，并且在远程主机中枚举与HID输入设备对应的HID输入设备，与本地主机连接的HID输入设备所发出的控制信号通过hid gadget设备的信号输出接口向远程主机的信号输入接口传输，并由远程主机中所枚举的HID输入设备接收。从而使得本地主机与远程主机之间的交互过程可以直接通过VGA、DVI或HDMI等制式的视频接口和USB接口，使用视频采集卡直接采集远程主机的显示输出,不需要占用互联网或者局域网络的网络带宽，并通过HID事件过滤转发机制实现对远程主机的控制。相对于现有技术中需要占用网络带宽的远程主机的画面显示以及键鼠事件的传输方案，本实施例由于直接采集远程主机的视频输出，所以远程主机不需要将视频信号进行压缩编码和网络传输，极大的降低了对网络带宽以及远程主机性能的要求；并且本实施例将鼠标键盘等HID设备产生的控制事件经过软件过滤后，直接通过USB转发给远程主机，避免了控制事件在网络传输过程中的延时，提高了远程控制的实时响应性。在对画面质量要求较高，网络带宽有限的应用场景下，能够实现高效实时的控制远端主机。

本发明实施例还提供一种基于视频采集的远程主机控制方法，所述方法用于上述如图1所示的包括了远程主机和本地主机的系统，如图2所示的，所述方法包括：

S1、所述本地主机通过所述视频采集卡获取所述远程主机输出的视频信号，并在所述输出显示设备同步显示所采集的视频信号对应的画面。

S2、所述本地主机获取由所述HID输入设备产生的HID事件。

S3、对所产生的HID事件进行筛选过滤，将筛选过滤后的HID事件向所述远程主机发送。

以便于所述远程主机根据接收到的HID事件执行相应操作。

在本实施例中，S1、所述在所述输出显示设备同步显示所采集的视频信号对应的画面的实现手段，具体包括：

通过所述输出显示设备显示所述本地主机的显示界面，并在所述本地主机的显示界面中划分指定显示窗口。当接收到所采集的视频信号后，在所述指定显示窗口中显示所采集的视频信号对应的画面。

具体的，所述对所产生的HID事件进行筛选过滤，包括：

根据所述HID事件，确定所述本地主机的用户通过所述HID输入设备在所述本地主机的显示界面中进行操作的位置。

检测所述进行操作的位置是否被所述指定显示窗口捕获。若是，则保留所述HID事件。若否，则过滤所述HID事件，并由所述本地主机根据所述HID事件执行相应操作。例如：如图3所示的，本地主机通过视频采集获取远程主机显示画面。当本地主机的应用层收到本地的HID事件后，本地主机将本地的鼠标键盘等HID事件按照事件目标宿主过滤，根据当前焦点窗口判断是否需要将该事件转发给远程主机，如果需要，则将该事件通过hid gadget设备转发给远程主机。其中，HID事件具体可以是键鼠事件，键鼠事件可以理解为用户在本地主机通过键盘、鼠标等HID输入设备在本地主机上进行操作时，本地主机根据用户的操作生成对应的键鼠事件作为HID事件。若HID输入设备为触摸屏、摇杆等其他的输入设备，则本地主机也可以采用相应的现有手段生成HID事件。

本实施例中还提供一种“是否需要将该事件转发给远程主机”的具体判别方式，包括：本地主机根据当前焦点窗口判断是否需要将该事件转发给远程主机当鼠标和键盘事件被该窗口捕获，将由本地主机处理。当鼠标和键盘事件被该窗口捕获，将会被转发给远程主机进行处理，从而实现远程控制。从而通过HID事件转发实现对远程主机的控制。

本发明实施例提供的基于视频采集的远程主机控制方法，在本地主机中配置视频采集卡，视频采集卡通过线缆与远程主机的视频接口连接，并用于采集远程主机输出的视频信号。本地主机连接HID输入设备，并且在远程主机中枚举与HID输入设备对应的HID输入设备，与本地主机连接的HID输入设备所发出的控制信号通过hid gadget设备的信号输出接口向远程主机的信号输入接口传输，并由远程主机中所枚举的HID输入设备接收。从而使得本地主机与远程主机之间的交互过程可以直接通过VGA、DVI或HDMI等制式的视频接口和USB接口，使用视频采集卡直接采集远程主机的显示输出,不需要占用互联网或者局域网络的网络带宽，并通过HID事件过滤转发机制实现对远程主机的控制。相对于现有技术中需要占用网络带宽的远程主机的画面显示以及键鼠事件的传输方案，本实施例由于直接采集远程主机的视频输出，所以远程主机不需要将视频信号进行压缩编码和网络传输，极大的降低了对网络带宽以及远程主机性能的要求；并且本实施例将鼠标键盘等HID设备产生的控制事件经过软件过滤后，直接通过USB转发给远程主机，避免了控制事件在网络传输过程中的延时，提高了远程控制的实时响应性。在对画面质量要求较高，网络带宽有限的应用场景下，能够实现高效实时的控制远端主机。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。