通过在屏幕上显示标记进行远程操作指挥或指导的方法与流程

本发明涉及一种指挥或指导计算机操作方法，具体是通过在屏幕上显示标记进行远程操作指挥或指导的方法。

背景技术：

很多情况下，用户需要对其他用户对计算机设备或包含计算机的设备进行操作指挥或指导。（这里的计算机设备指的是包含计算机功能的设备，一般会包括一台用于提供软件功能的主机，一个与主机相连的显示器，以及与之配套的输入控制设备，包括家用pc，工作站，或各种医疗、工业等领域专用的设备中包含的带屏幕的计算机终端等）

现有条件下，如需进行针对计算机设备操作的远程操作指挥或指导，一般的做法是，通过视频、ppt等方式录制操作培训或示意教材，或者在计算机设备内安装被控端软件，通过软件进行远程控制来进行功能指挥或指导。前者的缺点是缺乏互动性，沟通效率低下，后者的缺点是需要计算机设备的操作系统或软件中加入被控端软件模块，需要修改软件，同时，还需要被指挥或指导者的计算机设备联入互联网。而对于很多用户，尤其是工业专用设备内包含的计算机终端，出于信息安全保护的考虑，一般不接入互联网，这种情况下，通过远程控制来进行功能演示非常困难。

技术实现要素：

本发明的目的在于提供通过在屏幕上显示标记进行远程操作指挥或指导的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

通过在屏幕上显示标记进行远程操作指挥或指导的方法，包括如下步骤：（1）被指挥或指导者在待操作的计算机设备主机和计算机设备显示器之间，加装一个视频采集与标记显示终端，所述视频采集与标记显示终端具有一个视频输入和视频输出端口，视频输入端口接到计算机设备主机的视频输出口上，视频输出端口接到计算机设备显示器的视频输入口上；（2）远端指挥或指导者通过网络实时的查看被指挥或指导者的计算机设备主机视频输出信号；（3）远端指挥或指导者在实时播放的被指挥或指导者操作的计算机设备主机的计算机设备显示器视频上进行标记，通过标记指示被指挥或指导者在计算机设备显示器界面上进行操作，标记的形状以及相对于屏幕的相对坐标通过网络发送回给视频采集与标记显示终端的网络传输模块中；（4）视频采集与标记显示终端获取到标记信号数据，将标记在屏幕视频信号的相应位置进行叠加，组成一路输出信号，将其输出到被指挥或指导者的计算机设备显示器上。

作为本发明进一步的方案：所述视频采集与标记显示终端包括如下功能模块：

视频复制环出模块，与视频采集与标记显示终端的视频输入接口相连，用于获取输入到视频采集与标记显示终端的计算机设备主机视频信号，并复制成两路视频信号，一路给到视频采集模块供采集用，一路给到标记叠加模块，由其在视频信号上叠加标记信号；

视频采集模块，用于将获取到的计算机设备主机视频信号采集成数字信号，供编码传输用；

视频编码模块，用于将采集到的数字视频信号编码为可供互联网传输的视频编码流，并发送给网络传输模块供传输；

网络传输模块，用于将编码好的视频编码流通过4g、wifi、以太网网络链接方式，发送给网络上的远程指挥或指导者的电脑上，供指挥或指导者远程浏览计算机设备显示器屏幕视频信号；同时接收来自指挥或指导者的屏幕标记信号，并将其发送给标记叠加模块；

标记叠加模块，用于从视频复制环出模块接收到复制的计算机设备显示器视频信号，同时从网络传输模块接收到远端指挥或指导者发送来的屏幕标记信号，并将其叠加到复制的计算机设备显示器视频信号上。

作为本发明进一步的方案：所述步骤（2）具体实现步骤为：a)视频复制环出模块将计算机设备主机的视频输入信号复制成两路视频信号，一路给到视频采集模块供采集用，一路给到标记叠加模块；b)视频采集模块将获取到的计算机设备主机视频信号采集成数字信号，并发送给视频编码模块；c)视频编码模块将采集到的数字视频信号通过h.264、h.265等视频编码标准编码为可供互联网传输的视频编码流，并发送给网络传输模块供传输；d)网络传输模块将编码好的视频编码流通过4g、wifi、以太网网络链接方式，发送给网络上的远端指挥或指导者的电脑上；f)远端指挥或指导者的电脑上运行视频解码软件，将视频流解码并进行播放，从而实时的查看被指挥或指导者计算机设备主机的视频输出信号。

作为本发明进一步的方案：所述步骤（4）具体实现步骤为：①视频采集与标记显示终端内的网络传输模块接收到来自网络的实时的标记信号数据，其中包括了标记所对应屏幕的相对坐标，网络传输模块将该标记信号发送给视频叠加模块；②视频叠加模块读取到实时的标记信号和坐标，通过换算得到标记信号在计算机设备主机视频信号中的实际坐标位置，并将坐标等比的叠加到计算机设备主机视频信号中；③视频叠加模块将叠加好的计算机设备主机视频信号输出到计算机设备显示器，在计算机设备显示器上显示；④被指挥或指导者在自己的计算机设备显示器上，除了看到计算机设备主机视频信号外，也能看到实时的标记信号，从而理解远端指挥或指导者需要他在屏幕上的具体位置进行的操作，达到操作指挥或指导目的。

作为本发明再进一步的方案：在实施所述步骤（3）之前或同时，远端指挥或指导者还通过查看被指挥或指导者计算机设备主机的屏幕、以及电话、网络聊天方式与被指挥或指导者的沟通。

与现有技术相比，本发明的有益效果是：1.比起传统的远程视频指导方式更形象直观（屏幕上直接做标记），因为所有的指示标记是在被指挥或指导者的计算机设备显示器上直接显示，可以实时的指出与解答当前被指挥或指导者遇到的问题，避免了口述或者视频聊天等传统方式造成的双方不能准确的理解或者指示具体操作区域位置的情况；2.不需要在计算机设备上安装任何被控软件或者内置任何额外软件模块，也不需要计算机设备联入互联网，对被控制的设备的网络连接没有任何要求，因为该方案是通过外挂视频采集与标记显示终端的方式实现的，只需要采集计算机设备主机的显示器视频信号即可工作，所有的网络传输是由视频采集与标记显示终端来实现，不需要计算机主机设备连入互联网与安装软件；3.即插即用，不需要在计算机设备上做任何配置；同时，如果需要关闭该功能，只需简单的拆掉采集与标记显示终端即可。

附图说明

图1为本发明中视频采集与标记显示终端、计算机设备显示器、计算机设备主机间的电气连接原理图。

图2为本发明中视频采集与标记显示终端功能模块示意图。

图3为本发明方法整体示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，通过在屏幕上显示标记进行远程操作指挥或指导的方法，包括如下步骤：（1）被指挥或指导者在其待操作的计算机设备主机和计算机设备显示器之间，加装一个视频采集与标记显示终端，所述视频采集与标记显示终端具有一个视频输入和视频输出端口，视频输入端口接到计算机设备主机的视频输出口上，视频输出端口接到计算机设备显示器的视频输入口上，连接方式如图1所示；

所述视频采集与标记显示终端包括如下功能模块：

视频复制环出模块，与视频采集与标记显示终端的视频输入接口相连，用于获取输入到视频采集与标记显示终端的计算机设备主机视频信号，并复制成两路视频信号，一路给到视频采集模块供采集用，一路给到标记叠加模块，由其在视频信号上叠加标记信号；

视频采集模块，用于将获取到的计算机设备主机视频信号采集成数字信号，供编码传输用；

视频编码模块，用于将采集到的数字视频信号编码为可供互联网传输的视频编码流，并发送给网络传输模块供传输；

网络传输模块，用于将编码好的视频编码流通过4g、wifi、以太网网络链接方式，发送给网络上的远端指挥或指导者的电脑上，供远端指挥或指导者远程浏览计算机设备显示器屏幕视频信号；同时接收来自远端指挥或指导的屏幕标记信号，并将其发送给标记叠加模块；

标记叠加模块，用于从视频复制环出模块接收到复制的计算机设备显示器视频信号，同时从网络传输模块接收到远端指挥或指导者发送来的屏幕标记信号，并将其叠加到复制的计算机设备显示器视频信号上；

（2）远端指挥或指导者通过网络实时的查看被指挥或指导者的计算机设备主机视频输出信号，具体实现步骤为：a)视频复制环出模块将计算机设备主机的视频输入信号复制成两路视频信号，一路给到视频采集模块供采集用，一路给到标记叠加模块；b)视频采集模块将获取到的计算机设备主机视频信号采集成数字信号，并发送给视频编码模块；c)视频编码模块将采集到的数字视频信号通过h.264、h.265等视频编码标准编码为可供互联网传输的视频编码流，并发送给网络传输模块供传输；d)网络传输模块将编码好的视频编码流通过4g、wifi、以太网网络链接方式，发送给网络上的远端指挥或指导者的电脑上；e)远端指挥或指导者的电脑上运行视频解码软件，将视频流解码并进行播放，从而实时的查看被指挥或指导者计算机设备主机的视频输出信号；

（3）远端指挥或指导者还通过查看被指挥或指导者计算机设备主机的屏幕、以及电话、网络聊天方式与被指挥或指导者的沟通；远端指挥或指导者在实时播放的被指挥或指导者计算机设备主机的计算机设备显示器视频上进行标记，通过标记指示被指挥或指导者在计算机设备显示器界面上进行操作，标记的形状以及相对于屏幕的相对坐标通过网络发送回给视频采集与标记显示终端的网络传输模块中；

视频采集与标记显示终端获取到标记信号数据，将标记在屏幕视频信号的相应位置进行叠加，组成一路输出信号，将其输出到被指挥或指导者的计算机设备显示器上，具体实现步骤为：①视频采集与标记显示终端内的网络传输模块接收到来自网络的实时的标记信号数据，其中包括了标记所对应屏幕的相对坐标，网络传输模块将该标记信号发送给视频叠加模块；②视频叠加模块读取到实时的标记信号和坐标，通过换算得到标记信号在计算机设备主机视频信号中的实际坐标位置，并将坐标等比的叠加到计算机设备主机视频信号中；③视频叠加模块将叠加好的计算机设备主机视频信号输出到计算机设备显示器，在计算机设备显示器上显示；④被指挥或指导者在自己的计算机设备显示器上，除了看到计算机设备主机视频信号外，也能看到实时的标记信号，从而理解远端指挥或指导者需要他在屏幕上的具体位置进行的操作，达到操作指挥或指导的目的。

通过以上方式，远端观看的远端指挥或指导者可以在观看到的屏幕视频上指示需要操作的位置，而在机器旁的被指挥或指导者，则可以在自己的显示器上显示这个标记，从而理解远端指挥或指导者所指示的操作。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。