远程协作方法及系统与流程

本发明涉及计算机信息处理技术领域，特别是涉及一种远程协作方法及系统。

背景技术：

无线传屏技术主要实现将源端装置屏幕上显示的内容和声音同步到投影仪、电视机和会议平板等接收终端装置进行展示，无线传屏技术能够将源端装置(如计算机)处理能力强和接收终端装置(如电视机或会议平板)展示效果好的特点结合起来，因此得到了广泛应用。

现有的无线传屏技术主要采用传屏软件实现，在源端装置和接收终端装置上均安装相应的传屏软件，同时保证源端装置和接收终端装置在同一个无线网络中，即可实现多媒体信息(包括图片、音频、视频等)的无线传屏。当有多个源端装置同时与一个接收终端装置进行无线传屏时，可以实现多源同屏显示，即多个源端装置可以将各自屏幕的内容分配显示在接收终端装置中。例如有4台计算机同时与1台会议平板进行无线传屏，该4台计算机的桌面可以以四分屏的形式显示在会议平板中。

现有的软件传屏方案中，每个计算机的用户只能控制自己的计算机，然后在对应的分屏中进行显示，例如，用户1只能操作自己的计算机1，并在对应的分屏1中进行传屏显示。但会议中有时有协作的需要，如用户2需要用户1对自己的计算机2进行某些操作，并传屏显示在会议平板中，现有的软件传屏方案无法实现这一效果。

技术实现要素：

为此，本发明实施例提出一种能够实现无线传屏中远程协作的远程协作方法。

根据本发明一实施例的远程协作方法，应用于接收终端中，所述接收终端同时与一主控计算机和至少一个受控计算机进行无线传屏，所述主控计算机和所有所述受控计算机的画面分别对应显示在所述接收终端的主控分屏和其它分屏中，所述方法包括：

接收所述主控计算机捕获并发送过来的用户在所述主控计算机中的鼠标操作信息；

根据所述鼠标操作信息检测所述鼠标的光标在所述主控分屏中的位置，当所述光标到达所述主控分屏的其中一边界且继续朝远离所述主控分屏的方向移动时，检测与所述边界连接的当前分屏，并将所述光标显示在所述当前分屏中；

接收所述主控计算机发送的交互信息，并将所述交互信息传递至所述当前分屏对应的当前受控计算机，以使所述当前受控计算机执行所述交互信息，其中，所述交互信息为所述主控计算机检测到用户向所述主控计算机发起交互时所获取和拦截的信息。

根据本发明实施例的远程协作方法，主控计算机首先捕获用户的鼠标操作信息并发送至接收终端，然后接收终端检测鼠标的光标的位置，当所述光标到达所述主控分屏的其中一边界且继续朝远离所述主控分屏的方向移动时，所述接收终端检测与所述边界连接的当前分屏，并将所述光标显示在所述当前分屏中，之后主控计算机继续获取和拦截用户的交互信息，并通过接收终端将该交互信息传递给所述鼠标当前所在分屏对应的受控计算机，最终该受控计算机执行所述交互信息，从而在多源同屏显示的基础上通过对鼠标移动的判断实现了协作功能，可以使一个用户使用自己计算机对其他人投屏的计算机进行控制，此外，由于用户只需要移动鼠标即可实现这一功能，因此操作便捷。

另外，根据本发明上述实施例的远程协作方法，还可以具有如下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将所述光标显示在所述当前分屏中的步骤之后，所述方法还包括：

向所述主控计算机发送隐藏指令，以使所述主控计算机根据所述隐藏指令将所述光标在所述主控计算机中隐藏，同时使所述光标在所述主控分屏中隐藏。

进一步地，在本发明的一个实施例中，所述将所述交互信息传递至所述当前分屏对应的当前受控计算机的步骤包括：

接收所述主控计算机通过操作系统apihook技术获取和拦截所述交互信息；

将所述交互信息发送给所述当前分屏对应的当前受控计算机。

进一步地，在本发明的一个实施例中，所述使当前受控计算机执行所述交互信息的步骤具体包括：

使所述当前受控计算机同时获取所述交互信息及来着自身的交互信息，所述当前受控计算机根据时序执行所述交互信息及来着自身的交互信息。

进一步地，在本发明的一个实施例中，所述交互信息包括鼠标移动信息、鼠标点击信息、键盘操作信息中的一种或多种，所述使所述当前受控计算机执行所述交互信息的步骤包括：

使所述当前受控计算机通过系统接口执行所述交互信息。

本发明的另一个实施例提出一种能够实现无线传屏中远程协作的远程协作系统。

根据本发明实施例的远程协作系统，应用于接收终端中，所述接收终端同时与一主控计算机和至少一个受控计算机进行无线传屏，所述主控计算机和所有所述受控计算机的画面分别对应显示在所述接收终端的主控分屏和其它分屏中，所述系统包括：

接收模块，用于接收所述主控计算机捕获并发送过来的用户在所述主控计算机中的鼠标操作信息；

检测模块，用于根据所述鼠标操作信息检测所述鼠标的光标在所述主控分屏中的位置，当所述光标到达所述主控分屏的其中一边界且继续朝远离所述主控分屏的方向移动时，检测与所述边界连接的当前分屏，并将所述光标显示在所述当前分屏中；

中转模块，用于接收所述主控计算机发送的交互信息，并将所述交互信息传递至所述当前分屏对应的当前受控计算机，以使所述当前受控计算机执行所述交互信息，其中，所述交互信息为所述主控计算机检测到用户向所述主控计算机发起交互时所获取和拦截的信息。

另外，根据本发明上述实施例的远程协作系统，还可以具有如下附加的技术特征：

进一步地，在本发明的一个实施例中，所述系统还包括：

隐藏指令发送模块，用于在所述检测模块将所述光标显示在所述当前分屏中之后，向所述主控计算机发送隐藏指令，以使所述主控计算机根据所述隐藏指令将所述光标在所述主控计算机中隐藏，同时使所述光标在所述主控分屏中隐藏。

进一步地，在本发明的一个实施例中，所述中转模块具体用于：

接收所述主控计算机通过操作系统apihook技术获取和拦截所述交互信息；

将所述交互信息发送给所述当前分屏对应的当前受控计算机。

进一步地，在本发明的一个实施例中，所述中转模块还用于：

使所述当前受控计算机同时获取所述交互信息及来着自身的交互信息，所述当前受控计算机根据时序执行所述交互信息及来着自身的交互信息。

进一步地，在本发明的一个实施例中，所述交互信息包括鼠标移动信息、鼠标点击信息、键盘操作信息中的一种或多种，所述中转模块还用于：

使所述当前受控计算机通过系统接口执行所述交互信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一实施例的远程协作方法的流程图；

图2是根据本发明一实施例的远程协作方法中会议平板的四分屏的分布示意图；

图3是根据本发明一实施例的远程协作方法中隐藏光标的流程图；

图4是根据本发明另一实施例的远程协作系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明一实施例提出的远程协作方法，应用于接收终端中，所述接收终端同时与一主控计算机和至少一个受控计算机进行无线传屏，所述主控计算机和所有所述受控计算机的画面分别对应显示在所述接收终端的主控分屏和其它分屏中，本实施例中，该接收终端以具有windows或安卓系统的会议平板为例进行说明，受控计算机的数量为3个为例进行说明，该主控计算机和3个受控计算机的画面以四分屏的方式无线传屏显示在会议平板中，四分屏的分布可参阅图2，其中，第1分屏、第2分屏、第3分屏和第4分屏分布对应主控计算机、第1受控计算机、第2受控计算机和第3受控计算机，主控计算机、第1受控计算机、第2受控计算机和第3受控计算机分布由用户1、用户2、用户3和用户4操作控制，本实施例中，所述远程协作方法至少包括以下步骤：

s101，接收所述主控计算机捕获并发送过来的用户在所述主控计算机中的鼠标操作信息；

其中，主控计算机首先捕获用户1在主控计算机中的鼠标操作信息，主控计算机捕获到该鼠标操作信息后将该鼠标操作信息发送至会议平板，该鼠标操作信息主要包括鼠标的移动信息。

s102，根据所述鼠标操作信息检测所述鼠标的光标在所述主控分屏中的位置，当所述光标到达所述主控分屏的其中一边界且继续朝远离所述主控分屏的方向移动时，检测与所述边界连接的当前分屏，并将所述光标显示在所述当前分屏中；

其中，会议平板会根据鼠标操作信息检测鼠标的光标在第1分屏中位置，当光标到达第1分屏的边界，且继续朝远离第1分屏的方向移动时，会议平板会检测与该边界连接的分屏，例如，当光标到达第1分屏的右边界，会议平板检测到与该右边界连接的分屏为第2分屏，当光标朝该第2分屏继续移动时，会议平板会将该光标在第2分屏中进行显示。此外，还需要指出一个特例，当光标到达第1分屏的右下角端点时，此时，会议平板检测到相连的分屏包括第2分屏、第3分屏和第4分屏，对于此情况，需要由会议平板判断光标实际是朝向那个分屏继续移动，以使光标显示在相应的分屏中。此外，还需要指出一个特例，当鼠标到达第1分屏的右下角端点时，此时，会议平板检测到相连的分屏包括第2分屏、第3分屏和第4分屏，对于此情况，需要由会议平板判断鼠标实际是朝向那个分屏继续移动，以使鼠标显示在相应的分屏中。

s103，接收所述主控计算机发送的交互信息，并将所述交互信息传递至所述当前分屏对应的当前受控计算机，以使所述当前受控计算机执行所述交互信息，其中，所述交互信息为所述主控计算机检测到用户向所述主控计算机发起交互时所获取和拦截的信息。

其中，主控计算机会继续获取用户1对所述主控计算机的交互信息，且在获取到该交互信息后会首先对其进行拦截，保证主控计算机不会执行该交互信息，具体的，该交互信息包括鼠标移动信息、鼠标点击信息、键盘操作信息中的一种或多种。步骤s102中，会议平板中的光标超出所述第1分屏的范围后会进入第2分屏、第3分屏或第4分屏中的其中一个，假如光标进入了第2分屏的范围，光标会在第2分屏中显示出来，且此时主控计算机会通过会议平板将该交互信息传递第2分屏对应的第1受控计算机。具体实施时，主控计算机可以首先通过无线网络将交互信息发送至会议平板，然后会议平板再通过无线网络将交互信息转发至第1受控计算机。例如，该交互信息为鼠标移动信息，具体为用户1对鼠标移动了(50，50)，表示用户控制鼠标向右下方向各移动了50像素，该鼠标移动信息可以经过编码传递给第1受控计算机。第1受控计算机接收到该所述交互信息后，可以通过调用通过系统接口(api)执行从会议平板中转过来的交互信息，若交互信息为键盘操作信息，则第1受控计算机会执行相应的键盘操作信息；若交互信息为对鼠标移动(50，50)，则第1受控计算机会控制鼠标向右下方向各移动50像素，同时在第2分屏中显示出来，从而实现用户1在主控计算机上就可以对第1受控计算机进行协作控制。

根据本发明实施例的远程协作方法，主控计算机首先捕获用户的鼠标操作信息并发送至接收终端，然后接收终端检测鼠标的光标的位置，当所述光标到达所述主控分屏的其中一边界且继续朝远离所述主控分屏的方向移动时，所述接收终端检测与所述边界连接的当前分屏，并将所述光标显示在所述当前分屏中，之后主控计算机继续获取和拦截用户的交互信息，并通过接收终端将该交互信息传递给所述鼠标当前所在分屏对应的受控计算机，最终该受控计算机执行所述交互信息，从而在多源同屏显示的基础上通过对鼠标移动的判断实现了协作功能，可以使一个用户使用自己计算机对其他人投屏的计算机进行控制，此外，由于用户只需要移动鼠标即可实现这一功能，因此操作便捷。

此外，根据本发明的一个示例，步骤s102之后，该远程协作方法还包括：

向所述主控计算机发送隐藏指令，以使所述主控计算机根据所述隐藏指令将所述光标在所述主控计算机中隐藏，同时使所述光标在所述主控分屏中隐藏。

其中，当会议平板控制光标在第2分屏显示后，会议平板会向所述主控计算机发送隐藏指令，以使所述主控计算机隐藏所述光标，此时主控计算机中的光标被隐藏，对应的第1分屏中的光标也被隐藏。需要指出的是，为了更好的实现协作效果，此时，第1受控计算机中自身的鼠标的光标也可以被隐藏，其隐藏原理也通过会议平板的中转实现，因此，最终第1受控计算机和对应的第2分屏只会出现一个光标，且该光标可以由用户1控制。

此外，根据本发明的一个示例，请参阅图3，步骤s103具体包括：

s1031，接收所述主控计算机通过操作系统apihook技术获取和拦截所述交互信息；

s1032，将所述交互信息发送给所述当前分屏对应的当前受控计算机。

其中，主控计算机通过操作系统apihook技术对用户1的交互信息进行获取和拦截，然后将拦截获取到的交互信息通过无线网络，如wifi，发送至会议平板，会议平板接收该交互信息后，会将该交互信息发送给所述鼠标当前所在分屏对应的受控计算机，从而实现交互信息的中转。

此外，根据本发明的一个示例，步骤s104具体包括：

使所述当前受控计算机同时获取所述交互信息及来着自身的交互信息，所述当前受控计算机根据时序执行所述交互信息及来着自身的交互信息。

其中，在用户1通过主控计算机控制第1受控计算机时，若用户2同时向第1受控计算机发出交互信息，则此时，第1受控计算机会根据时序执行用户1的交互信息和用户2的交互信息，例如，用户1在主控计算机的键盘上输入“s”，之后用户2在第1受控计算机的键盘上输入“d”，则此时第2分屏上会显示出“sd”。需要指出的是，由于第1受控计算机和对应第2分屏上中只有一个光标，因此，若用户1和用户2同时操作鼠标，此时该光标的操作结果为两个用户的操作之和，此过程与现有技术中qq远程协助一致，在此不予赘述。

下面给出一个具体应用环境，会议中，用户1、用户2、用户3和用户4在各自的电脑上启动传屏软件进行桌面传送(无线传屏)，每台电脑上的桌面内容都被传送至会议平板中进行分屏显示。展示中，如用户2需要用户1对自己的电脑进行某些操作，此时，用户1只需将自身的鼠标从自己的分屏移动到用户2的分屏中即可实现远程协作。

请参阅图4，基于同一发明构思，本发明另一实施例提出的远程协作系统，应用于接收终端中，所述接收终端同时与一主控计算机和至少一个受控计算机进行无线传屏，所述主控计算机和所有所述受控计算机的画面分别对应显示在所述接收终端的主控分屏和其它分屏中，所述系统包括：

接收模块10，用于接收所述主控计算机捕获并发送过来的用户在所述主控计算机中的鼠标操作信息；

检测模块20，用于根据所述鼠标操作信息检测所述鼠标的光标在所述主控分屏中的位置，当所述光标到达所述主控分屏的其中一边界且继续朝远离所述主控分屏的方向移动时，检测与所述边界连接的当前分屏，并将所述光标显示在所述当前分屏中；

中转模块30，用于接收所述主控计算机发送的交互信息，并将所述交互信息传递至所述当前分屏对应的当前受控计算机，以使所述当前受控计算机执行所述交互信息，其中，所述交互信息为所述主控计算机检测到用户向所述主控计算机发起交互时所获取和拦截的信息。。

本实施例中，所述系统还包括：

隐藏指令发送模块40，用于在所述检测模块20将所述光标显示在所述当前分屏中之后，向所述主控计算机发送隐藏指令，以使所述主控计算机根据所述隐藏指令将所述光标在所述主控计算机中隐藏，同时使所述光标在所述主控分屏中隐藏。

本实施例中，所述中转模块30具体用于：

接收所述主控计算机通过操作系统apihook技术获取和拦截所述交互信息；

将所述交互信息发送给所述当前分屏对应的当前受控计算机。

本实施例中，所述中转模块30还用于：

使所述当前受控计算机同时获取所述交互信息及来着自身的交互信息，所述当前受控计算机根据时序执行所述交互信息及来着自身的交互信息。

本实施例中，所述交互信息包括鼠标移动信息、鼠标点击信息、键盘操作信息中的一种或多种，所述中转模块30还用于：

使所述当前受控计算机通过系统接口执行所述交互信息。

本发明实施例提出的远程协作系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。