屏幕全局输入控制系统及方法与流程

本发明涉及智能交互技术领域，特别涉及一种屏幕全局输入控制系统及方法。

背景技术：

目前，大尺寸屏幕越来越多地应用于各个领域。例如军队指挥中心交通监控管理、公安交警指挥、电信网络管理、工业生产调度等多种应用领域需要设置大尺寸屏幕进行现场指挥等等。

大尺寸屏幕一般由多个子屏幕拼接而成，通过拼接控制器将多个客户端的内容按照一定的布局显示在各子屏幕上，从而组成大尺寸屏幕的显示效果。例如，所述大尺寸屏幕可以包括6块子屏幕，所述客户端可以有3个，通过拼接控制器的布局可以将第一个客户端的信号显示在第1、2块子屏幕上，将第二个客户端的信号显示在第3、4块子屏幕上，将第三个客户端的信号显示在第5、6块子屏幕上等。所述客户端可以是计算机、移动终端等。

由于大尺寸屏幕面积较大，如果用户想要对屏幕显示的内容进行操控，通过近距离触摸的方式进行操控可能会给用户带来一定的困难，因此需要通过连接鼠标或键盘的方式进行输入控制，用户可以远距离操控大尺寸屏幕。但是，目前的现有技术中没有能够控制整个大尺寸屏幕的鼠标或键盘的技术，需要在每个客户端均配置一个鼠标才能操作，用户无法使用一个鼠标或键盘来操控整个大尺寸屏幕，这给用户体验造成了极大的不便。

技术实现要素：

有鉴于此，本申请第一方面提供一种屏幕全局输入控制系统，其包括：

至少两个客户端、采集端、输入装置、服务器、拼接控制器；

所述输入装置用于输入输入坐标；

所述屏幕用于根据所述拼接控制器中预设的布局将所述客户端的内容显示在内容窗口中；

所述采集端用于采集从所述输入装置输入的输入坐标，并发送给述服务器；

所述服务器根据接收到的所述输入坐标以及所述屏幕的内容窗口的坐标范

围映射到统一分辨率的映射屏幕中形成映射输入坐标和映射内容窗口坐标范围，从而判断所述输入坐标所在内容窗口所属的客户端，并将所述输入坐标发送给对应的所述客户端。

根据本发明的一些实施例，所述采集端还用于采集从所述输入装置输入的操控信息，并发送给所述服务器；

所述服务器还用于将所述操控信息同所述输入坐标一起发送给对应的所述客户端；

所述客户端还用于根据所述输入坐标和操控信息进行响应，并将所述响应的内容显示在所述屏幕上。

根据本发明的一些实施例，所述映射屏幕的分辨率为(65535,65535)；所述映射屏幕为所述屏幕。

根据本发明的一些实施例，所述映射的换算公式为：假设所述采集端屏幕的分辨率为(a,b)，所述屏幕分辨率为(p,q)，所述映射屏幕分辨率为(m,n)，所述输入坐标为坐标值(xs,ys)，则所述映射输入坐标为xs＝xs*m/a；ys＝ys*n/b；所述内容窗口至少一个顶点坐标为坐标值(xr,yr)，则所述内容窗口所述至少一个顶点位置的所述顶点映射坐标为xr＝xr*m/p；yr＝yr*n/q；

根据本发明的一些实施例，所述映射内容窗口的坐标范围根据内容窗口至少一个顶点的映射坐标以及所述内容窗口的长、高尺寸确定；所述至少一个顶点包括所述窗口左上角的初始顶点。

根据本发明的一些实施例，所述客户端还包括坐标换算单元，用于将所述输入坐标换算为屏幕分辨率为(65535，65535)的本地坐标值；所述客户端用于根据所述本地坐标值和所述操控信息进行响应。

根据本发明的一些实施例，所述输入装置为鼠标、写字板、游戏控制杆、触摸板之一或其组合；

所述屏幕为拼接屏幕，由至少两个子屏幕构成。

本申请第二方面提供一种屏幕全局输入控制方法，所述屏幕用于将至少两个客户端的内容显示在内容窗口中，所述方法包括：

步骤s101，采集输入装置输入的输入坐标，并将所述输入坐标发送给一服务器；

步骤s102，所述服务器将接收到的所述输入坐标换算为统一分辨率的映射屏幕中的映射输入坐标，以及将屏幕中的内容窗口坐标范围转换为所述映射屏幕的映射内容窗口坐标范围；

步骤s103，所述服务器根据所述映射输入坐标和映射内容窗口坐标范围判断所述输入坐标所在的内容窗口所属的客户端，并将所述映射输入坐标发送给相应的客户端。

根据本发明的一些实施例，所述方法还包括步骤：

在采集所述输入装置输入的输入坐标的同时采集所述输入装置输入的操控信息，并发送给所述服务器；

所述服务器将所述操控信息同所述输入坐标一起发送给对应的所述客户端；

所述客户端根据所述输入坐标和操控信息进行响应，并将所述响应的内容显示在所述屏幕上。

根据本发明的一些实施例，所述方法还包括步骤：

步骤s104，要操控内容所在的客户端根据所述服务器发送的输入装置的输入作为判断出所述输入坐标位于客户端本地坐标；

步骤s105，所述客户端根据本地坐标和动作信息进行响应。

本发明的实施例提供了一种屏幕全局输入控制系统及方法，通过本发明的实施例，使得仅使用一个输入装置就能够实现对所有客户端内容的全局、实时操控，并能使操控内容实时显示在屏幕上。

附图说明

图1是根据本发明实施例的屏幕全局输入控制系统示意图；

图2是根据图1所示实施例的客户端内容窗口在屏幕上显示的示意图；

图3是根据本发明的图2所示内容窗口的坐标范围示意图；

图4是根据本发明实施例的屏幕全局输入控制方法流程示意图；

图5是根据本发明另一实施例的操控界面示意图。

具体实施方式

以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

图1所示为根据本发明实施例的系统模块图。其中，包括服务器1、拼接控制器2、n个客户端31、32……3n、屏幕4、采集端5、输入装置6。其中，客户端的个数n可以为1个也可以为2个及以上。

其中，所述屏幕4可以由一块屏幕组成，也可以由至少两个子屏幕通过拼接控制器2(或称视频拼接控制器或大屏拼接控制器等)拼接在一起，根据尺寸需要进行设置。拼接在一起的子屏幕可以在空间上相邻放置，也可以在空间上分开设置，例如可以分开一定距离放置。此处，多屏拼接控制器也可以使至少两个子屏幕分别显示不同客户端内容，或同一客户端内容，或者，也可以使至少两个子屏幕显示不同的画面，所述不同的画面拼接成一个完整的客户端内容或画面。

其中，拼接控制器2可以通过硬件的方式实现，也可以以服务器1中的一个软件的方式实现，鉴于拼接控制器已广为本发明所属技术领域人员所熟知，故此处不再展开说明。

其中，客户端31-3n中的内容应该是可以通过鼠标等输入设备修改、编辑的，例如，可以通过鼠标将光标移动到内容中的某个位置，然后可以键入相应的文字；或者，可以通过鼠标双击某个文件或文件夹打开相应的文件或文件夹等。

其中，输入装置6可以为鼠标、写字板、游戏控制杆、触摸板等位置输入设备。

其中，采集端5可以是任何一种类型的计算机，例如台式计算机、笔记本电脑、平板计算机等，也可以是任何一种能够采集输入装置6的输入位置的处理设备。采集端5与输入装置6之间通过人机接口进行连接，用于采集输入装置6的输入坐标。

为了方便说明本发明的技术方案，以下实施例将以鼠标作为输入装置为例进行描述。但是，本领域技术人员可以理解，本发明的技术方案包括但不限于鼠标，任何上述输入装置6的替代物均应包含在本发明的保护范围内。

在图2所示的实施例中，假设本实施例的控制系统包括4个客户端31、32、33、34，分别显示的内容为a、b、c、d；其中，屏幕4可以包括8块子屏幕41、42、43、44、45、46、47、48，根据拼接控制器2中的一预定的布局，将各客户端的内容显示在子屏幕的内容窗口中；

例如，第一行第一列的子屏幕41上的显示窗口、第二行第一列的子屏幕44上的显示窗口中铺满显示客户端31的内容，例如某地区的二维地图a，第一行第二列的子屏幕42、第一行第三列的子屏幕43和第二行第二列的子屏幕45、第二行第三列的子屏幕46共4块子屏幕上的显示窗口中显示客户端32的内容，例如某区域的三维地图b，第一行第四列的子屏幕上的显示窗口47中显示客户端33的内容，例如摄像头的监控画面，第二行第四列的子屏幕48上的显示窗口中显示客户端34的内容，例如视频画面d等。

本领域技术人员可知，客户端和子屏幕的数量以及内容窗口布局均可以根据需要设置，而不限于上述例子中的情况。

下面结合附图4的方法流程图，详细描述本发明实施例的控制系统的工作流程。

开始，当用户想要对内容d进行操控时，用户使用鼠标6在屏幕4的要操控内容d的相应位置处输入坐标，例如光标位置，及输入操控指令，例如移动、双击、单击、拖拽等；

然后，在步骤s101，采集端5采集到鼠标的输入坐标，例如(xs,ys)，及操控指令，并将所述输入坐标和操控指令发送给服务器1；

然后，在步骤s102，服务器1将接收到的鼠标坐标换算为映射鼠标坐标，以及将屏幕4中的各内容窗口的坐标范围换算为映射坐标范围；

具体地，服务器1将接收到的鼠标坐标换算为映射鼠标坐标可以根据采集端5的屏幕的分辨率，将所获取的鼠标坐标(xs,ys)换算为一统一的一映射屏幕的映射鼠标坐标(xs,ys)。其中，所述的映射屏幕可以是任何分辨率屏幕的坐标，只要是将采集端5、屏幕4的屏幕坐标换算成统一的屏幕分辨率坐标均可以实现本发明。需要注意的是，为了保证有效的屏幕分辨率，所述的映射屏幕坐标的分辨率应不小于采集端5、屏幕4中最大分辨率屏幕的分辨率。

例如，假设采集端5的屏幕分辨率长度*屏幕分辨率高度为(a*b)，映射屏幕分辨率为(m*n)。其中，计算公式可以为xs＝xs*m/a，ys＝ys*n/b。例如，假设采集端5的分辨率(a*b)为(1920*1080)，映射屏幕分辨率为(65535,65535)，则所述的映射鼠标坐标(xs,ys)为：xs＝xs*65535/1920，ys＝ys*65535/1080；

其中，将屏幕4中的各内容窗口的坐标范围换算为映射坐标范围通过如下步骤实现：

步骤s1021，拼接控制器2将屏幕4的屏幕分辨率发送给服务器1，例如，(p，q)，例如(3840*2160)；服务器1接收到所述屏幕分辨率后计算得到屏幕4的屏幕分辨率与映射屏幕分辨率(m,n)的长高比例，即(p/m，q/n)；

然后，步骤s1022，服务器1根据拼接控制器2中预设的屏幕布局，得到各客户端的内容窗口的坐标范围，如内容窗口的长、高尺寸以及内容窗口的至少一个顶点坐标(例如左上角起始顶点坐标)；

例如，拼接控制器2中预设的屏幕布局为，客户端34的内容d显示于子屏幕48中，其内容窗口的左上顶点坐标为(xa0,ya0)，窗口长l高h；则服务器1按照屏幕分辨率长高比例将左上顶点坐标为(xa0,ya0)换算成映射屏幕分辨率(p,q)中的内容窗口映射坐标，即xa0＝xa0×p/m,ya0＝ya0×q/n；

然后，在步骤s103，服务器1根据所述映射鼠标坐标和所述映射内容窗口的坐标范围判断所述鼠标坐标所在的内容所属的客户端；

具体地，服务器1根据映射鼠标坐标(xs，ys)及屏幕布局中的各内容窗口至少一个顶点映射坐标值(xa0,ya0)及内容窗口的长高值h、l判断出用户所操控的内容属于哪个客户端，然后将所述鼠标坐标发送给相应的客户端；

例如，映射鼠标位置位于内容d的窗口中，则服务器1根据内容d的窗口初始顶点坐标和长高值，判断出映射鼠标位置位于内容d对应位置，且内容d属于客户端34，于是将该鼠标坐标发送给客户端34，如图3所示；

然后，在步骤104，要操控内容所在的客户端，例如客户端34，接收服务器1发送的鼠标的映射坐标及操控信息，客户端将所述鼠标的映射坐标换算为本地坐标；

其中，步骤104具体包括如下步骤：

将所述鼠标的映射坐标换算成(65535,65535)屏幕的坐标，从而得到鼠标在客户端的本地坐标位置。

本领域技术人员可以理解的是，由于在windows系统api函数的鼠标坐标系统中，屏幕在水平和垂直方向上默认均匀分割成65535×65535个单元，因此，基于上述原理，本发明优选地可以选用将映射屏幕的分辨率设置为(65535,65535)，这样服务器1只需要将采集端5和屏幕4的坐标做一次换算就可以，而无需进行客户端屏幕坐标的换算。

然后，在步骤105，客户端根据所述操控信息对相应位置内容进行响应，然后将相应的内容进行显示。

例如，用户通过鼠标单击屏幕4中的内容窗口的某个内容，例如文件，则这时候通过鼠标选中该文件，然后用户双击该文件，则该文件所在的客户端将执行双击该文件并显示在屏幕4中；

用户还可以通过长按鼠标左键，对屏幕的内容窗口进行拖拽等操控动作，则该被拖拽窗口所在的客户端执行拖拽动作并显示在屏幕4中。

上述操控动作均与普通鼠标的操控动作相类似，不再赘述。

实施例二

如图5所示，本发明第二实施例中的输入装置6进一步包括一数据输入装置，例如键盘(图中未示出)。其中，所述键盘与常规的键盘并无不同，采集端5同时采集位置输入装置的输入坐标和操控信息以及键盘的按键值，并发送给服务器1；

服务器1除了根据实施例一中所述的方法将输入坐标或映射坐标发送给坐标所在内容所属的客户端的同时，还将键盘的键盘值发送给所述客户端，从而客户端根据所述键盘值在其相应的内容中进行操作。

例如，如图5所示，用户想要通过鼠标操控某一内容窗口中的可编辑的地图软件，例如，键入要标注的信息，例如“海拔”、“距离”等，则可以将鼠标的光标移动到要键入的地图的位置并执行单击动作；则客户端34根据该单击动作信息进行响应，例如打开一键入窗口，然后通过键盘键入标注名称，此时，服务器1将采集端5采集到的键盘的按键值发送给相应的客户端34，然后客户端34根据键盘输入进行相应的响应。

对本发明实施例提供的控制系统而言，其各功能单元可以集成在一个处理芯片中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件的功能模块的形式实现。所述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储的介质譬如为只读存储器，磁盘或光盘等。

需要说明的是，对本发明实施例所述的屏幕全局输入控制方法而言，本领域技术人员可以理解本发明实施例提供的屏幕全局输入控制方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可以存储于一计算机可读介质中，如存储在屏幕输入控制装置的存储器中，并被该屏幕输入控制装置内的至少一个控制器执行，执行过程可包括如上述屏幕全局输入控制方法的实施例的流程。其中，所述存储介质可以为磁碟、光盘、只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)等。换言之，本发明还涉及这样一种屏幕输入控制设备，其可以包括存储器和控制器；所述存储器用于储存有可执行程序代码；所述控制器用于读取所述存储器中存储的可执行程序代码以执行本发明实施例所述的屏幕全局输入控制方法。

根据一些实施例，提供了一种计算机可读存储介质，可以包括指令，当其在计算机上运行时，可以使得计算机执行上述的屏幕全局输入控制方法。

关于本实施例提供的屏幕全局输入控制系统的工作过程可参照上述实施例进行理解，此处不再赘述。

以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。