一种面向远程操控的鼠标与回传画面的同步方法及系统与流程

1.本发明涉及远程操控及视频传输技术领域，尤其是涉及一种面向远程操控的鼠标与回传画面的同步方法及系统。


背景技术：

2.随着音视频编解码技术和人机交互技术的发展，远程操控技术在分布式坐席管理、协同办公及桌面共享等领域得到了广泛应用。当前基于ip的远程操控技术,主要是通过对键盘鼠标信号和主机的视频信号分别进行编码传输及远端解码，实现管理人员在不同地理位置可通过键鼠来异地操控远端计算机，从而减少系统内站位值守的人员配置，提高系统调度的实时响应。
3.由于在通过键鼠进行远程操控时，管理人员需要将远端主机的回传画面作为参考画面,因此键鼠与回传画面的同步性非常重要。尤其是鼠标的移动会产生回传画面的连续变化，鼠标光标是否能够及时到达目标点，管理人员的动作幅度需要多大，这些在很大程度上决定了远程操控的体验感。
4.进一步地，回传画面的鼠标光标的实时性能主要取决于以下两个方面:远端受控主机鼠标光标的画面实时性和经过编码、传输和解码后的受控主机在本地的回传画面实时性。
5.键鼠和视频画面的数据编解码流向如图1所示。键鼠信号编码及传输在局域网内一般为约5～20ms，这个延时对操控者而言基本是可以忽略感觉不到的。而高清视频画面在60fps通过编码、网络传输、解码延时约100ms左右，4k画面延时甚至可达200ms。这就造成了受控端主机画面的鼠标光标实际已到位而回传画面看到的鼠标光标滞后的情况出现。当回传画面与受控端主机实时画面延时相差过大时，用户通过本地鼠标操控远程主机时，就容易产生回传画面上的鼠标光标并不能随心所欲移动到目标位置，存在延迟滞后、不易对准等现象。因此如何解决回传画面延时与鼠标光标实际移动速度的同步问题，是提高远程操控体验感的关键问题。
6.目前未找到专门针对提高鼠标和回传画面实时性的相关专利。从技术角度而言，为了达到该目的，通常采用减小回传画面的延时的方法来提高回传画面与鼠标的同步性。目前减小画面传输延时主要有如下两类技术途径：
7.1、从视频编码技术上减小延时，如目前主流的浅压缩技术，还有光纤视频传输技术。如“一种可远程操控主机的显示器”，申请号：201621043186.x,采用同轴光纤将kvm接口信号调制实现远距离传输，虽然受控主机回传画面具有较高的实时性，但没有进行视频压缩，也不支持基于ip交换的分布式架构，属于传统的视频信号延长处理方法，无法实现音视频数据与ip数据同传；浅压缩的流量也基本在300m左右，对系统架构、应用灵活性上存在较大的限制。
8.2、采用提高视频流网络通信效率方式来减小回传画面的延时。在专利“一种实现零拷贝发送流媒体数据的方法和系统”(申请号：2008101429.2)，“一种流媒体解码方法、系
统及移动终端”(申请号：201310122798.2)，主要通过优化网络协议栈或共享内存等方式，对视频报文的字段进行识别、协议卸载等优化处理，该方法主要从软件角度减少网络报文进出栈和拷贝的次数，来提高视频传输实时性，但对视频编码、解码延时没法进行优化，而且网络性能与硬件平台相关性较大，提升能力有限。


技术实现要素：

9.本发明提出一种面向远程操控的鼠标与回传画面的同步方法及系统，以克服上述技术不足。
10.为达到上述技术目的，本发明的技术方案第一方面提供一种面向远程操控的鼠标与回传画面的同步方法，其包括如下步骤：
11.对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；
12.在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；
13.对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
14.本发明第二方面提供一种面向远程操控的鼠标与回传画面的同步系统，其包括如下功能模块：
15.原始坐标获取模块，用于对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；
16.目的坐标迁移模块，用于在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；
17.象素处理输出模块，用于对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
18.本发明第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种面向远程操控的鼠标与回传画面的同步方法的步骤。
19.本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种面向远程操控的鼠标与回传画面的同步方法的步骤。
20.与现有技术相比，本发明所述一种面向远程操控的鼠标与回传画面的同步方法及系统，其通过在操控端对接收到的来自受控端的回传画面进行解码及图像识别处理，得到回传画面中鼠标光标的原始坐标，并结合操控端截取到的鼠标位移命令来修改对应象素点进行重绘回传画面，实现鼠标与回传画面的同步。
21.采用该方法不仅可以让管理人员在参考重绘后的回传画面进行远程操控时，提高眼手配合度的体验感，而且不会影响受控端主机实时画面上的鼠标光标移动，不改变受控端主机原来的工况。
附图说明
22.图1是键鼠和视频画面的数据编解码流向的示意图；
23.图2是本发明实施例所述一种面向远程操控的鼠标与回传画面的同步方法的流程框图；
24.图3是本发明实施例所述远程操控应用示意图；
25.图4是图1中步骤s1的子流程框图；
26.图5是图1中步骤s1的另一子流程框图；
27.图6是图1中步骤s2的子流程框图；
28.图7是本发明实施例所述回传画面重绘过程图；
29.图8是本发明实施例所述一种面向远程操控的鼠标与回传画面的同步系统的模块框图。
具体实施方式
30.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
31.基于上述内容，本发明实施例提供一种面向远程操控的鼠标与回传画面的同步方法，如图2所示，其包括如下步骤：
32.s1、对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标。
33.如图3所示，本发明实施例中，在操控端的视频编码器及视频解码器均采用hi3531dv200海思嵌入式图像处理芯片，实现对主机画面的h264解码功能，内置的nnie引擎支持深度学习卷积神经网络进行加速处理的硬件单元，且支持现有大部分图像识别、图像分割和图像定位等算法；采用沁恒ch9350芯片实现usb键鼠信号的编码及解码，对编码后的键鼠控制指令通过uart发送给hi3531dv200；视频流和键鼠控制指令均通过hi3531dv200的以太网接口实现远程数据交互。
34.当鼠标光标的图像特征包含在预设的鼠标光标特征中时，如图4所示，所述步骤s1包括如下步骤：
35.s11、对受控端传回的回传画面进行解码，得到主机画面的原始图像；
36.s12、预设的鼠标光标特征，自当前最新回传画面帧中分割得到鼠标光标的原始轮廓；
37.s13、在当前回传画面帧中提取关于鼠标光标属性的图像截片区域，并记录鼠标光标的原始象素点坐标ms(x，y)及yuv分量∑yuv(x,y)。
38.即hi3531dv200在接收到远端主机的回传画面网络视频流时，采用hi3531dv200内置的vdec单元解码后形成单帧图像，对应的生成图像各像素点的yuv分量值。
39.然后根据预设的鼠标光标特征，利用nnie引擎对当前最新回传画面帧进行分割，得到鼠标光标的原始轮廓；在当前回传画面帧中提取关于鼠标光标属性的图像截片区域，并记录鼠标光标的原始象素点坐标ms(x，y)及yuv分量∑yuv(x,y)。
40.不过，当鼠标光标的图像特征不包含在预设的鼠标光标特征中时，如图5所示，所
述步骤s1包括如下步骤：
41.s11、对受控端传回的回传画面进行解码，得到主机画面的原始图像；
42.s12、对比最新收到并解码后的三帧连续图像的差值，得到回传画面中移动目标的运动轨迹；
43.s13、将移动目标的运动轨迹与预设的鼠标光标特征结合，自当前最新回传画面帧中分割得到鼠标光标的原始轮廓；
44.s14、在当前回传画面帧中提取关于鼠标光标属性的图像截片区域，并记录鼠标光标的原始象素点坐标ms(x，y)及yuv分量∑yuv(x,y)。
45.即hi3531dv200在接收到远端主机的回传画面网络视频流时，采用hi3531dv200内置的vdec单元解码后形成单帧图像，对应的生成图像各像素点的yuv分量值。
46.然后通过对比最近收到并解码后的三帧连续图像的差值，可得到回传画面中移动目标的运动轨迹；将移动目标的运动轨迹与预设的鼠标光标特征结合，利用nnie引擎对当前最新回传画面帧进行分割，得到鼠标光标的原始轮廓；在当前回传画面帧中提取关于鼠标光标属性的图像截片区域，并记录鼠标光标的原始象素点坐标ms(x，y)及yuv分量∑yuv(x,y)。
47.s2、在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标。
48.如图6所示，所述步骤s2包括如下步骤：
49.s21、在操控端截取并解析鼠标的操控命令，提取得到鼠标光标的移动增量
△
m(x，y)；
50.s22、将鼠标光标的原始象素点坐标ms(x，y)加上移动增量
△
m(x，y)，得到对应鼠标光标的目的象素点坐标；
51.s23、将鼠标光标的原始象素点的yuv值一对一逐象素填充到目的象素点的yuv值。
52.即在hi3531dv200通过uart收到鼠标指令数据时，提取鼠标光标移动增量
△
m(x，y),将yuv分量∑yuv(x,y)按照鼠标光标原始象素点ms(x，y)加上移动增量
△
m(x，y)后的坐标，一对一逐象素填充，实现鼠标光标图像截片往目的坐标的搬移操作。
53.s3、对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
54.为了避免回传画面同时出现两个光标的问题，对于实施搬移后的鼠标光标原始象素点，需要进行插值处理。具体地，基于鼠标光标的原始轮廓，以轮廓外围的相邻象素点来对鼠标光标的原始轮廓区域内的象素点覆盖处理。被插值区域的部分象素点可能会微有模糊，但是只会影响当前帧，而且会在下一帧的画面中恢复正常显示，因为下一帧的图像中，鼠标的位置已经移动到了当前位置。
55.最后,通过调用hi3531dv200的接口函数hi_vo_sendframe()将重绘后的回传画面通过hdmi接口进行输出。该显示画面可作为操控端进行鼠标操控时的参考画面，不仅可提高管理人员手眼配合度，同时也可保证受控端主机的鼠标光标移动也是实时的，从而提高远程操控的体验感。
56.本发明所述一种面向远程操控的鼠标与回传画面的同步方法，其通过在操控端对接收到的来自受控端的回传画面进行解码及图像识别处理，得到回传画面中鼠标光标的原
始坐标，并结合操控端截取到的鼠标位移命令来修改对应象素点进行重绘回传画面，实现鼠标与回传画面的同步。本发明实施例所述回传画面重绘过程如图7所示。
57.采用该方法不仅可以让管理人员在参考重绘后的回传画面进行远程操控时，提高眼手配合度的体验感，而且不会影响受控端主机实时画面上的鼠标光标移动，不改变受控端主机原来的工况。
58.如图8所示，本发明实施例还提供一种面向远程操控的鼠标与回传画面的同步系统，其包括如下功能模块：
59.原始坐标获取模块10，用于对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；
60.目的坐标迁移模块20，用于在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；
61.象素处理输出模块30，用于对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
62.本实施例一种面向远程操控的鼠标与回传画面的同步系统的执行方式与上述面向远程操控的鼠标与回传画面的同步方法基本相同，故不作详细赘述。
63.本实施例服务器为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个消费者使用的计算机。该实施例的服务器包括：存储器、处理器以及系统总线，所述存储器包括存储其上的可运行的程序，本领域技术人员可以理解，本实施例的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
64.存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
65.在存储器上包含一种面向远程操控的鼠标与回传画面的同步方法的可运行程序，所述可运行程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由处理器执行，以完成信息的获取及实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述服务器中的执行过程。例如，所述计算机程序可以被分割为原始坐标获取模块10、目的坐标迁移模块20、象素处理输出模块30。
66.处理器是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
67.系统总线是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制
信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器的指令通过总线传递至存储器，存储器反馈数据给处理器，系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备，例如网络接口、显示设备等。
68.所述服务器应至少包括cpu、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。
69.在本发明实施例中，该终端所包括的处理器执行的可运行程序具体为：一种面向远程操控的鼠标与回传画面的同步方法，其包括如下步骤：
70.对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；
71.在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；
72.对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
73.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
74.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。