远端管理系统及其方法与流程

本申请是发明名称为“远端管理系统及其方法”、申请日为2011年10月9日、申请号为201110317883.5的申请的分案申请。

本发明有关于一种远端管理系统及其方法；具体而言，本发明的远端管理系统及其方法使得用户端电脑不需要额外加装外挂程序或应用程序，而能直接以网页浏览器显示被控电脑所输出的动态影像。

背景技术：

多电脑切换器(keyboard-video-mouseswitch；kvmswitch)连接于用户端中控装置与多台被控电脑之间，使得使用者可以通过一组键盘、屏幕和鼠标来控制多台的被控电脑。所谓的网络型多电脑切换器(over-ipkvm)是一种具有网络接口的多电脑切换器，其经由网络将用户端电脑耦接至一或多台被控电脑。

为了使用户端电脑的使用者能对网络型多电脑切换器进行操作并进而与被控电脑进行通讯，在使用者端必须提供一个管理接口以供用户端电脑使用。在传统技术中此管理接口包含特殊的应用程序及网页浏览器，其中网页浏览器可以是原本即已安装于用户端电脑上的一般网页浏览器，但是此应用程序则必须另外由网络型多电脑切换器的制造商处取得后进行安装。当使用网页作为管理接口时，网络型多电脑切换器与用户端电脑之间的关系相当于网页服务器与网页浏览设备之间的关系，此时使用者可利用用户端电脑中的网页浏览器所显示的网页来对多电脑切换器进行操作。而现今的网络型多电脑切换器产品除了允许使用者藉以管理远端的被控电脑以外，还具备检视被控电脑所输出的动态影像的功能。因为现有的网页浏览器本身并无法显示被控电脑所输出的动态影像，所以被控电脑输出的动态影像必须通过安装在用户端电脑中的特殊应用程序来显示。如果要以网页浏览器来显示被控电脑所输出的动态影像，此网页浏览器必须额外加装外挂程序(plug-in，例如adobeflashplayer)或由网页呼叫额外的应用程序。

由于现今网页浏览器的种类繁多，各家产品所支持的功能往往会有很大的差异。因此，为了确保网页在一般状况下能在任何类型的网页浏览器中正常显示，就必须依照w3c推荐标准(w3crecommendation)来制作网页。虽然相关的html5等网络标准支持特定格式(例如mpeg4)的动态影像，但实际上目前的浏览器由于牵涉知识产权的缘故都不支持该些特定格式。并且，该影像格式与键盘及鼠标的控制不相容，因此为了在网页浏览器中显示动态影像，还是必须如前所述额外加装外挂程序或由网页呼叫额外的应用程序。此外，由于外挂程序的设计会因其所附属的网页浏览器以及底层的操作系统平台而异，因此网络型多电脑切换器的制造商若要满足不同网页浏览器及操作系统的使用者，就必须针对不同的网页浏览器以及操作系统来开发外挂程序或应用程序，其所耗费的人力、物力对于多电脑切换器的制造商而言将是不小的负担。

技术实现要素：

本发明的一目的在于提供一种远端管理系统及其方法，相较于先前技术，能在不需要外挂程序的前提下，实现在不同操作系统平台上的所有种类的网页浏览器中显示动态影像的功能。

本发明的另一目的在于提供一种远端管理系统及其方法，相较于先前技术，具有局部更新网页的功能，可达到节省网络频宽及减轻网页服务器负担的效果。

本发明的远端管理系统包含一影像撷取模块、一处理/比较模块、一影像编码模块及一传送模块。此影像撷取模块依据某一采样频率对被控电脑输出的模拟或数字动态影像信(例如vga或dvi信号)号进行撷取，以将模拟动态影像信号转换为一连串静态图像。处理/比较模块进一步将静态图像分割为比较区块组，且比较区块组更分为多个比较区块，处理/比较模块比较前后两张静态图像的差异，以从比较区块中找出所有有像素值变化的变化区块。浏览器中所显示的网页亦被划分为多个显示区块，每个比较区块组以一对一的方式对应至网页显示区中的一个显示区块。影像编码模块进一步将变化区块所属比较区块组中所有比较区块的像素值经由一编码方式转换为编码数据，其中只要显示区块所对应的比较区块组中有一个比较区块是变化区块，则影像编码模块将显示区块所对应的所有比较区块一起进行编码，但其编码方式并非mpeg/mpeg2/mpeg4/avi等数字动态影像的编码方式。传送模块因应于网页浏览器的请求将编码数据传送至网页浏览设备，使网页浏览器可依据此编码数据更新其对应的显示区块，进而显示相应于被控电脑输出的动态影像信号的动态影像。

本发明远端管理方法包含：将被控电脑输出的动态影像信号转换为一连串的静态图像，而后将每一张静态图像分割为多个比较区块组，且该些比较区块组更分为多个比较区块，并比较前后两张静态图像的差异，以从该些比较区块中找出所有有像素值变化的变化区块，每个比较区块组对应于网页浏览器的网页显示区中的一个显示区块。若变化区块存在，则将变化区块所属的比较区块组中的所有比较区块的像素值转经由一编码方式转换为编码数据，其中只要显示区块所对应的比较区块组中有一个比较区块是变化区块，则将该显示区块所对应的所有该些比较区块一起进行编码，而后因应于网页浏览器的请求将编码数据经由网络传送至网页浏览设备，使网页浏览器可依据此编码数据更新该显示区块，进而显示相应于被控电脑输出的动态影像信号的动态影像。

本发明通过将被控电脑输出的动态影像以编码数据的形式经由网络传送至网页浏览设备，使网页浏览设备的网页浏览器可据以显示被控电脑所输出的动态影像，而在不需要额外加装外挂程序或呼叫额外的应用程序的前提下实现在不同操作系统平台上的所有种类的网页浏览器中显示被控电脑所输出的动态影像。

附图说明

图1a为本发明远端管理系统的一实施例的方块图；

图1b为图1a所示远端管理系统的处理/比较模块将静态图像分割为区块的一实施例的示意图；

图1c为图1a所示远端管理系统的影像编码模块将相邻的显示区块所对应的比较区块合并编码的一实施例的示意图；

图2为图1a所示远端管理系统的使用方法的一实施例的流程图；以及

图3为配合图2所示远端管理系统的使用方法于网页浏览器中显示动态影像的实施例的流程图。

【主要元件符号说明】

1远端管理系统30影像编码模块

2被控电脑40传送模块

3网络41网页服务器

4网页浏览设备50路径安排模块

5网页浏览器bc比较区块

6网页服务器bs比较区块组

10影像撷取模块bs1比较区块组

20处理/比较模块bs2比较区块组

具体实施方式

本发明提供一种远端管理系统。在一较佳实施例中，本发明的远端管理系统为一网络型多电脑切换器。然而在其他实施例中，本发明的远端管理系统可以为其他类型的多电脑切换器或其他类型的远端电脑管理系统或装置。

图1a为本发明远端管理系统的一实施例的方块图。如图1a所示，远端管理系统1经由其数个连接端口连接至一或数台被控电脑2，并经由网络3与网页浏览设备4中的网页浏览器5产生互动，使网页浏览设备4可经由网络3与远端管理系统1进行通讯并进而控制被控电脑2。网页浏览设备4的使用者可以通过网页浏览器5所显示的网页对远端管理系统1进行操作，例如进行设定或是切换与控制被控电脑2之间的连接端口。在本实施例中，网络3为网际网络(internet)，网页浏览设备4为一个人电脑；然而在其他实施例中，网络3可以为以太网络(ethernet)或令牌环网(tokenring)等其他类型的电脑网络，网页浏览设备4可以为笔记型电脑、个人数字助理(personaldigitalassistant，pda)或智能手机等可执行网页浏览器5的任何手持移动电子装置。网页浏览器5可为internetexplorer、mozillafirefox、googlechrome、opera及safari等不同种类或执行于不同操作系统平台上的网页浏览软件。

如图1a所示，此远端管理系统1包含影像撷取模块10、处理/比较模块20、影像编码模块30及传送模块40。影像撷取模块10以某一采样频率对被控电脑2输出的模拟动态影像信号进行撷取，以将模拟动态影像信号转换为一连串(连续)的单张数字静态图像，此静态图像亦可称为影像帧(frame)，例如每秒撷取出30帧。影像撷取模块10较佳为包含模拟至数字(analog-to-digital)转换功能的硬件电路。在本实施例中，被控电脑2的动态影像信号是通过被控电脑2的显示卡上的vga(videographicsarray，视讯图形阵列)端口(port)输出至远端管理系统1；然而在其他实施例中，可通过例如网络等其他界面(interface)来输出。此外，采样频率的高低可视网络的频宽、硬件的运算能力等软硬件条件、对显示画质的要求或其他需求而调整。

此远端管理系统1更包含一路径安排模块50，用以将由网页浏览设备4所传来的控制信号(例如键盘信号或游标控制信号)依据一路径选择设定传输至所选定的被控电脑2。此路径安排模块50亦将所选定的被控电脑2切换至影像撷取模块10。此路径安排模块50可为一处理器、多工器(multiplexer)、矩阵式切换器(cross-pointswitch)、场可程序化逻辑门阵列(fpga)、总线或其中的任意适当组合。

处理/比较模块20进一步将静态图像分割为多个较小的比较区块组，且比较区块组可再画分为多个比较区块。处理/比较模块20比较前后两张静态图像在像素值上的差异，以从比较区块中找出有变化的区块(下称变化区块)。网页浏览器中所显示的网页亦被划分为多个显示区块，每个比较区块组对应于网页显示区中的一个显示区块。换言之，网页浏览器5的网页显示区被分为多个显示区块，每个显示区块对应于一个比较区块组，亦即显示区块的大小大于或等于比较区块的大小。图1b为图1a所示远端管理系统的处理/比较模块将静态图像分割为区块的一实施例的示意图。如图1b所示，在本实施例中，是将每张静态图像分割为16乘16大小的比较区块bc，而从中找出变化区块(斜线部分)。然而在其他实施例中，可视需求分割为例如32乘32等不同大小的比较区块。处理/比较模块20较佳采用例如集成电路芯片的硬件电路来实作。

影像编码模块30进一步将变化区块所属的的比较区块组中的所有比较区块的像素值经由一编码方式转换为编码数据。换言之，像素值的转换是以显示区块为单位，因此只要显示区块所对应的比较区块组中有一个比较区块是变化区块，则将该显示区块所对应的所有比较区块一起进行编码。如图1b所示，当显示区块的大小为32乘32，而比较区块bc的大小为16乘16时，则将属于同一个比较区块组bs(即对应于同一个显示区块)的四个相邻的比较区块bc一起进行编码。编码数据中更包含经编码的像素值及相应的显示区块的坐标值等信息。

在一较佳实施例中，此像素值的转换是依据jpeg格式的编码方式来进行编码/压缩；然而在其他实施例中，亦可采用w3c标准所支持的其他种类编码/压缩格式，例如gif、png或bmp等。值得注意的是，在将编码数据传送至网页浏览设备4的过程中，并非每笔编码数据都需要伴随着数据信头(即header，其供数据解码之用)，可以采用多笔编码数据共用相同数据信头的方式以节省网络频宽。在一较佳实施例中，可以使第一笔编码数据的封包包含此数据信头，第二笔以后的编码数据的封包则不包含此数据信头，但是第二笔及第二笔以后的编码数据仍沿用第一笔编码数据所使用的数据信头来进行解码。或者是，数据信头、第一笔编码数据及第二笔以后的编码数据分别由不同的封包传送至网页浏览设备4，但第一笔编码数据、第二笔及第二笔以后的编码数据共用此数据信头。

此外，在一较佳实施例中，如图1c所示，当数个相邻的比较区块组bs1与bs2所对应的比较区块bc有变化(斜线部分)而需要作像素值转换时，影像编码模块可以选择性地将相应于该数个相邻的比较区块组bs所对应的所有比较区块bc合并编码以提高压缩率，从而节省传输所需的频宽，并提高显示效率。例如比较区块组bs1及bs2相邻，且比较区块组bs1有4个变化区块而比较区块组bs2有2个变化区块，此时可将此6个变化区块或全部的8个区块一起进行编码，而非对比较区块组bs1及bs2进行个别的编码。此时必须记录该数个相邻显示区块的相关信息，其中包含坐标、宽度及高度等讯息，使得网页浏览器可依据这些讯息将该数个相邻显示区块正确地显示于网页中相应的位置。再者，在一较佳实施例中，为了增进压缩效能起见，影像编码模块30可使用具备图像压缩功能的数字信号处理器(digitalsignalprocessor,dsp)等硬件电路来实现，例如aspeed公司所提供的ast1000或ast2000。

传送模块40可根据网页浏览器5的请求将影像编码模块30产生的编码数据经由网络3传送至网页浏览设备4，使网页浏览器5可据以显示相应于被控电脑2输出的动态影像信号的动态影像(对使用者而言此动态影像相当于被控电脑2的屏幕画面上的影像)。传送模块40较佳地包含网页服务器41。网页服务器41较佳地因应于网页浏览器5的请求将一个用于对编码数据进行解码的共用数据信头传送至网页浏览器5。网页浏览设备4中的网页浏览器5可经由网络3而从传送模块40中的网页服务器41取得共用数据信头及所有显示区块的编码数据，并依据共用数据信头与编码数据即时更新网页显示区中相应的显示区块。在取得共用数据信头以后，除非后续显示区块的大小(例如相邻的显示区块所对应的比较区块合并编码)或影像品质等编码参数有变化，否则网页浏览器并不需要重新取得数据信头，因此多笔编码数据可共用一共用数据信头。

此外，在一较佳实施例中，网页服务器41可以接收来自网页浏览设备4的键盘或鼠标等输入装置的“事件”(例如由执行于网页浏览器5中的javascript程序捕获，并经由网络3传送到网页服务器41)并加以处理，进而对被控电脑2进行控制(例如移动被控电脑的屏幕画面中的鼠标游标)。网页服务器41较佳地可以在当变化区块存在时根据网页浏览器5的请求而发送变化区块的编码数据，使网页浏览器5能据以更新网页显示区，从而显示相应于被控电脑2输出的动态影像信号的动态影像，而当变化区块不存在时不对网页浏览器5的请求作回应，以节省网络频宽。再者，在一较佳实施例中，当数个相邻的显示区块合并编码时，传送模块40可以根据网页浏览器5的请求将前述的相邻显示区块的相关信息传送至网页浏览设备4，其中包含坐标、长度及宽度等讯息，使网页浏览器可根据该相关信息及编码数据来更新网页显示区中相应的显示区块。

网页服务器除了可以是远端管理系统1的一部分(即本实施例中的网页服务器41)以外，还可以是独立的装置(即本实施例中的网页服务器6)。网页服务器6与远端管理系统1及网页浏览设备4同为连接于网络3的独立装置，网页浏览设备4可以经由网络3与网页服务器6进行通讯，并藉以对远端管理系统1进行操作。此时网页服务器6相当于网络型多电脑切换器系统中的控制中心，除了提供网页服务器的功能以对例如远端管理系统1等所属的装置进行管理以外，还可以提供网络安全机制等其他功能。网页服务器41或网页服务器6与网页浏览器5之间的通讯协定为http协定。

在一较佳实施例中，网页浏览器5中所显示的网页被分成数个显示区块，每个显示区块对应于网页中的一个html(hypertextmarkuplanguage，超文件标示语言)影像标签(imagetag)。显示区块的大小可于网页浏览器5的执行过程中进行切换。此时为了使网页浏览设备4的使用者可以利用键盘或鼠标等输入装置来对被控电脑2进行控制，可以在每个影像标签中设置相关的键盘或鼠标事件处理程序(eventhandler)，或在所有影像标签—亦即网页中的整个显示区的上加一个透明的元件，并为该元件设置相关的键盘或鼠标事件处理程序。

相较于先前技术，本发明的远端管理系统使得用户端电脑不需要额外加装外挂程序或应用程序，而能在不同操作系统平台上的所有种类的网页浏览器中显示被控电脑所输出的动态影像。

图2为图1a所示远端管理系统的使用方法的一实施例的流程图。此远端管理系统可连接至一或多台被控电脑，并可与网页浏览设备的网页浏览器经由网络产生互动，使网页浏览设备可经由网络与远端管理系统进行通讯并进而控制被控电脑。如图2所示，步骤110将被控电脑输出的动态影像信号转换为一连串的静态图像。步骤120将静态图像分割为多个比较区块，并比较前后两张静态图像在像素值上的差异，以从比较区块中找出所有有变化的区块组，其中比较区块组可再分为多个比较区块，每一个比较区块组对应于网页浏览器的网页显示区中的一个显示区块。此时网页浏览器的网页显示区分为多个显示区块，每个显示区块对应于一个比较区块组，亦即显示区块的大小大于或等于比较区块的大小。在本实施例中，将每张静态图像再分割为多个16乘16大小的比较区块(如图1b所示)，而从中找出变化区块(如图1b斜线部分所示)。然而在其他实施例中，可视需求分割为例如32乘32等不同大小的比较区块。

步骤130若变化区块存在，则将变化区块所属的比较区块组中的所有比较区块的像素值转换为编码数据。换言之，像素值的转换是以显示区块为单位，因此只要显示区块所对应的比较区块组中的至少一个是变化区块，则将该显示区块所对应的所有比较区块一起进行编码。例如当显示区块的大小为32乘32，而比较区块bc的大小为16乘16时，则将属于同一个比较区块组bs(即对应于同一个显示区块)的四个相邻的比较区块bc(如图1b所示)一起进行编码。编码数据中包含经编码的像素值及相应的显示区块的坐标值等信息。在较佳实施例中，以jpeg格式来进行像素值的编码/压缩；然而在其他实施例中，亦可采用w3c推荐标准所支持的其他编码/压缩格式，例如gif、png或bmp等。编码数据较佳地不包含用于对编码数据进行解码的数据信头，而采用编码数据共用数据信头的方式节省传输所需的频宽。此外，在一较佳实施例中，当数个相邻的比较区块组bs所对应的比较区块bc均有变化(如图1c斜线部分所示)而需要作像素值转换时，可以选择性地将相应于该数个相邻的比较区块组bs所对应的所有比较区块bc合并编码以提高压缩率，以节省传输所需的频宽，并提高显示效率。此时必须记录该数个相邻显示区块的相关信息，其中包含坐标、宽度及高度等讯息，使得网页浏览器可据以将该数个相邻显示区块正确地显示于相应的位置。

步骤140因应于网页浏览器的请求将编码数据经由网络传送至网页浏览设备，以使网页浏览器可依据编码数据更新显示区块，进而显示相应于被控电脑输出的动态影像信号的动态影像。在一较佳实施例中，可以因应于网页浏览器的请求将一个用于对编码数据进行解码的、共用的数据信头传送至网页浏览器，使网页浏览器可依据共用数据信头与编码数据即时更新网页显示区中相应的显示区块。在取得共用数据信头以后，除非后续显示区块的大小(例如相邻的显示区块所对应的比较区块合并编码)或品质等编码参数有变化，否则网页浏览器并不需要重新攫取数据信头，因此共用数据信头为编码数据所共用的。

此外，在一较佳实施例中，可以接收来自网页浏览设备的键盘或鼠标等输入装置的“事件”(例如由执行于网页浏览器中的javascript程序捕获，并经由网络传送到网页服务器)并加以处理，进而对被控电脑进行控制(例如移动被控电脑的屏幕画面中的鼠标游标)。此外，在一较佳实施例中，可以在当变化区块存在时根据网页浏览器的请求而发送变化区块的编码数据，使网页浏览器能据以更新网页显示区，从而显示相应于被控电脑输出的动态影像信号的动态影像，而当变化区块不存在时不对网页浏览器的请求作回应，以节省网络频宽。再者，在一较佳实施例中，当数个相邻的显示区块合并编码时，可以因应于网页浏览器的请求将前述的相邻显示区块的相关信息传送至网页浏览设备，其中包含坐标、长度及宽度等讯息，使网页浏览器可根据该相关信息及编码数据来更新网页显示区中相应的显示区块。

图3为配合图2所示远端管理系统的使用方法于网页浏览器中显示动态影像的实施例的流程图。如图3所示，步骤210使网页浏览器设备自远端管理系统取得网页，并于网页浏览器中加以执行。步骤220使执行于网页浏览器中的javascript程序语言对远端管理系统发送http请求，以要求远端管理系统发送变化区块的编码数据及其相关信息。在较佳实施例中，步骤220中的http请求使用ajax技术中的xmlhttprequest物件来实现，而变化区块的相关信息可以包含一组变化区块的坐标值、高度值及宽度值等数值。然而在其他实施例中，步骤220中的http请求可以使用其他方式来实现，例如为了向下相容于较旧版本的internetexplorer网页浏览器，可以使用activexobject物件。此外也可利用iframe元件来实现，这里不做限定。网页浏览器的网页显示区分为多个显示区块，每个显示区块对应于一比较区块组，亦即显示区块的大小大于或等于比较区块的大小。显示区块的大小可于网页浏览器的执行过程中进行切换。在较佳实施例中，可于步骤220中的http请求中指定显示区块的大小。

步骤230使javascript程序语言根据自远端管理装置收到的编码数据及其相关信息来更新网页浏览器中所显示的影像。在本实施例中，使用下列的回呼函数(callbackfunction)来处理自远端管理装置收到的编码数据及其相关信息：

其中显示变化区块的函数(dispblocks)其内容如下：

重复步骤220及230可以使得网络浏览器显示相应于被控电脑输出的动态影像信号的动态影像。在本实施例中，使用下列的函数来创建显示区块：

在本实施例中，显示区块为16乘16大小的区块；然而在其他实施例中，可视需求将显示区块分割为例如32乘32等不同大小。在较佳实施例中，javascript程序可以将来自网页浏览设备的键盘或鼠标等输入装置的“事件”发送至远端管理系统。网页浏览器的网页显示区分成数个显示区块，每个显示区块对应于网页中的一个html影像标签。此时为了使网页浏览设备的使用者可以利用键盘或鼠标等输入装置来对被控电脑进行控制，可以在每个影像标签中设置相关的键盘或鼠标事件处理程序，或在所有影像标签—亦即网页中的整个显示区的上加一个透明的元件，并为该元件设置相关的键盘或鼠标事件处理程序。

相较于先前技术，本发明除了能在不需要额外加装外挂程序的前提下达到能在不同操作系统平台上的所有种类的网页浏览器中显示被控电脑所输出的动态影像的目的以外，也由于本发明将静态图像和网页浏览器的显示区块分割为较小的区块，并利用ajax技术可针对网页中需要更新的部分进行局部更新的特点(仅更新有变化的显示区块)，使得在网页服务器和网页浏览器的间交换的数据量大幅减少，进而达到节省网络频宽及减轻网页服务器负担的效果。另外，由于所有同样大小的编码数据共用一个用来解码的数据信头，避免重复传送相同的数据信头，从而大大地节省数据量及频宽。

本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必须指出的是，已揭露的实施例并未限制本发明的范围。相反地，包含于权利要求的精神及范围的修改及均等设置均包含于本发明的范围内。