远程操作系统和信息处理方法与流程

本发明涉及远程操作系统和信息处理方法，特别涉及经由网络对被操作装置进行远程操作的远程操作装置和信息处理方法。

背景技术：

公知有对与相同网络连接的计算机从别的计算机使用键盘或鼠标进行操作的远程操作系统。在多人共享画面进行信息交换的电子会议、进行位于远方的计算机的维护的远程维护等领域中利用远程操作系统。

远程操作系统由作为远程操作对象的被操作装置和经由网络而与被操作装置连接的进行被操作装置的操作的远程操作装置构成。有时远程操作装置为多个。远程操作装置在画面上显示与被操作装置的画面对应的远程操作用窗口。使用者对远程操作用窗口进行键盘或鼠标操作。远程操作装置取得键盘或鼠标的操作信息，向被操作装置发送该操作信息。在被操作装置中，执行基于从远程操作装置发送的操作信息的处理。

由此，远程操作装置的使用者能够像利用被操作装置的鼠标或键盘进行操作那样进行被操作装置的操作。

现有技术文献

专利文献

专利文献1：日本特开2010-256965号公报

技术实现要素：

发明要解决的课题

但是，在现有的远程操作系统中，在操作对象窗口的一部分露出到被操作装置的画面外、或隐藏在其它窗口下的情况下，需要通过鼠标操作使窗口的露出部分移动到画面内、或将窗口移动到最前面。

并且，由于将被操作装置的画面整体作为操作对象，因此，还能够操作别的窗口。因此，在希望仅操作特定窗口的情况下，还存在误操作别的窗口这样的问题。

本发明正是为了解决以上课题而完成的，其目的在于，提供减轻使用者的操作负担并且抑制使用者的误操作的远程操作系统和信息处理方法。

用于解决课题的手段

本发明的远程操作系统具有经由网络连接的被操作装置和远程操作装置，其中，远程操作装置具有：第1通信部，其经由网络而与被操作装置进行通信；操作识别部，其识别针对远程操作装置的操作；显示信号输出部，其输出显示信号；以及第1控制部，被操作装置具有：第2通信部，其经由网络而与远程操作装置进行通信；以及第2控制部，第1控制部经由第1通信部取得与在被操作装置中打开的窗口的信息有关的显示窗口信息列表，第1控制部使显示信号输出部输出显示基于显示窗口信息列表的窗口一览的显示信号，当操作识别部识别到选择窗口一览中的任意窗口的操作后，第1控制部经由第1通信部向被操作装置通知选择了哪个窗口，第1控制部使显示信号输出部输出显示与选择出的窗口对应的远程操作用窗口的显示信号，第1控制部经由第1通信部向被操作装置发送包含操作识别部识别到的针对远程操作用窗口的操作的操作信息，第2通信部从远程操作装置接收选择了窗口一览中的哪个窗口，第2通信部从远程操作装置接收操作信息，第2控制部根据操作信息计算被操作装置中的光标位置，第2控制部在计算出的光标位置在光标能够移动的区域外的情况下，保持着选择出的窗口的位置与计算出的光标位置的相对位置关系，对选择出的窗口的位置和光标位置进行变更以使光标位置来到光标能够移动的区域内，然后，针对选择出的窗口，根据操作信息执行处理。

发明效果

远程操作装置在远程操作用窗口显示选择出的窗口，因此，使用者能够对选择出的窗口进行操作。由此，能够防止使用者误对其它窗口进行操作。

并且，在被操作装置中，在操作对象窗口的希望操作的部分在画面外的情况下，窗口的希望操作的位置也进行移动以进入能够利用光标进行操作的画面内，并且，同时光标位置也以保持与窗口的位置关系的方式进行移动。由此，操作远程操作装置的使用者不需要自己进行变更操作对象窗口的位置的操作，因此，能够抑制使用者进行误操作。并且，在对尺寸大于画面的窗口进行操作的情况下，也能够容易地进行操作。

本发明的目的、特征、方面和优点通过以下的详细说明和附图而更加清楚。

附图说明

图1是本发明的实施方式的远程操作系统的功能框图。

图2是本发明的实施方式的远程操作系统的硬件结构图。

图3是示出本发明的实施方式的被操作装置中打开的窗口的一例的图。

图4是示出本发明的实施方式的远程操作装置取得的显示窗口信息列表的图。

图5是示出本发明的实施方式的远程操作装置显示的窗口一览的图。

图6是示出本发明的实施方式的远程操作装置显示的远程操作窗口的图。

图7是示出本发明的实施方式的远程操作系统的操作信息的一例的图。

图8是示出本发明的实施方式的远程操作系统的操作种类的定义的图。

图9是示出本发明的实施方式的远程操作系统的每个操作种类的数据1、2的图。

图10是示出本发明的实施方式的远程操作系统的动作的流程图。

图11是示出本发明的实施方式的远程操作系统的动作的流程图。

图12是示出本发明的实施方式的远程操作装置和被操作装置的画面的图。

图13是示出本发明的实施方式的远程操作装置和被操作装置的画面的图。

具体实施方式

<结构>

图1是本发明的实施方式中的远程操作系统的功能框图。远程操作系统具有被操作装置1和远程操作装置2。被操作装置1和远程操作装置2经由网络3连接。

如图1所示，被操作装置1具有第2控制部11、第2通信部12、操作识别部13和显示信号输出部14。第2通信部12经由网络而与远程操作装置2进行通信。操作识别部13与操作部16连接，识别在操作部16中进行的操作。显示信号输出部14与显示部15连接，对显示部15输出显示信号。第2控制部11根据操作识别部13的操作，对第2通信部12和显示信号输出部14进行控制。

如图1所示，远程操作装置2具有第1控制部21、第1通信部22、操作识别部23和显示信号输出部24。第1通信部22经由网络而与被操作装置1进行通信。操作识别部23与操作部26连接，识别在操作部26中进行的操作。显示信号输出部24与显示部25连接，对显示部25输出显示信号。第1控制部21根据操作识别部23的操作，对第1通信部22和显示信号输出部24进行控制。

图2是本发明的实施方式中的远程操作系统的硬件结构图。被操作装置1是计算机，搭载有提供能够显示多个窗口作为图形用户界面的窗口系统的通用操作系统(以后将操作系统称作os)。作为该通用os，例如有microsoftwindows(注册商标)操作系统等，但也可以是其它os。

被操作装置1具有通信装置1b、处理器1a和存储装置1c。另外，也可以构成为被操作装置1具有输入输出接口1d。在输入输出接口1d上例如连接有作为显示部15的显示器1e、作为操作部16的键盘1f和鼠标1g。处理器1a进行基于存储装置1c中存储的程序的处理，由此实现第2控制部11。通信装置1b根据处理器1a的命令进行动作，由此实现第2通信部12。输入输出接口1d根据处理器1a的命令，例如对显示器1e输出显示图像的显示信号，由此实现显示信号输出部14。处理器1a经由输入输出接口1d识别例如来自键盘1f或鼠标1g的操作，由此实现操作识别部13。

输出到与被操作装置1连接的显示器1e的显示信号的画面6例如是横1920像素、纵1080像素的分辨率。在显示器1e上例如显示4个窗口7a、7b、7c、7d。光标8是被操作装置1的光标。光标8能够在画面6的范围内移动。

远程操作装置2是计算机，搭载有提供能够显示多个窗口作为图形用户界面的窗口系统的通用os。

远程操作装置2具有通信装置2b、处理器2a、存储装置2c和输入输出接口2d。在输入输出接口2d上例如连接有作为显示部25的显示器2e、作为操作部26的键盘2f和鼠标2g。处理器2a进行基于存储装置2c中存储的程序的处理，由此实现第1控制部21。通信装置2b根据处理器2a的命令进行动作，由此实现第1通信部22。输入输出接口2d根据处理器2a的命令，例如对显示器1e输出显示图像的显示信号，由此实现显示信号输出部24。处理器2a经由输入输出接口2d识别例如来自键盘1f或鼠标1g的操作，由此实现操作识别部23。

在与远程操作装置2连接的显示器2e的画面27上显示远程操作用窗口10。光标9是远程操作装置2的光标。

网络3设置在被操作装置1与远程操作装置2之间，能够进行被操作装置1与远程操作装置2的相互通信。在本实施方式中，在相互通信中使用通用的通信标准例如ethernet(注册商标)等，但也可以是其它网络。

图4是示出显示窗口信息列表的图。显示窗口信息列表是与在被操作装置1中显示(即，在被操作装置1中打开)的全部窗口有关的信息的列表。显示窗口信息列表由在被操作装置1中显示的窗口数量的窗口信息构成。在图4中，除了开头以外的各行是一个窗口信息。窗口信息由窗口的名称即窗口标题、窗口固有的标识符即窗口句柄、窗口的左上端的坐标即窗口位置、窗口的宽度和高度即窗口尺寸构成。如图3所示，在被操作装置1的画面6上显示4个窗口7a、7b、7c、7d，因此，显示窗口信息列表由4个窗口信息构成。

远程操作装置2的第1控制部21根据经由第1通信部22取得的显示窗口信息列表，使显示信号输出部24输出显示窗口一览的显示信号。图5是示出显示器2e的画面27上显示的窗口一览的一例的图。使用者例如对鼠标2g进行操作，从窗口一览中选择作为进行操作的对象的窗口即操作对象窗口。

远程操作装置2的第1控制部21在画面27上显示远程操作用窗口10，该远程操作用窗口10是用于显示在窗口一览中选择出的操作对象窗口的窗口。图6是示出远程操作用窗口10的图。在图6中，远程操作用窗口10生成为具有与操作对象窗口相同宽度的像素和相同高度的像素的客户端区域的窗口。客户端区域是窗口的除去标题条和边框以外的区域。在图6中示出没有标题条和边框的窗口。第1控制部21在光标9存在于远程操作用窗口10的客户端区域内的情况下，取得键盘2f或鼠标2g的操作信息。使用者能够对操作对象窗口内的全部位置进行操作。

图7中示出操作信息的一例。如图7所示，操作信息由“操作种类”、“数据1”、“数据2”这3个信息构成。操作种类表示键盘或鼠标的操作的种类。

图8是示出在图7的操作种类栏中使用的操作种类的定义的图。“操作种类”栏表示操作种类的名称，“内容”栏表示操作的内容。图8所示的操作种类是一部分，也可以是这里未示出的操作种类。数据1和数据2是与操作种类对应的数据。图9是示出与操作种类对应的数据1和数据2的一例的图。在图9中，光标位置表示光标在远程操作用窗口中的客户端坐标。远程操作用窗口的客户端坐标是设远程操作用窗口的客户端区域的左上端的位置为原点(0，0)时的相对的光标的坐标。在图7中，第1个操作信息(wm_lbuttondown)表示在光标位置(50，50)处按压了鼠标的左按钮。并且，第2个操作信息(wm_lbuttonup)表示在光标位置(50,50)处松开了鼠标的左按钮。第3个操作信息(wm_keydown)表示按压了“a”这样的键。第4个操作信息(wm_keyup)表示松开了“a”这样的键。

远程操作装置2的第1控制部21对第1通信部22进行控制，向被操作装置1发送操作信息和操作对象窗口的显示窗口信息即操作对象窗口信息。

被操作装置1的第2控制部11经由第2通信部12从远程操作装置2接收操作信息和操作对象窗口信息。第2控制部11计算在被操作装置1的画面6上的光标8的光标位置。当设操作信息中包含的光标位置为(lpx，lpy)、操作对象窗口在被操作装置1的画面6上的左上端的位置为(twinx，twiny)、操作对象窗口的大小为(twinw，twinh)时，利用下述的计算式求出在被操作装置1的画面6上的光标8的光标位置(rpx，rpy)。

rpx＝twinx+lpx…(式1)

rpy＝twiny+lpy…(式2)

被操作装置1的第2控制部11将操作对象窗口配置在最前面。而且，第2控制部11在操作信息是鼠标操作的信息的情况下，判定在被操作装置1的画面6上的光标8的光标位置(rpx，rpy)是否在画面6的画面外。具体而言，当设在被操作装置1的画面6上的光标8的光标位置为(rpx，rpy)、画面6的画面尺寸为(dispw，disph)时，通过是否满足以下的式3和式4进行判定。

0≦rpx<dispw…(式3)

0≦rpy<disph…(式4)

在满足上述式3和式4双方的情况下，判定为光标8在画面内。除此以外的情况下，判定为光标8在画面外。在判定为光标8在画面外的情况下，移动操作对象窗口，以使操作对象窗口的左上端位于通过下述计算式求出的位置(ntwinx，ntwiny)。

ntwinx＝twinx-(rpx-centerx)…(式5)

ntwiny＝twiny-(rpy-centery)…(式6)

在上述式5、式6中，(centerx，centery)是被操作装置1的画面6的中心的坐标。

第2控制部11在移动操作对象窗口之后，向光标位置(centerx，centery)移动被操作装置1的画面6的光标8。在本实施例中，在移动操作对象窗口之后移动光标8，但是，也可以在移动操作对象窗口之前移动光标8。

被操作装置1的第2控制部11生成将操作信息的光标位置变更成新光标位置(centerx，centery)后的操作信息，根据操作信息，对操作对象窗口执行处理。

<动作>

图10和图11是示出本发明的实施方式中的远程操作系统的动作的流程图。下面，以使用者选择被操作装置1的窗口7c作为操作对象窗口的情况为例进行说明。

远程操作装置2的第1控制部21经由第1通信部22取得与在被操作装置1的画面6上显示的全部窗口有关的信息即显示窗口信息列表(图4)(步骤s1)。在被操作装置1中打开了4个窗口7a、7b、7c、7d。即，在与被操作装置1连接的显示器6中显示4个窗口7a、7b、7c、7d(图3)。

接着，远程操作装置2的第1控制部21根据显示窗口信息列表，使显示信号输出部24输出显示窗口一览。如图5所示，在显示器2e的画面27上显示窗口一览(步骤s2)。在图5中，配置有选择窗口7a的按钮30、选择窗口7b的按钮31、选择窗口7c的按钮32、选择窗口7d的按钮33。在各按钮30～33上显示各窗口的窗口标题，可知与被操作装置1的画面6上显示的窗口之间的对应关系。使用者例如对鼠标2g进行操作，按压按钮32，选择窗口7c作为操作对象窗口。

接着，远程操作装置2的第1控制部21从显示窗口信息列表取得选择出的窗口7c的窗口尺寸(步骤s3)。窗口7c的窗口尺寸为(640，512)。第1控制部21对显示信号输出部24进行控制，使显示器2e的画面27显示客户端区域的大小为(640，512)的远程操作用窗口10。然后，第1控制部21取得使用者操作的键盘2f或鼠标2g的操作信息(步骤s4)。

图12是示出远程操作装置中的光标位置和被操作装置中的光标位置的图。如图12所示，在进行了在远程操作用窗口10的客户端区域上的(320，256)位置处按压鼠标2g的左按钮这样的操作的情况下，生成操作种类为wm_lbuttondown、数据1为mk_lbutton、数据2为光标位置(320，256)这样的操作信息。远程操作装置2的第1控制部21经由第1通信部22向被操作装置1发送该操作信息和操作对象窗口即窗口7c的窗口信息(步骤s5)。

被操作装置1的第2控制部11经由第2通信部12接收操作信息和窗口7c的窗口信息。第2控制部11根据接收到的操作信息中包含的与鼠标有关的操作信息，使用式1和式2计算在被操作装置1的画面6上的光标8的光标位置(rpx，rpy)(步骤s6)。

根据窗口7c的窗口信息，(twinx，twiny)＝(1700，800)，根据操作信息，(lpx，lpy)＝(320，256)，因此，如下所述求出(rpx，rpy)。

rpx＝twinx+lpx＝1700+320＝2020

rpy＝twiny+lpy＝800+256＝1056

因此，如图12所示，在被操作装置1的画面6上的光标8的光标位置为(2020，1056)。

接着，被操作装置1的第2控制部11将操作对象窗口即窗口7c配置在最前面(步骤s7)。进而，第2控制部11使用式3和式4判定被操作装置1的画面6上的光标8是否在画面6外(步骤s8)。将(rpx，rpy)＝(2020，1056)、(dispw，disph)＝(1920，1080)代入式3和式4中，成为0≦2020<1920(式3)、0≦1056<1080(式4)，式3不成立。由此，判定为光标8在画面6外。接着，由于在步骤s8中判定为光标8在画面6外，因此，第2控制部11使用式5和式6计算移动操作对象窗口7c后的右上端的位置(ntwinx，tnwiny)(步骤s9)。

这里，(twinx，twiny)＝(1700，800)、(rpx，rpy)＝(2020，1056)、(centerx，centery)＝(1920/2＝960，1080/2＝540)，因此，根据式5和式6，移动操作对象窗口7c后的右上端的位置(ntwinx，ntwiny)如下所述。

ntwinx＝twinx-(rpx-centerx)＝1700-(2020-960)＝648

ntwiny＝twinx-(rpx-centerx)＝800-(1056-540)＝284

接着，第2控制部11移动窗口7c，以使操作对象窗口7c的右上端的位置成为(640，284)。进而，第2控制部11将光标8的光标位置移动到画面6的中央即位置(960，540)(步骤s10)。图13是示出移动窗口7c和光标8后的画面6的图。通过以上处理，保持着操作对象窗口7c与光标8的位置关系，对操作对象窗口7c和光标8的位置进行变更，以使光标8来到画面6内。

接着，第2控制部11使操作信息的操作种类仍为“wm_lbuttondown”，将操作信息的光标位置变更成与光标8的光标位置相同的(960，540)(步骤s11)。然后，第2控制部11根据变更后的操作信息，对操作对象窗口7c执行

“wm_lbuttondown”的处理(步骤s12)。

另外，在上述说明中，是移动操作对象窗口和光标8以使被操作装置1的光标8来到画面6的中央，但是，光标8不是必须来到画面6的中央，只要在画面6内即可。

另一方面，在步骤s8中判定为被操作装置1的光标8不在画面6外(即，光标8在画面6内)的情况下，进入步骤s12。在该步骤中，第2控制部11不变更窗口7c和光标8的位置，根据操作信息，对操作对象窗口7c执行“wm_lbuttondown”的处理。

<效果>

本发明的实施方式中的远程操作系统具有经由网络3连接的被操作装置1和远程操作装置2，其中，远程操作装置2具有：第1通信部22，其经由网络3而与被操作装置1进行通信；操作识别部23，其识别针对远程操作装置2的操作；显示信号输出部24，其输出显示信号；以及第1控制部21，被操作装置1具有：第2通信部12，其经由网络3而与远程操作装置2进行通信；以及第2控制部11，第1控制部21经由第1通信部22取得与在被操作装置1中打开的窗口的信息有关的显示窗口信息列表，第1控制部21根据显示窗口信息列表使显示信号输出部24输出显示窗口一览的显示信号，当操作识别部23识别到选择窗口一览中的任意窗口的操作后，第1控制部21经由第1通信部22向被操作装置1通知选择了哪个窗口，第1控制部21使显示信号输出部24输出显示与选择出的窗口对应的远程操作用窗口10的显示信号，第1控制部21经由第1通信部22向被操作装置1发送包含操作识别部23识别到的针对远程操作用窗口10的操作的操作信息，第2通信部12从远程操作装置2接收选择了窗口一览中的哪个窗口，第2通信部12从远程操作装置2接收操作信息，第2控制部11根据操作信息计算被操作装置1中的光标位置，第2控制部11在光标位置在光标8能够移动的区域外的情况下，保持着选择出的窗口的位置与光标位置的相对位置关系，对选择出的窗口的位置和光标位置进行变更以使光标位置来到光标8能够移动的区域内，然后，针对选择出的窗口，根据操作信息执行处理。

因此，远程操作装置2在远程操作用窗口10中显示多个窗口中的选择出的窗口，因此，使用者能够只对选择出的窗口进行操作。由此，能够防止使用者误对其它窗口进行操作。

并且，在被操作装置1中，在操作对象窗口的希望操作的部分在画面6外的情况下，窗口的希望操作的位置也进行移动以进入能够利用光标8进行操作的画面6内，并且，同时光标位置也以保持与窗口的位置关系的方式进行移动。由此，操作远程操作装置2的使用者不需要自己进行变更操作对象窗口的位置的操作，因此，能够抑制使用者进行误操作。并且，在对尺寸大于画面6的窗口进行操作的情况下，也能够容易地进行操作。

并且，在本发明的实施方式的远程操作系统中，第2控制部11将选择出的窗口配置在最前面。

因此，在被操作装置1中，在操作对象窗口隐藏在其它窗口下的情况下，也自动地将操作对象窗口配置在最前面。由此，操作远程操作装置2的使用者不需要自己进行将操作对象窗口配置在前面的操作，因此，能够抑制使用者进行误操作。

并且，本发明的实施方式的远程操作系统中的信息处理方法，远程操作系统具有经由网络3连接的被操作装置1和远程操作装置2，其中，所述信息处理方法具有以下步骤：(a)在远程操作装置2中，取得与在被操作装置1中打开的窗口的信息有关的显示窗口信息列表；(b)在远程操作装置2中，输出显示基于显示窗口信息列表的窗口一览的显示信号；(c)在远程操作装置2中，当选择窗口一览中的任意窗口后，向被操作装置1通知选择了哪个窗口；(d)在远程操作装置2中，输出显示与选择出的窗口对应的远程操作用窗口10的显示信号；(e)在远程操作装置2中，向被操作装置1发送包含针对远程操作用窗口10的操作的操作信息；(f)在被操作装置1中，从远程操作装置2接收选择了窗口一览中的哪个窗口；(g)在被操作装置1中，从远程操作装置2接收操作信息；(h)在被操作装置1中，根据操作信息计算被操作装置1中的光标位置；(i)在步骤(h)之后，在被操作装置1中，在计算出的光标位置在光标8能够移动的区域外的情况下，保持着选择出的窗口的位置与计算出的光标位置的相对位置关系，对选择出的窗口的位置和光标位置进行变更以使光标位置来到光标8能够移动的区域内；以及(j)在步骤(i)之后，在被操作装置1中，针对选择出的窗口，根据操作信息执行处理。

因此，远程操作装置2在远程操作用窗口10中显示多个窗口中的选择出的窗口，因此，使用者能够只对选择出的窗口进行操作。由此，能够防止使用者误对其它窗口进行操作。

并且，在被操作装置1中，在操作对象窗口的希望操作的部分在画面6外的情况下，窗口的希望操作的位置也进行移动以进入能够利用光标8进行操作的画面6内，并且，同时光标位置也以保持与窗口的位置关系的方式进行移动。由此，操作远程操作装置2的使用者不需要自己进行变更操作对象窗口的位置的操作，因此，能够抑制使用者进行误操作。并且，在对尺寸大于画面6的窗口进行操作的情况下，也能够容易地进行操作。

并且，本发明的实施方式中的信息处理方法还具有以下步骤：(k)在被操作装置1中，将选择出的窗口配置在最前面。

因此，在被操作装置1中，在操作对象窗口隐藏在其它窗口下的情况下，也自动地将操作对象窗口配置在最前面。由此，操作远程操作装置2的使用者不需要自己进行将操作对象窗口配置在前面的操作，因此，能够抑制使用者进行误操作。

详细说明了本发明，但是，上述说明在全部方面是例示性的，本发明不限于此。可解释为能够在不脱离本发明的范围的情况下想到未例示的无数变形例。

标号说明

1：被操作装置；2：远程操作装置；3：网络；11：第2控制部；12：第2通信部；13：操作识别部；14：显示信号输出部；15：显示部；16：操作部；21：第1控制部；22：第1通信部；23：操作识别部；24：显示信号输出部；25：显示部；26：操作部；1a、2a：处理器；1b、2b：通信装置；1c、2c：存储装置；1d、2d：输入输出接口；1e、2e：显示器；1f、2f：键盘；1g、2g：鼠标；6、27：画面；8、9：光标；10：远程操作用窗口；7a、7b、7c、7d：窗口。