图像处理装置、图像处理系统和图像处理方法与流程
本发明涉及图像处理装置、图像处理系统和图像处理方法，特别涉及通过连接到网络线路而使用的图像处理装置、包括通过网络连接到图像处理装置的具有通信功能的信息处理装置的图像处理系统、以及在图像处理装置中进行的图像处理方法。
背景技术：
近年来，在正常会议和远程会议中已经使用了称为电子信息板的电子黑板，其中触摸面板被安装在诸如液晶显示器和等离子体显示器的平板显示器上或投影仪的投影屏幕上。例如，ptl1公开了一种电子黑板(电子信息板)，其可以通过连接个人计算机(pc)，在屏幕上显示在pc上显示的图像。
技术实现要素：
技术问题
但是，当在包括ptl1中描述的电子黑板的常规电子黑板上进行笔画绘制时，会出现如何区分当在pc等上进行远程操作时来自点击操作的点图像的笔画与来自电子黑板的其它笔画。
鉴于上述情况，需要提供一种能够在进行笔画绘制的同时在诸如pc的信息处理装置上远程进行点击操作的图像处理装置、图像处理系统和图像处理方法。
对问题的解决方案
根据本发明的示例性实施方式，提供了一种图像处理装置，包括：事件获取单元，其基于屏幕上的操作来获取笔事件；绘制-点击确定单元，确定所述笔事件是关于点图像的笔画的事件还是关于点击操作的事件；以及倒数计时器，当所述绘制-点击确定单元接收到确定-目标笔事件以确定时开始计时，其中所述绘制-点击确定单元当计时已经结束、并且所述事件获取单元获取了关于另一笔画的笔事件时，或者当从确定-目标笔事件之前获取的关于另一笔画的笔事件结束以来的经过时间在一定时间段内时，确定所述确定-目标笔事件是关于点图像的笔画的事件。
发明的有益效果
根据本发明的示例性实施方式，可以区分点图像的笔画与点击操作，因此可以在进行笔画绘制的同时在信息处理装置上远程进行点击操作。
附图说明
图1是根据本发明的一个实施方式的图像处理系统的整体配置图。
图2是电子黑板的硬件配置图。
图3是电子黑板和笔记本个人计算机(pc)的功能框图。
图4是图像层的配置图。
图5是示出页面数据的概念图。
图6是示出笔画数据的概念图。
图7是示出坐标布置(arrangement)数据的概念图。
图8是示出媒体数据的概念图。
图9是示出远程-许可证管理表的概念图。
图10是文件处理器的功能框图。
图11是示出地址簿管理表的概念图。
图12是示出备份数据的概念图。
图13是示出连接-目的地管理表的概念图。
图14是示出参与-点管理表的概念图。
图15是服务器单元和客户端单元的通信控制器的功能框图。
图16是示出操作数据的概念图。
图17是示出经由网络线路在笔记本pc与电子黑板之间的连接建立的处理的序列的序列图。
图18是示出切换电子黑板的多个信息处理装置之间的连接的处理的序列的流程图。
图19是示出在电子黑板的显示器上展开并显示从笔记本pc发送的图像的处理的序列的流程图。
图20a是用于说明从电子黑板侧通过远程操作来进行笔记本pc的鼠标操作的处理的图。
图20b是用于说明从电子黑板侧通过远程操作来进行笔记本pc的键盘操作的处理的图。
图21是示出远程共享处理和参与处理的开始的序列的序列图。
图22是示出在远程共享处理中共享图像数据的处理的序列的序列图。
图23是示出在远程共享处理中共享操作数据的处理的序列的序列图。
图24是示出在远程共享处理中终止参与的处理的序列的序列图。
图25是事件分发单元和笔画处理器的功能框图。
图26是示出当接收到下笔(pen-down)的预览事件时进行的处理的序列的流程图。
图27是示出当接收到笔移动的预览事件时进行的处理的序列的流程图。
图28是示出当接收到提笔的预览事件时进行的处理的序列的流程图。
图29是示出当点击计时器结束时进行的处理的序列的流程图。
图30a是示出用于说明点击事件的处理的时序图的一个示例的图。
图30b是示出用于说明点击事件的处理的时序图的一个示例的图。
图30c是示出用于说明点击事件的处理的时序图的一个示例的图。
具体实施方式
下面基于图1到30的描述本发明的一个示例性实施方式。然而，实施方式中描述的组成元件、类型、组合、形状和相对位置并不旨在将本发明的范围限制于这些，而仅仅是说明性示例，除非另有具体描述。
图像处理系统1的概要
首先，将描述图像处理系统1的概要。
在图1中，示出了根据实施方式的图像处理系统1的配置。图像处理系统1包括作为连接成能够经由作为网络线的通信网络9彼此通信的图像处理装置的多个(图1中的两个)的电子黑板2a和2b、pc(pc)8以及作为信息处理装置的笔记本计算机(笔记本pc)11。图像处理系统1可以通过包括但不限于两个、三个或更多个电子黑板来配置。在本实施方式中，作为一个例子，通信网络9被假设为公司无线lan。
电子黑板2a(2b)包括作为显示单元的显示器3a(3b)。虽然显示器3a(3b)是作为图像处理装置的电子黑板2a(2b)的组成元件，但是在图
显示器3a(3b)是具有多层中布置的多个显示面板(层)的多层显示器，并且通过在各层上显示彼此不同的图像，来向用户显示其中那些图像被叠加的单个图像(见图4)。显示器3a(3b)是配备有由一种类型的触摸面板组成的稍后描述的接触传感器的触摸面板显示器。显示器3a(3b)可以用电子笔4a(4b)的笔尖或笔顶检测其屏幕上的接触(触摸)等事件，并且在屏幕上显示由该事件绘制的图像。显示器3a(3b)还可以检测用用户的手ha(hb)等的诸如轻拂、轻划和捏合(捏小/扩大(in/out))的手势，并且可以扩展和减少屏幕上显示的图像并且翻转(更改)页面。
usb存储器5a(5b)可以连接到显示器3a(3b)。电子黑板2a(2b)可以从连接到显示器3a(3b)的usb存储器5a(5b)中读出诸如pdf文件的电子文件，并将电子文件写入usb存储器5a(5b)。
笔记本pc6a(6b)经由电缆10a1(10b1)连接到电子黑板2a(2b)，电缆10a1(10b1)能够进行符合诸如displayport、数字可视界面(dvi)、高分辨率多媒体接口(hdmi，注册商标)和视频图形阵列(vga)的标准的通信。因此，可以将由显示器3a(3b)检测到的事件信息(事件的检测结果)发送到笔记本pc6a(6b)。电视(视频)会议终端7a(7b)还经由能够进行符合相同标准的通信的电缆10a2(10b2)连接到电子黑板2a(2b)。笔记本pc6a(6b)和电视会议终端7a(7b)可以通过符合诸如蓝牙(注册商标)的各种无线通信协议的无线通信连接到电子黑板2a(2b)。
笔记本pc11以无线方式(或以有线的方式)连接到通信网络9。笔记本pc11包括如图3所示的作为第一通信控制器的第一远程-屏幕传送通信控制器77、图像发送单元78和事件接收单元79。对于笔记本pc11，使用具有通信功能的通用笔记本pc。第一远程-屏幕传送通信控制器77是控制经由通信网络9在笔记本pc11和电子黑板2a(2b)之间进行的通信的控制器。第一远程-屏幕传送通信控制器77对稍后描述的客户端单元(客户端设备)20的第二远程-屏幕传送通信控制器87进行用于连接建立(包括连接认证处理)的后续处理，并且当建立连接，指示图像发送单元78将图像数据(例如，显示在笔记本pc11的屏幕上的图像的数据)传送到电子黑板(客户端单元)。稍后将描述在第一远程-屏幕传送通信控制器77和稍后描述的电子黑板2a(2b)的第二远程-屏幕传送通信控制器87之间进行的连接建立的处理的细节。
图像发送单元78将由第一远程-屏幕传送通信控制器77指示的图像的数据发送到电子黑板2a(2b)。
事件接收单元79从电子黑板2a(2b)的稍后描述的事件发送单元89接收关于鼠标事件或键盘事件的信息。与所接收到的关于事件的信息相对应的操作将由笔记本pc11的操作系统(os)进行。
在上述配置的图像处理系统1中，两个电子黑板2a和2b经由通信网络9彼此通信，从而在电子黑板2a的显示器3a上绘制的图像可以被显示在电子黑板2b的显示器3b上。此外，在电子黑板2a的显示器3b上绘制的图像也可以被显示在电子黑板2a的显示器3a上。如上所述，在图像处理系统1中，可以进行远程共享处理，其中在两个远距离的电子黑板2a和2b之间共享相同的图像。稍后将描述在图像处理系统1中进行的远程共享处理的细节。
在下面的描述中，当指示多个电子黑板中的任何期望的电子黑板时，简单地将其简称为“电子黑板2”。以同样的方式，描述了“显示器3”、“电子笔4”、“usb存储器5”、“笔记本pc6”、“电视会议终端7”、“手h”和“电缆10”。
电子黑板2的硬件配置
接下来，将描述电子黑板2的硬件配置。
在图2中，示出了电子黑板2的硬件配置。电子黑板2包括控制电子黑板的整体操作的cpu101；其中存储用于驱动cpu101的诸如初始程序加载器(ipl)的计算机程序的rom102；用作cpu101的工作区域的ram103；固态驱动器(ssd)104，其中存储诸如计算机程序的各种数据；网络控制器105，其控制经由通信网络9(参见图1)与其它电子黑板等的通信；外部存储控制器106，其控制与连接到显示器3的usb存储器5的通信；捕获装置111，其在笔记本pc6的显示器上显示作为静止图像或运动图像的视频信息；图形处理单元(gpu)112，其进行图形所需的图像数据处理；显示控制器113，其进行屏幕显示的控制和管理以在显示器3、电视会议终端7等上显示来自gpu112的输出图像；接触传感器115，其在显示器3上检测电子笔4、用户的手h等的接触(触摸)；传感器控制器114，其控制接触传感器115；以及电子笔控制器116，其与电子笔4进行通信并检测显示器3上的触摸。
在上述各种构成单元中，cpu101、rom102、ram103、ssd104、网络控制器105、外部存储控制器106、捕获装置111、gpu112、传感器控制器114和电子笔控制器116连接到总线线路120，例如地址总线和数据总线，用于电连接。
接触传感器115是一种触摸面板，其检测通过电子笔4等在显示器3上进行的输入操作以及通过红外扫描方法(也称为红外线中断检测方法)检测其位置坐标。在红外线中断检测方法中，设置在显示器3的上侧的两端部的两个发发射和接收装置(未示出)发射与屏幕平行的多个红外线，并且接收设置在屏幕的外围的反射部件上反射的光。当电子笔4等与屏幕接触时，由两个光发射和接收设备每个发射的单个红外线的光路径被中断，并且红外线的那些中断被两个光发射和接收设备检测到。接触传感器115识别中断的红外线，并将其标识(id)输出到传感器控制器114。传感器控制器114通过使用接收到的id来识别电子笔4等的接触(即，输入操作)，并且识别其位置坐标。
作为接触传感器115的检测方法，不限于红外线中断检测方法，也可以采用各种检测方法，例如使用通过检测电容变化来识别输入操作及其位置坐标的电容式触摸面板电、检测两个相对的电阻膜的电压变化的电阻式触摸面板、检测在专用电子笔和屏幕之间产生的电磁感应的电磁感应触摸面板等。
虽然电子笔控制器116被配置为检测用电子笔4的笔尖和笔顶在显示器3上的触摸的存在，但是并不限于此，并且可以将其配置为进一步检测用把手部分和其它部分的触摸的存在。
诸如存储在ssd104中的计算机程序的各种类型的数据可以被配置为被存储(记录)在诸如cd-rom的信息记录介质中。
电子黑板2的功能配置
接下来，将描述电子黑板2的功能配置。电子黑板2成为首先启动远程共享处理的“主机设备”，并且也成为稍后参与已经启动的远程共享处理的“参与设备”。
在图3中，示出了电子黑板2的整体的功能配置。电子黑板2的功能大致分为客户端单元(客户端设备)20和服务器单元(服务器)90。这些功能由上述硬件配置中的组成单元和各种计算机程序来实现。服务器单元90通过经由通信网络9向客户端单元20提供诸如远程共享处理所需的信息的服务来主管远程共享处理。同时，客户端单元20通过从服务器单元90接收关于远程共享处理的服务来参与远程共享处理。
本实施方式中的电子黑板2具有客户端单元20和服务器单元90的功能。因此，构成图像处理系统1的电子黑板2a和2b两者可以是参与设备，并且可以是主机设备。然而，虽然在成为主机设备的电子黑板2中激活了客户端单元20和服务器单元90的两个功能，但是在成为参与设备的电子黑板2中只有客户端单元20被激活。因此，当电子黑板2a是主机设备、电子黑板2b是参与设备时，例如在远程共享处理中，电子黑板2a中的服务器单元90提供关于处理的服务，并且电子黑板2a中的客户端单元20经由同一电子黑板2a的服务器单元90与电子黑板2b的客户端单元20进行通信，电子黑板2b的客户端单元20经由电子黑板2a的服务器单元90与电子黑板2a的客户端单元20进行通信。
客户端单元20的功能配置
接下来，将描述客户端单元20的功能配置。客户端单元20包括视频获取单元21、坐标检测器22、自动调整单元23、接触检测器24、按键-事件输入单元91、作为事件获取单元的事件分发单元25、操作处理器26、手势处理器27、视频叠加单元28、图像处理器30和通信控制器60。除此之外，客户端单元20还包括与连接到通信网络9的信息处理装置进行的通信相关的部分，而不连接到诸如图3所示的笔记本pc11的其它电子黑板。这样的部分包括作为第二通信控制器(和通信控制器)的第二远程-屏幕传送通信控制器87、作为图像数据接收单元的图像接收单元88、和事件发送单元89。
视频获取单元21从诸如经由电缆10连接到电子黑板2的笔记本pc6的视频输出装置获取输出视频(图像信号)。此外，视频获取单元21分析所获取的图像信号，并提取诸如视频输出装置的显示图像(图像帧)的分辨率、更新的频率等的图像信息。所获取的图像信号和图像信息被输出到稍后将描述的图像处理器30(图像获取单元31)。
坐标检测器22检测用户生成的事件(用电子笔4的笔尖或笔顶在显示器3上的触摸等)的位置坐标。坐标检测器22进一步检测显示器3上的触摸区域的大小。这些检测结果被输出到事件分发单元25。
自动调整单元23在启动电子黑板2时被激活，并且在接触传感器115的红外扫描方法中调整信号处理等的各种参数，使得坐标检测器22可以检测具有适当分辨率的诸如触摸的事件的位置坐标。
接触检测器24检测用户产生的事件(用电子笔4的笔尖或笔底部在显示器3上的触摸等)。检测结果被输出到事件分发单元25。
当用户对显示在电子黑板2的显示器3上的键盘进行输入操作时，按键-事件输入单元91检测由输入操作产生的键盘事件。由按键-事件输入单元91检测到的键盘事件被输出到事件分发单元25。
事件分发单元25确定将电子黑板2和经由通信网络9连接的外部设备(本实施方式中的笔记本pc11)中的哪个设置为操作目标设备。在实践中，当进行鼠标输入(电子笔4的触摸输入和手h的输入)或键盘输入时，在显示器3的屏幕上显示用于设置操作目标设备的按钮(或用于选择的按钮)，且用户用例如电子笔4点击按钮，从而进行操作目标设备的设置。事件分发单元25基于坐标检测器22和接触检测器24的检测结果来识别操作目标设备的设置。由于用户的鼠标输入或键盘输入是在操作目标设备已经被设置的状态下进行的，所以目标设备的指定命令可以被包含在鼠标输入或键盘输入的一部分中。在任何事件中，当事件分发单元25确定笔记本pc11(信息处理装置)被设置为操作目标设备时，事件分发单元25发送鼠标事件(关于笔画绘制、ui操作、和对应于鼠标输入的手势操作的每个事件)或键盘事件的信息发送到事件发送单元89(参见图20a和图20b)。
同时，当事件分发单元25确定电子黑板2被设置为操作目标设备时，事件分发单元25将关于鼠标事件或键盘事件的信息发送到操作处理器26、手势处理器27、和笔画处理器32。更详细地，事件分发单元25基于由坐标检测器22检测到的事件的位置坐标、由接触检测器24检测到的检测结果和来自按键-事件输入单元91的键盘事件来确定输入事件的类型。具体地说，事件分发单元25确定笔画绘制、ui操作和手势操中的哪一个是输入事件，并且根据确定结果，将关于事件的信息分发并输出到图像处理器30(笔画处理器32)、操作处理器26和手势处理器27中的任何一个。
当在显示器3上显示稍后描述的笔画图像(b)时，笔画绘制是通过用户将电子笔4按压到显示器3上来在显示器3上绘制笔画、在显示器3上在该状态中滑动电子笔4、最后将电子笔4与显示器3分开的事件。笔画绘制不仅包括绘制笔画，还包括删除已经绘制的笔画的事件和编辑已绘制的笔画的事件。
当在显示器3上显示稍后描述的ui图像(a)时，ui操作是用户用电子笔4、手h等按下某一位置的事件。通过ui操作，设置例如由电子笔4绘制的线的颜色、宽度等。通过ui操作，还进行上述操作目标设备等的设置。
当在显示器3上显示稍后描述的笔画图像(b)时，手势操作是用户通过手h触摸显示器3并滑动它来进行诸如轻拂、轻划和捏合(捏小/扩大)的手势的事件。通过手势操作，例如可以进行图像的扩展(或缩小)、显示区域的改变或页面的切换。
操作处理器26接收关于由事件分发单元25确定为ui操作的事件的信息，并且根据导致事件的ui的元素进行上述各种操作。ui的元素例如包括按钮(包括用于设置操作目标设备的上述按钮)、列表、复选框和文本框。
手势处理器27接收关于由事件分发单元25确定为手势操作的事件的信息，并且进行对应于该信息的操作(扩展或缩小图像、显示区域的改变或页面的切换)。
视频叠加单元28在显示器3上显示由稍后描述的图像处理器30(显示叠加单元36)叠加(布局)的图像。此外，视频叠加单元28在整个显示器3上显示经由图像处理器30从视频输出设备(笔记本pc6等)发送的视频，并且在显示器3的一部分上分别显示从其它视频输出设备(电视会议终端7等)发送的视频(被称为画中画)。视频叠加单元28进一步切换到在显示器3的整个上显示画中画显示的显示。
第二远程-屏幕传送通信控制器87进行包括与经由通信网络9连接的笔记本pc11的第一远程-屏幕传送通信控制器77的连接认证处理的用于连接建立的处理。稍后将描述用于连接建立的处理。
图像接收单元88从已经建立与电子黑板2的连接的笔记本pc11的图像发送单元78接收经由通信网络9发送的图像数据。作为这种情况下的图像数据，例如通常可以想到在笔记本pc11的屏幕上显示的图像的数据。图像接收单元88将接收的图像数据发送到图像处理器30的稍后描述的远程-图像获取单元92。
如图20a中的步骤s72所示，事件发送单元89将关于从事件分发单元25接收的鼠标事件的信息发送到笔记本pc11的事件接收单元79。此外，如图20b中的步骤s74所示，事件发送单元89将关于从事件分发单元25接收到的键盘事件的信息发送到笔记本pc11的事件接收单元79。因此，通过笔记本pc11的操作系统(os)，进行与关于屏幕上接收的事件的信息对应的鼠标操作或键盘操作。
图像处理器30
图像处理器30进行叠加图像(图像层)等的处理。图像处理器30包括图像获取单元31、笔画处理器32、ui图像生成器33、背景生成器34、布局管理单元35、远程-图像获取单元92、显示叠加单元36、页面处理器37、页面-数据存储单元300、远程-许可证管理表310和文件处理器40。
图像获取单元31从由视频获取单元21获取的输出视频中获取其中包含的每个帧作为图像，并将其输出到显示叠加单元36。该图像对应于来自图4所示的视频输出设备(笔记本pc6等)的输出图像(c)。
笔画处理器32接收关于由事件分发单元25确定为笔画绘制(使用电子笔4或手h绘制的笔画)的事件的信息；绘制、删除和编辑由笔画绘制的图像(笔画图像)；并将其图像数据和笔画数据输出到显示叠加单元36和页面处理器37。由笔画绘制的图像对应于图4所示的笔画图像(b)。笔画图像的绘制、删除和编辑的各个结果存储在操作-数据存储单元840(参见图15)中作为操作数据。
ui图像生成器33生成在电子黑板2中预先设置的用户界面(ui)图像，并将其输出到显示叠加单元36。该ui图像对应于图4所示的ui图像(a)。
背景生成器34从页面处理器37接收页面处理器37从页面-数据存储单元300读出的页面数据中包含的媒体数据。背景生成器34将接收到的媒体数据输出到显示叠加单元36。通过媒体数据得到的图像对应于图4所示的背景图像(d)。背景图像(d)的图案为空白、网格显示等。
布局管理单元35管理关于布局的信息(布局信息)，该布局指定从图像获取单元31和笔画处理器32输出的输出图像(c)和笔画图像(b)相对于从ui图像生成器33和背景生成器34输出的ui图像(a)和背景图像(d)的布置方式(显示在哪个位置)，或者指定它们不显示。该布局信息被输出到显示叠加单元36。
远程-图像获取单元92从由图像接收单元88获取的输出视频中获取每帧作为图像，并将其输出到稍后将描述的显示叠加单元36。该图像对应于来自信息处理装置(笔记本pc11等)的输出图像(参照图4中的(c))。
显示叠加单元36根据从布局管理单元35输出的布局信息，布局从ui图像生成器33输出的ui图像(a)、从笔画处理器32输出的笔画图像(b)、从图像获取单元31或远程-图像获取单元92输出的输出图像(c)和从背景生成器34输出的背景图像(d)，并分别地从显示器3的近侧(用户侧)开始依次在第一至第四显示面板(层)上显示。因此，如图4所示，这四个图像从用户侧开始按照ui图像(a)、笔画图像(b)、输出图像(c)和背景图像(d)的序列叠加。
显示叠加单元36还可以根据从布局管理单元35输出的布局信息，适当地将输出图像(c)和背景图像(d)中的每一个转换为不显示。例如，当视频输出设备(笔记本pc6等)的连接丢失时，显示叠加单元36将输出图像(c)转换为不显示，并从显示器3的近侧(用户侧)开始在第一、第二和第四显示面板(层)上分别显示ui图像(a)、笔画图像(b)和背景图像(d)。因此，显示从用户侧开始的以ui图像(a)、笔画图像(b)和背景图像(d)的序列重叠的三个图像。显示叠加单元36进一步进行图像的显示区域的扩展、缩小和移动的处理。稍后将描述在显示器3上扩展和显示从笔记本pc11发送的图像的处理。
页面处理器37将笔画图像(b)的数据和输出图像(c)的数据合在一起成为单个页面数据，并将其存储在页面-数据存储单元300中。笔画图像(b)的数据构成作为图5所示的笔画-布置数据id示出的笔画布置数据(每个笔画数据)的页面数据的一部分。输出图像(c)的数据构成作为由图5所示的媒体数据id指示的媒体数据的页面数据的一部分。当从页面-数据存储单元300读出时，将媒体数据作为背景图像(d)的数据进行处理。
页面处理器37经由背景生成器34将一旦存储的页面数据中的媒体数据发送到显示叠加单元36，从而视频叠加单元28可以刷新显示器3上的背景图像(d)的显示。页面处理器37将页面数据中的笔画布置数据(每个笔画数据)返回到笔画处理器32，从而能够使笔画处于可以进行重新编辑的状态。此外，页面处理器37还可以删除和复制页面数据。
也就是说，在页面处理器37将页面数据存储在页面-数据存储单元300中时，显示在显示器3上的输出图像(c)的数据被存储在页面-数据存储单元300中，并且当随后从页面-数据存储单元300中读出时，其被读出作为指示背景图像(d)的媒体数据。页面处理器37然后将从页面-数据存储单元300读出的页面数据中的、指示笔画图像(b)的笔画布置数据输出到笔画处理器32。页面处理器37还将从页面-数据存储单元300读出的页面数据中的指示背景图像(d)的媒体数据输出到背景生成器34。
在图中。在图5中，示出了页面数据的一个示例。页面数据是显示器3上显示的单个页面的数据，即在显示器3上显示笔画图像(b)的笔画布置数据(每个笔画数据)以及在显示器3上显示背景图像(d)的媒体数据。页面数据包括标识页面的页面数据id；该页面的显示开始的时间(开始时间)；通过笔画、手势等结束页面数据的更新的时间(结束时间)；笔画-布置数据id，其标识通过使用电子笔4、手h等由笔画生成的笔画布置数据；以及标识媒体数据的媒体数据id。
在图6中，示出了笔画布置数据的一个示例。单个笔画布置数据由多个笔画数据组成。针对通过使用电子笔4绘制的每个笔画产生笔画数据。因此，当绘制字母“s”时，需要一个笔画，因此笔画图像由单个笔画数据再现。当绘制字母“t”时，需要两个笔画，因此笔画图像由两个笔画数据再现。
每个笔画数据由标识该笔画数据的笔画数据id、绘制笔画开始的时间(开始时间)和绘制结束的时间(结束时间)、笔画的颜色和宽度以及用于标识包括关于经过点的信息的坐标布置数据的坐标布置数据id。
在图7中，示出了坐标布置数据的一个例子。坐标布置数据包括对应于一个笔画的、关于以规则的时间间隔从笔画的开始到结束已经经过的多个经过点的信息。坐标数据包括显示器3上的位置坐标(x坐标和y坐标)、笔画经过位置坐标的点的时间(相对于笔画的开始时间的差时间)、以及电子笔4的笔压力。
在图8中，示出了媒体数据的一个示例。媒体数据是关于在记录页面数据时显示在显示器3上的图像信息(笔画图像(b)和背景图像(d))的信息的数据，并且包括数据类型、记录时间、关于图像的布局的数据(称为布局数据)和数据内容。例如，当在显示器3上没有显示背景图像(d)并且仅显示笔画图像(b)时，仅该笔画图像(b)的数据被包括在媒体数据中，并且当在显示器3上显示背景图像(d)和笔画图像(b)两者时，两者的数据被包括在媒体数据中。
返回参考图3，远程-许可证管理表310管理进行远程共享处理所需的许可证数据。在图中。参考图9，示出了远程-许可证管理表的一个示例。远程-许可证管理表包括电子黑板2的产品id、用于认证的许可证id和许可证的到期日期。
文件处理器40的功能配置
接下来，将描述文件处理器40的功能配置。
在图10中，示出了文件处理器40的功能配置。文件处理器40包括恢复处理器41、文件转换器43、文件输入单元42a、文件输出单元42b、文件发送单元44、地址簿输入单元45、备份处理器46、备份输出单元47、设置管理单元48、配置文件输出单元49b、配置文件输入单元49a和地址簿输入单元50。文件处理器40还包括存储和管理各种数据的地址簿管理表410、备份数据存储单元420、配置-文件存储单元430和连接-目的地管理表440。
当电子黑板2因电力中断而异常地终止时，恢复处理器41检测出异常终止并恢复未保存的页面数据。即使当电子黑板2异常终止时，页面数据也已被存储并保留在页面-数据存储单元300中。因此，恢复处理器41在电源接通时通过从页面-数据存储单元300读出来恢复页面数据。
文件转换器43读出在页面-数据存储单元300中的以页为单位存储的页面数据(参见图5)，并将其转换为pdf文件。当多个页面数据被存储在页面-数据存储单元300中时，它们被单独地转换成多个pdf文件(即，以页为单位)或被一体化地转换成单个pdf文件。转换的pdf文件被输出到备份处理器46。
文件输入单元42a从usb存储器5读入pdf文件，转变(转换)以页面为单位存储的笔画图像(b)和背景图像(d)以及布局数据(参见图8)的相应数据为页面数据，并将页面数据存储在页面-数据存储单元300中。当多个pdf文件被存储在usb存储器5中时，它们中的所有页面数据都被转变。
文件输出单元42b在usb存储器5中存储从文件转换器43输出的pdf文件。
文件发送单元44将从文件转换器43输出的pdf文件通过将其附加到电子邮件上以发送。在地址簿管理表410中管理电子邮件的目的地(电子邮件地址)。在图中。在图11中，示出了地址簿管理表410的一个示例。在地址簿管理表410中，将收件人的姓名和电子邮件地址彼此相关联地放在一起。地址簿管理表410的内容由显示叠加单元36显示在显示器3上，用户通过观察该显示并操作诸如触摸屏的输入设备来选择目的地的电子邮件地址。用户还可以通过操作诸如触摸面板的输入设备来输入目的地的电子邮件地址。文件发送单元44确定所选择或输入的电子邮件地址是目的地。
地址簿输入单元45从usb存储器5读入作为电子邮件地址列表的地址簿(例如，csv格式的电子文件)，并将该内容存储在地址簿管理表410中。
备份处理器46通过从文件转换器43接收pdf文件并将其存储在备份数据存储单元420中来进行备份。在图12中，示出了备份数据的一个示例。备份数据以pdf格式存储为文件(pdf文件)。当备份由用户设置时进行备份处理，并且在未设置的情况下不进行备份处理。
备份输出单元47将存储在备份数据存储单元420中的pdf文件存储在usb存储器5中。在存储时，为了安全起见，需要用户通过操作诸如触摸面板的输入设备来输入密码。存储在usb存储器5中的pdf文件可以由前述文件输入单元42a读取。
设置管理单元48通过将其存储在配置-文件存储单元430中并从其读出来管理关于电子黑板2的各种类型的设置信息。关于电子黑板2的设置信息例如包括关于网络设置、时间和日期设置、区域和语言设置、邮件服务器设置、地址簿设置、连接目的地列表设置和备份设置的信息。例如，网络设置包括电子黑板2的ip地址设置、网络掩码设置、默认网关设置和域名系统(dns)设置。
配置文件输出单元49b将关于电子黑板2的上述各种类型的设置信息存储在usb存储器5中作为配置文件。通过安全性，用户不能看到配置文件的内容。
配置文件输入单元49a从usb存储器5读入配置文件，并将其内容输出到设置管理单元48。因此，各种设置信息被反映在电子黑板2的各种设置中。
地址簿输入单元50从usb存储器5读入作为远程共享处理中的目的地ip地址的列表的连接目的地列表(例如，csv格式的电子文件)，并将其存储在连接-目的地管理表440中。连接-目的地管理表440是预先存储电子黑板2的ip地址的表，以当电子黑板2是参与设备(后来参与已经启动的远程共享处理的电子黑板2)时节省用户输入主机设备(启动远程共享处理的电子黑板2)的ip地址的时间。
在图13中，示出了连接-目的地管理表440的一个示例。在连接-目的地管理表440中，将用作主机设备的电子黑板2的名称(在本例中，通过使用安装电子黑板2的位置的名称给出)和ip地址相互关联地放在一起。
代替使用连接-目的地管理表440，可以配置其为使得参与设备的用户通过操作诸如触摸面板的输入设备逐个输入主机设备的ip地址。在这种情况下，参与设备的用户需要通过电话、电子邮件等从主机设备的用户知道主机设备的ip地址。
通信控制器60的功能配置
接下来，将描述通信控制器60的功能配置。
在图15中，通信控制器60的功能配置与服务器单元90的功能配置一起示出。通信控制器60控制经由通信网络9与其它电子黑板2进行的通信。如图15所示，通信控制器60包括远程启动处理器61、远程参与处理器62、远程-图像发送单元63、远程-图像接收单元64、远程-操作发送单元65、远程-操作接收单元66和参与-点管理表610。
远程启动处理器61请求稍后描述的服务器单元90新启动远程共享处理，并从服务器单元90接收请求的结果。在请求之前，远程启动处理器61参照远程-许可证管理表310，并检查许可证信息(电子黑板2的产品id、许可证id和许可证的到期日期)是否被管理。远程启动处理器61仅在许可证信息被管理时请求远程共享处理的启动，并且在不被管理时不请求它。
远程参与处理器62经由通信网络9从主机设备(已经启动远程共享的电子黑板2)的服务器单元90(远程-连接请求接收单元71)请求参与远程共享处理处理，并从服务器单元90接收请求的结果。在请求之前，远程参与处理器62参考远程-许可证管理表310。远程参与处理器62还参考连接-目的地管理表440并获取主机设备的ip地址。代替远程参与处理器62参考连接-目的地管理表440，可以将其配置为使得用户通过操作诸如触摸面板的输入设备逐个输入主机设备的ip地址。
远程-图像发送单元63分别经由图像获取单元31或远程-图像获取单元92向服务器单元90(远程-图像接收单元73)发送从视频获取单元21(见图3)或图像接收单元88(见图3)发送的输出图像(c)。
远程-图像接收单元64从服务器单元90(远程-图像发送单元74)接收来自连接到另一电子黑板2的视频输出设备的输出图像(图像信号)，并将其输出到显示叠加单元36。因此，可以进行远程共享处理。
远程-操作发送单元65向服务器单元90(远程-操作接收单元75)发送远程共享处理所需的各种操作数据。各种类型的操作数据包括关于笔画的添加、笔画的删除、笔画的编辑(扩展、缩小、移动)、页面数据的存储、页面数据的创建、页面数据的复制、页面数据的删除、以及显示页面的切换的数据。
远程-操作接收单元66从服务器单元90(远程-操作发送单元76)接收输入到另一电子黑板2中的操作数据，并将其输出到图像处理器30。因此，进行远程共享处理。
当电子黑板是主机设备时，参与-点管理表610是用于管理当前参与远程共享处理的作为参与设备的电子黑板的表格。在图14中，示出了参与-点管理表610的一个示例。在参与-点管理表610中，将作为参与设备的电子黑板2的名称(在本例中通过使用该电子黑板2被安装的地点的名称给出)与ip地址相互关联地放在一起。
服务器单元90的功能配置
接下来，将描述服务器单元90的功能配置。在本实施方式中，电子黑板2全部设置有服务器单元90，电子黑板2中的任何一个可以进行服务器单元90的功能。从图中可以看出。如图15所示，服务器单元90通常包括通信控制器70和数据管理单元80。
通信控制器70的功能配置
首先，对通信控制器70的功能配置进行说明。通信控制器70控制与电子黑板2的客户端单元20中的通信控制器60的通信、以及经由通信网络9与其它电子黑板2的客户端单元20中的通信控制器60的通信。通信控制器70包括远程-连接请求接收单元71、远程-连接结果发送单元72、远程-图像接收单元73、远程-图像发送单元74、远程-操作接收单元75和远程-操作发送单元76。
远程-连接请求接收单元71从远程启动处理器61接收远程共享处理的启动请求，并经由通信网络9从另一电子黑板2的远程参与处理器62接收用于参与远程共享处理的请求。远程-连接结果发送单元72将远程共享处理的启动请求的结果发送到远程启动处理器61，并且经由通信网络9将用于参与远程共享处理的请求的结果发送到另一电子黑板2的远程参与处理器62。
远程-图像接收单元73从远程-图像发送单元63接收图像数据(输出图像(c))，并将其发送到稍后描述的远程图像处理器82。远程-图像发送单元74从远程图像处理器82接收图像数据并将其发送到远程-图像接收单元64。
远程-操作接收单元75从远程-操作发送单元65接收操作数据(笔画图像(b)的数据等)，并将其发送到稍后描述的远程操作处理器83。远程-操作发送单元76从远程操作处理器83接收操作数据并将其发送到远程-操作接收单元66。
数据管理单元80的功能配置
接下来，将描述数据管理单元80的功能配置。数据管理单元80管理操作数据、图像数据等。数据管理单元80包括远程连接处理器81、远程图像处理器82、远程操作处理器83、操作组合处理器84和页面处理器85。数据管理单元80还包括存储和管理各种数据的密码管理单元810、参与-点管理表820、图像-数据管理单元830、操作-数据存储单元840和页面-数据存储单元850。
远程连接处理器81进行远程共享处理的启动和终止。在启动远程共享处理时，远程连接处理器81确定是否允许参与另一电子黑板2的远程共享处理。远程连接处理器81从远程启动处理器61接收到远程-连接请求接收单元71与远程共享处理的启动请求一起接收的许可证信息、或从远程参与处理器62接收与参与远程共享处理的请求一起接收到的许可证信息，并检查许可证的存在和许可证的有效性。远程连接处理器81还检查来自其它电子黑板2的参与请求的数量是否超过了允许的预定参与人数。当有效许可证不存在时或者当参与请求的数量超过允许的参与者数量时，远程连接处理器81拒绝参与远程共享处理。
远程连接处理器81进一步确定(认证)与参与远程共享处理的请求一起从其它电子黑板2发送的密码是否与由密码管理单元810管理的密码相匹配，并且只有当密码匹配时，它才允许参与远程共享处理。
密码在新启动远程共享处理时由远程连接处理器81发出，且由密码管理单元810进行管理。参与远程共享处理的参与设备的用户通过电话、电子邮件等从主机设备的用户获取密码。参与设备的用户将获取的密码输入到参与设备，从而能够请求参与远程共享处理。通过相比于安全性而给用户的可用性优先级，可以仅检查许可条件，并且可以省略对密码的检查。
在启动远程共享处理时，远程连接处理器81在参与-点管理表820中存储经由通信网络9从参与设备的远程参与处理器62发送的参与请求中包含的参与点信息。远程连接处理器81还读出存储在参与-点管理表820中的参与点信息，并将参与点信息发送到远程-连接结果发送单元72。参与点信息被发送到远程启动处理器61，并且被存储在参与-点管理表610中。因此，在主机设备中，将在客户端单元20和服务器单元90两者中管理相同内容的参与点管理信息。
远程图像处理器82从连接到参与远程共享处理的电子黑板2(包括主机设备和参与设备)的客户端单元20的视频输出设备(笔记本pc6等(见图3))接收图像数据(输出图像(c))，并将数据存储在图像-数据管理单元830中，然后根据接收到的时间(时间序列)确定对其进行远程共享处理的图像数据的显示序列。远程图像处理器82还参考参与-点管理表820，并且根据确定的显示序列，通过通信控制器70(远程-图像发送单元74)将图像数据发送到参与远程共享处理的所有电子黑板2(包括主机设备和参与设备)的客户端单元20。
远程操作处理器83接收各种类型的操作数据(笔画图像(b)等)，例如在参与远程共享处理的电子黑板2(包括主机设备和参与设备两者)的客户端单元20中绘制的笔画图像，并根据接收时间(时间序列)确定图像的显示序列。各种类型的操作数据与上述各种类型的操作数据相同。远程操作处理器83还参考参与-点管理表820，并将操作数据发送到参与远程共享处理的所有电子黑板2(包括主机设备和参与设备两者)的客户端单元20。
操作组合处理器84组合从远程操作处理器83输出的每个电子黑板2的操作数据，然后将组合的操作数据存储在操作-数据存储单元840中，并将组合的操作数据返回到远程操作处理器83。已经返回到远程操作处理器83的操作数据经由远程-操作发送单元76发送到主机设备和参与设备的各个客户端单元20。因此，在每个电子黑板2中，显示关于操作数据的相同图像。
在图16中，示出了操作数据的一个示例。在操作数据中，序列号(seq)、操作名称、发送源的电子黑板2的ip地址和客户端单元(服务器单元)的端口号、目的地的电子黑板2的ip地址和客户端单元(服务器单元)的端口号、操作的类型、操作的目标以及关于操作的内容的数据相互关联地被放在一起。例如，在操作数据seq1中，示出在作为主机的电子黑板(ip地址：192.0.0.1)的客户端单元(端口号：50001)中绘制笔画，将操作类型“笔画”和操作目标“(页面数据id)p005”的笔画数据发送到同一主机设备的电子黑板(ip地址：192.0.0.1)的服务器单元(端口号：50000)。在操作数据seq2中，指示笔画数据被从作为主机设备的电子黑板(ip地址：192.0.0.1)的服务器单元(端口号：50000)发送到作为参与设备的另一电子黑板(ip地址：192.0.0.2)的客户端单元(端口号：50001)。
操作组合处理器84按照输入的序列组合操作数据，因此按照用户在每个电子黑板2中的笔画序列在参与远程共享处理的所有电子黑板2的显示器3上显示笔画图像(b)，只要通信网络9不拥塞。
页面处理器85具有与客户端单元20的图像处理器30中的页面处理器37相同的功能，并且在页面-数据存储单元850中存储如图5至7所示的页面数据。页面-数据存储单元850与图像处理器30中的页面-数据存储单元300的内容的相同，因此省略其说明。
用于连接建立的处理
接下来，将基于图17描述包括在与电子黑板2(2a或2b)同一房间中的笔记本pc11与电子黑板2的客户端单元20之间的连接认证处理的用于连接建立的处理，作为一个例子。这里假设使用作为公共密钥加密系统的示例的高级加密标准(aes)来加密的质询-响应系统的认证处理被进行作为连接认证处理。在经由通信网络9进行在笔记本pc11(第一远程-屏幕传送通信控制器77)和客户端单元20(第二远程-屏幕传送通信控制器87)之间的以下通信时，在以下描述中省略关于通信网络的说明，除非特别需要。
首先，在步骤s51中，笔记本pc11的第一远程-屏幕传送通信控制器77向第二远程-屏幕传送通信控制器87发送质询(随机数据)。这种质询的发送还起着对从笔记本pc11到电子黑板2的连接请求的处理的作用。
接下来，在步骤s52中，客户端单元20的第二远程-屏幕传送通信控制器87使用公共密钥(假设在此使用预先保留的密码)作为密钥对该接收到的(获取的)质询进行aes加密，并生成被称为响应码(以下简称为响应)的一次性密码。
在步骤s53中，第二远程-屏幕传送通信控制器87将生成的响应发送到第一远程-屏幕传送通信控制器77。
在步骤s54，接收到响应的第一远程-屏幕传送通信控制器77以与在客户端上进行的响应创建过程相同的方式，以密码作为密钥通过aes加密质询而计算响应。在下一步骤s55，第一远程-屏幕传送通信控制器77将接收到的响应与控制器自身计算的响应(控制器本身加密的质询)进行核对(比较)。
然后，第一远程-屏幕传送通信控制器77在下一步骤s56将认证结果发送到第二远程-屏幕传送通信控制器87。在该步骤s56中，作为上述对照的结果，当控制器本身计算的响应(加密的质询)和接收到的响应匹配时，第一远程-屏幕传送通信控制器77向第二远程-屏幕传送通信控制器87发送认证成功的信息，并且当不匹配时，向第二远程-屏幕传送通信控制器87发送认证失败的信息。在本实施方式中，配置为从作为接收认证的设备侧的笔记本pc11侧发送质询，也作为连接请求的处理，因此不用说，单独使用防止第三方的非法连接的方式。这样的方式包括例如在认证成功的信息的一部分中包括某些加密数据，例如其中用作密钥的密码的特定部分被加密的数据。
当认证成功时，第一远程-屏幕传送通信控制器77建立与电子黑板2的连接。
如上所述，在笔记本pc11的第一远程-屏幕传送通信控制器77和客户端单元20的第二远程-屏幕传送通信控制器87之间进行用于连接建立的处理。
如上所述，在本实施方式中，进行质询响应系统的认证处理，因此，不在网络上发送密码(整体密码)(不通过电报交换密码(整体密码)))，可以证明笔记本pc11具有与电子黑板2a侧正确的密码。第三方无法仅通过笔记本pc11发送的质询产生响应，并且无法从质询和响应中进行密码的反计算。笔记本pc发送的质询每次发生变化，并且基于此而计算的响应也每次都改变。因此，即使第三方窃听数据包，也难以解密密码。对于与电子黑板2的非法连接，即使通过复制响应来尝试登录笔记本pc11，由于每次登录时响应都变化，认证失败。采用aes加密，与例如经常在web浏览器和web服务器之间的ssl通信中使用的rc4的其它加密技术相比，aes加密功能非常强大。如上所述，在本实施方式中，在笔记本pc11和电子黑板2a之间进行高安全级别的连接认证处理。
如上所述，当通过第一远程-屏幕传送通信控制器77和第二远程-屏幕传送通信控制器87之间的aes加密的认证成功并且笔记本pc11和电子黑板2之间的连接建立时，图像接收单元88经由通信网络9接收从图像发送单元78发送的图像数据。作为这种情况下的图像数据，例如通常可以想到在笔记本pc11的屏幕上显示的图像的数据。图像接收单元88将接收到的图像数据发送到图像处理器30的远程-图像获取单元92。
接下来，将描述例如在第一信息处理装置(例如笔记本pc11)连接到电子黑板2的客户端单元20时，当从连接到通信网络9的另一笔记本pc的第二信息处理装置发送连接请求时的处理。在图中。在图18中，示出了在这种情况下的处理的序列的流程图。在下面的描述中，将说明其中第二信息处理装置是存在于与连接到通信网络9的笔记本pc11相同的房间中的另一笔记本pc(作为一个示例)的情况。
当在连接到第一信息处理装置(例如，笔记本pc11)的同时从第二信息处理装置进行连接请求时，在步骤s57，第二远程-屏幕传送通信控制器87接收该连接请求(例如，与上述相同的质询)。然后，第二远程-屏幕传送通信控制器87与第二信息处理装置(其通信控制器)进行与前述相同的连接认证处理。随后，当从第二信息处理装置(其通信控制器)接收到连接认证成功并且接收到认证成功的信息时，第二远程-屏幕传送通信控制器87建立与第二信息处理装置的连接，并断开与第一信息处理装置(笔记本pc11)的连接(步骤s58，步骤s59)。这结束了电子黑板2的目的地信息处理装置的改变(切换)。在本实施方式中，电子黑板2的连接-目的地的信息处理装置的改变(切换)以所谓的最后者赢(last-win)的方式进行。在电子黑板的连接-目的地的信息处理装置的上述改变(切换)时，每次改变时都不需要切换电缆等的操作。
如上所述，当电子黑板2的连接-目的地从第一信息处理装置切换到第二信息处理装置时，电子黑板2的图像接收单元88接收从第二信息处理装置发送的图像数据。接收的图像数据被发送到图像处理器30(远程-图像获取单元92)，并且在显示叠加单元36中，通过使用图像数据来进行上述的处理，且布局图像的数据被生成为用于在显示器3的屏幕上显示的显示图像数据。然后，通过视频叠加单元28将显示图像数据对应的图像显示在显示器3的屏幕上(步骤s60)。
在显示器3上显示从笔记本pc11发送的图像的处理
接下来，将描述在显示器3上展开(或缩小)和显示从笔记本pc11发送的图像的处理。在图19中，作为一个示例，在流程图中示出了在展开和显示时进行的处理的序列。
假设如下前提条件：电子黑板2所包括的显示器3的屏幕上正显示与显示在笔记本pc11的屏幕上的图像相同的图像。
通过用户在图像显示于其上的显示器3的屏幕上进行扩大(pinchout)手势开始图19所示的处理，作为一个示例。扩大手势是指将两根手指放置在屏幕上并通过手指的移动增大手指之间的间隔的操作，且还要指定放大率等。
首先，在步骤s61，图像接收单元88经由通信网络9从图像发送单元78接收显示在笔记本pc11的屏幕上的图像的数据。该图像数据被发送到远程-图像获取单元92。
在下一步骤s62中，远程-图像获取单元92获取由用户进行的上述扩大手势指定的放大率、以及对应于来自手势处理器27的手势操作的处理的指示数据(包括由坐标检测器22获得的坐标数据)。在计算放大率之前，由坐标检测器22检测用户在显示器3上进行手势时手指的移动(坐标位置)，事件分发单元25确定它是手势操作，并且在手势处理器27中，进行与手势操作相对应的处理。作为该处理的一部分，计算放大率。具体地，手势处理器27保存来自关于用户的屏幕触摸信息的当前放大率和位置信息。例如，当用户用两根手指触摸显示器并使手指之间的间隔加倍时，指示双重的信息和指示手指在哪个位置处被加宽为中心的位置信息被保存在手势处理器27中。这两条信息被定义为放大率(其信息)。
在下一步骤s63中，远摄图像获取单元92根据所获取的放大率(其信息)计算从图像接收单元88获取的图像的切出部分，并计算其显示位置。该计算结果被发送到显示叠加单元36。例如，当将笔记本pc11的图像加倍并显示时，来自笔记本pc11的图像的尺寸的一半的图像的切出部分和被放大为双倍的切出部分的图像的显示位置被发送到显示叠加单元36。以这种方式，远程-图像获取单元92根据手势处理器27的放大率使从图像接收单元88获取的图像数据锁对应的图像变形，并将其发送到显示叠加单元36。
在下一步骤s64，显示叠加单元36组合基于切出部分的图像和从远程-图像获取单元92获取的显示位置。因此，通过视频叠加单元28在显示器3的屏幕上显示某个扩展图像。
在显示器3上减少和显示从笔记本pc11发送的图像的情况下，用户在图像显示于其上的显示器3的屏幕上进行捏小(pinchin)手势，从而进行与图19中的流程图的相同的过程的相同的处理，并且从笔记本pc11发送的图像最终缩小并显示在显示器3上。然而，在这种情况下，整个图像是显示的对象，因此不进行图像的切出部分的计算。手指捏小意味着将两个手指放置在屏幕上并通过手指的移动来缩窄手指之间的间隔，并且，也要指定缩小率等。
用于进行笔记本pc11的鼠标操作和键盘操作的处理
接下来，将基于图20a和图20b描述通过在电子黑板2侧进行的远程操作来进行笔记本pc11的鼠标操作和键盘操作的处理。
假设如下前提条件：笔记本pc11的屏幕上的图像正在被显示在显示器3的屏幕上。进一步假定用于设置操作目标设备的按钮正被显示在显示器3的屏幕上，作为一个示例。
为了将经由通信网络9连接的信息处理装置(在这种情况下为笔记本pc11)设置为操作目标的设备，电子黑板2的用户用电子笔4点击其按钮。
该点击操作由接触检测器24和坐标检测器22检测，并且事件分发单元25基于检测结果确定操作目标设备被设置为信息处理装置。
在该状态(操作目标的设备被设置为信息处理装置的状态)下，电子黑板2的用户使用电子笔4或手h在显示了笔记本pc11的屏幕上的图像的显示器3的屏幕上进行必要的输入操作(鼠标操作)。基于该坐标检测器22和接触检测器24的检测结果，通过该输入操作产生的鼠标事件(对应于鼠标输入的笔画绘制、ui操作和手势操作的各个事件)被事件分发单元25获取(图20a中的步骤s71)。
此时，由于操作目标设备已被设置为信息处理装置，所以事件分发部25向笔记本pc11发送关于鼠标事件的信息(步骤s72)。将这些鼠标事件发送到笔记本pc11的发送以下面的方式实现。
也就是说，事件分发单元25将关于鼠标事件的获取的信息发送到事件发送单元89。事件发送单元89然后经由通信网络9将关于鼠标事件的信息发送到笔记本pc11的事件接收单元79。
以这种方式，当笔记本pc11的事件接收单元79接收关于鼠标事件的信息时，通过笔记本pc11的操作系统(os)在笔记本pc11的屏幕上进行根据关于鼠标事件的信息的鼠标操作。
同时，当通过远程操作进行笔记本pc11的键盘操作时，在操作目标设备被设置为信息处理装置的状态下，电子黑板2的用户用电子笔4或手h、或显示在显示器3的屏幕上的键盘以及笔记本pc11的屏幕上的图像进行输入操作。
由该输入操作产生的键盘事件由事件分发单元25经由按键-事件输入单元91获取(图20b中的步骤s73)。
此时，由于操作目标设备已经被设置为信息处理装置，所以事件发布部25将关于键盘事件的信息发送到笔记本pc11(步骤s74)。将关于这些键盘事件上的信息发送到笔记本pc11以与上述相同的方式实现。
当笔记本pc11的事件接收单元79然后接收到关于键盘事件的信息时，根据该数据的键盘输入操作由笔记本pc11的os在笔记本pc11侧进行。
在电子黑板之间的远程共享处理中的每个电子黑板的操作
接下来，将描述在本实施方式中在构成图像处理系统1的电子黑板之间的远程共享处理中的每个电子黑板的操作。
这里假设作为一个例子，图像处理系统1由电子黑板2a、2b和2c构成，电子黑板2a是主管远程共享处理的主机设备(称为主机设备2a)，电子黑板2b和2c是参与电子黑板2a已经启动的远程共享处理的参与设备(称为参与设备2b、2c)。注意电子黑板2a的服务器单元90和客户端单元20的操作以及电子黑板2b和2c的客户端单元20的操作。连接到电子黑板2a、2b和2c的分别是显示器3a、3b和3c，并进一步连接的分别是笔记本pc6a、6b和6c。在电子黑板2a、2b和2c这，正使用的分别是电子笔4a、4b和4c。
首先将基于图21中的序列图来描述远程共享处理和参与处理的启动。图21示出了远程共享处理和参与处理的启动序列。
假设每个电子黑板2a、2b和2c被用户打开，从而客户端单元20正被激活。
首先，在步骤s21中，电子黑板2a的用户通过诸如触摸面板的输入设备给出启动远程共享处理的指令，从而客户端单元20的远程启动处理器61输出指示服务器单元90的启动信号到服务器单元90的远程-连接请求接收单元71。因此，在电子黑板2a中，除了客户端单元20之外，也启动服务器单元90。主机设备2a(服务器单元90)启动远程共享处理(预处理以在远程共享处理中接收参与设备2b和2c的参与处理)。
在下一步骤s22中，主机设备2a的客户端单元20中的ui图像生成器33生成显示连接信息以建立与主机设备2a的连接的ui图像，并经由显示叠加单元36将其输出到视频叠加单元28。视频叠加单元28在显示器3a上显示ui图像。连接信息包括主机设备的ip地址和由远程连接处理器81发出的密码，用于远程共享处理。通过远程连接处理器81从密码管理单元810读出密码，并且依次通过远程-连接结果发送单元72和远程启动处理器61(通信控制器60)被发送到ui图像生成器33(图像处理器30)(参见图15和图3)。
主机设备2a的用户查看显示器3a上显示的连接信息，并通过电话、电子邮件等将其内容发送给参与设备2b和2c的用户。当在连接-目的地管理表440中存储的连接目的地列表中管理主机设备2a的ip地址时，仅需要将密码包括在连接信息中。参与设备2b和2c的用户通过使用诸如触摸面板的输入设备将传送的连接信息输入到相应的参与设备2b和2c。
当参与设备2b和2c接收到连接信息的输入时，在步骤s23和步骤s24，各个客户端单元20中的远程参与处理器62经由通信网络9通过使用包括在连接信息中的ip地址来发送密码给在主机设备2a的服务器单元90中的通信控制器70。因此，进行用于参与主机设备2a已启动的远程共享处理的请求。因此，通信控制器70的远程-连接请求接收单元71从每个电子黑板2b和2c接收参与请求(包括密码)，并将密码输出到远程连接处理器81。
当主机设备2a接收到密码时，在步骤s25，其服务器单元90中的远程连接处理器81通过使用由密码管理单元810管理的密码来认证接收到的密码。在步骤s26中，通过远程-连接结果发送单元72通知各参与设备2b、2c的客户端单元20该认证结果。这建立了主机设备2a和参与设备2b和2c之间的远程共享处理中的通信，并且完成了远程共享处理和参与处理的启动。
在远程共享处理中共享图像数据的处理
接下来，将基于图22中的序列图来描述在远程共享处理中共享图像数据的处理，图22示出共享图像数据的处理的序列。
首先，在步骤s30中，参与设备2b的客户端单元20中的图像获取单元31通过使用笔记本pc6b的输出视频来生成图像数据(输出图像(c))。所生成的图像数据(输出图像(c))经由显示叠加单元36输出到视频叠加单元28，并且被显示在参与设备2b的显示器3b上(参见图3)。
在下一步骤s31中，参与设备2b的客户端单元20中的远程-图像发送单元63(通信控制器60)从图像获取单元31(图像处理器30)接收图像数据(输出图像(c))，并且经由通信网络9将其发送到主机设备2a的服务器单元90中的通信控制器70(远程-图像接收单元73)。图像数据(输出图像(c))经由远程-图像接收单元73发送到远程图像处理器82，并存储在图像-数据管理单元830(参见图15)中。
接下来，在步骤s32中，主机设备2a的客户端单元20中的视频叠加单元28在显示器3a上显示从参与设备2b接收到的图像数据(输出图像(c))。然而，在步骤s31中由服务器单元90中的远程-图像接收单元73接收的输出图像(c)依次经由服务器单元90中的远程图像处理器82和远程图像发送单元74、并且经由客户端单元20中的远程-图像接收单元64和显示叠加单元36发送到客户端单元20中的视频叠加单元28。
在下一步骤s33，主机设备2a的服务器单元90中的远程-图像发送单元74(通信控制器70)将图像数据(输出图像(c))(在步骤s32)发送到相同主机设备2a的客户端单元20中的远程-图像接收单元64，并将图像数据(输出图像(c))发送到不同于已经发送了该图像数据的参与设备2b的参与设备2c的客户端单元20中的通信控制器60(远程-图像接收单元64)。
在参与设备2c中，由客户端单元20中的远程-图像接收单元64接收的输出图像(c)经由显示叠加单元36被发送到视频叠加单元28。
接下来，在步骤s34中，参与设备2c的客户端单元20中的视频叠加单元28在显示器3c上显示经由主机设备2a(服务器单元90)从参与设备2b发送的图像数据(输出图像(c))。然而，在步骤s33，由客户端单元20中的远程-图像接收单元64接收的输出图像(c)经由显示叠加单元36被发送到视频叠加单元28。这完成了在远程共享处理中共享图像数据的处理。
当不仅将输出图像(c)的图像数据、还将ui图像(a)和笔画图像(b)的图像数据输入到显示叠加单元36时，显示叠加单元36生成并输出叠加图像(a，b，c)到视频叠加单元28。视频叠加单元28在显示器3c上显示叠加图像(a，b，c)。当用于电话会议的视频(e)的图像数据从电视会议终端7进一步发送到视频叠加单元28时，视频叠加单元28通过画中画将用于电话会议的图像数据叠加到叠加图像(a，b，c)上，并将其显示在显示器3c上。
在远程共享处理中共享操作数据的处理
接下来，将基于图23中的序列图来描述在远程共享处理中共享操作数据的处理，图23示出了共享操作数据的处理的序列。
首先，在步骤s41，参与设备2b绘制用户通过使用电子黑板2b上的电子笔4b绘制的笔画图像(b)，并将其显示在显示器3b上。
在下一步骤s42中，参与设备2b的客户端单元20中的显示叠加单元36如图4所示，将笔画图像(b)叠加到ui图像(a)、输出图像(c)和背景图像(d)上，并且视频叠加单元28在电子黑板2b的显示器3b上显示叠加图像(a，b，c，d)。然而，笔画处理器32经由事件分发单元25从坐标检测器22和接触检测器24接收笔画图像(b)的操作数据，并将其发送到显示叠加单元36(参见图3)。
在下一步骤s43中，参与设备2b的客户端单元20中的远程-操作发送单元65从笔画处理器32(图像处理器30)接收笔画图像(b)的数据(操作数据)，且经由通信网络9将其发送到主机设备2a(参见图15)的通信控制器70(远程-操作接收单元75)。
在主机设备2a中，由服务器单元90中的远程-操作接收单元75接收的笔画图像(b)的数据(操作数据)经由远程操作处理器83被发送到操作组合处理器84。
笔画图像(b)的数据是针对每个笔画数据id指示的数据(见图6)。例如，如上所述，当用户通过使用电子笔4绘制字母“t”时，要依次发送两个笔画数据id表示的笔画图像(b)的各个数据。
接下来，在步骤s44中，主机设备2a在显示器3a上显示包括从参与设备2b发送的笔画图像(b)的数据的叠加图像(a，b，c)。主机设备2a的操作组合处理器84组合经由远程操作处理器83依次发送的多个笔画图像(b)数据，并将组合数据存储在操作-数据存储单元840中，然后返回组合数据到远程操作处理器83。组合后的笔画图像(b)的数据通过主机设备2a的服务器单元90中的远程-操作发送单元76和客户端单元20的远程-操作接收单元66发送到显示叠加单元36。显示叠加单元36将组合后的笔画图像(b)叠加在ui图像(a)、输出图像(c)和背景图像(d)上，并输出叠加图像(a，b，c，d)到视频叠加单元28。视频叠加单元28在主机设备2a的显示器3a上显示叠加的图像(a，b，c，d)。
在下一步骤s45中，主机设备2a的服务器单元90中的远程-操作发送单元76(通信控制器70)在从远程操作处理器83组合之后接收笔画图像(b)的数据(在步骤s44)并将其发送到同一主机设备2a的客户端单元20中的远程-操作接收单元66，并且经由通信网络9将其发送到不同于已经发送了笔画图像(b)的数据的参与设备2b的参与设备2c的客户端单元20中的通信控制器60(远程-操作接收单元66)。
接下来，在步骤s46中，参与设备2c将叠加图像(a，b，c)显示在显示器3c上。电子黑板2c的远程-操作接收单元66将在步骤s45接收到的组合之后的笔画图像(b)的数据输出到图像处理器30(显示叠加单元36)。显示叠加单元36以与步骤s44相同的方式，将组合之后的笔画图像(b)叠加在ui图像(a)、输出图像(c)和背景图像(d)上，并输出叠加图像(a，b，c，d)到视频叠加单元28。视频叠加单元28在显示器3c上显示叠加图像(a，b，c，d)。这完成了在远程共享处理中共享操作数据的处理。
在上述处理中，将输出图像(c)和背景图像(d)两者显示在显示器3c上。然而，或者，也可以配置为将输出图像(c)和背景图像(d)中的一个叠加在ui图像(a)和组合后的笔画图像(b)上，并且显示在显示器3上。
远程共享处理中的终止参与的处理
最后，以参与设备2c为例，将基于图24中的序列图描述远程共享处理中的终止参与的处理，图24说明终止参与的处理的序列。
首先，在步骤s47中，当参与设备2c的用户通过使用诸如触摸面板的输入设备请求在远程共享处理中终止参与时，参与设备2c的客户端单元20中的远程参与处理器62从在主机设备2a的服务器单元90中的通信控制器70(远程-连接请求接收单元71)请求参与终止。主机设备2a的远程-连接请求接收单元71从电子黑板2c接收终止参与的请求，并将其与电子黑板2c的ip地址一起发送到远程连接处理器81。远程连接处理器81从参与-点管理表820中删除关于参与设备2c的参与-点信息(电子黑板2c的ip地址和安装有电子黑板2c的点的名称)，并且发送电子黑板2c的ip地址和删除的通知到远程-连接结果发送单元72。
接下来，在步骤s48中，远程-连接结果发送单元72(通信控制器70)经由通信网络9向参与设备2c的客户端单元20中的通信控制器60(远程参与处理器62)通知该参与的终止。
接下来，在步骤s49中，参与设备2c的客户端单元20中的远程参与处理器62断开远程共享处理的通信。这完成了远程共享处理中的参与的终止处理。
从上述说明可以看出，在本实施方式中，图像数据生成器被配置为通过使用来自诸如经由通信网络9连接的笔记本pc11的信息处理装置的图像数据由电子黑板2的客户端单元20具有的图像处理器30(包括远程-图像获取单元92、显示叠加单元36等)，来生成显示图像数据。当点击显示器3的屏幕上显示的操作目标设备的按钮时，事件分发单元25基于接触检测器24和坐标检测器22的检测结果来识别设置的内容。因此，在本实施方式中，设置单元被配置为包括设置在上述按钮显示于其上显示器3上的触摸面板(接触传感器115)，并且包括接触检测器24和对其进行响应的坐标检测器22，并且能够设置进行与输入事件相对应的操作的操作目标设备。然而，并不限于此，也可以提供由用于设置操作目标设备的硬件所组成的开关作为设置单元。在上面的描述中，已经定义了可以通过用于设置操作目标设备的按钮的点击操作将操作目标设备设置为信息处理装置(笔记本pc11等)和电子黑板2中的任一。然而，并不限定于此，也可以配置为将操作目标设备设置为电子黑板2本身，而用于设置操作目标设备的按钮等不被操作，并且只有当用于设置操作目标设备的按钮等被操作时，将操作目标设备切换到与通信网络连接的信息处理装置(笔记本pc11等)。也就是说，可以提供这样的设置单元。
如上所述，在本实施方式中的图像处理系统1中，电子黑板2经由通信网络9(例如公司无线lan)与作为具有通信功能的信息处理装置的笔记本pc11连接。电子黑板2包括：第二远程-屏幕传送通信控制器87，其进行与笔记本pc11(更准确地说，是经由通信网络9连接的笔记本pc11的第一远程-屏幕传送通信控制器77)的连接建立的处理；图像接收单元88，其经由通信网络9从建立了连接的笔记本pc11接收图像数据；图像处理器30(远程-图像获取单元92、显示叠加单元36)，其通过使用接收的图像数据生成显示图像数据；以及显示器3，显示与由图像处理器30生成的与显示图像数据相对应的图像。因此，即使当位于同一房间的笔记本pc11和电子黑板2遥远、且两者都不能通过电缆10等连接时，显示在笔记本pc11的屏幕上的图像(视频)也可以被显示在显示屏3上。
此外，在建立笔记本pc11(第一信息处理装置)和电子黑板2之间的连接的状态下，当从连接到通信网络9的例如pc或其它电子黑板的第二信息处理装置向电子黑板2进行连接请求时，在所谓的最后者赢系统中进行与电子黑板2的连接的切换。因此，在每次更改连接时，不需要诸如移除和插入通信电缆或切换开关等麻烦的工作。
因此，本实施方式中的电子黑板2例如在与大型会议室中的大量人员会面时具有良好的可用性。
此外，根据本实施方式中的电子黑板2，当在显示器3上显示笔记本pc11的图像时，用户通过手h进行指定扩展和缩小的手势操作(扩大)，从而可以容易地进行显示器3上的显示图像的扩展和缩小。
根据本实施方式中的电子黑板2，在显示器3的屏幕上显示用于设置操作目标设备的按钮，并且通过用户通过使用电子笔4点击按钮，可以将操作目标设备设置为笔记本pc11和电子黑板2本身中的任一。然后，当由用户点击用于设置操作目标设备的按钮并且将操作目标设备设置为笔记本pc11时，事件分发单元25基于坐标检测器22和接触检测器24的检测结果来识别操作目标设备已经被设置为笔记本pc11，并将关于随后获取的事件的信息发送到事件发送单元89。事件发送单元89经由通信网络9将接收到的关于事件的信息发送到笔记本pc11的事件接收单元79。因此，与由事件接收单元79接收到的对应于关于事件的信息的操作将由笔记本pc11的os进行。也就是说，当由事件接收单元79接收的关于事件的信息是关于鼠标事件的信息时，由os在笔记本pc11的屏幕上进行与该鼠标事件相对应的鼠标操作。当由事件接收单元79接收的关于事件的信息是关于键盘事件的信息时，与该键盘事件相对应的键盘输入由笔记本pc11的os进行。
同时，当由用户点击用于设置操作目标设备的按钮并且将操作目标设备设置为电子黑板2本身时，事件分发单元25基于坐标检测器22和接触检测器24的检测结果识别出操作目标设备已被设置为电子黑板2本身，并且取决于事件的类型将关于随后获取的事件的信息发送到操作处理器26、手势处理器27和笔画处理器32中的任何一个。在这种情况下，在电子黑板2侧，进行与由事件分发单元25获取的事件相对应的操作和处理。
从上述说明可知，除了以与正常操作相同的方式的电子黑板2的操作以外，本实施方式中的电子黑板2的用户可以通过在电子黑板2的显示器3的屏幕上的鼠标操作或键盘输入来进行诸如笔记本pc11的具有通信功能的信息处理装置的远程操作。
在上述实施方式中，通信网络9已经被示例为公司无线lan。然而，通信网络不仅可以是公司有线lan，而且可以是除了公司lan之外的广域网，诸如部分地包括因特网和/或移动电话通信网络的网络。然而，当电子黑板2和笔记本pc11不在相同的房间中但位于远程处时，在切换上述最后者赢系统中的电子黑板2的信息处理装置的连接时，需要设计公告与该电子黑板2的用户的连接的切换等等的方式。
在上述实施方式中，作为公共密钥加密的一个例子，已经说明了使用利用rijndael算法的aes加密的情况。然而，并不局限于此，也可以采用其它加密技术，例如使用其它算法的rc4、des、3de等。
在上述实施方式中，已经定义了在电子黑板2和笔记本pc11之间的连接认证处理中采用使用公共密钥加密系统的质询-响应系统的连接认证处理。然而，连接认证处理不限于质询-响应系统的连接认证处理。
在上述实施方式中，进行关于信息处理装置(例如笔记本pc11)和电子黑板2之间的通信并且包括用于上述连接建立的处理的处理的程序可以被存储作为在电子黑板2具有的存储设备中下载的程序，或可以被存储在诸如cd-rom和dvd-rom的信息记录介质中。在前一种情况下，程序仅需要被配置为要经由通信网络9连接到电子黑板2的笔记本pc11的用户下载并安装在笔记本pc11中。在后一种情况下，电子黑板的制造商可以作为电子黑板2的附件将该信息记录介质出售给用户。当电子黑板的制造商也制造笔记本pc等时，制造商可以将电子黑板、信息记录介质和笔记本pc作为一组出售给用户。在这些情况下，可以认为信息记录介质构成包括经由通信网络连接的电子黑板和笔记本pc的图像处理系统的一部分。
在上述实施方式中，电子黑板已经被用作图像处理装置的一个例子。但是，并不限于此，也可以应用于用于数字标牌、运动、天气预报等的演播室(telestrator)；以及远程图像(视频)诊断装置等。作为信息处理装置，已经示例了使用笔记本pc的情况。然而，并不限定于此，可以使用能够供应诸如台式pc、平板pc、个人数字助理(pda)、数字摄像机、数码相机、游戏机等的图像帧的终端。虽然已经采用usb存储器作为记录介质的一个示例，但是不限于此，也可以采用诸如sd卡的各种记录介质。
点击事件的处理
概要
将描述本实施方式中的点击事件的处理。该实施方式中的电子黑板具有以下特征：笔记本pc上的点击操作可以在笔画绘制期间远程进行。
如上所述，电子黑板2可以通过远程操作进行笔记本pc11的鼠标操作。为了进行鼠标操作，需要将信息处理装置(笔记本pc11)设置为操作目标设备。相反，为了将电子黑板2的鼠标事件输入处理为笔画绘制，需要将电子黑板2设置为操作目标设备。因此，为了交替地进行鼠标操作和笔画绘制，需要每次切换操作目标设备。
从电子黑板2进行的笔记本pc11的鼠标操作通常是诸如启动和终止应用程序以及打开和关闭文件的点击操作。因此，在本实施方式中，提供了当笔记本pc11的屏幕上的图像被显示在显示器3上并且笔画图像可以被绘制在显示屏3上时、处理在显示器3上的点击作为笔记本pc11的点击操作的方法。
假设如下前提条件：电子黑板2被设置为第一操作目标设备并且处于能够通过使用电子笔4手绘笔画图像的状态。此外，假设笔记本pc11被设置为第二操作目标设备，并且笔记本pc11的屏幕上的图像正被显示在显示器3的屏幕上。
由于通过电子笔4在显示器3(屏幕)上的触摸操作，得到电子笔4被按下(下笔)的事件、电子笔4移动(笔移动)的事件和电子笔4被释放(提笔)的事件。这些笔事件可以通过鼠标事件进行处理。例如，在windows(注册商标)7的.net4中，分别使用mousedown/previewmousedown事件、mousemove/previewmousemove事件和mouseup/previewmouseup事件。在接收每个鼠标事件之前可以接收每个预览事件，因此，基于预览事件来处理在实施方式中指示的每个处理。在预览事件之后接收到的鼠标事件被删除。在下面的描述中，作为电子笔4的操作(电子笔4的触摸输入)，使用笔事件、下笔、笔移动和提笔的术语。
图25是事件分发单元和笔画处理器的功能框图。本实施方式中的电子黑板2的事件分发单元25包括点击事件处理器251(绘制-点击确定单元、点击事件生成器)和点击计时器252(倒数计时器)。
点击事件处理器251进行确定所接收的笔事件是关于笔画图像的绘制的笔事件还是点击操作的处理。当点击事件处理器251确定所接收的笔事件是关于笔画图像的绘制的笔事件时，事件分发单元25使笔画处理器32的高速缓存笔画处理器321绘制笔画图像。当点击事件处理器251确定笔事件是点击操作时，点击事件处理器251生成点击事件，并且将来自事件发送单元89的关于点击事件的信息发送到作为操作目标设备的笔记本pc11。
点击计时器252进行将在远程操作中发送到笔记本pc11的点击事件的发送定时延迟指定时间的处理，使得当用户绘制点时，点不被错误地检测为点击操作。
该实施方式中的电子黑板2的笔画处理器32包括高速缓存笔画处理器321。高速缓存笔画处理器321通过将由点击事件处理器251获取的一系列笔事件的每个坐标暂时存储到高速缓存笔画[s](高速缓存存储器)中并暂时延迟笔画图像的绘制来进行绘制的处理。
在图2中的ram103的某个工作区域中，提供其中暂时存储笔事件的坐标的高速缓存笔画[s](高速缓存存储器)。在高速缓存笔画[s]中，与用于绘制笔画图像的每个笔画数据(图6)的坐标布置数据(图7)等同的数据、即下笔、笔移动和提笔的至少每个笔画数据被暂时存储。
当由点击事件处理器251接收的笔事件是关于笔画图形的笔事件时，高速缓存笔画处理器321读出高速缓存笔画[s]中的数据，并且进行绘制处理作为笔画图像。
将描述作为本实施方式中使用的真值“高速缓存模式”、“点击监视模式”和“连续绘制标志”的术语以及作为变量的“初始笔位置[p]”、“点击位置[c]”和“提笔时间[t]”。
“高速缓存模式”是指示是否将每个笔画数据(图6)的坐标布置数据(图7)等同的数据存储到高速缓存笔画[s]中的标志。高速缓存模式以真值表达，当该值为“真”时，将基于接收到的预览事件，在高速缓存笔画[s]中存储各个坐标数据和一系列下笔和笔移动的其它数据。
在接收到提笔的预览事件之后，高速缓存模式变为“假”。也就是说，通过高速缓存模式为“真”，只有一系列笔画数据被存储在高速缓存笔画[s]中。
如果需要监视其是否是点击操作，“点击监视模式”是指示关于事件分发单元25接收到的预览事件的标志。点击监控模式用真值来表达，当该值为“真”时，其指示接收到的预览事件有可能是关于点击操作的预览事件，并且需要监视它。当点击监控模式的值为“假”时，其指示接收到的预览事件是关于笔画图形的预览事件，并且不需要监视其是否是点击操作。
“连续绘制标志”是指示存储在高速缓存笔画[s]中的每个笔事件数据应该被连续绘制为笔画图像的标志。当连续绘制标志的值为“真”时，其指示事件分发单元25接收的预览事件关于笔画图像，并且高速缓存笔画处理器321绘制笔画图像。当连续绘制标志的值为“假”时，高速缓存笔画处理器321不基于存储在高速缓存笔画[s]中的坐标布置数据进行笔画图像的绘制。
“初始笔位置[p]”是存储最新的下笔的笔位置的变量。
“点击位置[c]”是其中存储在提笔之后的一系列笔事件的下笔的笔位置的变量。
“提笔时间[t]”是其中存储除了点以外的笔画图像的提笔时间的变量。
上述真值和变量的值被存储在图2中的ram103的相应的某些工作区域中。
下笔处理
将描述当事件分发单元25接收到下笔的预览事件(previewmousedown)时进行的处理。图26是示出在接收下笔的预览事件时进行的处理的序列的流程图。在本处理中，初始化高速缓存笔画[s]、高速缓存模式、点击监视模式和连续绘制标志。
在步骤s101，点击事件处理器251检查高速缓存模式是否为“假”。“当高速缓存模式为”真“(步骤s101为“否”)时，点击事件处理器251结束处理。当高速缓存模式为“假”(步骤s101为是)时，点击事件处理器251进行步骤s103的处理。
在步骤s103，点击事件处理器251将下笔的坐标替换为初始笔位置[p]。
在步骤s105，高速缓存笔画处理器321清空高速缓存笔画[s]。也就是说，高速缓存笔画处理器321初始化高速缓存笔画[s]。
在步骤s107，高速缓存笔画处理器321将初始笔位置[p]的数据添加到高速缓存笔画[s]。
在步骤s109，点击事件处理器251使高速缓存模式为“真”。
在步骤s111，点击事件处理器251使得点击监视模式为“真”。
在步骤s113，点击事件处理器251使连续绘制标志为“真”。
在步骤s115，点击事件处理器251删除在接收到下笔的预览事件之后所接收到的下笔事件。
笔移动处理
将描述当事件分发单元25接收到了笔移动的预览事件(previewmousemove)时进行的处理。图27是示出在接收笔移动的预览事件时进行的处理的序列的流程图。本处理是其中点击事件处理器251确定笔移动的事件是关于点击操作还是关于笔画图像的绘制的处理。当点击事件处理器251确定笔移动的事件不是关于点击操作的事件时，高速缓存笔画处理器321开始绘制笔画图像。
在步骤s121中，点击事件处理器251检查高速缓存模式是否为“真”。当高速缓存模式为“假”(步骤s121为否)时，点击事件处理器251结束处理。当高速缓存模式为“真”(步骤s121为是)时，点击事件处理器251进行步骤s123的处理。
在步骤s123，点击事件处理器251检查点击监视模式是否为“真”。当点击监视模式为“假”(步骤s123为否)时，点击事件处理器251进行步骤s133的处理。当点击监视模式为“真”(步骤s123为是)时，点击事件处理器251进行步骤s125的处理。
在步骤s125中，点击事件处理器251确定初始笔位置[p](即，下笔的坐标位置)和笔移动的坐标位置之间的距离是否大于“点击-距离阈值”。
“点击-距离阈值”是基于电子笔4相对于显示器3的接触位置是否已被移动来确定是否进行了笔画图像的绘制或者进行了点击操作的阈值。当电子笔4的接触位置在其实点击操作时几乎不移动，除了当绘制点时之外，电子笔4的接触位置在笔画图像的绘制期间移动。因此，当电子笔4的接触位置移动超过“点击-距离阈值”时，确定已经进行了笔画图像的绘制，并且进行后续处理。
当初始笔位置[p]的坐标位置与笔移动的坐标位置之间的距离小于“点击-距离阈值”(步骤s125为“否”)时，点击事件处理器251进行在步骤s133的处理。当初始笔位置[p]的坐标位置和笔移动的坐标位置之间的距离大于“点击-距离阈值”时(步骤s125为是)，即当笔事件是关于笔画图像的绘制的一个事件时，点击事件处理器251进行在步骤s127及其后续步骤的处理。
在步骤s127中，点击事件处理器251使点击监视模式为“假”。在此步骤之后，对于笔事件处理一系列笔事件，直到检测到提笔的预览事件、作为关于笔画图像的绘制的预览事件为止。
在步骤s129，点击事件处理器251使连续绘制标志为“真”。
在步骤s131中，响应于连续绘制标志被使得为“真”的事实，高速缓存笔画处理器321开始笔画图像的绘制。也就是说，缓存笔画处理器321读出高速缓存笔画[s]中的数据，并开始绘制笔画图像。
在步骤s133中，高速缓存笔画处理器321将笔移动的笔位置添加到高速缓存笔画[s]。
在步骤s135，点击事件处理器251删除在接收到笔移动的预览事件之后接收到的笔移动事件。
当在一系列笔事件(包括单个下笔和单个提笔)中接收到多个笔移动事件时，每次接收到笔移动事件时，进行流程图中所示的处理。在这种情况下，在步骤s125中，点击事件处理器251确定初始笔位置[p]和最新笔移动的坐标位置之间的距离是否大于“点击-距离阈值”。
提笔处理
将描述当事件分发单元25接收到了提笔的预览事件(previewmouseup)时进行的处理。图28是示出在接收提笔的预览事件时进行的处理的序列的流程图。
当事件分发单元25接收到的提笔事件是关于点击操作的事件时，进行由事件发送单元89在远程操作中将点击事件发送到笔记本pc11的处理。然而，当手绘如字母“i”中的点时，需要防止将该点确定为点击操作。因此，在本处理中，递送点击事件的定时被点击计时器延迟达指定时间。
在步骤s141中，点击事件处理器251检查高速缓存模式是否为“真”。当高速缓存模式为“假”(步骤s141为否)时，点击事件处理器251结束处理。当高速缓存模式为“真”(步骤s141为是)时，点击事件处理器251进行步骤s143的处理。
在步骤s143，点击事件处理器251检查点击监视模式是否为“真”。当点击监视模式为“假”(步骤s143为否)时，点击事件处理器251进行步骤s153的处理。当点击监视模式为“真”(步骤s143为“是”)时，点击事件处理器251进行步骤s145的处理。
在步骤s145，点击事件处理器251将初始笔位置[p]替换为点击位置[c]。当笔画图像被连续绘制时，如步骤s103所示，初始笔位置[p]被替换为最新下笔的笔位置。因此，点击事件处理器251将点击的位置或绘制的点的位置暂时存储在点击位置[c]中，使得点击位置的坐标不会丢失。
在步骤s147中，点击事件处理器251停止点击计时器252并进行复位处理。
在步骤s149，点击事件处理器251启动点击计时器252。
在步骤s151，点击事件处理器251使点击监视模式为“假”。
在步骤s153中，点击事件处理器251将当前时间替换为提笔时间[t]。当点击监视模式为“假”时，也就是说，只有当笔事件被确定为关于笔画绘制的笔事件时，才用该时间新来替换提笔时间[t]。相反，当点击监视模式为“真”时，即当需要监视笔事件是点击操作还是由笔画进行的点绘制时，不用该时间新来替换提笔时间[t]。
在步骤s155，点击事件处理器251使高速缓存模式为“假”。
在步骤s157中，点击事件处理器251删除在接收到提笔的预览事件之后所接收的提笔事件。
点击计时器结束时的处理
将描述点击计时器结束时进行的处理。图29是示出在点击计时器结束时进行的处理的序列的流程图。本处理是如下处理：当用户在绘制手绘图像之后立即点出(dot)时，并且当用户在点出为字母“i”的字之后立即绘制手绘图像时，该点被确定为不是点击操作，而是笔画图像。
在步骤s161，点击事件处理器251停止点击计时器。
在步骤s163，点击事件处理器251检查是否是“(当前时间–提笔时间)<(连续绘制阈值)”或“连续绘制标志为真”。这一步的条件的细节将在后面描述。当满足该条件(步骤s163中的“是”)时，点击事件处理器251进行步骤s165的处理。当不满足条件(步骤s163中的“否”)时，点击事件处理器251进行步骤s167的处理。
在步骤s165中，点击事件处理器251将对应于点击位置[c]的显示器3上的点绘制为笔画图像。
在步骤s167，点击事件处理器251经由事件发送单元89将点击位置[c]处的点击事件发送到操作目标设备的笔记本pc11。
在步骤s169，点击事件处理器251使连续绘制标志为“假”。
将基于时序图来描述上述处理。图30a至30c是示出用于说明点击事件的处理的时序图的一个示例的图。在图中，d代表下笔事件，m×××示出笔移动事件，u代表提笔事件。一组“d，m...，u”代表一系列笔事件。
图30a示出了在已经输入了点图像的笔画之后输入线图像等的笔画的示例。
在这种情况下，点击计时器252在前一个点图像的提笔时开始计时，并且在输入后一个笔画图像期间(在下笔之后，在提笔之前)，点击计时器结束计时。在点击计时器停止时，由于连续的绘制标志为“真”(步骤s163中的是)，所以在步骤s165中，在与点击位置[c]对应的在显示器3上绘制点作为笔画图像。
如上所述，点击计时器252的时间被设置为使得在正在发出在点图像的提笔之后连续输入的笔画图像的笔移动事件的同时结束计时。
图30b示出了在已经输入了线图像等的笔画之后输入点图像的笔画的示例。由点图像的笔画产生的笔事件是应该被确定是关于点图像的笔画的事件还是关于点击操作的事件的确定-目标笔事件。
在这种情况下，在前一次笔画的提笔时(在结束关于在确定-目标笔事件之前获取的其它笔画的笔事件的时刻)，提笔时间[t]被替换(步骤s153)。在后一个点图像的提笔时，点击计时器开始计时。在点击计时器结束时，由于“(当前时间–提笔时间)<(连续绘制阈值)”变为“真”(步骤s163为是)，所以在步骤s165中，在与点击位置[c]对应的在显示器3上绘制点作为笔画图像，。
“当前时间–提笔时间”示出从确定-目标笔事件之前获取的关于另一笔画的笔事件结束以来经过的时间。在该示例中，由于在绘制点之后不进行笔画图像的绘制，所以连续的绘制标志保持为“假”。
图30c示出了在已经输入了线图像等的笔画之后进行点击操作的示例。由点击操作产生的笔事件是应当被确定是关于点图像的笔画的事件还是关于点击操作的事件的确定-目标笔事件。
在这种情况下，在前一笔画图像的提笔时，替换提笔时间[t](步骤s153)。在进行后一点击操作的提笔时，点击计时器开始计时。在点击计时器结束时，由于“(当前时间-上线时间)<(连续绘制阈值)”变为“假”，且连续绘制标志为“假”(步骤s163为否)，因此在步骤s167中，将点击位置[c]处的点击事件发送到笔记本pc11。
如上所述，将“连续绘制阈值”设置为其中将被允许作为连续的两个笔画图像的提笔时间的间隔的最大时间添加到设置到点击计时器252的时间的时间。
有益效果
如上所述，根据实施方式，当连续绘制笔画图像时，作为图像而输入的点不被识别为点击操作。因此，在不将操作目标设备切换到信息处理装置的情况下，可以在绘制笔画图像的同时进行远程操作，从而提高了可用性。
发明概要及发明的效果
第一方面
根据第一方面的图像处理装置(电子黑板2)包括：事件获取单元(事件分发单元25)，其基于屏幕(显示器3)上的操作来获取笔事件；绘制-点击确定单元(点击事件处理器251)，确定笔事件是关于点图像的笔画的事件还是关于点击操作的事件；和倒数计时器(点击计时器252)，其当绘制-点击确定单元接收到确定-目标笔事件以确定时，开始计时，且当计时已经结束且事件获取单元已经获取了关于另一笔画的笔事件时，或者当从在该确定-目标笔事件之前获取的关于另一笔画的笔事件的结束以来的经过时间在一定时间段内时，绘制-点击确定单元确定该确定-目标笔事件是关于点图像的笔画的事件。
根据第一方面，可以将点图像的笔画与点击操作区分开，从而可以在进行笔画绘制时远程地对笔记本pc进行点击操作。
第二方面
在根据第二方面的图像处理装置(电子黑板2)中，绘制-点击确定单元(点击事件处理器251)在绘制-点击确定单元不确定该确定-目标笔事件是关于点图像的笔画的事件时，确定该确定-目标笔事件是关于点击操作的事件。
根据第二方面，可以将点图像的笔画与点击操作区分开，从而可以在进行笔画绘制时远程地对笔记本pc进行点击操作。
第三方面
根据第三方面的图像处理装置(电子黑板2)还包括：坐标检测器(坐标检测器22)，其检测显示屏幕(显示器3)上的每个笔事件的位置坐标；和高速缓存笔画处理单元(高速缓存笔画处理器321)，其在高速缓存存储器[s]中暂时存储坐标检测器在由事件获取单元(事件分发单元25)获取的一系列笔事件上已经检测到的每组坐标；以及高速缓存笔画处理单元，从高速缓存存储器读出笔事件的坐标，并且当笔事件是关于笔画的事件时绘制笔画图像。
根据第三方面，通过在高速缓存存储器[s]中暂时存储将一系列笔事件的每组坐标来使笔画的绘制延迟，因此可以可靠地确定笔事件是点图像的笔画还是点击操作。
第四方面
在根据第四方面的图像处理装置中，在一系列笔事件中包含的下笔事件和提笔事件之间的位置坐标的距离超过点击距离阈值时，绘制-点击确定单元(点击事件处理器251)确定笔事件是关于线图像的笔画的事件，并且当下笔事件和提笔事件之间的位置坐标的距离等于或小于点击距离阈值时，绘制-点击确定单元(点击事件处理器251)确定笔事件是关于点图像的笔画的事件或关于点击操作的事件。
根据第四方面，从确定-目标笔事件中排除明显为笔画的笔事件，因此有助于确定其是点图像的笔画还是点击操作的处理。
第五方面
根据第五方面的图像处理系统是包括如下的图像处理系统1：如权利要求1至4中任一项所述的图像处理装置(电子黑板2)；和信息处理装置(笔记本pc11)，经由通信网络9连接到图像处理装置，且并且图像处理装置包括：点击事件生成器(点击事件处理器251)，其当绘制-点击确定单元(点击事件处理器251)确定该该确定-目标笔事件是关于点击操作的事件时，生成点击事件；以及事件发送单元89，其经由通信网络向信息处理装置发送点击事件。
根据第五方面，其具有与第一方面相同的效果。
第六方面
根据第六方面的图像处理方法包括：通过事件获取单元(事件分发单元25)基于屏幕(显示器3)上的操作来获取笔事件；通过绘制-点击确定单元(点击事件处理器251)确定笔事件是关于点图像的笔画的事件还是关于点击操作的事件；并且当绘制-点击确定单元接收确定-目标笔事件以确定时，通过倒数计时器(点击计时器252)开始计时，并且当计时已经结束并且事件获取单元已经获取了关于另一笔画的笔事件时，或当从在该确定-目标笔事件之前就获取的关于另一笔画的笔事件的结束以来的经过时间在一定时间段内时，绘制-点击确定单元确定该确定-目标笔事件是关于点图像的笔画的事件。
根据第六方面，其具有与第一方面相同的效果。
附图标记列表
1图像处理系统
2电子黑板(图像处理装置)
3显示器(显示单元，屏幕)
9通信网络
11笔记本pc(信息处理装置)
20客户端单元
21视频获取单元
22坐标检测器(设置单元的一部分)
23自动调整单元
24接触检测器(设置单元的一部分)
25事件分发单元(事件获取单元)
251点击事件处理器(绘制-点击确定单元，点击事件生成器)
252点击计时器(倒数计时器)
26操作处理器
27手势处理器
28视频叠加单元
30图像处理器(图像数据生成器)
31图像获取单元
32笔画处理器
321高速缓存笔画处理器(高速缓存笔画处理单元)
33ui图像生成器
34背景生成器
35布局管理单元
36显示叠加单元
37页面处理器
40文件处理器
77第一远程-屏幕传送通信控制器(第一通信控制器)
78图像发送单元
79图像接收单元
87第二远程-屏幕传送通信控制器(第二通信控制器和通信控制器)
88图像接收单元(图像数据接收单元)
89事件发送单元
90服务器单元
91按键-事件输入单元
115接触传感器(设置单元的一部分)
300页面-数据存储单元
310远程-许可证管理表
[引用列表]
[专利文献]
[ptl1]
日本特开专利公开号：2013-131204
- 还没有人留言评论。精彩留言会获得点赞！