信息处理装置、图像显示方法和程序与流程

本发明涉及信息处理装置、图像显示方法和程序。

背景技术：

具有用于基于在显示器的视觉表面上的书写获取书写信息并且在显示器上显示书写信息的功能的电子黑板在本领域中是已知的。用户在电子黑板的视觉表面上书写的内容被累积为坐标数据，并且电子黑板在显示器上绘出通过连接坐标而形成的笔划。因此，与常规的白板类似，用户可以绘制字符、数字等。此外，用户可以保存书写信息并将书写信息传送给经由网络耦合的另一个电子黑板。

当在电子黑板上书写时，用户可以几乎在显示器的整个区域上书写，但是难以在比显示器更大的区域上书写。因此，已经提出了使得能够高效利用显示器的尺寸的电子黑板(例如，参见plt1)。在plt1中，公开了一种高效地布置诸如用于选择书写字符的颜色的菜单等视觉内容的电子黑板。根据plt1的公开，当视觉内容移动到适当的空白区域时，用于用户书写的空白空间可以被增加。

[引用列表]

[专利文献]

[plt1]日本专利no.5625615

技术实现要素：

[技术问题]

但是，在plt1中，存在没有考虑为了高效使用显示器的尺寸而修改书写信息的问题。例如，如果可以通过用户的简单操作来压缩书写信息，那么可以容易地增加空白空间。

鉴于以上问题，本发明的目的是提供一种使得能够高效地利用显示器的尺寸的信息处理装置。

[问题的解决方案]

鉴于以上问题，本发明提供了一种用于在显示设备上显示对象的信息处理装置，所述信息处理装置包括：操作接受单元，被配置为接受针对对象的操作；坐标改变单元，被配置为在操作接受单元接受的操作是针对对象当中的多个对象的缩放操作的情况下，分别改变所述多个对象的构成点的坐标；以及对象显示单元，被配置为在显示设备上显示其构成点的坐标已被坐标改变单元改变的所述多个对象。

[发明的有益效果]

可以提供使得能够高效地利用显示器的尺寸的信息处理装置。

附图说明

图1是图示根据本实施例的图像处理系统的整体配置的图的示例；

图2是图示电子黑板的硬件配置的图的示例；

图3是电子黑板2的功能框图的示例；

图4是文件处理单元的功能框图的示例；

图5是客户端单元和服务器单元的功能框图的示例；

图6是图示页面数据的概念图的示例；

图7是图示笔划布置数据的概念图的示例；

图8是图示坐标布置数据的概念图的示例；

图9是图示媒体数据的概念图的示例；

图10是图示远程许可管理表的概念图的示例；

图11是图示地址簿管理表的概念图的示例；

图12是图示备份数据的概念图的示例；

图13是图示连接目的地管理表的概念图的示例；

图14是图示参与地点管理表的概念图的示例；

图15是图示操作数据的概念图的示例；

图16是示意性地图示各个图像层的叠加关系的绘图的示例；

图17是图示由各个电子黑板执行的处理的顺序图的示例；

图18是图示由各个电子黑板执行的处理的顺序图的示例；

图19是笔划处理单元的功能框图的示例；

图20是图示显示器上显示的书写对象的示例的绘图；

图21是图示处于被用户选择的状态下的书写对象的示例的绘图；

图22是图示显示的上下文菜单的示例的绘图；

图23是图示在粘贴缓冲区不空并且电子笔在框内部被长按的情况下显示的上下文菜单的示例的绘图；

图24a是图示在电子笔在框外部或没有框时被长按的情况下显示的上下文菜单的示例的绘图；

图24b是图示在电子笔在框外部或没有框时被长按的情况下显示的上下文菜单的示例的绘图；

图25a是用于说明复制和粘贴操作的绘图的示例；

图25b是用于说明复制和粘贴操作的绘图的示例；

图26是图示以叠加方式粘贴的书写对象的示例的绘图；

图27a是用于说明剪切操作的绘图的示例；

图27b是用于说明剪切操作的绘图的示例；

图28是图示在用户选择“粘贴到每个页面”的命令的情况下屏幕的示例的绘图；

图29a是用于说明压缩操作的绘图的示例；

图29b是用于说明压缩操作的绘图的示例；

图29c是用于说明压缩操作的绘图的示例；

图30a是用于说明放大操作的绘图的示例；

图30b是用于说明放大操作的绘图的示例；

图31是用于说明在选择上下文菜单上的复制命令的情况下的坐标布置数据的绘图的示例；

图32是用于说明在选择上下文菜单上的压缩命令的情况下的坐标配置数据的绘图的示例；

图33a是图示通过快捷操作调用上下文菜单的示例的图；以及

图33b是图示通过快捷操作调用上下文菜单的示例的图。

具体实施方式

以下描述参考附图说明本发明的实施例。

<整体系统>

图1是图示根据本实施例的图像处理系统的整体配置图。注意的是，在图1中，为了简化说明，图示了两个电子黑板2a和2b以及伴随的电子笔4a和4b等。也就是说，可以利用三个或更多个电子黑板或电子笔等。

如图1所示，图像处理系统1包括多个电子黑板2a和2b、多个电子笔4a和4b、通用串行总线(usb)存储器5a和5b、膝上型个人计算机(pc)6a和6b、电话会议(或视频会议)终端7a和7b以及pc8。此外，电子黑板2a和2b经由通信网络9可通信地耦合到pc8。此外，多个电子黑板2a和2b中的每一个都提供有显示器3a或3b(即，诸如液晶显示器、有机电致发光(el)显示器、投影仪或等离子电视的显示设备)。

此外，电子黑板2a能够在显示器3a上显示基于由电子笔4a生成的事件(即，用电子笔4a的笔尖或用电子笔4a的笔端触摸显示器3a)绘出的图像。注意的是，除了通过电子笔4a之外，还有可能基于由用户的手ha等生成的事件(即，诸如放大、压缩或翻页等的手势等)来修改显示器3a上显示的图像。

此外，usb存储器5a可以连接到电子黑板2a，以便使得电子黑板2a能够从usb存储器5a中检索以pdf等格式的电子文件，并且在usb存储器5a中记录电子文件。此外，电子黑板2a经由电缆10a1由膝上型pc6a连接，其中电缆10a1用于使得能够基于诸如displayport(注册商标)、数字视频接口(dvi)、高清晰度多媒体接口(hdmi；注册商标)或视频图形阵列(vga)之类的通信标准进行通信。此外，电子黑板2a响应于在显示器3a上做出的接触而生成事件，并且将指示事件的事件信息传送到膝上型pc6a，类似于从诸如鼠标或键盘之类的输入设备提供的事件。类似地，电话会议(或视频会议)终端7a经由用于使得能够基于如上所述的通信标准进行通信的电缆10a2连接到电子黑板2a。注意的是，膝上型pc6a和电话会议终端7a可以经由符合诸如蓝牙(注册商标)之类的无线通信协议的无线通信与电子黑板2a通信。

此外，在安装电子黑板2b的另一个地点处，与以上类似，利用了提供有显示器3b、电子笔4b、usb存储器5b、膝上型pc6、电话会议终端7b、电缆10b1和电缆10b2的电子黑板2b。此外，显示器3b上显示的图像可以基于用户的手hb等生成的事件进行修改。

因此，在某个地点处的电子黑板2a的显示器3a上绘出的图像被显示在另一个地点处的电子黑板2b的显示器3b上。相反，在另一个地点处的电子黑板2b的显示器3b上显示的图像被显示在某个地点处的电子黑板2a的显示器3a上。如上所述，图像处理系统1对于在远程地点处举行的会议等非常有用，因为可以在图像处理系统1中执行用于在远程地点处共享公共图像的远程共享处理。

注意的是，在以下描述中，多个电子黑板中的任意电子黑板被称为“电子黑板2”。多个显示器中的任意显示器被称为“显示器3”。多个电子笔中的任意电子笔被称为“电子笔4”。多个usb存储器中的任意usb存储器被称为“usb存储器5”。多台膝上型pc中的任意膝上型pc被称为“膝上型pc6”。多个电话会议终端中的任意电话会议终端被称为“电话会议终端7”。多个用户的手中的任意一只手被称为“手h”。多个电缆中的任意电缆被称为“电缆10”。

此外，虽然在本实施例中电子黑板被说明为图像处理装置的示例，但是图像处理装置不限于电子黑板。对于另一个示例，图像处理装置可以是电子标识牌(即，数字标牌)、用于体育、天气预报等的远程标记器(telestrator)、或远程图像(视频)诊断设备等。此外，虽然膝上型pc6被说明作为信息处理终端的示例，但是信息处理终端不限于膝上型pc6。对于另一个示例，信息处理终端可以是能够提供图像帧的终端，诸如台式pc、平板pc、个人数字助理(pda)、数字摄像机、数字相机或游戏机。此外，通信网络包括互联网、局域网(lan)、蜂窝通信网络等。此外，虽然在本实施例中usb存储器被说明作为记录介质的示例，但是记录介质不限于usb存储器。对于另一个示例，记录介质可以是各种类型的记录介质，诸如安全数字(sd)卡等。

<电子黑板的硬件配置>

以下描述参考图2说明根据本实施例的电子黑板的硬件配置。注意的是，图2是图示电子黑板的硬件配置的图。

如图2所示，电子黑板2提供有用于控制电子黑板2的整体操作的中央处理单元(cpu)101、存储用于驱动cpu101的程序(诸如初始程序加载器(ipl))的只读存储器(rom)102、用作cpu101的工作区域的随机存取存储器(ram)103、存储诸如用于电子黑板2的程序的各种类型的数据的固态驱动器(ssd)104、用于控制经由通信网络9的通信的网络控制器105、以及用于控制与usb存储器5的通信的外部存储器控制器106。也就是说，电子黑板2具有作为信息处理装置的配置。

此外，电子黑板2提供有用于使膝上型pc6将视频信息显示为静止图像或移动图像的捕获设备111、用于特别处理图形的图形处理单元(gpu)112、以及用于控制和管理屏幕的显示使得来自gpu112的输出图像被输出到显示器3或电话会议终端7的显示控制器113。

此外，电子黑板2提供有用于控制接触传感器115的处理的传感器控制器114和用于检测电子笔4、用户的手h等在显示器3的视觉平面上的接触的接触传感器115。接触传感器115用中断红外线的方法输入和检测坐标。在用于输入和检测坐标的方法中，在显示器3的两个上角上提供的两个光接收/发射设备发射与显示器3平行的多个红外线。在光路中发射的每条红外线被在显示器3的周边上提供的反射构件反射并且在相同的光路中返回，从而被接收元件接收。接触传感器115向传感器控制器114输出指示被障碍物中断的由两个光接收/发射设备发射的红外线的标识(id)，使得传感器控制器114指定与障碍物接触的位置的坐标位置。注意的是，如在以下描述中说明的每个id是标识信息的示例。

此外，除了中断红外线的方法之外，还可以采用各种检测单元用于接触传感器115，诸如使用其中基于电容变化的检测来指定接触位置的电容方法的触摸屏、使用其中基于彼此面对的两个电阻膜之间的电压变化来指定接触位置的电阻膜方法的触摸屏、使用其中基于当显示部分被障碍物等接触时生成的电磁感应的检测来指定接触位置的电磁感应方法的触摸屏，

此外，电子黑板2提供有电子笔控制器116。电子笔控制器116与电子笔4通信，以便检测显示器3是否被笔尖或笔端触摸。注意的是，除了电子笔4的笔尖或笔端之外，电子笔控制器116还可以被配置为检测是否被电子笔4的抓握部分或者电子笔的另一个部分触摸。

此外，电子黑板2提供有总线120，诸如地址总线或数据总线，其电连接cpu101、rom102、ram103、ssd104、网络控制器105、外部存储器控制器106、捕获设备111、gpu112、传感器控制器114和电子笔控制器116，如图2所示。

注意的是，用于电子黑板2的程序可以被记录在诸如cd-rom等的计算机可读记录介质中，用于分发目的。

<电子黑板的功能配置>

以下描述参考图3至图16说明电子黑板的功能配置。首先，参考图3说明电子黑板2的整体功能配置。图3是电子黑板2的功能框图。

电子黑板2包括基于如图2所示的硬件配置和程序的如图3所示的每个功能配置。电子黑板2可以成为首先发起远程共享处理的“主机设备”，并且也可以成为稍后参与已经发起的远程共享处理的“参与设备”。此外，电子黑板2包括作为粗略划分的单元的客户端单元20和服务器单元90。客户端单元20和服务器单元90是在单个电子黑板2的主体内部实施的功能。此外，在电子黑板2成为主机设备的情况下，客户端单元20和服务器单元90在电子黑板2中实施。此外，在电子黑板2成为参与终端的情况下，客户端单元20在电子黑板2中实施，而服务器单元90不在电子黑板2中实施。也就是说，参考图1，在电子黑板2a成为主机设备并且电子黑板2b成为参与设备的情况下，电子黑板2a的客户端单元20经由类似地在电子黑板2a内部实施的服务器单元90与另一个电子黑板2b的客户端单元20通信。相反，电子黑板2b的客户端单元20经由在所述另一个电子黑板2a内部实施的服务器单元90与另一个电子黑板2a的客户端单元20通信。

(客户端单元20的功能配置)

以下描述主要参考图3至图5来说明客户端单元20的功能配置。客户端单元20包括视频获取单元21、坐标检测单元22、自动调整单元23、接触检测单元24、事件分类单元25、操作处理单元26、手势处理单元27、视频叠加单元28、图像处理单元30和通信控制单元60。

在以上当中，视频获取单元21从连接到电缆10的诸如膝上型pc6的视频输出设备获取视频输出。当从视频输出设备接收到图像信号时，视频获取单元21分析该图像信号以计算图像信息，诸如作为基于图像信号形成的并且在视频输出设备上显示的图像的图像帧的分辨率，以及图像帧的更新频率。此外，图像信息被输出到图像获取单元31。

坐标检测单元22检测用户生成事件(即，用户的手h等触摸显示器3的动作)处的显示器3的坐标位置。此外，坐标检测单元22也检测触摸区域。

当电子黑板2开启时，自动调节单元23开始运行。自动调整单元23调整用于处理由接触传感器115执行的光传感器方法中的传感器相机的图像的参数，以便使得接触传感器115能够向坐标检测单元22输出适当的值。

接触检测单元24检测响应于用户使用电子笔4的操作而生成的事件(即，用电子笔4的笔尖或笔端在显示器3上按压(触摸)的运动等)。

事件分类单元25将由坐标检测单元22检测到的事件的坐标位置和由接触检测单元24执行的检测的检测结果分类为每个事件，其可以是笔划描绘、ui操作或手势操作。

注意的是，“笔划描绘”是如此生成的事件，即，当下面说明的如图16所示的笔划图像(b)在显示器3上显示时，用户用电子笔4按压显示器3、在保持按压状态的同时移动电子笔4、并且然后最后从显示器3释放电子笔4。基于这样的笔划描绘，在显示器3上绘出诸如“s”或“t”的字母。注意的是，除了描绘图像之外，“笔划描绘”还包括删除或编辑已经绘出的图像的事件。

“ui操作”是如此生成的事件，即，当下面说明的如图16所示的ui图像(a)在显示器3上显示时，用户按需用电子笔4或手按压位置。基于这样的ui操作，相对于使用电子笔4绘出的线条提供颜色、宽度等的设置。

“手势操作”是如此生成的事件，即，当下面说明的如图16所示的笔划图像(b)在显示器3上显示时，用户用手h触摸显示器3并移动手h。基于这样的手势操作，例如，当用户在用手h触摸显示器3的同时移动手h时，可以执行放大(或压缩)图像、改变显示区域或翻页等。

操作处理单元26根据其上生成事件的ui元素，从与由事件分类单元25确定的ui操作对应的各种操作中执行操作。ui元素可以是例如按钮、列表、复选框或文本框。

手势处理单元27执行与由事件分类单元25确定的手势操作对应的操作。

视频叠加单元28在视频输出设备(即，显示器3等)上显示由下面说明的显示叠加单元36叠加的图像作为视频。视频叠加单元28利用从另一个视频输出设备(即，电话会议终端7等)传送的视频在从视频输出设备(即，膝上型pc6等)提供的视频上实现画中画(picture-in-picture)。此外，视频叠加单元28切换在显示器3的一部分上显示的画中画视频的显示，以在显示器3的全屏上显示。

图像处理单元30执行例如如图16所示的叠加每个图像层的处理。图像处理单元30包括图像获取单元31、笔划处理单元32、ui图像生成单元33、背景生成单元34、布局管理单元35、显示叠加单元36、页面处理单元37、文件处理单元40、页面数据存储单元300和远程许可管理表310。

在以上当中，图像获取单元31获得由视频获取单元21获取的视频的每一帧作为图像。图像获取单元31将图像的数据输出到页面处理单元37。该图像相当于如图16所示的从视频输出设备(即，膝上型pc6等)提供的输出图像(c)。

笔划处理单元32连接由手h、电子笔4等接触的位置，以便基于由事件分类单元25分类的笔划描绘事件绘出笔划图像、删除绘出的图像或者编辑绘出的图像。由笔划描绘得到的图像相对于如图16所示的笔划图像(b)。此外，基于笔划描绘由图像的描绘、删除和编辑得到的每个结果作为如下面说明的操作数据被存储在下面说明的操作数据存储器单元840中。

ui图像生成单元33生成相对于电子黑板2预设的用户界面(ui)图像。该ui图像相当于如图16所示的ui图像(a)。

背景生成单元34从页面处理单元37接收由页面处理单元37从页面数据存储单元300检索到的页面数据中的媒体数据。背景生成单元34将接收到的媒体数据输出到显示叠加单元36。注意的是，基于媒体数据的图像相当于如图16所示的背景图像(d)。背景图像(d)的图案可以是例如平面或网格显示。

布局管理单元35管理布局信息，该布局信息指示相对于从图像获取单元31、笔划处理单元32或ui图像生成单元33(或背景生成单元34)输出的每个图像对于显示叠加单元36的布局。因此，布局管理单元35能够向显示叠加单元36提供关于在ui图像(a)和背景图像(d)中何处显示输出图像(c)和笔划图像(b)的指令或不显示输出图像(c)和笔划图像(b)的指令。

显示叠加单元36基于从布局管理单元35输出的布局信息来确定从图像获取单元31、笔划处理单元32或ui图像生成单元33(或背景生成单元34)输出的每个图像的布局。

页面处理单元37将笔划图像(b)的数据和输出图像(c)的数据集成到页面数据的单元中并将页面数据的单元存储在页面数据存储单元300中。笔划图像(b)的数据形成页面数据的一部分作为由如图6所示的笔划布置数据id表示的笔划布置数据(即，笔划数据的每个单元)。输出图像(c)的数据形成页面数据的一部分作为由如图6所示的媒体数据id表示的媒体数据。此外，当从页面数据存储单元300中检索时，媒体数据被视为背景图像(d)的数据。

此外，页面处理单元37经由背景生成单元34将包括在临时存储的页面数据中的媒体数据传送到显示叠加单元36，使得视频叠加单元28重新渲染以在显示器3上显示背景图像(d)。此外，页面处理单元37将包括在页面数据中的笔划布置数据(即，笔划数据的每个单元)传送回笔划处理单元32，以便使得能够重新编辑笔划。此外，页面处理单元37也能够删除和复制页面数据。

换句话说，当页面处理单元37将页面数据存储在页面数据存储单元300中时，显示器3上显示的输出图像(c)的数据被临时存储在页面数据存储单元300中。然后，当从页面数据存储单元300中被检索时，数据作为表示背景图像(d)的媒体数据被检索。然后，页面处理单元37将从笔划数据存储单元300中检索到的页面数据中的表示笔划图像(b)的笔划布置数据输出到笔划处理单元32。此外，页面处理单元37将从页面数据存储单元300中检索到的页面数据中的表示背景图像(d)的媒体数据输出到背景生成单元34。

显示叠加单元36基于由布局管理单元35指定的布局叠加从图像获取单元31提供的输出图像(c)、从笔划处理单元32提供的笔划图像(b)、从ui图像生成单元33提供的ui图像(a)和从背景生成单元34提供的背景图像(d)。以上述方式，叠加图像具有以下配置：按照从用户观看的顺序，ui图像(a)、笔划图像(b)、输出图像(c)和背景图像(d)的各个层，如图16所示。

此外，显示叠加单元36可以切换如图16所示的图像(c)和图像(d)，以唯一地重叠在图像(a)和图像(b)上。例如，在首先显示图像(a)、图像(b)和图像(c)并且然后拉出电子黑板2和视频输出设备(即，膝上型pc等)之间的电缆10的情况下，如果由布局管理单元35指定，则有可能排除图像(c)作为用于叠加的对象并显示图像(d)。在上述情况下，显示叠加单元36可以执行用于放大显示屏幕、压缩显示屏幕以及移动显示区域的处理。

远程许可管理表310管理执行远程共享处理所需的许可数据。在远程许可管理表310中，电子黑板2的产品id、用于认证的许可id和许可的过期日期彼此相关联地进行管理，如图10所示。

<<页面数据>>

页面数据存储单元300存储如图6所示的页面数据。图6是图示页面数据的概念图。页面数据是与显示器3上显示的一个页面对应的数据(即，笔划布置数据(笔划数据的每个单元)和媒体数据)。注意的是，在以下描述中，参考图6至图9单独说明页面数据的内容，以说明页面数据中包含的各种参数。

页面数据如图6所示被存储，使得用于识别任意页面的页面数据id、指示开始显示页面时的时间的开始时间、指示当通过笔划、手势等在页面内容上写入结束时的时间的结束时间、用于识别当通过使用电子笔4或用户的手h笔划时生成的笔划布置数据的笔划布置数据id和用于识别媒体数据的媒体数据id彼此相关联。注意的是，页面数据以每文件为基础进行管理。笔划布置数据是用于在显示器3上显示如图16所示的下面说明的笔划图像(b)的数据。媒体数据是用于在显示器3上显示如图16所示的下面说明的背景图像(d)的数据。

基于这样的页面数据，例如，当用户用电子笔4绘制字母“s”时，由于字母“s”在一个笔划中绘制，因此字母“s”由一个笔划数据id表示。但是，当用户用电子笔4绘制字母“t”时，由于字母“t”在两个笔划中绘制，因此字母“t”由两个笔划数据id表示。

此外，笔划布置数据表示如图7所示的详细信息。图7是图示笔划布置数据的概念图。如图7所示，一个笔划布置数据单元可以由多个笔划数据单元表示。此外，一个笔划数据单元表示用于识别笔划数据单元的笔划数据id、指示开始绘制笔划时的时间的开始时间、指示笔划绘制完成时的时间的结束时间、笔划的颜色、笔划的宽度、以及用于识别经过点相对于笔划的布置的坐标布置数据id。

此外，坐标布置数据表示如图8所示的详细信息。图8是图示坐标布置数据的概念图。如图8所示，坐标布置数据表示指示显示器3上的点(即，x坐标值和y坐标值)的信息、经过点的时间与笔划的开始时间之间的时间差(ms)、以及在该点处的写入压力。换句话说，图8所示的点的集合由如图7所示的单个坐标布置id表示。例如，虽然用户用电子笔4在一个笔划中绘制字母“s”，但是，经过了多个经过点来完成绘制“s”。因此，坐标布置数据表示关于多个经过点的信息。

此外，如图6所示包括在页面数据中的媒体数据表示如图9所示的详细信息。图9是图示媒体数据的概念图。如图9所示，媒体数据表示彼此相关联的如图6所示的页面数据的媒体数据id、媒体数据的数据类型、由页面处理单元37在页面数据存储单元300中记录页面数据时的记录时间、基于页面数据显示在显示器3上的图像的位置(即，x坐标值和y坐标值)、图像的尺寸(即，宽度和高度)以及指示媒体数据的内容的数据。在以上当中，基于页面数据显示在显示器3上的图像的位置指示基于页面数据显示的图像的左上角的位置，其以显示器3的左上角的坐标是:(x坐标值，y坐标值)＝(0,0)为基础。

(文件处理单元40的功能配置)

以下描述参考图4说明如图3所示的文件处理单元40的功能配置。注意的是，图4是文件处理单元40的功能框图。文件处理单元40包括恢复处理单元41、文件输入单元42a、文件输出单元42b、文件转换单元43、文件传送单元44、地址簿输入单元45、备份处理单元46、备份输出单元47、设置管理单元48、设置文件输入单元49a和设置文件输出单元49b。此外，文件处理单元40包括地址簿管理表410、备份数据存储单元420、设置文件存储单元430和连接目的地管理表440。

当电子黑板2异常结束时，恢复处理单元41检测到异常结束并恢复未保存的页面数据。例如，在正常结束的情况下，页面数据经由文件处理单元40作为pdf文件被记录在usb存储器5中。但是，在异常结束的情况下，诸如当断电时，页面数据仍然被记录在页面数据存储单元300中。因此，当重新通电时，恢复处理单元41从页面数据存储单元300中检索页面数据用于恢复。

文件输入单元42a从usb存储器5中检索pdf文件，并将pdf文件的每个页面作为页面数据存储在页面数据存储单元300中。

文件转换单元43将存储在页面数据存储单元300中的页面数据转换为pdf格式的文件。

文件输出单元42b将由文件转换单元43输出的pdf文件记录在usb存储器5中。

文件传送单元44将由文件转换单元43生成的pdf文件附加到电子邮件以传送pdf文件。为了确定文件的传送目的地，显示叠加单元36在显示器3上显示地址簿管理表410的内容，使得文件传送单元44经由输入设备(诸如触摸屏)接受用户的操作以选择目的地。如图11所示，在地址簿管理表410上，目的地的名称和电子邮件地址彼此相关联地进行管理。此外，文件传送单元44可以经由诸如触摸屏的输入设备接受用户提供的操作，以输入电子邮件地址作为目的地。

地址簿输入单元45从usb存储器5中检索电子邮件地址列表的文件，并在地址簿管理表410上管理该文件。

备份处理单元46为了备份的目的将由文件输出单元42b输出的文件和由文件传送单元44传送的文件存储在备份数据存储单元420中。注意的是，在用户没有提供备份设置的情况下，不执行用于备份的处理。备份数据以pdf格式进行存储，如图12所示。

备份输出单元47将备份文件存储在usb存储器5中。在存储备份文件时，为了安全的目的，通过由用户经由诸如触摸屏的输入设备提供的操作输入密码。

为了管理的目的，设置管理单元48将关于电子黑板2的各种类型的设置信息存储在设置文件存储单元430中以及从设置文件存储单元430中检索各种类型的设置信息。各种类型的设置信息可以包括例如网络设置、日期/时间设置、区域/语言设置、邮件服务器设置、地址簿设置、连接目的地列表设置、关于备份的设置等。注意的是，网络设置可以包括例如关于电子黑板2的ip地址的设置、关于网络掩码的设置、关于默认网关的设置、关于域名系统(dns)的设置等。

设置文件输出单元49b将关于电子黑板2的各种类型的设置信息作为设置文件记录在usb存储器5中。注意的是，由于安全性，用户不能看到设置文件的内容。

设置文件输入单元49a检索存储在usb存储器5中的设置文件，并用各种类型的设置信息更新电子黑板2的设置。

连接目的地输入单元50从usb存储器5中检索作为远程共享处理的连接目的地的ip地址列表的文件，并在连接目的地管理表440上管理该文件。注意的是，如图13所示，连接目的地管理表440用于初步管理作为主机设备操作的电子黑板2的ip地址，以便在电子黑板2是将要参与远程共享处理的参与设备的情况下,减少电子黑板2的用户输入作为主机设备操作的电子黑板2的ip地址的负担。在连接目的地管理表440上，安装作为使得能够参与的主机设备操作的电子黑板2处的地点的名称和作为主机设备操作的电子黑板2的ip地址彼此相关联地进行管理。

注意的是，连接目的地管理表440不是必须存在的。但是，在不存在的情况下，参与者设备的用户需要经由诸如触摸屏的输入设备输入与主机设备开始远程共享处理时的主机设备的ip地址。由于上述原因，参与设备的用户应当经由电话呼叫、电子邮件等被主机设备的用户通知主机设备的ip地址。

(通信控制单元60的功能配置)

以下描述参考图5说明通信控制单元60的功能配置。通信控制单元60经由通信网络9控制与另一个电子黑板2执行的通信以及与下面说明的服务器单元90的通信控制单元70执行的通信。因此，通信控制单元60包括远程开始处理单元61、远程参与处理单元62、远程图像传送单元63、远程图像接收单元64、远程操作传送单元65、远程操作接收单元66以及参与地点管理表610。

在以上当中，电子黑板2的远程开始处理单元61向同一电子黑板2的服务器单元90请求新开始的远程共享处理，并从服务器单元90接收请求结果。这里，远程开始处理单元61参考远程许可管理表310，并且在许可信息(即，产品id、许可id、过期日期)被管理的情况下，远程开始处理单元61可以提供开始远程共享处理请求。注意的是，在许可信息未被管理的情况下，不能提供开始远程共享处理的请求。

参与地点管理表610用于相对于作为主机设备操作的电子黑板2管理作为当前参与远程共享处理的参与设备操作的电子黑板2。如图14所示，在参与地点管理表610上，安装参与电子黑板2处的地点的名称和电子黑板2的ip地址彼此相关联地进行管理。

远程参与处理单元62经由通信网络9将参与远程共享处理的请求提供给包括在作为主机设备操作并已开始远程共享处理的电子黑板2的服务器单元90中的远程连接请求接收单元71。在上述情况下，远程参与处理单元62也参考远程许可管理表310。此外，在参与已经开始的远程共享处理的情况下，远程参与处理单元62参考连接目的地管理表440，以获取作为参与的目的地的电子黑板2的ip地址。注意的是，远程参与处理单元62不需要参考连接目的地管理表440。也就是说，作为参与的目的地的电子黑板2的ip地址可以由用户通过经由诸如触摸屏的输入设备的操作来输入。

远程图像传送单元63将已从视频获取单元21经由图像获取单元31传送的输出图像(c)传送到服务器单元90。

远程图像接收单元64从服务器单元90接收从连接到另一个电子黑板2的视频输出设备提供的图像数据，并将该图像数据输出到显示叠加单元36，以便使得能够进行远程共享处理。

远程操作传送单元65向服务器单元90传送远程共享处理所需的各种类型的操作数据。各种类型的操作数据可以包括例如关于添加笔划、删除笔划、编辑(即，放大、压缩、移动)笔划、存储页面数据、创建页面数据、复制页面数据、删除页面数据、翻动显示页面等的数据。此外，远程操作接收单元66从服务器单元90接收已在另一个电子黑板2中输入的操作数据，并将该操作数据输出到图像处理单元30以便使得能够进行远程共享处理。

(服务器单元的功能配置)

以下描述参考图5说明服务器单元90的功能配置。在每个电子黑板2中提供的服务器单元90能够执行作为用于任何电子黑板2的服务器单元90的角色。因此，服务器单元90包括通信控制单元70和数据管理单元80。

(通信控制单元70的功能配置)

以下描述参考图5说明通信控制单元70的功能配置。

电子黑板2的通信控制单元70经由同一电子黑板2的客户端单元20中包括的通信控制单元60并经由通信网络9控制与包括在另一个电子黑板2的客户端单元20中的通信控制单元60执行的通信。数据管理单元80管理操作数据、图像数据等。

更具体而言，通信控制单元70包括、远程连接结果传送单元72、远程图像接收单元73、远程图像传送单元74、远程操作接收单元75以及远程操作传送单元76。

在以上当中，远程连接请求接收单元71从远程开始处理单元61接收开始远程共享处理的请求，并经由通信网络9从在另一个电子黑板2中提供的远程参与处理单元62接收参与远程共享处理的请求。远程连接结果传送单元72向远程开始处理单元61传送请求开始远程共享处理的结果，并经由通信网络9向在另一个电子黑板2中提供的远程参与处理单元62传送请求参与远程共享处理的结果。

远程图像接收单元73从远程图像传送单元63接收图像数据(即，表示输出图像(c)的数据)，并将该图像数据传送到下面说明的远程图像处理单元82。远程图像传送单元74从远程图像处理单元82接收图像数据，并将该图像数据传送到远程图像接收单元64。

远程操作接收单元75从远程操作传送单元65接收操作数据(即，表示笔划图像(b)的数据等)，并将该操作数据传送到下面说明的远程操作处理单元83。远程操作传送单元76从远程操作处理单元83接收操作数据，并将该操作数据传送到远程操作接收单元66。

(数据管理单元的功能配置)

以下描述参考图5说明数据管理单元80的功能配置。

数据管理单元80包括远程连接处理单元81、远程图像处理单元82、远程操作处理单元83、操作合成处理单元84和页面处理单元85。此外，服务器单元90包括密码管理单元810、参与地点管理表820、图像数据存储单元830、操作数据存储单元840和页面数据存储单元850。

在以上当中，远程连接处理单元81开始和结束远程共享处理。此外，远程连接处理单元81基于由远程连接请求接收单元71从远程开始处理单元61接收到的许可信息连同开始远程共享处理的请求，或基于由远程连接请求接收单元71从远程参与处理单元62接收到的许可信息连同参与远程共享处理的请求，检查是否存在许可以及许可是否未到期。此外，远程连接处理单元81检查从另一个电子黑板2的客户端单元20提供的参与请求的数量是否没有超过预定的最大参与数量。

此外，远程连接处理单元81确定从另一个电子黑板2连同参与远程共享处理的请求一起传送的密码是否与存储在密码管理单元810中的密码相同。然后，在密码相同的情况下，允许参与远程共享处理。注意的是，密码由远程连接处理单元81在新开始远程共享处理时发出，并且作为参与设备操作以参与远程共享处理的电子黑板2的用户被作为主机设备操作的电子黑板2的用户经由电话呼叫、电子邮件等通知密码。因此，当经由诸如触摸屏的输入设备在参与设备中输入密码并提供参与请求时，将要参与远程共享处理的参与设备的用户被允许参与。注意的是，在对于用户的可用性优先于安全性的情况下，只要检查了许可状态，就可以省略对密码的检查。

此外，在电子黑板2是主机设备的情况下，远程连接处理单元81在服务器单元90的参与地点管理表820中存储已从参与设备的远程参与处理单元62经由通信网络9传送的参与请求中包含的参与地点信息。此外，远程连接处理单元81检索存储在参与地点管理表820中的远程地点信息，并将该远程地点信息传送到远程连接结果传送单元72。主机设备的远程连接结果传送单元72将远程地点信息传送到在同一主机设备中提供的客户端单元20的远程开始处理单元61。远程开始处理单元61将远程位置信息存储在参与地点管理表610中。因此，主机设备管理客户端单元20和服务器单元90两者中的远程地点信息。

远程图像处理单元82从连接到处于远程共享处理的每个电子黑板2的客户端单元(包括在作为主机设备操作的同一电子黑板2中提供的客户端单元)的视频输出设备(即，膝上型pc等)接收图像数据(即，输出图像(c))，并且将图像数据存储在图像数据存储单元830中。此外，远程图像处理单元82基于其中作为主机设备操作的电子黑板2的服务器单元90接收图像数据的时间顺序确定用于显示用于远程共享处理的图像数据的顺序。此外，远程图像处理单元82参考参与地点管理表820，并且经由通信控制单元70(即，远程图像传送单元74)以上述确定的顺序将图像数据传送到参与远程共享处理的所有电子黑板2的客户端单元20(包括在作为主机设备操作的同一电子黑板2中提供的客户端单元)。

远程操作处理单元83基于其中作为主机设备操作的电子黑板2中提供的服务器单元90接收图像的时间顺序接收关于由处于远程共享处理的每个电子黑板2的客户端单元(包括在作为主机设备操作的同一电子黑板2中提供的客户端单元)绘出的笔划图像等的各种类型的操作数据(即，笔划图像(b)等)。注意的是，各种类型的操作数据与如以上说明的各种类型的操作数据相同。此外，远程操作处理单元83参考参与地点管理表820并且将操作数据传送到处于远程共享处理的所有电子黑板2的客户端单元20(包括在作为主机设备操作的同一电子黑板2中提供的客户端单元)。

操作合成处理单元84合成已由远程操作处理单元83输出的关于每个电子黑板2的操作数据。此外，操作合成处理单元84将由合成产生的操作数据存储在操作数据存储器单元840中并且将由合成产生的操作数据返回到远程操作处理单元83。操作数据从远程操作传送单元76传送到在作为主机设备操作的电子黑板中提供的客户端单元以及在作为参与设备操作的电子黑板中提供的每个客户端单元，使得由相同操作数据表示的图像被显示在每个电子黑板2上。因此，如图15所示，操作数据包括彼此相关联的序列(seq)、操作数据的操作名称、从中传送操作的电子黑板2的客户端单元(或服务器单元)的ip地址和端口号、向其传送操作的电子黑板2的客户端单元(或服务器单元)的ip地址和端口号、操作数据的操作类型、操作数据的操作目标、以及表示操作数据的内容的数据。例如，对于seq1，其指示笔划在作为主机设备操作的电子黑板(ip地址：192.0.0.1)中提供的客户端单元(端口号：50001)处绘出，并且操作数据被传送到在作为主机设备操作的同一电子黑板(ip地址：192.0.0.1)中提供的服务器单元(端口号：50000)。在上述情况下，操作类型是“stroke”，操作目标是页面数据id“p005”，并且表示操作数据的内容的数据是表示笔划的数据。此外，对于seq2，其指示操作数据从在作为主机设备操作的电子黑板(ip地址：192.0.0.1)中提供的服务器单元(端口号：50000)传送到在作为参与设备操作的另一个电子黑板(ip地址：192.0.0.2)中提供的客户端设备(端口号：50001)。

注意的是，操作合成处理单元84以按照操作数据输入到操作合成处理单元84的顺序执行合成。因此，除非通信网络9繁忙，否则当每个电子黑板2的用户绘制笔划时，笔划图像(b)被顺序地显示在处于远程共享处理的所有电子黑板2的显示器3上。

页面处理单元85具有与包括在客户端单元20的图像处理单元30中的页面处理单元37相同的功能。因此，服务器单元90将如图6至图8所示的页面数据存储在页面数据存储单元850中。注意的是，页面数据存储单元850说明被省略，因为该说明与在图像处理单元30中提供的页面数据存储单元300相同。

<实施例中的处理和操作>

以下描述参考图17和图18说明实施例中的处理和操作。注意的是，图17和18是图示由每个电子黑板执行的处理的序列图。

在图17和图18所示的实施例的描述说明了其中电子黑板2a作为托管远程共享处理的主机设备(即，服务器单元和客户端单元)操作，并且电子黑板2b和2c作为参与远程共享处理的参与设备(即，客户端单元)操作的情况。此外，这里，显示器3a、3b和3c以及膝上型pc6a、6b和6c分别连接到电子黑板2a、2b和2c。此外，电子笔4a、4b和4c分别用于电子黑板2a、2b和2c。

(参与处理)

首先，以下描述参考图17说明电子黑板2b和2c参与远程共享处理的处理。

当用户打开电子黑板2a的电源时，电子黑板2a的客户端单元20运行。然后，当用户经由诸如触摸屏的输入设备提供操作以使服务器单元90运行时，客户端单元20的远程开始处理单元61向在同一电子黑板2a的服务器单元90中提供的远程连接请求接收单元71输出用于使服务器单元90的处理开始的指令。以上述方式，对于电子黑板2a，不仅使得客户端单元20而且使得服务器单元90能够开始各种类型的处理(步骤s21)。

接下来，在电子黑板2a的客户端单元20中提供的ui图像生成单元33生成用于建立与电子黑板2a的连接的连接信息，并且视频叠加单元28在显示器3a上显示经由显示叠加单元36从ui图像生成单元33获取的连接信息(步骤s22)。

连接信息包括主机设备的ip地址和为要在当前时间执行的远程共享处理而生成的密码。在上述情况下，存储在密码管理单元810中的密码由如图5所示的远程连接处理单元81检索，并且被顺序地传送到远程连接结果传送单元72并且然后被传送到远程开始处理单元61。此外，密码从包括远程开始处理单元61的通信控制单元60传送到如图3所示的图像处理单元30并且最终被输入到ui图像生成单元33。以上述方式，密码被包括在连接信息中。然后，电子黑板2b和2c的用户经由电话呼叫、电子邮件等被电子黑板2a的用户通知连接信息。注意的是，当提供有连接目的地管理表440时，即使主机设备的ip地址没有包括在连接信息中，参与设备也可以请求参与。

接下来，当电子黑板2b和2c经由诸如触摸屏的输入设备通过每个用户的操作接受连接信息的输入时，在电子黑板2a和2b的每一个的客户端单元20中提供的远程参与处理单元62基于连接信息中包括的ip地址，经由通信网络9将密码传送到在电子黑板2a的服务器单元90中提供的通信控制单元70，以便请求参与(步骤s23和s24)。以上述方式，通信控制单元70的远程连接请求接收单元71从电子黑板2b和2c中的每一个接收参与请求(包括密码)，并将密码输出到远程连接处理单元81。

接下来，远程连接处理单元81通过使用在密码管理单元810中管理的密码，相对于从电子黑板2b和2c中的每一个接收到的密码执行认证(步骤s25)。然后，远程连接结果传送单元72向电子黑板2b和2c中的每一个的客户端单元20通知认证结果(步骤s26和s27)。通过步骤s25处的认证，在电子黑板2b和2c中的每一个被确定为有效的电子黑板的情况下，在作为主机设备操作的电子黑板2a和作为参与设备操作的电子黑板2b和2c中的每一个之间建立用于远程共享处理的通信，使得在电子黑板2b和2c中的每一个的客户端单元20中提供的远程参与处理单元62可以开始与其它电子黑板2中的每一个的远程共享处理(步骤s28和s29)。

(输出图像的显示)

以下描述参考图17说明用于在远程共享处理期间显示输出图像(c)的处理。

首先，电子黑板2b在显示器3b上显示输出图像(c)(步骤s30)。具体而言，电子黑板2b的图像获取单元31经由视频获取单元21从膝上型pc6b接收表示在膝上型pc6b上显示的输出图像(c)的数据，并经由显示叠加单元36和视频叠加单元28将该数据传送到显示器3b，使得显示器3b显示输出图像(c)。

接下来，包括图像获取单元31并在电子黑板2b中提供的图像处理单元30将表示输出图像(c)的数据传送到远程图像传送单元63，使得包括远程图像传送单元63的通信控制单元60经由通信网络9将表示输出图像(c)的数据传送到作为主机设备操作的电子黑板2a的通信控制单元70(步骤s31)。通过上述方式，电子黑板2a的远程图像接收单元73接收表示输出图像(c)的数据并将该数据输出到远程图像处理单元82，使得远程图像处理单元82将表示输出图像(c)的数据存储在图像数据存储单元830中。

接下来，作为主机设备操作的电子黑板2a在显示器3a上显示输出图像(c)(步骤s32)。具体而言，电子黑板2a的远程图像处理单元82将表示已从远程图像接收单元73接收到的输出图像(c)的数据输出到远程图像传送单元74。远程图像传送单元74将表示图像数据(c)的数据输出到在作为主机设备操作的同一电子黑板2a的客户端单元20中提供的远程图像接收单元64。远程图像接收单元64将表示输出图像(c)的数据输出到显示叠加单元36。显示叠加单元36将表示输出图像(c)的数据输出到视频叠加单元28。视频叠加单元28将表示输出图像(c)的数据输出到显示器3a。以上述方式，显示器3a在显示器3a上显示输出图像(c)。

接下来，包括远程图像传送单元74并在作为主机设备操作的电子黑板2a的服务器单元90中提供的通信控制单元70经由通信网络9将表示输出图像(c)的数据传送到电子黑板2c的通信控制单元60，电子黑板2c是除了从中传送表示输出图像(c)的数据的电子黑板2b以外的电子黑板(步骤s33)。以上述方式，作为参与设备操作的电子黑板2c的远程图像接收单元64接收表示输出图像(c)的数据。

接下来，电子黑板2c在显示器3c上显示输出图像(c)(步骤s34)。具体而言，电子黑板2c的远程图像接收单元64将表示如上所述已在步骤s33处接收到的输出图像(c)的数据输出到电子黑板2c的显示叠加单元36。显示叠加单元36将表示输出图像(c)的数据输出到视频叠加单元28。视频叠加单元28将表示输出图像(c)的数据输出到显示器3c。以上述方式，显示器3c显示输出图像(c)。

注意的是，在除了表示输出图像(c)的数据之外，表示ui图像(a)的数据和表示笔划图像(b)的数据也被输入到视频叠加单元28的情况下，显示叠加单元36生成叠加图像(a，b，c)，并且视频叠加单元28将表示叠加图像(a，b，c)的数据输出到显示器3c。此外，在表示电视会议的视频(e)的数据已从电话会议终端7传送到视频叠加单元28的情况下，视频叠加单元28实现画中画，使得表示电话会议的视频(e)的数据被叠加在叠加图像(a，b，c)上，以便向显示器3c提供输出。

(叠加图像的显示)

以下描述参考图18说明用于在远程共享处理期间显示叠加图像的处理。

首先，电子黑板2b的用户使用电子笔4b在电子黑板2b上绘制笔划图像(b)(步骤s41)。

接下来，电子黑板2b的显示叠加单元36将笔划图像(b)叠加在ui图像(a)和输出图像(c)上，如图16所示，使得视频叠加单元28在电子黑板2b的显示器3b上显示叠加图像(a，b，c)(步骤s42)。具体而言，电子黑板2b的笔划处理单元32经由事件分类单元25从坐标检测单元22和接触检测单元24接收表示笔划图像(b)的数据作为操作数据，并且将该数据传送到显示器叠加单元36。以上述方式，显示叠加单元36可以将笔划图像(b)叠加在ui图像(a)和输出图像(c)上，使得视频叠加单元28在电子黑板2b的显示器3b上显示叠加图像(a，b，c)。

接下来，包括笔划处理单元32并在电子黑板2b中提供的图像处理单元30将表示笔划图像(b)的数据传送到远程操作传送单元65，使得电子黑板2b的远程操作传送单元65经由通信网络9将表示笔划数据(b)的数据传送到作为主机设备操作的电子黑板2a的通信控制单元70(步骤s43)。以上述方式，电子黑板2a的远程操作接收单元75接收表示笔划图像(b)的数据并将该数据输出到远程操作处理单元83，使得远程操作处理单元83将表示笔划图像(b)的数据输出到操作合成处理单元84。以上述方式，在电子黑板2b上绘制的表示笔划图像(b)的数据在被绘制时一个接一个地传送到作为主机设备操作的电子黑板2a的远程操作处理单元83。表示笔划图像(b)的数据是由如图7所示的每个笔划数据id指定的数据。因此，例如，如上所述，在用户使用电子笔4绘制字母“t”的情况下，表示由两个笔划数据id中的每一个指定的笔划图像(b)的数据按顺序被传送，因为字母“t”是用两个笔划绘制的。

接下来，作为主机设备操作的电子黑板2a在显示器3a上显示包括表示从电子黑板2b传送的笔划图像(b)的数据的叠加图像(a，b，c)(步骤s44)。具体而言，电子黑板2a的操作合成处理单元84合成表示已经由远程操作处理单元83按顺序传送的多个笔划图像(b)的数据，用于存储在操作数据存储单元840中和用于传送回远程操作处理单元83。以上述方式，远程操作处理单元83将已从操作合成处理单元84接收到的表示合成笔划图像(b)的数据输出到远程操作传送单元76。远程操作传送单元76将表示合成笔划图像(b)的数据输出到在作为主机设备操作的同一电子黑板2a的客户端单元20中提供的远程操作接收单元66。远程操作接收单元66将表示合成笔划图像(b)的数据输出到在图像处理单元30中提供的显示叠加单元36。因此，显示叠加单元36将合成笔划图像(b)叠加在ui上图像(a)和输出图像(c)上。最后，视频叠加单元28在显示器3a上显示由显示叠加单元36叠加的叠加图像(a，b，c)。

接下来，包括远程操作传送单元76并在作为主机设备操作的电子黑板2a的服务器单元90中提供的通信控制单元70经由通信网络9将表示合成笔划图像(b)的数据传送到电子黑板2c的通信控制单元60，电子黑板2c是除了从中传送表示笔划图像(b)的数据的电子黑板2b以外的电子黑板(步骤s45)。以上述方式，作为参与设备操作的电子黑板2c的远程操作接收单元66接收表示合成笔划图像(b)的数据。

接下来，电子黑板2c在显示器3c上显示叠加图像(a，b，c)(步骤s34)。具体而言，电子黑板2c的远程操作接收单元66将如上所述在步骤s45处接收到的表示合成笔划图像(b)的数据输出到电子黑板2c的图像处理单元30。图像处理单元30的显示叠加单元36将表示合成笔划图像(b)的数据叠加在ui图像(a)和输出图像(c)中的每一个上，并将表示叠加图像(a，b，c)的数据输出到视频叠加单元28。视频叠加单元28将表示叠加图像(a，b，c)的数据输出到显示器3c。以上述方式，显示器3c在显示器3c上显示叠加图像(a，b，c)。

注意的是，虽然在以上处理中在显示器3上显示输出图像(c)，但是可以显示背景图像(d)，而不是输出图像(c)。此外，输出图像(c)和背景图像(d)之间不是排他关系，而是输出图像(c)和背景图像(d)两者可以同时显示在显示器3上。

(参与的结束)

以下描述参考图18说明其中参与设备结束参与远程共享处理的处理。在图18所示的实施例中，描述了其中电子黑板2c结束参与的处理。

首先，当电子黑板2c经由诸如触摸屏的输入设备从用户接受用于提供结束参与的请求的操作时，远程参与处理单元62向在作为主机设备操作的电子黑板2a的服务器单元90中提供的通信控制单元70提供结束参与的请求(步骤s47)。以上述方式，通信控制单元70的远程连接请求接收单元71从电子黑板2c接收结束参与的请求，并且向远程连接处理单元81输出参与结束的请求连同电子黑板2c的ip地址。然后，基于从远程连接请求接收单元71传送的ip地址，电子黑板2a的远程连接处理单元81从参与地点管理表820中删除从中传送结束参与的请求的电子黑板2c的ip地址，以及安装电子黑板2c的地点处的名称。此外，远程连接处理单元81向远程连接结果传送单元72输出指示电子黑板2c的ip地址和指示删除的通知。

接下来，包括远程连接结果传送单元72的通信控制单元70经由通信网络9指示在电子黑板2c的客户端单元20中提供的通信控制单元60结束参与(步骤s48)。以上述方式，在电子黑板2c中提供的通信控制单元60的远程参与处理单元62通过从用于远程共享处理的通信中断开连接来执行结束参与的处理，使得参与结束(步骤s49)。

<第一实施例>

本实施例的描述说明使得用户能够有效地利用显示器3的尺寸并且能够通过修改书写对象提高用户的可操作性的电子黑板2。

如上所述，书写对象由笔划处理单元32生成并经由页面处理单元37存储在页面数据存储单元300中。本实施例的描述说明了其中笔划处理单元32修改书写对象的示例。书写对象可以是：通过连接坐标而形成的笔划；通过对笔划执行的光学字符阅读器(ocr)处理作为字符、值等获得的文本；诸如日期和时间的系统生成的字符；诸如三角形、星形或圆形的预定图形；诸如箭头、线段或贝塞尔曲线的线等。基于来自用户的绘制操作显示在显示器3上的这种信息被称为书写对象。此外，书写对象可以包括基于从膝上型pc6传送的输出图像(c)由电子黑板2捕获的图像等。

<笔划处理单元的处理>

图19是笔划处理单元32的功能框图的示例。注意的是，包括在客户端单元20中的其它功能在图2中示出。

笔划处理单元32包括现有笔划处理单元321、复制处理单元322、剪切处理单元323、粘贴处理单元324和选定区域缩放单元325。在以上当中，现有笔划处理单元321提供用于“基于由事件分类单元25分类为笔划描绘的事件，连接手h或电子笔4的接触位置以便绘出笔划图像、删除绘出的图像、以及编辑绘出的图像”的功能，如上所述。

此外，笔划处理单元32包括粘贴缓冲区326。由ram103、ssd104、usb存储器5等中的至少一个构成的粘贴缓冲区326存储由用户最近一次存储的书写对象。

复制处理单元322将所有书写对象或由用户选择的区域中的书写对象存储(或复制)到粘贴缓冲区326中。

在将所有书写对象或由用户选择的区域中的书写对象存储到粘贴缓冲区326中之后，剪切处理单元323从显示器3中删除书写对象。

粘贴处理单元324将存储在粘贴缓冲区326中的书写对象粘贴到页面上。粘贴书写对象的位置由用户使用电子笔4或手h指定。

选定区域缩放单元325根据由用户指定的放大率缩放(即，放大或压缩)所有书写对象或由用户选择的区域中的书写对象。

以上功能可以通过使用现有的库或开发工具来实现。例如，用于复制、剪切和粘贴的功能可以通过使用例如由微软公司(注册商标)提供的名为inkcanvas的程序来实现。

<<上下文菜单>>

以下描述参考图20至图24说明用户在其上选择如图19所示的功能的上下文菜单。上下文菜单由ui图像生成单元33生成，作为一种类型的ui图像(a)。上下文菜单基于电子笔4是在下面说明的框内部还是在下面说明的框外部，以及基于粘贴缓冲区326的条件来提供用于可以由用户选择的操作的命令(即，操作项)。因此，用户可以避免其中即使命令被选择也不能进入操作的情况。

图20是图示在显示器3上显示的书写对象的示例的绘图。在图20中，显示了包括日期501、流程图502、箭头503、ocr鉴别字符504和红色字符505的书写对象。日期501相当于系统生成的字符，流程图502相当于笔划、箭头503相当于线、ocr鉴别字符504相当于文本，并且红色字符505相当于用红色(虽然在绘图中不能被区分为红色)绘制的笔划。

图21是图示在被用户选择的状态下的书写对象的示例的绘图。为了选择书写对象，例如，用户用电子笔4或手h来绘制，使得轨迹包围书写对象。可替代地，书写对象可以被配置为当书写对象的一部分用电子笔4或手h触摸时被选择。

ui图像生成单元33绘出了以包围选定的书写对象的矩形形状的框510。用户可以看框510来知道用户想要复制的书写对象是否被选择。

<<在框内部，并且粘贴缓冲区326为空>>

接下来，以下描述说明用户在框510内长按电子笔4以显示上下文菜单的情况。注意的是，以下描述说明粘贴缓冲区326为空的情况。以上述方式，ui图像生成单元33显示如图22所示的上下文菜单509。在图22中，图示了显示的上下文菜单509的示例。

由于没有任何东西存储在粘贴缓冲区326中并且用户已在框510内部显示了上下文菜单509，因此上下文菜单509包括复制509a、剪切509b、压缩至75％509e、压缩至66％509f、压缩至50％509g、放大至120％509h、放大至150％509i以及放大至200％509j的命令。以下描述说明每个命令。

当用户选择复制509a命令(即，复制操作)时，复制处理单元322将框510内部的书写对象复制到粘贴缓冲区326上。复制509a命令在用户在框510外部长按电子笔4的情况下不可选择。

当用户选择剪切509b命令(即，剪切操作)时，剪切处理单元323将框510中的书写对象复制到粘贴缓冲区326上。此外，剪切处理单元323删除框510内部的书写对象。在用户在框510外部长按电子笔4的情况下，剪切509b命令是不可选择的。

当用户选择压缩至75％509e命令(即，包括在缩放操作中的压缩操作)时，选定区域缩放单元325将框510内部的书写对象压缩至原始尺寸的75％其中基点被设置在左上角处，同时维持纵横比。书写对象仍然被选择。

在用户在框510外部长按电子笔4的情况下，压缩至75％509e命令是不可选择的。注意的是，可替代地，在用户在框510外部长按电子笔4的情况下，有可能可以选择该命令。例如，在当书写对象未被选择时压缩至75％命令被选择的情况下，显示器3上显示的所有书写对象自动成为要被压缩的对象。用户可以将这样的设置提供给电子黑板2。注意的是，上述情况下的基点可以是在显示器3的左上角等。

当用户选择压缩至66％509f命令或压缩至50％509g命令时，相应地执行压缩至66％或至50％。

当用户选择放大至120％509h命令(即，缩放操作中包括的放大操作)时，选定区域缩放单元325将框510内部的书写对象放大至原始尺寸的120％，其中基点被设置在框510的左上角，同时维持纵横比。书写对象仍然被选择。在用户在框510外部长按电子笔4的情况下，放大至120％509h命令是不可选择的。但是，类似于压缩的情况，可替换地，有可能可以选择该命令。

注意的是，在选定区域的右下角在放大时变为显示器3的屏幕外部的情况下，左上角向基点移动，使得右下角不在屏幕外部。在即使向基点移动到尽可能的范围之后，右下角也在显示器3的屏幕外部的情况下，书写对象在不会出现在屏幕外部的情况下以可能最大的放大比率被放大。通过确定被放大后的框510的右下角的坐标(即，x，y)是否在显示器3的屏幕内部来确定是否可以在屏幕外部执行。最大放大比率基于显示器3的最大坐标(即，xmax，ymax)与被放大之前的框510的右下角的坐标(即，x，y)的比率(例如，xmax/x，ymax/y)来计算。

此外，在即使向基点移动到尽可能的范围之后，右下角也在显示器3的屏幕外部的情况下，放大不能被执行。在上述情况下，ui图像生成单元33诸如通过显示消息向用户通知放大是不可能的。

当用户选择放大至150％509i命令或放大至200％509j命令时，书写对象相应地被放大至原始尺寸的150％或200％。

<<在框内部，并且粘贴缓冲区326不为空>>

在电子笔4在框510内部长按并且粘贴缓冲区326不为空的情况下，如图23所示的上下文菜单509被显示。在图23中，说明在粘贴缓冲区326不为空并且电子笔4在框510内部长按的情况下显示的上下文菜单509的示例。

由于粘贴缓冲区326不为空，因此除了图22所示的命令之外，还显示粘贴509c命令和粘贴到每页509d命令。

当用户选择粘贴509c命令(即，粘贴操作)时，粘贴处理单元324将存储在粘贴缓冲区326中的书写对象粘贴到如由用户用电子笔4指示的位置上。粘贴的书写对象处于选定状态。因此，可能存在不同的书写对象在叠加的同时被绘出的情况。注意的是，可以在删除框510内部的书写对象之后执行粘贴。

注意的是，在粘贴缓冲区326中存储的书写对象的尺寸大于选定区域的尺寸的情况下，书写对象可以伸出选定区域或者可以被压缩以便与选定区域内部适合。在伸出选定区域的情况下，可能存在框510外部的书写对象重叠的情况。

当用户选择“粘贴到每页”509d命令时，粘贴处理单元324将存储在粘贴缓冲区326中的书写对象粘贴到每个页面上。粘贴方式与粘贴509c命令相同。电子黑板2以每文件为基础管理页面，并且“每页”是指包含在一个文件中的每个页面。包含在屏幕中的书写对象被存储为一个页面。页面可以由用户通过按压添加按钮512按需添加，并且当选择“粘贴到每页”509d命令时，书写对象被粘贴到文件中包含的每个页面上。

<<在框外部，并且粘贴缓冲区326不为空>>

以下是用户在框510外部长按电子笔4以显示上下文菜单509的情况。通过上述方式，显示如图24a所示的上下文菜单509。在图24a中，图示了在电子笔4在框510外部长按的情况下显示的上下文菜单509的示例。虽然粘贴缓冲区326不为空，但是因为用户已在框510外部显示了上下文菜单509，因此上下文菜单509包括粘贴509c和粘贴到每页509d的命令。

当在框510外部选择任一个命令时，粘贴处理单元324将存储在粘贴缓冲区326中的书写对象粘贴到电子笔4的位置上。伸出显示器3的书写对象可以不被绘出或者可以在被压缩之后绘出。此外，当电子黑板2显示指示伸出的消息时，粘贴不能被执行。

<<没有框，并且粘贴缓冲区326不为空>>

以下是用户长按电子笔4而没有选择任何书写对象的情况。通过上述方式，实现如图24b所示的上下文菜单。也就是说，显示了粘贴509c、粘贴到每页509d以及用于放大和压缩的命令。当选择粘贴509c命令或粘贴到每页509d命令时，存储在粘贴缓冲区326中的书写对象被粘贴到电子笔4的位置上。当选择用于放大或压缩的命令时，包围显示器3上的所有书写对象的矩形区域被放大或压缩。

注意的是，在粘贴缓冲区326为空的情况下，仅用于放大和压缩的命令以可选择的方式被显示。

<<复制和粘贴>>

以下描述参考图25a至图30b说明当选择每个命令时在显示器3上显示的书写对象。

图25a和图25b是用于说明复制和粘贴操作的绘图的示例。在图25a中，图示了复制的书写对象的示例。在图25a中，当用户已在框510内部显示上下文菜单509并且已通过复制509a命令将红色字符505复制到粘贴缓冲区326上时，红色字符505处于选定状态。

接下来，以下是用户在框510外部的复制目的地处显示上下文菜单509并选择粘贴509c命令的情况。通过上述方式，复制在粘贴缓冲区326中的红色字符505-2如图25b所示被粘贴。要粘贴的位置是用户长按电子笔4以显示上下文菜单509的位置。此外，粘贴的书写对象处于被框510选择的状态。

图26是图示以叠加的方式粘贴的书写对象的示例的绘图。以下是图21所示的框510内部的书写对象被存储在粘贴缓冲区326中的情况。此外，用户在框510内部或框510外部显示了上下文菜单509并选择了粘贴509c命令。当框510内部的书写对象被粘贴时，成对的相同书写对象如绘图所示被显示。

<<剪切>>

图27a和27b是用于说明剪切操作的绘图的示例。在图27a中，红色字符505处于选定状态。以下是用户在框510内部显示了上下文菜单509并选择了剪切509b命令的情况。因此，如图27b所示，红色字符505被删除。

<<粘贴到每页>>

为了便于说明，以下描述说明在选择粘贴到每页509d之前在每个页面上没有书写信息的情况。

在图28中，图示了在用户选择“粘贴到每页”509d命令的情况下屏幕的示例。例如，以下是文件包括四页的页面数据并且粘贴缓冲区326存储笔划“abc”的情况。以下是用户在框510内部或框510外部显示了上下文菜单509并且选择了“粘贴到每页”509d命令的情况。

粘贴处理单元324相对于每一页面将“abc”粘贴到由电子笔4指示的位置上。每一页面的缩略图511被显示在显示器3的底部区域上，并且，如图28所示，“abc”被粘贴到每一页面上。例如，当用户想要在每个页面上写入诸如“仅供内部使用”之类的文本时，上述功能是有用的。

<<压缩至75％>>

图29a至29c是用于说明压缩操作的绘图的示例。图29a是选择的书写对象的示例。以下是在如图所示的情况下用户在框510内部显示了上下文菜单509并且选择了压缩至75％509e命令的情况。

在图29b中，图示了压缩至75％的书写对象的示例。在基点被设置在框510的左上角的情况下，框510内部的书写对象的尺寸被压缩至75％。此外，当框510保持被显示时，选择的状态被维持。用于计算坐标的方法参考图31和图32进行说明。

注意的是，相对于图29a和图29b所示的电子笔4，所示的位置是示例。电子笔4可以在图29a中的框510内部的任何地方。

<<压缩至50％>>

在图29c中，图示了压缩至50％的书写对象的示例。在基点被设置在框510的左上角的情况下，框510内部的书写对象的尺寸被压缩至50％。此外，当框510保持被显示时，选择的状态被维持。

如图29b和图29c所示，在本实施例中，即使当在框510内部绘出多个书写对象时，选定区域缩放单元325也以压缩比率压缩每个书写对象，并且还以该压缩比率压缩书写对象之间的距离。因此，每个书写对象之间的距离被缩短，就像每个书写对象原本在压缩之后的位置处写入一样。

常规上，在选择多个对象的情况下，提供有用于压缩对象的功能的应用软件可能已经能够压缩每个对象，但是难以根据压缩比率压缩每个对象之间的距离。在根据本实施例的电子黑板2中，每个书写对象被配置为具有坐标点，因此书写对象之间的距离可以根据压缩比率而改变。

此外，在通常使用应用软件来压缩图像数据的情况下，图像数据中的书写对象之间的距离可以被压缩，但是图像质量被降低。此外，在用户根据显示放大率压缩屏幕的情况下，书写对象和距离可以被压缩，但是由用户书写的文本等也被压缩。

由于根据本实施例的电子黑板2一起压缩多个书写对象并且也能够压缩距离，因此用户可以创建空白空间而无需单独压缩或移动书写对象。此外，当用户在电子黑板2上书写时，由于取决于线的粗细等字符容易变得难以辨认，因此用户往往绘制比较大的字符等。因此，常规上存在执行压缩的需要，因为空白空间容易被采取。根据本实施例的电子黑板2也可以关注上述需求。此外，由于字符等以相对大的尺寸被绘制，因此，即使在被压缩之后，也不容易降低模糊性。

为了简单地创建空白空间，用户可以在页面上创建下一页并书写。但是，页面的增加会导致难以管理或抓取内容。此外，可能存在用户想要添加与已经绘制的书写对象有关的信息的情况。根据本发明的电子黑板2使得用户能够添加书写信息而无需增加页面并且能够添加与已经绘制的书写对象有关的信息。

此外，关于用于创建空白空间的操作，在压缩整个屏幕的情况下，用户可以跳过选择对象。因此，可以通过两个操作来创建空白空间，即，(1)显示上下文菜单509和(2)压缩至50％。

<<放大到120％>>

图30a和图30b是用于说明放大操作的绘图的示例。在图30a中，图示了选择的书写对象的示例。以下是在如图所示的情况下用户在框510内部显示了上下文菜单509并且选择了放大至120％509h命令的情况。

在图30b中，图示了放大至120％的书写对象的示例。在基点被设置在框510的左上角的情况下，框510内部的书写对象的尺寸被放大至120％。此外，当框510保持被显示时，选择的状态被维持。

类似地，在放大的情况下，每个书写对象被放大并且书写对象之间的距离根据放大比率被扩大。因此，每个书写对象之间的距离可以被扩大，就好像每个书写对象原本是在放大之后的位置处书写一样。例如，在由于书写对象的压缩而导致字符等的易读性降低的情况下，如果被放大，则可以提高易读性。

<关于坐标布置数据>

以下描述参考图31和图32说明在选择上下文菜单509上的命令的情况下的坐标配置数据。以下是绘制直线522的情况，如图31(a)所示。在构成直线522的构成点中，点p1至p4的坐标被存储在页面数据存储单元300中。

以下是在如图所示的情况下用户复制了直线522并且粘贴在直线522的右侧而没有进行相对于y方向的位置改变的情况。如图31(b)所示，显示了直线522和复制的直线523。此外，在页面数据存储单元300中存储构成复制的直线523的点p5到p8的坐标。如上所述，由于笔划处理单元32在执行命令时直接使用坐标数据执行书写对象的处理，因此类似于由用户直接书写的书写对象，复制的书写对象被视为坐标数据。

此外，在图32(a)中，绘出了直线524和525。在构成直线524和525的点中，p1至p3、p4和p5的坐标被存储在页面数据存储单元300中。

以下是在如图所示的情况下用户选择了直线524和525并且选择了压缩至50％509g命令的情况。如图32(b)所示，直线524和525被压缩，其中基点被设置在框510的左上角处，使得直线524-2和525-2被绘出。具体而言，x坐标和y坐标分别变成原始值的50％，其中原点被设置在基点处。在页面数据存储单元300中，点p1至p3的坐标被更新为压缩之后的值。

例如，从点p1至点p3的长度在被压缩之前相对于x方向是200，并且相对于y方向是200。相反地，从点p1至点p3的长度在被压缩之后相对于x方向是100并且相对于y方向是100。因此，直线524的尺寸被压缩至50％。

此外，虽然在压缩之前点p1和p4的x坐标之间的差为200，但是在被压缩之后，点p1和p4的x坐标之间的差为100。因此，书写对象之间的距离也被压缩至50％。

如上所述，由于笔划处理单元32使用坐标直接压缩书写对象并且基于坐标绘出书写对象，因此图像质量不太可能降低。类似地，在放大的情况下，由于图像的放大而导致的锯齿状外观等也不太可能发生，因此即使在被放大之后也可以显示高质量的书写对象。

<其它应用示例>

以上参考实施例说明了实现本发明的最佳方式。但是，本发明不限于该实施例，并且在不脱离本发明的范围的情况下，可以进行各种变化和替换。

例如，用户可以能够将包围在框510中的多个对象移动到另一个位置。

此外，例如，用于显示上下文菜单509的方法不限于长按电子笔4：该方法可以是按压在电子黑板2上提供的硬按键、通过使用电子笔4或手h触摸显示器3上的预定位置、提供电子笔4的预定操作(例如，按压按钮、摇动、牢固地抓握等)等。

此外，如图33a和图33b所示，可以存在用于通过一个操作调用上下文菜单509中的命令的快捷操作。在图33a中，图示了布置在显示器3的侧表面403上的快捷按钮402。快捷按钮402例如与压缩至50％509g命令相关联，使得选定区域缩放单元325响应于快捷按钮402的按压而操作。在上述情况下，显示器3上的所有书写对象被选择。因此，用户可以通过一个操作来创建空白空间。

此外，如图33b所示，快捷按钮404可以布置在电子笔4上。在上述情况下，当用户按压快捷按钮404时，接触检测单元24检测到按压并向笔划处理单元32提供通知，其使得选定区域缩放单元325能够操作。

此外，快捷按钮可以显示在显示器3上作为软按键。此外，选定区域缩放单元325可以响应于电子笔4的预定操作而操作。注意的是，用户可以向电子黑板2提供用于选择与快捷按钮相关联的命令的设置。

注意的是，虽然在本实施例的说明中，相对于粘贴缓冲区326仅存储单个时间选择的手写对象，但是也可以存储在不同时间选择的书写对象。在上述情况下，粘贴处理单元324显示存储在粘贴缓冲区326中的多个书写对象的列表，并且粘贴由用户从列表中选择的书写对象。

此外，虽然在本实施例中压缩比率和放大比率是固定的，但是用户可以能够设置压缩比率和放大比率。

本国际专利申请基于于2015年6月4日提交的日本专利申请no.2015-113799，其全部内容通过引用并入本文，以要求日本专利申请no.2015-113799的优先权。

[附图标记列表]

1图像处理系统

2电子黑板

3显示器

4电子笔

6膝上型pc

7电话会议终端

9通信网络

28视频叠加单元

30图像处理单元

32笔划处理单元

33ui图像生成单元

34背景生成单元

322复制处理单元

323剪切处理单元

324粘贴处理单元

325选定区域缩放单元

509上下文菜单