图像处理装置、图像处理方法和计算机可读存储介质与流程

本发明涉及适于编辑在电子白板上渲染的标志图像的图像处理装置和图像处理方法和计算机可读存储介质。

背景技术：

在现有技术中，在企业、教育机构、行政机关等中的会议等中，使用电子信息板，通过该电子信息板，用户可以在大的显示器上显示的背景图像上绘制比如字符、数字和图形的笔划图像。

当个人计算机连接到这种电子信息板时，所连接的个人计算机的屏幕可以以大尺寸投射到电子信息板上。这种电子信息板用于企业或者行政机关或者教育机构中的会议中的演示。提供(1)使用电子信息板上安装的触摸板功能，而经由用于代替鼠标操作而直接触摸所投射的屏幕来操作显示所述屏幕的个人计算机的触摸板而操作个人计算机的功能。还提供与这种设备一起在所连接的个人计算机上操作的电子白板应用软件。该应用软件提供(2)经由触摸板的手写功能，比如提供用作白板的屏幕和经由触摸板在屏幕上渲染手写字符等的功能，和接收向其提供本应用的个人计算机的屏幕并在其上叠加手写图像以渲染的功能。

通过使用这种手写功能在其上操作的电子信息板，用户可以在操作所显示的材料的同时按照需要直接在屏幕上书写所指出的主题等以用于办公室中的会议场景等中的说明，且可以按照需要记录包括所书写的图像的屏幕内容。结果，当会议结束时，可以期望通过回顾和重新使用屏幕内容而有效地获得结论。

还开发了能够存储手写信息的电子信息板，通过该电子信息板，可以通过读取存储的信息在日后继续会议。

作为这种电子信息板的示例，专利文献1公开了用于通过执行由层创建装置创建的层上的手写渲染而存储笔划图像以容易地处理包括多个层的手写文档的装置。

技术实现要素：

技术问题

在上面描述的电子信息板上，安装识别手写字符的功能和渲染图形(线、方形和圆形)或者图像(svg图像)的功能。但是，存在的问题在于，在存储了通过识别手写字符的功能或者渲染功能而渲染的文本、图形、图像等之后，不能再次读取存储的字符、图形和图像以进行编辑。

专利文献1公开了创建层和存储通过手写绘制的笔划图像的点。但是，未解决上面描述的问题，即在存储了字符、图形和图像之后不能再次读取存储的字符、图形和图像以进行编辑的问题。

也就是，存在的问题在于，在存储了表示字符、符号、图形或者标志图像的组合的字符、符号、图形或者标志图像之后，即使再次读取也不能编辑它们。

考虑这种情形做出本发明，且本发明提供以通用文件格式存储在电子白板上渲染的标志图像以便使用，并再次读取该标志图像以进行编辑的方法。

技术方案

根据实施例，一种图像处理装置包括：手写图像渲染器，配置为在第一层上渲染笔划；标志图像渲染器，配置为在低于第一层的第二层上渲染表示字符、符号、图形或者其组合的标志图像；外部图像渲染器，配置为在低于第二层的第三层上渲染外部地获取的外部图像；串行器，配置为串行化在第一层上渲染的笔划、在第二层上渲染的标志图像和在第三层上渲染的外部图像以转换为以文本格式的数据；和文档创建器，配置为创建与基于由以串行器转换的文本格式的数据的一个页面对应的文档数据。

技术效果

根据本发明，以通用文件格式存储在电子白板上渲染的标志图像以便使用，且可以再次读取标志图像以进行编辑。

附图说明

图1是根据实施例的图像处理系统的整体配置图。

图2是电子白板的硬件配置图。

图3是电子白板的功能框图。

图4是文件处理器的功能框图。

图5是服务器单元和传输控制器的功能框图。

图6是图示页面数据的概念图。

图7是图示笔划数据的概念图。

图8是图示坐标布置数据的概念图。

图9是图示媒体数据的概念图。

图10是图示远程许可管理表的概念图。

图11是图示地址簿管理表的概念图。

图12是图示备份数据的概念图。

图13是图示连接目的地管理表的概念图。

图14是图示参与地点管理表的概念图。

图15是图示操作数据的概念图。

图16是图像层的配置图。

图17是图示电子白板中的处理的序列图。

图18是图示电子白板中的处理的序列图。

图19是图3中图示的文件处理器的具体功能框图。

图20是图像层的配置图。

图21是图示根据本发明实施例的pdf创建器的操作的存储流程图。

图22是图示根据本发明实施例的pdf读取器的操作的读取流程图。

图23是图示字符拼接单元的操作的字符拼接流程图。

图24图示日语句子中的字符拼接的示例。

图25图示英语句子中的字符拼接的示例。

具体实施方式

以下将参考附图详细描述本发明的示例性实施例。

系统的概述

图1是根据实施例的图像处理系统的整体配置图。为了简化描述，图1仅图示两个电子白板2a和2b、与其对应的电子笔4a和4b等等。替代地，可以使用三个或更多电子白板或者电子笔。

如图1所示，图像处理系统1包括多个电子白板2a和2b、多个电子笔4a和4b、usb存储器5a和5b、笔记本个人计算机(pc)6a和6b、电视(视频)会议终端7a和7b以及pc8。电子白板2a和2b与pc经由通信网络9彼此可通信地连接。分别向电子白板2a和2b提供显示器3a和3b。

电子白板2a可以在显示器3a上显示由于由电子笔4a引起的事件(显示器3a由电子笔4a的尖端触碰，或者由电子笔4a的后部触碰)造成的绘制图像。电子白板2a还可以基于不仅由电子笔4a而且由用户的手ha等(比如放大、缩小和翻页的姿势)引起的事件，改变在显示器3a上显示的图像。

usb存储器5a可以连接到电子白板2a。电子白板2a可以从usb存储器5a读取比如pdf的电子文件，或者可以在usb存储器5a中记录电子文件。笔记本pc6a经由线缆10a1连接到电子白板2a，该线缆10a1使能基于比如displayport(显示端口)、数字视觉接口(dvi)、高分辨率多媒体接口(hdmi)(注册商标)和视频图形阵列(vga)之类的标准的通信。当触碰显示器3a时电子白板2a引起事件，并且与来自比如鼠标或者键盘之类的输入装置的事件类似地，电子白板2a将表示事件的事件信息发送到笔记本pc6a。类似地，电视(视频)会议终端7a经由使能基于以上标准的通信的线缆10a2连接到电子白板2a。笔记本pc6a和视频会议终端7a可以通过符合比如蓝牙(注册商标)的各种无线通信协议的无线通信而与电子白板2a通信。

另一方面，在布置电子白板2b的另一地点，与以上类似地使用包括显示器3b、电子笔4b、usb存储器5b、笔记本pc6b、视频会议终端7b、线缆10b1和线缆10b2的电子白板2b。在显示器3b上显示的图像还可以基于由用户的手hb等引起的事件而改变。

因此，在一个地点处的电子白板2a的显示器3a上渲染的图像还显示在在另一地点处的电子白板2b的显示器3b上。相反地，在另一地点处的电子白板2b的显示器3b上渲染的图像还显示在前一地点处的电子白板2a的显示器3a上。以这种方式，图像处理系统1可以执行用于在远程位置之间共享同一图像的远程共享处理，以使得图像处理系统1在用于在远程位置的会议等时非常方便。

在下文中，多个电子白板当中的任意电子白板表示为“电子白板2”。多个显示器当中的任意显示器表示为“显示器3”。多个电子笔当中的任意电子笔表示为“电子笔4”。多个usb存储器当中的任意usb存储器表示为“usb存储器5”。多个笔记本pc当中的任意笔记本pc表示为“笔记本pc6”。多个视频会议终端当中的任意视频会议终端表示为“视频会议终端7”。用户的多只手当中的任意手表示为“手h”。多条线缆当中的任意线缆表示为“线缆10”。

在该实施例中，描述电子白板作为图像处理装置的示例。但是，实施例不限于此。图像处理装置的示例也可以包括电子布告板(数字标牌)，体育运动、天气预报等中使用的绘制工具(telestrator)，或者远程图像(视频)诊断装置。将笔记本pc6描述为信息处理终端的示例，但是实施例不限于此。信息处理终端的示例也可以包括可以提供图像帧的终端，比如台式pc或者平板pc、pda、摄像机、数码相机和游戏机。通信网络还包括因特网、局域网(lan)、移动电话通信网络等。在实施例中，将usb存储器描述为存储介质的示例。但是，实施例不限于此。存储介质的示例也可以包括比如sd卡的各种存储介质。

电子白板的硬件配置

以下参考图2描述根据实施例的电子白板的硬件配置。图2是电子白板的硬件配置图。

如图2所示，电子白板2包括配置为控制电子白板2的整体操作的cpu101、配置为存储比如ipl的用于驱动cpu101的计算机程序的rom102、用作cpu101的工作区的ram103、配置为存储用于电子白板2的比如计算机程序的各种数据的ssd104、配置为控制与通信网络9的通信的网络控制器105和配置为控制与usb存储器5的通信的外部存储控制器106。

电子白板2包括配置为在笔记本pc6的显示器上将视频信息显示为静态图像或者运动图像的捕获装置111、配置为专用于图形的图形处理单元(gpu)112和配置为控制和管理屏幕显示以用于从gpu向显示器3或者视频会议终端7输出图像的显示控制器113。

电子白板2进一步包括配置为控制触摸传感器115的处理的传感器控制器114，该触摸传感器115检测显示器3由电子笔4、用户的手h等触碰。触摸传感器115使用红外线阻塞系统来输入坐标并检测坐标。输入坐标和检测坐标的方法是接收光的方法，该光是从平行于显示器3而在显示器3的上部的两端上布置的两个光接收和发射装置(未示出)发出的多条红外线，由布置在显示器3周围的反射部件反射，且通过与从光接收元件发出的光相同的光路径返回。触摸传感器115将由对象阻挡的从两个光接收和发射装置发出的红外线的标识(id)输出到传感器控制器114，且传感器控制器114将坐标位置识别为对象的接触位置。以下描述的全部id中的每一个是标识信息的示例。

作为触摸传感器115，不限于红外线阻挡系统，可以使用各种检测装置，比如配置为通过检测电容变化而识别接触位置的静电电容型触摸板，配置为由于两个相对电阻薄膜的电压改变而识别接触位置的电阻薄膜型触摸板，和配置为通过检测由接触对象与显示器单元接触引起的电磁感应而识别接触位置的电磁感应型触摸板。

电子白板2还包括电子笔控制器116。电子笔控制器116与电子笔4通信以确定显示器3由笔的尖端或者后部触碰。电子笔控制器116可以确定除电子笔4的尖端和后部之外，显示器3由用户紧握的电子笔4的一部分或者其他部分触碰。

电子白板2进一步包括比如地址总线和数据总线的总线120，该总线120用于将如图2所示cpu101、rom102、ram103、ssd104、网络控制器105、外部存储控制器106、捕获装置111、gpu112、传感器控制器114和电子笔控制器116彼此电气地连接。

用于电子白板2的计算机程序可以存储在比如cd-rom的计算机可读存储介质中以进行分发。

电子白板的功能配置

以下参考图3到图16描述电子白板的功能配置。首先，以下参考图3描述电子白板2的整体功能配置。图3是电子白板的功能框图。

电子白板2由于图2中图示的硬件配置和计算机程序而具有图3中图示的功能配置。电子白板2可以是首先开始远程共享处理的“主机装置”，且可以是之后参与已经开始的远程共享处理的“参与装置”。电子白板2可以大致地划分为客户端单元20和服务器单元90。客户端单元20和服务器单元90是在电子白板2的壳体的内部实现的功能。当电子白板2是主机装置时，客户端单元20和服务器单元90在电子白板2中实现。当电子白板2是参与装置时，实现客户端单元20，但是不在电子白板2中实现服务器单元90。也就是，在图1中，当电子白板2a是主机装置且电子白板2b是参与装置时，电子白板2a的客户端单元20经由在同一电子白板2a中实现的服务器单元90与电子白板2b的客户端单元20通信。另一方面，电子白板2b的客户端单元20经由在电子白板2a中实现的服务器单元90与电子白板2a的客户端单元通信。

客户端单元20的功能配置

随后，以下主要参考图3到图5描述客户端单元20的功能配置。客户端单元20包括视频获取器21、坐标检测器22、自动校准器23、接触检测器24、事件识别器25、操作处理器26、姿势处理器27、视频叠加单元28、图像处理器30和通信控制器60。

其中，视频获取器21从连接到线缆10的视频输出装置获取输出视频。当从视频输出装置接收图像信号时，视频获取器21分析图像信号以导出比如作为由图像信号形成的视频输出装置的显示器图像的图像帧的分辨率以及图像帧的更新频率的图像信息，并将图像信息输出到图像获取器31。

坐标检测器22检测在显示器3上由用户引起的事件(例如，显示器3由用户的手h触摸)的坐标位置。坐标检测器22还检测触摸区域。

自动校准器23在启动电子白板2时启动，并以触摸传感器115的光学传感器系统调整由传感器相机执行的图像处理的参数，以使得触摸传感器115可以输出适当的值到坐标检测器22。

接触检测器24检测由用户引起的事件(例如，显示器3由电子笔4的尖端或者电子笔4的后部按压(触碰))。

事件识别器25将由坐标检测器22检测到的事件的坐标位置和由接触检测器24检测到的检测结果分发到包括笔划绘制、ui操作和姿势操作的事件。

在该情况下，“笔划绘制”表示其中当在显示器3上显示(之后描述的)图16中图示的笔划(b)时，用户将电子笔4按压到显示器3上并在正在按压的状态下移动电子笔4，且最终从显示器3抬起电子笔4的事件。由于笔划绘制，因此例如，在显示器3上绘制比如“s”和“t”的字母。除绘制图像的事件之外，“笔划绘制”还包括删除已经渲染的图像或者编辑渲染的图像的事件。

“ui操作”表示其中当在显示器3上显示(之后描述的)图16中图示的ui图像(a)时，用户以电子笔4或者手h按压预定位置的事件。由于ui操作，因此例如，设置由电子笔4绘制的线的颜色、宽度等。

“姿势操作”表示其中当在显示器3上显示(之后描述的)图16中图示的笔划(b)时，用户以手h触摸显示器3或者移动手h的事件。由于姿势操作，因此例如，当用户在由手h触摸显示器3的状态下移动手h时，可以放大(或者缩小)图像，可以改变显示器区域，可以切换页面，等等。

操作处理器26从由事件识别器25确定的ui操作，根据引起事件的ui元件执行各种操作。ui元件的示例包括按钮、列表、复选框和文本框。

姿势处理器27执行与由事件识别器25确定的姿势操作对应的操作。

视频叠加单元28在视频输出装置(比如显示器3)上显示由(之后描述的)显示叠加单元36叠加的图像作为视频。视频叠加单元28使用画中画方案在来自视频输出装置(比如笔记本pc6)的视频上覆盖从其他视频输出装置(比如视频会议终端7)发送的视频。视频叠加单元28在整个显示器3上使用画中画方案来执行到显示在部分显示器3上显示的视频的切换。

图像处理器30执行如图16所示的图像层的叠加处理等。图像处理器30包括图像获取器31、笔划处理器32、ui图像发生器33、背景发生器34、布局管理器35、显示叠加单元36、页面处理器37、文件处理器40、页面数据存储单元300和远程许可管理表310。

其中，图像获取器31从由视频获取器21获取的视频获取每个帧作为图像。图像获取器31输出图像的数据到页面处理器37。该图像对应于来自图16中图示的视频输出装置(比如笔记本pc6)的输出图像(c)。

笔划处理器32基于与由事件识别器25识别出的与笔划绘制有关的事件来渲染笔划、删除渲染的笔划或者编辑渲染的笔划。通过笔划绘制获得的图像对应于图16中图示的笔划(b)。基于笔划绘制的图像的渲染、删除和编辑的结果作为之后描述的操作数据存储在操作数据存储单元840中。

ui图像发生器33生成在电子白板2中预先设置的用户界面(ui)图像。该ui图像对应于图16中图示的ui图像(a)。

背景发生器34从页面处理器37接收由页面处理器37从页面数据存储单元300读取的页面数据中的一条媒体数据。背景发生器34将所接收的媒体数据输出到显示叠加单元36。基于媒体数据的图像对应于图16中图示的背景图像(d)。背景图像(d)的图案的示例包括明文和网格基准。

布局管理器35管理关于从图像获取器31、笔划处理器32和ui图像发生器33(或者背景发生器34)输出到显示叠加单元36的每个图像的布局的布局信息。因此，布局管理器35可以指示显示叠加单元36在ui图像(a)和背景图像(d)中的任意点处显示输出图像(c)和笔划(b)，或不显示它们。

显示叠加单元36基于从布局管理器35输出的布局信息，布局从图像获取器31、笔划处理器32和ui图像发生器33(背景发生器34)输出的每个图像。

页面处理器37将笔划图像(b)的数据和输出图像(c)的数据放在一起作为一条页面数据，并在页面数据存储单元300中存储数据。笔划(b)的数据是用作由图6中图示的笔划布置数据id指示的笔划布置数据(每条笔划数据)的页面数据的一部分。输出图像(c)的数据是用作由图6中图示的媒体数据id指示的媒体数据的页面数据的一部分。媒体数据在从页面数据存储单元300读取时被处理为背景图像(d)的数据。

当页面处理器37将以临时存储的页面数据中的媒体数据经由背景发生器34发送到显示叠加单元36时，视频叠加单元28可以再次在显示器3上显示背景图像(d)。页面处理器37将在页面数据中的笔划布置数据(每条笔划数据)返回到笔划处理器32以再次使能笔划的编辑。页面处理器37还可以删除或者复制页面数据。

也就是，在页面处理器37在页面数据存储单元300中存储页面数据的时间点在显示器3上显示的输出图像(c)的数据临时存储在页面数据存储单元300中，且在此后从页面数据存储单元300读取时作为表示背景图像(d)的媒体数据读取。页面处理器37然后将从页面数据存储单元300读取的页面数据中表示笔划(b)的笔划布置数据输出到笔划处理器32。页面处理器37还将从页面数据存储单元300读取的页面数据中表示背景图像(d)的媒体数据输出到背景发生器34。

显示叠加单元36根据由布局管理器35指定的布局，叠加来自图像获取器31的输出图像(c)、来自笔划处理器32的笔划(b)、来自ui图像发生器33的ui图像(a)和来自背景发生器34的背景图像(d)。因此，如图16所示，各层配置为以ui图像(a)、笔划(b)、输出图像(c)和背景图像(d)的次序布置，即使图像重叠用户也可以看到该次序。

显示叠加单元36可以切换图16中图示的图像(c)和图像(d)以排他地叠加在图像(a)和图像(b)上。例如，最初，当在显示图像(a)、图像(b)和图像(c)的状态下拔出电子白板2与视频输出装置(如笔记本pc6)之间的线缆10时，根据来自布局管理器35的指定而从叠加的目标中排除图像(c)，并且可以显示图像(d)。在该情况下，显示叠加单元36还放大显示、缩小显示和执行移动显示区域的处理。

页面数据存储单元300存储如图6所示的页面数据。图6是图示页面数据的概念图。页面数据是与显示器3上显示的一个页面(笔划布置数据(每条笔划数据)和媒体数据)对应的数据。页面数据包括许多类型的参数，以使得在这里对于图6到图9中的每一个分开地描述页面数据的内容。

如图6所示，在页面数据中，用于标识任意页面的页面数据id、指示当开始显示页面时的时间的开始时间、指示当不再以笔划、姿势等重写页面的内容时的时间的结束时间、用于标识由以电子笔4或者用户的手h的笔划生成的笔划布置数据的笔划布置数据id和用于标识媒体数据的媒体数据id彼此相关联以进行存储。笔划布置数据是用于在显示器3上显示(之后描述的)图16中图示的笔划(b)的数据。媒体数据是用于在显示器3上显示(之后描述的)图16中图示的背景图像(d)的数据。

由于这种页面数据，例如，当用户以电子笔4绘制字母“s”时，需要单个笔划，从而使用一个笔划数据id表示一个字母“s”。但是，当用户以电子笔4绘制字母“t”时，需要两个笔划，从而使用两个笔划数据id表示一个字母“t”。

如图7所示，笔划布置数据表示详细信息。图7是图示笔划布置数据的概念图。如图7所示，一条笔划布置数据以多条笔划数据表示。一条笔划数据表示用于标识笔划数据的笔划数据id、指示当开始渲染一个笔划时的时间的开始时间、指示当结束绘制一个笔划时的时间的结束时间、笔划的颜色、笔划的宽度和用于标识笔划的经过点的布置的坐标布置数据id。

坐标布置数据表示如图8所示的详细信息。图8是图示坐标布置数据的概念图。如图8所示，坐标布置数据表示各条信息，包括显示器3上的点(x坐标值、y坐标值)、从当通过该点时的笔划的开始时间起的时间差(毫秒)和在该点的电子笔4的书写压力。也就是，图8中图示的一组点表示为图7中图示的一条坐标布置数据。例如，当用户以电子笔4绘制字母“s”时，需要单个笔划，但是电子笔4通过多个经过点直到结束绘制“s”，从而坐标布置数据表示关于经过点的信息。

图6中图示的页面数据中的媒体数据图示如图9所示的详细信息。图9是图示媒体数据的概念图。如图9所示，在媒体数据中，图6中图示的页面数据中的媒体数据id、媒体数据的数据类型、当从页面处理器37在页面数据存储单元300中存储页面数据时的记录时间、基于页面数据在显示器3上显示的图像的位置(x坐标值、y坐标值)、图像的大小(宽度和高度)和表示媒体数据的内容的数据彼此相关联地表示。其中，基于页面数据在显示器3上显示的图像的位置指示基于页面数据显示的图像的左上端的位置，假定显示器3的左上端的坐标是(x坐标值，y坐标值)＝(0,0)。

返回到图3，远程许可管理表310管理执行远程共享处理所需的许可数据。在远程许可管理表310中，如图10所示，电子白板2的产品id、用于验证的许可id和许可的到期日期彼此相关联地管理。

文件处理器40的功能配置

随后，以下参考图4描述图3中图示的文件处理器40的功能配置。图4是文件处理器的功能框图。

文件处理器40包括恢复处理器41、文件输入单元42a、文件输出单元42b、文件转换器43、文件发送器44、地址簿输入单元45、备份处理器46、备份输出单元47、设置管理器48、设置文件输入单元49a和设置文件输出单元49b。文件处理器40进一步包括地址簿管理表410、备份数据存储单元420、设置文件存储单元430和连接目的地管理表440。

其中，在电子白板2异常地终止之后，恢复处理器41检测异常终止并恢复还未存储的页面数据。例如，在正常终止的情况下，页面数据经由文件处理器40存储为usb5中的pdf文件。但是，在电源关闭等的异常终止的情况下，页面数据保持存储在页面数据存储单元300中。因此，当电源再次接通时，恢复处理器41从页面数据存储单元300读出页面数据以进行恢复。

文件输入单元42a从usb存储器5读取pdf文件，并在页面数据存储单元300中将每个页面存储为页面数据。

文件转换器43将页面数据存储单元300中存储的页面数据转换为pdf文件。

文件输出单元42b在usb存储器5中存储从文件转换器42输出的pdf文件。

文件发送器44将由文件转换器43生成的pdf文件附加到电子邮件以发送。当显示叠加单元36在显示器3上显示地址簿管理表410的内容时确定文件的传输目的地，且文件发送器44通过用户的比如触摸板的输入装置的操作来接收目的地的选择。在地址簿管理表410中，如图11所示，目的地的名称和目的地的电子邮件地址彼此相关联地管理。文件发送器44还可以通过用户的比如触摸板的输入装置的操作来接收电子邮件地址的输入作为目的地。

地址簿输入单元45从usb存储器5读取电子邮件地址的列表文件以在地址簿管理表410中管理。

备份处理器46在备份数据存储单元420中存储从文件输出单元42b输出的文件或者由文件发送器44发送的文件以进行备份。当用户不设置备份时，不执行备份处理。备份数据如图12所示以pdf格式存储。

备份输出单元47在usb存储器5中存储备份的文件。当存储备份的文件时，通过用户的比如触摸板的输入装置的操作来为了安全性而输入密码。

设置管理器48通过在设置文件存储单元430中存储电子白板2的各条设置信息或者将它们读出来管理它们。各条设置信息的示例包括网络设置、日期与时间的设置、区域和语言的设置、电子邮件服务器的设置、地址簿的设置、连接目的地列表的设置和与备份有关的设置。网络设置的示例包括电子白板2的ip地址的设置、网络掩码的设置、缺省网关的设置或者域名系统(dns)的设置。

设置文件输出单元49b使得usb存储器5将电子白板2的各条设置信息存储为设置文件。为了安全性原因，用户不能看到设置文件的内容。

设置文件输入单元49a读取usb存储器5中存储的设置文件，且在电子白板的各种设置中反映各条设置信息。

地址簿输入单元50从usb存储器5读取远程共享处理的连接目的地ip地址的列表文件以在连接目的地管理表440中管理。如图13所示，连接目的地管理表440是用于预先管理连接目的地的表，当电子白板2是意在参与远程共享处理的参与装置时，用以减少由参与装置的用户输入用作主机装置的电子白板的ip地址的工作。在连接目的地管理表440中，布置用作主机装置的电子白板2(其中其他装置可以参与)的地点的名称和用作主机装置的电子白板2的ip地址彼此相关联地管理。

可以省略连接目的地管理表440。但是，在这种情况下，参与装置的用户需要经由比如触摸板的输入装置来输入主机装置的ip地址以开始参与装置和主机装置之间的远程请求处理。因此，参与装置的用户使用电话、电子邮件等从主机装置的用户获取主机装置的ip地址。

通信控制器60的功能配置

接下来，以下参考图5描述通信控制器60的功能配置。

通信控制器60控制与其他电子白板2的通信和经由通信网络9与服务器单元90中的(之后描述的)通信控制器70的通信。为了该目的，通信控制器60包括远程启动处理器61、远程参与处理器62、远程图像发送器63、远程图像接收器64、远程操作发送器65、远程操作接收器66和参与地点管理表610。

其中，远程启动处理器61向同一电子白板2的服务器单元90做出请求以再次开始远程共享处理，并从服务器单元90接收请求结果。在该情况下，远程启动处理器61参考远程许可管理表310，且如果在其中管理许可信息(产品id、许可id和到期日期)则可以做出用于开始远程共享处理的请求。但是，如果不在其中管理许可信息，则不能做出用于开始远程共享处理的请求。

当电子白板是主机装置时，参与地点管理表610是用于管理用作当前参与远程共享处理的参与装置的电子白板的表。如图14所示，在参与地点管理表610中，布置参与电子白板2的地点的名称和电子白板2的ip地址彼此相关联地管理。

远程参与处理器62经由通信网络9向用作已经开始远程共享处理的主机装置的电子白板2的服务器单元90中的远程连接请求接收器71做出用于参与远程共享处理的请求。在该情况下，远程参与处理器62也参考远程许可管理表310。为了参与已经开始的远程共享处理，远程参与处理器62参考连接目的地管理表440以获取作为参与目的地的电子白板2的ip地址。远程参与处理器62不是必须参考连接目的地管理表。可以通过用户的比如触摸板的输入装置的操作来输入作为参与目的地的电子白板2的ip地址。

远程图像发送器63将经由图像获取器31从视频获取器21发送的输出图像(c)发送到服务器单元90。

远程图像接收器64从服务器单元90接收来自与其他电子白板2连接的视频输出装置的图像数据，并将该图像数据输出到显示叠加单元36以使能远程共享处理。

远程操作发送器65将远程共享处理所需的各条操作数据发送到服务器单元90。各条操作数据的示例包括与笔划的添加、笔划的删除、笔划的编辑(放大、缩小和移动)、页面数据的存储、页面数据的创建、页面数据的复制、页面数据的删除和显示页面的切换有关的数据。远程操作接收器66从服务器单元90接收输入到其他电子白板2的操作数据，并将操作数据输出到图像处理器30以执行远程共享处理。

服务器单元的功能配置

随后，以下参考图5描述服务器单元90的功能配置。将服务器单元90提供给每个电子白板2，且可以用作任意电子白板2中的服务器单元。因此，服务器单元90包括通信控制器70和数据管理器80。

通信控制器70的功能配置

接下来，以下参考图5描述通信控制器70的功能配置。

通信控制器70控制经由同一电子白板2中的客户端单元20的通信控制器70和通信网络9与其他电子白板2中的客户端单元20的通信控制器70的通信。数据管理器80管理操作数据、图像数据等。

更具体地，通信控制器70包括远程连接请求接收器71、远程连接结果发送器72、远程图像接收器73、远程图像发送器74、远程操作接收器75和远程操作发送器76。

其中，远程连接请求接收器71从远程启动处理器61接收用于开始远程共享处理的请求，并从远程参与处理器62接收用于参与远程共享处理的请求。远程连接结果发送器72将用于开始远程共享处理的请求结果发送到远程启动处理器61，且将用于参与远程共享处理的请求结果发送到远程参与处理器62。

远程图像接收器73从远程图像发送器63接收图像数据(输出图像(c)的数据)，并将图像数据发送到之后描述的远程图像处理器82。远程图像发送器74从远程图像处理器82接收图像数据，并将图像数据发送到远程图像接收器64。

远程操作接收器75从远程操作发送器65接收操作数据(比如笔划(b)的数据)，并将操作数据发送到之后描述的远程操作处理器83。远程操作发送器76从远程操作处理器83接收操作数据，并将操作数据发送到远程操作接收器66。

数据管理器的功能配置

接下来，以下参考图5描述数据管理器80的功能配置。

数据管理器80包括远程连接处理器81、远程图像处理器82、远程操作处理器83、操作合成处理器84和页面处理器85。服务器单元90进一步包括密码管理器810、参与地点管理表820、图像数据存储单元830、操作数据存储单元840和页面数据存储单元850。

其中，远程连接处理器81开始远程共享处理并结束远程共享处理。远程连接处理器81基于由远程连接请求接收器71从远程启动处理器61与用于开始远程共享处理的请求一起接收的许可信息，或者与用于参与远程共享处理的请求一起从远程参与处理器62接收的许可信息，检查是否存在许可或者许可周期是否未期满。远程连接处理器81还检查来自用作客户端单元的其他电子白板2的参与请求的数目是否超过能够参与处理的装置的预定数目。

远程连接处理器81确定当其他电子白板2做出用于参与远程共享处理的请求时发送的密码是否与由密码管理器810管理的密码相同。如果密码相同，则远程连接处理器81允许参与远程共享处理。当开始新的远程共享处理时由远程连接处理器81发布密码，且使用电话、电子邮件等从用作主机装置的电子白板2的用户发送到用作意在参与远程共享处理的参与装置的电子白板2的用户。因此，当意在参与远程共享处理的参与装置的用户以比如触摸板的输入装置将密码输入到参与装置以做出参与请求时，允许参与。为了优先考虑用户的可用性而非安全性，可以仅检查许可状态，且可以省略密码的检查。

当电子白板2是主机装置时，远程连接处理器81在服务器单元90的参与地点管理表820中存储经由通信网络9从用作参与装置的远程参与处理器62发送的参与请求中包括的参与地点信息。远程连接处理器81然后读出参与地点管理表820中存储的远程地点信息，并将远程地点信息输出到远程连接结果发送器72。远程连接结果发送器72将远程地点信息发送到同一主机装置中的客户端单元20的远程启动处理器61。远程启动处理器61在参与地点管理表610中存储远程地点信息。因此，在主机装置中，客户端单元20和服务器单元90两者管理远程地点信息。

远程图像处理器82在远程共享处理期间从连接到每个电子白板2的客户端单元(包括作为用作主机装置的电子白板2的电子白板的客户端单元)的视频输出装置(比如笔记本pc6)接收图像数据(输出图像(c))，在图像数据存储单元830中存储图像数据，并基于到达用作主机装置的电子白板2的服务器单元90的时间次序来确定显示应该执行远程共享处理的图像数据的次序。远程图像处理器82参考参与地点管理表820，并以确定的次序将图像数据经由通信控制器70(远程图像发送器74)发送到参与远程共享处理的全部电子白板2的客户端单元20(包括作为用作主机装置的电子白板2的电子白板的客户端单元)。

远程操作处理器83在远程共享处理期间接收由每个电子白板2的客户端单元(包括作为用作主机装置的电子白板2的电子白板的客户端单元)渲染的比如笔划(例如，笔划(b))的各条操作数据，并基于到达用作主机装置的电子白板2的服务器单元90的时间的次序确定显示应该执行远程共享处理的图像的次序。各条操作数据与上面描述的各条操作数据相同。远程操作处理器83参考参与地点管理表820，并在远程共享处理期间将操作数据发送到全部电子白板2的客户端单元20(包括作为用作主机装置的电子白板2的电子白板的客户端单元)。

操作合成处理器84合成从远程操作处理器83输出的电子白板2的各条操作数据，并在操作数据存储单元840中将操作数据存储为合成结果以返回到远程操作处理器83。当操作数据从远程操作发送器76发送到用作主机装置的电子白板的客户端单元和用作参与装置的电子白板的客户端单元时，在每个电子白板2上显示与相同操作数据有关的图像。为了该目的，如图15所示，在操作数据中，序列(seq)、操作数据的操作名称、发送操作数据的电子白板2的ip地址和客户端单元(服务器单元)的端口号、向其发送操作数据的电子白板2的ip地址和客户端单元(服务器单元)的端口号、操作数据的操作类型、操作数据的操作目标和表示操作数据的内容的数据彼此相关联地表示。例如，seq1示出当在用作主机装置的电子白板(ip地址：192.0.0.1)的客户端单元(端口号：50001)中渲染笔划时，将操作数据发送到作为同一主机装置的电子白板(ip地址：192.0.0.1)的服务器单元(端口号：50000)。在该情况下，操作类型是“笔划(stroke)”，操作目标是页面数据id“p005”，且表示操作数据的内容的数据是表示笔划的数据。seq2示出了从用作主机装置的电子白板(ip地址：192.0.0.1)的服务器单元(端口号：50000)将操作数据发送到用作参与装置的其他电子白板(ip地址：192.0.0.2)的客户端单元(端口号：50001)。

操作合成处理器84以输入到操作合成处理器84的操作数据的输入次序执行合成，以使得由每个电子白板2的用户以笔划的次序在远程共享处理期间在全部电子白板2的显示器3上显示笔划(b)，除非通信网络9拥塞。

页面处理器85具有与客户端单元20的图像处理器30中的页面处理器37相同的功能，且服务器单元90还在页面数据存储单元850中存储图6到图8中图示的页面数据。页面数据存储单元850与图像处理器30中的页面数据存储单元300相同，从而将不重复其描述。

根据实施例的处理或操作

随后，以下参考图17和图18描述根据实施例的处理或者操作。图17和图18是图示每个电子白板中的处理的序列图。

图17和图18中图示的实施例描述电子白板2a用作主管远程共享处理的主机装置(服务器单元和客户端单元)，且电子白板2b和2c用作参与远程共享处理的参与装置(客户端单元)的情况。在该情况下，显示器3a、3b和3c连接到电子白板2a、2b和2c，且笔记本pc6a、6b和6c也连接到其。在电子白板2a、2b和2c中，使用电子笔4a、4b和4c。

参与处理

首先，以下参考图17描述用于电子白板2b和2c参与远程共享处理的处理。

当用户接通电子白板2a的电源开关时，启动电子白板2a的客户端单元20。当用户执行经由比如触摸板的输入装置而启动服务器单元90的操作时，用于服务器单元90的启动处理的指令从客户端单元20的远程启动处理器61输出到同一电子白板2a的服务器单元90中的远程连接请求接收器71。因此，在电子白板2a中，除客户端单元20之外，服务器单元90也可以启动各条处理(步骤s21)。

接下来，电子白板2a的客户端单元20中的ui图像发生器33生成用于建立到电子白板2a的连接的连接信息，且视频叠加单元28经由显示叠加单元36使得显示器3a显示从ui图像发生器33获得的连接信息(步骤s22)。该连接信息包括主机装置的ip地址和用于此时的远程共享处理而生成的密码。在该情况下，在密码管理器810中存储的密码由图5中图示的远程连接处理器81读出，且依次发送到远程连接结果发送器72和远程启动处理器61。密码进一步从包括远程启动处理器61的通信控制器60发送到图3中图示的图像处理器30，且最终输入到ui图像发生器33。因此，连接信息包括密码。连接信息然后由电子白板2a的用户使用电话或者电子邮件发送到电子白板2b和2c的用户。即使连接信息不包括主机装置的ip地址，只要存在连接目的地管理表440，参与装置也可以做出参与请求。

接下来，当电子白板2b和2c中的每一个通过每个用户的比如触摸板的输入装置的操作而接收到连接信息的输入时，电子白板2a和2b中的每一个的客户端单元20中的远程参与处理器62基于连接信息的ip地址经由通信网络9将密码发送到电子白板2a的服务器单元90中的通信控制器70以做出参与请求(步骤s23和s24)。因此，通信控制器70的远程连接请求接收器71从电子白板2b和2c中的每一个接收参与请求(包括密码)，并将密码输出到远程连接处理器81。

随后，远程连接处理器81使用密码管理器810中管理的密码，验证从电子白板2b和2c中的每一个接收到的密码(步骤s25)。远程连接结果发送器72然后向电子白板2b和2c中的每一个的客户端单元20通知验证结果(步骤s26和s27)。当通过在步骤s25的验证确定电子白板2b和2c中的每一个是有效电子白板时，在用作主机装置的电子白板2a和用作参与装置的电子白板2b和2c之间建立远程共享处理的通信，且电子白板2b和2c中的每一个的客户端单元20中的远程参与处理器62使得能够在电子白板中的每一个和其他电子白板之间开始远程共享处理(步骤s28和s29)。

输出图像的显示

随后，以下参考图17描述在远程共享处理中显示输出图像(c)的处理。

首先，电子白板2b在显示器3b上显示输出图像(c)(步骤s30)。特别地，电子白板2b的图像获取器31从笔记本pc6b经由视频获取器21接收由笔记本pc6b显示的输出图像(c)的数据，并经由显示叠加单元36和视频叠加单元28将该数据发送到显示器3b以在显示器3b上显示输出图像(c)。

接下来，当电子白板2b的包括图像获取器31的图像处理器30将输出图像(c)的数据发送到远程图像发送器63时，包括远程图像发送器63的通信控制器60经由通信网络9将输出图像(c)的数据发送到用作主机装置的电子白板2a的通信控制器70(步骤s31)。因此，电子白板2a的远程图像接收器73接收要输出到远程图像处理器82的输出图像(c)的数据，且远程图像处理器82在图像数据存储单元830中存储输出图像(c)的数据。

接下来，用作主机装置的电子白板2a在显示器3a上显示输出图像(c)(步骤s32)。特别地，电子白板2a的远程图像处理器82将从远程图像接收器73接收到的输出图像(c)的数据输出到远程图像发送器74。远程图像发送器74将输出图像(c)的数据输出到用作主机装置的同一电子白板2a的客户端单元20中的远程图像接收器64。远程图像接收器64将输出图像(c)的数据输出到显示叠加单元36。显示叠加单元36将输出图像(c)的数据输出到视频叠加单元28。视频叠加单元28将输出图像(c)的数据输出到显示器3a。结果，显示器3a显示输出图像(c)。

接下来，用作主机装置的电子白板2a的服务器单元90中的包括远程图像发送器74的通信控制器70经由通信网络9将输出图像(c)的数据发送到除了作为输出图像(c)的数据的传输源的电子白板2b之外的电子白板2c的通信控制器60(步骤s33)。因此，用作参与装置的电子白板2c的远程图像接收器64接收输出图像(c)的数据。

接下来，电子白板2c在显示器3c上显示输出图像(c)(步骤s34)。特别地，电子白板2c的远程图像接收器64将在步骤s33接收到的输出图像(c)的数据输出到电子白板2c的显示叠加单元36。显示叠加单元36将输出图像(c)的数据输出到视频叠加单元28。视频叠加单元28将输出图像(c)的数据输出到显示器3c。结果，显示器3c显示输出图像(c)。

当除输出图像(c)的数据之外，将ui图像(a)和笔划(b)的各条数据输入到视频叠加单元28时，显示叠加单元36生成叠加图像(a、b、c)，且视频叠加单元28将叠加图像(a、b、c)的数据输出到显示器3c。当用于视频会议的视频(e)的数据从视频会议终端7发送到视频叠加单元28时，视频叠加单元28使用画中画方案在叠加图像(a、b、c)上叠加用于视频会议的视频(e)的数据，并将该数据输出到显示器3c。

叠加图像的显示

随后，以下参考图18描述在远程共享处理中显示叠加图像的处理。

首先，用户使用电子笔4b在电子白板2b上绘制笔划(b)(步骤s41)。

接下来，如图16所示，电子白板2b的显示叠加单元36在ui图像(a)和输出图像(c)上叠加笔划(b)，且视频叠加单元28在电子白板2b的显示器3b上显示叠加图像(a、b、c)(步骤s42)。特别地，电子白板2b的笔划处理器32经由事件识别器25从坐标检测器22和接触检测器24接收笔划图像(b)的数据作为操作数据，并将该数据发送到显示叠加单元36。结果，显示叠加单元36可以在ui图像(a)和输出图像(c)上叠加笔划(b)，且视频叠加单元28可以在电子白板2b的显示器3b上显示叠加图像(a、b、c)。

接下来，当电子白板2b的包括笔划处理器32的图像处理器30将笔划(b)的数据发送到远程操作发送器65时，电子白板2b的远程操作发送器65将笔划(b)的数据经由通信网络9发送到用作主机装置的电子白板2a的通信控制器70(步骤s43)。因此，电子白板2a的远程操作接收器75接收要输出到远程操作处理器83的笔划(b)的数据，且远程操作处理器83将笔划(b)的数据输出到操作合成处理器84。以这种方式，每次渲染笔划时，在电子白板2b中渲染的笔划(b)的各条数据连续地发送到用作主机装置的电子白板2a的远程操作处理器83。笔划(b)的数据是对于图7中图示的每个笔划数据id表示的数据。因此，例如，如上所述，当用户以电子笔4绘制字母“t”时需要两个笔划，从而连续地发送由两个笔划数据id表示的笔划(b)的各条数据。

接下来，用作主机装置的电子白板2a在显示器3a上显示包括从电子白板2b发送的笔划(b)的数据的叠加图像(a、b、c)(步骤s44)。特别地，电子白板2a的操作合成处理器84合成经由远程操作处理器83连续地发送的笔划(b)的多条数据以存储在操作数据存储单元840中，且将该数据返回到远程操作处理器83。因此，远程操作处理器83将从操作合成处理器84接收到的笔划(b)的合成数据输出到远程操作发送器76。远程操作发送器76将笔划(b)的合成数据输出到用作主机装置的同一电子白板2a的客户端单元20中的远程操作接收器66。远程操作接收器66将笔划(b)的合成数据输出到图像处理器30中的显示叠加单元36。因此，显示叠加单元36在ui图像(a)和输出图像(c)上叠加合成的笔划(b)。最终，视频叠加单元28在显示器3a上显示由显示叠加单元36叠加的叠加图像(a、b、c)。

接下来，用作主机装置的电子白板2a的服务器单元90中的包括远程操作发送器76的通信控制器70将笔划(b)的合成数据经由通信网络9发送到除了作为笔划(b)的数据的传输源的电子白板2b之外的电子白板2c的通信控制器60(步骤s45)。因此，用作参与装置的电子白板2c的远程操作接收器66接收笔划(b)的合成数据。

随后，电子白板2c在显示器3c上显示叠加图像(a、b、c)(步骤s46)。特别地，电子白板2c的远程操作接收器66将在步骤s45接收到的笔划(b)的合成数据输出到电子白板2c的图像处理器30。图像处理器30的显示叠加单元36在笔划(b)的合成数据上叠加ui图像(a)和输出图像(c)的各条数据，并将叠加图像(a、b、c)的数据输出到视频叠加单元28。视频叠加单元28将叠加图像(a、b、c)的数据输出到显示器3c。结果，显示器3c显示叠加图像(a、b、c)。

在以上处理中，在显示器3上显示输出图像(c)。替代地，可以代替输出图像(c)显示背景图像(d)。代替输出图像(c)和背景图像(d)之间的排它关系，可以同时在显示器3上显示输出图像(c)和背景图像(d)两者。

参与的终止

随后，以下参考图18描述参与装置结束参与远程共享处理的处理。图18中图示的实施例描述电子白板2c结束参与的处理。

首先，当电子白板2c通过用户的比如触摸板的输入装置的操作而接收到结束参与的请求时，远程参与处理器62向用作主机装置的电子白板2a的服务器单元90中的通信控制器70做出结束参与的请求(步骤s47)。因此，通信控制器70的远程连接请求接收器71从电子白板2c接收结束参与的请求，并将结束参与的请求与电子白板2c的ip地址一起输出到远程连接处理器81。电子白板2a的远程连接处理器81然后基于从远程连接请求接收器71发送的ip地址，从参与地点管理表820中删除做出结束参与的请求的电子白板2c的ip地址和布置电子白板2c的地点的名称，并将电子白板2c的ip地址和删除ip地址的通知输出到远程连接结果发送器72。

接下来，包括远程连接结果发送器72的通信控制器70经由通信网络9指示电子白板2c的客户端单元20中的通信控制器60结束参与(步骤s48)。因此，电子白板2c中的通信控制器60的远程参与处理器62断开远程共享处理的通信以执行结束参与的处理，从而结束参与(步骤s49)。

以下描述本发明的实施例。实施例包括在电子信息板中存储信息的处理中的以下特征。

实施例具有用于以通用文件格式存储在电子白板上渲染的标志图像以进行使用以及再次读取和编辑标志图像的以下配置。

也就是，根据实施例的图像处理装置包括：手写图像渲染器，配置为在第一层上绘制笔划；标志图像渲染器，配置为在低于第一层的第二层上渲染表示字符、符号、图形或者其组合的标志图像；和外部图像渲染器，配置为在低于第二层的第三层上绘制外部地获取的外部图像。根据实施例的图像处理装置还包括：串行化单元，配置为串行化在第一层上渲染的笔划、在第二层上渲染的标志图像和在第三层上渲染的外部图像以转换为以文本格式的数据；和文档创建器，配置为基于由串行化单元转换的以文本格式的数据来创建与一个页面对应的文档数据。

通过上面描述的配置，可以以通用文件格式存储在电子白板上渲染的标志图像以进行使用，且可以再次读取标志图像以进行编辑。

以下将参考附图具体地描述实施例的特征。

参考图19，以下描述图3中图示的文件处理器40的具体功能框图。

如图19所示，文件处理器40包括手写图像渲染器201、手写识别器203、标志图像渲染器205、外部图像渲染器207、页面管理器209、串行器211、解串行器213、pdf创建器215、pdf存储单元217和pdf读取器219。

手写图像渲染器201在笔划层(a)上渲染从笔划处理器32获取的手写笔划(信息)。

手写识别器203使用已知的字符识别技术，从由之后描述的笔划层(a)上渲染的笔划形成的字符图像执行字符识别。手写识别器203执行手写字符图像的字符识别以获取比如字符码、字符码类型、字符图像的大小和字符图像的显示位置之类的字符信息，并作为执行多个字符的字符识别的结果，生成包括多条字符信息的字符列表。

标志图像渲染器205在之后描述的标志层(b)上渲染标志图像，比如字符、图形、线、方形和圆形。也就是，标志图像渲染器205在低于笔划层(a)的标志层(b)(第二层)上渲染表示字符、符号、图形或者其组合的标志图像。

外部图像渲染器207在外部图像层(c)上渲染jpeg图像、可扩展矢量图(svg)图像等。

页面管理器209保存页面数据的列表，并执行用于添加或者删除页面的处理。

串行器211串行化页面数据以转换为文本格式。作为文本格式，使用可扩展标注语言(xml)、java脚本(注册商标)对象注释(json)等。

串行化处理是用于将在一个计算机程序的执行期间涉及的多个对象转换为可以转移到其他计算机程序的数据格式的处理。通过执行串行化处理，多个对象可以转换为可以存档的数据格式。解串行化处理指的是这种串行化的逆转换。

pdf存储单元217存储在页面上渲染的信息(页面数据)。在存储信息时，pdf存储单元217使用串行器211串行化页面数据以转换为文本格式。

pdf创建器215使用串行化的数据创建pdf文档，并在pdf文档的页面上绘制手写笔划和标志图像。pdf创建器215使用比如zip的压缩处理软件来压缩串行化的数据，并在页面中嵌入数据以在usb存储器5中作为pdf文档存储(图3)。

解串行器213将通过串行化处理转换为唯一格式并在文件中存储的数据恢复为初始数据格式。

pdf读取器219基于添加到所获取的pdf文档的pdf摘要信息，确定从usb存储器5(图3)获取的pdf文档是否是由pdf创建器215创建的pdf文档。如果该文档是pdf文档，则pdf读取器219提取附加到页面的外部图像，并提取嵌入在页面中的压缩的串行化数据以进行解压缩。pdf读取器219还对串行化数据进行解串行化以串行化并恢复为初始数据格式，并创建页面以添加到页面管理器209。

随后，参考图20，以下描述通用文件的层配置。在实施例中，代替图16中图示的通用文件的层配置，可以使用图20中图示的层配置。

pdf文档从上层向着下层依次包括笔划层(a)、标志层(b)和外部图像层(c)。

笔划层(a)是用于绘制手写笔划的层。笔划层(a)布置在最前面的表面上以增强手写图像。

标志层(b)是用于绘制识别为手写的字符、符号和图形、在文本框中输入的字符和以工具条选择的图形(比如线、圆形、正方形和三角形)等的层。

外部图像层(c)是用于在中心显示经由视频获取器21和图像获取器31从图3中图示的笔记本pc6捕获的pc屏幕作为外部图像的层。

相同的层配置也应用于白板侧的页面。

随后，参考图21，以下描述表示根据本发明实施例的pdf创建器215的操作的存储过程。

在存储电子白板2的信息(电子白板数据)时，串行器211首先对于每个页面串行化包括笔划、标志图像和外部图像的每条数据。串行器211将页面信息转换为json格式。要采用的格式取决于实现。

将比如xml和json的以文本格式的串行化数据输出到pdf创建器215(s101)。

该文本文件以zip压缩且嵌入在pdf文档的页面中(参考图20)。pdf创建器215获取与电子白板2的页面的数目对应的文件。

将从串行器211输出的串行化数据与摘要信息和对pdf文档设置的密码一起传递到pdf创建器215。密码仅当必要时传递到其。

pdf创建器215创建pdf文档(s103)。

pdf创建器215对pdf文档设置pdf密码(s105)，设置pdf摘要信息(s107)，并创建外部图像层(c)(s109)。pdf创建器215还创建标志层(b)(s111)，并创建笔划层(a)(s113)。

随后，pdf创建器215对存储器设置页面号码p＝1作为处理号码(s115)。

pdf创建器215然后从usb存储器5读取笔记本pc6的外部图像和微软powerpoint(注册商标)的文件等，并获取通过成像文件而获得的图像(s117)。

接下来，pdf创建器215将所获取的外部图像粘贴到外部图像层(c)(s119)。

pdf创建器215然后根据串行化的数据在标志层(b)上渲染标志图像(s121)。

类似地，pdf创建器215根据串行化的数据在笔划层(a)上渲染笔划(s123)。

pdf创建器215还以zip等压缩串行化的数据以嵌入在页面中，并在usb存储器5(图3)中存储数据作为pdf文档(s125)。

随后，pdf创建器215确定是否满足页面号码p＝n作为对存储器设置的处理号码(s127)。在该情况下，如果满足页面号码p＝n，则pdf创建器215结束该处理。另一方面，如果未达到页面号码p＝n，则处理进行到步骤s129。

在步骤s129，pdf创建器215向存储器设置页面号码p＝p+1(递增)作为处理号码，且处理返回到步骤s117。

以这种方式，串行化笔划、标志图像、外部图像等以转换为以文本格式的数据，且基于以文本格式的转换的数据来创建与一个页面对应的文档数据。因此，以通用文件格式存储在电子白板上渲染的标志图像以进行使用，且可以再次读取标志图像以进行编辑。

通过将pdf文档创建为文档数据，可以以通用文件格式存储在电子白板上渲染的标志图像以进行使用，且可以再次读取标志图像以进行编辑。

随后，参考图22，以下描述表示根据本发明实施例的pdf读取器219的操作的读取过程。

首先，pdf读取器219从usb存储器5(图3)获取pdf文档(s141)，并读取添加到pdf文档的pdf摘要信息(s143)。pdf读取器219基于读取的pdf摘要信息，确定所获取的pdf文档是否是由pdf创建器215使用上面描述的方法创建的pdf文档(s145)。如果所获取的pdf文档是由pdf创建器215使用上面描述的方法创建的pdf文档，则处理进行到s149。另一方面，如果所获取的pdf文档不是由pdf创建器215使用上面描述的方法创建的pdf文档，则处理进行到s147。

如果所获取的pdf文档不是使用以上方法创建的pdf文档(在s145的“否”)，则pdf读取器219读取pdf文档作为图像(s147)。

另一方面，如果所获取的pdf文档是使用以上方法创建的pdf文档(在s145的“是”)，则pdf读取器219对存储器设置页面号码p＝1作为处理号码(s149)。

随后，pdf读取器219提取附加到页面的外部图像(s151)，并提取嵌入在页面中的压缩的串行化数据(s153)。

接下来，pdf读取器219对经压缩的串行化数据进行解压缩(s155)。

pdf读取器219然后使用解串行器213串行化和恢复串行化数据以恢复为初始数据格式，并创建页面(s157)。

也就是，解串行器213首先[1]从pdf文件提取zip文件。结果，提取与页面的数目对应的zip文件。接下来，解串行器213[2]解压缩zip文件以获取文本文件。解串行器213然后[3]解串行化文本文件中的信息以创建页面对象。解串行器213然后[4]添加页面对象到页面管理器209。随后，解串行器213[5]执行与页面的数目对应的[2]到[4]中描述的各条处理。

pdf读取器219然后将在步骤s151提取的笔划和外部图像添加到恢复的页面(s159)。

接下来，pdf读取器219将所创建的页面添加到目标页面的结尾(s161)。以该方式，当添加页面对象时，页面对象被添加到页面列表的结尾。

随后，pdf读取器219确定是否满足页面号码p＝n作为对存储器设置的处理号码(s163)。在该情况下，如果满足页面号码p＝n，则pdf读取器219结束该处理。另一方面，如果未达到页面号码p＝n，则处理进行到步骤s165。

在步骤s165，pdf读取器219向存储器设置页面号码p＝p+1(递增)作为处理号码，且处理返回到步骤s151。

以这种方式，从文档数据中的以文本格式的数据串行化和恢复一个页面，从而在电子白板上渲染的标志图像可以以通用文件格式存储以进行使用，且可以再次读取标志图像以进行编辑。

接下来，参考图23，以下描述表示字符拼接单元203a的操作的字符拼接过程。

图19中图示的手写识别器203包括字符拼接单元203a。关于由手写识别器203识别的字符信息，字符拼接单元203a关于可以拼接字符的部分执行字符拼接。

由手写识别器203生成的字符列表包括如上所述的多条字符信息，且每条字符信息包括比如字体名称、字体尺寸、区域、颜色、创建日期和字符显示区域的位置和大小之类的各条信息。另一方面，当输入与两个字符对应的笔划时，例如，可以在其间插入单倍间距(enspace)。作为字符识别的结果，可以包括识别为至少一个单倍间距的字符码。当输入双倍间距(emspace)时，很可能用户有意地书写双倍间距，从而在该处理中不删除双倍间距。

在该实施例中，删除这种单倍间距且拼接各条字符信息以获得易读的文档信息。

首先，字符拼接单元203a在上面描述的字符列表中包括的处理下，对存储器设置字符信息的索引号＝0(s181)。

接下来，字符拼接单元203a确定是否检查全部各条字符信息(s183)。在该情况下，如果检查了全部各条字符信息，则字符拼接单元203a结束该处理。另一方面，如果未检查全部各条字符信息，则处理进行到s185。

对于与一个字符对应的每条字符信息，字符拼接单元203a检查各条字符信息是否可以拼接到相邻的各条字符信息(s185)。在步骤s185，字符拼接单元203a确定是否存在由单倍间距表示的一条字符信息。如果存在单倍间距，则字符拼接单元203a确定可以拼接字符，且删除相邻的各条字符信息之间的单倍间距以拼接字符。通过递归地执行连接处理，可以拼接相邻的各条字符信息的位置(s187)。从字符列表删除当拼接字符时删除的单倍间距。

字符拼接单元203a确定是否拼接了各条字符信息(s189)。

当拼接了各条字符信息时，字符拼接单元203a将在检查中的字符信息的索引号递减一(-1)(s191)。随后，处理进行到步骤s193。字符拼接单元203a将在检查中的字符信息的索引号递增一(+1)(s193)，将处理返回到步骤s183，并重复上面描述的处理直到检查了字符列表中的全部各条字符信息为止。

以这种方式，关于由笔划表示的字符图像执行字符识别处理以获取字符信息的字符串，且当关于获取的字符串在相邻的各条字符信息之间存在不必要的间隔时，删除该间隔从而拼接相邻的各条字符信息，并输出该字符串。因此，可以编辑从笔划识别的字符。

从笔划识别的字符可以在标志图像层(b)上渲染。

随后，以下参考图24描述日语句子中的字符拼接。

由手写识别器203识别的字符在电子白板2中以字符为单位管理以应付仅删除或者移动一个字符的处理。

但是，当它作为文档管理时，一个字符没有意义，从而拼接相邻的各条字符信息为容易管理的字符串。该拼接促进字符串检索等。在pdf文档中存储字符信息时，可以拼接各条字符信息以渲染为字符串以便改进检索精确性。

在拼接字符时，检查相邻字符的包括字体名称、字体尺寸、颜色、高度、双倍或者单倍、区域(比如ja_jp、en_us和de_de)之类的多条信息是否是共同的，且包括共同的多条信息的一组字符集成为字符串。

短语“多条字符信息彼此相邻”指的是一个字符的上侧、下侧、左侧和右侧中的任何一个与下一字符的上侧、下侧、左侧和右侧中的任何一个相接触。作为字符拼接的结果，在图24的(b)中图示的示例中，是一个字符串。

在该情况下，在图24的(a)中图示的字符串的开始存在与一个字符对应的缩进(缩排)。为表示该缩进，如图24中的(b)所示，将两个单倍间距插入到字符串的开始。可以根据第一字符的位置和存储拼接的字符串的文本框的位置来计算要插入的单倍间距的数目。

随后，以下参考图25描述英语句子中的字符拼接。

与上面描述的日语句子类似地在英语文档中拼接字符。由手写识别器203识别为手写的英语句子在电子白板2中以字为单位管理。如图25a所示，如果字之后的间隔假定为字的部分，则与日语句子中的字符拼接类似地如图25b所示拼接字符。

结果，可以增强文档中的字符串检索的性能。

根据实施例，将手写笔划、字符、图形和图像转换为文本格式，且基于文本信息以通用文件渲染。在该情况下，将相邻字符渲染为拼接的字符串。然后，执行在页面中嵌入文本的处理，以使得手写笔划、识别为手写的标志图像和附加的外部图像以通用文件存储，且可以检索文档中的字符。可以再次读取该文件以进行编辑。

实施例的各方面的配置、功能、效果

第一方面

根据该方面的电子白板2包括：手写图像渲染器201，配置为在笔划层(a)(第一层)上渲染笔划；标志图像渲染器205，配置为在低于笔划层(a)的标志层(b)(第二层)上渲染表示字符、符号、图形或者其组合的标志图像；和外部图像渲染器207，配置为在低于标志层(b)的外部图像层(c)(第三层)上渲染外部地获取的背景图像。电子白板2还包括：串行器(串行化单元)211，配置为串行化在笔划层(a)上渲染的笔划、在标志层(b)上渲染的标志图像和在外部图像层(c)上渲染的背景图像以转换为以文本格式的数据；和pdf创建器(文档创建器)215，配置为基于由串行器211转换的以文本格式的数据，创建与一个页面对应的文档数据。

根据该方面，串行化笔划、标志图像和外部图像以转换为以文本格式的数据，且基于以文本格式的转换的数据创建与一个页面对应的文档数据，以使得可以以通用文件格式存储在电子白板上渲染的标志图像以进行使用，且可以再次读取标志图像以进行编辑。

第二方面

根据该方面的电子白板2包括解串行器213，该解串行器213从文档数据中的以文本格式的数据解串行化和恢复一个页面。

根据该方面，从文档数据中的以文本格式的数据串行化和恢复一个页面，以使得在电子白板上渲染的标志图像可以以通用文件格式存储以进行使用，且可以再次读取标志图像以进行编辑。

第三方面

根据该方面的pdf创建器215创建pdf文档作为文档数据。

根据该方面，创建pdf文档作为文档数据，以使得可以以通用文件格式存储在电子白板上渲染的标志图像以进行使用，和可以再次读取标志图像以进行编辑。

第四方面

根据该方面的电子白板2包括：手写识别器203，配置为关于由笔划表示的字符图像执行字符识别处理以获取字符信息的字符串；和字符拼接单元203a，当关于由手写识别器203获取的字符串在相邻的各条字符信息之间存在不必要间隔时，删除间隔从而拼接相邻的各条字符信息，并输出该字符串。

根据该方面，关于由笔划表示的字符图像执行字符识别处理以获取字符信息的字符串，且当关于所获取的字符串在相邻的各条字符信息之间存在不必要的间隔时，删除该间隔从而拼接相邻的各条字符信息，并输出该字符串。因此，可以编辑从笔划识别的字符。

第五方面

根据该方面的标志图像渲染器205在标志层(b)(第二层)上绘制由字符拼接单元203a拼接的字符串。

根据该方面，从笔划识别的字符可以在标志层(b)上渲染。

第六方面

根据该方面的图像处理方法以根据第一方面到第五方面中的任何一个的电子白板2执行，并包括：串行化步骤(s101)，用于串行化在笔划层(a)(第一层)上渲染的笔划、在标志层(b)(第二层)上渲染的标志图像和在外部图像层(c)(第三层)上渲染的外部图像以转换为以文本格式的数据；和文档创建步骤(s103)，用于基于在串行化步骤转换的以文本格式的数据创建与一个页面对应的文档数据。

根据该方面，串行化笔划、标志图像和外部图像以转换为以文本格式的数据，且基于以文本格式的转换的数据创建与一个页面对应的文档数据，以使得可以以通用文件格式存储在电子白板上渲染的标志图像以进行使用，且可以再次读取标志图像以进行编辑。

第七方面

根据该方面的计算机程序可以存储在计算机可读存储介质中，使得处理器执行第六方面中描述的每一个步骤。

根据该方面，每一个步骤可以由处理器执行。

附图标记列表

1图像处理系统

2电子白板

3显示器

4电子笔

5usb存储器

6笔记本pc

7视频会议终端

8pc

9通信网络

20客户端单元

21视频获取器

22坐标检测器

23自动校准器

24接触检测器

25事件识别器

26操作处理器

27姿势处理器

28视频叠加单元

30图像处理器

31图像获取器

36显示叠加单元

32笔划处理器

33ui图像发生器

34背景发生器

35布局管理器

37页面处理器

40文件处理器

41恢复处理器

43文件转换器

44文件发送器

45地址簿输入单元

46备份处理器

47备份输出单元

48设置管理器

60通信控制器

61远程启动处理器

62远程参与处理器

63远程图像发送器

64远程图像接收器

63远程操作发送器

66远程操作接收器

71远程连接请求接收器

72远程连接结果发送器

80数据管理器

81远程连接处理器

82远程图像处理器

83远程操作处理器

84操作合成处理器

90服务器单元

101cpu

102rom

103ram

104ssd

105网络控制器

106外部存储控制器

111捕获装置

105显示控制器

115触摸传感器

114传感器控制器

116电子笔控制器

112gpu

120总线

201图像渲染器

203识别器

205标志图像渲染器

207外部图像渲染器

209页面管理器

211串行器

213解串行器

215pdf创建器

217pdf存储单元

300页面数据存储单元

310远程许可管理表

410地址簿管理表

420备份数据存储单元

430设置文件存储单元

440连接目的地管理表

610参与地点管理表

810密码管理器

830图像数据存储单元

840操作数据存储单元

引文列表

专利文献

ptl1

日本特开专利公开no.2014-52873