通信终端、通信系统、通信控制方法以及程序与流程

本公开在此总地涉及通信终端、通信系统、通信控制方法以及程序。

背景技术：

由于降低各方的出行费用以及时间的需求，近年来通过诸如互联网或专用线路之类的通信网络执行电话呼叫、视频会议等的通信系统已变得流行。在这样的通信系统中，根据通信终端所具有的功能，能在通信终端间共享诸如会议参与者、会议材料等的显示数据或基于手写操作的笔划(stroke)数据之类的内容数据。

此外，已经提出在连接至通信网络的电子白板间通过服务器设备在客户端设备间共享笔划数据的方法(参见专利文件1)。

引用列表

专利文献

ptl1：日本特开专利公开no.2015-70345

技术实现要素：

技术问题

通过启动通信终端中的多个功能，可以在同一时刻执行这些多个功能。然而，存在的问题是，当在通信终端间共享图像的多个功能被启动时，通过一个功能可以显示的图像变得难以通过其他功能的诸如弹出显示之类的显示控制来观看。

问题的解决方案

根据本发明的一个方面，通信终端包括：第一通信控制单元，其被配置来控制在通信终端和第一通信终端之间经由传送服务器的通信；第二通信控制单元，其被配置来控制在该通信终端和第二通信终端之间的通信；获取单元，其被配置来获取在由该第二通信控制单元控制的通信中的、在该通信终端和该第二通信终端之间传输的内容数据，该第一通信控制单元向该传送服务器发送由该获取单元所获取的内容数据；以及显示控制单元，其被配置来基于由该传送服务器所传送的内容数据控制图像的显示。

根据本发明的另一方面，通信系统包括：通信终端；第一通信终端；第二通信终端；以及传送服务器。该通信终端包括：第一通信控制单元，其被配置来控制在该通信终端和该第一通信终端之间经由传送服务器的通信；第二通信控制单元，其被配置来控制在该通信终端和该第二通信终端之间的通信；获取单元，其被配置来获取在由该第二通信控制单元控制的通信中的、在该通信终端和该第二通信终端之间传输的内容数据，该第一通信控制单元向该传送服务器发送由该获取单元所获取的内容数据；以及显示控制单元，其被配置来基于由该传送服务器所传送的内容数据控制图像的显示。

根据本发明的另一方面，用于控制通信终端的通信的通信控制方法包括：控制在该通信终端和第一通信终端之间经由传送服务器的第一通信；控制在通信终端和第二通信终端之间的第二通信；获取在该通信终端和该第二通信终端之间的第二通信中所传输的内容数据；在第一通信中将所获取的在该第二通信中传输的内容数据发送至该传送服务器；以及基于由该传送服务器所传送的内容数据来控制图像的显示。

根据本发明的另一方面，用于控制通信终端的通信的程序包括：第一通信控制处理，控制在该通信终端和第一通信终端之间经由传送服务器的第一通信；第二通信控制处理，控制在该通信终端和第二通信终端之间的第二通信；获取处理，获取在该通信终端和该第二通信终端之间的、通过该第二通信控制处理控制的该第二通信中传输的内容数据；在该第一通信中将通过该获取处理获取的内容数据传输至传送服务器；以及显示控制处理，基于由该传送服务器所传送的内容数据来控制图像的显示。

根据本发明的另一方面，用于控制通信终端的通信的程序包括：第一通信控制处理，控制在该通信终端和第一通信终端之间经由传送服务器的第一通信；获取处理，获取在该通信终端和第二通信终端之间的第二通信中传输的内容数据；传输处理，在第一通信中将通过该获取处理所获取的内容数据传输至传送服务器；以及显示控制处理，基于由该传送服务器所传送的内容数据来控制图像的显示。

发明的有益效果

如上所述，根据本发明的实施例，呈现了如下的效果：变得能够当在通信终端间共享图像的多个功能被启动时，防止通过一个功能可以显示的图像变得难以通过其他功能的显示控制来观看。

附图说明

图1是描绘根据本实施例的通信系统的示例布置的示意图；

图2是描绘根据本实施例的电子白板的示例硬件配置的示意图；

图3是描绘根据本实施例的管理设备的示例硬件配置的示意图；

图4是描绘根据本实施例的作为视频会议终端的个人计算机(pc)的示例硬件配置的示意图；

图5a是描绘根据本实施例的电子白板的示例软件配置的示意图；

图5b是描绘根据本实施例的pc的示例软件配置的示意图；

图6是描绘根据本实施例的构成通信系统的一部分的电子白板以及pc的示例的功能性框图；

图7是详细描绘根据本实施例的绘制控制单元的功能性框图；

图8是描绘电子白板或pc的处理的示例的序列图；

图9是描绘电子白板或pc的处理的另一示例的序列图；

图10是描绘电子白板或pc的处理的另一示例的序列图；

图11是描绘电子白板或pc的处理的另一示例的序列图；

图12是描绘电子白板或pc的处理的另一示例的序列图；

图13是描绘电子白板或pc的处理的另一示例的序列图；

图14是描绘电子白板或pc的处理的另一示例的序列图；

图15a是描绘显示设备上的示例显示的示意图；

图15b是描绘显示设备上的另一示例显示的示意图。

具体实施方式

在下文中，将参照附图描述本发明的实施例。

<<通信系统的布置>>

首先，将参照图1描述通信系统1。图1是描绘根据本实施例的通信系统的示例布置的示意图。

通信系统1包括多个电子白板2a、2b以及2c、pc8、中继设备30以及管理设备50。

电子白板2a、2b以及2c经由用于通信连接的通信网络9a彼此互相连接。此外，电子白板2a、2b、2c被分别提供有显示设备3a、3b以及3c。

电子白板2a、2b以及2c可以在显示设备3a、3b以及3c上显示基于电子笔4a、4b以及4c引起的事件(电子笔4a、4b以及4c的笔尖或电子笔的其他端在显示设备3a、3b以及3c上的接触)绘制的图像。此外，电子白板2a、2b以及2c不仅可以基于电子笔4a、4b以及4c引起的事件，而且可以基于用户的手ha、hb以及hc引起的事件等(诸如放大、缩小或翻页之类的手势)改变在显示设备3a、3b以及3c上显示的图像。以下描述使用术语“电子白板2”来指示电子白板2a、2b以及2c中的任意一个，使用术语“显示设备3”来指示显示设备3a、3b以及3c中的任意一个，使用术语“电子笔4”来指示电子笔4a、4b以及4c中的任意一个以及使用术语“手h”来指示用户的手ha、hb以及hc中的任意一个。

此外，usb(通用串行总线)存储器5a、5b以及5c可以被连接至电子白板2a、2b以及2c。电子白板2a、2b以及2c可以从usb存储器5a、5b以及5c中读出诸如pdf(可移植文档格式)之类的电子文件，并且将电子文件存储入ubs存储器5a、5b以及5c中。此外，膝上型pc6a、6b以及6c经由线缆被连接至电子白板2a、2b以及2c上，该线缆使能够以诸如displayport、dvi(数字可视接口)、hdmi(注册商标)(高清晰度多媒体接口)或vga(视频图形阵列)之类的标准通信。以下描述使用术语“usb存储器5”来指示usb存储器5a、5b以及5c中的任意一个以及使用术语“膝上型pc6”来指示膝上型pc6a、6b以及6c中的任意一个。

以这种方式，在一个地点的电子白板2的显示设备3上绘制的笔划的笔划数据经由通信网络9a被传递至在另一地点的电子白板2，并且由此显示在该另一地点的显示设备3上。反之，在该另一地点的电子白板2的显示设备3上绘制的笔划的笔划数据经由通信网络9a被传递至在该一个地点的电子白板2，并且由此显示在该一个地点的显示设备3上。以这种方式，在通信系统1中能够执行在远程位置处共享相同图像的远程共享处理，并且通信系统1当其被用于在远程位置处的会议等时非常有用。

当除了电子白板以外的另一通信终端被连接至通信网络9a时，除了电子白板2以外，该另一通信终端可以经由通信网络9a与电子白板2共享笔划数据。该另一通信终端包括pc、视频会议终端、平板终端、智能电话、数字标牌(signage)单元、在体育转播或天气预报中使用的telestrator或诸如远程图像(视频)诊断设备之类的图像处理设备；便携式信息终端、数字摄像机、数字相机或诸如可以提供图像帧的、如游戏机的终端之类的计算机。

经由用于通信连接的网络9b连接电子白板2c、pc(个人计算机)8、中继设备30以及管理设备50。

电子白板2c以及pc8通过发送/接收诸如会议材料之类的显示数据作为内容数据来执行通信。显示数据是可以在显示设备上显示的图像的图像数据。显示数据可以是运动图像数据或静止图像数据，并且可以是运动图像数据和静止图像数据两者。

中继设备30执行在电子白板2c以及pc8之间中继内容数据的处理。管理设备50以综合的方式管理电子白板2c以及pc8的通信状态。

通过使用除了电子白板2c以及pc8以外的、连接至通信网络9b的另一通信终端，该另一通信终端可以经由通信网络9b与电子白板2c以及pc8共享显示数据。该另一通信终端包括视频会议终端、平板终端、智能电话、数字标牌单元、telestrator或图像处理设备；便携式信息终端、数字摄像机、数字相机或诸如可以提供图像帧的、如游戏机的终端之类的计算机。

电子白板2c可以通过启动用于共享笔划数据的模块和用于共享显示数据的模块两者，与通信终端同时共享笔划数据和显示数据两者。

根据本实施例，通信网络9a是内联网，而通信网络9b是互联网。然而，通信网络9a以及9b是从诸如互联网、lan(局域网)、内联网或移动电话网络之类的任意网络中选择的。可替换地，通信网络9a以及9b可以是相同的通信网络，诸如其均为互联网的情况。

此外，根据本实施例，将描述作为记录介质的示例的usb存储器。然而，本发明并不限于此。作为另一示例，记录介质可以是诸如sd卡之类的各种记录介质。

<电子白板的硬件配置>

参照图2，将描述根据实施例的电子白板的硬件配置。图2是根据本实施例的电子白板的硬件配置示意图。

如图2所示，电子白板2包括：用于控制电子白板2的总体操作的cpu(中央处理单元)201、用于存储用于启动cpu201的诸如ipl之类的程序的rom(只读存储器)202、用于cpu201的工作区域的ram(随机存取存储器)、用于存储用于电子白板的诸如程序之类的各种数据的ssd(固态硬盘)204、用于控制与通信网络9的通信的网络控制器205以及控制与usb存储器5的通信的外部存储控制器206。电子白板2进一步包括：用于根据cpu201的控制捕获对象的相机(camera)207、用于控制驱动相机207的成像元件i/f208、用于使膝上型pc6的显示单元将视频信息显示为静止图像或运动图像的捕获设备211、专门从事图形处理的gpu(图形处理单元)212以及用于控制和管理将输出图像从cpu201输出至显示设备3的屏幕显示的显示控制器213。电子白板2还包括用于控制接触传感器215的处理的传感器控制器214以及用于检测电子笔4、用户的手h等接触显示设备3的接触传感器215。根据实施例的接触传感器215通过红外光中断方法输入以及检测坐标。输入以及检测坐标的该方法是这样的方法，其从布置在显示设备3的上侧相应端的两个接收/发射光设备发射多束平行于显示设备3的红外光束，并且通过光接收元件接收在布置在显示设备3周围的反射元件上反射并在与出射光束的光路相同的光路上被返回的光。接触传感器215向传感器控制器214输出从两个接收/发射光设备发射并且被物体中断的红外光束的id(标识)。传感器控制器214识别作为物体的接触位置的坐标位置。以下示出的所有相应id均为标识信息的示例。

接触传感器215不限于红外光中断方法，而是可以使用各种检测手段，诸如通过检测电容的变化来识别接触位置的电容方法的触摸面板、通过两个相对的电阻膜间的电压变化来识别接触位置的电阻膜方法的触摸面板或通过检测由接触物体接触显示单元而生成的电磁感应来识别接触位置的电磁感应的触摸面板。此外，接触传感器215可以通过使用相机识别坐标位置来确定接触。

电子白板2进一步包括电子笔控制器216。电子笔控制器216通过与电子笔4通信来确定笔尖或笔的其他端在显示设备3上的接触的存在。电子笔控制器216可以确定用户握持的电子笔4的一部分或电子笔的其他部分的接触的存在，而并不仅仅是电子笔4的笔尖或其他端。

此外，电子白板2包括用于输入语音的麦克风222、用于输出语音的扬声器223、用于根据cpu101的控制来处理在麦克风222以及扬声器223之间的声音的输入/输出的声音输入/输出i/f224、用于接受用户的操作的操作按钮225以及用于接通/关闭电子白板2的电源的电源开关226。

此外，电子白板2包括用于将各个上述部件彼此电连接的、诸如地址总线或数据总线之类的总线230。

用于电子白板的程序可以存储于诸如cd-rom之类的计算机可读记录介质中或网络上的服务器中以分发或下载。

<管理设备的硬件配置>

参照图3，将描述根据本实施例的管理设备的硬件配置。图3是根据本实施例的管理设备的硬件配置示意图。

管理设备50包括：控制管理设备50的总体操作的cpu501、存储用于传输管理的程序的rom502、用作cpu501的工作区域的ram503、存储各种数据的hd(硬盘)504、在cpu501的控制下控制从hd504读取各种数据/向hd504写入各种数据的硬盘驱动器(hdd)505、以及控制从诸如闪存之类的记录介质506读取数据/向记录介质506写入(存储)数据的介质i/f507。此外，管理设备50包括：用于在显示单元516上显示诸如光标、菜单、窗口、字符或图像之类的各种信息项的显示i/f508、用于使用通信网络9传输数据的网络i/f509、包括用于输入字符、数字、各种指令等的多个键的键盘511以及执行各种指令的选择和执行、处理目标的选择、诸如鼠标光标等定点设备的移动的鼠标512。管理设备50还包括：控制从充当可移动记录介质的示例的cd-rom513读取各种数据/向cd-rom513写入各种数据的紧凑盘只读存储器(cd-rom)驱动器514、用于发送信息至外部设备/从外部设备接收信息的外部设备i/f515以及用于电连接上述元件的诸如地址总线和数据总线之类的总线510。

此外，上述用于传输管理的程序可以存储在诸如上述介质506或cd-rom513之类的计算机可读记录介质中并且以可安装的格式或可执行的格式在文件中分发。上述用于传输管理的程序可以存储在hd504中。

<pc的硬件配置>

图4是根据实施例的作为视频会议终端的pc8的硬件配置示意图。pc8包括cpu801、rom802、ram803、闪存804、ssd805，媒体i/f807、电源开关809、总线810、网络i/f811、相机812、成像元件i/f813、麦克风814、扬声器815、声音输入/输出i/f816、显示i/f817、外部设备连接i/f818、键盘821以及鼠标822。其中，cpu801控制pc8的总体操作。rom(只读存储器)802存储用于驱动cpu801的程序，诸如ipl(初始程序装入程序)。ram(随机存取存储器)被用作cpu801的工作区域。闪存804存储诸如用于通信的程序、显示数据、声音数据等之类的各种数据。ssd(固态硬盘)805在cpu801的控制下，控制从闪存804读取各种数据/向闪存804写入各种数据。可以使用hdd代替ssd。媒体i/f807控制从诸如闪存之类的记录介质806读取数据/向记录介质806写入(存储)数据。

此外，网络i/f(接口)811是用于使用通信网络9b执行数据通信的接口。相机812是一种内置的捕获装置，用于根据cpu801的控制来捕获对象以获得显示数据。成像元件i/f813是控制驱动相机812的电路。麦克风814是一种内置的用于输入语音的声音采集装置。声音输入/输出i/f816是用于根据cpu801的控制，在麦克风814以及扬声器815之间输入/输出声音信号的电路。显示i/f817是用于根据cpu801的控制将显示数据发送至外部显示设备820的电路。外部设备连接i/f818是用于连接各种外部设备的接口。键盘821包括用于输入字符、数值、各种指令等的多个键。鼠标822执行各种指令的选择和执行、处理目标的选择、诸如鼠标光标等的定点设备的移动。

此外，总线810是用于电连接图4所示的诸如cpu801之类的各部件的地址总线、数据总线等。

显示设备820是一种由液晶或有机el制成的用于显示对象的图像、操作图标等的显示装置。此外，显示设备820经由线缆820c被连接至显示i/f817。该线缆820c可以是用于模拟rgb(vga)信号的线缆、用于分量视频的线缆或用于hdmi(注册商标)(高清晰度多媒体接口)或dvi(数字视频交互)信号的线缆。

相机812包括镜头以及固态成像元件，该固态成像元件将光转换为电信号来使对象的图像(视频)数字化。使用cmos(互补金属氧化物半导体)、ccd(电荷耦合器件)等作为固态成像元件。诸如外部相机、外部麦克风、外部扬声器等之类的外部设备可以经由usb(通用串行总线)等连接到外部设备连接i/f818。当连接外部相机时，根据cpu801的控制，外部相机优先于内置相机812被启动。类似地，当连接外部麦克风或外部扬声器时，根据cpu801的控制，外部麦克风或外部扬声器优先于内置麦克风814或内置扬声器815被启动。

此外，记录介质806可从pc8上拆卸。闪存804可由eeprom(电可擦除可编程只读存储器)替换，只要其为根据cpu801的控制可以从中读取数据或可以向其写入数据的非易失性存储器。

<软件配置>

图5a是根据本实施例的电子白板的软件配置。如图5a所示，os(操作系统)2020、通信应用a11以及通信应用b10在ram203的工作区域2010中运行。

os2020是提供基本功能以及管理电子白板总体的基本软件。通信应用a11以及b10是用于执行与另一终端的通信的应用，并且具有彼此不同的通信协议。通信应用a11使得电子白板2执行用于发送笔划数据至另一通信终端的通信控制功能以及用于将笔划数据输出为图像的图像处理功能。另一方面，通信应用b10使得电子白板2执行向另一通信终端发送诸如视频会议材料之类的显示数据的通信控制功能。相比之下，通信应用b10未被提供输出显示数据的图像处理功能。例如，通信应用b10可以是通过使用软件开发工具从被提供有通信控制功能以及关于显示数据的图像处理功能两者的通信应用b11移除图像处理功能所获得的应用。

在工厂发货前，os2020以及通信应用a11已经被安装在电子白板2中。此外，在工厂发货后通信应用b10可被任意安装在电子白板2中。在以下描述中，假设通信应用b10被安装在电子白板2c中以及通信应用b10未被安装在电子白板2a以及2b中。

图5b是根据实施例的pc的软件配置示意图。如图5b所示，os8020以及通信应用b11运行在ram803的工作区域8010中。

os8020是提供基本功能以及管理pc8总体的基本软件。通信应用b11使得pc8执行用于向该另一通信终端发送诸如会议材料之类的显示数据的通信控制功能以及用于将显示数据输出为图像的图像处理功能。

此外，在工厂发货前或工厂发货后，os8020以及通信应用b11被安装在pc8中。

<<实施例的功能性配置>>

接着，将描述根据实施例的通信系统的功能性配置。图6是根据实施例构成通信系统的一部分的电子白板以及pc的功能性框图。在图6中，电子白板2a、2b以及2c彼此相互连接，以便可以经由通信网络9a执行数据通信。此外，在图6中，电子白板2c以及pc8彼此相互连接，以便可以经由通信网络9b执行数据通信。

电子白板2通过图2所示的硬件配置以及程序来使能图6所示的各功能性配置。此外，电子白板2包括由ssd204形成的存储单元2000。pc8通过图4所示的硬件配置以及程序来使能图6所示的功能性配置。此外，pc8包括由ssd805形成的存储单元8000。

电子白板2可以是首先启动远程共享处理的“主机设备”，并且可以是参与已被启动的远程共享处理的“参与设备”。此外，电子白板2大致包括两部分，即客户端部分20以及服务器部分90。客户端部分20以及服务器部分90是通过通信应用a11在电子白板2的机箱中启动来使能的功能。此外，电子白板2可以被提供有客户端部分20，并且服务器90可以被布置在与电子白板2不同的设备中，如分布控制设备中。

当电子白板2是主机设备时，在电子白板2中，客户端部分20和服务器部分90被使能(执行)。此外，当电子白板2是参与设备时，在电子白板2中，客户端部分20被使能(执行)，但服务器部分90未被使能(执行)。即，当电子白板2a是主机设备以及电子白板2b和2b是参与设备时，电子白板2a的客户端部分20经由在同一电子白板2a中使能的服务器部分90与其他电子白板的客户端部分20通信。另一方面，电子白板2b和2c的客户端部分20经由在另一电子白板2a中使能的服务器部分90与另一电子白板2a、2b或2c的客户端部分通信。

此外，在电子白板2b以及pc8中，通过通信应用b10以及b11启动来使能客户端部分80。客户端部分80在由作为服务器的管理设备50的呼叫控制建立的通信中，经由中继设备30与该另一通信终端的另一客户端部分80通信。

<<客户端部分20的功能性配置>>

客户端部分20包括通信控制单元21以及绘制控制单元22。

通信控制单元21被来自cpu201或网络控制器205的指令使能，并且控制经由通信网络9a与另一电子白板2的通信或与服务器部分90中的通信控制单元91的通信，稍后将描述通信控制单元91。

绘制控制单元22被来自cpu201的指令使能，并且基于由在显示设备3上的操作所生成的笔划数据或从usb存储器5、膝上型pc6、通信控制单元21、存储单元2000等获取的数据执行图像处理。此外，绘制控制单元22执行用于基于所处理的数据执行生成图像层并输出其中图像层被重叠的重叠图像的控制。

图7是详细描绘根据实施例的绘制控制单元的功能性框图。绘制控制单元22包括笔划处理单元22a、获取单元22b、转换单元22x、重叠单元22y以及页面处理单元22z。

笔划处理单元22a被来自cpu201的指令使能，并且当通过电子笔4或手h在显示设备3上的操作而发生笔划绘制的事件时，笔划处理单元22a响应于该操作执行生成笔划数据的处理。

获取单元22b被来自cpu201的指令使能，并且获取存储于存储单元2000中的数据。

转换单元22x被来自cpu201的指令使能，并且执行转换各种数据的处理。该转换可以包括转换成文本、实际数据(二进制)转换、序列化、反序列化、编码、解码等。

重叠单元22y被来自cpu201的指令使能，并且执行基于各数据来生成图像层以及重叠图像层的处理。

页面处理单元22z将笔划数据以及显示数据合并为一条页面数据并且将其存储到作为存储单元2000的一部分的页面数据存储单元220中。

页面数据存储单元220被构造于存储单元2000的一部分中，并且存储页面数据，如表1所示。表1是描绘页面数据的概念图。页面数据是用于在显示设备3上显示的一页的数据(笔划阵列数据(相应笔划数据)以及媒体数据)。

[表1]

页面数据彼此互相关联地存储用于识别任意页面的页面数据id、指示页面的显示开始的时间的开始时间、指示通过笔划、手势等对页面内容的改变结束的时间的结束时间、用于识别通过电子笔4或用户的手h的笔划所生成的笔划阵列数据的笔划阵列数据id以及用于识别媒体数据的媒体数据id。笔划阵列数据是通过其将笔划图像显示在显示设备3上的数据。媒体数据是通过其将重叠了笔划图像的另一图像显示在显示设备3上的数据。

此外，笔划阵列数据如表2所示指示详细信息。表2是描绘笔划阵列数据的概念图。如表2所示，一条笔划阵列数据由多条笔划数据表示。此时，一条笔划数据指示用于识别笔划数据的笔划数据id、指示笔划的书写开始的时间的开始时间、指示笔划的书写结束的时间的结束时间、笔划的颜色、笔划的宽度以及用于识别笔划的经过点的阵列的坐标阵列数据id。例如，当用户用电子笔4书写字母字符“s”时，该绘制是单个笔划，并且一个字母字符“s”被示出具有一个笔划数据id。另一方面，当用户用电子笔4书写字母字符“t”时，绘制包括两个笔划，并且一个字母字符“t”被示出具有两个笔划数据id。

[表2]

此外，坐标阵列数据如表3所示指示详细信息。表3是描绘坐标阵列数据的概念图。坐标阵列数据指示显示设备3上的点的各条信息(x坐标值，y坐标值)、从笔划的开始时间起经过该点时的时间差(ms)以及电子笔4在该点处的书写压力。即，表3所示的一组点由表2所示的坐标阵列数据指示。例如，当用户用电子笔4绘制字母字符“s”时，该绘制是单个笔划。由于其经过多个经过点直到“s”的绘制结束，所以坐标阵列数据指示关于多个经过点的信息。

[表3]

此外，在表1所示的页面数据中，媒体数据如表4所示指示详细信息。表4是描绘媒体数据的概念图。如图9所示，媒体数据指明彼此互相关联的表1所示的页面数据中的媒体数据id、媒体数据的数据类别、媒体数据被存储时的存储时间、通过媒体数据在显示设备3上显示的图像的位置(x坐标值，y坐标值)以及图像的尺寸(宽度，高度)、以及指示媒体数据的内容的数据。在它们之中，通过媒体数据在显示设备3上显示的图像的位置指示通过媒体数据显示的图像的左上端的位置，其中显示设备3的左上端的坐标是(x坐标，y坐标)＝(0，0)。

[表4]

((服务器部分90的功能性配置))

服务器部分90包括通信控制单元91。

通信控制单元91通过来自cpu201的指令使能，并且控制在同一电子白板2中的客户端部分20中的通信控制单元21与另一电子白板2中的客户端部分20中的通信控制单元21之间经由通信网络9a的通信。

((客户端部分80的功能性配置))

客户端部分80的通信控制单元81通过来自cpu201或801的指令、或网络控制器205或网络i/f811使能，并且控制与另一通信终端的客户端部分80中的通信控制单元81的通信。

通过启动通信应用b11，客户端部分80的显示控制单元82通过来自cpu801的指令使能。显示控制单元82执行对基于从通信控制单元21、存储单元8000等获取的数据进行图像处理并输出图像的控制。

<<实施例的处理或操作>>

随后，将参照图8到11描述根据实施例的处理或操作。图8到11是描绘电子白板或pc的处理的序列图。

(电子白板之间的通信建立处理)

参照图8，将描述通过通信应用a11在电子白板2a、2b以及2c之间建立通信的处理。当用户打开电子白板2a的电源开关226时，通信应用a11启动，并且电子白板2a的客户端部分20的处理启动(步骤s1)。随后，当通过在显示设备3a上的操作接受主持会议的请求时，从客户端部分20的通信控制单元21向同一电子白板2a的服务器部分90中的通信控制单元91输出启动客户端部分90的处理的指令。因此，在电子白板2a中，不仅客户端部分20而且服务器部分90变得能够启动各种处理(步骤s2)。

接着，电子白板2a的通信控制单元91生成用于建立与电子白板2a的连接的连接信息，并且客户端部分20将所生成的连接信息显示在显示设备2a上(步骤s3)。连接信息包括主机设备的ip地址以及所生成的用于该远程共享处理的密码。该密码存储于存储单元2000中。随后，连接信息被电子白板2a的用户经由电话或电子邮件传送至电子白板2b、2c的用户。

接着，在电子白板2b、2c中，当用户打开电子白板2b或2c的电源开关226时，通信应用a11启动并且电子白板2b或2c的客户端部分20的处理启动(步骤s4、s5)。在电子白板2b、2c中，当通过在显示设备3b或3c上的操作接受连接信息的输入时，每个电子白板2b、2c的客户端部分20中的通信控制单元21基于连接信息的ip地址，经由通信网络9a将密码发送至电子白板2a的服务器部分90中的通信控制单元91，以执行参与请求(步骤s6、s7)。电子白板2a的通信控制单元91从每个电子白板2b、2c接收该参与请求(包括密码)。

接着，通信控制单元91使用在存储单元2000中管理的密码来验证从每个电子白板2b、2c接收的密码(步骤s8)。随后，通信控制单元91向每个电子白板2b、2c的客户端部分20报告验证的结果(步骤s9、s10)。当每个电子白板2b、2c通过步骤s8的验证被确定是有效的电子白板时，在作为主机设备的电子白板2a和作为参与设备的电子白板2b、2c之间建立远程共享处理的通信(步骤s11、s12)。在本实施例中，将描述在电子白板2a、2b以及2c间发送的内容数据包括笔划数据的示例。

(电子白板和pc之间的通信建立处理)

参照图9，将描述通过通信应用b10、b11在电子白板2c和pc8之间建立通信的处理。

当客户端部分20通过在电子白板2c的显示设备3c上的操作接受对于通信应用b10的启动请求时，客户端部分80变得能够启动各种处理(步骤s21)。

随后，客户端部分80的通信控制单元81执行向管理设备50的登录请求(步骤s22)。因此，管理设备接收该登录请求。

管理设备50验证作为登录请求源的电子白板2c(步骤s23)，并将验证的结果发送给作为登录请求源的电子白板2c(步骤s24)。因此，电子白板2c的通信控制单元81接收验证的结果。在下文中，将描述通过步骤s23确定电子白板2c为有效的登录请求源的示例。

在pc8中，基于键盘821或鼠标822的操作，接受对于通信应用b11的启动请求，通信应用b11启动，并且pc8的客户端部分80的处理变得能够启动(步骤s31)。

随后，客户端部分80的通信控制部分81执行向管理设备50的登录请求(步骤s32)。然后，管理设备50接收该登录请求。

管理设备50认证作为登录请求源的pc8(步骤s33)，并且将验证结果发送至pc8(步骤s34)。在下文中，将描述在步骤s33中确定pc8为有效的登录请求源的示例。

电子白板2c的通信控制部分81响应于在显示设备3c上的操作，执行启动对于管理设备50的通信的请求(步骤s41)。启动通信的请求包括作为启动通信的请求源的电子白板2c的通信id以及作为目的地的pc8的通信id。随后，管理设备50接收该启动通信的请求。通信id是用于识别通信目的地的信息，并且包括通信终端的识别信息或通信终端的用户的帐户。

接着，管理设备50执行启动对于作为目的地的pc8的通信的请求(步骤s42)。启动通信的请求包括在步骤s41中发送的作为启动通信的请求源的电子白板2c的通信id以及作为目的地的pc8的通信id。随后，作为目的地的pc8接收该启动通信的请求。

另一方面，pc8的通信控制单元81响应于用户输入的操作，向管理装置50发送指示是否响应的信息(步骤s43)。在下文中，将描述pc8向管理设备50发送指示响应的信息的示例。

然后，管理设备50接收该指示响应的信息。管理设备50将在步骤s13中从作为目的地的pc8发送的响应的信息发送至作为启动的请求源的电子白板2c(步骤s44)。然后，电子白板2c的通信控制单元81接收该指示响应的信息。

随后，管理设备50控制来建立用于经由通信网络9b在电子白板2c和pc8之间发送内容数据的通信(步骤s45)。建立通信的方法不特别限制，而是包括例如当用于中继内容数据的中继设备30被布置在通信网络9b中时，通过管理设备50将用于连接至中继设备的连接信息发送至电子白板2c以及pc8的方法。此外，管理设备50可以向中继设备30发送启动在电子白板2c和pc8之间中继内容数据的请求。基于上述控制，建立电子白板2c和pc8之间的通信(步骤s46)。因此，电子白板2c和pc8变得能够向通信伙伴发送/从通信伙伴接收内容数据。在本实施例中，将描述在电子白板2c和pc8之间发送的内容数据包括会议材料的显示数据(视频数据或静止图像数据)的示例。

(显示重叠的图像)

随后，参照图10，将描述在远程共享处理中显示重叠的图像的处理。

首先，当电子白板2b的用户使用电子笔4b在电子白板2b上绘制笔划图像时，笔划处理单元22a基于电子笔4b和显示设备3b的接触部分的坐标位置，生成绘制的笔划的笔划数据(步骤s61)。生成的笔划数据包括表1至3所示的各个参数。转换单元22x将笔划数据合并为多个笔划单元，从而将其序列化(步骤s62)。电子白板2b的通信控制单元21经由通信网络9a将序列化的笔划数据发送给作为主机设备的电子白板2a的通信控制单元91(步骤s63)。电子白板2b可以在每次执行绘制时，将笔划数据串行地发送给作为主机设备的电子白板2a。

电子白板2a的通信控制单元91在接收到从电子白板2b发送的笔划数据时，将该笔划数据发送给电子白板2a的客户端部分20。所发送的笔划数据由电子白板2a的客户端部分20的通信控制单元21接收。客户端部分20的绘制控制单元22中的转换单元22x对该笔划数据反序列化(步骤s64)。反序列化的笔划数据通过页面处理单元22z存储在页面数据存储单元220中。随后，重叠单元22y基于存储在页面数据存储单元220中的数据，在组合笔划单元中的数据后生成笔划图像(b)的层，并且生成ui图像(a)的层、输出图像(c)的层以及背景图像(d)的层。然后，重叠单元22y重叠所生成的各层，并且在显示设备3a上显示重叠的图像(a、b、c以及d)(步骤s65)。笔划图像(b)的层是基于根据上述处理被反序列化并且存储在页面数据存储单元220中的笔划数据生成的。输出图像(c)的层是基于存储于页面数据存储单元220中的媒体数据生成的。ui图像(a)以及背景图像(d)的层是基于在存储单元2000中预先存储的数据生成的。图15a是描绘步骤s65中在显示设备上的显示的示例的示意图。

此外，电子白板2a的通信控制单元91将从电子白板2b发送的序列化的笔划数据发送给电子白板2b、2c的客户端部分20(步骤s66、s67)。所发送的笔划数据由电子白板2b、2c的客户端部分20的通信控制单元21接收。电子白板2b、2c的客户端部分20在显示设备3b、3c上显示包括从电子白板2a发送的笔划数据的重叠的图像(a、b、c以及d)。该处理与步骤s64、s65中电子白板2a的客户端部分20中的处理相同，并将不提供其说明(步骤s68至s71)。除了电子白板2b的客户端部分20被电子白板2a、2c的客户端部分20取代以外，电子白板2a、2c中绘制笔划图像中的处理与步骤s68至s71中的处理相同，并将不提供其说明。

(输出图像的显示)

随后，参照图11，将描述在远程共享处理中显示输出图像(c)的处理。

pc8的显示控制单元82并入了在显示单元820上显示的会议材料的屏幕，来获取显示数据(步骤s81)。pc8的通信控制单元81经由中继设备30将所获取的显示数据发送至电子白板2c的客户端部分80(步骤s82)。pc8发送的显示数据由电子白板2c的通信控制单元81接收。电子白板2c的通信控制单元81将所接收的显示数据存储到存储单元2000中。

电子白板2c的客户端部分20的获取单元22b获取存储在存储单元2000中的显示数据(步骤s83)。电子白板2c的客户端部分20的转换单元22x将通过获取单元22b获取的诸如pdf文件之类的显示数据转换为文本格式，作为可以通过通信应用a11发送的格式(步骤s84)。转换单元22x将以文本格式转换的显示数据序列化(步骤s85)。电子白板2c的通信控制单元21经由通信网络9a将串行化的显示数据发送至作为主机设备的电子白板2a的通信控制单元91(步骤s86)。

电子白板2a的通信控制单元91在接收到从电子白板2c发送的显示数据时，将该显示数据发送给电子白板2a的客户端部分20。所发送的显示数据由电子白板2a的客户端部分20的通信控制单元21接收。客户端部分20的绘制控制单元22中的转换单元22x将该显示数据反序列化(步骤s87)。此外，经反序列化的显示数据被转换单元22x转换成实际数据(二进制)。所获得的实际数据由页面处理单元22z存储在页面数据存储单元220中作为媒体数据(步骤s88)。随后，重叠单元22y基于存储在页面数据存储单元220中的数据，创建基于显示数据的输出图像(c)的层，并且创建笔划图像(b)的层、ui图像(a)的层以及背景图像(d)的层。重叠单元22y重叠所创建的层，并在显示设备3a上显示重叠的图像(a、b、c以及d)(步骤s89)。输出图像(c)的层基于根据上述处理被转换成实际数据并存储在页面数据存储单元220中的媒体数据而生成。重叠单元22y在输出图像(c)的层上重叠笔划图像的层(b)，从而不干扰笔划数据的输出而输出显示数据。图15b是描绘步骤s89中在显示设备上显示的示例的示意图。

此外，电子白板2a的通信控制单元91将从电子白板2c发送的序列化的显示数据发送至电子白板2b、2c的客户端部分20(步骤s90、s91)。所发送的显示数据由电子白板2b、2c的客户端部分20的通信控制单元21接收。电子白板2b、2c的客户端部分20在显示设备上3b、3c上显示重叠的图像(a、b、c以及d)，其包括从电子白板2a发送的作为输出图像(b)的显示数据。该处理与步骤s87至s89中电子白板2a的客户端部分20中的处理相同，并将不提供其说明(步骤s92至s97)。

<<实施例的第一变型>>

随后，关于实施例的第一变型，将描述与该实施例的差异。在第一变型中，pc8的显示控制单元82具有控制通过鼠标822的操作而绘制的笔划数据的显示的功能。

图12是描述电子白板或pc的处理的序列图。当pc8的用户使用鼠标822绘制笔划图像时，显示控制单元82生成对应于该笔划图像的笔划数据(步骤s100)。笔划数据包括表1至表3中的各个参数。pc8的通信控制单元81经由通信网络9b将笔划数据发送至电子白板2c的客户端部分80(步骤s101)。

所发送的笔划数据由电子白板2c的客户端部分80的通信控制单元81接收。每次接收笔划数据时，所接收的笔划数据由通信控制单元81存储在存储单元2000中。电子白板2c的客户端部分20的获取单元22b获取在存储单元2000中存储的笔划单元中的笔划数据(步骤s102)。电子白板2c的客户端部分20的转换单元22x将通过获取单元22b获取的多个笔划单元中的笔划数据序列化为可以通过通信控制单元21发送的格式(步骤s103)。电子白板2c的通信控制单元21经由通信网络9a，将序列化的笔划图像的数据发送至作为主机设备的电子白板2a的通信控制单元91(步骤s104)。

电子白板2a的通信控制单元91在接收到从电子白板2c发送的笔划数据时，向电子白板2a、2b以及2c各自的客户端部分20传送笔划数据，从而在电子白板2a、2b以及2c之间共享笔划数据。该处理与步骤s64至s71中的处理相同，并将不提供其详细说明(步骤s105至s112)。

<<实施例的第二变型>>

接着，关于实施例的第二变型，将描述与该实施例的差异。在第二变型中，将描述将在电子白板2b中生成的笔划数据发送至pc8的处理。

图13是描绘电子白板以及pc的处理的序列图。根据实施例中步骤s61至s71的处理，在电子白板2b中生成的笔划数据被传送至电子白板2c。随后，传送至电子白板2c的笔划数据被反序列化，然后由客户端部分20的通信控制单元21存储在存储单元2000中。

存储单元2000中存储的笔划数据被客户端部分80的通信控制单元81获取，并发送至pc8的客户端部分80(步骤s121)。该笔划数据由pc8的客户端部分80的通信控制单元81接收。所接收的笔划数据由pc8的客户端部分80的显示控制单元82在显示单元820上显示(步骤s122)。

<<实施例的第三变型>>

接着，关于实施例的第三变化，将描述与该实施例的差异。在第三变型中，将描述其中在pc8和电子白板2c之间发送的显示数据是视频数据的情况。

图14是描绘电子白板或pc的处理的序列图。pc8的通信控制单元81将通过相机812捕获的会议参与者的视频数据发送至电子白板2c的客户端部分80作为流数据(步骤s140)。该视频数据由电子白板2c的通信控制单元81接收。

电子白板2c的客户端部分80的通信控制单元81将接收的视频数据存储于存储单元2000中。电子白板2c的客户端部分80的获取单元22b获取存储在存储单元2000中的视频数据(步骤s141)。电子白板2c的客户端部分20的转换单元22x对通过获取单元22b获取的视频数据执行渲染，从而生成作为静止图像数据的各帧数据(步骤s142)。客户端部分的转换单元22x将各帧数据转换成文本(步骤s143)，并且将其序列化(步骤s144)。在每次生成各序列化的帧数据时，客户端部分的通信控制单元21将生成的帧数据作为显示数据发送至电子白板2a的服务器部分90(步骤s145)。

所发送的显示数据由电子白板2a的服务器部分90的通信控制单元91接收。每次从电子白板2c发送显示数据时，电子白板2a的服务器部分90的通信控制单元91将所发送的显示数据传送至电子白板2a、2b以及2c的各客户端部分20。在各电子白板2a、2b以及2c的客户端部分20中，每次从电子白板2a传送显示数据时，所传送的显示数据被显示为重叠的图像(步骤s146至s156)。该处理与步骤s87至s97中的处理相同，并将不提供其详细说明。由于所传送的显示数据是视频的各帧的静止图像数据，通过连续地显示显示数据，pc8侧的视频可以在电子白板2a、2b以及2c中再现。

如果能够通过通信应用a11以预定格式发送视频数据，则电子白板2c的客户端部分20可以将从pc8发送的视频数据编码成预定格式，并将其发送至电子白板2a的服务器部分90。电子白板2a的服务器部分90将从电子白板2c发送的并且以预定格式编码的视频数据传送至电子白板2a、2b以及2c的客户端部分20。电子白板2a、2b以及2c的客户端部分20可以解码从服务器部分90发送的视频数据并将其再现为运动画面。

<<实施例的主要效果>>

根据实施例中的通信控制方法，电子白板2c(通信终端的示例)的客户端部分20的通信控制单元21(第一通信控制装置的示例)控制经由电子白板2a的服务器部分90(传送服务器的示例)与电子白板2b(第一通信终端的示例)的通信(第一通信控制处理)。电子白板2c的客户端部分80的通信控制单元81(第二通信控制装置的示例)控制与pc8(第二通信终端的示例)的通信(第二通信控制处理)。电子白板2c的获取单元22b(获取装置的示例)通过通信控制单元81，获取在与pc8的通信中发送的内容数据(获取处理)。电子白板2c的绘制控制单元22的重叠单元22y(显示控制装置的示例)基于由电子白板2a的服务器部分90传送的内容数据控制图像的显示(显示控制处理)。电子白板2c(通信终端的示例)的通信控制单元21(第一通信控制装置的示例)将获取单元22b所获取的内容数据发送至电子白板2a的服务器部分90。在实施例中，通过客户端部分20在通信终端之间发送的内容数据的显示和通过客户端部分80在通信终端之间发送的内容数据的显示这两者可以在客户端部分20侧控制。即，根据实施例，当多个用于在通信终端之间共享图像的应用a11和b10已经启动时，能够防止由一个应用a11显示的图像难以通过另一应用b10的显示控制来观看。

电子白板2a的服务器部分90传送的内容数据包括电子白板2b发送的笔划数据(第一内容数据的示例)和通过获取单元22b获取的并且被发送至电子白板2a的服务器部分90的显示数据(第二内容数据的示例)。重叠单元22y执行重叠笔划数据和显示数据并显示它们的控制。因此，变得能够同时观看笔划数据和显示数据。

根据实施例的第一变型，客户端部分20发送的内容数据以及客户端部分80发送的内容数据这两者可以是笔划数据。因此，即使当不能直接在客户端部分20和客户端部分80之间发送笔划数据时，也变得能够在通信终端之间共享笔划数据。

根据实施例，客户端部分20发送的内容数据与客户端部分80发送的内容数据不同。转换单元22x(转换装置的示例)将客户端部分80发送的显示数据转换成文本，以转换成可通过客户端部分20在通信中发送的格式。因此，即使当客户端部分20发送的内容数据与客户端部分80发送的内容数据不同时，也变得能够在通信终端之间共享内容数据。

根据实施例的第三变型，客户端部分80发送的内容数据是视频数据。在该情况下，转换单元22x通过将由客户端部分80向/从pc8发送的视频数据渲染成可以通过客户端部分20在通信中发送的多个静止图像的数据来转换该视频数据。随后，电子白板2a的服务器部分90传送该多个静止图像的数据，从而可以在作为传送的目的地的电子白板2中再现运动画面。

电子白板2c的转换单元22x(序列化装置的示例)将要发送给电子白板2a的服务器部分90的内容数据序列化。此外，电子白板2c的转换单元22x(反序列化装置的示例)将电子白板2a的服务器部分90传送的内容数据反序列化。因此，可以减少在服务器侧序列化以及反序列化内容数据的负荷。

电子白板2c的通信控制单元81将由电子白板2a的服务器部分90传送的内容数据发送至pc8。因此，变得能够与pc8共享在电子白板2侧的内容数据。

<<实施例的补充>>

通信应用a11、b10以及b11可存储在计算机可读的记录介质中并且作为具有可安装的格式或可执行的格式的文件而分发。此外，上述记录介质的其他示例包括cd-r(可记录光盘)、dvd(数字通用盘)、蓝光碟等。此外，存储这些程序的上述记录介质或hd(硬盘)可以在国内或国外作为程序产品被提供。

此外，电子白板2、pc8、中继设备30以及管理设备50可以通过单个设备来配置或可以通过多个设备来配置，其中向该多个设备任意分配所划分的各单元(功能或装置)。

此外，在上述描述中，电子白板2以及pc8被描述为可以共享图像的设备的示例。然而，本发明并不限于此。例如，可以使用可以配备有上述电子白板2和pc8具有的各个功能的另一设备作为可以共享图像的设备。另一设备包括：例如，视频会议终端、投影仪、数字标牌单元、文本共享设备、车载导航终端、游戏机、pda(个人数字助理)、远程诊断设备等。

尽管参照实施例描述了本发明，但本发明不限于这些实施例，而是可以在不偏离随附的权利要求书中阐述的本发明的范围的情况下进行各种变化和修改。

本申请基于于2015年5月29日提交的申请号为2015-109871的日本在先申请，并且要求该申请的优先权，其全部内容通过引用合并在此。

工业适用性

本发明可应用于通信终端、通信系统、通信控制方法以及程序。

附图标记列表

1通信系统

2电子白板

3显示设备

4电子笔

5usb存储器

6膝上型pc

8pc

9a、9b通信网络

20客户端部分

21通信控制单元

22绘制控制单元

22a笔划处理单元

22b获取单元

22x转换单元

22y叠加单元

22a页面处理单元

220页面数据存储单元

30中继设备

50管理设备

80客户端部分

81通信控制单元

82显示控制单元

90服务器部分

91通信控制单元

2000存储单元

8000存储单元