传输管理系统、通信方法和非暂时记录介质与流程

本发明涉及传输管理系统、通信方法和使计算机执行处理的非暂时记录介质。

背景技术：

用于与远程位置执行视频会议(可以被称为“电视会议”)以便满足减少出差旅行的费用和时间的请求的视频会议系统被普及。在该视频会议系统中，通过在多个视频会议终端之间直接发送/接收图像数据和声音数据(音频数据)来执行对话(通信)。

近来，本领域已经扩展了经由中继装置在多个视频会议终端之间发送/接收图像数据和声音数据的视频会议系统，该中继装置中继图像数据和声音数据。其中该中继装置中继图像数据和声音数据的上述视频会议系统使用图像编码技术来即使发生网络的暂时故障或视频会议终端的处理能力低、也最小化通信的故障。此外，图像编码技术使用称为h.264/svc(可缩放视频编码)的标准(参考专利文献1)。

然而，在由于通信网络的拥塞等导致传输容量降低的情况下，在接收侧视频会议终端处可能会延迟图像数据的接收。专利文献1公开了一种停止发送/接收图像数据并仅发送/接收声音数据以继续通信的技术。因此，在图像数据的接收侧(在这种情况下为自身侧)视频会议终端处，不显示由于长时间延迟而导致的图示通信伙伴侧(相对侧)的对象的奇怪图像。

然而，当在通信伙伴侧的用户在图示通信伙伴侧的对象的图像在其自身侧处不被显示的状态下停止说话时，不仅图像而且声音也不在其自身侧处输出。因此，自身侧的用户(本人)无法识别为什么不显示通信伙伴侧的图像(通信伙伴的图形等)的原因。也就是说，由于通信的带宽窄，用户不能识别是通信伙伴侧的用户停止通信还是图像数据不被传输。

技术实现要素：

本发明的实施例公开了一种用于管理第一传输终端和第二传输终端的传输管理系统，所述第一传输终端和第二传输终端经由中继图像数据的中继装置相互通信。传输管理系统包括：接收单元，被配置为从第一传输终端接收指示中继装置与第一传输终端之间的通信带宽是否等于或窄于预定值的频带信息；以及传输单元，被配置为响应于所述接收单元接收到指示所述带宽等于或窄于预定值的频带信息的事件，向所述第一传输终端传输指示从所述第二传输终端传输的图像数据由于带宽窄而被隐藏的消息。

本发明的另一实施例公开了一种由传输管理系统执行的通信方法，所述传输管理系统用于管理经由中继装置彼此通信的第一传输终端和第二传输终端，该中继装置中继图像数据，所述传输管理系统包括存储单元，其被配置为存储指示从所述第二传输终端传输的图像数据由于带宽窄而被隐藏的消

息，所述通信方法包括以下步骤：从所述第一传输终端接收指示中继装置与第一传输终端之间的通信带宽是否等于或窄于预定值的频带信息；响应于在接收步骤中接收到指示带宽等于或窄于预定值的频带信息从存储单元读出消息的步骤，以及将读出的消息传输到第一传输终端的步骤。

根据本发明的实施例，指示从第二传输终端传输的图像数据由于带宽等于或窄于预定值而被隐藏的消息被传输到第一传输终端。因此，可以识别为什么不显示作为第二传输终端侧的通信伙伴侧的图像的原因。也就是说，第一传输终端的用户可以识别通信伙伴侧的用户是停止通信还是图像数据由于通信的带宽窄而不被传输。

附图说明

图1是图示根据实施例的传输系统的视频会议的通信部分的示意图。

图2是图示根据本实施例的传输终端的外观图。

图3是图示根据本实施例的传输终端的硬件配置的图。

图4是图示根据本实施例的传输管理系统的硬件配置的图。

图5是图示根据本实施例的传输系统的整体配置的图。

图6是图示根据本实施例的传输系统的功能框图。

图7a是图示布置管理表的示意图。

图7b是图示布置区域的示意图。

图8a是图示布置管理表的示意图。

图8b是图示布置区域的示意图。

图9是图示认证管理表的示意图。

图10是图示终端管理表的示意图。

图11是图示目的地列表管理表的示意图。

图12是图示传输终端登录的情况的处理的顺序图。

图13是图示显示附加显示数据的处理的顺序图。

图14是图示用于读出附加显示数据的处理的流程图。

图15a是图示传输终端的屏幕示例的图。

图15b是图示传输终端的屏幕示例的图。

图15c是图示传输终端的屏幕示例的图。

图15d是图示传输终端的屏幕示例的图。

图15e是图示传输终端的屏幕示例的图。

图15f是图示传输终端的屏幕示例的图。

具体实施方式

<<第一实施例>>

在下文中，将参照附图描述本发明的实施例。

<视频会议的整个配置>

首先，将描述用于在多个传输终端10aa和10db之间执行视频会议的传输系统1。图1是图示根据实施例的传输系统1的视频会议的通信部分的示意图。

图1所示的传输系统1包括传输终端10aa和10db、中继装置30和传输管理系统50。以下，将传输终端10aa、10db等的任意的传输终端称为“传输终端10”。

传输终端10通过发送/接收作为内容数据的示例的图像数据和声音数据来执行通信。图像数据的图像可以是静止图像或视频图像。图像数据的图像可以包括静止图像和视频图像。

在下面的描述中，作为请求开始视频会议的请求源的传输终端被称为“请求源终端”，作为请求的目的地(中继目的地)的传输终端被称为“目的地终端”。在图如图1所示，传输终端10aa被示为请求源终端，传输终端10db被示为目的地终端。然而，在传输终端10db请求开始视频会议的情况下，传输终端10db是请求源终端，传输终端10aa是目的地终端。同时，传输终端10不仅可以用于在不同的办公室之间或在同一个办公室的不同房间之间进行通信(呼叫)，而且可以用于在同一房间、室内和室外之间、室外和室外之间进行通信。在在户外使用每个传输终端10的情况下，可以执行诸如蜂窝电话通信网络的无线通信。

中继装置30执行用于在传输终端10之间中继内容数据的处理。传输管理系统50以集成方式管理传输终端10的登录认证、传输终端10的通信状态、目的地列表、中继装置30的通信状态等。

在传输系统1中，通过传输管理系统50在请求源终端和目的地终端之间建立用于发送/接收各种管理信息的管理信息会话sei。此外，经由用于发送/接收包括高分辨率图像数据、中等分辨率图像数据、低分辨率图像数据和声音数据的四个数据的中继装置30，在请求源终端和目的地终端之间建立四个会话。在图1，这四个会话集体图示为图像声音会话sed。同时，图像声音数据会话sed不限于四个会话。图像声音数据会话的会话数可能超过四个或小于四个。

在下文中，将描述由该实施例处理的图像数据的图像的分辨率。例如，作为基本图像的低分辨率图像可以是水平尺寸为160像素，垂直尺寸为120像素的数据。中等分辨率图像数据可以是水平大小为320像素，垂直尺寸为240像素的数据。高分辨率图像数据可以是水平尺寸为640像素，垂直尺寸为480像素的数据。当经由窄带宽路径传输时，仅作为基本图像的低分辨率图像数据所构成的低质量图像数据被中继。当带宽相对较宽时，中继由中等分辨率图像数据和用作基本图像的低分辨率图像数据构成的中等质量图像数据。当带宽非常宽时，中继由用作基本图像质量的低分辨率图像数据、中等分辨率图像数据和高分辨率图像数据构成的高质量图像数据。由于与图像数据相比，声音数据的数据量小，所以可以经由窄带宽路径中继声音数据。

传输系统1可以包括：数据提供系统，其中内容数据经由传输管理系统50从传输终端10之一单向传输到传输终端10中的另一个；以及通信系统，其中信息、情绪(emotion)等在传输终端10之间通过传输管理系统50双向地传送。通信系统是在多个通信终端(对应于“传输终端”)中通过通信管理系统(对应于“传输管理系统”)双向地传送信息、情绪等的系统。通信系统可以是视频会议系统、视频电话系统等。

在本实施例的以下描述中，视频会议系统被假设是通信系统的示例。视频会议管理系统被假设为通信管理系统的示例。视频会议终端被假设为通信终端的示例。通过上述假设，将描述传输系统、传输管理系统和传输终端。也就是说，根据实施例的传输终端和传输管理系统不仅可以应用于视频会议系统，而且可以应用于通信系统或传输系统。

<硬件配置>

以下，对本实施例的硬件配置进行说明。图2是图示根据本实施例的传输终端10的外观图。如图2所示，传输终端10包括底盘1100、臂1200和摄像机壳体1300。在底盘1100的前侧壁面1110上设置有形成有多个吸气孔的吸入面(未图示)。在底盘1100的后侧壁面1120上设置有形成有多个排气孔的排气面1121。根据上述配置，通过驱动嵌入在底盘1100中的冷却风扇，可以经由进气面(未图示)取出传动端子10后方的外部空气，经由排气面1121向后方排出。在底盘1100的右侧壁面1130上形成有声音拾取孔1131，以及可以由内置的麦克风114拾取诸如声音、噪音、打击等的声音，这将在后面描述。

在底盘1100的右侧壁面1130的一侧形成有操作面板1150。操作面板1150设置有稍后将描述的多个操作按钮(108a至108e)、稍后将描述的电源开关109和稍后将描述的报警灯119。在操作面板1150上，形成声音输出面1151，该声音输出面1151包括被形成用于从内置扬声器115传递输出声音的多个声音输出孔，这将在后面描述。此外，在底盘1100的左侧壁面1140侧，形成有用于收纳臂部1200和摄像机壳体1300的收纳部1160作为凹部。在底盘1100的右侧壁面1130上，设置用于将电缆电连接到稍后将描述的外部设备连接接口118的多个连接端口(1132a至1132c)。另一方面，在底盘1100的左侧壁面1140上，设置有用于将显示器120的电缆120c电连接到外部设备连接接口118的连接端口(未示出)。

在下文中，在指示操作按钮的任意操作按钮的情况下，使用“操作按钮108”进行说明，以及在指示多个连接端口(1132a至1132c)的任意连接端口的情况下，使用“连接端口1132”用于描述。

接下来，臂1200经由扭矩铰链1210安装在底盘1100上。臂1200被构造成使得臂1200可垂直地旋转，其中相对于底盘1100的倾斜角度θ1在135度的范围内。图2图示了倾斜角θ1(theta1)为90度的状态。相机外壳1300设置有内置摄像机112，其对用户、纸张文档、房间等进行成像。此外，在相机外壳1300上形成扭矩铰链1310。摄像机外壳1300通过扭矩铰链1310附接到臂1200。摄像机外壳1300被配置为使得摄像机外壳1300可垂直和水平地旋转，其中相对于手臂1200的摇摄角度(panangle)θ2(theta2)在±180度的范围内(图2示出0度的状态)，倾斜角θ3(theta3)在±45度的范围内。

图2所示的外观图是一个例子，因此本发明不限于此。相机和麦克风不限于内置的结构。相机和麦克风可以是外部结构。此外，由于传输管理系统50的外观与典型的服务器计算机的外观相似，所以可以适当地省略对传输管理系统50的外观的描述。

图3是图示根据本实施例的传输终端10的硬件配置的图。如图3所示，传输终端10包括控制传输终端10的整个操作的cpu(中央处理单元)101，、存储用于驱动cpu101的程序(例如ipl(初始程序加载器))的rom(只读存储器)102、用作cpu101的工作区域的ram(随机存取存储器)103、存储诸如图像数据和声音数据的各种数据的闪存104、根据cpu101的控制来控制从闪速存储器104读取各种数据、并将各种数据写入闪存104的ssd(固态驱动器)105、控制从诸如闪速存储器的记录介质(媒介)106读取数据以及将数据写入(存储)到记录介质106的媒体接口107、当切换传输终端10的目的地时操作的操作按钮108等、用于打开或关闭传输终端10的电源开关109、以及使用通信网络2传输数据的网络接口(i/f)111f。可以使用hdd来代替ssd。

此外，传输终端10还包括：内置相机112，用于根据cpu101的控制通过拍摄(成像)对象的图像来获取图像数据；图像元件接口113，其控制相机112的驱动；用于输入语音(声音)的内置麦克风114；用于输出声音的扬声器115；声音输入/输出接口116，其根据cpu101的控制执行麦克风114和扬声器115之间的语音信号的输入/输出处理；根据cpu101的控制将图像数据传输到外部显示单元120的显示器接口117；用于连接各种各样的外部设备的外部设备连接接口118；以及电连接上述组件的诸如地址总线或数据总线的总线110，如图3所示。

显示单元120可以是显示对象的图像或用于操作等的图标图像的由液晶或有机el(电致发光)材料形成的显示装置的示例。显示单元120经由电缆120c连接到显示器接口117。电缆120c可以是用于模拟rgb(vga)信号、分量视频电缆或用于hdmi(高清多媒体接口)(商标注册)或dvi(数字视频交互))信号的电缆。

相机112包括透镜和固态图像元件，其将光转换成电信号以获得对象的图像(视频)的数字数据。对于固态图像元件，例如使用cmos(互补金属氧化物半导体)、ccd(电荷耦合器件)等。

诸如外部摄像机、外部麦克风或外部扬声器的外部设备可以分别通过usb(通用串行总线)电缆等连接到外部设备连接接口118。在外部摄像机被连接的情况下，优先于内置摄像机112，根据cpu101的控制来激活外部摄像机。类似地，在外部麦克风被连接或外部扬声器被连接的情况下，分别优先于内置麦克风114或内置扬声器115，外部麦克风或外部扬声器根据cpu101控制而可附接或可拆卸。

记录介质106相对于传输终端10可附接和拆卸。如果记录介质106是根据cpu101的控制而从其读取数据或数据被写入的非易失性存储器，不仅可以使用闪存104，而且可以使用eeprom(电可擦除和可编程rom)等等。

此外，用于上述传输系统的程序可以存储在诸如由计算机读取的记录介质106等的记录介质中，以及以可安装形式或可执行形式作为文件分发。上述传输程序可以存储在闪存104以外的rom102中。

图4是图示根据本实施例的传输管理系统50的硬件配置的图。

传输管理系统50包括控制传输管理系统50的整个操作的cpu201、存储用于cpu201的驱动的程序(诸如ipl(初始程序加载器))的rom202、用作cpu201的工作区域的ram203、存储诸如传输管理程序的各种数据的hd(硬盘)204、根据cpu201的控制来控制从hd204读取各种数据以及将各种数据写入hd204的hdd(硬盘驱动器)205、控制从例如闪存存储器记录介质(媒介)206读取数据并向记录介质206写入(存储)数据的媒体接口207、用于显示诸如光标、菜单、窗口、字符或图像的各种信息项的显示单元208、使用通信网络2传输数据的网络接口209、配备有用于输入字符的多个键、数值、各种指令等的多个键的键盘211、用于执行各种指令的选择和执行、处理对象的选择、光标移动等的鼠标212、作为可拆卸记录介质的示例的控制从cd-rom(紧致盘只读存储器)读取各种数据以及将各种数据写入cd-rom213的cd-rom驱动器214、以及将上述组件电连接的诸如地址总线或数据总线的总线210，如图4所示。

用于上述传输管理系统的程序可以被存储在可由计算机读取的诸如记录介质206、cd-rom213等的记录介质中，以及以可安装形式或可执行形式作为文件分发。上述传输管理程序可以被存储在除了hd204之外的rom202中。

作为可拆卸记录介质的另一示例，可以提供诸如cd-r(可记录光盘)，dvd(数字通用盘)或蓝光光盘(注册商标)等的计算机可读记录介质。

由于中继装置30具有与传输管理系统50相同的硬件配置，所以省略其说明。然而，在中继装置30中，hd204存储中继程序。

<传输系统的整体配置>

以下，参照图1说明传输系统1的整体配置。图5是图示根据本实施例的传输系统1的整体配置的图。

如图5所示，请求源终端(传输终端10aa)、目的地终端(传输终端10db)，中继装置30和传输管理系统50连接到包括因特网的通信网络2。经由通信网络2的通信可以包括无线通信。传输终端10aa由用户c1使用，传输终端10db由用户c2使用。传输管理系统50向每个传输终端10提供各种服务。

<实施例的功能配置>

以下，参照图3、图4和图6说明本实施例的功能配置。图6是图示根据本实施例的传输系统1的功能框图。

<传输终端的功能配置>

传输终端10包括发送/接收单元11、接收单元12、通信控制单元13、显示控制单元17和存储/读出处理单元19。上述单元中的每一个是根据在来自闪存104的保持在ram103中的传输程序之后的来自cpu101的指令而进行操作的由图3所示的部件之一实现的功能或功能组件。此外，终端10包括图3所示的ram103和配置有图3所示的闪速存储器104的存储单元1000。配置有图3所示的记录介质106的记录介质1010被插入到传输终端10中，且存储/读出处理单元19执行读出或写入各种数据。

(布置管理表)

图7a是图示布置管理表的示意图，图7b是图示布置区域的示意图。类似地，图8a是图示布置管理表的示意图，图8b是图示布置区域的示意图。

存储单元1000包括配置有图7a所示的布置管理表的布置管理db(数据库)1001。在布置管理表中，用于指定在显示单元120的屏幕上显示的区域的屏幕区域号、传输终端的终端id和目的地名称(终端名称)彼此相关联并被管理。例如，由于管理图6中的屏幕被划分为图7a中的两个区域的状态，如图7b所示，在显示单元120中显示两个区域(区域1和区域2)。指示“db终端伦敦办公室欧洲”的目的地名称(终端名称)被显示在图7b中的区域1中。指示“aa终端东京办公室日本”的目的地名称被显示在图7b中的区域2中。

例如，当用户改变屏幕区域的布置时，布置管理表被动态地改变，如图8a所示。在图8a中，屏幕分为三个区域。因此，如图8b所示，在显示单元120中显示三个区域(区域1、区域2和区域3)。

<传输终端的功能配置>

接下来，将参照图3和图6详细描述每个传输终端10的功能配置。在下面的描述中，当描述每个传输终端10的功能配置时，还将描述与在图3所示的配置元件中的用于实现传输终端10的功能配置的主要配置元件的关系。

图6所示的传输终端10的发送/接收单元1通过来自图3所示的cpu101和图3所示的网络接口111的指示来实现，将各种数据(或信息)传输到另一传输终端、装置或系统，以及经由通信网络2从其他传输终端、装置或系统接收各种数据。发送/接收单元11在开始与预期目的地终端的通信之前，从传输管理系统50开始接收各自指示作为目的地候选的每个传输终端10的状态的状态信息项。状态信息不仅可以指示每个传输终端10的操作状态(在线状态或离线状态)，还可以指示传输终端10是否可通信(能够通信)、传输终端10正在通信、或者用户正在离开的详细状态。此外，状态信息不仅可以指示每个传输终端10的操作状态，还可以指示其中电缆120c从传输终端10移除的状态、其中输出声音而不输出图像的状态、以及其中不输出声音的状态(mute)。在下文中，将以其中状态信息指示操作状态的情况为例进行说明。

接收单元12通过来自图3所示的cpu101、操作按钮108和电源开关109的指令来实现，以及从用户接收各种输入。例如，如图3所示，响应于用户打开电源开关109的事件，接收单元12接收用户操作的信号，以及接通电源。

通信控制单元13通过来自图3所示的cpu101、摄像机112和图像单元接口113的指令来实现。通信控制单元13拍摄(成像)对象的图像，以及输出通过拍摄图像而获得的图像数据。通信控制单元13通过来自如图3所示的cpu101和声音(语音)输入/输出接口116的指令来实现，且在麦克风114将用户的声音(语音)转换成声音信号之后，通信控制单元13输出关于声音信号的声音数据。此外，通信控制单元13通过来自图3所示的cpu101和声音输入/输出接口116的指令来实现，以及将关于声音信号的声音数据输出到扬声器115，以使扬声器115输出声音。

显示控制单元17通过来自图3所示的cpu101和显示接口117的指令来实现。显示控制单元17组合分辨率彼此不同的所接收图像数据，以及执行用于将组合的图像数据传输到显示单元120的控制。显示控制单元17可以将从传输管理系统50接收的目的地列表的信息传输到显示单元120，以便在显示单元120上显示目的地列表。显示控制单元17将作为稍后描述的消息或作为目标名称(终端名称)的附加的显示数据添加到图像数据上。

存储/读出处理单元19通过来自图3所示的cpu101和ssd105的指令执行，或通过来自cpu101的指令来实现。存储/读出处理单元19将各种数据存储到存储单元1000或记录介质1010中，以及执行用于读出存储在存储单元1000或记录介质1010中的各种数据的处理。存储单元1000存储用于标识传输终端10等的终端id(标识)。此外，当与目的地终端进行通信时，每次接收到图像数据和声音数据时，存储单元1000被重写和存储。在被覆盖之前的图像数据的图像被显示在显示单元120上，以及从扬声器150输出在被覆盖之前的声音数据的声音。

应当注意，根据实施例的终端id指示用于唯一地标识传输终端10的标识信息的示例，例如语言、字符、符号、各种符号等。终端id可以是作为语言、字符、符号或各种标记中的至少两个的组合的标识信息。此外，用户id可以用于标识传输终端10的用户而不是终端id。在这种情况下，终端标识信息不仅可以包括终端id，还可以包括用户id。

<中继装置的功能配置>

中继装置30包括兼作传送单元的发送/接收单元31、确定单元32和存储/读出处理单元39。上述单元中的每一个是根据在来自hd204的保持在ram203中的中继程序之后的来自cpu201的指令进行操作的图4所示的配置元件之一实现的功能或功能组件。此外，中继装置30包括图4所示的ram203中和图6所示的配置了hd204的存储单元3000的至少一个。

<中继装置的每个功能配置>

接下来，对中继装置30的每个功能配置进行详细说明。在下面的描述中，当描述了中继装置30的功能配置中的每一个时，还将描述与图4所示的配置元件中的用于实现中继装置30的功能配置的主要配置元件的关系。

如图6所示，中继装置30的发送/接收单元31通过来自图4所示的cpu201和网络接口209的指令来实现。发送/接收单元31经由通信网络2向其他传输终端10、其他中继装置30或其他系统发送各种数据(或信息)，以及从其他传输终端10、其他中继装置30或其他系统接收各种数据。此外，发送/接收单元31还用作传送单元，以及将从第一传输终端传输的图像数据和声音数据传送到第二传输终端。

确定单元32基于从传输终端10传输的内容数据的数据量来确定图像是黑图像还是正常图像。黑色图像是全黑图像，其不示出通信伙伴侧的当前对象(相对侧)。黑色图像的数据量小于显示对象的图像的数据量。应当注意，除非对象未示出(隐藏)，否则可以使用白色图像或彩色图像(红色图像、蓝色图像等)来代替黑色图像。此外，可以静止地示出预定的特定形状图像。

存储/读出处理单元39通过来自图4所示的cpu201和hdd205的指令来实现。存储/读出处理单元39将各种数据存储到存储单元3000中，以及读出存储在存储单元3000中的各种数据。

<传输管理系统的功能配置>

传输管理系统50包括发送/接收单元51、确定单元52和存储/读出处理单元59。上述单元中的每一个是根据在来自hd204的保持在ram203中的传输管理程序之后的来自cpu201的指令进行操作的由图6所示的配置元件之一实现的功能或功能组件。此外，传输管理系统50包括配置有图4所示的hd204的存储单元5000。例如，如图15c所示，存储单元5000存储指示由于通信的带宽窄而不显示来自通信伙伴的图像数据的消息。如图15c所示，消息是“由于网络频带的减少暂时不显示图像”。

(认证管理表)

存储单元5000包括认证管理数据库(db)5001，其包括认证管理表，如图9所示。图9是图示认证管理表的示意图。在认证管理表中，由传输管理系统50管理的所有传输终端10的终端id与其密码相关联并被管理。例如，图9所示的认证管理表指示传输终端10aa(参照图1)的终端id为“01aa”，传输终端10aa的密码为“aaaa”。

(终端管理表)

存储单元5000包括终端管理数据库(db)5002，其包括终端管理表，如图10所示。图10是图示终端管理表的示意图。在终端管理表中，当每个传输终端被设为目的地时的传输终端10的目的地名称(终端名称)、传输终端10的操作状态、当传输管理系统50接收稍后将描述的登录请求信息时的接收时间(年、日、时)和传输终端10的ip地址与传输终端10的每个终端id相关联并被管理。例如，在图10所示的终端管理表中，具有终端id“01aa”的传输终端10aa指示目的地名称(终端名称)为“aa终端东京办事处日本”，操作状态为“在线(可通信)”，传输管理系统50在2014年4月10日的13:40接收登录请求信息，传输终端10aa的ip地址为“1.2.1.3”。应该注意的是“可通信”指示“能够通信”。

(目的地列表管理表)

存储单元5000包括配置有目的地列表管理表的目的地列表管理数据库(db)5003，如图11所示。图11是图示目的地列表管理表的示意图。在目的地列表管理表中，与请求开始通信的请求源终端相关联地管理被注册为目的地终端候选的目的地终端的所有终端id。例如，图11所示的目的地列表管理表指示具有终端id“01aa”的请求源终端(传输终端10aa)可以请求开始通信的目的地终端的候选是终端id为“01ab”的传输终端10ab、终端id为“01ba”传输终端10ba、终端id为“01bb”的传输终端10bb等。可以根据从任意请求源终端向管理系统50的请求，通过在目的地列表管理表中附加或删除项目来更新目的地终端的候选。

<实施例的处理或操作>

接下来，将参照图12至15描述根据实施例的传输系统1中的处理方法。在下文中，将描述在传输终端10aa和传输终端10db正在通信时，在传输终端10db选择屏幕静音的情况下，在传输终端10aa侧显示的示例画面。

首先，参照图12说明传输终端10aa登录的情况的处理。图12是图示传输终端10aa登录的情况的处理的顺序图。应该注意的是，如图12所示，各种管理信息由图1所示的管理信息会话sei发送和接收。

首先，如图6所示，当请求源终端(终端10aa)的用户接通如图3所示的电源开关109时，如图6所示的接收单元12接收用户的操作，以及接通电源(步骤s21)。接下来，响应于接收到上述接通电源的操作，发送/接收单元11经由通信网络2自动传输指示登录请求的登录请求信息到传输管理系统50(步骤s22)。应当注意，可以响应于用户的操作按钮108的操作而不是响应于电源开关109的操作，而传输登录请求信息。登录请求信息包括用于标识作为请求源终端的终端10aa的终端id、和密码。终端id和密码可以是经由存储/读出处理单元19从存储单元1000读出并已被传输到发送/接收单元11的数据。终端id和密码可以存储在记录介质1010中并从记录介质1010读出。此外，当从传输终端10aa向传输管理系统50传输登录请求信息时，在接收侧的传输管理系统50可以获取在发送侧的传输终端10ab的ip地址。

接下来，传输管理系统50的存储/读出处理单元59用终端id和密码作为经由发送/接收单元51接收的登录请求信息中包括的搜索关键字，搜索认证管理表(见图9)，且确定单元52确定在终端认证表中是否管理了相同的终端id和密码，从而进行终端认证(步骤s23)。由于在终端认证表中管理相同的终端id和相同密码，通过执行终端认证来确定登录请求信息来自具有使用授权的传输终端10，存储/读出处理单元59在终端管理表(参见图10)中存储传输终端10aa的终端id、操作状态、接收到登录请求信息的接收时间和传输终端10aa的ip地址(步骤s24)。因此，操作状态“在线(可通信)”、接收时间“2014.4.10.13:40”和终端10aa“1.2.1.3”的ip地址与终端id“01aa”相关联，以及在图10中所示的终端管理管理表中被管理。

然后，传输管理系统50的发送/接收单元51经由通信网络2将指示终端认证的结果的认证结果信息传输到要求登录的请求源终端(终端10aa)(步骤s25)。在下文中，将描述确定请求源终端具有使用授权的情况。

传输管理系统50的存储/读出处理单元59通过用要求登录的请求源终端(传输终端10aa)的终端id“01aa”作为搜索关键字搜索目的地列表管理表(参见图11)、以及从目的地列表管理表中读出能够与请求源终端(传输终端10aa)通信的目的地终端的候选的终端id，来提取目的地终端的候选终端id(步骤s26)。在下文中，为了简化说明，将描述作为传输终端10ab、10ba和10db的三个传输终端被提取作为请求源终端(传输终端10aa)的目的地的候选的情况。

接下来，存储/读出处理单元59通过用目的地终端的候选的提取的终端id(“01ba、01db”)作为搜索关键字搜索终端管理表(参见图10)以及为每个提取的终端id读出操作状态(“离线”、“在线”)，来获得每个传输终端10ab、10ba和10db的操作状态(步骤s27)。

接下来，发送/接收单元51经由通信网络2将目的地状态信息发送到请求源终端(传输终端10aa)(步骤s28)。目的地状态信息包括在步骤s27中用作搜索关键字的终端id(“01ab”、“01ba”和“01db”)和相应的目的地终端(传输终端10ab、10ba和10db)的操作状态(“离线”、“在线(可通信)”和“在线(可通信)”。因此，请求源终端(传输终端10aa)当前可以获得作为能够与请求源终端(传输终端10aa)通信的目的地终端的候选的每个传输终端(10ab，10ba和10db)的操作状态(“离线”、“在线(可通信)”和“在线(可通信)”)。

此外，传输管理系统50的存储/读出处理单元59使用要求登录的请求源终端(传输终端10aa)的终端id“01aa”作为搜索关键字来搜索目的地列表管理表(参见图11)，以及提取其他请求源终端的终端id，每个其他请求源终端将上述请求源终端(传输终端10aa)的终端id“01aa”注册为目的地终端的候选(步骤s29)。在目的地列表管理表中，提取的其他请求源终端的终端id为“01ba”和“01db”。

接下来，传输管理系统50的存储/读出处理单元59利用要求登录的请求源终端(传输终端10aa)的终端id“01aa”作为搜索关键字来搜索终端管理表(参见图10)，以及获得请求源终端(传输终端10aa)的操作状态(步骤s30)。

然后，发送/接收单元51发送目的地状态信息到在对应于在步骤s29中提取的终端id(“01ab”、“01ba”和“01db”)的传输终端(10ab、10ba和10db)中的、其操作状态在终端管理表(参见图10)中为“在线”的终端(10ba和10db)(步骤s31-1和s31-2)。目的地状态信息包括在步骤s30中获得的请求源终端(传输终端10aa)的终端id“01aa”和“在线”的操作状态。同时，在发送/接收单元51发送目的地状态信息到传输终端10ba和10db时，发送/接收单元51基于每个终端id(“01ba”和“01db”)参考在终端管理表中管理的传输终端的ip地址。因此，发送/接收单元51可以向能够与作为目的地的要求登录的请求源终端(传输终端10aa)通信的其他目的地终端(传输终端10ba和10db)通知要求登录的请求源终端(传输终端10aa)的终端id“01aa”和“在线”的操作状态。

另一方面，在除了传输终端10aa以外的其他传输终端10中，当用户以与步骤s21相同的方式接通电源开关109时，接收单元12接收用户的操作。由于执行与步骤s22至s31-1和s31-2中相同的处理，因此可以适当地省略描述。

接下来，将参照图13描述在传输终端10aa、传输终端10ba和传输终端10db(三个基地(base))之间进行通信的情况下、传输终端10aa显示附加显示数据的处理。图13是图示用于显示附加显示数据的处理的顺序图。在三个基地之间进行通信的情况下，从传输终端10db传输的图像数据和声音数据经由中继装置30被作为通信伙伴的传输终端10aa和传输终端10ba接收。然而，为了简化说明，图13图示了从传输终端10db传输的图像数据和声音数据经由中继装置30被作为通信伙伴的传输终端10aa和传输终端10ba接收的处理。

中继装置30的发送/接收单元31向每个传输终端10发送ping，以及始终从每个传输终端10接收响应，由此，确定单元32测量在传输终端10之间的通信的带宽(最大通信速度)以确定带宽是否等于或小(窄)于预定值(步骤s41)。例如，预定值可以是10kbps。

在上述状态下，首先，目的地终端(传输终端10db)的发送/接收单元11向中继装置30发送图像数据、声音数据和传输终端10db的终端id(步骤s42)。因此，中继装置30的发送/接收单元31接收传输终端10db的图像数据、声音数据和终端id。

随后，中继装置30的确定单元32基于在步骤s42中接收的图像数据的数据量来确定图像是黑色图像还是正常图像(步骤s43)。在目的地终端(传输终端10db)使图像静音的情况下，目的地终端(传输终端10db)向中继装置30传输不示出对象的黑色图像数据。由于黑色图像的数据量小于示出该对象的正常图像的数据量，因此确定单元32可以基于数据量来确定图像是黑色图像还是正常图像。

随后，中继装置30的发送/接收单元31除了在步骤s42中接收到的传输终端10db的图像数据、声音数据和终端id之外，还发送图像类型信息和频带信息(步骤s44)。因此，请求源终端(传输终端10aa)的发送/接收单元11接收图像数据、声音数据，传输终端10db的终端id、图像类型信息和频带信息。

此时，在步骤s43中，在确定单元32确定从目的地终端(传输终端10db)接收到正常图像数据的情况下，图像类型信息指示“正常图像”。此外，在确定单元32确定从目的地终端(传输终端10db)接收到黑色图像数据的情况下，图像类型信息指示“黑色图像”。

另一方面，在步骤s41中确定单元32确定带宽超过预定值的情况下，发送/接收单元31将从目的地终端(传输终端10db)传输的图像数据照原样发送到请求源终端(传输终端10aa)。也就是说，在目的地终端(传输终端10db)在不使图像静音的情况下发送正常图像数据的情况下，发送/接收单元31将正常图像数据发送到请求源终端(传输终端10aa)。此外，在目的地终端(传输终端10db)使图像静音并传输黑色图像数据的情况下，发送/接收单元31将黑色图像数据发送到请求源终端(传输终端10aa)。在这种情况下，频带信息指示“宽”。

此外，在确定单元32在步骤s41中确定带宽等于或小于预定值的情况下，发送/接收单元31将黑色图像数据发送到请求源终端(传输终端10aa)，无论从目的地终端(传输终端10db)传输的图像数据的类型如何。在这种情况下，频带信息指示“窄”。

随后，在请求源终端(传输终端10aa)处，当参与会议的传输终端10被改变时，存储/读出处理单元39改变布置管理表(步骤s45)。例如，当参与会议的传输终端10的数量增加了1时，则被分割为图7b所示的两个区域的屏幕被改变(设置)到被划分为如图8b所示的三个区域的屏幕。此时，布置管理表从图7a的状态改变为图8a的状态。

随后，在请求源终端(传输终端10aa)处，接收单元12根据用户c1对操作按钮108的操作来接收是否显示目的地名称(终端名称)的设置(步骤s46)。应当注意，用户的设置可以在步骤s21中的处理之后以及在步骤s46的处理之前的任何时刻执行。

随后，请求源终端(传输终端10aa)的发送/接收单元11向传输管理系统50发送对附加显示数据的请求和目的地终端(传输终端10db)的终端id(步骤s47)。因此，传输管理系统50的发送/接收单元51接收对附加显示数据的请求和目的地终端(传输终端10db)的终端id。对附加显示数据的请求包括：指示目的地名称(终端名称)显示/隐藏信息，其指示是否显示(隐藏)目的地名称(终端名称)；以及上述频带信息。

随后，传输管理系统50执行用于读出附加显示数据(目的地名称(终端名称)和消息中的至少一个)的处理(步骤s48)。在下文中，将参考图14描述用于读出附加显示数据的处理。图14是图示用于读出附加显示数据的处理的流程图。

如图14所示，传输管理系统50的确定单元52基于目的地名称(终端名称)显示/隐藏信息来确定是否显示目的地名称(终端名称)(步骤s48-1)。在确定单元52确定显示目的地名称(终端名称)的情况下(步骤s48-1中为“是”)，存储/读出处理单元39通过用在步骤s47的处理中接收到的目的地终端(传输终端10db)的终端id作为搜索关键字来搜索终端管理表(参照图10)来读出相应的目的地名称(终端名称)(步骤s48-2)。另一方面，在确定单元52确定不显示目的地名称(终端名称)的情况下(步骤s48-1中为“否”)，则处理进入步骤s48-3，省略步骤s48-2的处理。

随后，确定单元52基于在步骤s47中接收到的频带信息来确定中继装置30和请求源终端(传输终端10aa)之间的通信的带宽是否窄(步骤s48-3)。在确定单元52不确定带宽窄的情况下(步骤s48-3中为“否”)，则步骤s48中的处理结束。

另一方面，在确定单元52确定带宽窄的情况下(步骤s48-3中为“是”)，存储/读出处理单元39从存储单元5000读出指示固定短语的消息(步骤s48-4)。

随后，传输管理系统50的发送/接收单元51将附加显示数据和目的地终端(传输终端10db)的终端id发送到请求源终端(传输终端10aa)(步骤s49)。因此，请求源终端(传输终端10aa)的发送/接收单元11接收附加显示数据和目的地终端(传输终端10db)的终端id。附加显示数据可以包括在步骤s48-2中读出的目的地名称(终端名称)和在步骤s48-4中读出的消息中的至少一个。应当注意，发送/接收单元51可以不发送附加显示数据。

随后，在请求源终端(传输终端10aa)处，存储/读出处理单元19更新针对布置管理表(参见图8a)的布置信息(步骤s50)。例如，在目的地终端只是传输终端10db的情况下，在目的地终端的终端id和图7a中的区域2的记录的目的地名称(终端名称)的部分中，根据步骤s49中的处理从传输管理系统50传输的目的地终端(传输终端10db)的终端id以及目的地名称(终端名称)——如果目的地名称(终端名称)被传输作为附加显示数据——可以被管理。

随后，在请求源终端(传输终端10aa)的发送/接收单元11已经接收到附加显示数据的情况下，通信控制单元13通过中继装置30根据上述步骤s42步骤s44将附加显示数据添加到从目的地终端(传输终端10db)传输的图像数据(步骤s51)。然后，通信控制单元13在显示单元120上显示添加了附加显示数据的图像(步骤s52)。

虽然在本实施例中，中继装置30在步骤s43中基于图像数据的数据量确定图像类型，但是本发明不限于此。请求源终端(传输终端10aa)可以基于图像数据的数据量确定图像类型。在这种情况下，在步骤s44中，中继装置30可以不传输图像类型信息。

图15a至15f是图示传输终端10aa的屏幕示例的图。

图15a是图示如下情况下的屏幕示例的图：图14的处理继续“步骤s48-1中的是，步骤s48-3否”，且从目的地终端(传输终端10db)传输正常图像数据。如图15a所示，目的地终端(传输终端10db)侧的图像显示在屏幕的左侧区域(区域1)中。此外，目的地终端(传输终端10ba)侧的图像显示在屏幕的右下区域(区域2)中。此外，作为自身终端的请求源终端(传输终端10aa)侧的图像显示在屏幕的右上方区域(区域3)中。目的地名称(终端名称)显示在相应区域的下部。也就是说，图15a图示正常的显示状态。应当注意，在相对于区域2和区域3是大面积的左侧区域(区域1)中，可以显示当前产生语音声音的通信伙伴的办公室、会议的重要办公室等(各种图案)。

图15b是图示通过使图像静音而从目的地终端(传输终端10db)传输黑色图像的情况下的屏幕示例的图。图15b中的图14的处理与图15a中的图14的处理相同(在图14中，步骤s48-1中为是，步骤s48-3中为否)。图15b中所示的图与图15a所示的图的不同之处在于：通过使图像静音来传输黑色图像。黑色图像显示在图15b中的区域1中，且目的地名称(终端名称)显示在黑色图像上。

图15c是图示如下情况下的屏幕示例的图：图14中的处理继续“步骤s48-1中为是，步骤s48-3中为是”，且从目的地终端(传输终端10db)传输正常图像。黑色图像显示在图15c中的区域1中，且目的地名称(终端名称)和消息显示在黑色图像上。

图15d是图示如下情况下的屏幕示例的图：图14中的处理继续“在步骤s48-1中为否，在步骤s48-3中为否”，且从目的地终端(传输终端10db)传输正常图像。目的地名称(终端名称)不显示在图15d中的区域1至3中。

图15e是图示通过使图像静音从目的地终端(传输终端10db)传输黑色图像的情况下的屏幕示例的图。图15e中的图14的处理与图15d中的图14的处理相同(在图14中，步骤s48-1中为否，步骤s48-3中为否)。图15e所示的图与图15d所示的图不同之处在于：通过使图像静音来传输黑色图像。黑色图像显示在图15e中的区域1中。

图15f是图示如下情况下的屏幕示例的图：图14的处理继续“在步骤s48-1中为否，在步骤s48-3中为是”，且从目的地终端(传输终端10db)传输正常图像。黑色图像显示在图15f中的区域1中，且消息显示在黑色图像上。

<实施例的主要效果>

根据上述实施例，将通信伙伴的传输终端的目的地名称(终端名称)或作为预定消息的附加显示数据添加到经由中继装置从通信伙伴的传输终端传输的黑色图像数据，且显示添加后的图像。因此，自身侧的用户(自己)可以识别为什么不显示通信伙伴侧的图像(通信伙伴的图形等)的原因。也就是说，用户可以识别是通信伙伴侧的用户停止通信还是由于通信的带宽窄而不传输图像数据。

<实施例的补充>

根据上述实施例的中继装置30和传输管理系统50可以由单个计算机构成，或者可以以多个计算机构成，其中每个单元(功能或装置)以任何方式被划分和分配。

可以在国内或国外提供存储根据上述实施例的在每个传输终端10中执行的传输程序、在中继装置30中执行的中继程序和传输管理系统50中执行的传输管理程序中的任何一个的cd-rom等的记录介质，作为程序产品。

此外，在上述实施例中，描述了视频会议终端的情况作为传输系统1的示例。然而，本发明不限于此。传输系统1可以是诸如ip(因特网协议)电话、因特网电话等的电话系统。此外，传输系统1可以是可以经由wi-fi等进行通信的智能电话、蜂窝电话、汽车导航终端、可穿戴计算机、监视摄像机、数字摄像机、具有通信功能的设备、例如电子黑板、投影仪、游戏机等、数字标牌或具有通信功能的工业设备。可穿戴计算机可以是手表、头戴式显示器等。工业设备可以是mfp(多功能外围设备/打印机/产品)、诸如内窥镜等的医疗设备、诸如耕耘机等的农业设备。

在上述实施例的说明中，已经描述了图像数据和声音数据(音频数据)作为内容数据的示例，然而本发明不限于此。或者，内容数据可以是触觉(触摸)数据。在这种情况下，用户在终端之一终端处被触摸(感觉到)的感觉被传输到其他终端。此外，内容数据可以是气味数据。在这种情况下，在终端之一处的气味被传送到其他终端。此外，内容数据可以是图像数据、声音数据、触觉数据和气味数据中的至少一个。

在上述实施例中，已经描述了由传输系统1进行视频会议的情况，但是本发明不限于此。或者，传输系统1可以用于会议、家庭成员之间或朋友之间的对话，或者单向呈现信息。

此外，本发明不限于上述实施例，而是可以在不脱离本发明的范围的情况下进行各种变化和修改。

本申请基于并要求2015年1月22日提交的日本优先权申请no.2005-010604的优先权，其全部内容通过引用并入本文。

附图标记列表

1传输系统

10传输终端

11发送/接收单元

12接收单元

13通信控制单元

17显示控制单元

19存储/读出处理单元

30中继装置

50传输管理系统

51发送/接收单元存储/读出处理单元(读出装置的一个例子)

1000存储单元

1001布置管理数据库(作为传输单元的例子)

52确定单元(确定单元的一个例子)

3000存储单元

5000存储单元(存储装置的示例)

5001认证管理数据库

5002终端管理数据库

5003目的地列表管理数据库

引用列表

专利文献：

ptl1：专利文献1：日本未审查专利申请公开no.2010-506461

ptl2：专利文献2：日本未审查专利申请公开no.2004-32305