分发控制设备和分发控制方法
【专利摘要】一种分发控制设备通过网络连接到通信终端。所述分发控制设备包括接收单元、白板控制单元、白板单元和发送单元。所述接收单元从通信终端接收表示由用户进行的操作的操作数据。当所述操作是笔划命令时，所述白板控制单元在第一贮存单元中贮存输入到所述通信终端中的并且被包含在所述操作数据中的一系列坐标、并且从所贮存的坐标产生表示笔划的笔划数据。所述白板单元在第二贮存单元中贮存所产生的笔划数据，并且通过渲染该笔划数据产生视频数据。该发送单元向该通信终端发送通过将所产生的视频数据转换为允许分发的数据格式而获得的转换的视频数据。
【专利说明】分发控制设备和分发控制方法
[0001]相关申请的交叉引用
[0002]本申请要求于2015年2月2日在日本提交的日本专利申请号2015-018580的优先权并且通过引用将其全部内容结合。
技术领域
[0003]本发明总体上涉及分发控制设备和分发控制方法。
【背景技术】
[0004]由于近来互联网的广泛使用，已在各个领域中使用云计算。云计算是服务使用模式，其中用户使用连接到互联网的通信终端来使用由服务器在互联网上提供的服务(即，云服务)并且支付该服务的费用。
[0005]通常通过向通信终端分发通过使用视频压缩技术将视频数据转换为允许分发的数据格式而获得的转换的视频数据来提供视频数据分发服务。例如在日本专利号5451397中公开了使用如上所述的通过远程交互来分发视频内容的这样的技术的架构。该架构交互式地向装置分发连续的视频帧。
[0006]然而，常规方法的缺点在于，当在会议期间接受到通过手写(在下文中，“用户的操作输入”)到向其交互式地分发视频的通信终端而输入的用户的操作时，用户的操作输入在该会议结束之后不能够被查看。
[0007]因此，存在对于通过即使在视频分发完成之后也显示操作输入而提高便利性的分发控制设备和分发控制方法的需求。
【发明内容】
[0008]本发明的目的是至少部分地解决在现有技术中的问题。
[0009]—种分发控制设备通过网络连接到通信终端。所述分发控制设备包括接收单元、白板控制单元、白板单元和发送单元。所述接收单元从所述通信终端接收表示由用户进行的操作的操作数据。当所述操作是笔划命令时，所述白板控制单元在第一贮存单元中贮存输入到所述通信终端中的并且被包含在所述操作数据中的一系列坐标、并且从所贮存的坐标产生表示笔划的笔划数据。所述白板单元在第二贮存单元中贮存所产生的笔划数据并且通过渲染所述笔划数据产生视频数据。所述发送单元向所述通信终端发送通过将所产生的视频数据转换为允许分发的数据格式而获得的转换的视频数据。
[0010]通过阅读当结合附图考虑的本发明目前优选的实施例的下列详细描述将更好地理解本发明的以上和其它目的、特征、优点以及技术的和工业的重要性。
【附图说明】
[0011 ]图1是根据实施例的分发系统的示意图；
[0012]图2是示出基本分发方法的概念示意图；
[0013]图3是多播(multicast)的概念示意图；
[0014]图4是多重显示(mult1-display)的概念示意图；
[0015]图5是使用多个通信终端由分发控制设备的综合分发的概念示意图；
[0016]图6是根据实施例的分发控制设备和终端管理设备的硬件结构示意图；
[0017]图7是示出根据实施例的分发控制设备的功能的功能性框图；
[0018]图8是编码器桥单元的详细的示意图；
[0019]图9是示出转换单元的功能的功能性框图；
[0020]图10是示出根据实施例的通信终端的功能的功能性框图；
[0021]图11是示出根据实施例的由分发控制设备进行的基本分发过程的顺序图；
[0022]图12是示出根据实施例的使用多个通信终端由分发控制设备的分发过程的顺序图；
[0023]图13是根据本实施例的由分发控制设备的交互式白板单元进行的渲染过程的工艺流程图；以及
[0024]图14是示出笔划元信息的示例的示意图。
【具体实施方式】
[0025]下面参考附图详细地描述实施例。这里使用的术语“图像”覆盖静止图像和运动图像。这里使用的术语“视频”基本上表示运动图像，并且也覆盖被暂停为静止图像的运动图像。术语“静止图像(音频)”被用于表示静止图像和音频中的至少一个。术语“图像(音频)”被用于表示图像和音频中的至少一个。术语“视频(音频)”被用于表示音频和视频中的至少一个。
[0026]系统配置
[0027]下面描述分发系统I的配置。图1是根据实施例的分发系统的示意图。
[0028]如图1中所示，根据本实施例的分发系统I包括分发控制设备2、多个通信终端5a到5f和终端管理设备7。术语“通信终端5”在这里被用于表示通信终端5a到5f的任意一个。分发控制设备2和终端管理设备7的每一个由服务器计算机实现。
[0029]通信终端5是由用户接收由分发系统I提供的(一个或多个)服务的终端。通信终端5a(其是通信终端5的一个)是笔记本型个人计算机(PC)。通信终端5b是移动终端，诸如智能手机或平板终端。通信终端5c是多功能周边/打印机/产品(MFP)，其中组合了复制、扫描、打印和传真的功能。通信终端5d是投影仪。通信终端5e是电视(视频)会议终端，包括相机、麦克风和扩音器(在下文中，“扬声器”)。通信终端5f是能够电子地转换由用户等在其上画/写的(一个或多个)物体的电子白板。
[0030]通信终端5不限于如图1中所示的这样的终端。通信终端5可以是其它装置，诸如手表、自动售货机、气量计、汽车导航装置、视频游戏控制台、空调、照明器材、独立的相机、独立的麦克风或独立的扬声器，其每一个能够通过诸如互联网的通信网络通信。
[0031]分发控制设备2、通信终端5和终端管理设备7可以通过通信网络9彼此通信，该通信网络9可以是互联网、局域网(LAN)和/或类似者。通信网络9的示例进一步包括无线通信网络，诸如第三代(3G)网络、全球微波接入互操作性(WiMAX)和长期演进(LTE)。
[0032]通信终端5的一些一一例如在通信终端5d的情况中一一可以不具有通过通信网络9与另一个终端或另一个系统通信的功能。然而，用户将适配器(dongle)插入通信终端5d的接口(诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标))中，从而使得其能够与另一个终端和系统通信。
[0033]分发控制设备2包括交互式的白板单元20。白板单元20具有获取单条或多条以预定描述语言描述的内容数据并且进行渲染的渲染器功能。因此，渲染器功能允许白板单元20产生帧数据作为诸如由红色、绿色和蓝色(RGB)组成的位图数据的静止图像数据、和诸如脉冲编码调制(PCM)数据(S卩，静止图像(音频)数据)的音频数据。该内容数据是从期望的通信终端等获取的数据，并且可以包括以超文本标记语言(HTML)和层叠样式表(CSS)形式的图像(音频)数据、以MP4(MPEG-4)形式的图像(音频)数据和以高级音频编码(AAC)形式的音频数据。
[0034]分发控制设备2进一步包括编码单元19。编码单元19进行作为编码器的其功能，从而将如静止图像(音频)数据的帧数据转换为以诸如H.264(MPEG-4AVC)、H.265和运动JPEG的压缩编码格式的视频(音频)数据。
[0035]终端管理设备7进行通信终端5的登录验证、合约信息的管理等。终端管理设备7进一步具有作为用于发送电子邮件的简单邮件传输协议(SMTP)服务器的功能。终端管理设备7例如可以实现为运行在云服务(IaaS:基础架构作为服务)上的虚拟计算机。所期望的是，以多路复用的方式操作终端管理设备7使得在意外突发事件的情况中不间断地提供服务。
[0036]白板单元20使能实时通信/合作(RTC)。分发控制设备2包括如在之后将参考的图9中所示的编码单元19。编码单元19可以对从白板单元20输出的帧数据进行实时编码，从而输出通过符合H.264标准等的转换而产生的视频(音频)数据。相应地，由分发控制设备2进行的处理不同于当记录在DVD中的非实时视频(音频)数据被DVD播放器读取并分发时进行的处理。
[0037]同时，不仅分发控制设备2而且通信终端5可以包括交互式的白板单元。在该情况中，可以通过更新分发控制设备2的白板单元20而消除对启动每个通信终端5的白板单元的需要。
[0038]各种分发方法
[0039]在下面描述各种分发方法。
[0040]基本分发
[0041]图2是示出基本分发方法的概念示意图。如图2中所示，在分发系统I中，分发控制设备2的白板单元20从期望的通信终端等获取作为图像(音频)数据的内容数据A，并且渲染内容数据A，从而产生作为静止图像(音频)数据的多个帧数据A。编码器桥单元30包括编码单元19对帧数据A进行编码等，从而将它们转换为以诸如H.264的压缩编码格式的视频(音频)数据A(其是“转换的视频数据”的示例)。分发控制设备2分发视频(音频)数据A，从而转换到通信终端5。
[0042]此外，分发系统I可以通过使用上述分发方法将内容数据分发到多个站点，该内容数据是视频(音频)数据。在下面参考图3到5描述用于将内容数据分发到多个站点的方法。
[0043]多播
[0044]图3是多播的概念示意图。参考图3，分发控制设备2的白板单元20从期望的通信终端等获取内容数据A(其是图像(音频)数据)，并且渲染内容数据A，从而产生作为静止图像(音频)数据的帧数据A。编码器桥单元30编码帧数据A，从而将它们转换为视频(音频)数据。之后，分发控制设备2将视频(音频)数据A(“转换的视频数据”的示例)分发到多个通信终端5fl、5f2dP5f3。
[0045]通过上述方法，相同的视频(音频)在多个站点处被回放。在该情况中，不需要通信终端5fl、5f2和5f3具有相同水平的显示/回放能力(例如，相同的分辨率)。如上所述的这样的分发方法例如被称为”多播”。
[0046]多重显示
[0047]图4是多重显示的概念示意图。参考图4，分发控制设备2的白板单元20从期望的通信终端等获取作为图像(音频)数据的内容数据XYZ，并且渲染内容数据XYZ，从而产生作为静止图像(音频)数据的帧数据XYZ。编码器桥单元30将每个帧数据XYZ分割为多个帧数据X、Y和Z，并且编码帧数据X、Y和Z，从而将它们转换为多个视频(音频)数据X、Y和Z。之后，分发控制设备2将视频(音频)数据X(“转换的视频数据”的示例)分发到通信终端5fl。类似地，分发控制设备2将视频(音频)数据Y(“转换的视频数据”的示例)分发到通信终端5f2，并且将视频(音频)数据Z( “转换的视频数据”的示例)分发到通信终端5f3。
[0048]如上所述，即使对于景观内容XYZ，通过多个通信终端5以分割的方式回放内容XYZ的视频(音频)O相应地，当通信终端5f 1、5f 2和5f 3被布置在一行中时，可以获得与当回放大尺寸的单个视频时获得的类似的效果。为了获得该效果，需要通信终端5fl、5f2和5f3在显示/回放能力上是相同的(例如，在分辨率上是相同的)。如上所述的这样的分发方法例如被称为“多重显示”。
[0049]综合分发
[0050]图5是使用多个通信终端由分发控制设备2的综合分发的概念示意图。如图5中所示，通信终端5fl(其是电子白板)和通信终端5el(其是视频会议终端)被用在第一站点(其在图5中的右边)处，而通信终端5f2(其是电子白板)和通信终端5e2(其是视频会议终端)被用在第二站点(其在图5中的左边)处。用于通过(一个或多个)笔划在通信终端5fl上写/画字符等的电子笔Pl被用在第一站点处。用于通过(一个或多个)笔划在通信终端5f2上写/画字符等的电子笔P2被用在第二站点处。
[0051]在第一站点处，通过通信终端5el获取的视频(音频)数据由编码单元60编码。之后，编码数据被发送到分发控制设备2。之后，编码的数据由分发控制设备2的译码单元40译码，并且被供应到白板单元20。表示用电子笔Pl在通信终端5fl上画出的(一个或多个)笔划的操作数据被发送到分发控制设备2，并且被供应到白板单元20。在该情况中，该操作数据是在通信终端5Π等的显示器上的(一个或多个)笔划的坐标数据。
[0052]此外在第二站点处，通过通信终端5e2获取的视频(音频)数据由编码单元60编码。之后，编码的数据被发送到分发控制设备2。之后，编码的数据由分发控制设备2的译码单元40译码，并且被供应到白板单元20。表示用电子笔P2在通信终端5f2上画出的(一个或多个)笔划的操作数据被发送到分发控制设备2，并且被供应到白板单元20。在该情况中，该操作数据是在通信终端5f2等的显示器上的(一个或多个)笔划的坐标数据。
[0053]白板单元20例如从期望的通信终端等获取表示将显示在通信终端5fl和5f2的每一个的显示器上的背景图像的内容数据A。白板单元20组合内容数据A、操作数据pi和p2和视频(音频)内容数据El和E2，并且渲染它们，从而产生作为静止图像(音频)数据的帧数据，其中内容数据A、pl、p2、El和E2以期望的布局而布置。编码器桥单元30编码这些帧数据。分发控制设备2将表示相同的内容(A、pl、p2、El和E2)的视频(音频)数据(“转换的视频数据”的示例)分发到两个站点。
[0054]因此，在第一站点处，视频(A、pl、p2、El(视频部分)和E2(视频部分)被显示在通信终端5fl的显示器上，并且音频E2(音频部分)被从通信终端5el的扬声器输出。在第二站点处，视频(A、pl、p2、El (视频部分)和E2(视频部分)被显示在通信终端5f2的显示器上，并且音频El (音频部分)被从通信终端5e2的扬声器输出。
[0055]在第一站点处，由于通信终端5fl的回声消除功能，站点自身的音频El(音频部分)不被输出。在第二站点处，由于通信终端5f 2的回声消除功能，站点自身的音频E2 (音频部分)不被输出。
[0056]如上所述，根据本实施例的分发系统I可以进行在远程站点处实时共享相同信息的远程共享处理，该远程站点是第一站点和第二站点，并且因此该分发系统I对于电话会议等是有效的。
[0057]硬件结构
[0058]在下面描述根据本实施例的设备的硬件结构。图6是根据实施例的分发控制设备和终端管理设备的硬件结构示意图。
[0059]在下面描述分发控制设备2。如在图6中所示，分发控制设备2包括CPU(中央处理器)201、R0M(只读存储器)202、RAM(随机存取存储器)203、HDD(硬盘驱动器)204、HDC(硬盘控制器)205、介质驱动207、显示器208、I/F209、键盘211、鼠标212、麦克风213、扬声器214、GPU(图形处理单元)215、R0M216、RAM217和扩展总线220XPU 201控制整个分发控制设备2的操作。ROM 202在其中贮存诸如IPL(初始程序加载器)的程序指令以用于驱动CPU 201。RAM 203被用作CPU 201的工作区域。HDD 204在其中贮存诸如程序指令的各种数据。HDC205在CPU 201的控制下控制从HDD 204以及到HDD 204的各种数据的读取和写入。介质驱动207控制从诸如闪速存储器的记录介质206读取数据以及将数据写入到诸如闪速存储器的记录介质206。显示器208显示各种信息。I/F 209被用于使用通信网络9发送数据或接收适配器的连接。ROM 216在其中贮存程序指令以用于驱动GPU 2150RAM 217被用作GPU 215的工作区域。扩展总线220—一诸如地址总线或数据总线一一提供如图6中所示的上述组件之间的电连接。可以在没有GPU的情况下如在通信终端5d(其是投影仪)的情况中配置硬件结构。终端管理设备7在硬件结构上与分发控制设备2类似，并且省略了重复的描述。
[0060]功能性组件
[0061]在下面参考图7到图10描述根据本实施例的设备和终端的功能性组件。
[0062]分发控制设备的功能性配置
[0063]在下面参考图7描述分发控制设备2的功能性配置。图7是示出根据实施例的分发控制设备的功能的功能性框图。图7示出了分发控制设备2的功能性配置，其中分发控制设备2分发视频(音频)数据到通信终端5fl，并且分发控制设备2在分发目的地不同于通信终端5fl的情况下也具有相同的功能性配置。尽管分发控制设备2包括多个分发引擎服务器，但是下面描述分发控制设备2包括单个分发引擎服务器的情况以便于简化该描述。
[0064]如图7所示，分发控制设备2具有图7中所示的功能性组件，该功能性组件由诸如处理器(其是图6中所示的CPU 201或GPU 215)以及程序指令来实现。
[0065]更具体地，分发控制设备2包括白板单元20、收发单元21、交互式白板控制单元22、传输FIFO (先进先出)24、时间管理单元25、时间获取单元26、信道适应性控制单元27、编码器桥单元30、收发单元31、接收FIFO 34、识别单元35、延迟信息获取单元37a、信道适应性控制单元37b和译码单元40。
[0066]分发控制设备2进一步包括贮存单元2000、坐标累积单元122、和由如图6中所示的HDD 204实现的数据管理单元120。贮存单元2000在其中贮存从识别单元35通过白板控制单元22输出和发送的识别信息(其稍后描述)。由白板单元20获取的内容数据可以暂时被存储在作为缓存的贮存单元2000中。坐标累积单元122在其中贮存输入到该通信终端5上的一系列坐标。数据管理单元120在其中贮存表示从该坐标产生的(一个或多个)笔划的笔划数据。
[0067]收发单元21将各种数据、各种请求、各种命令等发送到终端管理设备7和期望的通信终端，并且从终端管理设备7和期望的通信终端接收各种数据、各种请求、各种命令等。例如，收发单元21从期望的通信终端获取内容数据。此外，收发单元21输出从终端管理设备7获取的各种数据到分发控制设备2中的功能性组件，并且基于从终端管理设备7获取的各种数据、各种请求、各种命令等控制分发控制设备2中的功能性组件。例如，收发单元21基于来自终端管理设备7的切换分发的请求进行在如图8中所示的编码器桥单元30中的组件的组合的切换。
[0068]白板控制单元22控制白板单元20。更具体地，白板控制单元22从通信终端5通过收发单元31获取表示由用户进行的操作的各种操作数据，并且将该操作数据输出到白板单元
20。操作数据是通过操作事件(通过键盘211、鼠标212等、用电子笔P的(一个或多个)笔划等的操作)在通信终端5上产生的数据。如果由用户进行的操作是笔划命令，白板控制单元22贮存被输入到通信终端5的显示器上并且被包含在坐标累积单元122中的操作数据中的一系列坐标。白板控制单元22从被贮存和累积在坐标累积单元122中的所有坐标产生表示由用户的操作画出的(一个或多个)笔划的笔划数据，并且输出该笔划数据到白板单元20。
[0069]如果用户进行的操作是页面命令(添加页面的命令)，则白板控制单元22将添加的页面输出到白板单元20。如果用户进行的操作是图像命令(添加图像的命令)，白板控制单元22将添加的图像输出到白板单元20。如果用户进行的操作不是这些命令中的任一个，白板控制单元22将用户的操作作为鼠标事件输出到白板单元20。
[0070]如果通信终端5包括各种传感器一一诸如温度传感器、湿度传感器和加速度传感器，则白板控制单元22从通信终端5获取包含传感器的输出信号的传感器信息，并且将传感器信息输出到白板单元20。此外，白板控制单元22从识别单元35获取图像(音频)数据，并且将图像(音频)数据输出到白板单元20，并且从识别单元35获取之后描述的识别信息，并且将识别信息贮存在贮存单元2000中。白板控制单元22还从接收FIFO 34获取图像(音频)数据，并且将图像(音频)数据输出到白板单元20。
[0071]白板单元20使用白板单元20的渲染器功能渲染内容数据(其是图像(音频)数据)，从而产生作为静止图像(音频)数据的帧数据。如图5中所示，渲染器也是用于布局多个类型的内容A、pl、p2、El和E2的布局引擎。
[0072]当获取由白板控制单元22产生的笔划数据时，白板单元20将笔划数据贮存在数据管理单元120中。此时，白板单元20例如以I3DF(便携式文件格式)格式贮存笔划数据。白板单元20渲染获取的笔划数据，从而产生作为静止图像(音频)数据的帧数据。此时，如果白板单元20具有已经获取的内容数据，白板单元20以笔划数据(其是操作数据)与内容数据组合的布局输出帧数据。
[0073]如果用户进行的操作是页面命令(添加页面的命令)，白板单元20将获取的页面贮存在数据管理单元120中。如果用户进行的操作是图像命令(添加图像的命令)，白板单元20将获取的一个或多个图像贮存在该数据管理单元120中。
[0074]传输FIFO24是用于在其中贮存由白板单元20产生的作为静止图像(音频)数据的帧数据的缓冲器。
[0075]时间管理单元25管理对分发控制设备2是唯一的时间T。
[0076]时间获取单元26协同通信终端5的时间控制单元56(之后描述)进行时间调整。更具体地，时间获取单元26通过收发单元31和收发单元51从时间管理单元25获取在分发控制设备2中表示时间T的时间信息(T)，从时间控制单元56(之后描述)接收在通信终端5中表示时间t的时间信息(t)，并且将时间信息(t)和时间信息(T)发送到时间控制单元56。
[0077]信道适应性控制单元27基于传输延迟时间信息(D)计算回放延迟时间U，并且计算诸如编码器桥单元30中的转换单元10的帧速率和数据分辨率的操作条件。回放延迟时间U是由在回放之前的数据缓冲造成的数据的回放的延迟的时间。相应地，信道适应性控制单元27取决于传输延迟时间信息(D)和数据大小(其可以是位的数量或字节的数量)来改变编码器桥单元30的操作。传输延迟时间信息(D)指示频率分发信息，该频率分发信息根据通过通信终端5的延迟信息获取单元57从回放控制单元53获取的多个传输延迟时间Dl来构造。每个传输延迟时间Dl是当视频(音频)数据被从分发控制设备2发送和当视频(音频)数据由通信终端5接收之间的时滞(timelag)。
[0078]编码器桥单元30将由白板单元20产生的作为静止图像(音频)数据的帧数据输出到编码器桥单元30中的转换单元10(见图8)。当接收到数据时，转换单元10基于由信道适应性控制单元27计算的操作条件进行各种处理。参考图8和9在下面更详细地描述编码器桥单元30。图8编码器桥单元的详细的示意图。图9是示出转换单元的功能的功能性框图。
[0079]如图8中所示，编码器桥单元30包括创建/选择/转移单元310、选择单元320和多个转换单元10( 10a、1b和1c)。转换单元10被插入在创建/选择/转移单元310和选择单元320之间。尽管在图8中转换单元的数量是三个，但是该数量可以是任何数量。在下文中，术语“转换单元10”被用于表示转换单元的任何一个。
[0080]转换单元10将由白板单元20产生的作为静止图像(音频)数据的帧数据的数据格式转换为允许通过通信网络9到(一个或多个)通信终端5的数据的分发的H.264等的数据格式。为此目的，如在图9中所示的，转换单元10包括修整单元11、大小调整单元12、分割单元13和编码单元19，从而对帧数据进行多种处理。当帧数据是音频数据时，修整单元11、大小调整单元12和分割单元13不进行任何处理。
[0081]修整单元11(其是上述单元的一个)裁剪出仅(一个或多个)部分的静止图像。大小调整单元12改变静止图像的扩大/减小尺寸。分割单元13分割如图4中所示的静止图像。
[0082]编码单元19编码由白板单元20产生的作为静止图像(音频)数据的帧数据，从而将它们转换为可以通过通信网络9被分发到通信终端5的视频(音频)数据。如果视频不是运动的(当不存在帧间更新(改变))，跳帧(skip frame)(有时可以被称为帧跳(frame skip))在之后被插入直到该视频运动，以便节省带宽。
[0083]当通过渲染产生音频数据连同静止图像数据时，两者数据被编码，并且当仅产生音频数据时，仅进行编码以压缩数据而不修整、大小调整和分割。
[0084]创建/选择/转移单元310创建新的转换单元1，选择将被供给到已经产生的转换单元10的作为静止图像(音频)数据的帧数据，并且将帧数据发送到转换单元10。在该创建中，创建/选择/转移单元310创建能够根据通信终端5回放视频(音频)数据的能力转换的转换单元10。在该选择中，创建/选择/转移单元310选择已经创建的转换单元10。例如，在开始除了分发到通信终端5a以外的分发到通信终端5b时，与被分发到通信终端5a的视频(音频)数据相同的视频(音频)数据可以被分发到通信终端5b。在这种情况中，如果通信终端5b具有与通信终端5a回放视频(音频)数据的能力相同水平的能力，创建/选择/转移单元310使用已经为通信终端5a创建的转换单元10a，而不创建用于通信终端5b的新的转换单元10b。在该转移中，创建/选择/转移单元310将贮存在传输FIFO 24中的帧数据转移到转换单元10。
[0085]选择单元320从已经创建的转换单元10选择期望的一个。由创建/选择/转移单元310和选择单元320作出的选择允许以如图5所示的各种模式的分发。
[0086]再参考图7，收发单元31将各种数据、请求等发送到通信终端5并从通信终端5接收各种数据、请求等。收发单元31通过通信网络9将各种数据、请求等发送到通信终端5，从而允许分发控制设备2将各种数据、请求等分发到通信终端5。
[0087]例如，在通信终端5的登录过程中，收发单元31发送验证屏幕数据以用于提示用户向通信终端5的收发单元51提交登录请求。此外，收发单元31从通信终端5接收表示由用户进行的操作的操作数据。此外，收发单元31向通信终端5发送由转换单元10通过将作为静止图像(音频)数据的帧数据转换为允许通过通信网络9分发到通信终端5的数据格式获得的帧数据(转换的视频数据)。收发单元31对应于“接收单元”和“发送单元”。
[0088]此外，收发单元31通过对分发系统I唯一的协议(以超文本传输协议)在安全套接层(HTTPS)服务器之上进行去往和来自通信终端5的用户应用和通信终端5的装置应用的数据发送和数据接收。该具体协议是基于HTTPS的应用层协议以用于实时发送和接收数据而不在分发控制设备2和通信终端之间被中断。收发单元31进一步进行发送响应控制、实时数据产生、命令发送、接收响应控制、接收的数据分析和手势转换。
[0089]发送响应控制是管理HTTPS会话以用于从通信终端5下载请求以便于从分发控制设备2发送数据到通信终端5的过程。用于下载的HTTPS会话的响应不立即结束并保持特定的时间段(一到几分钟)。收发单元31动态地将要发送到通信终端5的数据写入响应的主体部分中。为了消除重新连接的成本，另一个请求被允许在之前的会话结束之前从通信终端达到。通过将收发单元31置于备用直至之前的请求完成，即便当进行重新连接时可以消除开销(overhead)。
[0090]实时数据产生是将唯一的标头赋予由图9中的编码单元19产生的压缩的视频(和压缩的音频)的数据、并且将数据写入到HTTPS的主体部分中的过程。
[0091]命令发送是产生将要发送到通信终端5的命令数据并且将命令数据写入到指向通信终端5的HTTPS的主体部分中的过程。
[0092]接收响应控制是管理从通信终端5请求的HTTPS会话使得分发控制设备2可以从通信终端5接收数据的过程。该HTTPS会话的响应并不立即结束且保持一段特定时间段(一到几分钟)。通信终端5动态地将要发送到分发控制设备2的收发单元31的数据写入到请求的主体部分中。
[0093]接收的数据分析是通过类型分析从通信终端5发送的数据并且将数据传送到必要的过程的过程。
[0094]手势转换是将用户用电子笔或手写输入到作为电子白板的通信终端5f的手势事件转换为可由白板单元20接收的格式的数据的过程。
[0095]接收FIFO34是用于在其中贮存由译码单元40译码的视频(音频)数据的缓冲器。
[0096]识别单元35对从通信终端5接收的图像(音频)数据进行处理。更具体地，例如识别单元35在数字标志应用中基于用相机62捕捉的一个或多个图像识别人或动物的面部、年龄、性别等。在工作场所中，识别单元35基于用相机62捕捉的一个或多个图像通过面部识别和背景图像更换进行名称标记。识别单元35在贮存单元2000中贮存表示识别的细节的识别信息。识别单元35通过用识别扩展板进行处理来实现加速。
[0097]延迟信息获取单元37a被用在上行链路信道适应性控制中，并且对应于用在下行链路信道适应性控制中的用于通信终端5的延迟信息获取单元57。更具体地，延迟信息获取单元37a从译码单元40获取表示传输延迟时间dl的传输延迟时间信息(dl)，并且保持传输延迟时间信息(dl)—段特定时间段。当获取多个传输延迟时间信息(dl)时，延迟信息获取单元37a向信道适应性控制单元37b输出基于多个传输延迟时间dl指示频率分发信息的传输延迟时间信息(d)。每个传输延迟时间信息(dl)指示从当视频(音频)数据被从通信终端5发送时的时间点到当视频(音频)数据由分发控制设备2接收时的时间点的时间。
[0098]信道适应性控制单元37b被用在上行链路信道适应性控制中，并且对应于用在下行链路信道适应性控制中的信道适应性控制单元27 ο更具体地，信道适应性控制单元37b基于传输延迟时间信息(d)计算用于通信终端5的编码单元60的操作条件。信道适应性控制单元37b通过收发单元31和收发单元51将表示诸如帧速率和数据分辨率的操作条件的信道适应性控制信号发送到通信终端5的编码单元60。
[0099]译码单元40译码从通信终端5发送的视频(音频)数据。此外，译码单元40输出表示传输延迟时间dl的传输延迟时间信息(dl)到延迟信息获取单元37a。
[0100]通信终端的功能性配置
[0101]参考图10在下面描述通信终端5的功能性配置。图10是示出根据实施例的通信终端的功能的功能性框图。通信终端5是用作接口的终端，该接口用于用户进行登录到分发系统1、开始和停止视频(音频)数据的分发等。
[0102]如图10所示，通信终端5具有图10中所示的由包括如图6所示的CPU 201和程序的硬件配置实现的功能性组件。在通信终端5通过插入适配器而变为通过通信网络9可以与另一个终端和系统通信的情况中，通信终端5具有图10所示的通过如图6所示的硬件配置和程序来实现的功能性组件。
[0103]更具体地，通信终端5包括译码单元50、收发单元51、操作单元52、回放控制单元53、渲染单元55、时间控制单元56、延迟信息获取单元57、显示单元58和编码单元60。通信终端5进一步包括由图6所示的RAM 203实现的贮存单元5000。贮存单元5000在其中贮存表示时间差Δ的时间差彳目息(Δ )(之后描述)和在通彳目终端5中的表不时间t的时间彳目息(t)。
[0104]译码单元50译码从分发控制设备2分发的以及从回放控制单元53输出的视频(音频)数据。如果译码的视频(音频)数据包含语音，该语音通过扬声器61输出。
[0105]收发单元51从分发控制设备2的收发单元31和从终端管理设备7接收各种数据、请求等，并且将各种数据、请求等发送到分发控制设备2的收发单元31和终端管理设备7。例如，在通信终端5的登录过程中，响应于通过操作单元52启动通信终端5，收发单元51向终端管理设备7提交登录请求。
[0106]操作单元52进行接收由用户的操作输入的过程，该输入诸如用电源开关、键盘、鼠标、电子笔P等的输入和选择，并且将它们作为操作数据发送到分发控制设备2的白板控制单元22。
[0107]回放控制单元53将回放延迟时间U考虑在内，缓冲从收发单元51接收的视频(音频)数据(一组实时数据)，并且将视频(音频)数据输出到译码单元50。此外，回放控制单元53计算表示传输延迟时间Dl的传输延迟时间信息(Dl)，并且将传输延迟时间信息(Dl)输出到延迟信息获取单元57。
[0108]渲染单元55渲染由译码单元50译码的数据。
[0109]时间控制单元56协同分发控制设备2的时间获取单元26进行时间调整。更具体地，时间控制单元56从贮存单元5000获取在通信终端5中表示时间t的时间信息(t)。此外，时间控制单元56通过收发单元51和收发单元31向分发控制设备2的时间获取单元26发布用于在分发控制设备2中表示时间t的时间信息(t)的请求。此时，时间信息⑴与用于该时间信息(T)的请求同时被发送。
[0110]延迟信息获取单元57从回放控制单元53获取表示传输延迟时间Dl的传输延迟时间信息(Dl)，并且保持传输延迟时间信息(Dl)—段特定时间段。当获取多个传输延迟时间信息(dl)时，延迟信息获取单元57基于多个传输延迟时间dl通过收发单元51和收发单元31将表示频率分发信息的传输延迟时间信息(D)输出到信道适应性控制单元27。例如对于每100个帧发送传输延迟时间信息(D)。
[0111]显示单元58回放由清染单元55清染的数据。
[0112]编码单元60通过收发单元51和收发单元31向分发控制设备2的译码单元40发送从内嵌式麦克风213或在外面附接的相机62和麦克风63获取的并且被编码的视频(音频)数据E;从贮存单元5000获取的并且在通信终端5中指示当前时间t0的时间信息(t0);以及从贮存单元5000获取的并且指示时间差△的时间差信息(△)。时间差△指示由分发控制设备2独立地管理的时间和由通信终端5独立地管理的时间之间的差值。
[0113]编码单元60基于由从信道适应性控制单元37b接收的信道适应性控制信号指示的操作条件来改变编码单元60的操作条件。此外，编码单元60根据新的(改变的)操作条件通过收发单元51和收发单元31向分发控制设备2的译码单元40发送从相机62和麦克风63获取的并且被编码的视频(音频)数据E;从贮存单元5000获取的并且在通信终端5指示当前时间t0的时间信息(t0);以及从贮存单元5000获取的并且指示时间差△的时间差信息(Δ )。
[0114]内嵌式麦克风213、在外面附接的相机62以及麦克风63等是输入单元的示例，并且是需要编码和译码的装置。输入单元除了视频(音频)数据以外可以是输出触摸数据和气味数据。输入单元的示例包括各种传感器一一诸如温度传感器、方向传感器和加速度传感器等。
[0115]操作和过程
[0116]参考图11到14在下面描述本实施例的操作和过程。这些过程由分发控制设备2、通信终端和终端管理设备7的CPU根据贮存在其中的各个程序进行。
[0117]基本分发过程
[0118]参考图11在下面描述根据图2所示的基本分发方法的特定的分发过程。图11是示出通过根据实施例的分发控制设备进行的基本分发过程的顺序图。尽管在这里描述了通过通信终端5a发布登陆请求的情况，但是登陆可以通过除了通信终端5a以外的通信终端5进行。
[0119]如图11所示，当用户接通通信终端5a的电源时，通信终端5a的收发单元51向终端管理设备7发布登录请求(S22)。终端管理设备7接收登录请求并且进行通信终端5a的验证(步骤S24)。以下说明基于通信终端5a被验证为分发系统I中的有效终端的假设。
[0120]终端管理设备7将分发控制设备2的IP地址发送到通信终端5a的收发单元51(步骤S26)。分发控制设备2的IP地址通过终端管理设备7从分发控制设备2获取，并且被提前贮存。
[0121]之后，终端管理设备7向分发控制设备2的收发单元21发布用于开始分发过程的请求(步骤S28)。收发单元21接收用于开始该分发过程的请求。白板控制单元22基于由收发单元21接收的开始请求控制白板单元20。
[0122]之后，编码器桥单元30的创建/选择/转移单元310根据通信终端5a的回放能力(例如，显示器的分辨率)和内容类型来创建转换单元10(步骤S30)。之后，收发单元21如由白板单元20指令的从期望的通信终端获取内容数据A(步骤S32)。
[0123]白板单元20渲染由收发单元21获取的内容数据A，从而产生作为静止图像(音频)数据的帧数据并且将帧数据输出到传输FIFO 24(步骤S34)。转换单元10编码贮存在传输FIFO 24中的帧数据，从而将它们转换为将要分发到通信终端5a的视频(音频)数据A(步骤S36)0
[0124]之后，收发单元31将视频(音频)数据A发送到通信终端5a的收发单元51(步骤S38)。通信终端5a的收发单元51接收视频(音频)数据A并且将视频(音频)数据A输出到回放控制单元53。
[0125]在通信终端5a中，译码单元50从回放控制单元53获取视频(音频)数据A并且译码视频(音频)数据A(步骤S40)。之后，扬声器61根据译码的音频数据A回放音频，而显示单元58基于从译码单元50获取的并且由渲染单元55渲染的视频数据A回放视频(步骤S42)。
[0126]使用多个通信终端的综合分发过程
[0127]参考图12在下面描述使用多个通信终端由分发控制设备的通信过程。图12是示出使用多个通信终端通过根据实施例的分发控制设备的分发过程的顺序图。这里描述的是用于以如图5所示的模式的多个通信终端5的特定过程。图12示出了在如在图11中的步骤S22至IJS30中已经进行的登录过程、开始请求的发布和转换单元的产生之后将要进行的过程。
[0128]当通信终端5fl的编码单元60从相机62和麦克风63接收如作为视频(音频)数据E的内容数据的输入时(步骤S52)，编码单元60编码内容数据E(步骤S54)。收发单元51将由编码单元60编码的内容数据E发送到分发控制设备2的收发单元31(步骤S56)。分发控制设备2的收发单元31接收内容数据E。
[0129]之后，分发控制设备2的译码单元40译码由收发单元31接收的内容数据E，并且将译码的内容数据E输出到接收FIFO 34(步骤S58)。白板单元20渲染贮存在接收FIFO 34中的内容数据E，从而产生作为静止图像(音频)数据的帧数据E，并且将帧数据E输出到传输FIFO24(步骤S60) ο在该情况中，如果白板单元20具有已经获取的内容数据，白板单元20以内容数据E与已经获取的内容数据组合的布局来输出该数据。
[0130]此外，当通信终端5fl的操作单元52接收用电子笔Pl的笔划操作的输入时(步骤S62)，收发单元51将表示由操作单元52接收的笔划操作的细节的操作数据P发送到分发控制设备2的收发单元31 (步骤S64)。分发控制设备2的收发单元31接收操作数据p。白板控制单元22将由收发单元31接收的操作数据P输出到白板单元20。
[0131]白板单元20渲染操作数据p，从而产生作为静止图像(音频)数据的帧数据p，并且将帧数据P输出到传输FIFO 24(步骤S66)。在该情况中，白板单元20以操作数据p与已经获取的内容数据E组合的布局来输出数据。
[0132]之后，转换单元10编码帧数据(E、p)作为贮存在传输FIFO24中的静止图像(音频)数据，从而将它们转换为将要分发到通信终端5a的视频(音频)数据(E、p)(步骤S68)。
[0133]之后，收发单元31从包括转换单元10的编码器桥单元30获取编码的视频(音频)数据(E、p)，并且将视频(音频)数据(E、p)发送到通信终端5Π的收发单元51(步骤S70-1)。通信终端5fl的收发单元51接收视频(音频)数据(E、p)。通信终端5fl的回放控制单元53从收发单元51获取视频(音频)数据(E、p)。
[0134]在通信终端5fl中，译码单元50从回放控制单元53获取视频(音频)数据(E、p)，并且译码视频(音频)数据(E、p)(步骤S72-1)。之后，扬声器61根据该译码的音频数据E回放音频，而显示单元58根据从译码单元50获取的并且由渲染单元55渲染的译码的视频数据(E、P)来回放视频(步骤S74-1)。
[0135]对于通信终端5f2，如步骤S70-1的情况，收发单元31从该编码器桥单元30获取编码的视频(音频)数据(E、p)，并且将视频(音频)数据(E、p)发送到通信终端5f2的收发单元51 (步骤S70-2) ο通信终端5f 2的回放控制单元53获取视频(音频)数据(E、p)。
[0136]在通信终端5f2中，译码单元50从回放控制单元53获取视频(音频)数据(E、p)，并且译码视频(音频)数据(E、p)(步骤S72-2)。之后，扬声器61根据该译码的音频数据E回放音频，而显示单元58根据从译码单元50获取的并且由渲染单元55渲染的译码的视频数据(E、P)来回放视频(步骤S74-2)。
[0137]因此，与从通信终端5fl输出的视频(音频)相同的视频(音频)也从通信终端5f2输出。
[0138]在下面详细地描述在图12中的步骤S66处由白板单元20进行的渲染过程。图13是由根据本实施例的分发控制设备的白板单元进行的渲染过程的过程流程图。
[0139]白板控制单元22确定由收发单元31接收的数据是否是操作数据P(步骤S82)。如果该接收的数据不是操作数据(步骤S82处的否)，或者换句话说，该接收的数据是内容数据E，白板单元20渲染该内容数据E(步骤S84)。在步骤S84处进行的过程是在图12中的步骤S60处的渲染过程。
[0140]如果该接收的数据是操作数据(步骤S82处的是)，白板控制单元22确定包含在操作数据中的命令是否是笔划命令(步骤S86)。如果包含在该操作数据中的命令是笔划命令(步骤S86处的是)，白板控制单元22确定是否接收到鼠标松开(mouseup)事件(步骤S88)。
[0141]如果没有接收到鼠标松开事件(步骤S88处的否)，白板控制单元22在该坐标累积单元122中贮存包含在该操作数据中的坐标和传输ID(步骤S90)。传输ID是当接收到操作数据时给予包含笔划命令的操作数据的标识号。
[0142]如图14所示，坐标累积单元122可以在其中贮存诸如包含在该操作数据中的颜色和厚度的元笔划信息。除了 X坐标和Y坐标以外，坐标可以包含关于时间和压力的信息。在下文中，假设该笔划数据由元笔划信息和坐标列组成。
[0143]如果在步骤S88处接收到鼠标松开事件(在步骤S88处的是)，白板控制单元22确定与传输ID相关联的坐标是否被贮存在坐标累积单元122中(步骤S92)。如果与传输ID相关联的坐标不被贮存在坐标累积单元122中(在步骤S92处的否)，处理结束。
[0144]另一方面，如果与传输ID相关联的坐标被贮存在坐标累积单元122中(在步骤S92处的是)，白板控制单元22取回被贮存在坐标累积单元122中的所有坐标，并且从取回的所有坐标产生表示(一个或多个)笔划的笔划数据(步骤S94)。白板控制单元22从坐标累积单元122删除取回的坐标。
[0145]之后，白板控制单元22将所产生的笔划数据输出到白板单元20(步骤S96)。白板单元20将获取的笔划数据贮存在数据管理单元120中(步骤S98)。白板单元20渲染获取的笔划数据(步骤S84)。
[0146]如果包含在该操作数据中的命令不是笔划命令(在步骤S86处的否)，白板控制单元22确定包含在该操作数据中的命令是否是页面命令(步骤S100)。
[0147]如果包含在该操作数据中的命令是页面命令(在步骤SlOO处的是)，白板控制单元22将添加的页面输出到白板单元20 (步骤S102)。白板单元20将获取的页面贮存在数据管理单元120中(步骤S104)并且进行渲染(步骤S84)。
[0148]另一方面，如果包含在该操作数据中的命令不是页面命令(在步骤SlOO处的否)，白板控制单元22确定包含在该操作数据中的命令是否是图像命令(步骤S106)。
[0149]如果包含在该操作数据中的命令是图像命令(在步骤S106处的是)，白板控制单元22将添加的图像输出到白板单元20(步骤S108)。白板单元20将获取的图像贮存在数据管理单元120中(步骤S110)并且进行渲染(步骤S84)。
[0150]另一方面，如果包含在该操作数据中的命令不是图像命令(在步骤S106处的否)，白板控制单元22将操作数据作为鼠标事件输出到白板单元20(步骤S112)。白板单元20进行渲染(步骤S84)。当将数据贮存在数据管理单元120中时，白板单元20从所有的页面产生TOF数据，并且将TOF数据作为备份数据贮存在数据管理单元120中。
[0151]在日本特许专利公开号2014-200074中详细地公开了由通信终端5、分发控制设备2和终端管理设备7进行的时间调整、下行链路信道适应性控制、上行链路信道适应性控制、用于多重显示的过程以及用于产生各种帧数据的过程，并且因此省略了关于此的描述。
[0152]如上所述，根据本实施例的分发控制设备2贮存输入到通信终端5的显示器上的一系列坐标，并且从所有所贮存的坐标产生表示由用户画出的笔划的笔划数据。在贮存所产生的笔划数据之后，分发控制设备2渲染获取的笔划数据，从而产生作为静止图像(音频)数据的帧数据。此时，如果分发控制设备2具有已经获取的内容数据，分发控制设备2以作为操作数据的笔划数据与内容数据组合的布局来输出该数据。通过将作为静止图像(音频)数据的帧数据转换为允许分发到通信终端5的数据格式获取的帧数据(视频数据)被发送到通信终端5。帧数据(视频数据)在通信终端5的显示器上回放。以此方式，通过在分发帧数据期间贮存由用户输入的操作输入，能够在即使帧数据的分发结束之后也显示诸如笔划的操作输入。因此，提高了便利性。
[0153]将由本实施例的分发控制设备2执行的程序指令被作为(一个或多个)可安装的文件或(一个或多个)可执行的文件提供为记录在非瞬时性计算机可读取记录介质中，该非瞬时性计算机可读取记录介质诸如⑶-R0M、FD(软盘)、⑶R或DVD(数字化通用磁盘)。
[0154]将由本实施例的分发控制设备2执行的程序指令可被配置为贮存在连接到诸如互联网的网络的计算机中，并且提供为通过网络下载。将由本实施例的分发控制设备2执行的程序指令可被配置为通过诸如互联网的网络提供或分发。将由本实施例的分发控制设备2执行的程序指令可被配置为被提供为提前贮存在ROM等中。
[0155]将由本实施例的分发控制设备2执行的程序指令以模块的形式配置，该模块包括上述单元(收发单元21、白板控制单元22、传输FIFO 24、时间管理单元25、时间获取单元26、信道适应性控制单元27、编码器桥单元30、收发单元31、接收FIFO 34、识别单元35、延迟信息获取单元37a、信道适应性控制单元37b和译码单元40)。从实际硬件的角度来说，CPU(处理器)从记录介质读出程序指令，并且执行程序指令以将单元加载到主贮存装置，从而在主贮存装置上产生单元。此外，上述单元的功能的一部分或者全部例如可以通过专用的硬件电路实现。
[0156]根据本发明的方面，由于可以即使在视频分发结束之后显示用户的操作输入，所以可以提尚便利性。
[0157]尽管已经关于完整并且清楚的公开的特定实施例描述了本发明，但是所附权利要求并不因此受限制，而是应被理解为实现理应落入在这里所列出的基本教导中的本领域技术人员可能想到的所有修改和可替换构造。
【主权项】
1.一种分发控制设备，其通过网络连接到通信终端，所述分发控制设备包括: 接收单元，被配置为从所述通信终端接收表示由用户进行的操作的操作数据； 白板控制单元，被配置为当所述操作是笔划命令时，在第一贮存单元中贮存输入到所述通信终端中的并且被包含在所述操作数据中的一系列坐标、并且从所贮存的坐标产生表示笔划的笔划数据； 白板单元，被配置为在第二贮存单元中贮存所产生的笔划数据并且通过渲染所述笔划数据产生视频数据;和 发送单元，被配置为向所述通信终端发送通过将所产生的视频数据转换为允许分发的数据格式而获得的转换的视频数据。2.根据权利要求1所述的分发控制设备，其中当所述操作是添加页面的命令时，所述白板控制单元将所添加的页面贮存在所述第二贮存单元中。3.根据权利要求1或2所述的分发控制设备，其中当所述操作是添加图像的命令时，所述白板控制单元将所添加的图像贮存在所述第二贮存单元中。4.根据权利要求1到3的任一个所述的分发控制设备，其中所述白板单元以便携式文件格式来贮存所述笔划数据。5.—种将要由通过网络连接到通信终端的分发控制设备进行的分发控制方法，所述分发控制方法包括: 从所述通信终端接收表示由用户进行的操作的操作数据； 当所述操作是笔划命令时，在第一贮存单元中贮存输入到所述通信终端中的并且被包含在所述操作数据中的一系列坐标； 从所贮存的坐标产生表示笔划的笔划数据； 在第二贮存单元中贮存所产生的笔划数据； 通过渲染所述笔划数据产生视频数据;和 向所述通信终端发送通过将所产生的视频数据转换为允许分发的数据格式而获得的转换的视频数据。
【文档编号】H04N21/6405GK105847904SQ201610068978
【公开日】2016年8月10日
【申请日】2016年2月1日
【发明人】永原崇范, 笠谷洁, 村田宪彦
【申请人】株式会社理光