内容生成系统、内容生成装置以及内容生成程序的制作方法

专利名称：内容生成系统、内容生成装置以及内容生成程序的制作方法
技术领域：
本发明涉及一种使用计算机来生成与讲师的授课有关的 内容的内容生成系统、内容生成装置以及内容生成程序。
背景技术：
以往，提出有一种远程传输系统，该远程传输系统将在学 校内、公司内、演讲会等中进行的讲师的授课内容作为影像数 据、声音数据而取入，将这些影像数据、声音数据通过网络提 供给远距离处的听讲者。该远程传输系统还被称为在线学习
(e-learning),不拘于场所、时间而能够使听讲者听讲。由于其 利用容易而被使用于大学等教育现场、公司内的职员教育等各 种场所。
但是，在传输拍摄授课内容而得到的动画来使听讲者听讲 的方法中，存在仅被动视听单调的授课这种问题。由此，存在 招致听讲者的积极性(motivation)降低而无法使听讲者受到有 效的教育这种问题。
因此，存在这样一种系统在将授课内容传输给听讲者时， 能够减轻讲师侧进行的传输操作的负担，并且，另一方面，在 听讲者侧听讲授课时，能够听讲更接近实际授课的具有临场感 的授课(例如，参照专利文献l)。在该专利文献l所记载的系统 中，预先将授课资料转换为动画文件并传输给听讲者终端。授 课开始的同时将包括讲师的影像和声音的影像声音数据、讲师 所选择的讲师资料的编号、屏幕上的指针的位置数据、讲师记 载于白板的文字或者图形数据、讲师资料所包含的动画信息自 动传输给听讲者。专利文献l:日本特开2006-325156号公报

发明内容
然而，根据上述专利文献l所记载的系统，存在必须预先 准备资料这种问题。
具体地说，在根据授课状况、教室内听讲者的反应等而想 要拿出新资料的情况下，没有将该资料分发给听讲者的装置。 因此，讲师为了通过远程传输来听讲授课的听讲生，必须按照 预先决定的资料进行授课。由此，导致授课必定很单调，有可 能使听讲者的积极性降低。
因此，为了保持听讲者的积极性，期望提供更接近实际授 课的具有临场感的用于授课的内容。
另 一方面，需要减轻讲师制作内容的操作负担以使讲师能 够专心授课。
本发明是鉴于上述问题而完成的，其目的在于提供一种在 生成与讲师的授课有关的内容时能够减轻讲师侧进行的传输操 作的负担、并且在听讲者听讲授课时能够听讲更接近实际授课 的具有临场感的授课的内容生成系统、内容生成装置以及内容 生成程序。
为了解决上述问题，本发明的第一特征涉及一种使用计算 机来生成与讲师的授课有关的内容的内容生成系统。即本发明 的第 一 特征所涉及的内容生成系统具备讲师进行操作的主机终 端以及与上述主机终端相连接的内容生成装置。主机终端具备 授课资料显示部，其将授课资料显示于显示装置；以及显示图 像发送部，其发送显示于显示装置的显示图像数据。内容生成 装置具备讲师拍摄数据生成部，其将拍摄讲师的授课情景而 得到的讲师拍摄数据依次存储到上述内容生成装置的存储装
6置；以及动画数据生成部，其与讲师拍摄数据同步地根据从上 述主机终端接收到的显示图像数据来生成动画数据并存储到上 述存储装置。
在此，也可以动画数据具备根据/人上述主才几终端依次发送 的上述显示图像数据而生成的多个帧数据，内容生成装置的上 述动画数据生成部在规定的定时根据转换得到的上述帧数据的 数量和帧频来算出再现时间，追加或者删除上述帧数据地生成 上述动画数据使得上述再现时间与上述讲师拍摄数据的再现时 间一致。
另外，内容生成系统还可以具备客户终端，该客户终端与 上述内容生成装置相连接，由上述听讲者操作该客户终端。内 容生成装置还具备内容数据发送部，该内容数据发送部从存储 装置读出上述讲师拍摄数据和上述动画数据，将包括上述讲师 拍摄数据和上述动画数据的内容数据发送给上述客户终端。客 户终端具备内容数据接收部，其接收内容数据；以及内容数 据再现部，其再现内容数据并输出到输出装置，客户终端的上 述内容数据再现部在再现上述内容数据时，在上述讲师拍摄数 据的再现时间和上述动画数据的再现时间在》见定的定时不同的 情况下，将上述动画数据的再现时间变更为上述讲师拍摄时间 的再现时间。
本发明的第二特征涉及一种使用计算机来生成与讲师的 授课有关的内容的内容生成装置。即本发明的第二特征所涉及 的内容生成装置具备讲师拍摄数据生成部，其将拍摄讲师的 授课情景而得到的讲师拍摄数据依次存储到存储装置；动画数 据生成部，其从讲师进行操作的主机终端接收显示于上述主机 终端的显示装置的显示图像数据，与上述讲师拍摄数据同步地 根据上述显示图像数据来生成动画数据并存储到上述存储装
7置；以及内容数据发送部，其从存储装置读出上述讲师拍摄数 据和上述动画数据，发送包括上述讲师拍摄数据和上述动画数 据的内容数据。
在此，也可以动画数据具备根据从上述主4几终端依次发送 的显示图像数据而生成的多个帧数据，动画数据生成部在规定 的定时根据转换得到的上述帧数据的数量和帧频来算出再现时 间，追加或者删除上述帧数据地生成上述动画数据使得上述再 现时间与上述讲师拍摄数据的再现时间 一致。
本发明的第三特征涉及一种使用计算机来生成与讲师的 授课有关的内容的内容生成程序。即本发明的第三特征所涉及 的内容生成程序使上述计算机作为以下各部而发挥功能讲师 拍摄数据生成部，其将拍摄讲师的授课情景而得到的讲师拍摄 数据依次存储到存储装置；动画数据生成部，其从讲师进行操 作的主机终端接收显示于上述主机终端的显示装置的显示图像 数据，与上述讲师拍摄数据同步地根据上述显示图像数据来生 成动画数据并存储到上述存储装置；以及内容数据发送部，其 从存储装置读出上述讲师拍摄数据和上述动画数据，发送包括 上述讲师拍摄数据和上述动画数据的内容数据。
在此，也可以动画数据具备根据从上述主机终端依次发送 的显示图像数据而生成的多个帧数据，动画数据生成部在规定 的定时根据转换得到的上述帧数据的数量和帧频来算出再现时 间，追加或者删除上述帧数据地生成上述动画数据使得上述再 现时间与上述讲师拍摄数据的再现时间 一致。
根据本发明，能够提供一种在将授课内容传输给听讲者时 能够减轻讲师侧进行的传输操作的负担并且在听讲者听讲授课 时能够听讲更接近实际授课的具有临场感的授课的内容生成系 统、内容生成装置以及内容生成程序。


图l是本发明的实施方式所涉及的内容生成系统的系统概 要图。
图2是表示本发明的实施方式所涉及的主机终端的硬件结 构例的概要框图。
图3是表示本发明的实施方式所涉及的编码终端的硬件结 构例的概要框图。
图4是表示本发明的实施方式所涉及的内容服务器的硬件 结构例的概要框图。
图5是表示本发明的实施方式所涉及的客户终端的硬件结 构例的概要框图。
图6是用于说明本发明的实施方式所涉及的内容生成系统 的动作的顺序(之一)。
图7是用于说明本发明的实施方式所涉及的内容生成系统 的动作的顺序(之二)。
图8是用于说明本发明的实施方式所涉及的内容生成系统 的内容数据的图。
图9是表示在本发明的实施方式所涉及的客户终端再现内 容数据时显示的画面的 一 例的图。
图IO是表示在本发明的实施方式所涉及的编码终端编辑内 容时显示的画面的 一例的图。
图ll是表示在本发明的实施方式所涉及的编码终端编辑内 容时追加索引时显示的画面的 一例的图。
图12是说明本发明的较佳实施方式所涉及的指针坐标数据 生成部的处理的图。
图13是说明本发明的较佳实施方式所涉及的动画数据生成 部的处理的图。
9图14是说明本发明的较佳实施方式所涉及的动画数据生成 部的处理的流程图。
具体实施例方式
下面，参照附图来说明本发明的实施方式。 (内容生成系统)
图l是本发明的实施方式所涉及的内容生成系统l的系统概 要图。该内容生成系统1具备主机侧系统100、内容服务器200 以及客户终端300。主机侧系统IOO、内容服务器200以及客户终 端300分别经由因特网等通信网络、通过因特网协议等相互连 接。在主机侧系统100中将讲师所进行的授课内容实时地传输给 客户终端300,并且根据来自客户终端300的请求将其授课内容 传输给客户终端300。
(主才几侧系统)
主机侧系统100是被设置于授课者(或者演示者)实际进行 授课(或者演示)的教室或者会议室等的系统。该主机侧系统100 具备主机终端10、编码终端(内容生成装置)20以及讲师拍摄用 照相机60。主机终端10和编码终端20经由集线器90通过LAN线 缆相连接。主机侧系统100还可以具备屏幕30、投影仪40、指针 位置检测用照相机50、讲师手持的激光指示器70、白板80。
主机终端10是讲师所操作的终端。主机终端10将授课资料 显示于主机终端10的显示装置，并且将显示于显示装置的图像 数据发送给编码终端20。在此，显示于显示装置的图像是所谓 的显示于桌面的图像。
主机终端10通过影像用线缆与投影仪40相连接。投影仪40 将显示于主机终端IO的显示装置的与授课内容有关的资料投影 到屏幕30。屏幕30被设置于设置有主机侧系统100的教室等。教室等内的听讲生能够阅览被投影到屏幕3 0的图像，并且 投影到屏幕30的图像有时也成为后述的讲师拍摄用照相机60的 拍摄对象。
编码终端20与主机终端10相连接，并且与讲师拍^^用照相 机60、指针位置检测用照相机50以及白板80相连接。
讲师拍摄用照相机60是用于拍摄讲师的照相机。根据需要 能够拍摄屏幕30、白板80。优选随着讲师的移动而讲师拍摄用 照相机6 0的拍摄对象也变化。从编码终端2 0等进行讲师拍摄用 照相机60的拍摄区域的切换指示。
指针位置检测用照相机50拍摄讲师指示在屏幕30上的指 针并检测该指针的位置。该指针的位置在再现内容时使用于再 现指针的位置。指针位置检测用照相机50被固定配置于能够拍 摄屏幕30的位置。
作为指针位置的检测方法，例如，存在使用具备红外线激 光的激光指示器70的方法。该激光指示器70具备红外线激光作 为光源。指针位置检测用照相机50设置有仅透过红外线激光的 滤波器。利用指针位置检测用照相机50来拍摄屏幕30，由此指 针位置检测用照相机50能够选择性地仅拍摄指示在屏幕30上的 激光指示器的红外光。根据这种指针位置检测用照相机50,能 够不受屏幕30周围干扰光的影响地高精确度地仅检测指针位 置。
白板80具有将讲师写在白板80上的文字、图电子数据化并 输出到编码终端20的功能。该白板80具有如下结构在板面下， 在X轴方向和Y轴方向格子状地分别层叠排列有数十个左右的 细长环型的传感器线圏。讲师所使用的笔的前端嵌入有 一 个绕 阻线圏，与电容器相连接而形成LC谐振电路。事先对该板面的 传感器线圏群流动固定时间的交流电流来使之产生磁场。当讲师将笔接触到板面上时，在笔中流动感应电流而对电容器蓄电。 在此，当停止在板面的传感器线圈中流动的电流时，以蓄电到 笔侧的电容器的电为源，在笔侧的线圏中流动电流而产生磁场。 并且，受到该磁场的影响，在板面的传感器线圈中流动感应电 流。因此，通过检测电流流过的线圈的位置能够获知笔的位置 (坐标)。在1秒钟内反复进行数十次左右该4企测，由此计算机能 够识别写在板面上的文字、图。此外，除了上述白板以外，也 有在笔侧设置压力传感器、通过笔压来检测板上的坐标的白板。 在本实施方式中，如果利用计算机能够获取记入到白板上的文 字信息，则也可以应用具有任意结构的白板。 (主才几终端)
接着，参照图2来说明主机终端10的具体结构。主机终端IO
是讲师所使用的终端。具体地说，讲师将授课中想要给听讲者
看的资料显示于主机终端10的显示装置。由此，利用连接到主 机终端10的投影仪40来将显示于输出装置12的图像数据显示到 屏幕30,由此即使是没有预先分发的资料、根据问题等示出的 资料也能够示出给听讲生。
如图2所示，主机终端10至少具备输入装置11、输出装置 12、处理控制装置(CPU)13、通信控制装置14、存储装置15、 主存储装置16等。
主机终端10为通常的计算机。输入装置ll为键盘、鼠标等， 输出装置12为监视器等。通信控制装置14是成为接口的装置， 该通信控制装置14用于主机终端10通过集线器90和通信网络与 编码终端20相连接。主存储装置16为存储处理控制装置13的处 理中的命令、原始数据等的存储装置。
通过在主机终端IO安装执行规定处理的程序来对处理控 制装置13安装授课资料显示部131、显示图像发送部132以及索
12引信号发送部133。主机终端10的存储装置15具备授课资料存储 部151和授i果信息存储部152。
在存储装置15的授课资料存储部151中存储讲师所制作的 授课资料数据。在授课信息存储部15 2中存储讲师授课的属性信 息等。属性信息具体指授课题目、讲师姓名、授课日期和时间 以及存在多个授课的情况下的其授课的组名等。
授课资料显示部131从存储装置15读出存储于授课资料存 储部151的授课资料数据，显示到主机终端10的桌面即输出装置 (显示装置)12。在此，授课资料数据例如是指在主机终端10执 行的规定演示软件的文档以及图像、显示于主机终端IO的桌面 的图像、利用因特网浏览器显示的主页、照片浏览器等各种应 用程序的数据。显示于输出装置12的授课资料数据通过与主机 终端10连接的投影仪4 0被投影到屏幕3 0 。
显示图像发送部132是将显示于主机终端IO的输出装置12 的图像通过集线器90发送到编码终端20的单元。在显示于输出 装置12的图像的该发送中，例如使用VNC(虚拟网络计算 Virtual Network Computing)软件。显示图^f象发送部132在授:i果的 收录中随时将主机终端10的桌面图像发送给编码终端20。此时， 为了减少所发送的数据量，显示图像发送部132优选采用仅发送 差数据的方法等。
索引信号发送部133通过由讲师在授课中在授课告一段落 的时间输入指示来将索引信号发送给编码终端20。为了不妨碍 授课，优选通过预先设定为热键等来容易地输入该索引信号。
(编码终端)
接着，参照图3来说明编码终端(内容生成装置)20的具体结 构。编码终端20根据由讲师拍摄用照相机60拍摄到的讲师的授 课情景、从主机终端10获取到的显示图像数据来生成与授课有关的内容数据。编码终端2 0在讲师的授课中能够实时地制作内 容数据。另外，也可以生成对在编码终端20中生成的内容数据 附加索引等进行了进一 步编辑的内容数据。
如图3所示，编码终端20至少具备输入装置21、输出装置 22、处理控制装置(CPU)23、通信控制装置24、存储装置25、 主存储装置26等。
编码终端20为通常的计算机。输入装置21为键盘、鼠标等， 输出装置22为监视器等。编码终端20还具备影像输入部211、声 音输入部212、指针捕获输入部213、白^反图傳4lr入部214、显示 图像输入部215以及索引信号输入部216。通信控制装置24是成 为接口的装置，该通信控制装置24用于编码终端20通过集线器 90和通信网络与主机终端IO以及内容服务器200相连接。主存储 装置26为存储处理控制装置23的处理中的命令、原始数据等的 存储装置。
通过在编码终端20安装执行规定处理的程序来对处理控 制装置23安装讲师拍摄数据生成部231 、指针坐标数据生成部 232、白4反数据生成部233、动画数据生成部234、缩略图数据生 成部235、内容数据编辑部236以及内容数据发送部237。编码终 端20的存储装置25具备讲师拍摄数据存储部251、白板数据存储 部252、动画数据存储部253、缩略图数据存储部254、管理数据 存储部255。
影像输入部211获取由讲师拍摄用照相机60拍摄到的影像 数据。另外，声音输入部212获取通过与讲师拍摄用照相机60 相连接的麦克风获取到的声音数据。指针捕获输入部213获取由 指针位置检测用照相机5 0拍摄到的影像数据。白板图像输入部 214获取记载在白板8 0上的文字等的坐标数据和颜色数据。显示 图像输入部215从主机终端1 O获取显示图像数据。索引信号输入部216获取乂人主才几终端10输入的索引信号。
讲师拍摄数据生成部231根据通过影像输入部211和声音 输入部212而获取到的影像数据和声音数据来生成讲师拍摄数 据。讲师拍摄数据生成部2 31将所生成的讲师拍摄数据存储到存 储装置25的讲师拍摄数据存储部251。在此，讲师拍摄数据例如 为MPEG等动画数据。讲师拍摄数据生成部231优选在授课中实 时获取影像数据和声音数据来生成讲师拍摄数据。
指针坐标数据生成部232对通过指针捕获输入部213而获 取的指针图像进行图像处理，将指针指示位置算出为屏幕30中 的坐标数据。通过讲师拍摄数据生成部231,将所算出的指针指 示位置的信息与讲师拍摄数据2 51的时间信息相关联地存储。例 如，在讲师拍摄数据251为MPEG数据的情况下，也可以将指针 的位置信息关联为M P E G数据的脚本。
白板数据生成部233每隔固定时间(例如，在l秒钟内数十次〕 获取通过白板图像输入部214而获取的文字的坐标数据和颜色 信息，与授课的时间信息相关联地生成白板数据。白板数据生 成部233将所生成的白板数据存储到白板数据存储部252。
动画数据生成部234将通过显示图像输入部215获取的显 示于主机终端10的输出装置(显示装置)12的图像变成动画并生 成动画ft据253。动画数据生成部234将所生成的动画It据存^f诸 到存储装置25的动画数据存储部253。此时，在同时再现讲师拍 摄数据、白板数据时，为了定时不偏离而优选与讲师拍摄数据 同步地生成动画数据。
当缩略图数据生成部235通过索引信号输入部216而从主 机终端IO输入索引信号时，根据此时的讲师拍摄数据的图像制 作缩略图数据，并将索引信号的标识符与缩略图数据相关联地 存储到缩略图数据存储部254。此时，缩略图数据生成部235制作索引作为内容数据的段落，将其信息更新为管理数据存储部
255的管理数据。
内容数据编辑部236对内容数据进行编辑，该内容数据包 括存储于讲师拍摄数据存储部251的讲师拍摄数据、存储于白板 数据存储部252的白板数据、存储于动画数据存储部253的动画 数据、存储于缩略图数据存储部254的缩略图数据以及存储于管 理数据存储部255的内容的管理数据等。具体地说，在讲师忘记 输入索引信号的情况下，内容数据编辑部236能够进行在规定的 定时制作缩略图数据或者附加内容的标题等处理。
在管理数据存储部255的管理数据中存储各处理中内容的 传输、再现所需的数据，所述各处理为由讲师拍摄数据生成部 231、指针坐标数据生成部232、白板数据生成部233、动画数据 生成部2 3 4以及缩略图数据生成部2 3 5进行的处理。
内容数据发送部237将内容数据发送给内容服务器200。内 容数据包括存储于讲师拍摄数据存储部251的讲师拍摄数据、存 储于白板数据存储部252的白板数据、存储于动画数据存储部 253的动画数据、存储于缩略图数据存储部254的缩略图数据以 及存储于管理数据存储部2 5 5的内容的管理数据等。通过内容数 据发送部23 7可以在讲师授课 一 方实时地发送内容数据，也可以 在由内容数据编辑部236进行的内容数据的编辑完成之后发送 内容数据。
(内容服务器)
接着，参照图4来说明内容服务器200的具体结构。该内容 服务器200至少具备处理控制装置(CPU)201 、通信控制装置 202、存储装置203、主存储装置204等。
内容服务器200为通常的计算机。通信控制装置202是成为 接口的装置，该通信控制装置202用于内容服务器200通过通信网络与编码终端20和客户终端300相连接。主存储装置204为存 储处理控制装置201的处理中的命令、原始数据等的存储装置。
通过在内容服务器2 00安装执行规定处理的程序来对处理 控制装置201安装内容数据接收部2011和内容数据传输部2012。 内容服务器200的存储装置203具备讲师拍摄数据存储部2031、 白板数据存储部2032、动画数据存储部2033、缩略图数据存储 部2034、管理数据存储部2035。
内容数据接收部2011是接收从编码终端20发送的内容数 据并存储到存储装置203的单元。内容数据接收部2011存储到存 储装置2 0 3的数据具体为存储于讲师拍摄数据存储部2 0 31的讲 师拍摄数据、存储于白板数据存储部2032的白板数据、存储于 动画数据存储部2033的动画数据、存储于缩略图数据存储部 2034的缩略图数据以及存储于管理数据存储部2035的管理数据等。
内容数据传输部2012从存储装置203读出内容数据，在授 课中实时地或者根据来自客户终端300的请求来传输内容数据。 内容数据传输部2012传输给客户终端300的数据具体为存储于 讲师拍摄数据存储部2031 、白板数据存储部2032、动画数据存 储部2033、缩略图数据存储部2034、管理数据存储部2035的各 数据。
(客户终端300)
接着，参照图5说明客户终端300的具体结构。该客户终端 300至少具备处理控制装置(CPU)301、通信控制装置302、存储 装置303、主存储装置304、输出装置305等。
客户终端300为通常的计算机。通信控制装置302是成为接 口的装置，该通信控制装置302用'于客户终端300通过通信网络 与内容服务器200相连接。主存储装置304为存储处理控制装置
17301的处理中的命令、原始数据等的存储装置。输出装置305是 利用监视器、扬声器等来输出处理控制装置301的处理结果的装置。
在客户终端300安装有被称为浏览器的软件，通过该浏览 器对处理控制装置301安装内容数据接收部3011和内容数据再 现部3012。客户终端300的存储装置303具备讲师拍摄数据存储 部3031、白板数据存储部3032、动画数据存储部3033、缩略图 数据存储部3034以及管理数据存储部3035。
内容数据接收部3011接收从内容服务器200发送的内容数 据并存储到存储装置303。内容数据接收部3011存储到存储装置 3 0 3的数据具体为存储于讲师拍摄数据存储部3 0 31的讲师拍摄 数据、存储于白板数据存储部3032的白板数据、存储于动画数 据存储部3 0 3 3的动画数据、存储于缩略图数据存储部3 0 3 4的缩 略图数据以及存储于管理数据存储部3035的管理数据。存储于 存储装置303的各数据是与存储于内容服务器200的存储装置 2 0 3的各数据对应的数据。
内容数据再现部3012再现存储于客户终端300的存储装置 303的各数据并输出到输出装置305。此时，在授课进展的同时 同步地获取并再现讲师拍摄数据、白板数据以及动画数据。
(授课传输方法)
接着，参照图6、图7来说明本发明的内容生成系统1的动作。 预先，如图l所示那样连接各种设备，并接通各种设备的电源。
在步骤S1中，主机终端10对编码终端20发送编码开始的指 示。当编码终端20接收到编码开始的指示时，确认连接到编码 终端20的各种设备的状态。如果能够进行编码，则在步骤S2中， 编码终端20发送应答信号。此时，编码终端20开始从各种装置 接收数据，并且生成管理数据并存储到管理数据存储部255。编码终端20在发送应答信号时一并开始后述的步骤S6至步骤S10 的处理。
当确认从编码终端20发送了应答信号时，在步骤S4中，讲 师开始授课。
下面，步骤S5至步骤S13都被同时并行地进行处理，但是 为了便于说明划分为每个步骤进行说明。
当授课开始时，在步骤S5中，由主机终端10的显示图像发 送部132将主机终端10的显示图像随时发送给编码终端20。在步 骤S6中，通过编码终端20的显示图係4#入部215输入显示图傳_ 数据。并且，在步骤S7中，由编码终端20的动画数据生成部234 根据在步骤S 6中接收到的显示图像数据来生成动画数据。所生 成的动画数据被存储到存储装置25的动画数据存储部253 。
另 一方面，在步骤S8中，当由编码终端20的影像输入部211 和声音输入部212获取讲师的授课情景的拍摄数据并在步骤S9 中获取指针捕获时，由讲师拍摄数据生成部231和指针坐标数据 生成部2 3 2生成讲师拍摄数据。所生成的讲师拍摄数据被存储至'J 讲师拍摄数据存储部2 51 。
另一方面，在步骤S10中，当由编码终端20的白板图像输 入部214获取记载于白板80的文字等数据时，由白板数据生成部 233生成白板数据。所生成的白板数据被存储到白板数据存储部 252。
在步骤S11中，当授课中由讲师发送索引信号时，在步骤 S12中，由编码终端20的缩略图数据生成部235制作缩略图。所 制作的缩略图被存储到縮略图数据存储部254。并且，在步骤 S13中，生成将发送了索引信号的定时与所生成的缩略图相关 联的管理数据，在步骤S13中更新管理数据存储部255。由此， 通过在授课中附加多个索引，听讲生能够容易地听讲任意的主题。
这样，在授课中随时同时并行地执行步骤S5至步骤S13的
处理，在编码终端20中生成内容数据。
并且，与步骤S5至步骤S13的处理平行地，在步骤S21中，
据发送给内容服务器200。当内容服务器200的内容数据接收部 2011接收到内容数据时，在步骤S22中将接收到的内容数据存 储到存储装置203。在实时地传输内容数据的情况下，与步骤 S5至步骤S13的处理同时并行地执行步骤S21以及步骤S22的处 理。另一方面，在不进行实时传输的情况下，在任意的定时执 行步骤S21以及步骤S22的处理。
并且，在步骤S23中，由内容服务器200的内容数据传输部 2012将存储于存储装置203的内容数据发送给客户终端300a。此 时，在实时地传输内容的情况下，与步骤S5至步骤S13、步骤
输处理。
客户终端300a通过内容数据接收部3011接收内容数据，并 且，在步骤S24中，由内容数据再现部3012再现内容数据，输 出到输出装置3 0 5 。操作客户终端3 0 0 a的听讲者阅览和视听从输 出装置305输出的内容来学习。
在实时地传输内容数据的情况下，在授课过程中随时执行 步骤S5至步骤S24的处理。
当在步骤S25中授课结束时，在步骤S26中从主机终端10对 编码终端20发送编码结束的指示。当编码终端20接收到编码结 束的指示时，结束从与编码终端20相连接的各种装置接收数据， 在步骤S27中，对主机终端10发送应答信号。
在以上处理中，授课中的内容的制作处理结束，但是为了制作更高质量的内容，也可以在步骤S28中，在编码终端20中 通过内容数据编辑部236编辑内容数据。具体地说，能够对内容 数据插入索引、变更再现内容数据时的布局配置、变更再现内 容时的再现列表等变更各种设定。当编辑内容数据时，通过内 容数据编辑部236反应到管理数据存储部255的管理数据。当在 步骤S29中通过内容数据发送部237将内容数据发送到内容服 务器200时，在步骤S30中，通过内容服务器200的内容接收部 2011接收内容数据，并且更新存储装置203的内容数据。
通过从客户终端300发送请求，这样登记到内容服务器200 的内容数据能够在任意的定时传输内容。
具体地说，当在步骤S31中从客户终端300b发送内容的传 输请求时，内容服务器200的内容传输部2012从存储装置203获 取被请求的内容数据。并且，在步骤S32中，内容传输部2012 将获取到的内容数据发送到客户终端300b。在客户终端300b中， 能够在听讲者方便的定时再现获取到的内容数据来进行学习。
(内容数据)
接着，参照图8来说明本发明的较佳实施方式中的内容数 据。内容数据具备讲师拍摄数据、白板数据、动画数据。根据 授课的方式、照相机的台数，内容数据还可以具备其它数据。
讲师拍摄数据具备影像数据、声音数据以及脚本数据。影 像数据和声音数据是由讲师拍摄用照相机6 0拍摄到的讲师的图 像和声音的数据。脚本数据是附加于讲师拍摄数据的数据，在
本实施方式中是表示由讲师利用激光指示器70所指示的屏幕30 上的位置的数据。该影像数据、声音数据以及脚本数据按照授 i果的时间线而同步。
白板数据是记载于白板8 0的文字等数据。白板数据也按照 授课的时间线与讲师拍摄数据同步。动画数据是基于显示在主机终端IO的输出装置12的显示
图像的数据。动画数据也按照授课的时间线与讲师拍摄数据同步。
在客户终端300中，例如通过图9所示那样的内容显示画面P301来显示内容数据。
内容显示画面P301具备影像框F301、显示图像框F302、白板框F303、缩略图框F304以及激光指针F305。
影像框F301是再现讲师拍摄数据存储部3031的讲师拍摄数据中的影像数据的框。此外，讲师拍摄数据中的声音数据被转换为声音信号而通过扬声器输出。
显示图像框F302是再现动画数据存储部3033的动画数据的框。在显示图像框F302中，作为在主机终端10的桌面显示的图像的投影到屏幕30的图像被再现为动画数据。在此，在显示图像框F302中，在讲师拍摄数据中被保存为指针坐标数据的激光指针的位置被再现为激光指针F305。由此，在客户终端300中能够再现在授课中投影到投影仪的图像和讲师所指示的激光指针的位置。
白板框F303是再现白板数据存储部3032的白板数据的框。
缩略图框F304显示存储于缩略图数据存储部3034的缩略像。通过选择缩略图框F304的缩略图中的某一个而从与该缩略图相关联的时刻起再现内容数据。
在该内容显示画面P301中，能够变更布局并适当地变更各框的位置、大小。
(内容编辑)
接着，参照图IO以及图ll来说明在本发明的较佳实施方式中在编码终端20中由内容数据编辑部236编辑内容数据的画面。图IO是内容的编辑画面P201。编辑画面P201具备预览显示部F201、编辑控制部F202、索引列表显示部F203、删除列表显示部F204以及时间线显示部F205 。
预览显示部F201是示出在客户终端300中实际如何显示内容数据的预览画面。
编辑控制部F202是输入用于显示到预览显示部F201的再现、停止、快进、快退等指示的接口。另外，编辑控制部F202具备索引追加图标I201、删除开始图标I202以及删除结束图标1203。
关于索引追加图标I201，当在规定的定时点击索引追加图标12 01时，在该定时由缩略图数据生成部2 3 5生成缩略图数据，生成内容的段落。在此，所生成的各索引显示在索引列表显示部F203中。
此时，显示图ll所示那样的索引追加画面P202。在此，具备指定追加索引的时间的时间指定部F251、指定该索引以后的内容的显示布局的布局指定部F252、指定在该索引以后的内容再现时要显示的图像数据的外部文件指定部F 2 5 3等。
另 一方面，删除开始图标I202和删除结束图标I203是用于删除在内容数据再现中为无声部分等不需要部分的图标。当通过各图标指示删除内容数据时，被删除的部分显示于删除列表显示部F204。显示于删除列表显示部F204的部分/人内容的再现列表被删除，在再现内容时，跳过被删除的部分进行再现。通过使用再现列表来再现内容，不变更从各装置获取到的数据而能够任意地变更要再现的内容。
时间线显示部F205显示当前在预览显示部F201中4皮再现的时间位置、所设定的索引的时间位置、被删除的时间位置等按照授课中的时间线的全部授课的时间信息。
c指针坐标数据生成部)在此，说明编码终端(内容生成装置)20通过指针坐标数据生成部232来生成指针坐标数据的处理。指针坐标数据生成部232对通过指针捕获输入部213获取的指针的图像进行图像处理，将指针的指示位置算出为屏幕30中的坐标数据。
在本发明的较佳实施方式中，指针位置检测用照相机50对被激光指示器70照射的屏幕30进行拍摄并进行图像处理，由此获取被激光指示器7 0照射的位置。
具体地说，如果在授课开始之前设置指针位置检测用照相机50，则从该设置位置拍摄屏幕30。图12的(a)是这样拍摄得到的屏幕基准数据261的一例。屏幕基准数据261包括屏幕30a，屏幕3Oa包括由投影仪40投影的投影区域3Ob。由投影仪40投影的数据是显示于主机终端10的显示装置12的显示图像数据等。投影区域为通过投影仪40而进行显示的区域，因此通常为长方形。但是，根据投影仪40与屏幕30的距离、角度、指针位置检测用照相机50的设置位置等，如图12的(a)所示，有时投影区域30b的四角不是直角而是矩形。需要指针坐标数据生成部232即使在这样投影区域30b变形的情况下也正确抓住指针位置71的位置。
指针坐标数据生成部232在授课开始前拍摄得到的屏幕基准数据261中获取投影区域30b的轮廓信息。例如，操作者利用输入装置来指定屏幕基准数据261上的投影区域的矩形的四角，由此指针坐标数据生成部232能够获取投影区域30b的轮廓信自、
并且，当指针坐标数据生成部232获取投影区域30b的轮廓时，在图12的(b)所示的校正数据262中将投影区域30b坐标转换
中显示动画数据时的区域的大小或者分辨率对应。例如，在显示动画数据的区域为800x600像素的情况下，校正数据262也为細x600像素。
当指针坐标数据生成部232获取来自指针位置检测用照相机50的图像数据时，搜索图像数据中的各像素值来获取红外光的位置。在红外光的位置在图像数据中为白色的情况下，关于图像数据中的各像素，获取RGB的值较高的坐标作为红外光的位置。并且，使用校正数据262来将获取到的红外光的位置转换为校正数据262上的位置，从而获取指针位置的坐标。具体地说，确定指针位置71a使得图12的(a)的投影区域30b中的指针位置71的相对位置与校正数据262上的指针位置71a的相对位置相同。
这样，在授课开始前获取屏幕基准数据261并生成校正数据262,由此能够与投影仪40、屏幕30以及指针位置检测用照相机50等的设置位置无关地检测恰当的指针位置。
(内容数据生成时的同步)
接着，说明内容数据生成时的同步处理、特别是动画数据与讲师拍摄数据的同步处理。
编码终端(内容生成装置)20使由讲师拍摄用照相机60获取到的讲师拍摄数据与从主机终端10荻取到的显示图像数据同步地生成内容数据。从不同的装置通过不同的处理来获取讲师拍摄数据和显示图像数据，因此即使是与 一 个授课有关的数据，根据各装置的处理能力也有可能产生时间偏离。另外，在动画数据生成部234中，由于根据显示图像数据生成帧数据时的处理负荷等各种情况而有可能发生帧数据丟失。
在这种情况下，在通过客户终端300a等再现两个小时等长时间的授课内容数据的情况下，即使同时再现讲师拍摄数据和动画数据也会导致其时间偏离变大，有可能变得很难看。因此，在本申请的较佳实施方式中，调整动画数据以缩小时间偏离。动画数据生成部234所生成的动画数据具备根据从主机终端10依次发送的显示图像数据而生成的多个帧数据。动画数据生成部234每次在规定的定时获取显示图像数据时，转换为帧数据，并对其帧数据进行结合，由此生成动画数据。在此，动画数据生成部234优选将动画数据划分并制作为规定的数据大小。由此，能够减少再现、停止等操作的开销时间。另外，通过将一个文件的大小设得较小，能够仅编辑或者发送所需的文件。
动画数据生成部23 4在规定的定时根据所转换的帧数据的数量和帧频来算出再现时间，追加或者删除帧数据地生成动画数据使得再现时间与讲师拍摄数据的再现时间 一 致。
在此，说明帧频为10fps(Frames Per Second:每秒帧数)的情况。动画数据生成部234每隔0.1秒从主才几终端IO获取显示图像数据，生成帧数据。动画数据生成部234例如每隔10秒询问讲师拍摄数据的再现时间，对动画数据追加或者删除帧数据使得动画数据生成部234中的动画的再现时间变得相同。
例如，在帧频为10fps的情况下，在经过10秒钟时，应该生成1000个帧数据。但是，存在产生帧数据的丢失而有时仅制作995个帧数据的情况。由于动画数据生成部234中的处理延迟等而要生成的帧数据未生成、与主机终端10之间的通信故障等产生帧数据的丢失。在这种情况下，通过对动画数据插入不足的五个帧数据能够取得与讲师拍摄数据之间的同步。
参照图13进行说明。如图13所示，按照时间轴t来再现讲师拍摄数据，另一方面，按照时间轴T来再现动画数据。在授课开始时同时开始讲师拍摄数据和动画数据，因此tO-TO。
动画数据生成部234每隔As从主机终端10接收显示图像数据，生成帧数据F。在经过了规定时间的定时，对动画数据的再现时间Tl与讲师拍摄数据251的再现时间tl进行比较。在此，关于动画数据的再现时间，通过对所生成的帧数据数量与帧频进行乘法运算来获取再现时间。在T1—1的情况下，不增减帧数据。
但是，如图13所示，在帧数据F7的制作中花费时间的情况下等，动画数据生成部234有时不制作帧数据F8而制作帧数据F9。在这种情况下，原本在T2至T3之间必须制作三个帧数据，但是由于没有制作F8，因此仅制作两个帧数据。根据所制作的帧数据的数量而算出的动画数据的再现时间与讲师拍摄数据2 51的再现时间相比少 一 个帧数据的时间。
因此，动画凄史据生成部234补足帧凄t据F8,调整动画的帧数据数量使得T3=t3 。所插入的帧数据F8也可以是帧数据F7或者F9的复制。
以上，说明了没有制作帧数据的情况，但是从主机终端IO没有发送显示图像数据时也同样地存在帧数据丢失的情况。在这种情况下，也同样地，能够根据动画数据的帧的数量算出再现时间并追加帧凄t据。
另外，在主机终端10中没有图像更新的情况下，当从主机终端IO接收到没有图像更新的意思的数据时，如帧数据F4和F5所示那样插入空帧。由此，即使在没有图像更新的情况下，也能够在取得动画数据253的再现时间和讲师拍摄用数据251的再现时间的定时的同时抑制动画数据253的数据大小。另外，在图13中，以规定大小(例如5M字节等)分割动画数据253。
参照图14来说明动画数据生成部234的动画数据生成处理。在图14中，为了说明与讲师拍摄数据之间的同步，还记载了讲师拍摄数据生成部231的讲师拍摄数据生成处理的一部分处理。
预先，在步骤S101中，动画数据生成部234对动画数据的
27再现时间T进行初始化，开始获取显示图像数据。另一方面，
讲师拍摄数据生成部2 31也对讲师拍摄数据的拍摄时间t进行初 始化，开始生成讲师拍摄数据。在此，通过图6的步骤S2示出 的发送应答信号来与授课开始同时地开始动画数据生成部234 的动画数据生成处理和讲师拍摄数据生成部231的讲师拍摄数 据生成处理。
在步骤S102中，动画数据生成部234向主机终端10询问显 示图像。在此，每隔规定时间执行步骤S102中的显示图像数据 的询问。当在步骤S103中接收到显示图像数据没有变化的意思 的数据的情况下，进入步骤S106,在没有经过规定时间的情况 下，在步骤S102中再次向主机终端IO询问显示图像数据。
另 一方面，在步骤S103中接收到了显示图像数据的情况 下，在步骤S104中动画数据生成部234根据显示图像数据来生 成帧数据。并且，在步骤S105中根据需要生成空帧数据。具体 地说，在前一个处理中在步骤S103中接收到了显示图像没有变 化的数据的情况下，根据接收到该没有变化的数据的次数来生 成空帧数据。由此，仅由显示图像数据的差数据生成帧数据， 并且再现时刻不会偏离。
当在步骤S106中经过规定时间时，进行使动画数据的再现 时间与讲师拍摄数据的再现时间同步的处理。具体地说，在步
据的数量和在步骤S105中生成的空帧数据的数量合计而得到 的数据的数量与帧频进行乘法运算，算出再现时间ATi。并且， 在步骤S108中，通过对上次同步的时刻的再现时间T(i-l)和在 步骤S107中算出的ATi进行乘法运算来获耳又当前时刻的动画数 据的再现时间Ti。
另一方面，在步骤S202中，获取讲师拍摄数据的当前时刻
28的再现时间ti。在步骤S109中，动画数据生成部234判断在步骤 S108中算出的Ti和在步骤S202中获取的ti是否一致。
具体地说，在图13所示的示例中，在生成了帧数据F9的定 时进行同步的情况下，关于动画数据，从T2起生成两个帧数据， 因此用2*11(11=帧频)算出厶丁3。在此，用T2+AT3来算出T3。
另一方面，讲师拍摄数据的再现时刻被获取为t3,因此， 在步骤S109中判断t3与T2+AT3是否一致。在此，帧数据F8丢失， 因此原本AT3必须为3*n，但是算出为2*11。因而，比较t3与 T2+AT3 ，动画数据的再现时间与讲师拍摄数据的拍摄时间相比 时间也4豆Pn。
在步骤S109中判断为T343的情况下，处理进入步骤Slll。 另一方面，在步骤S109中判断为不是T3-t3的情况下，处理进入 步骤SllO。
在步骤S110中，将(ti-Ti)/帧频数量的帧补足给动画数据。 在上述示例的情况下，ti-Ti为"n,因此将一个帧数据补足给动 画数据。由此，新算出的T3与t3 —致，因此能够使动画数据与 讲师拍摄数据同步。
在步骤S111中未被输入授课结束的指示的情况下，进入步 骤S10 2,动画数据生成部2 3 4再次向主机终端10询问显示图像 数据。另一方面，当在步骤S111中被输入授课结束的指示时， 直接结束处理。
以上，说明了动画数据的帧数据丢失的情况。在动画数据 的再现时间较长的情况下，间除动画数据的帧数据，由此能够 取得动画数据与讲师拍摄数据的同步。
(效果)
这样，根据本发明的较佳实施方式，能够将通过各种单元 获取授课情形而得到的数据同步显示于 一 个画面，因此能够提供接近实际授课的具有临场感的在线学习内容。由此，能够保 持听讲者的积极性并能够期望取得较高教学成果。
另外，通常，在制作在线学习用内容时，内容的编辑等需 要庞大的时间，但是根据本发明的较佳实施方式，讲师仅发出 授课开始和结束的信号来进行授课就能够实时地制作在线学习 内容。由此，能够缩短内容的制作、编辑的时间，并能够容易 地提供质量较高的在线学习内容。
另外，在本发明的较佳实施方式中，特别在授课中能够实 时地将显示于显示装置的图像数据变成动画。以往，在在线学 习用的内容的录像中，仅按照预先决定的授课计划来进行，因 此讲师必须按照该授课计划来进行授课。但是，根据本发明的 较佳实施方式，讲师不用按照授课计划而例如能够 一 边观察在 教室内听讲授课的听讲生的反应一边进行授课。由此，即使在 作为在线学习而传输内容的情况下，也能够提供具有临场感的 授课。
并且，在本发明的较佳实施方式中，在生成内容数据时， 将授课内容作为动画数据进行记录，并且使授课内容与讲师拍 摄数据同步。由此，听讲生能够舒适地阅览内容数据。另外， 内容数据由多个数据构成，因此在再现内容数据时也有可能各 数据的每个数据产生偏离。但是，在本发明的较佳实施方式中， 在再现时也每隔规定时间取得同步，因此听讲生能够舒适地阅 览内容数据。
30
权利要求
1.一种内容生成系统，使用计算机来生成与讲师的授课有关的内容，其特征在于，具备上述讲师进行操作的主机终端以及与上述主机终端相连接的内容生成装置，其中，上述主机终端具备授课资料显示部，其将上述授课的资料显示于显示装置；以及显示图像发送部，其发送显示于上述显示装置的显示图像数据，上述内容生成装置具备讲师拍摄数据生成部，其将拍摄上述讲师的授课情景而得到的讲师拍摄数据依次存储到上述内容生成装置的存储装置；以及动画数据生成部，其与上述讲师拍摄数据同步地根据从上述主机终端接收到的显示图像数据来生成动画数据并存储到上述存储装置。
2. 根据权利要求l所述的内容生成系统，其特征在于， 上述动画数据具备根据从上述主机终端依次发送的上述显示图像数据而生成的多个帧数据，上述内容生成装置的上述动画数据生成部在规定的定时根 据转换得到的上述帧数据的数量和帧频来算出再现时间，追加 或者删除上述帧数据地生成上述动画数据使得上述再现时间与 上述讲师拍摄数据的再现时间 一致。
3. 根据权利要求1或2所述的内容生成系统，其特征在于， 上述内容生成系统还具备客户终端，该客户终端与上述内容生成装置相连接，由上述听讲者操作该客户终端，上述内容生成装置还具备内容数据发送部，该内容数据发送部从上述存储装置读出上述讲师拍摄数据和上述动画数据， 将包括上述讲师拍摄数据和上述动画数据的内容数据发送给上 述客户终端，上述客户终端具备内容数据接收部，其接收上述内容数据；以及 内容数据再现部，其再现上述内容数据并输出到输出装置， 上述客户终端的上述内容数据再现部在再现上述内容数据 时，在上述讲师拍摄数据的再现时间和上述动画数据的再现时 间在规定的定时不同的情况下，将上述动画数据的再现时间变 更为上述讲师拍摄时间的再现时间。
4. 一种内容生成装置，使用计算机来生成与讲师的授课有 关的内容，其特征在于，具备讲师拍摄数据生成部，其将拍摄上述讲师的授课情景而得 到的讲师拍摄数据依次存储到存储装置；动画数据生成部，其从上述讲师进行操作的主机终端接收 显示于上述主机终端的显示装置的显示图像数据，与上述讲师 拍摄数据同步地根据上述显示图像数据来生成动画数据并存储 到上述存储装置；以及内容数据发送部，其从上述存储装置读出上述讲师拍摄数 据和上述动画数据，发送包括上述讲师拍摄数据和上述动画数 据的内容数据。
5. 根据权利要求4所述的内容生成装置，其特征在于， 上述动画数据具备根据从上述主机终端依次发送的显示图像数据而生成的多个帧数据，上述动画数据生成部在规定的定时根据转换得到的上述帧 数据的数量和帧频来算出再现时间，追加或者删除上述帧数据 地生成上述动画数据使得上述再现时间与上述讲师拍摄数据的再现时间一致。
6. —种内容生成程序，使用计算机来生成与讲师的授课有 关的内容，其特征在于使上述计算机作为以下各部而发挥功能讲师拍摄数据生成部，其将拍摄上述讲师的授课情景而得 到的讲师拍摄数据依次存储到存储装置；动画数据生成部，其从上述讲师进行操作的主机终端接收 显示于上述主机终端的显示装置的显示图像数据，与上述讲师 拍摄数据同步地根据上述显示图像数据来生成动画数据并存储 到上述存储装置；以及内容数据发送部，其从上述存储装置读出上述讲师拍摄数 据和上述动画数据，发送包括上述讲师拍摄数据和上述动画数 据的内容数据。
7. 根据权利要求6所述的内容生成程序，其特征在于，像数据而生成的多个帧数据，上述动画数据生成部 在规定的定时根据转换得到的上述帧 数据的数量和帧频来算出再现时间，追加或者删除上述帧数据 地生成上述动画数据使得上述再现时间与上述讲师拍摄数据的 再现时间一致。
全文摘要
内容生成系统(1)具备主机终端(10)和编码终端(20)。主机终端(10)具备授课资料显示部(131)，其将授课资料显示于桌面；以及桌面图像发送部(132)，其发送桌面图像。编码终端(20)具备讲师拍摄数据生成部(231)，其生成拍摄讲师的授课情景而得到的讲师拍摄数据；动画数据生成部(234)，其与讲师拍摄数据同步地根据从主机终端(10)接收到的桌面图像来生成动画数据；以及内容数据发送部(237)，其发送包括讲师拍摄数据和上述动画数据的内容数据。
文档编号H04N7/173GK101681564SQ200880017170
公开日2010年3月24日 申请日期2008年5月21日 优先权日2007年5月22日
发明者中岸哲也, 小岛永士, 林桂二, 伟 熊 申请人:株式会社阿奈特