专利名称：书形显示设备和使用书形显示设备编辑视频的方法
技术领域：
本发明涉及能够将组成视频的多份帧数据显示为静态图像的书形显示设 备，以及使用书形显示设备编辑视频的方法。
背景技术：
日本专利公开No. 2004-279631是现有技术的示例。
已经提供了各种商业使用和消费者视频编辑装置。近些年来，特别地， 通过使用专用机器或通用个人计算机实现的所谓非线性编辑器已经使能具有 改进的灵活性和有效性的视频编辑。
发明内容
然而，这样现有的视频编辑装置需要用户执行复杂的操作，因此需要相 当多的用户技能。
同样地，本发明提供使用户能够容易地检查视频的内容，并且使用户能 够利用直观的操作编辑视频。
根据本发明的一个实施例，提供书形显示设备，包括封面部分；每一 个由柔性纸状显示装置(flexible paper-like display device)形成的多 个书页部分(sheet portion);和装订封面部分和多个书页部分的书脊部分， 使得书形显示设备具有带有组成页的书页部分的书状结构。
书形显示设备还包括外部接口部件，配置来从外部装置接收组成视频 的多份帧数据；储存部件，配置来储存经由外部接口部件接收到的多份帧数 据；书页显示控制部件，配置来驱动每个书页部分来呈现显示；和控制部件， 配置来使用存储在储存部件中的帧数据产生用于每个书页部分的显示图像数据，将所产生的显示图像数据提供给书页显示控制部件，并且控制书页显示 控制部件在每个书页部分上呈现静态图像显示。
根据本发明的另一实施例，提供使用书形显示设备编辑视频的方法，所
述书形显示设备包括封面部分；每一个由柔性纸状显示装置形成并具有用于
编辑操作的操作输入部件的多个书页部分；和装订封面部分和多个书页部分
的书脊部分，使得书形显示设备具有带有组成页的书页部分的书状结构。所
述方法包括步骤输入并储存组成书形显示设备中的视频的帧数据；使用所 储存的帧数据产生用于每个书页部分的显示图像数据，并且使用所产生的显 示图像数据在每个书页部分上呈现静态图像显示；基于使用操作输入部件执 行的操作产生视频编辑数据；和将在产生视频编辑数据中产生的视频编辑数 据传送并输出到外部装置。
根据本发明的以上实施例，书形显示设备的用户能够观看多个书页部分， 同时像翻书页那样浏览书页。
例如，用户可以以视频单元(如被称为剪辑、场景等的视频材料的单元) 从外部非线性编辑器将运动视频下载到书形显示设备。在这种情况下，组成 视频单元的多份帧数据被分散到书页部分，并作为静态图像在其上显示。结 果，用户能够观看视频单元的内容，而感觉好像他或她在读书或漫画书。
特别地，当以组成视频的多份帧数据随着组成书页部分的页的前进而沿
感觉，即，页前进对应于时间轴的方向的方向与视频的前进是一致的。
此外，用户能够掌握视频的内容，同时就像他或她读书或漫画书的感觉 那样观看书页部分。因此，用户能够在该处理期间搜索编辑点(如，入点 (in-point )和出点(out-point ))。
当用户已经执行了编辑操作时，可以根据编辑操作产生视频编辑数据， 然后将其传送到诸如非线性编辑器之类的外部装置。因此，外部装置能够使
编辑被反映在原始数据中。
根据本发明的实施例，组成视频的多份帧数据被分散并显示在多个书页 部分。因此，用户能够容易地检查视频的内容，并且具有好像他或她在读书 的感觉。此外，用户能够执行诸如在视频中指定编辑点之类的编辑操作，并 且具有他或她在书页之间放置书签的感觉。因此，可以利用直观和非常见地 的操作实现编辑任务。
图l是根据本发明一个实施例的编辑书的透视图2A和2B是图解根据本发明的实施例的编辑书的书形结构的图示；
图3A和3B是图解根据本发明实施例的编辑书的书页的图示；
图4A、 4B和4C是图解根据本发明实施例的被用作书页的电子纸的图示；
图5是图解根据本发明实施例的编辑书的内容结构的方框图6是图解根据本发明实施例的编辑书和非线性编辑器的图示；
图7是图解使用根据本发明实施例的编辑书进行编辑的过程的流程图8是图解由根据本发明实施例的编辑书执行的剪辑下载处理的流程
图9是图解根据本发明实施例的下载数据中包括的运动信息的图示；
图IOA和IOB是图解根据本发明实施例的下载分组的图示；
图11是图解根据本发明实施例的编辑书执行的缩略图显示处理的流程
图12是图解根据本发明实施例的编辑书执行的分散视频剪辑的处理的 流程图13A、 13B、 13C和13D是图解根据本发明实施例用于分散在书页的fps
与运动信息之间的关系的图示；
图14是图解根据本发明实施例的编辑书执行的书页编辑处理的流程图； 图15是图解根据本发明实施例的编辑书执行的封面编辑处理的流程图； 图16A和16B是图解根据本发明实施例的在封面显示部件上呈现的示例
性显示的图示；
图17A和17B是图解根据本发明实施例的在封面显示部件上呈现的其它 示例性显示的图示；
图18A和18B是图解根据本发明实施例的在封面显示部件上呈现的其它 示例性显示的图示；
图19A和19B是图解根据本发明实施例的在书页上呈现的示例性显示的
图示；
图20是图解根据本发明实施例的在书页上呈现的另一示例性显示的21A和21B是图解根据本发明实施例的的变型的在书页上呈现的示例 性显示的图示；
图22A、 22B、 22C和22D是图解如何使用根据本发明实施例的变型的编 辑书的图示。
具体实施例方式
下面将以下列顺序描述本发明的优选实施例。在该实施例中，将描述能 够从非线性编辑器下载图像并对所下载的图像执行编辑的"编辑书"。该编辑 书是根据本发明 一个实施例的书形显示设备。
图1显示根据本发明一个实施例的编辑书1的透视图。
编辑书l具有前和后封面部分2和3、放置在封面部分2和3之间的多 个书页7和装订封面部分2和3以及书页7的书脊部分6，由此具有带有组 成页的书页7的书状结构。
如图2A所示，用户可以打开编辑书1来逐一观看书页7，并且具有好像 他或她读普通图书的感觉。每个书页7由柔性纸状显示装置组成。因此，用 户能够观看显示在每个书页7上的内容，并且具有好像他或她读书的感觉。 也就是，用户能够观看书页7，同时逐一翻书页7或浏览书页7。
封面部分2具有封面显示部件4和操作按键5。
例如，封面显示部件4由液晶面板或有机电致发光(EL)面板组成。封 面显示部分4能够显示包括视频的各种类型的可视信息。
封面显示部件4包括触摸传感器，由此能够接受在显示面板上的触摸操 作。具体地，在封面显示部件4上显示各种操作用图像(operat ion-use image )(如，操作按钮图像)，并且用户可以执行触摸操作用图像的触摸面板操作启
动开始各种操作。例如，可以在封面显示部件4上显示表示视频剪辑的缩略 像。在这种情况下，例如，用户可以触摸缩略图像之一来启动诸如选择 或指定图像的操作。
例如，提供操作按键5来作为用于开机、关机、显示模式选择等的操作 单元。注意，可以提供具有物理形式的任意数量的操作按键5。可以仅提供 启动必要的、但是不能由以上触摸板操作启动的操作所需要的最少数量的操 作按键。例如，可以仅提供用于开机和关机的一个按键。
不用说，可以提供用于启动包括也可由以上触摸板操作开始的操作的各 种操作的大量物理按4定或拨盘来作为操作按键5。
编辑书1的书脊部分6是将封面部分2和3与书页7装订的部分。如图 2B所示，书脊部分6包括电路板9和电池10。
书脊部分6具有用于根据诸如USB (统一串行总线)或IEEE (电气和电 子工程师协会)1394之类的预定的通信系统与外部装置(如，非线性编辑器) 进行数据通信的连接端。
图3A图解书页7。例如，书页7由电子纸形成。书页7的前表面是主显 示部件7a。
将在下面参照图4A、 4B和4C简要描述电子纸。
图4A图解电子纸的普通结构。电子纸具有两个塑料书页15、显示层16 和驱动器层17。显示层16和驱动器层17被放置在两个塑料书页15之间。
显示层16是在其上形成使用微胶嚢(microcapsules)的像素结构、硅 珠(silicon bead)等来显示可视信息的层。
驱动器层17是在其上形成使用(例如)薄膜晶体管(TFT)的显示驱动 电路的层。驱动器层17将电压施加到显示层16上的像素结构来使显示层16 显示图像。
下面将参照图4B和4C描述显示原理。
图4B图解使用微胶嚢的电泳方法。
的现象。
在显示层16上，包含蓝色液体的微胶嚢和白色充电粒子(钛氧化物粒子) 被布置为像素结构。当从驱动器层施加负电压时，如图所示，电极吸引被充电的粒子。当这发生时，像素结构进入其中显示蓝色液体的状态，并且该状 态对应于显示器上的"黑色"状态。
另一方面，当从驱动器层施加正电压时，充电粒子排斥正电压来向微胶 嚢的上侧集中。当这发生时，像素进入其中显示白充电粒子的状态，并且该 状态对应于显示器上的"亮"状态。
图4C图解使用硅球的系统。在该系统中，使用如图所示的每一个具有不
同颜色的两个部分的固体粒子(即，硅球)。在每一个硅球中，不同地充电具
有不同颜色的每个部分。因此，每个硅球根据从驱动器层17施加的电压的极 性旋转。这里假设两个部分之一被上黑色，而另一部分被上白色。然后，例 如，当施加正电压时，黑色部分变为正充电，并且面向显示表面，导致显示 黑色。另一方面，当施加负电压时，白部分变为负充电，并且面向显示表面， 导致显示白色。
利用如图4B和4C所示的两个系统可以进行颜色显示。每个微胶嚢或硅 球形成一个像素结构。例如，可以为像素结构布置与黄色、洋红、青色和黑 色(YMCK)对应的像素，并且可以利用不同的颜色信号控制四个像素中的每 一个来完成颜色显示。
电泳和硅球的旋转需要能量。因此，选择性地施加正或负电压来使每个 像素进入"暗"或"亮，，状态。在不施加电压时，每个像素的状态保持相同。 因此，如果在通过将合适的电压施加到每个像素来显示图像之后不施加电压， 则正在被显示的图像继续被显示。因此， 一旦显示图像，则甚至在不供电时 也可以在特定时间段内继续显示图像。
注意，例如，可以将有机分子的柔性晶体管(有机晶体管)用作驱动器 层17上的TFT。在这种情况下，具有如图4A所示的层结构的电子纸被形成 为柔性书页。例如，假设在本实施例中，每个书页7被形成为具有这样的结 构的柔性纸，并且可以像书的纸张那样处理每个书页7。
还注意，可以将触摸传感器层添加到如图4A所示的结构。例如，触摸传 感器层可以放置在塑料书页15和显示层16之间。在这种情况下，书页7能 够接受触摸面板操作。假设在本实施例中书页7能够接受触摸板操作。
本实施例中的书页7被形成为这样的电子纸，并且如图3A所示的主显示 部件7a显示图像(静态图像)。
在每个书页的前表面被形成为主显示部件7a时，电子纸书页的三个端面(end face)(如，除了装订边纟彖部分7c的四个端面中的三个)；故形成为端 面显示部件7b。
例如，每个端面显示部件7b被配置来能够进行红色显示、蓝色显示等。
在端面显示部件7b执行红色显示、蓝色显示等时，在如图3B所示合上 编辑书1时，用户能够容易地识别其端面显示部件7b正在执行红色显示、蓝 色显示等的书页。
图5显示编辑书1的示例性内部电路结构。
例如，系统控制器20由具有中央处理单元(CPU)、只读存储器(R0M)、 随机存取存储器(RAM)和接口部件的微计算机组成。系统控制器20是用于 控制整个编辑书1的控制部件。系统控制器20根据保存在其中的操作程序和 用户操作执行控制来允许将在后面描述的与非线性编辑器100的通信操作、 在封面显示部件4的显示操作、在书页7的显示操作等。
通信接口部件21执行与经由连接端8连接到其的外部装置(如非线性编
辑器100)的通信操作。例如，通信接口部件21接收从非线性编辑器100下
载的数据，并且还执行要通信的分组的接收和传输、编码和解码等来作为用 于将编辑lt据传送到非线性编辑器100的处理。
非易失性存储器部件22是主要用于储存从诸如非线性编辑器100之类的 外部装置提供的下载数据、由系统控制器20产生的编辑数据等的存储器。也 就是，非易失性存储器部件22储存即使在关机时也应该储存的数据。下载数 据的示例包括组成视频的帧的数据(在下面将其适当地称为"帧数据")以及 完成帧数据的信息。
非易失性存储器部件22的典型示例是诸如闪存之类的固体存储器。替代 地，可以由诸如包含闪存等的存储器卡或光盘之类的便携储存介质以及用于 便携储存介质的记录/再现部件的组合形成非易失性存储器部件22。此外， 可以采用硬盘驱动器(HDD)作为非易失性存储器部件22。
在系统控制器20的控制下，数据路径控制部件23在非易失性存储器部 件22、通信接口部件21和显示数据产生部件24之间传送数据。所传送的数 据的示例包括要被通信的数据(诸如下载数据)；用于在封面显示部件4上 显示的图像数据和用于在书页7上显示的图像数据。
在系统控制器20的控制下，显示数据产生部件24产生要在封面显示部件4上显示的显示数据以及要在书页7上显示的显示数据。例如，显示数据 产生部件24使用从非易失性存储器部件22读取的帧数据来产生显示数据。
在产生要在封面显示部件4上显示的显示数据之后，显示数据产生部件 24将所产生的显示数据提供给显示驱动部件25。显示驱动部件25包括用于 封面显示部件4的像素驱动电路系统，并且促使封面显示部件4基于所提供 的显示数据执行显示操作。
同时，在产生要在书页7上显示的显示数据之后，显示数据产生部件24 将所产生的显示数据提供给书页显示控制部件29。
书页显示控制部件29向对应的书页7提供所提供的显示数据，并且控制 书页7来基于相应的显示数据呈现显示。
输入处理部件26检测用户操作，并且将关于用户操作的信息提供给系统 控制器20。
也就是，输入处理部件26检测在上述封面部分2等上提供的操作按键5 上执行的操作，并且将关于在操作按键5上执行的信息提供给系统控制器20。
封面触摸传感器部件27是在封面显示部件4中提供的触摸传感器，并且 检测用户已经触摸封面显示部件4的屏幕的位置。输入处理部件26向系统控 制器20提供表示用户已经执行操作的位置的输入信息。系统控制器20将操 作位置与此时在封面显示部件4上呈现的显示内容(即，由显示数据产生部 件24产生的显示数据的图像内容)对应的位置相关联来识别用户操作的内 容。
书页触摸传感器28是每一个都提供在单独的书页7中的触摸传感器。每 个触摸传感器28检测用户已经在对应的书页7的屏幕上触摸的位置。输入处 理部件26向系统控制器20提供表示用户已经在书页7的屏幕上执行操作的 位置的输入信息。系统控制器20将操作位置与此时在书页7上呈现的显示的 内容(即，由显示数据产生部件24产生的显示数据的图像内容)中的对应位 置相关联来识别用户操作的内容。
将在下面描述使用上述根据本实施例的编辑书1的视频编辑。 作为使用根据本实施例的编辑书1的视频编辑的一个示例，将描述其中
通过使用编辑书1直观地执行可使用如图6所示的非线性编辑器100执行的
一部分编辑工作(如，剪切编辑)的情况。例如，非线性编辑器100包括控制部件101、存储部件102、编辑处理部
件103、用户接口部件104、外部接口部件105等。
例如，控制部件101由微计算机组成，并且控制与视频编辑相关的操作。 例如，存储部件102由HDD等形成，并且储存要编辑的视频材料和编辑数据。
编辑处理部件1Q3对视频材料执行各种编辑处理。
用户接口部件104包括诸如操作按键、拨盘、键盘、鼠标、触摸板、触 摸盘之类的操作输入系统，以及诸如显示器、音频输出部件之类的输出系统。 用户接口部件104执行与用户(人编辑者)相关的各种输入/输出操作。
外部接口部件105是用于与外部装置通信的部分。外部接口部件195的 示例包括USB接口和IEEE 1394接口。
非线性编辑器100需要能够与编辑书l通信，但是在其他方面，非线性 编辑器100可以与普通视频编辑装置相同。具体地，例如，在硬件方面，非 线性编辑器100需要能够经由外部接口部件105与编辑书1通信，并且在软 件方面，非线性编辑器100需要具有在其上安装的、要由控制部件101执行 来执行允许帧数据等被下载到编辑书1的操作的操作程序，并且执行接受来 自编辑书1的编辑数据的输入的处理。
根据本实施例的编辑书1能够结合非线性编辑器IOO执行编辑。
例如，当产生"视频内容，，(如，广播节目等的视频内容)作为通过编辑 产生的运动视频时，多个剪辑可能经历剪切编辑，然后将剪切片段组合来形 成视频内容。这里使用的术语"剪辑，，指的是视频单元，例如，其由在开始 拍摄和结束拍摄的操作之间由摄像机连续拍摄的运动视频组成。注意，"剪 辑"有时称为"场景"。
当以这样的方式产生视频内容时， 一个或多个剪辑被捕获到非线性编辑 器100中，并且储存在存储部件102中作为要被编辑的视频材料。
然后，通常，使用非线性编辑器100,在作为视频材料的每个剪辑中确 定入点和出点，在入点和出点剪切每个剪辑，并且沿时间轴以特定的顺序组 合所产生的剪辑。
例如，通常由资深的人类编辑者使用非线性编辑器IOO执行这样的编辑 任务。在这种情况下，执行诸如检查每个剪辑的内容、指定入点和出点之类 的编辑任务需要专家操作知识。通过使用编辑书1利用直观的操作执行编辑任务，同时容易地检查视频 内容，本实施例有助于这样的编辑任务。
图7图解编辑书1执行编辑操作的整体过程。
首先，在步骤F1，从非线性编辑器IOO将视频材料下载到编辑书1.
在非线性编辑器100的存储部件102中，将当产生视频内容时使用的一 个或多个剪辑储存为要被编辑的运动视频材料。在步骤F1，例如，以如图6 所示的方式，用户将编辑书1连接到非线性编辑器100，使得编辑书1和非 线性编辑器100能够在它们之间执行数据通信，并且执行必要的操作来促使 存储在非线性编辑器100中并在再现视频内容时使用的一个或多个剪辑被下 载到编辑书1。在编辑书1中，每个剪辑的数据被储存在非易失性存储器部 件22中。
接下来，在步骤F2，从所下载的剪辑中选择一个剪辑，并且组成所选择 的剪辑的帧被分散到电子纸书页7上。
每个视频剪辑由多份帧数据组成，并且组成运动视频的帧沿时间轴被顺 序地显示在书页7上，即，纸上。
结果，视频剪辑被显示在编辑书1中作为一系列连续或间断帧，使得逐 页/书页地顺序显示一系列帧。因此，组成视频剪辑的帧(即，静态图像)被 分散到纸上，就像漫画书中的帧那样。
由于组成剪辑的帧被分散并显示在书页7上，用户能够检查所选择的剪 辑的图像内容，并且具有他或她好像读书的感觉。也就是，例如，用户能够 通过顺序地翻页(即，书页7)或浏览书页7来容易地检查沿时间轴前进的 剪辑的视频内容。
在步骤F3，在以上状态下，利用编辑书1执行入点和出点的设置。
例如，用户分别在剪切编辑的开始点和结束点执行入点和出点的设置操 作，同时检查视频内容并具有好像他或她浏览书的感觉。例如，在翻页的同 时，用户利用简单的操作指定一页上的一个图像作为入点以及另一页上的另 一图像作为出点。
响应于这样的操作，系统控制器20产生关于入点和出点的编辑数据。 此外，封面显示部件4能够显示剪辑的视频，并且用户能够执行各种设 置操作，同时检查在封面显示部件4上显示的视频。这样的设置操作的示例 包括调节视频等级(如，亮度级、色度级)的操作以及应用图像效果的操作。系统控制器20根据这样的设置操作产生编辑数据。
概括讲，在步骤F2和F3，选择一个剪辑，然后分散到书页7，并且用户 执行编辑，同时观看书页7和/或封面显示部件4。如虚线指示的那样，每次 用户选择一个要编辑的剪辑时重复步骤F2和F3的处理。
注意，在步骤F2和F3的工作处理期间，编辑书1和非线性编辑器100 在它们之间不执行通信，因此编辑书1和非线性编辑器100不需要在该时间 段期间相互连接。也就是，在步骤F1， 一旦视频材料被下载到编辑书1,则 拥有编辑书1的用户能够检查每个下载剪辑的视频内容，并且在任何时间任 何地点使用编辑书l执行编辑工作。
当用户已经判断出已经关于每个剪辑完成了必要的编辑时，已经关于每 个剪辑产生的编辑数据被上载到非线性编辑器100。也就是，用户以图6所
示的方式将编辑书1连接到非线性编辑器100，使得编辑书1和非线性编辑 器100能够相互通信，并且执行上载操作。结果，编辑书1的系统控制器20 执行将编辑数据传送到非线性编辑器100的处理。
非线性编辑器IOO在存储部件102中储存从编辑书1传送的编辑数据， 并且将所储存的编辑数据当作基于非线性编辑器100本身的操作产生编辑数 据，在编辑视频剪辑的结果中使所储存的编辑数据被反映。
在本实施例中，概略讲，根据以上过程执行使用编辑书1的编辑。
这里，将参照图8、 9、 IOA、 IOB、 16A、 16B、 17A和17B描述如图7所 示的在步骤F1的下载视频材料的操作的特定示例。
注意，对于下载，存在各种可应用的操作过程，并且，例如在封面显示 部件4上显示各种可应用的用户界面，但是这里将仅描述可应用的操作过程 之一以及可应用的用户界面之一。
首先，将从用户界面的观点描述下载操作。
例如，如图6所示，当编辑书1已经连接到非线性编辑器100,并且在 它们之间已经建立了通信时，编辑书1的系统控制器20从非线性编辑器100 接收信息来促使封面显示部件4呈现如图16A所示的显示。
也就是，当编辑书1和非线性编辑器IOO之间的连接已经建立时，系统 控制器20自动地与非线性编辑器100的控制部件101通信来接收关于存储在 非线性编辑器100中(即，在其存储部件102中)的剪辑(即，视频材料)的列表的信息。然后，系统控制器20促使显示数据产生部件24产生包括关 于列表的信息以及用于用户操作的显示数据，并且促使封面显示部件4来呈 现如图16A所示的显示。
在图16A的示例中，显示剪辑列表显示51、操作按钮显示52、 53、 54、 和55以及剩余存储器容量指示器56。
剪辑列表显示51表示储存在非线性编辑器100的剪辑的列表。例如，对 于每个剪辑，与复选框一起显示诸如剪辑名称(即，图中的"剪辑1"、"剪 辑2"等)、数据大小(作为运动视频的小时/分钟/秒/帧的总体时间)以及 拍摄日期/时间之类的参数信息。
在列表中的剪辑数量太大的情况下，或在太多信息被显示为关于每个剪 辑的参数信息的情况下，可以将垂直和水平滚动条显示为如图16所示的那 样，以使用户通过用户操作(如，在滚动条上的触摸操作)垂直地和水平地 滚动列表。
作为操作按钮显示52、 53、 54和55，呈现诸如"选择所有"、"不选择"、 "开始下载"和"取消下载"之类的操作的显示。
操作按钮显示52 "选择所有"是用于选择剪辑列表显示51中的所有剪 辑的指令的操作用图像。
操作按钮显示53 "不选择"是用于使剪辑列表显示51中的所有剪辑未 选择的指令的操作用图像。
操作按钮显示54 "开始下载，，是开始在剪辑列表显示51中的所选择的
剪辑的下载的指令的操作用图像。
操作按钮显示55 "取消下载"是用于取消所下载的操作的指令的操作使
用图形。
例如，剩余存储器容量指示器56使用条形指示器指示非易失性存储器部 件22的剩余存储器容量。
例如，当以上显示被呈现在封面显示部件4上时，编辑书l的用户能够 选择他或她希望(即，希望用编辑书编辑)从存储在非线性编辑器100中的 剪辑(即，视频材料)中下载的一个或多个所期望的剪辑。用户能够通过在 剪辑列表显示51上执行触摸操作、或通过执行在操作按钮显示52 "选择所 有"上执行触摸操作来任意地选择他或她希望下栽的一个或多个剪辑。
在选择一个或多个剪辑之后，用户可以在操作按钮显示54 "开始下载，，上执行触摸操作来开始所选择的剪辑的下载。
在下载开始之后，系统控制器20指令显示数据产生部件24呈现如图16B 所示的显示。
如图16B所示，对于通过用户在按下操作按钮显示54 "开始下载"之 前执行的选择操作选择的剪辑，在剪辑列表显示51中的对应的复选框中显示 复选标记(在图16B的示例中，选择"剪辑l"到"剪辑6")。
在下载操作期间，如图16B所示显示下载操作进展指示器57来指示下载 操作的进展程度。此外，剩余存储器容量指示器56指示非易失性存储器部件 22的剩余存储器容量随非易失性存储器部件22中的下载数据的存储的进展 而逐渐减少。
此时，操作按钮显示54 "开始下载，，对于用户操作来说是不必要的， 因此变得不活动。
当之后完成下载操作时，如图17所示，系统控制器20促使封面显示部 件4上的下载操作进展指示器57指示下载的完成。剩余存储器容量指示器 56指示在完成下载时非易失性存储器部件22的剩余存储器容量。
在编辑书1连接到非线性编辑器100与完成下载之间的时间段内，系统 控制器20促使封面显示部件4来呈现如上所述的显示，并且还呈现各种类型
的信息和用于用户操作的图像来作为与下载操作相关的用户界面。
图8图解下载时的过程。图8显示在如图16A所示的、在操作按钮显示
54 "开始下载"上执行触摸操作之后，由编辑书1的系统控制器20执行的
过程和非线性编辑器100的控制部件101执行的过程。
在步骤FIOI,如果用户在剪辑列表显示51上选择要被下载的剪辑，并
且按下操作按钮显示54 "开始下载"，则系统控制器20向非线性编辑器100
传送下载请求。
此时，系统控制器20产生包括(例如)表示下载请求的代码、关于非易 失性存储器部件22的当前剩余存储器容量的信息和关于所选择的信息的分 组作为用于下载请求的信息。该分组可以额外地包括关于用于图像数据的指 定压缩比的信息。关于压缩比的指定，用户可以被允许来执行指定所期望的 压缩比的操作。当用户已经执行这样的指定压缩比的操作时，分组可以包括
关于所指定的压缩比的信息。替代地，当选择剪辑时，用户可以被允许来为 每个剪辑执行指定所期望的压缩比。在这种情况下，以上分组可以包括关于相应的剪辑的指定压缩比的信息。
在产生这样的下载请求分组之后，系统控制器20传送所产生的分组到通 信接口部件21，并且促使通信接口部件21向非线性编辑器IOO传送分组。
如果非线性编辑器100的控制部件101检测到经由外部接口部件105的 来自编辑书1的下载请求，控制从步骤F150前进到F151,并且控制部件101 读取下载请求分组的内容。
在读取分组内容之后，控制部件101确定压缩方法。如果下载请求分组 包括关于指定压缩比的信息，则控制部件101决定以指定的压缩比压缩图像。 同时，如果下载请求不包括关于指定压缩比的信息(即，还未指定压缩比)， 则控制部件IOI自动设置压缩比。
在控制部件IOI自动设置压缩比的情况下，控制前进到步骤Fl53,并且 控制部件101计算压缩比。在这种情况下，控制部件101检查被选择为要下 载的剪辑的一个或多个剪辑的总体数据量以及包含在下载请求分组中的、关 于编辑书1的非易失性存储器部件22的剩余存储器容量的信息，并且计算这 样的压缩比来允许被选为要下载的剪辑的一个或多个剪辑存储在非易失性存 储器部件22中。
虽然在图8中未示出，但是在某些情况下，可以确定由于非易失性存储 器部件22的剩余存储器容量太多地被限制，因此可以确定没有压缩比能允许 要下载的剪辑的下载。在这种情况下，错误通知可以被传送到编辑书1来允 许编辑书1的系统控制器20显示消息，以提示用户执行必要的操作(如，重 新选择剪辑，删除非易失性存储器部件22中的某些数据等)来应对该问题。
当控制部件101已经在步骤F153设置了压缩比时，控制处理前进到步骤 F154。同时，在下载请求分组包括关于所指定的压缩比的信息时，控制从步 骤F152前进到步骤F154。
在步骤F154,控制部件101对组成要下载的剪辑的多份帧数据执行压缩 处理，并且还执行提取运动信息的处理。
至于压缩处理，组成视频剪辑的多份帧数据经历以在步骤F153设置的压 缩比或以指定压缩比的压缩处理。例如，每份帧数据根据JPEG (联合图象专 家组)标准等经历静态图像/帧压缩处理。
运动信息是关于有关组成视频的多份帧数据的运动程度的信息。在图9 中示意性图解提取运动信息的处理。关于运动视频检测的运动信息通常是表示帧之间的变化的数值。假设如
图9所示的帧Fl、 F2........和F9是沿时间轴布置的、组成视频的多份帧数据。
关于帧F1、 F2........和F9，逐像素地计算时间上连续的每两个帧之间
的差，并且其绝对值被除以像素总数来确定差的平均值。该值是运动信息。
图9的最底行表示每对相邻帧Fl、 F2........和F9之间的差dF12、
dF23........和dF89。例如，差dF12是帧Fl和F2之间的差，而差dF23是
帧F2和F3之间的差。
可以以上述方式将对应于以上差dF12、 dF23.......和dF89的值4佥测为
运动信息。
该运动信息是反映整个屏幕的运动程度的信息。
注意，可以通过关于帧中的特定对象而不是整个帧执行运动检测产生运 动信息。例如，"人"、"车"等可以被指定为这样的对象。在其中"人"被指 定为这样的对象的情况下，对每个帧执行图像识别处理来确定帧是否包括 "人，，的图像，并且关于"人"的像素区域执行差检测来产生运动信息。也 就是，在这种情况下，所产生的运动信息是视频中关于"人"的运动信息。 在其中所指定的对象不是人的情况下，类似地，执行图像识别处理来提取与
对象对应的像素范围，并且关于该像素范围执行差检测。
在步骤F154压缩处理和提取运动信息的处理完成之后，控制处理前进到 步骤F155，并且控制部件101产生下载分组(即，要下载到编辑书1的分组)。
图IOA显示下载分组的示例。例如，每个下载分组由ID、帧数据和运动 信息ME组成。
例如，在这种情况下，帧数据是根据JPEG标准压缩的一帧的图像数据。
如图10B所示，ID包括剪辑信息、时间码TC和元数据。剪辑信息是包 括该帧数据的剪辑的标识信息。例如，在剪辑中的第一帧被分配时间码TC"00: 00: 00: 00"(小时分钟秒帧)，并且时间码的值在剪辑内前进。元数 据是添加到剪辑的 一种附加数据。
在如上所述产生下载分组之后，在步骤F156，控制部件101执行传送下 载分组的处理。也就是，控制部件101将下载分组提供给外部接口部件105， 并且使外部接口部件105来向编辑书1传送下载分组。
然后，控制部件101顺序地执行针对所有指定的剪辑的下载分组的产生和传送处理，并且当用于指定的剪辑的所有下载分组的传输已经完成时结束 下载处理。
在步骤F101传送下载请求分组之后，编辑书1的系统控制器20等待下 载分组，并且如果根据以上过程开始非线性编辑器100的下载分组的传输， 则在步骤F102,系统控制器20执行捕获从非线性编辑器100传送的下载分 组的处理。
具体地，如果通信接口部件21开始接收下载分组，则系统控制器20指 令数据路径控制部件23将经解码的下载分组写到非易失性存储器部件22。
如果关于所有指定的剪辑完成了下载分组的接收和下载分组到非易失性 存储器22的写入，则结束下栽处理。
在步骤F102正在捕获下载分组时，系统控制器20促使封面显示部件4 呈现如图16B所示的显示。在完成下载分组的捕获之后，系统控制器20促使 封面显示部件4呈现如图17A所示的显示。
虽然这里省略了详细描述，但是在步骤F156和F102的下载分组的传送 期间，通信的中断、传输错误、非易失性存储器部件22的容量的不足等可能 发生。当这样的问题发生时，自然合适地处理该问题。不需要讲，下载处理 可能在错误中结束，而未完成。
例如，按照上述操作执行视频剪辑到编辑书1的下载。
假设在图8的示例性过程中用户使用编辑书1执行选择要下载的剪辑的 操作以及开始下载的操作。然而，注意，可以使用非线性编辑器100执行这 些操作。
还注意，还可以将其布置成用户通过操作非线性编辑器IOO预先选择 要下载到编辑书1的一个或多个剪辑，并且当编辑书1已经连接到非线性编 辑器100以便能够相互通信时自动开始下载预先选择的一个或多个剪辑的操 作。
接下来，将在下面参照图11、 12、 13A、 13B、 13C、 13D、 17A、 17B、 19A 和19B描述在图7所示的步骤F2上执行的剪辑选择和在编辑书1的书页7上 剪辑的帧的分散过程。
当已经完成如上所述的下载操作时，如图17A所示，用户被封面显示部 件4通知下载的完成。如图17A所示，在屏幕上呈现操作按钮显示59 "显示缩略图"。如果用 户在操作按钮显示59 "显示缩略图"上执行触摸操作，则系统控制器20呈 现如图17B所示的选择屏幕显示。
替代地，系统控制器20可以在一旦下载完成时自动地呈现如图17B所示 的剪辑选择屏幕显示。
如图17B所示，在剪辑选择屏幕显示中呈现关于所下载的剪辑的缩略图 显示60。每个缩略图表示剪辑之一。
此外，呈现操作按钮显示61和62("上一个(back )"和"下一个(next )，，) 和操作按钮显示63、 64、 65和66 ("剪辑列表"、"改变缩略图"、"传送所有 编辑数据"和"传送指定的编辑数据")。
在该示例中，继续呈现指示非易失性存储器部件22的存储器容量的剩余 存储器容量指示器56。
操作按钮显示61和62 "上一个"和"下一个"是当不能在一个屏幕上 显示所有下载的剪辑的缩略图时用于在缩略图显示60中向后和向前翻页的 指令的操作用图像。
操作按钮显示63 "剪辑列表"是用于促使剪辑选择屏幕被用于显示如图 16A所示的剪辑列表的屏幕替换的指令的操作用图像。
操作按钮显示64 "改变缩略图"是用于改变用于针对各个剪辑(即，改 变要显示为缩略图的对象)产生缩略图的方法的指令的操作用图像。
操作按钮显示65和66 "传送所有编辑数据"和"传送指定的编辑数据" 是用于在结束编辑工作之后将编辑数据上载到非线性编辑器100的命令的操 作用图像。当已经不执行编辑时，即当已经不产生编辑数据时，操作按钮显 示65和66 "传送所有编辑数据"和"传送指定的编辑数据"是不活动的，
这是因为它们不需要被操作。
显示该剪辑选择屏幕来通过选择缩略像允许用户选择他或她期望编
辑、或他或她希望检查其图像内容的剪辑。换句话说，用户能够通过指定缩 略像选择他或她期望编辑、或他或她希望^r查其图像内容的剪辑。 图11图解系统控制器20执行来呈现缩略图显示60的过程。 当呈现缩略图显示60时，系统控制器20首先在步骤F201根据要显示的 缩略图数设置缩略像的尺寸。
在针对每个剪辑显示一个缩略图的情况下，要显示的缩略图数对应于下载的剪辑数。
虽然在图17B中的一个屏幕上显示4个缩略图，但是在一个屏幕上显示
的缩略图数是可变的。例如，每个缩略像的尺寸可以被降低来在一个屏 幕上显示更多的缩略图。
虽然可以通过操纵操作按钮显示61和62 (即"上一个"和"下一个") 在缩略图显示60中向前和向后翻页，但是通过缩略图方式选择剪辑的操作性 将随着在一个屏幕上显示的缩略图数的增加而增加。
同时，缩略像尺寸的降低将导致表示剪辑的内容的缩略像的可 视性的降低。
因此，例如，关于缩略图的尺寸设置合理的最小尺寸，并且在该限制内， 根据下载的剪辑数设置缩略图的尺寸，使得在一个屏幕上显示尽可能多的缩 略图。
接下来，在步骤F202,系统控制器20基于缩略图对象信息计算在非易 失性存储器22中的目标地址。这里，目标地址是要从其读取帧数据的地址， 而所述帧数据是产生缩略图的基础。
例如，在其中根据图11的过程在封面显示部件4上呈现缩略图显示60 的情况下，不仅附图17B所示的用于剪辑选择的缩略图显示60 (剪辑选择使 用缩略图)的呈现，而且在单一剪辑中的帧的缩略图(剪辑图像内容^r查使 用缩略图)的呈现是可能的。
"剪辑选择使用缩略图"对应于由一个缩略图表示每个剪辑的缩略图显
示，而"剪辑图像内容检查使用缩略图"对应于由多个缩略图表示特定剪辑 的内容的缩略图显示。
例如，这里使用的术语"缩略图对象信息"指的是指示要显示的缩略图 是否应该是针对特定剪辑的"剪辑选择使用缩略图"或"剪辑图像内容检查 使用缩略图"的信息。
在如图17B所示的剪辑选择屏幕要显示的情况下，缩略图对象信息指示 "剪辑选择使用缩略图"，由此指定应该要针对每个剪辑显示的一个缩略图。
注意，用户可以被允许来指定如何针对缩略图显示60设置缩略图对象。 例如，如图17B所示，如果用户按下操作按钮显示64 "改变缩略图"，则系 统控制器20可以显示用于选择作为缩略图目标的"剪辑选择使用缩略图"或 "剪辑图像内容^f佥查使用缩略图"的屏幕。然后，如果用户选择"剪辑选择使用缩略图"或"剪辑图像内容检查使
用缩略图"，则基于用户的选择，设置在步骤F202检查的缩略图对象信息。
可以这样配置除非用户按下操作按钮显示64 "改变缩略图"，否则"剪 辑选择使用缩略图，，被选择为初始设置，并且在图11的过程中执行显示如图 17B所示的"剪辑选择使用缩略图"的处理。
例如，在其中设置"剪辑选择使用缩略图"的情况下，用户可以被允许 来关于每个剪辑选择哪个帧数据被用于产生缩略像。
例如，在从一个剪辑提取一份帧数据来产生用于剪辑的缩略像的情 况下，例如，所提取的该份帧数据可以是剪辑的顶部帧的数据、剪辑的第x 帧的数据(从顶部开始计算)或已经被标记为代表帧的帧的数据。
因此，可以预先将从剪辑提取一份帧数据的方式设置为缩略图对象信息。 替代地，还可以这样配置用户被允许指定在按下操作按钮显示64 "改变缩 略图"之后的方式，并且根据用户指定的方式，指定要被提取的帧数据的信 息被包含在缩略图对象信息中。
在步骤F202基于缩略图对象信息设置非易失性存储器部件22中的目标 地址之后，在步骤F203，系统控制器20执行控制来读取一份帧数据。然后， 系统控制器20控制从非易失性存储器部件22中读取的帧数据来将其传送到 显示数据产生部件24,并且在步骤F204，控制显示数据产生部件24来从帧 数据产生缩略像。此时，系统控制器20通知显示凝:据产生部件24在步 骤F201设置的缩略图尺寸，并且控制显示数据产生部件24产生具有指定尺 寸的缩略像。然后，系统控制器20控制所产生的缩略像来将其提供 给显示驱动部件25,并且控制封面显示部件4来显示所产生的缩略像。
重复步骤F203和F204的处理，直到在步骤F205确定缩略像的显示 已经完成为止。
例如，以这种方式，逐一显示剪辑的缩略像，并且当在步骤F205 确定缩略像的显示已经完成时，完成如图17B所示的关于多个剪辑的缩 略图显示60的呈现。
注意，当已经按下操作按钮显示61和62 "上一个"和"下一个"之一 时，系统控制器20以类似的方式执行图11的过程来呈现之前或下一页的缩 略图显示60。
在图ll的过程中，当呈现缩略图显示60时，从帧数据产生缩略像。注意，然而，可以这样配置预先针对每个剪辑产生缩略像并将其存储
在非易失性存储器部件22中，并且当呈现缩略图显示60时，从要显示的非
易失性存储器部件22中读取每个剪辑的缩略像。
例如，当如图17B所示已经在封面显示部件4上呈现缩略图显示60来作
为上述过程的结构时，用户能够使用缩略图显示60选择任何期望的剪辑。 系统控制器20识别缩略像上的触摸操作作为选择剪辑的操作。 当用户已经选择了剪辑时，系统控制器20执行在书页7上分散所选择的
剪辑的帧的处理。
例如，如果用户如图17B所示使用缩略图显示60选择"剪辑1",则"剪 辑l"的帧将分散在书页7上。
图19A和19B图解书页7上的示例性显示。
图19A图解组成剪辑的大量帧中的三个帧-波显示在一个书页7上的示例 性情况。
呈现时间码72a和操作按钮显示73a以便与帧71a相关联。呈现时间码 72b和操作按钮显示73b以便与帧71b相关联。呈现时间码72c和操作按钮 显示73c以便与帧71c相关联。
每个操作按钮显示73a、 73b和7c是用于允许用户执行将帧71a、 71b 或71c指定为剪切编辑中的入点或出点的操作的操作用图像。
显示在书页7上的帧71a、71b和71c是已经从沿视频的时间轴连续或间 断地组成剪辑的多份帧数据中提取的 一 系列帧。
例如，用于如图19A所示的帧71a、 71b和71c的时间码72a、 72b和72c 分别指示"00: 00: 00: 00"、 "00: 00: 00: 06"和"00: 00: 00: 12"。在 这种情况下，fps (每秒的帧数)是5。例如，在其中视频剪辑是30帧/秒视 频的情况下，在一秒中提取5帧，即提取每个第6帧，并且在书页7上显示 所提取的帧。
在这种情况下，在如图19A所示的书页7之后的书页(即，页)上显示 时间码是"00: 00: 00: 18"、 "00: 00: 00: 24"和"00: 00: 00: 30"的帧。
也就是，从每个书页7的顶部到底部，并且从一个书页到下一书页，沿 -现频的时间轴顺序地显示帧。
结果，例如，用户将能够通过观看书页7来检查视频剪辑的内容，并且具有好像他或她正在读漫画书的感觉。
指示所显示的相邻帧之间的间隔的图像74被显示在书页7的底部。在图 19A的示例中，图像74指示帧速率"5 fps"，并且还通过箭头图像指示所显 示的帧是间断的。
设计图像74来帮助用户识别在将所显示的图像作为视频观看时用户会 具有的时间感觉。因此，为了使用户更容易直观地识别所显示的相邻帧之间 的间隔，以如图19B所示的方式，可以#4居帧间隔改变图<象74。
例如，在30fps的情况下，即，当连续地显示所有的帧时，箭头图像的 箭杆(shaft)可以是实线，而在其中帧间隔长的情况下，诸如lfps的情况 下，箭头图像的箭杆可以是虚线，其短线被宽分隔到对应程度。
在图19A中，在更靠近书页7的装订边缘部分7c的一侧上显示时间码 72a、 72b和72c以及操作按钮显示73a、 73b和73c,而在相对于装订边缘部 分7c的另一侧上显示帧71a、 71b和71c。该布置使得用户在观看书页7同 时浏览书页7时能够更容易地识别图像内容。
将在下面参照图12描述系统控制器20执行的将视频剪辑在书页7上分 散的过程。
例如，当通过用户在如图17B所示的缩略图显示60上的操作选择剪辑时， 系统控制器20开始图12的过程。
首先，在步骤F301，系统控制器20计算非易失性存储器部件22中的、 要从其读取所选择的剪辑的帧数据的目标地址。例如，系统控制器20计算剪 辑的顶部帧的数据所存储的地址。
接下来，在步骤F302，系统控制器20将显示目标书页的范围设置为P (s)到P (e),并且还将上述fsp设置为要在书页7上显示的帧速率。
显示目标书页的范围通常是被装订到编辑书1的书页的所有页。例如， 在编辑书1总共具有50个书页7，并且该50页可用于显示帧的情况下，可 以将第1到第50个书页7设置为显示目标书页的范围。书页P (s)指的是 作为开始页的书页，而书页P (e)指的是作为结束页的书页。例如，在其中 图像要被分散到50个书页7的情况下，将1和50的值设置为书页P ( s )和 书页P(e)，即，书页P(s) =1，而书页P(e) =50。
注意，例如，在视频剪辑很短或帧间隔被设置为很长的情况下，视频剪 辑的帧可以被分散到书页上，而无需使用所有书页。因此，可以根据剪辑的帧总数、在分散时的fps以及页数(即，书页7数)设置书页P(s)和P(e)。
还注意，可以这样布置例如，来自一个剪辑的图像被分散到第1到第 25页，而来自另一剪辑的图像被分散到第26到第50页。系统控制器20可 以考虑这样的情况设置书页P ( s )和P ( e )。
此外，基于运动信息、目标书页数、剪辑中的帧的总数等设置用于要被 分散到书页7的图像的fsp。存在用于设置fsp的各种可想到的方法。
例如，可以根据剪辑中的帧的总数和目标书页数来设置fsp,使得以规 则的间隔(或基本上规则的间隔)显示帕。
此外，用户可以被允许来执行指定帧间隔的操作。在这种情况下，可以 根据用户指定的帧间隔设置f s p ，而不管帧的总数或目标书页数是多少。
此外，由于如上所述，下载的剪辑的数据包括运动信息ME,可以根据该 运动信息ME设置fsp。
例如，可以基于关于剪辑的运动信息的平均值设置f sp。
此外，可以针对剪辑中的不同部分设置不同的fsp值，每个部分由多个 巾贞组成。也就是，例如，可以针对包含大量运动的部分和包含少量运动的另 一部分改变f sp。
图13A到13D图解根据运动信息ME设置fsp的示例性方式。
图13A图解与由运动信息ME表示的运动程度成比例地设置fsp的示例性 方式。也就是，在该示例中，在帧之间的运动量增加时，设置fsp的更大值 (即，更短的帧间隔)。
图13B图解其中运动信息ME和f sp具有非线性关系的设置f sp的示例性 方式。注意，如图13C所示，例如，该关系可以由二次曲线表示。
图13D图解针对fps值确定上限和下限，并且当运动信息ME的值低于阈 值时将fsp值设置在下限，而当运动信息ME在另 一阈值之上时将fsp值设置 在上限的设置fsp的示例性方式。
例如，在以上述方式根据视频剪辑中的运动设置fsp的情况下，用户在 观看在书页7上分散的帧时将能够检查根据视频中的运动程度以合适的间隔 提取的帧。此外，用户在浏览页时将能够利用运动的合适感觉检查视频的内 容。
在系统控制器20设置显示目标书页的范围、书页P ( s )到P (e)和fsp 之后，控制前进到步骤F303,并且系统控制器20首先控制帧数据从非易失性存储器部件22中的目标地址的读取。
例如，首先，系统控制器20控制在步骤F301设置的目标地址上存储的 剪辑中的顶部帧数据的读取，并且控制从非易失性存储器部件22读取的帧数 据被传送到显示数据产生部件24。
在步骤F304，系统控制器20确定是否已经读取了要在书页7上显示的 所有图像。在如图19A所示要在一页上显示三个帧的情况下，当已经读取三 个帧时，完成要被显示在一页上的所有图像的读取。
因此，在当已经读取第一帧的数据的时间，控制前进到步骤F305，并且 系统控制器20计算下一目标地址。下一目标地址是存储要接下来显示的帧数 据(根据所设置的fsp而确定)的地址。例如，如图19A的示例那样，在其 中fsp:5的情况下，下一的目标地址是存储剪辑中的第6帧的数据的地址。 然后，控制返回到步骤F303，并且系统控制器20控制非易失性存储器部件 22中的目标地址上的帧数据的读取。然后，系统控制器20控制从非易失性 存储器部件22中读取的帧数据被传送到显示数据产生部件24。
在作为步骤F303和F305的处理的结果，已经完成三个帧的数据的读取 的时间，显示数据产生部件24变得能够产生用于一个书页7的显示数据。因 此，在当已经完成要显示在一页上的帧数据的读取时，控制从步骤F304前进 到步骤F306，并且系统控制器20指令显示数据产生部件24来产生用于书页 P (x)的显示数据。在书页P (x)中的初始值"x"是在步骤F302上设置的 书页P (s)中的"s"。也就是，系统控制器20促使产生用于要被显示的第 一书页7 (即，第1页)的显示数据。
例如，根据来自系统控制器20的命令，显示数据产生部件24产生如图 19A所示的内容的显示数据，即包括三个帧71a、 71b和71c、时间码72a、 72b和72c、操作按钮显示73a、 73b和73c和指示f sp的图像74的显示数据。
然后，在步骤F307，系统控制器20促使由显示数据产生部件24产生的 显示数据被传送到书页显示控制部件29作为用于书页P (x)(其在第一次重 复中为书页P (s)，即，第1页)的显示数据，并且促使书页显示控制部件 29在书页P(x)上呈现显示。结果，如图19A所示的显示被呈现在书页P(x), 即，第1页书页7上。
在步骤F308,系统控制器20确定是否P (x) =P(e),即，是否完成所 有目标书页的显示。如果P (x)不等于P (e)，控制器前进到步骤F309，并且系统控制器20 递增变量x,并且控制前进到步骤F305。然后，控制返回到步骤F303，并且 重复上述处理。
因此，关于被设置为书页P (x)的第2书页7，在步骤F303到F307执 行类似的处理，使得在第2页书页7上呈现显示。关于第3页书页7、第4 页书页7等以类似的方式重复这些处理，使得在其上呈现显示。
在关于显示目标书页的最后一页(书页P (e))完成显示处理的时间， 系统控制器20在步骤F308中确定P (x) =P(e)。因此，系统控制器20确 定已经完成所有目标书页的显示，并且结束图12的过程，即，在书页7上分 散视频剪辑的帧的过程。
作为上述过程的结果，在书页7上分散所选择的剪辑的帧，并且用户能 够-险查剪辑的视频内容，并具有他或她好像浏览书的感觉。
虽然已经在上面描述了用于要在书页7上显示的帧的f sp的设置，但是， 例如，可以在剪辑的帧一旦被分散在书页7上之后改变fsp,然后可以利用 fsp的新值将剪辑的帧分散在书页7上。
例如，用户可以被允许来执行用于重新分散剪辑的帧的操作和指定fsp 的操作，并且可以再次执行图12的过程来执行将剪辑的帧分散在书页7上的 操作，以便满足用户的期望，诸如观看以缩小的间隔提取的帧的期望或观看 以增加的间隔提取的帧的期望。在这种情况下，不需要讲，根据用户操作在 步骤F302设置fsp。
此外，例如，用户可以在观看书页7时被允许来指定两个帧来开始重新 将剪辑的帧分散在书页的处理，使得分散以两个指定帧之间的缩小的间隔提 取的帧。
在任何情况下，可以通过在以上帧分散处理时合适地设置fsp来改变所 显示的帧的帧间隔。通过合适地设置fsp,可以连续地并顺序地显示剪辑中 的所有帧，并且利用各种帧间隔显示中间帧。因此，最好可以根据用户操作， 利用各种fsp值在书页7上分散帧。
此外，可以想到，在通过下述编辑处理设置入点和出点之后，重新在书 页7上分散入点和出点之间的帧。
接下来，作为使用根据本实施例的编辑书1的图像编辑，将在下面参照图14、 15、 18A、 18B和20描述使用书页7的编辑处理和封面显示部件4的 编辑处理。这些处理对应于图7的步骤F3。
当如上所述已经在书页7上分散视频剪辑的帧时，用户能够使用书页7 对剪辑执行剪切编辑。剪切编辑指的是指定剪辑中的入点和出点来指定要用
于视频内容的视频部分的编辑操作。
可以非常简单地实现入点和出点的指定。如上所述，用户能够通过观看 书页7检查视频内容，并且具有他或她好像正在浏览书的感觉。在该处理期 间，用户可以指定任何期望的帧作为入点和任何期望的帧作为出点。
例如，如图20所示，用户可以通过触摸在与帧71b关联的操作按钮显示 73b中的"入"来指定书页7上的第二行中的帧71b作为入点。如上所述， 书页触摸传感器部件28被提供在每个书页7上，并且书页触摸传感器部件 28检测在其上用户已经执行触摸操作的位置，并且输入处理部件26通知系 统控制器20在其上已经执行了触摸操作的位置。当在其上已经执行了触摸操 作的位置对应于操作按钮显示73b中的"入"时，系统控制器20将触摸操作 处理为指定入点的操作。也就是，当已经检测到在操作按钮显示73b中的" 入"上的触摸操作时，系统控制器20确定具有时间码"00: 00: 00: 06"的 剪辑71b已经被指定为入点，并且产生对应的编辑数据。
对于出点也是一样的。如果用户在与在特定书页7 (即，特定页)上的 特定帧相关联的操作按钮显示中的"出"上执行触摸操作，则系统控制器20 确定用户已经执行将该帧指定为出点的操作，并且产生对应的编辑数据。
图14图解由系统控制器20执行的用于如上所述使用书页7完成编辑处 理的过程。
在步骤F401,系统控制器20监视是否已经执行了指定入点的操作。在 步骤F404,系统控制器20监视是否已经执行了指定出点的操作。
当已经检测到指定入点的操作时，控制从步骤F401前进到步骤F402， 并且系统控制器20产生(更新)编辑数据，使得已经被指定为入点的帧的时 间码被设置为入点。
在步骤F403，系统控制器20执行控制来呈现清楚地向用户显示已经指 定了入点的显示。例如，如图20所示，系统控制器20控制操作按钮显示73b 中的"入"的图像(在其上已经执行了指定入点的操作)来改变为特定的颜 色(如，红色)，并且例如，还在被指定为入点的帧71b周围显示红色帧。系统控制器20指令显示数据产生部件24来对显示做出这样的改变，由此促使 书页显示控制部件29来在正在讨论的书页上的显示的一部分中改变颜色，并 且显示围绕帧71b的帧。
此外，系统控制器20促使执行端面显示。如在上面参照图3A和3B所描 述的那样，每个书页7被配有端面显示部件7b。例如，系统控制器20指令 书页显示控制部件29来促使在其上已经执行了指定入点的操作的书页7的端 面显示部件7b来发红光。
当已经检测到指定出点的操作时，控制从步骤F404前进到步骤F405， 并且系统控制器20产生(更新)编辑数据，使得已经被指定为出点的帧的时 间码被设置为出点。
在步骤F406,系统控制器20执行控制来呈现清楚地向用户显示已经指 定了出点的显示。例如，系统控制器20控制操作按钮显示中的"出"的图像 (在其上已经执行了指定出点的操作)来改变为特定的颜色(如，蓝色)，并 且例如，还在被指定为出点的帧周围显示蓝色帧。系统控制器20指令显示数 据产生部件24来对显示做出这样的改变，由此促使书页显示控制部件29来 在正在讨论的书页上的显示的一部分中改变颜色，并且显示围绕被指定为出 点的帧的帧。
此外，系统控制器20促使端面显示被执行。例如，系统控制器20指令 书页显示控制部件29来促使在其上已经执行了指定出点的操作的书页7的端 面显示部件7b来发蓝光。
以上述方式实现入点和出点的指定，并且系统控制器2 0根据指定入点和
出点的用户操作，产生表示剪辑(其帧被分散在书页上)中的入点和出点的 编辑数据。
在书页7上，由于操作按钮显示中的"入"的图像是红色，并且入点帧 被红色帧围绕，因此向用户清楚地显示入点，而由于操作按钮显示中的"出，， 的图像是蓝色，并且出点帧被蓝色帧围绕，因此向用户清楚地显示出点。
此外，由于端面显示部件7b发红光和蓝光，因此甚至如图3B所示当编 辑书1闭合时，用户也很容易识别在哪页上设置了入点和出点，即剪切编辑 点。
注意，由红色和蓝色分别指示入点和出点仅是一个示例。可以由其它颜 色或除使用颜色之外的其它方式指示入点和出点。例如，可以改变显示内容来向用户清楚地指示入点和出点。
接下来，将在下面描述使用封面显示部件4的编辑。
例如，在选择特定剪辑，并且所选择的剪辑的帧被分散在书页7上之后， 在封面显示部件4上显示如图18A所示的编辑屏幕。
在该编辑屏幕中，所选择的剪辑的图像被显示为剪辑图像显示70。此外， 与视频回放相关的操作单元图像71和用于编辑工作的操作单元图像72被显 示为各种操作单元显示。
例如，作为操作单元图像71,显示用于播放、快速后退、快进和停止的 操作按钮的图像，使得用户可以通过在其上执行触摸操作来输入与视频播放 相关的指令。用户能够通过操纵操作单元图像71之一来输入用于被呈现为剪 辑图像70的视频的播放、快速后退、快进和停止的指令。系统控制器20根 据任意操作单元图像71上的触摸操作，执行关于所选择的剪辑的视频回放控 制。
作为用于编辑工作的操作单元图像72，显示拨盘图像、增益调节器图像、 按钮图像等，使得用户可以通过触摸操作执行各种编辑操作。
例如，可以通过使用操作单元图像72执行调节作为视频级的亮度级或色 度级的操作、运动控制(视频速度设置)操作、诸如用于反转、淡入和淡出 之类的图像效果操作、用于撤销编辑、结束编辑、前进编辑等的操作。
因此，用户能够执行关于视频级、图像效果等的各种编辑设置的输入， 同时观看剪辑的运动视频。
图15图解在显示如上所述的编辑屏幕时由系统控制器20执行的过程。
如果系统控制器20检测到如图18A所示的编辑屏幕上的任何触摸操作， 则控制从步骤F501到步骤F502。
如果检测到的触摸操作是在与视频回放相关的操作单元图像71之一上 的操作，则控制从步骤F502前进到步骤F503,并且系统控制器20根据所检 测的触摸操作执行视频回放控制。
例如，如果所检测到的触摸操作是按下播放按钮，则系统控制器20开始 所选择的视频剪辑的回放。在这种情况下，系统控制器20开始所选择的视频 剪辑的回放。在这种情况下，系统控制器20促使从非易失性存储器部件22 顺序读取剪辑的帧数据来将它们传送到显示数据产生部件24。显示数据产生 部件24执行以剪辑的原始帧速率顺序地显示帧数据作为剪辑图像显示的处理，由此回放视频剪辑。
如果所检测到的触摸操作是快速后退或快进操作，则系统控制器2 0相应 地开始快速后退回放或快进回放。例如，在快进回放的情况下，系统控制器
20促使从非易失性存储器部件22顺序地读取一系列间断的多份帧数据，并 且促使显示数据产生部件24顺序地显示一系列间断的多份帧数据作为剪辑 图像显示70，由此完成快进回放。
如果所检测到的触摸操作是停止操作，则系统控制器20停止回放，并且 允许在回放的停止时显示的帧继续被回放。
如果所检测到的操作是用于编辑工作的任意操作单元图像72上的操作 (除了结束编辑的操作)，则控制从步骤F504前进到步骤F505,并且系统控 制器20根据所检测到的操作利用设置执行图像控制。
例如，如果所检测到的操作是关于视频级的操作，则系统控制器20保持 由检测到的操作指定的亮度级或色度级的数值作为编辑值，并且还将亮度级 或色度级的编辑值提供给显示数据产生部件24来改变剪辑图像显示70 (即， 正在被回放的视频或如果停止视频回放的静态图像)的亮度级或色度级。
因此，用户能够在观看剪辑图像显示70的同时合适地调节亮度级或色度级。
如果检测到的操作是图像效果操作、运动控制操作等，则系统控制器20 将根据所检测到的操作保持编辑值，并且还促使编辑值反映在剪辑图像显示 70中。
如果所检测到的操作是结束编辑的用户操作，则控制从步骤F506前进到 步骤F507,并且系统控制器20基于所保持的编辑值更新编辑数据，并且结 束编辑处理。
图18B图解其中显示所编辑的剪辑的缩略图的封面显示部件4上的示例 性显示。在使用书页7执行剪切编辑之后，或在用户在观看封面显示部件4 上回放的视频时执行的编辑之后呈现该显示。
例如，用户可以被允许来执行屏幕切换操作来从如图18A所示的编辑屏 幕切换到该编辑后缩略图显示屏幕。替代地，在结束如图15所示的编辑处理 之后，系统控制器20可以自动地将封面显示部件4上的显示切换为如图18B 所示的缩略图显示。
编辑后缩略图显示60清楚地指示已经被编辑一次或多次的剪辑。在图18B的示例中，在每个被编辑的剪辑的剪辑名称之后显示字符串"编辑"，并
且显示在每个被编辑的剪辑的缩略图周围显示边框(frame )来清楚地向用户
指示纟皮编辑的剪辑。
以上述方式执行如图7所示的在步骤F3的编辑处理。
用户仍能以类似的方式选择任何期望的剪辑来在其上执行剪切编辑等。
例如，通过使用如图18B所示的缩略图显示60选择还未编辑的剪辑，则用户
能够促使所选择的剪辑的帧被分散在书页7上，然后使用书页7或封面显示
部件4编辑所选择的剪辑。
不需要讲，用户可以被允许来再次选择任何编辑的剪辑来检查其内容或
再次编辑。
此外，可以关于一个剪辑指定多个入点和出点。
如果用户确定他或她已经关于所下载的剪辑完成必要的编辑，则如图7 所示，在步骤F4，用户可以上载编辑数据。
例如，如图6所示，在编辑书1连接到非线性编辑器100,并且可以在 它们之间进行通信时，用户按下操作按钮显示65 "传送所有编辑数据"或操 作按钮显示66 "传送指定的编辑数据"。
如果按下操作按钮显示65 "传送所有编辑数据"，则系统控制器20执行 集中地将到目前为止所产生的每个剪辑的编辑数据上载到非线性编辑器100 的处理。
例如，如果按下操作按钮显示66 "传送指定编辑数据"，则系统控制器 20促使封面显示部件4来呈现要用于用户指定其编辑数据要被上载到非线性 编辑器100的剪辑的显示，由此提示用户来指定这样的剪辑。然后，根据这 样的剪辑的用户指定，系统控制器20执行将所指定的剪辑的编辑数据上载到 非线性编辑器100的处理。
非线性编辑器IOO在存储部件102中存储从编辑书1传送的编辑数据， 并且将所存储的编辑数据当作基于非线性编辑器100本身的操作产生的编辑 数据，促使所存储的编辑数据反映在编辑视频剪辑的结果中。
因此，完成使用编辑书1的一系列编辑工作。
根据上述实施例的编辑书1产生下列效果。
首先，关于所下载的视频剪辑，编辑书1能够允许组成视频剪辑的帧被分散在书页7上，使得以沿时间轴的规则顺序在页上排列帧。因此，用户能 够检查剪辑的内容，并且具有好像他或她正在浏览书的感觉。例如，这使得 正在尝试制作视频内容的用户更容易检查作为视频材料的剪辑的内容。此外， 与使用诸如需要复杂操作的非线性编辑器IOO之类的、用于编辑的专用机器 检查视频内容的情况不同，用户能够利用编辑书1非常容易地检查视频内容， 甚至可以由不熟练的人编辑者操作该编辑书1。
用户能够检查运动视频的内容，并且具有翻页的感觉，因此在非常快地 翻页的同时检查视频。该检查视频的方式允许用户感觉他或她好像正在观看
运动视频，因此是用于^r查视频内容和搜索编辑点的非常适合的方式。
此外，用户能够通过简单地指定在书页上固定显示的任何期望的帧来使
用书页7直观地指定入点和出点。因此，即使不具有很好的技术，每个人也
可以容易地执行剪切编辑。
此外，在观看封面显示部件4上的视频的同时，不仅可以进行剪切编辑，
而且可以进行各种其它编辑操作。这使得复杂的编辑任务变为可能。
每个书页7由电子纸形成，并且如前所述，甚至在断电之后，电子纸也
能够在其上保持所显示的图像一段时间(时间段的长度依赖于电子纸的类型；
例如， 一周等)。
因此， 一旦剪辑的帧被分散在书页7,则甚至在断电之后用户也能够使 用书页7检查帧。例如，因为他或她不在他或她的房间或在室外进行，因此 用户可以期望避免电池消耗。此外，电池耗尽可能发生，甚至在这样的情况 下，用户也能够在断电时检查帧。
例如，由于在书页7上分散帧，因此，用户能够在用户感兴趣的视频的 部分放置关于编辑、视频内容等的书签或笔记。例如，在实际指定入点之前， 用户能够在作为入点的候选的数个点上放置书签。以这种方式，可以非常直 观地处理编辑书1。
考虑书页7之间的笔记等的放置的可能性，最好将外壳(coating )应用 到书页7的表面，使得石墨和墨水变得不太可能附着在书页7的表面上。
虽然已经将编辑书1描述为本发明的书形显示设备的一个实施例，但是 存在作为编辑书1的书形显示设备的各种可想到的变型和应用。
编辑书1的外观、长度、宽度和厚度、封面部分2和3的结果、书页7 和书脊部分6、书页数(即，页数)、封面显示部件4的尺寸和封面显示部件4的数量不限于在上面参照图1、 2A、 2B、 3A、 3B、 4A、 4B和4C描述的那些 示例。还注意，编辑书的内部结构不限于图5所示的结构。
在上述实施例中，在每个书页7上显示三个帧。然而，注意，例如，如 图21A所示，在可以在每个书页71上显示一个帧71和时间码72、操作按钮 显示73和指示帧71的fps的图像74。
不需要讲，依赖于书页7的尺寸，可以在每个书页7上显示四个或更多 个帧。
还注意，如图21B所示，每个书页7可以被用作显示表面。当在书页7 的两侧显示帧时，可用于显示帧的页数变为书页数的两倍。
图22A、 22B、 22C和22D图解编辑书的示例性结构，其中封面显示部件 4A和操作按键5A以及封面显示部件4B和操作按键5B分别被提供在封面部 分2和3上。图22A显示从封面部分2侧看去的编辑书的视图，而图22B显 示从封面部分3侧看去的编辑书的视图。
例如，关于书页7，书页7的两侧被用作如图21B所述的显示表面。
例如，习惯用右手的人将使用布置在封面部分2上的封面显示部件4A 和操作按键5A。在这种情况下，每个书页7的一侧，即，习惯用右手的人在 以图22C所示的方式浏览页时可以更容易地观看的一侧被用作显示表面，而 在每个书页7的该侧分散帧。
另一方面，习惯用左手的人将使用布置在封面部分3上的封面显示部件 4B和操作按键5B。在这种情况下，每个书页7的相对侧，即，习惯用左手的 人在以图22D所示的方式浏览页时可以更容易地观看的一侧被用作显示表 面，而在每个书页7的该侧分散帧。
因此，具有以上结构的编辑书1对于习惯用右手的人和习惯用左手的人 都是方便的。
在上述实施例中，假设根据诸如USB或IEEE 1394之类的通信系统，编 辑书1经由线缆连接到并与非线性编辑器100通信。然而，注意，编辑书1 可以包括用于无线LAN、蓝牙、光通信等的通信单元，并且以无线方式从非 线性编辑器100下载数据，并将编辑数据传送到非线性编辑器100。
还注意，编辑书1经由诸如因特网之类的网络与非线性编辑器100通信。
辑书1。在这种情况下，拥有编辑书1的用户能够与位于远端的非线性编辑器100通 信来从其下载剪辑或向其传送剪辑。例如，从事广播服务的人编辑者能够在
广播站外使用编辑书1来访问位于广播站内的非线性编辑器100来检查视频
处理或执行编辑任务。
此外，例如，封面部分2或封面显示部分4可以配有手写输入部件来接 受手写输入。在这种情况下，用户输入字符作为手写输入，并且系统控制器 20将输入的字符转换为文本数据，因此将所输入的字符转换为诸如剪辑的笔 记数据之类的电子信息。
已经假设编辑书1用于编辑工作。然而，注意，根据本发明其它实施例 的书形显示设备可以用于除视频编辑之外的其它目的。例如，根据本发明一
在书页7上，以便以漫画书的形式介绍视频内容的内容。该书形显示设备不 需要具有编辑特征。
此外，普通用户可以下载由他或她自己拍摄并存储在个人计算机等中的 运动视频下载到书形显示设备中，并且欣赏以漫画书的形式被分散在书页上 的运动视频。
也就是，根据本发明一个实施例的书形显示设备能够提供包括视频材料 的使用的娱乐新方式。
本领域技术人员应该理解，可以根据设计需要和其它因素进行各种修改、 组合、子组合和改变，而它们均落入所附权利要求及其等效物的范围内。
权利要求
1. 书形显示设备，包括封面部分；每一个由柔性纸状显示装置形成的多个书页部分；和装订所述封面部分和所述多个书页部分的书脊部分，使得书形显示设备具有带有组成页的所述书页部分的书状结构；外部接口部件，配置来从外部装置接收组成视频的多份帧数据；储存部件，配置来储存经由所述外部接口部件接收到的多份帧数据；书页显示控制部件，配置来驱动每个所述书页部分来呈现显示；和控制部件，配置来使用存储在所述储存部件中的帧数据为每个所述书页部分产生显示图像数据，将所产生的显示图像数据提供给所述书页显示控制部件，并且控制所述书页显示控制部件在每个所述书页部分上呈现静态图像显示。
2. 如权利要求1所述的书形显示设备，其中所述控制部件针对每个所述 书页部分产生显示图像数据，使得组成视频的多份帧数据随着由所述书页部 分组成的页的前进而沿视频的时间轴连续地或间断地前进，并且将所产生的 显示图像数据提供给所述书页显示控制部件。
3. 如权利要求2所述的书形显示设备，其中 每个所述书页部分在其上提供了用于编辑操作的操作输入部件；和 所述控制部件基于使用操作输入部件执行的操作产生视频编辑数据。
4. 如权利要求3所述的书形显示设备，其中操作输入部件用于将显示在 所述书页部分上的静态图像指定为视频中的入点或出点的操作。
5. 如权利要求3所述的书形显示设备，其中操作输入部件由提供在所述 书页部分上的触摸传感器形成。
6. 如权利要求4所述的书形显示设备，其中 配置每个所述书页部分，使得其书页端面也能够显示操作，和 如果在所述书页部分之一上执行指定入点或出点的操作，所述控制部分控制所述书页显示控制部件来促使所述书页部分的所述之一的书页端面执行 显示操作。
7. 如权利要求3所述的书形显示设备，其中所述控制部件经由所述外部接口部件执行向外部装置传输和输出视频编辑数据的处理。
8. 如权利要求1所述的书形显示设备，其中每个所述书页部分由甚至在 断电之后还保持在其上呈现的显示的电子纸形成。
9. 如权利要求1所述的书形显示设备，其中所述控制部件基于所述书页 部分的数量和在由存储在所述存储器部件中的多份帧数据表示的一个视频单 元中的帧数，确定从所述存储部件读取并用于产生显示图像数据的相邻多份 帧数据之间的间隔。
10. 如权利要求1所述的书形显示设备，其中所述控制部件使用表示由 存储在所述存储部件中的多份帧数据组成的视频中的运动程度的运动信息， 确定从所述存储部件读取并用于产生显示图像数据的相邻多份帧数据之间的 间隔。
11. 如权利要求1所述的书形显示设备，其中所述封面部分具有在其上 形成的显示部分。
12. 如权利要求11所述的书形显示设备，其中所述存储部分存储每一个由多份帧数据组成的一个或多个视频单元，和显示部件上。
13. 如权利要求12所述的书形显示设备，其中 所述封面部分具有在其上提供的操作输入部件，和如果通过使用操作输入部件执行的操作选择视频单元之一，则所述控制显示图像数据，将所产生的显示图像数据提供给所述书页显示控制部件，并 且控制所述书页显示控制部件来在每个所述书页部分上呈现静态图像显示。
14. 如权利要求13所述的书形显示设备，其中操作输入部件由提供在显 示部件上的触摸传感器形成。
15. 如权利要求13所述的书形显示设备，其中如果通过使用操作输入部 件执行的操作选择视频单元之一，则所述控制部件控制显示部件来呈现用于 对所选择的视频单元进行编辑的显示。
16. 如权利要求13所述的书形显示设备，其中所述控制部件根据使用操 作输入部件执行的视频编辑操作产生视频编辑数据。
17. 如权利要求16所述的书形显示设备，其中所述控制部件经由所述外部接口部件执行向外部装置传送并输出视频编辑数据的处理。
18. —种使用书形显示设备编辑视频的方法，所述书形显示设备包括封 面部分；每一个由柔性纸状显示装置形成并具有用于编辑操作的操作输入部 件的多个书页部分；和装订封面部分和多个书页部分的书脊部分，使得书形 显示设备具有带有组成页的书页部分的书状结构，所述方法包括步骤输入并储存组成书形显示设备中的视频的多份帧数据；使用所储存的帧数据产生用于每个书页部分的显示图像数据，并且使用所产生的显示图像数据在每个书页部分上呈现静态图像显示； 基于使用操作输入部件执行的操作产生视频编辑数据；和 将在所述视频编辑数据的产生中产生的视频编辑数据传送并输出到外部装置。
全文摘要
书形显示设备和使用书形显示设备编辑视频的方法，该书形显示设备包括封面部分；每一个由柔性纸状显示装置形成的多个书页部分；和装订封面部分和多个书页部分的书脊部分，使得书形显示设备具有带有组成页的书页部分的书状结构；该设备还包括外部接口部件，配置来从外部装置接收组成视频的多份帧数据；储存部件，配置来储存多份帧数据；书页显示控制部件，配置来驱动每个所述书页部分来呈现显示；和控制部件，配置来使用存储在所述储存部件中的帧数据产生用于每个所述书页部分的显示图像数据，将所产生的显示图像数据提供给所述书页显示控制部件，并且控制所述书页显示控制部件在每个所述书页部分上呈现静态图像显示。
文档编号G09G3/36GK101415060SQ200810169078
公开日2009年4月22日 申请日期2008年10月20日 优先权日2007年10月18日
发明者德中润三, 柏浩太郎, 真贝光俊 申请人:索尼株式会社