移动终端和移动终端的控制方法

移动终端和移动终端的控制方法
【专利摘要】公开了一种移动终端和移动终端的控制方法，其提供了能够预览视频的整体内容的缩略图。该移动终端包括：存储器，其用于存储视频；显示器，其用于输出视频和视频的缩略图；控制器，其用于播放视频并且从视频创建多个代表图像以创建缩略图。该控制器可组合代表图像以创建缩略图。
【专利说明】移动终端和移动终端的控制方法

【技术领域】
[0001 ] 本发明涉及能够创建包括多个代表图像的缩略图的移动终端和移动终端的控制 方法。

【背景技术】
[0002] 移动终端是可被配置成执行各种功能的装置。这种功能的示例包括数据和语音通 信、借助相机拍摄图像和视频、记录音频、借助扬声器系统播放音乐文件并且输出音乐、在 显示器上显示图像和视频。
[0003] 通常，终端根据是否存在移动性可分为移动终端和固定式终端。并且，移动终端可 进一步根据可用于随身携带被分为手持终端和车载终端。
[0004] 对支持和增加移动终端的功能性进行了不懈努力。这种努力包括软件和硬件改 进，以及形成移动终端的结构组件的改变和改进。
[0005] 观看移动终端上的视频或照片是普及功能之一。因为移动终端处理诸如视频或图 像的大量多媒体文件，所以能够从大量多媒体文件中搜索用户所需的视频或照片的索引功 能的必要性高。
[0006] 通常，为了方便用户进行搜索，当显示视频或图像时缩略图是与文件名称一起显 示的。由于图像是静止图像，因此只使用缩略图来识别图像内容是没有问题的。然而，由于 视频包括多个连续帧，因此只使用缩略图来识别视频内容是存在问题的。


【发明内容】

[0007] 因此，本发明的实施方式涉及基本上消除了由于相关技术的限制和缺点导致的一 个或多个问题的移动终端和移动终端的控制方法。
[0008] 本发明是依据以上问题形成的，并且本发明的目的是提供一种提高了用户便利度 的移动终端。
[0009] 具体地，本发明的目的是提供一种能够提供能预览视频的整体内容的缩略图的移 动终端。
[0010] 为了实现这些和其它优点并且根据本说明书的目的，如本文实施和广义描述的， 提供了一种移动终端，所述移动终端包括：存储器，其用于存储视频；显示器，其用于输出 视频和视频的缩略图；控制器，其用于播放视频并且从视频创建多个代表图像以创建缩略 图。该控制器可组合代表图像以创建缩略图。
[0011] 在本发明的另一方面，一种移动终端的控制方法，包括：从视频创建多个代表图 像；组合所述代表图像以创建所述视频的缩略图；以及显示所创建的缩略图。
[0012] 可得自本发明的效果可不受上述效果限制。并且，本发明所属【技术领域】的普通技 术人员可通过下面的描述清楚地理解其它未提及的效果。
[0013] 要理解，对本发明的以上总体描述和以下详细描述都是示例性和说明性的并且旨 在提供对要求保护的本发明的进一步说明。

【专利附图】

【附图说明】
[0014] 附图被包括以提供对本发明的进一步理解，并入且构成本申请的一部分，示出本 发明的实施方式并且与描述一起用于说明本发明的原理。在结合附图考虑下面对优选实施 方式的描述的情况下，本发明的以上和其它方面、特征和优点将变得更清楚。在附图中：
[0015] 图1是根据本发明的一个实施方式的移动终端的框图；
[0016] 图2是根据本发明的一个实施方式的移动终端的正透视图；
[0017] 图3是根据本发明的一个实施方式的移动终端的后透视图；
[0018] 图4是示出根据本发明的一个实施方式的移动终端的操作的流程图；
[0019] 图5是示出其中视频的整个时段被分成多个时段并且从分成的各时段中提取代 表图像的示例的示图；
[0020] 图6是示出视频中除了特定时段之外的剩余时段被分成多个时段并且从分成的 各时段中提取代表图像的示例的示图；
[0021] 图7是示出其中在视频中设置重点（highlight)时段并且从设置的重点时段中提 取代表图像的示例的示图；
[0022] 图8是示出其中创建各人物的代表图像的示例的示图；
[0023] 图9是示出其中基于事件产生的详情创建变成事件目标的另一方的代表图像的 示例的示图；
[0024] 图10是示出其中基于与特定时段中的语音对应的文本创建代表图像的示例的示 图；
[0025] 图11A和图11B是不出其中提取与视频相关照片相关的代表图像的不例的不图；
[0026] 图12是示出其中当显示多媒体文件列表时与视频相邻定位的照片被决定为视频 相关照片的不例的不图；
[0027] 图13是示出其中基于关键词提取代表图像的示例的示图；
[0028] 图14是示出包含多个代表图像的缩略图的示图；
[0029] 图15是示出缩略图的视频播放区和代表图像区的示图；
[0030] 图16是示出当触摸视频播放区时移动终端的操作的示图；
[0031] 图17、图18、图19A和图19B是示出当触摸代表图像区时移动终端的操作的示图；
[0032] 图20是示出其中显示和与通过触摸选择的代表图像对应的人物通信的画面的示 例的示图；
[0033] 图21是示出其中视频的代表图像和视频相关照片的代表图像被组合以创建视频 缩略图的示例的示图；
[0034] 图22是示出其中创建文件夹缩略图的示例的示图；
[0035] 图23是示出缩略图的进入区和链接区的示图；
[0036] 图24和图25是示出当触摸文件夹缩略图的进入区时和当触摸文件夹缩略图的链 接区时的操作的示图；
[0037] 图26是示出其中包含多个图像的缩略图被放大显示的示例的示图；
[0038] 图27是示出根据本发明的一个实施方式的移动终端的操作的流程图；
[0039] 图28的（a)和图28的（b)是示出其中响应于用户输入暂停播放视频以能够进行 追踪功能的示例的示图；
[0040] 图29的（a)和图29的（b)是示出其中视觉上区分可被设置为目标对象的候选对 象的示例的示图；
[0041] 图30的（a)和图30的（b)是示出其中视频的至少一部分被设置为焦点区（focus region)的示例的示图；
[0042] 图31的（a)和图31的（b)是示出其中改变焦点区的大小的示例的示图；
[0043] 图32的（a)和图32的（b)是示出其中输出小地图的示例的示图；
[0044] 图33的（a)和图33的（b)是示出当设置多个目标对象时触摸屏的输出的示图；
[0045] 图34的（a)至图34的（c)是示出当中断对目标对象的追踪时触摸屏的输出变化 的示图；
[0046] 图35的（a)和图35的（b)是示出其中视频的播放时间变成目标对象的重现时间 的示例的示图；
[0047] 图36的（a)和图36的（b)是示出其中在播放状态显示进度条上显示同时在视觉 上区分目标对象的出现时间或出现目标对象的时段的示例的示图；
[0048] 图37的（a)和图37的（b)是示出其中显示从视频中提取的目标对象的示例的示 图；
[0049] 图38的（a)和图38的（b)是示出其中与已产生事件的另一方对应的对象被自动 设置为目标对象的示例的示图；
[0050] 图39是示出其中在视频播放列表中显示候选对象列表的示例的示图；
[0051] 图40的（a)至图40的（c)是示出在视频记录期间进行用户输入以设置焦点区的 示例的示图；
[0052] 图41的（a)和图41的（b)是示出其中在主播放窗口上显示子播放窗口的示例的 示图；
[0053] 图42的（a)和图42的（b)是示出其中改变焦点区的位置的示例的示图；
[0054] 图43的（a)至图43的（c)是示出其中改变焦点区的大小的示例的示图；以及
[0055] 图44是示出其中相机效果被施加到至少一个子播放窗口的示例的示图。

【具体实施方式】
[0056] 在下面的【具体实施方式】中，参照附图，附图形成【具体实施方式】的一部分并且以示 例方式示出本发明的特定实施方式。本【技术领域】的普通技术人员将理解，可利用其它实施 方式，可在不脱离本发明的范围的情况下，进行结构上、电学上以及工序上的改变。只要有 可能，将在附图中始终使用相同的参考标号表示相同或类似的部件。
[0057] 如本文使用的，后缀"模块"、"单元"和"部件"用于元件，只是便于公开。因此，后 缀本身并没有被赋予重要的含义或功能，理解的是，"模块"、"单元"和"部件"可一起使用或 能互换地使用。
[0058] 本发明可应用于各种类型的移动终端。这种终端的示例包括移动电话、用户设备、 智能电话、数字广播接收器、个人数字助理、膝上型计算机、便携式多媒体播放器（PMP)、导 航仪等。
[0059] 然而，本领域的技术人员清楚的是，根据本说明书中公开的实施方式的构造可应 用于诸如数字TV、台式计算机等的固定终端以及移动终端。
[0060] 图1是根据本发明的实施方式的移动终端100的框图。图1示出根据本发明的一 个实施方式的移动终端100包括无线通信单元110、A/V(音频/视频）输入单元120、用户 输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源单 元190等。图1示出具有各种组件的移动终端10，但理解的是，不需要实现所有图示的组 件。另选地，可实现更多或更少的组件。
[0061] 在下面的描述中，顺序地说明移动终端100的以上元件。
[0062] 首先，无线通信单元110通常包括允许在移动终端100与无线通信系统或移动终 端100所处的网络之间进行无线通信的一个或多个组件。例如，无线通信单元110可包括 广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114、定位模块 115 等。
[0063] 广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播 相关信息。广播信道可包括卫星信道和地面信道。为了寻求同时接收至少两个广播信道或 便于广播信道切换，可为移动终端100提供至少两个广播接收模块111。
[0064] 广播管理服务器通常是指生成并且发送广播信号和/或广播相关信息的服务器 或接收预先生成的广播信号和/或广播相关信息并接着将提供的信号或信息发送到终端 的服务器。除了其它的之外，广播信号可被实现为TV广播信号、无线电广播信号和数据广 播信号。如有需要，广播信号还可包括与TV或无线电广播信号结合的广播信号。
[0065] 广播相关信息包括与广播信道、广播节目、广播服务提供商等相关的信息。并且， 广播相关信息可经由移动通信网络提供。在这种情况下，可由移动通信模块112接收广播 相关信息。
[0066] 广播相关信息可按各种形式实现。例如，广播相关信息可包括数字多媒体广播 (DMB)的电子节目指南（EPG)和数字视频广播-手持（DVB-Η)的电子服务指南（ESG)。
[0067] 广播接收模块111可被配置成接收从各种类型的广播系统发送的广播信号。作 为非限制示例，这种广播系统包括数字多媒体广播-地面（DMB-T)、数字多媒体广播-卫 星（DMB-S)、数字视频广播-手持（DVB-Η)、广播和移动服务的融合（DVB-CBMS)、移动开 放联盟-广播（0MA-BCAST)、中国多媒体移动广播（CMMB)、广播式手机电视业务管理系统 (MBBMS)、被称为仅媒体前向链路（MediaFLO?)的数据广播系统和综合业务数字广播_地 面（ISDB-T)等。可选地，广播接收模块111可被配置成适用于其它广播系统以及以上说明 的数字广播系统。
[0068] 通过广播接收模块111接收的广播信号和/或广播相关信息可被存储在诸如存储 器160的合适装置中。
[0069] 移动通信模块112经由诸如GSM(全球移动通信系统）、CDMA(码分多址）、 WCDMA(宽带CDMA)等的移动网络向一个或多个网络实体（例如，基站、外部终端、服务器 等）发送无线信号或者从一个或多个网络实体接收无线信号。除了其它的之外，这种无线 信号可代表根据文本/多媒体消息收发的音频、视频和数据。
[0070] 无线互联网模块113支持移动终端100的互联网访问。这个模块可被内部地或外 部地连接到移动终端100。在这种情况下，无线互联网技术可包括WLAN(无线LAN) (Wi-Fi), Wibro (无线宽带）、ffimax (全球微波互联接入）、HSDPA (高速下行分组接入）、GSM、CDMA、 WCDMA、LTE (长期演进）等。
[0071] 经由移动通信网络实现按Wibro、HSPDA、GSM、CDMA、WCDMA、LTE等进行的无线互联 网访问。在这个方面，被配置成经由移动通信网络执行无线互联网接入的无线互联网模块 113可被理解为是移动通信模块112的一类。
[0072] 短距离通信模块114有助于相对短距离的通信。举例来说，用于实现这个模块 的合适技术包括射频识别（RFID)、红外数据协会（IrDA)、超宽带（UWB)以及一般称为 Bluetooth (蓝牙）和ZigBe的联网技术。
[0073] 定位模块115标识或以其它方式得到移动终端100的位置。如有需要，可用全球 定位系统（GPS)模块实现这个模块。根据当前技术，GPS模块115能够通过计算来自至少 三个卫星的距离信息和精确时间信息并且接着将三角测量应用于计算出的信息来精确计 算基于经度、纬度、高度、方向（或方位）中的至少一个的当前三维位置信息。当前，使用三 个卫星计算位置和时间信息，然后使用另一卫星修改计算出的位置和时间信息的误差。除 此之外，GPS模块115能够通过连续地计算实时当前位置来计算速度信息。
[0074] 参照图1，音频/视频（A/V)输入单元120被配置成向移动终端100提供音频或视 频信号输入。如所示出的，A/V入单元120包括相机121和麦克风122。相机121接收并且 处理在视频通话模式或拍摄模式下由图像传感器获得的静止图片或视频的图像帧。并且， 经处理的图像帧可显示在显示器151上。
[0075] 经相机121处理后的图像帧可被存储在存储器160中或者经由无线通信单元110 发送到外部。可选地，根据使用环境，可以在移动终端100中设置至少两个相机121。
[0076] 麦克风122在便携式装置处于诸如电话通话模式、录音模式和语音识别的特定模 式下时接收外部音频信号。这个音频信号被处理和转换成电子音频数据。在通话模式的 情况下，经处理后的音频数据被转换成能经由移动通信模块112发送给移动通信基站的格 式。麦克风122通常包括消除在接收外部音频信号的过程中生成的噪声的各式各样的噪声 消除算法。
[0077] 用户输入单元130生成响应于用户对一个或多个相关输入装置的操纵生成输入 数据。这种装置的示例包括设置在移动终端100的正面/后面/侧面的按钮136和触摸传 感器（恒压/静电）137，并且还可包括键盘、薄膜开关、轻触滚轮、轻触开关等[图中未示 出]。
[0078] 感测单元140提供使用移动终端的各种方面的状态测量值来控制移动终端100的 操作的感测信号。例如，感测单元140可检测移动终端100的打开/关闭状态、移动终端 100的组件（例如，显示器和键盘）的相对定位、移动终端100或移动终端100的组件的位 置改变、用户与移动终端100的接触存在与否、移动终端100的朝向或加速/减速。作为非 限制示例，这种感测单元140包括陀螺仪传感器、加速度传感器、地磁传感器。
[0079] 作为示例，考虑将移动终端100被配置为滑盖型移动终端。在这种配置中，感测单 元140可感测移动终端的滑动部分是打开还是关闭的。其它示例包括感测单元140感测电 源单元190是否供电、接口单元170是否与外部装置耦合或进行其它了连接。并且，感测单 元140包括接近传感器141。
[0080] 输出单元150产生与视觉、听觉、触觉等相关的输出。并且，输出单元150包括显 示器151、音频输出模块152、报警单元153、触觉模块154等。
[0081] 显示器151通常被实现为可视地显示(输出）与移动终端100关联的信息。例 如，如果移动终端正在电话通话模式下操作时，则显示器将通常提供用户界面（UI)或图形 用户界面（GUI)，所述界面包括与设置、进行和终止电话通话关联的信息。作为另一个示例， 如果移动终端100处于视频通话模式或拍摄模式下，则显示器151可另外地或另选地显示 与这些模块关联的图像、Π 或⑶I。
[0082] 显示模块151可使用已知的显示技术（包括例如液晶显示器（IXD)、薄膜晶体 管-液晶显示器（TFT-IXD)、有机发光二极管显示器（0LED)、柔性显示器和三维显示器）来 实现。移动终端100可包括这种显示器中的一个或多个。
[0083] 以上显示器中的一些可被实现为是透明或透光型，可被称为透明显示器。作为透 明显示器的代表示例的是T0LED(透明0LED)等。显示器151的后部构造也可按透光型来 实现。在这种构造下，用户能够通过终端机体的显示器151所占据的区域看到终端机体后 面的对象。
[0084] 根据实现的移动终端100的构造，可在移动终端100中设置至少两个显示器151。 例如，多个显示器可按彼此分隔开或者构建成一体的方式布置在移动终端100的单个面 上。另选地，多个显示器可布置在移动终端100的不同面上。
[0085] 在显示器151和触摸传感器137构成互层结构（下文中，称为"触摸屏"）的情况 下，能够使用显示器151作为输入装置以及输出装置。在这种情况下，触摸传感器可被配置 为触摸膜、触摸片、触摸板等。
[0086] 触摸传感器137可被配置成将施加于显示器151的特定部分的压力或者显示器 151的特定部分产生的电容的变化转换成电子输入信号。此外，能够将触摸传感器137配置 成检测触摸的压力以及被触摸的位置或大小。
[0087] 如果对触摸传感器137进行触摸输入，则对应于触摸的信号被传递到触摸控制 器。触摸控制器处理信号并接着将经处理的信号传递到控制器180。因此，控制器180能够 得知显示器151的预定部分是否被触摸。
[0088] 参照图2，接近传感器（141)可设置在被触摸屏包围或围绕触摸屏的移动终端100 的内部区域中。接近传感器是在没有机械接触的情况下使用电磁场强度或红外线检测是否 存在接近预定检测表面的对象或者在接近传感器周围是否存在对象的传感器。因此，接近 传感器的耐久性比接触型传感器的耐久性更久并且接近传感器的实用性比接触型传感器 的实用性更广。
[0089] 接近传感器可包括透光型光电传感器、直接反射型光电传感器、镜像反射型光电 传感器、射频振荡型接近传感器、静电电容型接近传感器、磁型接近传感器、红外线接近传 感器等中的一种。在触摸屏包括静电电容型接近传感器的情况下，它被配置成利用电场根 据指点物接近程度的变化来检测指点物的接近程度。在这种情况下，触摸屏（触摸传感器） 能归类为接近传感器。
[0090] 为了下面描述的清晰和方便，随着指点物变得靠近触摸屏而不接触触摸屏，如果 感觉指点物位于触摸屏上方，则这种动作应该被命名为"接近触摸"。如果指点物实际上接 触了触摸屏，则这种动作应该被命名为"接触触摸"。用指点物在触摸屏上方进行接近触摸 的位置可意味着当触摸屏与指点物是接近触摸关系时指点物垂直相对触摸屏的位置。
[0091] 接近传感器检测接近触摸和接近触摸模式（例如，接近触摸距离、接近触摸持续 时间、接近触摸位置、接近触摸移动状态等）。并且，与检测到的接近触摸动作和检测到到的 接近触摸模式对应的信息可被输出到触摸屏。
[0092] 音频输出模块152可在各种模式（包括通话接收模式、通话设置模式、录音模式、 语音识别模式、广播接收模式等）下用于输出从无线通信单元110接收或存储在存储器160 中的音频数据。在操作期间，音频输出模块152输出与特定功能（例如，呼叫接收、消息接 收等）相关的音频。通常，使用一个或多个扬声器、蜂鸣器、其它音频产生装置及其组合来 实现音频输出模块152。
[0093] 报警单元153输出用于通知与移动终端100关联的特定事件出现的信号。典型的 事件包括呼叫接收事件、消息接收事件、触摸输入接收事件等。报警单元153能够输出以振 动方式通知事件出现的信号以及视频或音频信号。可经由显示器151或音频输出模块152 输出视频或音频信号。因此显示器151或音频输出模块152可被视为报警单元153的部分。
[0094] 触觉模块154生成用户能感测到的各种触觉效果。振动是由触觉模块154产生的 触觉效果的代表性触觉效果。触觉模块154产生的振动的强度和模式是可控的。例如，不 同振动可按被合成在一起的方式输出或者可顺序地输出。
[0095] 触觉模块154能够产生各种触觉效果以及振动。例如，触觉模块154产生归因于 针排列相对于接触皮肤表面垂直移动的效果、归因于通过喷射孔/吸孔的空气的喷射力/ 吸力的效果、归因于在皮肤上的掠过的效果、归因于与电极接触的效果、归因于静电力的效 果、归因于利用吸收或发热装置表现热感/冷感的效果等。
[0096] 触觉模块154可被实现为能够使用户通过手指、手臂等的肌肉感觉来感测触觉效 果以及通过直接接触传递触觉效果。可选地，根据移动终端100的对应构造类型，可在移动 终端100中设置至少两个触觉模块154。
[0097] 存储器单元160通常用于存储用于支持移动终端100的处理、控制和存储要求的 各种类型的数据。这种数据的示例包括用于在移动终端100上运行的应用的程序指令、联 系人数据、电话簿数据、消息、音频、静止图片（或照片）、移动图片等。并且，各数据的近期 使用历史或累计使用频率（例如，各电话簿、各消息或各多媒体的使用频率）可被存储在存 储器单元160中。此外，在对触摸屏进行触摸输入的情况下输出的各种模式的振动和/或 声音的数据可被存储在存储器单元160中。
[0098] 存储器160可使用合适的易失性和非易失性存储器或存储装置中的任何类型或 组合来实现，包括硬盘、随机存取存储器（RAM)、静态随机存取存储器（SRAM)、电可擦除可 编程只读存储器（EEPR0M)、可擦除可编程只读存储器（EPR0M)、可编程只读存储器（PR0M)、 只读存储器（ROM)、磁存储器、闪存、磁或光盘、多媒体卡微型存储器、卡型存储器（例如，SD 存储器、XD存储器等）或其它类似的存储器或数据存储装置。并且，移动终端100能够与 在互联网上执行存储器160的存储功能的网络存储器相关联地操作。
[0099] 接口单元170通常被实现为将移动终端100与外部装置连接。接口单元170从外 部装置接收数据或者被提供电力并接着将数据或电力传递到移动终端100的各个元件或 者使移动终端100内的数据能够被传递到外部装置。可使用有线/无线头戴听筒端口、夕卜 部充电器端口、有线/无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、 音频输入/输出端口、视频输入/示出端口、耳机端口等构造接口单元170。
[0100] 识别模块是用于存储认证移动终端100的使用权限的各种类型信息的芯片并且 可包括用户识别模块（ΠΜ)、用户身份模块（SIM)、通用用户识别模块（USIM)等。具有识别 模块的装置（下文中，被称为"识别装置"）可被制造为智能卡。因此，识别装置能经由对应 端口与移动终端100连接。
[0101] 当移动终端100连接到外部支架时，接口单元170变成从支架向移动终端100供 电的通道或者用于将用户从支架输入的各种命令信号传递到移动终端100的通道。从支架 输入的各种命令信号或电力均可被操作为使移动终端100能够识别它被正确装载在支架 上的信号。
[0102] 控制器180典型地控制移动终端100的总体操作。例如，控制器180执行与语音 通话、数据通信、视频通话等关联的控制和处理。控制器180可包括提供多媒体回放的多媒 体模块181。多媒体模块181可被配置为控制器180的部分或者可被实现为独立的组件。
[0103] 此外，控制器180能够执行模式（或图像）识别处理，用于将在触摸屏上执行的书 写输入和画图输入分别识别为字符或图像。
[0104] 电源单元190为移动终端100提供各种组件所需的电力。所述电力可以是外部电 力、内部电力或其组合。
[0105] 电池可包括内置的可再充电电池并且可拆卸地附着于终端机体，以进行充电等。 连接端口可被配置为接口 170的一个示例，用于供应电池充电电力的外部充电器经由接口 170电连接。
[0106] 本文描述的各种实施方式可利用例如计算机软件、硬件或其一些组合在计算机可 读介质中实现。
[0107] 对于硬件实现，本文描述的实施方式可在一个或多个专用集成电路（ASIC)、数字 信号处理器（DSP)、数字信号处理装置（DSro)、可编程逻辑器件（PLD)、现场可编程门阵列 (FPGA)、处理器、控制器、微控制器、微处理器、设计用于执行本文描述的功能的其它电子单 元、或它们的选择性组合内实现。这种实施方式可用控制器180来实现。
[0108] 对于软件实现，本文描述的实施方式可用独立的软件模块（诸如，程序和功能）来 实现，各软件模块执行本文描述的功能和操作中的一个或多个。软件代码可用以任何适当 编程语言编写的软件应用来实现并且可被存储在诸如存储器160的存储器中并且由诸如 控制器180的控制器或处理器来执行。
[0109] 图2是根据本发明的一个实施方式的移动终端的正透视图。
[0110] 图中示出的移动终端100具有直板型终端机体。然而，移动终端100可用各种不 同构造来实现。这种构造的示例包括翻盖型、滑盖型、旋转型、旋动型及其组合。为了清晰 起见，进一步的公开内容将主要涉及直板型移动终端100。然而，这种教导同等地应用于其 它类型的移动终端。
[0111] 参照图2A，移动终端100包括构成其外部的壳体（101、102、103)。在本实施方式 中，壳体被划分成前壳体101和后壳体102。各种电/电子部件被装载在前壳体101和后壳 体102之间设置的空间中。
[0112] 偶尔，电子组件可安装在后壳体102的表面上。安装在后壳体102的表面上的电 子部件可包括诸如电池、USM卡、存储卡等的可拆卸部件。在这样的情况下，后壳体102还 可包括被构造成覆盖后壳体102的表面的背盖103。具体地，背盖103具有方便用户的可拆 卸构造。如果从后壳体102拆卸下背盖103，则后壳体102的表面被暴露。
[0113] 参照图2，如果背盖103附着于后壳体102，则后壳体102的侧面可被部分暴露。如 果背盖103的大小减小，则后壳体102的后面可被部分暴露。如果背盖103覆盖后壳体102 的整个后面，则它可包括开口 103'，开口 103'被构造成将相机121'或音频输出单元152' 暴露于外部。
[0114] 壳体102、102和103是通过将合成树脂注塑成型形成的或者例如可由诸如不锈钢 (STS)、钛等的金属物质形成。
[0115] 显示器151、音频输出单元152、相机121、用户输入单元130/131和132、麦克风 122、接口 180等可设置在壳体101或102中。
[0116] 显不器151占据前壳体101的大部分主表面。音频输出单兀152和相机121设置 在邻近显示器151的两个端部中的一个端部的区域，而用户输入单元131和麦克风122设 置在邻近显示器151的另一个端部的另一区域。用户输入单元132和接口 170可设置在前 壳体101和后壳体102的侧面。
[0117] 输入单元130被操纵为接收用于控制终端100的操作的命令。并且，输入单元130 能够包括多个操纵单元131和132。操纵单元131和132可被命名为操纵部并且可采用使 用户能够通过感受触觉感觉执行操纵动作的触觉方式的任何机制。
[0118] 可用各种方式设置第一操纵单元131或第二操纵单元132输入的内容。例如，诸 如开始、结束、滚动等命令被输入到第一操纵单元131。并且用于对从音频输出单元152输 出的声音进行音量调节的命令可被输入到第二操纵单元132，用于切换至显示器151的触 摸识别模式的命令可被输入到第二操纵单元132。
[0119] 图3是图2中示出的终端的背面的透视图。
[0120] 参照图3，在终端机体的背面（更具体地，在后壳体102)上，另外地设置相机 121'。相机121具有与图2中示出的前方相机121的拍摄方向基本相反的拍摄方向并且可 具有与前方相机121的像素不同的像素。
[0121] 优选地，例如，前方相机121具有足以为进行视频通话而拍摄和发送用户的面部 照片的低像素，而后方相机121'具有用于拍摄供拍摄的一般主体而不发送所拍摄的主体 的高像素。并且，相机121和121'可被安装在终端机体上，以被旋转或弹出。
[0122] 闪光灯123和反射镜124另外地邻近相机121'设置。在使用相机121'拍摄主体 的情况下，闪光灯123向着主体投射光。在用户尝试使用相机121'拍摄用户照片（自拍） 的情况下，反射镜124使用户能够看到被反射镜124反射的用户的面部。
[0123] 可在终端机体的后面设置另外的音频输出单元152'。另外的音频输出单元152' 能够与图2中示出的前方音频输出单元152-起实现立体声功能并且可用于在通过终端进 行通话的过程中的免提模式。
[0124] 可在终端机体的侧面另外地设置广播信号接收天线116以及用于通信等的天线。 构成图1中示出的广播接收模块111的一部分的天线116能缩回地设置在终端机体中。
[0125] 为了便于描述，假设根据本发明的实施方式的移动终端100包括图1中示出的组 件中的至少一个。具体地，假设根据本发明的实施方式的移动终端100包括图1中示出的 组件之中的显示器151、存储器160和控制器180。根据情况，可假设根据本发明的实施方 式的移动终端100还包括无线通信单元110。
[0126] 在显示器151是触摸屏的情况下，可容易地实施根据本发明的实施方式的移动终 端100。因此，下文中，假设显示器151是触摸屏。在显示器151是触摸屏的情况下，显示器 151可用作用于显示信息的输出装置，除此之外还用作用于接收用户输入的输入装置。在显 示器151不是触摸屏的情况下，根据本发明的实施方式的移动终端100可包括用于接收用 户输入的另外的输入单元（例如，实体按钮）。然而，在显示器151是触摸屏的情况下，移动 终端100可包括另外的输入单元。
[0127] 根据本发明，可公开创建视频的缩略图的方法。缩略图是视频、图像等的大小减小 的版本。缩略图用作一种索引，使得在搜索视频或图像期间能够容易地识别视频或图像。当 显示一列视频或图像时，控制器80可控制缩略图与各视频或图像的文件名称一起显示，使 得用户可容易地识别视频或图像。
[0128] 可通过从视频的全部帧中提取随机时间（或预定时间）的帧并且减小所提取帧的 大小来创建视频的缩略图。由于视频包括多个连续帧，因此问题在于，使用一帧识别视频的 全部内容。因此，本发明提出了一种创建能够容易识别视频的全部内容的缩略图的方法。
[0129] 将基于下面将参照附图描述的实施方式，详细地描述缩略图创建方法。在后面的 实施方式中，假设视频包括各种类型的视频（诸如，使用相机形成的视频、从外部终端接收 的视频、在网络上以流放模式播放的视频）。
[0130] 图4是示出根据本发明的一个实施方式的移动终端100的操作的流程图。为了创 建预定视频的缩略图，控制器180可创建与视频相关的多个代表图像（S401)。控制器180 可将构成视频的多个帧中的至少一个设置为代表图像或者基于视频中包含的语音创建代 表图像。具体地，控制器180可将与视频的特定播放时间对应的帧、包含在视频的重点时段 中的帧、与视频中的特定人物的出现时间对应的帧、与视频中的特定声音的生成时间对应 的帧、或通过将特定时段期间的语音转换成文本而创建的图像设置为代表图像。下文中，将 参照附图详细描述创建代表图像的各种方法。
[0131]〈情况1-将视频分成多个时段并且从分成的各时段中提取代表图像〉
[0132] 根据本发明的实施方式的移动终端100可将视频分成多个时段并且从分成的各 时段中提取代表图像。具体地，控制器180可进行控制，将视频的整个时段分成多个时段并 且从分成的各时段中提取代表图像，以创建多个代表图像。
[0133] 将参照图5详细地描述其中将视频的整个时段分成多个时段并且从分成的各时 段中提取代表图像的示例。
[0134] 图5是示出其中视频的整个时段被分成多个时段并且从分成的各时段中提取代 表图像的示例的示图。为了便于描述，假设控制器180提取四个代表图像并且图5的（a) 和图5的（b)中示出的进度条500对应于视频的整个时段。
[0135] 为了从视频中提取四个代表图像，控制器180可将视频的整个时段分成四个时段 510、520、530和540，如图5的（a)中示出的示例中一样。随后，控制器180可决定与分成 的各个时段510、520、530和540的特定播放时间对应的帧512、522、532和542作为代表图 像，如图5的（b)中示出的示例中一样。图5的（b)示出决定与分成的各个时段510、520、 530和540的一半播放时间对应的帧512、522、532和542作为代表图像。然而，本发明不限 于此。控制器180可决定与除了图示示例中的播放时间之外的播放时间（例如，各个时段 的开始时间或结束时间）对应的帧作为代表图像。
[0136] 当然，可决定与分成的各个时段的不同播放时间对应的帧作为代表图像。例如，控 制器180可进行控制，决定与第N个时段的N/4播放时间（或（N-l)/4播放时间）对应的 帧作为图5的（a)中所示的四个时段510、520、530和540中的每个的代表图像。因此，可 决定与第一时段510的1/4播放时间（或开始时间）对应的帧作为代表图像并且可决定与 第二时段520的2/4播放时间（或1/4播放时间）对应的帧作为代表图像。
[0137] 图5的（b)示出从针对分成的各时段提取的一个代表图像。然而，当然，可针对分 成的各时段提取两个或更多个代表图像。
[0138] 通常，诸如电影的视频包含介绍（intro)视频和结尾（outro)视频，介绍视频用于 在主电影开始之前告知电影制片人和电影发行方，结尾视频用于告知电影工作人员。然而， 由于用户难以通过介绍视频或结尾视频识别电影的整个内容，因此控制器180可从除了介 绍时段和结尾时段之外的剩余时段中提取代表图像。为此目的，控制器180可从除了最初 的预定时间内的视频的特定时段和最后的预定时间内的视频的特定时段之外的剩余时段 中提取代表图像。将参照图6描述其细节。
[0139] 图6是示出视频中除了特定时段之外的剩余时段被分成多个时段并且从分成的 各时段中提取代表图像的示例的示图。
[0140] 如图6的（a)中示出的示例中一样，控制器180可将除了最初的预定时间内的视 频的特定时段a和最后的预定时间内的视频的特定时段b之外的视频的剩余时段分成四个 时段610、620、630和640。随后，控制器180可将从分成的各个时段610、620、630和640提 取的至少一帧612、622、632和642设置为代表图像并且进行控制以从除了最初的预定时间 内的视频的特定时段a和最后的预定时间内的视频的特定时段b之外的视频的剩余时段中 提取代表图像，如图6的（b)中示出的示例中一样。
[0141] <情况2-设置重点时段并且从重点时段中提取代表图像>
[0142] 根据本发明的实施方式的移动终端100可在视频中设置重点时段并且从设置的 重点时段中提取代表图像。为此目的，控制器180可将从视频中的最动态时段、视频中包含 最强声音的时段、视频中的最明亮时段之中选择的至少一个设置为重点时段。
[0143] 可考虑视频中记录的主体的速度以找到视频中的最动态时段。具体地，控制器180 可将其中主体移动最快的视频时段设置为重点时段。
[0144] 可考虑视频中记录的声音的强度以找到视频中包含最强声音的时段。具体地，控 制器180可将包含视频中记录的声音的最高强度的时段设置为重点时段。例如，在视频与 婴儿相关的情况下，其中婴儿发出最强声音的视频时段（例如，其中婴儿哭的视频时段）可 被设置为重点时段。
[0145] 可考虑视频的各帧的亮度来找到视频中的最明亮时段。具体地，控制器180可将 具有最亮亮度的视频时段设置为重点时段。例如，在视频与烟火相关的情况下，其中爆竹燃 放最壮丽的视频时段可被设置为重点时段。
[0146] 当设置了重点时段时，控制器180可从设置的重点时段中提取代表图像。控制器 180可从重点时段中提取一个代表图像或多个代表图像。当然，可在视频中设置多个重点时 段，以提取多个代表图像。
[0147] 将参照图7详细描述其中在视频中设置重点时段并且从设置的重点时段中提取 代表图像的示例。
[0148] 图7是示出其中在视频中设置重点时段并且从设置的重点时段中提取代表图像 的示例的示图。
[0149] 控制器180可考虑到视频中记录的主体的移动速度、视频中记录的声音的强度、 视频的亮度设置至少一个重点时段（图7的（a)示出其中设置四个重点时段710、720、730 和740的示例）。
[0150] 控制器180可从设置的重点时段710、720、730和740中提取代表图像712、722、 732和742。具体地，控制器180可决定与各个重点时段710、720、730和740的特定播放时 间对应的帧712、722、732和742作为代表图像。图7的（b)示出决定与各个重点时段710、 720,730和740的一半播放时间对应的帧712、722、732和742作为代表图像。当然，可决定 与除了图示示例中的播放时间之外的播放时间（例如，各个重点时段的开始时间或结束时 间）对应的帧作为代表图像。
[0151] 当然，可决定与各个重点时段的不同播放时间对应的帧作为代表图像。例如，控制 器180可进行控制，决定与第N个重点时段的N/4播放时间（或（N-l)/4播放时间）对应 的帧作为图7的（a)中所示的四个重点时段710、720、730和740中的每个的代表图像。因 此，可决定与第一重点时段710的1/4播放时间（或开始时间）对应的帧作为代表图像并且 可决定与第二重点时段720的2/4播放时间（或1/4播放时间）对应的帧作为代表图像。
[0152] <情况3-创建各人物的代表图像>
[0153] 根据本发明的实施方式的移动终端100可创建视频中各人物的代表图像。将参照 图8详细描述其中创建各人物的代表图像的示例。
[0154] 图8是示出其中创建各人物的代表图像的示例的示图。控制器180可将包含特定 人物的任一帧设置为该人物的代表图像。例如，在如图8的（a)中示出的示例中一样存在总 共两个包含人物A的时段810和820的情况下，控制器180可从这两个时段810和820中 提取至少一帧812来创建人物A的代表图像。以相同方式，控制器180可从包含人物B的 时段830和840中提取至少一帧814来创建人物B的代表图像。
[0155] 在提取包含特定人物的至少一帧的过程中，控制器180可提取第一地点中最佳地 表现特定人物的帧。这里，最佳地表现特定人物的帧可以是最主要地表现特定人物的帧。
[0156] 在创建各人物的代表图像的过程中，控制器180可首先创建在考虑到从各人物的 出现频率和出现时间之中选择的至少一个的情况下具有相对高重要性的人物的代表图像。 例如，在将要创建的代表图像的数量是两个并且视频中的人物的数量是四个的情况下，控 制器180可创建在考虑到人物相对重要性的情况下具有相对高重要性的两个人物的代表 图像。
[0157] <情况4-基于事件产生的详情创建代表图像>
[0158] 根据本发明的实施方式的移动终端100可基于事件产生的详情，创建变成事件目 标的另一方的代表图像。具体地，控制器180可按已经产生最近事件的次序或者按事件产 生的次数的次序创建另一方的预定数量的代表图像。
[0159] 这里，事件可包括从电话通信、消息（文本消息或即时消息）的发送和接收、使用 社交网络服务（SNS)进行对话、被登记为用户日程表的日程数据之中选择的至少一个。同 时，变成事件目标的另一方可包括从电话通信的另一方、消息的发送和接收的另一方、使用 SNS进行对话的另一方、被登记在日程数据中的另一方之中选择的至少一个。
[0160] 将参照图9详细描述其中基于事件产生的详情创建变成事件目标的另一方的代 表图像的示例。
[0161] 图9是示出其中基于事件产生的详情创建变成事件目标的另一方的代表图像的 示例的示图。为了便于描述，假设在图9中事件是电话通信并且按已经产生最近事件的次 序创建代表图像。
[0162] 图9的（a)是示出移动终端100的通信细节的示图并且图9的（b)是示出其中基 于移动终端100的通信细节创建代表图像的示例的示图。控制器180可基于移动终端100 的通信细节，按已经产生最近事件的次序，从视频中提取包含电话通信的另一方的预定数 量的帧。在视频中不存在包含具有高次序的电话通信的另一方的帧的情况下，控制器180 可提取包含具有下一次序的电话通信的另一方的帧。
[0163] 在图9的（a)和图9的（b)中示出的示例中，按照用户的最近通信的次序，决定包 含Jane的帧912和包含Tom的帧922作为代表图像。
[0164] <情况5-使用STT创建代表图像>
[0165] 根据本发明的实施方式的移动终端100可将特定时段中的语音转换成文本（语音 到文本（speech to text, STT))并且基于文本创建代表图像。将参照图10描述其细节。
[0166] 图10是示出其中基于与特定时段中的语音对应的文本创建代表图像的示例的示 图。控制器180可将特定时段1010中的语音转换成文本（STT)并且基于转换后的文本创 建代表图像，如图10的（a)或图10的（b)中示出的示例中一样。
[0167] 具体地，控制器180可如图10的（a)中示出的示例一样创建在单色背景上显示转 换后的文本的代表图像1012或者如图10的（b)中示出的示例一样创建其中在与时段1010 中被提取了语音的特定时间对应的帧中显示转换后的文本。
[0168] 控制器180可随机地决定将被提取语音的时段或者可按声音与将被提取语音的 时段一样大的次序决定从视频的整个时段中选择的预定数量的时段。
[0169] <情况6-使用与视频相关的照片创建代表图像>
[0170] 根据本发明的实施方式的移动终端100可基于与视频相关的照片从视频中提取 多个代表图像。与视频相关的照片可由用户人工地决定或者根据预定标准自动地决定。具 体地，控制器180可基于从拍摄时间、拍摄地点和照片中的人物中选择的至少一个，自动地 决定与视频相关的照片。例如，控制器180可确定从在视频记录之前或之后拍摄的照片（或 者在与视频中相同的日期拍摄的照片）、在与视频中相同的地点拍摄的照片、包含与视频中 相同的人物的照片之中选择的至少一个作为与视频相关的照片。
[0171] 在另一个示例中，控制器可将当显示多媒体文件列表时与视频相邻定位的照片设 置为与视频相关的照片。
[0172] 当决定了与视频相关的照片时，控制器180可基于与视频相关的照片的信息，从 视频中提取多个代表图像。例如，控制器180可提取类似于照片的时段（诸如，包含与照片 中相同的人物的时段、包含与照片中相同的对象的时段、或包含与照片中相同的背景的时 段）并且从所提取的时段中提取至少一帧作为代表图像。
[0173] 例如，图11A和图11B是不出其中提取和与视频相关的照片相关的代表图像的不 例的示图。图11A的（a)和图11B的（a)是示出与视频相关的照片的示图并且图11A的 (b)和图11B的（b)是不出从视频中提取的代表图像的不图。
[0174] 在如图11A的（a)中示出的示例中一样照片包含人物的情况下，控制器180可从 视频中提取包含与照片中相同的人物的时段。当提取了包含与照片中相同的人物的时段 时，控制器180可从所提取的时段创建至少一个代表图像1112和1114，如图11A的（b)中 示出的示例一样。
[0175] 在如图11B的（a)中示出的示例中一样照片包含多个人物的情况下，控制器180 可从视频中提取从同时记录了人物的时段和独立记录了人物的时段之中选择的至少一个。 具体地，在如图11B的（a)中示出的示例中一样照片中的多个人物被称为第一人物和第二 人物的情况下，控制器180可进行控制，提取同时包含第一人物和第二人物的时段、包含第 一人物的时段和包含第二人物的时段，并且从针对各人物提取的时段创建至少一个代表图 像1122和1124，如图11B的（b)中示出的示例中一样。此时,控制器180可从第一地点中 同时包含第一人物和第二人物的时段创建代表图像。
[0176] 尽管未示出，但可决定多个照片作为与视频相关的照片。在这种情况下，控制器 180可从视频中提取与各照片相关的时段并且从所提取的时段创建至少一个代表图像。
[0177] 这里，与视频相关的照片可以是从在视频记录之前或之后拍摄的照片（或在与视 频中相同的日期拍摄的照片）、在与视频中相同的地点拍摄的照片、包含与视频中相同的人 物的照片之中选择的至少一个。另外，与视频相关的照片可以是当显示多媒体文件列表时 与视频相邻定位的照片。
[0178] 例如，图12是示出其中决定当显示多媒体文件列表时与视频相邻定位的照片作 为与视频相关的照片的不例的不图。
[0179] 如图12中示出的示例中一样，控制器可决定当显示多媒体文件列表时定位在视 频1202之后（或之前）的照片1204作为与视频相关的照片。在图12中，可决定定位在视 频1202之后的照片"20120102. jpg" 1204作为与视频相关的照片。在另一个示例中，可将 定位在视频之后（或之前）的多个照片设置为与视频相关的照片或者可将与视频显示在同 一画面上的所有照片设置为与视频相关的照片。在这种情况下，可将与视频1202在同一画 面上显示的照片"20120102. jpg" 1204和照片"20120103. jpg" 1206 二者设置为与视频相 关的照片。
[0180] <情况7-使用关键词创建代表图像>
[0181] 根据本发明的实施方式的移动终端100可基于关键词从视频中提取多个代表图 像。具体地，当用户输入关键词时，控制器180可提取从包含输入的关键词所指示的人物的 时段、包含输入的关键词所指示的对象的时段、包含与输入的关键词匹配的语音的时段之 中选择的至少一个并且从所提取的时段中提取至少一帧作为代表图像。
[0182] 图13是示出其中基于关键词提取代表图像的示例的示图。图13的（a)是示出用 户输入的关键词的示图并且图13的（a)是示出其中从与输入的关键词相关的时段中提取 代表图像的示例的示图。当如图13的（a)中示出的示例中一样用户输入特定人物的名字 作为关键词时，控制器180可进行控制，提取包含输入的关键词所指示的人物的时段并且 从所提取的时段创建至少一个代表图像1312和1314，如图13的（b)中示出的示例中一样。
[0183] 尽管未示出，但在提取包含与输入的关键词匹配的语音的时段的情况下，可基于 如之前结合情况5描述的时段（STT)中从语音转换的文本创建代表图像。
[0184] 控制器180可在显示视频的缩略图之前使用用户在网络上输入的关键词提取代 表图像。另选地，控制器180可在显示多媒体文件列表的状态下基于搜索窗口中输入的关 键词来创建代表图像，如图13的（a)中示出的示例一样。
[0185] 根据本发明的实施方式的移动终端100可使用上述代表图像创建方法一起创建 多个代表图像。例如，可使用根据情况1至情况7的方法中的一种创建代表图像中的一些 并且可使用根据情况1至情况7的方法中的另一种创建其它代表图像。在另一示例中，控 制器180可根据传统方法创建一个代表图像（即，提取视频的所有帧中与随机时间（或预 定时间）对应的一个）并且可使用根据情况1至情况7的方法中的至少一种创建其它代表 图像。
[0186] 同时，不一定固定地使用代表图像创建方法。每当需要创建缩略图时，控制器180 可随机地决定缩略图创建标准。例如，当需要创建第一缩略图时，控制器180可使用根据情 况1至情况7的方法中的一种创建代表图像，当需要创建下一个缩略图时，控制器180可使 用根据情况1至情况7的方法中的另一种创建代表图像。在从当将要显示多媒体文件列表 时、当向多媒体文件列表添加新文件时、当改变多媒体文件列表的分类标准时之中选择的 至少一个时间，可能需要创建新的缩略图。
[0187] 尽管使用相同的方法创建代表图像，但当必须创建缩略图时，控制器180可随机 地决定帧提取时间。例如，在将要使用根据情况1的方法创建代表图像的情况下，当需要创 建第一缩略图时，控制器180可决定与各时段的1/2播放时间对应的帧作为代表图像，当需 要创建下一个缩略图时，控制器180可决定与各时段的3/4播放时间对应的巾贞作为代表图 像。
[0188] 回头参照图4，在创建了代表图像之后，控制器180可创建包含代表图像的缩略图 (S402)。具体地，控制器180可通过以预定次序布置代表图像来创建包含代表图像的缩略 图。将参照图14详细地描述包含多个代表图像的缩略图。
[0189] 图14是示出包含多个代表图像的缩略图的示图。控制器180可设置多个代表图 像1412、1414、1416和1418使得代表图像1412、1414、1416和1418具有相同尺寸并且将代 表图像1412、1414、1416和1418布置成拼块（tile)图案以创建如图14的（a)中示出的示 例中一样的缩略图，或者可设置代表图像1422、1424、1426和1428使得代表图像1422和 1428具有小尺寸并且代表图像1424和1426具有大尺寸并且将代表图像1422、1424、1426 和1428布置成拼块图案以创建如图14的（b)中示出的示例中一样的缩略图。在另一个示 例中，控制器180可布置多个代表图像1432、1434、1436和1438，好像代表图像1432、1434、 1436和1438被扔到地板上以创建如图14的（c)中示出的示例中一样的缩略图。在又一 个示例中，控制器180可进行控制，将多个代表图像1442、1444、1446和1448中的任一个设 置为背景图像1448并且以覆盖方式在背景图像1448上显示其它代表图像1442、1444和 1446，如图14的（d)中示出的示例中一样。尽管未示出，但以覆盖方式在背景图像1448上 显示的代表图像1442、1444和1446可被设置成是半透明的。
[0190] 控制器180可在考虑到从代表图像的时间次序和代表图像的重要程度之中选择 的至少一个的情况下，决定代表图像的布置顺序。
[0191] 在创建了视频中各人物的代表图像的情况下，控制器180可在考虑到各个人物出 现的相对重要性的情况下决定代表图像的重要程度。具体地，控制器180可确定出现具有 相对较高重要性的人物的代表图像具有较高的重要程度。这里，可在考虑到从各人物的出 现频率和出现时间之中选择的至少一个的情况下决定各个人物的出现的相对重要性。
[0192] 在创建了变成事件目标的另一方的代表图像的情况下，控制器180可在考虑到从 事件产生顺序和事件产生的次数之中选择的至少一个的情况下，决定各个代表图像的重要 程度。具体地，控制器180可确定与最近事件相关的另一方或具有较大的事件产生次数的 另一方的代表图像具有较高的重要程度。
[0193] 在设置了多个重点时段并且代表图像来自各重点时段的情况下，控制器180可在 考虑到从各重点时段的动态、音量和亮度之中选择的至少一个的情况下决定各个代表图像 的重要程度。
[0194] 控制器180可控制在关于各个代表图像的缩略图中包含与代表图像相关的信息。 这里，与代表图像相关的信息可包括从关于与代表图像对应的播放时间的信息和关于与代 表图像相关的人物的信息之中选择的至少一个。例如，控制器180可控制与如图14的（a) 中示出的示例中一样显示关于与各代表图像对应的播放时间的信息，或者可控制如图14 的（b)中示出的示例中一样显示关于与各代表图像相关的人物的信息（在图14的（b)中， 显示人物的名字）。
[0195] 图14的代表图像布置方法是为了便于描述而示出的，因此，本发明不限于此。当 然，代表图像可被布置成使用除了图14中示出的示例之外的各种方法创建缩略图。尽管图 14示出基于四个代表图像创建缩略图，但可基于更少数量或更多数量的代表图像创建缩略 图。
[0196] 当创建了缩略图时，控制器180可将缩略图的一部分分派为视频播放区并且将缩 略图的其它部分分派为代表图像区。例如，图15是示出缩略图的视频播放区和代表图像区 的示图。
[0197] 如图15的（a)和图15的（b)中不出的不例中一样，控制器180可分派缩略图的一 部分作为视频播放区1510并且将缩略图的其它部分分派为代表图像区1520。图15的（a) 示出视频播放区1510被设置成位于缩略图的中间并且图15的（b)示出视频播放区1510 被设置成位于缩略图的一端。
[0198] 如图15的（a)和图15的（b)中示出的示例中一样，控制器180可控制显示用于 视觉上区分视频播放区1510的信息（例如，三角形播放指示符或用于指示播放区的文本）。
[0199] 当触摸缩略图的视频播放区（S403)时，控制器180可播放视频（S404)。具体地， 当触摸视频播放区时，控制器180可从开始播放视频或者从完成了视频的最近播放时的时 间开始播放视频。
[0200] 另一方面，当触摸缩略图的代表图像区（S403)时，控制器180可从通过触摸选择 的代表图像所指示的时间开始播放视频或者只在通过触摸选择的代表图像所代表的时段 期间播放视频（S405)。将用附图详细描述其细节。
[0201] 图16是示出当触摸视频播放区时移动终端100的操作的示图。当如图16的（a) 和图16的（b)中示出的示例一样触摸视频播放区时，控制器180可播放视频。此时，控制 器180可如图16的（b)中示出的示例中一样从开始播放视频或者从完成了视频的最近播 放时的时间开始播放视频（尽管未示出）。
[0202] 当播放视频时，控制器180可控制从构成视频缩略图的各代表图像和各代表图像 的位置之中选择的至少一个显示在指示视频播放时间的进度条上，如图16的（b)中示出的 示例中一样。当触摸进度条上构成缩略图的代表图像中的任一个时，控制器180可进行控 制，将当前播放时间变成与所选择的代表图像对应的播放时间。
[0203] 图17、图18、图19A和图19B是示出当触摸代表图像区时移动终端100的操作的 示图。为了便于描述，缩略图中包含的代表图像将以顺时针方向被称为第一代表图像I至 第四代表图像IV。
[0204] 当触摸代表图像区时，控制器180可进行控制，从与通过触摸选择的代表图像对 应的播放时间播放视频。例如，当如图17的（a)中示出的示例中一样地触摸第一代表图像 I时，控制器180可进行控制，从与第一代表图像I对应的播放时间（图17的（a)和图17 的（b)中的00:02:00)起播放视频，如图17的（b)中示出的示例中一样。尽管未示出，但 即使在触摸代表图像区以播放视频的情况下，也可在指示视频播放时间的进度条上显示从 构成视频缩略图的各代表图像和各代表图像的位置之中选择的至少一个，如图16的（b)中 示出的示例中一样。
[0205] 在另一个示例中，控制器180可进行控制，只在通过触摸选择的代表图像所代表 的时段期间播放视频。例如，当如图18中示出的示例中一样地触摸第一代表图像I时，控制 器180可进行控制，只在通过触摸选择的第一代表图像I所代表的时段期间播放视频。这 里，代表图像所代表的时段可以是从当视频的整个制作时段被分成多个时段时的任一个时 段（参见情况1)、重点时段（参见情况2)、包含特定人物的时段（参见情况3、情况4、情况 6和情况7)、包含与文本对应的语音的时段（参见情况5和情况7)之中选择的至少一个。
[0206] 在代表图像代表多个时段的情况下，控制器180可进行控制，只在多个时段中指 示的一个时段期间播放视频。例如，在如图19A的（a)中示出的示例中一样地第一代表图 像I是针对特定人物的并且与第一代表图像I对应的特定人物在多个时段中出现的情况 下，控制器180可只在这多个时段期间控制视频，如图19A的（b)中示出的示例中一样。因 此，用户可容易并且方便地一次只观看其中特定人物出现的时段。
[0207] 当选择了特定人物的代表图像时，控制器180可进行控制，在焦点放在特定人物 上的状态下在其中出现特定人物的时段期间播放视频。这里，焦点放在特定人物上可指基 于特定人物的动作放大地显示视频。例如，当如图19B的（a)中示出的示例中一样触摸代 表特定人物的第一代表图像时，控制器180可进行控制，基于特定人物放大地显示视频，如 图19B的（b)中示出的示例中一样。在基于特定人物放大地显示视频的情况下，控制器180 可进行控制，显示指示经放大显示的区域的位置和尺寸的小地图，使得用户可估计经放大 显示的区域的位置和尺寸。
[0208] 当触摸基于与特定时段中的语音对应的文本创建的代表图像时，控制器180可进 行控制，只输出被触摸的代表图像所代表的时段中的语音，而不输出视频的视频部分。通过 进行控制，只输出视频的语音部分而不输出视频的视频部分，可以使移动终端100的功耗 降至最低。
[0209] 控制器180可在考虑到移动终端100的状态的情况下决定是否只输出视频的语音 部分。例如，在移动终端100处于省电模式或者移动终端100的剩余电量是预定水平或更 低的情况下，控制器180可进行控制，只输出视频的语音部分而不输出视频的视频部分，以 将移动终端100的功耗降至最低。
[0210] 根据本发明的一个实施方式，当触摸代表图像区时，控制器180可进行控制，显示 和与通过触摸选择的代表图像对应的人物通信的画面。将参照图20详细地描述其中显示 和与所选择的代表图像对应的人物通信的画面的示例。
[0211] 图20是示出其中显示和与通过触摸选择的代表图像对应的人物通信的画面的示 例的示图。为了便于描述，缩略图中包含的代表图像将以顺时针方向被称为第一代表图像 I至第四代表图像IV。
[0212] 当触摸代表图像区时，控制器180可进行控制，显示和与通过触摸选择的代表图 像对应的人物通信的画面。例如，当如图20的（a)中示出的示例中一样触摸第一代表图像 I时，控制器180可控制显示弹出窗口 2010，弹出窗口 2010列出和与第一代表图像I对应 的人物通信的通信方式，如图20的（b)中示出的示例中一样。这里，与特定人物通信的通 信方式可包括文本消息、电话通信、SNS和消息器。
[0213] 当通过图20的（b)中示出的弹出菜单选择通信方式中的任一种时，控制器180可 进行控制，执行用于使用所选择的通信方式的应用。例如，当在图20的（b)中选择发消息 项时，控制器180可进行控制，显示文本消息写入画面。此时，控制器180可进行控制，将与 第一代表图像I对应的人物自动地指定为使用所选择的通信方式的数据的接收方。
[0214] 尽管未示出，但控制器180可进行控制，以在网络上搜索关于与通过触摸选择的 代表图像对应的人物的信息。具体地，控制器180可进行控制，显示基于与所选择的代表图 标对应的人物的搜索词（诸如，名字或图像）而获取的门户网站上的搜索结果。
[0215] 根据本发明的实施方式的移动终端100可区分其中第一类型的触摸输入被输入 代表图像区的情况和其中第二类型的触摸输入被输入代表图像区的情况。当输入第一类型 的触摸输入时，可从代表图像所指示的时间开始播放视频或者可只在通过触摸选择的代表 图像所代表的时段期间播放视频，如图16至图19中所示。当输入第二类型的触摸输入时， 可显示和与所选择的代表图像对应的人物通信的画面，如图20中示出的示例中一样。
[0216] 这里，第一类型的触摸输入和第二类型的触摸输入可以是从简单触摸（在预定 时间内被释放的对代表图像区的触摸）、长触摸（被保持达预定时间的对代表图像区的触 摸）、多次轻击（多次触摸代表图像区）之中选择的任何不同输入。
[0217] 图4的实施方式示出控制器180从视频创建多个代表图像，以创建视频的缩略图。 根据本发明的另一个实施方式，控制器180可将从视频创建的代表图像和与视频相关的照 片的代表图像组合，以创建视频的缩略图。控制器180可基于从拍摄时间、拍摄地点、照片 中的人物之中选择的至少一个，提取与视频相关的照片。例如，控制器180可确定从在视频 记录之前或之后拍摄的照片（或者在与视频中相同的日期拍摄的照片）、在与视频中相同 的地点拍摄的照片、包含与视频中相同的人物的照片之中选择的至少一个作为与视频相关 的照片。这里，与视频相关的照片的代表图像可指照片的缩略图。
[0218] 例如，图21是示出其中视频的代表图像和与视频相关的照片的代表图像被组合 以创建视频缩略图的示例的示图。
[0219] 控制器180可组合从视频提取的代表图像2110、2120和与视频相关的照片2130、 2140以创建视频缩略图，如图21的（a)和图21的（b)中示出的示例中一样。为了区分从 视频提取的代表图像和与视频相关的照片的代表图像，控制器180可控制缩略图上的视频 的代表图像2110、2120和与视频相关的照片的代表图像2130、2140中的至少一个上的指示 符2150,指示符2150指示指示符2150所指示的代表图像是从视频中直接提取的,还是与视 频相关的照片，如图21的（b)中示出的示例中一样（图21的（b)示出只在与视频相关的 照片的代表图像上显示指示符2150)。
[0220] 此时，在触摸代表图像区并且被触摸的代表图像代表视频的照片的情况下，控制 器180可进行控制，输出代表图像所指示的照片。
[0221] 根据本发明的示例，控制器180可显示包含多媒体文件（诸如，视频和照片）的文 件夹的缩略图。在多个多媒体文件属于该文件夹的情况下，控制器180可组合属于该文件 夹的多媒体文件中的至少一些来创建该文件夹的缩略图。
[0222] 例如，图22是示出其中创建文件夹的缩略图的示例的示图。图22的（a)是示出 包含在文件夹中的多媒体文件的缩略图2210、2220和2230的视图并且图22的（b)是示出 该文件夹的缩略图的视图。图22的（a)示出视频的缩略图包含四个代表图像2212、2214、 2216 和 2218。
[0223] 如图22的（b)中示出的示例中一样，控制器180可组合该文件夹中包含的多媒体 文件的缩略图2212、2214、2220和2230，以创建该文件夹的缩略图。此时，在如图22的（a) 中示出的示例中一样地视频的缩略图2210包含多个代表图像2212、2214、2216和2218的 情况下，该文件夹的缩略图不一定需要包含视频中包含的所有代表图像，如图22的（b)中 示出的示例中一样，而是该文件夹的缩略图包含视频的缩略图中包含的代表图像中的至少 一个就足够了。
[0224] 此时，在组合多媒体文件的缩略图以创建该文件夹的缩略图的情况下，控制器180 可基于拍摄日期、容量和地点将多媒体文件分类，以决定多媒体文件的缩略图的布置顺序。 当然，控制器180可将该文件夹的缩略图中将包含的图像数量限于预定数量。
[0225] 当创建该文件夹的缩略图时，该文件夹的缩略图的一部分可被设置为进入区并且 该文件夹的缩略图的其它部分可被设置为链接区。例如，图23是示出缩略图的进入区和链 接区的示图。
[0226] 如图23的（a)和图23的（b)中示出的示例中一样地，控制器180可将该文件夹 的缩略图的一部分设置为进入区2310并且将该文件夹的缩略图的其它部分设置为链接区 2320。图23的（a)示出进入区2310被设置成位于缩略图中间并且图23的（b)示出进入 区2310被设置成位于缩略图一端。
[0227] 如图23的（a)和图23的（b)中示出的示例中一样地，控制器180可进行控制，显 示用于视觉上区分进入区的信息。
[0228] 当触摸该文件夹的缩略图的进入区时，控制器180可进行控制，显示该文件夹中 包含的多媒体文件列表。另一方面，当触摸该文件夹的缩略图的链接区时，控制器180可进 行控制，以直接输出与通过触摸选择的位置对应的多媒体文件而不显示多媒体文件列表。
[0229] 例如，图24和图25是示出当触摸文件夹缩略图的进入区时和当触摸文件夹缩略 图的链接区时的操作的示图。
[0230] 当如图24的（a)中示出的示例中一样地触摸文件夹缩略图的进入区时，控制器 180可进行控制，显示该文件夹中包含的多媒体文件列表，如图24的（b)中示出的示例中一 样。
[0231] 在另一个示例中，当如图25的（a)中示出的示例中一样地触摸文件夹缩略图的链 接区时，控制器180可进行控制，直接输出通过触摸输入指定的多媒体文件2510，如图25的 (b)中示出的示例中一样。
[0232] 根据本发明的示例，当接收到预定的触摸输入时，控制器180可进行控制，放大地 显示包含多个图像的缩略图（例如，视频的缩略图或文件夹的缩略图）。当放大地显示缩略 图时，用户可更详细地观看缩略图中包含的多个图像并且提高在操纵缩略图的过程中的用 户便利度（例如，根据播放区和代表图像区的面积增大，增大触摸区）。
[0233] 例如，图26是示出其中包含多个图像的缩略图被放大显示的示例的示图。当接收 到预定的用户输入（例如，长触摸播放区（或进入区））时，控制器180可进行控制，在弹出 窗口中显示经放大的缩略图，如图26中示出的示例中一样。
[0234] 尽管图26示出将播放区（或进入区）的长触摸作为用户输入来放大地显示缩略 图，但可分派除了示出内容之外的触摸输入，以放大地显示缩略图。例如，可分派用于增大 触摸了显示器151的两个指点物之间的距离的扩大输入作为用户输入来放大地显示缩略 图。当在缩略图被放大地显示的状态下接收缩小输入时，控制器180可进行控制，以再缩小 地显示缩略图。
[0235] 图42的（a)和图42的（b)示出当触摸代表特定人物的特定代表图像时，基于与 被触摸的特定代表图像对应的人物，放大地播放视频。
[0236] 另一方面，根据本发明的实施方式的移动终端可将对象设置成在播放视频期间被 追踪并且基于设置的对象放大地播放视频。
[0237] 下文中，将提供对其中基于被设置为目标的对象放大地播放视频的实施方式的详 细描述。另外，在附图中，将描述用于辅助理解附图的诸如"播放"、"暂停"和"记录"的措 辞，以阐明是在播放视频，暂停播放视频还是在记录视频。然而，仅仅是为了便于理解附图 提供以上措辞，因此，本发明不限于此。例如，尽管在附图中包括措辞"播放"，但即使当"暂 停"或"正记录"视频时也可应用附图中描述的功能。
[0238] 当视频被放大播放时，在示出视频的整个区域（包括没有通过显示器151输出的 其它区域）时插入措辞"整个区域"和"焦点区"以辅助理解附图。
[0239] 下文中，将参照附图详细地描述根据本发明的实施方式的移动终端100的操作。
[0240] 图27是示出根据本发明的一个实施方式的移动终端的操作的流程图。参照图27， 首先，控制器180可进行控制，播放视频并且通过触摸屏输出被播放的视频（S2701)。本发 明中描述的视频可指存储在存储器160中的视频、从远程终端（或服务器）接收并且以流 放模式播放的视频、实时从在视频通信期间进行通信的另一方的终端接收的视频、实时通 过相机121记录的视频。
[0241] 当在正通过触摸屏输出视频的同时从用户输入能够进行追踪功能的用户输入 (52702)时，控制器180可暂停播放视频，直到在视频中显示的对象之中设置目标对象为止 (52703)。这里，追踪功能可指追踪和显示视频上显示的任一个对象的动作的一系列功能并 且对象可指人、动物和东西。
[0242] 图28是示出其中响应于用户输入暂停播放视频以使得能够进行追踪功能的示例 的示图。
[0243] 当如图28的（a)中示出的示例中一样地在正播放视频的同时接收使得能够进行 追踪功能的用户输入（例如，触摸图28的（a)中示出的"智能追踪"按钮2810)时，控制器 180可进行控制，暂停播放视频并且输出预定时间的静止图像，如图28的（b)中示出的示例 中一样。在为了设置目标对象而中断播放视频的情况下，控制器可进行控制，显示从用于告 知能够进行追踪功能的用户输入示例的消息和可用于设置目标对象的追踪图标2820之中 选择的至少一个，如图28的（b)中示出的示例中一样。
[0244] 图28的（a)示出将触摸预定按钮（"智能追踪"按钮）2810作为使得能够进行追 踪功能的用户输入。然而，这种示例只是便于描述，因此，本发明不限于此。例如，在播放视 频期间将触摸屏轻击预定次数、在预定方向上轻敲指点物、基本上同时触摸N个指点物、在 预定方向上轻敲N个指点物可被设置为使得能够进行追踪功能的用户输入。
[0245] 在正播放的视频的分辨率低于预定分辨率的情况下，控制器180可进行控制，暂 停播放视频。另一方面，在正播放的视频的分辨率高于预定分辨率的情况下，控制器180可 输出用于告知在视频中不能够进行追踪功能的消息并且进行控制，保持播放视频而不应用 下面的过程。当视频的分辨率高时，控制器180的计算量增加，结果是，由于由此产生的热， 导致功耗可增加并且性能可降低。为此原因，只有在正播放的视频的分辨率等于或低于预 定分辨率的情况下，才能够进行追踪功能。
[0246] 当正在通过触摸屏输出视频的同时从用户输入使得能够进行追踪功能的用户输 入(S2702)时，控制器180可暂停播放视频，直到在视频中显示的对象之中设置目标对象为 止(S2703)。
[0247] 用户可选择或取消选择静止图像中显示的至少一个对象，以确定将被设置为目标 对象的对象。这里，可应用各种输入示例作为用于选择或取消选择静止图像中显示的至少 一个对象的用户输入。例如，通过仅仅触摸静止图像中显示的一个对象，将静止图像中显示 的追踪图标（例如，图28的（b)的追踪图标2820)拖拽到将被设置为目标对象的对象上， 触摸代表候选对象的至少一个图标（参见下文中将描述的图29的（b))，可选择或取消选择 将被设置为目标对象的对象。除了上述方法之外，本发明所属领域的技术人员可显而易见 发明的对象选择或取消选择方法落入本发明的保护范围内。
[0248] 在暂停播放视频并且正输出预定时间的静止图像时，控制器180可进行控制，视 觉上区分可被设置为目标对象的候选对象。例如，图29是示出其中视觉上区分可被设置为 目标对象的候选对象的示例的示图。
[0249] 控制器180可进行控制，在可被设置为目标对象的候选对象附近显示围绕候选对 象的图像对象2912和2914(图示为图29的（a)中的四边形框），如图29的（a)中示出的 不例中一样。
[0250] 在另一个示例中，控制器180可进行控制，在触摸屏的一侧显示代表可被设置为 目标对象的候选对象的控制图标2922和2924，如图29的（b)中示出的示例中一样。在这 种情况下，针对代表候选对象的图标2922和2924中的至少一个的触摸输入可被设置为用 于将候选对象设置为目标对象的用户输入。
[0251] 除了图29的（a)和图29的（b)中示出的示例之外，控制器180可放大或缩小地 显示可被设置为目标对象的候选对象或者改变候选对象的颜色，以告知用户可被设置为目 标对象的候选对象。除了上述方法之外，本发明所属领域的技术人员可显而易见发明的候 选对象区分方法落入本发明的保护范围内。
[0252] 不一定需要响应于使得能够进行追踪功能的用户输入暂停播放视频。尽管接收 到使得能够进行追踪功能的用户输入，但控制器180可在继续播放视频的同时设置目标对 象。如参照图29描述的，控制器180可进行控制，在播放视频的同时视觉上区分可被设置 为目标对象的候选对象。然而，在连续播放视频的情况下，可被设置为目标对象的候选对象 和候选对象的位置可随时间变化。
[0253] 当能够进行追踪功能并且完成目标对象的设置（S2704)时，控制器180可进行控 制，通过触摸屏显示将被设置为根据目标对象的动作而改变的焦点区的视频的至少一部分 和设置的焦点区（S2705)。也就是说，控制器180可进行控制，基于设置的目标对象播放视 频。
[0254] 图30是示出其中视频的至少一部分被设置为焦点区的示例的示图。为了便于描 述，假设在视频中显示两个人物并且这两个人物将被称为第一人物I和第二人物II。
[0255] 当第一人物I和第二人物II中的一个（例如，第二人物II)被设置为目标对象时， 控制器180可基于目标对象将视频的至少一部分设置为焦点区。也就是说，控制器180可 进行控制，基于目标对象（即，第二人物II)设置视频的整个区域中的焦点区3010，如图30 的（a)中示出的示例一样。
[0256] 当在播放视频时将第二人物II的位置设置为目标对象时，控制器180可控制焦点 区3020的位置，使其根据第二人物II改变，如图30的（b)中示出的示例中一样。此时，追 踪算法（诸如，面部识别算法、形状识别算法或颜色识别算法）可被用作追踪目标对象的动 作的算法。追踪算法是熟知的技术，因此，将省略对其的详细描述。
[0257] 焦点区的尺寸（具体地，焦点区与视频的整个区域之比）可具有固定值，而不顾及 目标对象的尺寸。在另一个示例中，控制器180可进行控制，根据目标对象的尺寸改变焦点 区的尺寸。将参照图31详细地描述其中根据目标对象的尺寸改变焦点区的尺寸的示例。
[0258] 图31是示出其中改变焦点区的尺寸的示例的示图。为了便于描述，假设第一人物 I和第二人物II中的一个（例如，第二人物II)被设置为目标对象。
[0259] 如图31的（a)中示出的示例中一样，控制器180可进行控制，基于被设置为目标 对象的第二人物II设置焦点区3110。此时，可根据视频中第二人物II的尺寸决定焦点区 3110与视频的整个区域之比。在当播放视频时第二人物II的尺寸减小的情况下，控制器 180可进行控制，焦点区3120与视频的整个区域之比减小，如图31的（b)中示出的示例中 一样。尽管未示出，但另一方面，当第二人物II的尺寸增大时，控制器180可进行控制，焦 点区与视频的整个区域之比增大。
[0260] 当设置了目标对象时，控制器180可进行控制，输出视频的焦点区而非视频的整 个区域。控制器180可在输出焦点区的同时强调并且输出目标对象的语音。例如，当如图 31的（a)中示出的示例中一样地第二人物II被设置为目标对象时，控制器180可进行控 制，将被确定为第二人物II的语音的语音信号的输出水平（或音量）升至高于其它声音， 使得被设置为目标对象的人物的语音被强调并且输出。控制器180可基于被设置为目标对 象的嘴巴的动作，提取目标对象的语音信号。另选地，控制器180可基于立体声环境下目标 对象的位置，提取目标对象的语音信号。
[0261] 此时，控制器180可进行控制，显示指示视频的整个区域中的焦点区的位置和尺 寸的小地图，使得用户可估计焦点区的位置和尺寸。例如，图32是示出其中输出小地图的 示例的示图。当如图32的（a)中示出的示例中一样地基于目标对象设置视频的整个区域 中的焦点区3210时，控制器180可进行控制，在播放视频的同时如图32的（b)中示出的示 例中一样地显示设置的焦点区3210。此时，控制器180可进行控制，显示指示视频的整个 区域中的焦点区3210的位置和尺寸的小地图3220，如图32的（b)中示出的示例中一样。 在图32的（b)中示出的小地图中，外四边形3222可对应于视频的整个区域并且内四边形 3224可对应于焦点区3210。
[0262] 根据本发明的控制器可基于用户输入将至少一个对象设置为目标对象。也就是 说，目标对象不一定指单个对象。在多个对象被设置为目标对象的情况下，控制器180可进 行控制，输出多个播放窗口并且通过各个制作窗口输出目标对象的焦点区。将参照图33描 述当多个目标对象被设置为目标对象时移动终端100的操作。
[0263] 图33是示出当设置多个目标对象时触摸屏的输出的示图。为了便于描述，假设视 频中显示的两个人物被设置为目标对象。
[0264] 当多个目标对象被设置为目标对象时，控制器180可针对各目标对象设置焦点 区，如图33的（a)中示出的示例中一样。具体地，控制器180可设置基于第一人物I的第 一焦点区3310和基于第二人物II的第二焦点区3320，如图33的（a)中示出的示例中一 样。
[0265] 当针对各目标对象设置焦点区时，控制器180可进行控制，输出与目标对象对应 的多个播放窗口 3330和3340并且通过这些播放窗口中的对应播放窗口显示各焦点区，如 图33的（b)中示出的示例中一样。具体地，控制器180可进行控制，通过第一播放窗口 3330 输出针对第一人物I的第一焦点区3310并且通过第二播放窗口 3340输出针对第二人物II 的第二焦点区3320，如图33的（b)中示出的示例中一样。
[0266] 图33的（b)中示出的第一播放窗口 3330和第二播放窗口 3340的位置和尺寸只 是示例性的，因此，本发明不限于此。第一播放窗口 3330和第二播放窗口 3340可具有不同 尺寸。另外，第一播放窗口 3330和第二播放窗口 3340可按重叠形式显示。例如，第二播放 窗口 3340可作为画中画（PIP)在第一播放窗口 3330中显示。
[0267] 由于使用移动的相机121记录视频或者记录移动主体的视频，因此目标对象可不 在任何时刻在视频中出现，或者由于追踪算法的技术限制，导致不能追踪到这种目标对象。 在播放视频时不能追踪到目标对象（S2706)的情况下，控制器180可在预定时间之后重新 尝试识别目标对象。
[0268] 当对目标对象的识别连续地失败N次（S2707)时，控制器180可进行控制，中断对 目标对象的追踪或者将视频的播放时间变为目标对象重新出现的时间（S2708)。这，N是包 括1的自然数并且可以是用户能调节的值。当N被设置为1时，可中断对目标对象的追踪 或者当对目标对象的识别失败时立即改变视频的播放时间。
[0269] 下文中，将参照附图详细地描述其中中断对目标对象的追踪的情况和其中视频的 播放时间变为目标对象的重新出现时间的情况。
[0270] 当对目标对象的追踪中断时，控制器180可进行控制，输出视频的整个区域或者 可暂停播放视频，使得用户可重新设置目标对象，如之前步骤S2702中一样。例如，图34是 示出当中断对目标对象的追踪时触摸屏的输出变化的示图。当如图34的（a)中示出的示 例中一样地输出基于目标对象（例如，第二人物II)设置的焦点区并接着在视频中没有出 现目标对象（例如，在视频中只出现第一人物I)时，控制器180可进行控制，显示指示视频 中不能识别到目标对象的弹出窗口 3410。
[0271] 当对目标对象的识别连续地失败N次时，控制器180可中断对目标对象的追踪并 且可进行控制，在播放视频的同时输出视频的整个区域，如图34的（b)中示出的示例中一 样。另选地，控制器180可中断对目标对象的追踪并且可进行控制，暂停播放视频，使得用 户可重新设置目标对象，如图34的（c)中示出的示例中一样。当暂停播放视频时，如之前 参照图28描述地，可显示信息消息和追踪图标。
[0272] 在另一个示例中，当对目标对象的识别连续地失败N次时，控制器180可进行控 制，视频的播放时间变为目标对象的重新出现时间。例如，图35是示出其中视频的播放时 间变成目标对象的重现时间的示例的示图。当如图35的（a)中示出的示例中一样地输出 基于目标对象（例如，第二人物II)设置的焦点区并接着在视频中不出现目标对象（例如， 在视频中只出现第一人物I)时，控制器180可进行控制，将视频的播放时间变为目标对象 (例如，第二人物II)的重新出现时间并且基于目标对象重新设置焦点区使得输出焦点区， 如图35的（b)中示出的示例中一样。也就是说，控制器180可进行控制，将视频的播放时 间变为目标对象重新出现在视频的剩余播放时段的最早的时间。
[0273] 在目标对象不再在视频的剩余播放时间段内重新出现的情况下，控制器180可进 行控制，在对目标对象的识别失败时结束对目标对象的追踪，如图34中示出的示例中一 样。
[0274] 当设置了目标对象时，控制器180可进行控制，在输出指示视频播放时间的播放 状态显示进度条的同时，在视觉上区分的状态下显示目标对象的出现时间或者出现目标对 象的时段。例如，图36是示出其中在播放状态显示进度条上显示同时在视觉上区分目标对 象的出现时间或出现目标对象的时段的示例的示图。当目标对象在视频的整个播放时段的 总共三个时段dl至d3内出现时，控制器180可进行控制，在播放状态显示进度条上视觉上 区分出现目标对象的时段dl至d3(例如，可使用预定颜色表达时段dl至d3)，如图36的 (a)中示出的示例中一样。
[0275] 在另一个示例中，控制器180可控制视觉上区分出现目标对象的三个时段的起始 点，如图36的（b)中示出的示例中一样。图36的（b)示出其中当显示与指示窗口 3612、 3614和3616所指示的起始点对应的图像时显示指示这三个时段dl至d3的各个起始点的 指示窗口 3612、3614和3616的示例。
[0276] 图36的（a)和图36的（b)只示出其中视觉上区分目标对象的出现时间或出现目 标对象的时段的示例，因此，本发明不限于此。与图36的（a)和图36的（b)中示出的示例 不同，控制器180可进行控制，在出现目标对象的起始点和出现目标对象的结束点显示图 像对象（诸如，标记），使得出现目标对象的时段或出现目标对象的起始点被区分开。
[0277] 在以上实施方式中，当视频的至少一部分被设置为焦点区时，通过触摸屏输出设 置的焦点区。根据本发明的另一个实施方式，控制器180可只控制视频中的除了背景之外 的目标对象显示区，使得只在触摸屏上显示提取的目标对象显示区。例如，图37是示出其 中显示从视频中提取的目标对象的示例的示图。在第二人物II被设置为其中显示了第一 人物I和第二人物II的视频中的目标对象（参见图37的（a)中）的情况下，控制器180 可进行控制，从视频中只提取目标对象并且只显示所提取的目标对象，如图37的（b)中示 出的示例中一样。也就是说，控制器180可进行控制，在删除视频中的除了目标对象显示区 之外的剩余区域的状态下，播放视频。
[0278] 当基于目标对象设置焦点区时，用户可能不能正确地观看位于焦点区之外的其它 对象。为了观看除了被设置为目标对象的对象之外的对象或者将另一个对象设置为目标对 象，因此，用户可输入用于放大和缩小比例变化或画面移动的用户输入。
[0279] 当用于放大和缩小比例变化或画面移动的用户输入在正输出焦点区的状态下输 出时，控制器180可进行控制，根据用于放大和缩小比例变化或画面移动的用户输入，放大 或缩小焦点区或者移动焦点区，使得基于用户输入人工设置焦点区。
[0280] 当输入用于人工地改变焦点区的用户输入时，控制器180可进行控制，在播放视 频的同时显示通过用户人工设置的焦点区。另选地，控制器180可进行控制，暂停播放视频 并且显示通过用户人工设置的焦点区。在后一种情况下，控制器180可进行控制，暂停播放 视频，直到用户重新设置目标对象为止。当暂停播放视频时，候选对象可在被视觉上区分的 同时进行显示，以告知可被设置为目标对象的候选对象，如图29中示出的示例中一样。
[0281] 图28示出可通过向视频中显示的一个对象施加预定用户输入来设置触摸对象。 然而，目标对象不一定需要如图28中示出的示例中一样被人工设置。当产生事件时，根据 本发明的一个示例的控制器180可自动地将与产生了事件的另一方对应的对象设置为目 标对象。这里，事件可以是从电话接收和消息接收之中选择的至少一个。下文中，将参照图 38描述其中控制器180自动地设置目标对象的示例。
[0282] 图38是示出其中与产生了事件的另一方对应的对象被自动设置为目标对象的示 例的示图。当在图38的（a)中示出的示例中一样地显示第一人物I和第二人物II的视频 正在播放的同时接收来自视频中显示的第二人物II的电话呼叫时，控制器180可将第二人 物II设置为目标对象。随后，控制器180可基于发出了电话呼叫的第二人物II设置焦点 区并且可在输出设置的焦点区的同时显不信息窗口 1510,信息窗口 1510告知第二人物II 发出了电话呼叫，如图38的（b)中示出的示例中一样。
[0283] 在当产生了事件时在视频的播放时间没有显示与产生了事件的另一方（即，发出 了电话呼叫的另一方）相同的人物的情况下，控制器180可进行控制，将视频的播放时间变 为与产生了事件的另一方相同的人物出现时的时间。
[0284] 在能够进行追踪功能时显示目标对象的焦点区后续动作的同时在任何时间输入 使得不能够进行追踪功能的用户输入的情况下，控制器180可中断对目标对象的追踪。当 中断追踪功能时，控制器180可进行控制，通过触摸屏输出视频的整个区域，如图34中示出 的不例中一样。
[0285] 在显示视频播放列表的过程中，根据本发明的一个示例的控制器180可进行控 制，显示视频中出现的对象中的、可被设置为目标对象的候选对象。例如，图39是示出其中 在视频播放列表中显示候选对象列表的示例的示图。控制器180可进行控制，在显示视频 播放列表的同时，显示视频中出现的对象中的、可被设置为目标对象的候选对象（具体地， 代表候选对象的图标3910和3920)，如图39中示出的示例中一样。
[0286] 用户可通过候选对象检查视频中出现的重要对象。当用户选择候选对象中的一个 (例如，触摸图标3910和3920中的任一个）时，控制器180可进行控制，在播放视频的同 时，将所选择的候选对象自动地作为触摸对象。另外，控制器180可进行控制，从候选对象 第一次出现时的时间起播放视频。
[0287] 对于视频播放列表中显示的所有视频，控制器180可进行控制，显示各视频的候 选对象。另选地，控制器180可进行控制，针对视频播放列表中显示的一些视频，显示各视 频的候选对象，如图39中示出的示例中一样。在针对所有视频显示候选对象的情况下，控 制器180的计算量增大，结果是，由于由此产生的热，功耗会增加并且性能会降低。为此原 因，可只针对视频播放列表中显示的一些视频，显示候选对象。控制器180可只针对其中已 经使用了追踪功能的视频，显示候选对象。
[0288] 在视频中出现大量对象的情况下，可能难以在视频播放列表中显示所有候选对 象。为此原因，控制器180可限制将要显示的候选对象的数量。此时，可按候选对象的出现 时间、候选对象的出现频率、候选对象的出现时段的次序，设置视频播放列表中将要显示的 候选对象。
[0289] 以上实施方式示出视频的至少一部分被设置为焦点区并且显示设置的焦点区，而 非显示视频的整个区域。根据本发明的示例的移动终端100可进行控制，同时显示视频的 整个区域和焦点区。下文中，将在假设使用相机121实时记录视频的前提下，描述其中同时 显示视频的整个区域和焦点区的示例。然而，显而易见，下面的实施方式也可应用于没有被 实时记录的视频。
[0290] 图40是示出其中用于在视频记录期间设置焦点区的用户输入的示例的示图。在 视频记录期间，控制器180可响应于用户输入设置焦点区。用于设置焦点区的用户输入可 以是如图40的（a)中示出的示例中一样地触摸视频中显示的对象，如图40的（b)中示出 的示例中一样地环绕将被设置为焦点区的一部分的追踪的触摸输入、或如图40的（c)中示 出的示例中一样地与将被设置为焦点区的一部分交叉的对角追踪的触摸输入。除了图40 中示出的示例之外，可通过各种类型的用户输入设置焦点区。
[0291] 当设置了焦点区时，控制器180可进行控制，在视频的主播放窗口上显示用于显 示焦点区的子播放窗口。例如，图41是示出其中在主播放窗口上显示子播放窗口的示例的 示图。当如图41的（a)中示出的示例中一样地输入用于设置焦点区的用户输入时，控制器 180可进行控制，在视频的主播放窗口 4110上显示用于显示焦点区的子播放窗口 4120，如 图41的（b)中示出的示例中一样。视频的整个区域（或至少一部分）可被输出到视频的 主播放窗口 4110并且焦点区可被输出到视频的子播放窗口 4120。控制器180可进行控制， 显示用于视觉上区分设置的焦点区的图像对象4130(图示为图41的（b)中的环绕焦点区 的框），如图41的（b)中示出的示例中一样。因此，用户可容易地识别通过子播放窗口 4120 输出的一部分。可基于目标对象的动作改变焦点区的位置。另选地，可固定焦点区的位置。
[0292] 用户可人工地调节主播放窗口的显示位置和主播放窗口的尺寸。例如，当用户触 摸主播放窗口并接着将被触摸的主播放窗口拖拽并停到所需位置时，控制器180可进行控 制，将主播放窗口的显示位置变为用户将主播放窗口停到的位置。另外，当用户触摸主播放 窗口的边缘（或框）并接着在主播放窗口的向内方向上或向外方向上拖拽和停止主播放窗 口的被触摸边缘时，控制器180可进行控制，基于用户将主播放窗口的边缘停到的位置改 变主播放窗口的尺寸。
[0293] 以相同方式，可改变焦点区的位置和尺寸。具体地，当同时输出主播放窗口和子播 放窗口时，用户可透过主播放窗口观看视频的整个区域。因此，用户可容易地改变焦点区的 位置和尺寸。将参照图42和图43详细地描述其中改变焦点区的位置的示例和其中改变焦 点区的尺寸的示例。
[0294] 图42是示出其中焦点区的位置改变的示例的示图。当如图42的（a)和图42的 (b)中示出的示例中一样地用户触摸主播放窗口 4210的焦点区的内部（或用于告知焦点区 的图像对象4230)并接着将主播放窗口 4210的焦点区的内部拖拽并停到所需位置时，控制 器180可进行控制，将焦点区移动到用户将主播放窗口 4210的焦点区的内部停到的位置。 当焦点区移动时，子播放窗口 4220还可输出移动后的焦点区。
[0295] 图43是示出其中焦点区的尺寸改变的示例的示图。当如图43的（a)中示出的示 例中一样地用户触摸用于告知焦点区的图像对象4330(或主播放窗口 4310的焦点区的内 部）并接着将图像对象拖拽并停到所需位置时，控制器180可进行控制，将焦点区的尺寸放 大或减小至用户将图像对象停到的位置。在用户将图像对象停到的位置处于焦点区内部的 情况下，焦点区的尺寸减小。另一方面，在用户将图像对象停到的位置处于焦点区外部的情 况下，焦点区的尺寸增大。图43的（b)和图43的（c)示出焦点区的尺寸被放大。
[0296] 当焦点区的尺寸改变时，控制器180可进行控制，通过子播放窗口 4320输出其尺 寸发生改变的焦点区。此时，控制器180可进行控制，使子播放窗口 4320具有固定尺寸，而 不顾焦点区的尺寸被改变，如图43的（b)中示出的示例中一样。在另一个示例中，控制器 180可进行控制，基于焦点区改变后的尺寸，改变子播放窗口 4320的尺寸，如图43的（c)中 示出的示例中一样。
[0297] 控制器180可进行控制，相机效果（或相机过滤器）只被应用于子播放窗口。例 如，图44是不出其中相机效果被应用于至少一个子播放窗口的不例的不图。控制器180可 进行控制，响应于预定的用户输入，显示可被应用于至少一个子播放窗口的相机效果列表， 如图44中示出的示例中一样。随后，控制器180可进行控制，将用户选择的相机效果应用 于子播放窗口。
[0298] 另一方面，控制器180可进行控制，不将相机效果应用于子播放窗口，而是只应用 于主播放窗口。另选地，控制器180可进行控制，将相机效果同时应用于主播放窗口和子播 放窗口。
[0299] 在记录通过主播放窗口和子播放窗口输出的两个视频的情况下，控制器180可将 主播放窗口中的视频和子播放窗口中的视频作为单独的视频文件存储。另选地，这两个视 频文件可被组合成可被存储的一个视频文件。
[0300] 因此，本发明的实施方式提供了各种效果和/或特征。
[0301] 本发明的实施方式的效果是，为移动终端提供改进的用户便利度。
[0302] 具体地，本发明的实施方式的效果是，提供一种移动终端，该移动终端提供能够预 览视频的整体内容的缩略图。
[0303] 本领域的技术人员应该理解，在本发明的精神或范围的情况下，本发明可被指定 成其它形式。
[0304] 另外，上述方法可在程序记录介质中被实现为处理器可读的代码。处理器可读介 质可包括存储处理器可读的数据的所有类型的记录设备。处理器可读介质可包括例如ROM、 RAM、⑶-ROM、磁带、软盘、光数据存储装置等并且还包括载波型实现方式（例如，经由互联 网传输）。
[0305] 本领域的技术人员应该理解，可在不脱离本发明的精神或范围的情况下在本发明 中进行各种修改和变形。因此，本发明旨在涵盖本发明的修改形式和变化形式，只要它们在 所附权利要求书及其等同物的范围内。
【权利要求】
1. 一种移动终端，所述移动终端包括： 存储器，其被配置成存储视频； 显示器，其被配置成输出所述视频和所述视频的缩略图；以及 控制器，其被配置成从所述视频创建多个代表图像并且通过组合所述代表图像来创建 所述视频的缩略图。
2.根据权利要求1所述的移动终端， 其中，在所述视频的整个时段被分成多个时段的情况下， 基于从分成的各时段提取的至少一帧，创建所述代表图像中的至少一个。
3.根据权利要求1所述的移动终端， 其中，在所述视频的整个时段中的除了介绍时段和结尾时段之外的剩余时段被分成多 个时段的情况下， 基于从分成的各时段中提取的至少一帧，创建所述代表图像中的至少一个。
4.根据权利要求1所述的移动终端，其中，基于从所述视频的重点时段中提取的至少 一帧，创建所述代表图像中的至少一个。
5.根据权利要求4所述的移动终端，其中，所述控制器被配置成在考虑到从所述视频 中记录的主体的移动速度、所述视频中记录的声音的强度、所述视频的各帧的亮度之中选 择的至少一个的情况下，设置所述重点时段。
6.根据权利要求1所述的移动终端，其中，基于从所述视频中的出现预定人物的时段 中提取的至少一帧，创建所述代表图像中的至少一个。
7.根据权利要求1所述的移动终端，其中，基于从所述视频中的记录有成为近期产生 事件的目标的另一方的时段中提取的至少一帧，创建所述代表图像中的至少一个。
8.根据权利要求7所述的移动终端，其中，所述事件包括从电话呼叫的接收或发送、 消息的发送或接收、通过社交网络服务（SNS)进行的信息的发送或接收之中选择的至少一 个。
9.根据权利要求1所述的移动终端， 其中，在包含在所述视频的特定时段中的语音被转换成文本的情况下， 基于转换后的文本，创建所述代表图像中的至少一个。
10.根据权利要求1所述的移动终端，其中，基于从所述视频中的记录有与所述视频相 关的照片中的人物的时段中提取的至少一帧，创建所述代表图像中的至少一个。
11.根据权利要求10所述的移动终端，其中，所述控制器被配置成将从与所述视频在 相同的日期拍摄的照片和与所述视频在相同的地点拍摄的照片之中选择的至少一个确定 为与所述视频相关的照片。
12.根据权利要求1所述的移动终端，其中，基于从所述视频中的记录有通过用户输 入的关键词所指示的人物或东西的时段中提取的至少一帧，创建所述代表图像中的至少一 个。
13.根据权利要求12所述的移动终端，其中，所述关键词是用户在最近的网络搜索期 间使用过的关键词。
14.根据权利要求1所述的移动终端，其中，所述缩略图包括视频播放区和代表图像 区。
15.根据权利要求14所述的移动终端， 其中，当触摸所述缩略图的所述视频播放区时， 所述控制器被配置成从开始播放所述视频或者从所述视频的最近播放结束时的时间 重新开始播放所述视频。
16.根据权利要求15所述的移动终端， 其中，当触摸所述缩略图的所述代表图像区时， 所述控制器被配置成从与所述代表图像中的通过所述触摸选择的一个代表图像对应 的播放时间起播放所述视频。
17.根据权利要求15所述的移动终端， 其中，当触摸所述缩略图的所述代表图像区时， 所述控制器进行控制，只在所述代表图像中的通过所述触摸选择的一个代表图像所代 表的时段期间播放所述视频。
18.根据权利要求15所述的移动终端， 其中，当触摸所述缩略图的所述代表图像区时， 所述控制器被配置成进行控制，输出用于与所述代表图像中的通过所述触摸选择的一 个代表图像对应的人物执行通信的弹出窗口。
19. 一种移动终端的控制方法，所述控制方法包括： 从视频创建多个代表图像； 通过组合所述代表图像，创建所述视频的缩略图；以及 显示创建的缩略图。
【文档编号】H04M1/725GK104142799SQ201410194324
【公开日】2014年11月12日 申请日期:2014年5月9日 优先权日:2013年5月10日
【发明者】李泰渊, 金隆, 李惠得, 李定旻, 崔晶银, 崔后兰 申请人:Lg电子株式会社