用于创建和再现生动图片文件的设备和方法

用于创建和再现生动图片文件的设备和方法
【专利摘要】提供了一种用于创建和再现生动图片文件的设备和方法。提供了一种用于在再现图像文件的同时输出与图像文件相关的音频数据的设备。所述设备包括：音频编辑器，被配置为对具有预定时长的音频数据进行编辑，以便创建编辑后的音频数据；编码器，被配置为对图像数据和由音频编辑器进行编辑的音频数据进行编码，以便创建生动图片文件，其中，生动图片文件包括下列项中的至少一个：包括图像数据的图像数据区、包括与包括音频数据的附加数据相关的信息的附加数据头区以及包括编辑后的音频数据的音频数据区。
【专利说明】用于创建和再现生动图片文件的设备和方法

【技术领域】
[0001] 本公开涉及一种用于创建和再现图像文件的设备和方法。更具体地，本公开涉及 一种能够在再现图像文件的同时输出相关的音频数据的设备、方法和计算机可读记录介 质。

【背景技术】
[0002] 图片可被表征为图像和/或图像数据，且音乐或记录的语音可被表征为音频数 据。另外，动态图像可指示由图像和音频数据的组合制成的视频数据。
[0003] 由于多媒体(诸如图像、音频数据和动态图像）根据各自的媒体类型而具有不同的 特性，因此单独地存在适合于对相应的媒体执行操作和/或利用相应的媒体执行操作的应 用(例如，图像浏览器、视频播放器等)。
[0004] 在现有技术中基于文本的信息传递和传输已经普及，但是目前通过各种多媒体数 据(诸如，图像、视频和音频数据）的组合来提供更有价值的服务。
[0005] 同时，包括最广泛使用的图片的图像数据具有下列优点：所述图像数据与动态图 像相比具有小的大小，并且可表达高清数据。然而，图片是静止图像，因此具有图片不足以 传递场景的生动气氛的缺点。
[0006] 因此，需要可从具有小的大小的图像数据产生生动的多媒体数据以及可通过多媒 体数据提供各种附加服务的方法。
[0007] 以上信息仅作为背景信息被呈现以帮助对本公开的理解。至于上述内容中的任何 内容是否可应用为针对本公开的现有技术，未做出确定，也未做出断定。


【发明内容】

[0008] 本公开的各方面在于解决至少上述问题和/或缺点，并提供至少下述优点。相应 地，本公开的一方面在于提供一种用于创建和再现生动图片文件的设备、方法和计算机可 读记录介质，其中，通过将图像数据与音频数据进行组合以创建生动图片文件，所述设备、 方法和计算机记录介质可利用较高的分辨率和与动态图像相比较小的大小来提供场景的 生动气氛。
[0009] 本公开的另一方面在于提供一种用于创建和再现生动图片文件的设备、方法和计 算机可读记录介质，其中，通过将图像数据与音频数据进行组合以便创建生动图片文件并 使生动图片文件附加地包括附加元数据，所述设备、方法和计算机记录介质可提供与图像 数据相关的各种附加服务。
[0010] 根据本公开的一方面，提供了一种用于创建生动图片文件的设备。所述设备包括： 音频编辑器，被配置为对具有预定时长的音频数据进行编辑，以便创建编辑后的音频数据； 编码器，被配置为对图像数据和由音频编辑器进行编辑的音频数据进行编码，以便创建生 动图片文件，其中，生动图片文件包括下列项中的至少一个：包括图像数据的图像数据区、 包括与包括音频数据的附加数据相关的信息的附加数据头区以及包括编辑后的音频数据 的音频数据区。
[0011] 根据本公开的另一方面，提供了一种用于再现生动图片文件的设备。所述设备包 括：解码器，被配置为对生动图片文件进行解码，以便提取图像数据和音频数据；生动图片 再现处理器，被配置为在屏幕上显示由解码器进行解码的图像数据的同时输出由解码器进 行解码的音频数据，其中，生动图片文件包括下列项中的至少一个：包括图像数据的图像数 据区、包括与包括音频数据的附加数据相关的信息的附加数据头区以及包括音频数据的音 频数据区。
[0012] 根据本公开的另一方面，提供了一种创建生动图片文件的方法。所述方法包括： 对具有预定时长的音频数据进行编辑，以便创建编辑后的音频数据；对图像数据和编辑后 的音频数据进行编码，以便创建生动图片文件，其中，生动图片文件包括下列项中的至少一 个：包括图像数据的图像数据区、包括与包括音频数据的附加数据相关的信息的附加数据 头区以及包括编辑后的音频数据的音频数据区。
[0013] 根据本公开的另一方面，提供了一种用于再现生动图片文件的方法。所述方法包 括：对生动图片文件进行解码，以便提取图像数据和音频数据；在屏幕上显示经解码的图 像数据的同时输出经解码的音频数据，其中，生动图片文件包括下列项中的至少一个：包括 图像数据的图像数据区、包括与包括音频数据的附加数据相关的信息的附加数据头区以及 包括音频数据的音频数据区。
[0014] 根据本公开的另一方面，用于执行创建和再现生动图片文件的处理的信息可被 存储在服务器计算机可读记录介质中。记录介质可以是存储可由计算机系统读取的程序 和数据的任何类型的记录介质。记录介质的示例包括只读存储器（ROM)、随机存取存储器 (RAM)、致密盘（⑶)、数字视频盘（DVD)-ROM、磁带、软盘、光数据存储装置等，还包括以载波 的形式实现(例如，通过互联网传输)。另外，记录介质可存储并执行分布到联网的计算机系 统并可由计算机以分布式方式读取的代码。
[0015] 如上所述，根据本公开的实施例，音频数据和元数据被编码为一般图片并产生为 生动图片文件，使得所述一般图片可被重新配置为具有真实感的图片。
[0016] 根据本公开的实施例，通过将记录下的用户的语音数据与一般图片图像进行组合 以将音频备忘录添加到图片来创建生动图片文件。
[0017] 当本公开被应用于教育内容时，通过嵌入与暂停的讲课材料相应的语音解说以及 教育备忘录和文书内容，可通过具有与动态图像相比较小的大小的文件来提高教育效果。
[0018] 另外，当本公开被应用于音乐专辑图像(例如，封套图像）时，可通过音乐专辑图像 来提供试听功能。
[0019] 另外，当本公开被应用于再现广告(诸如，公司或广播宣传内容）时，当再现广告图 像时，可提供广告音频数据，并且可通过广告图像直接访问相关的主页，以使宣传效果最大 化。
[0020] 通过下面结合附图公开了本公开的各种实施例的详细描述，对本领域的技术人员 而言，本公开的其它方面、优点和显著特点将变得明显。

【专利附图】

【附图说明】
[0021] 通过下面结合附图的描述，本公开的特定实施例的以上和其它方面、特征和优点 将更加清楚，其中：
[0022] 图1是示意性地示出根据本公开的实施例的生动图片文件的结构的框图；
[0023] 图2示出根据本公开的实施例的生动图片文件的详细结构；
[0024] 图3示出根据本公开的实施例的附加数据区的数据字段的详细配置；
[0025] 图4是示出根据本公开的实施例的生动图片文件创建设备的框图；
[0026] 图5是示出根据本公开的实施例的生动图片文件再现设备的框图；
[0027] 图6是示出根据本公开的实施例的生动图片文件创建处理的流程图；
[0028] 图7、图8和图9是不出根据本公开的实施例的生动图片文件编辑处理的流程图；
[0029] 图10、图11和图12是示出根据本公开的实施例的生动图片文件再现处理的流程 图；
[0030] 图13和图14示出根据本公开的实施例产生的生动图片文件再现屏幕；
[0031] 图15、图16、图17、图18、图19、图20和图21示出用于创建根据本公开的实施例 产生的生动图片文件的应用执行屏幕；
[0032] 图22示出配置根据本公开的实施例创建的生动图片文件的示例；
[0033] 图23、图24、图25和图26示出使用根据本公开的实施例的生动图片文件的示例。
[0034] 贯穿附图，应注意的是：相同的附图标号用于示出相同或相似的元件、特征和结 构。

【具体实施方式】
[0035] 提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的各种 实施例的全面理解。虽然以下描述包括用于帮助所述理解的各种特定细节，但是这些特定 细节将被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本公开的 范围和精神的情况下，可对在此描述的各种实施例做出各种改变和修改。另外，为了清楚和 简洁，可省略对公知的功能和构造的描述。
[0036] 以下描述和权利要求中所使用的术语和词汇不限于字面含义，而仅被发明人用于 实现对本公开的清晰和一致的理解。因此，本领域的技术人员应清楚的是：仅为了示意目的 而提供本公开的各种实施例的以下描述，而并非为了限制由权利要求及其等同物限定的本 公开的目的。
[0037] 将理解的是：除非上下文另外明确地指示，否则单数形式包括复数指示对象。因 此，例如，提及"组件表面"包括提及一个或更多个这种表面。
[0038] 本公开涉及用于组合图像数据和音频数据以创建文件以及用于当所创建的文件 被再现时在显示图像数据的同时输出音频数据的设备和方法。
[0039] 为了方便起见，根据本公开的实施例的通过组合图像数据和音频数据而创建的文 件在下文中被命名为"生动图片文件"。生动图片文件不限于特定标准或特定类型的文件， 并且可指示包括图像数据和音频数据的组合的任何文件标准和/或类型。因此，可通过组 合图像数据和音频数据而创建的任何类型的文件可以是基于根据下述本公开的实施例的 各种方法的根据本公开的生动图片文件。另外，在下面的描述中，"图像数据"可指示可区别 于动态图像数据的静止图像数据，但是根据本公开的实施例的生动图片文件不限于仅包括 一个静止图像，而是可包括多个静止图像。
[0040] 同时，根据本公开的实施例，生动图片文件还可包括各种附加数据以及音频数据。 例如，生动图片文件还可包括与生动图片文件中所包括的图像数据相关的各种元数据、与 音频数据相关的各种元数据以及各种信息(例如，由用户额外输入的写入数据以及可包括 有图像数据和/或音频数据的任何其它相似的和/或合适的数据)。
[0041] 相应地，当生动图片文件被再现时，可在输出音频数据的同时显示图像数据，并且 还可提供相应的图片文件中所包括的各种附加数据。
[0042] 例如，当生动图片文件中还包括超文本信息作为根据本公开的实施例的附加数据 时，如果当生动图片文件被再现时显示的图像的特定区域和/或特定图标被选择，则可提 供与作为附加信息被包括的超文本信息相应的网页。
[0043] 另外，在另一示例中，当生动图片文件中还包括位置信息(例如，关于图像数据被 创建或拍摄的位置的信息）作为根据本公开的实施例的附加数据时，如果所显示的图像数 据的特定区域或特定图标被选择，则可执行与电子地图相关的应用，并可在电子地图上显 示与位置信息相应的地理位置。
[0044] 在下文中，将参照附图详细描述本公开的各种实施例，使得本公开可由本领域技 术人员容易地实现。
[0045] 首先将参照图1至图3来描述根据本公开的实施例而创建的生动图片文件的结 构，随后将参照图4至图12来详细描述根据本公开的实施例的设备和方法。
[0046] 生动图片文件结构
[0047] 图1是示意性地示出根据本公开的实施例的生动图片文件的结构的框图。
[0048] 参照图1，根据本公开的实施例的生动图片文件100可包括图像数据110和附加数 据120。可通过将附加数据120与以文件形式存在的图像文件进行组合来配置生动图片文 件 100。
[0049] 附加数据120可包括根据本公开的实施例的音频数据121，并且还可包括元数据 122和用户输入数据123。也就是说，附加数据120与根据本公开的实施例的当图像数据100 被显示在屏幕上时附加地提供的数据相应，且本公开的附加数据120中可包括任何类型和 形式的数据。
[0050] 也就是说，当附加数据120中包括音频数据121时，当生动图片文件被再现时，再 现图像数据110以在显示相应的图像的同时再现音频数据121以通过扬声器或耳机输出音 频数据(例如，与语音或声音相应的数据)。
[0051] 另外，当附加数据120中包括超文件信息作为元数据122时，当生动图片文件被再 现时，可提供在再现图像数据110以显示相应的图像的同时访问与超文本信息相应的网页 的功能。例如，可通过选择显示在图像上的特定的图标和/或菜单来执行web浏览器，并且 可显示与超文本相应的网页。
[0052] 另外，当附加数据120中包括位置信息作为元数据122时，当生动图片文件被再现 时，可提供在再现图像数据110以显示相应的图像的同时在电子地图上显示与位置信息相 应的位置的功能。例如，可通过经由选择显示在图像上的特定图标或菜单执行电子地图应 用并通过在电子地图上显示与位置信息相应的位置来识别与显示的图像相关的位置。
[0053] 另外，当附加数据120中包括用户输入数据123时，当生动图片文件被再现时，可 提供在再现图像数据110以显示相应的图像的同时显示用户输入数据123的功能。例如， 可在图像的特定区域上显示用户输入数据123,或者可通过选择显示在图像上的特定图标 或菜单来识别用户输入数据123。
[0054] 同时，可对与附加数据120相应的音频数据121进行加密，并且可随后根据本公开 的实施例来存储音频数据121。相应地，音频数据121可以以文件的形式被直接包括，并且 /或者经加密的音频数据121a可被包括在附加数据120的区中。
[0055] 参照图1，可改变在图1中示出的排列位置（position)、定位（location)和/或数 据和元素的顺序，且本公开不限于数据的特定位置和排列。
[0056] 图2示出根据本公开的实施例的生动图片文件的详细结构。
[0057] 参照图2,根据本公开的实施例，生动图片文件100可包括布置有图像数据或图像 文件的图像数据区210以及布置有各种附加数据的附加数据区220。
[0058] 同时，可组合图像数据区210内的数据和附加数据区220内的数据，并且/或者通 过编码方法对所述数据进行编码。然而，当如图2中所示图像数据区210和附加数据区220 被彼此分离地编码时，即使是在不支持再现生动图片文件的功能的一般的图像浏览器应用 中，图像数据区210中所存储的图像也可被显示。在一般的图像浏览器应用中，附加数据区 220中所包括的数据中的所有或一些会被忽略。
[0059] 可以以各种图像数据格式来配置图像数据区210中所包括的图像数据。例如，图 像数据区210中可包括任何类型的图像数据格式(诸如，图形交换格式（GIF)、联合图像专 家组（JPEG)、Windows位图（BMP)、便携式网络图形（PNG)、便携式文档格式（PDF)、封装的 PostScript (EPS)、ZSoft绘图格式（PCX)、标记的图像文件格式（TIFF)、Truevision文件 格式（TGA)、PICtor (PIC)、微软 Windows 元文件（WMF)、X PicMap (XPM)、Adobe Photoshop (PS)以及任何其它相似的和/或合适的图像数据格式。
[0060] 同时，图像数据区210可包括处于数据开始位置的指示图像数据的开始的图像开 始（S0I)字段211，并且可包括处于数据结束位置的指示图像数据的结束的图像结束（Ε0Ι) 字段212。相应地，在根据本公开的实施例的用于再现生动图片文件的应用中，可通过识别 图像数据区210中所包括的S0I字段211和Ε0Ι字段212来在屏幕上显示相应的图像。另 夕卜，即使是在不具有再现生动图片文件的功能的一般图像浏览器应用中，也可通过识别图 像数据区210中所包括的S0I字段211和Ε0Ι字段212来将相应的图像显示在屏幕上。
[0061] 根据本公开的实施例，附加数据区220可包括附加数据头（header)区211、音频数 据区222、元数据区223和用户输入数据区224,且图2中示出的区和/或元素的顺序和/ 或排列不限于图2中示出的顺序和/或排列并且可被改变。因此，可省略图2中示出的区 中的任何一个。
[0062] 附加数据头区221可包括与附加数据区220中所包括的各种附加数据相关的头信 息(例如，关于附加数据的类型的信息、附加数据的存在的信息和附加数据的长度的信息)。 语音数据区222包括作为附加数据的一个示例的语音数据。元数据区223包括作为附加 数据的一个示例的各种元数据(例如，超链接信息、图像相关的位置信息、时间信息、相机信 息、声音相关的各种信息等)。用户输入数据区224包括作为附加信息的一个示例的由用户 直接输入的信息(例如，图像相关的备忘信息等)。
[0063] 附加数据区220中还可包括以上未提及的各种类型的附加信息，且根据生动图片 文件的执行，可同时显示各种类型的附加数据和图像。
[0064] 图3示出根据本公开的实施例的附加数据区220的数据字段的详细配置。
[0065] 参照图3,附加数据区220可包括作为开始标记区的开始指示字段310、头区320、 数据区330以及作为结束标记区340的数据大小区341和结束指示区342。
[0066] 开始指示区310和结束指示区342分别是指示附加数据区220的开始和结束的数 据字段。
[0067] 头区320与附加数据区的头部分相应，并且可包括头字段321、音频头字段322、超 链接头字段323和额外头数据字段324。头区320指示附加数据的存在以及附加数据的基 本数据信息，并且可被配置为具有固定的长度(例如，10字节）或者可被可变化地配置。
[0068] 头指示字段321是指示接下来的数据是头数据的数据字段。音频头字段322可包 括与音频数据相关的信息(诸如，音频数据字段331中所包括的音频数据的音频数据类型 322a、音频索引322b和音频大小322c)。超链接头字段323可包括指示超链接的存在的信 息和与超链接数据字段332中所包括的超链接数据相关的信息。
[0069] 同时，紧挨着头区320,数据区330中包括将要使用的各种附加数据。例如，数据区 330可包括音频数据字段331和超链接数据字段332,因而包括各种类型的实际附加数据。
[0070] 例如，音频数据字段331包括二进制数据形式的实际音频信息和/或音频文件。另 夕卜，超链接数据字段332可包括：包括指示超链接字符串的长度的信息的超链接长度字段 332a以及包括实际超链接字符串数据的超链接字符串字段332b。
[0071] 同时，虽然图3示出音频数据和超链接数据作为附加数据的示例，但是各种元数 据(诸如，GPS位置信息）还可被包括，且本公开不限于在此描述的附加信息的类型。
[0072] 生动图片文件创建设备
[0073] 图4是示出根据本公开的实施例的生动图片文件创建设备的框图。
[0074] 参照图4,生动图片文件创建设备可包括音频编辑器410、音频加密单元420和编 码器430。
[0075] 音频编辑器410执行编辑当通过相机拍摄图片时记录下的音频数据并且/或者编 辑存储在存储介质中的音频数据和/或音频文件的功能，以便将编辑后的音频数据转换为 可被包括在生动图片文件中的音频数据。例如，可直接使用当通过相机拍摄图片时记录下 的音频数据和/或预存储在存储介质中的音频数据和/或音频文件中的全部而无需任何的 单独编辑，或者可在对音频数据中的一些进行编辑后使用所述音频数据和/或音频文件中 的全部。
[0076] 更具体地，通过分析音频数据和/或音频文件，可使用仅仅音频数据的包括重要 的声音数据的预定区段被编辑的音频文件。也就是说，可从整个音频数据切下包括特定的 频率信号(例如，与人声相应的频率信号、与音乐声相应的频率信号等）的区段数据，并随后 将所述区段数据用作将被包括在生动图片文件中的音频数据。另外，可预先设置预定时间 段，且仅仅与预定时间段相应的数据可被切下并使用。另外，可对音频数据进行处理以去除 噪音，并且可对音频数据的开始点或结束点进行处理以分别淡入和淡出。
[0077] 音频加密单元420执行对由音频编辑器410编辑的音频数据进行加密的功能。对 音频数据进行加密的方法可包括各种加密方法，但是本公开不限于特定的加密方法。另外， 根据本公开的实施例的设备可选择性地包括音频加密单元420。相应地，可由编码器430直 接对由音频编辑器410编辑的音频数据进行编码，而无需任何加密处理过程。
[0078] 编码器430通过对图像数据和/或图像文件、由音频加密单元420进行加密的音 频数据、元数据、用户输入数据等进行编码来创建根据本公开的实施例的生动图片文件。编 码器430的编码方法可包括各种方法，且通过由编码器430进行的编码而创建的生动图片 文件可被配置为例如如图1至图3中所示的形式。
[0079] 同时，通过使用当通过相机拍摄图片时拍摄到的图像数据和当拍摄图片时记录下 的音频数据，并且/或者通过使用已经存储在存储介质中的图像数据和从存储的音频数据 和/或通过音频记录创建的音频数据选择的音频数据来执行由生动图片文件创建设备进 行的生动图片文件的创建。
[0080] 另外，可以以各种方式来创建提供给音频编辑器410的音频数据和/或音频文件。 例如，可通过下述步骤来创建生动图片文件：在使用相机拍摄图片的同时执行音频记录，并 随后通过上述方法对拍摄到的图片和记录下的音频数据进行编码。
[0081] 更具体地，当相机模式开始拍摄图片并且/或者在相机模式下记录功能被用户输 入激活时，可开始进行音频记录。另外，当根据用户输入(诸如，点击拍摄按钮）来拍摄图片 或在进行拍摄后经过了预设时间之后时，音频记录可自动结束。可选地，可通过由用户直接 结束记录来创建用于创建生动图片文件的音频数据。
[0082] 生动图片文件再现设备
[0083] 图5是示出根据本公开的实施例的生动图片文件再现设备的框图。参照图5,根据 本公开的实施例的生动图片文件再现设备可包括解码器510、音频解密单元520、生动图片 再现处理器530、应用（app)交互工作处理器540和输入单兀550。
[0084] 解码器510执行对以如图1至图3中示出的形式创建的生动图片文件进行解码的 功能，以便将生动图片文件分离为图像数据、音频数据和/或经加密的音频数据以及元数 据。优选的是：解码器510的解码方法与生动图片文件创建设备的编码器430的编码方法 相应。
[0085] 音频解密单元520执行对已经由解码器510解码并提取的经编码的音频数据进行 解密的功能。音频解密单元520所使用的解密方法应该与生动图片文件创建设备的音频加 密单元420所使用的加密方法相应或兼容。同时，当从生动图片文件创建设备省略音频加 密单元420时，可省略生动图片文件再现设备的音频解密单元520。
[0086] 生动图片再现处理器520执行将由解码器510进行解码的各种数据再现为生动图 片的功能。也就是说，对通过解码器510创建的图像数据进行处理，以通过图像显示工具将 所述图像数据显示在屏幕上。另外，对通过解码器510创建的音频数据进行处理，以通过音 频输出工具(例如，扬声器、耳机等)输出所述音频数据。可将音频数据处理为在开始显示图 像数据的同时输出，也可将音频数据实现为在图像数据被显示之后当通过由用户选择特定 图像和/或图标来输出音频数据时开始和/或结束。
[0087] 另外，由解码器510进行解码的各种元数据可根据所述各种元数据之中每个数据 的特性来执行相应的功能。
[0088] 也就是说，当元数据是超文本数据时，app交互工作处理器540根据元数据的运行 来执行web浏览器，并做出和/或发送对于超文本数据相应的地址的网页的请求，以便允许 对该网页的浏览。
[0089] 同时，当元数据是全球定位系统（GPS)位置信息时，如果用户在输入单元550上做 出显示位置信息的请求，则电子地图应用被执行，且随后与元数据相应的位置信息被显示 在电子地图上。
[0090] 如上所述，在由用户通过输入单元550来执行应用的执行时间内，在显示图像数 据的同时，由解码器510进行解码的各种元数据根据数据的特性和/或通过与相应的相关 应用进行交互工作提供各种附加功能。
[0091] 同时，在附图中单独示出如图5中所示的设备的组件以指示所述组件可在功能上 和逻辑上彼此分离，但是所述组件不必是单独的组件或实现为单独的代码。
[0092] 另外，在本说明书中，每个功能单元、元件或模块可指示用于实现本公开的技术理 念的硬件与用于驱动硬件的软件的功能和/或结构组合。例如，每个功能单元可指示预定 代码的逻辑单元或用于执行预定代码的硬件资源，并且可被本领域技术人员理解为功能单 元无需指示物理连接的代码或一种类型的硬件。
[0093] 在下文中，将参照图6至图12来描述用于创建、编辑和再现生动图片文件的处理。
[0094] 生动图片文件创建方法
[0095] 图6是示出根据本公开的实施例的生动图片文件创建处理的流程图。
[0096] 参照图6,在操作S601中，执行支持生动图片文件创建功能的应用。同时，当应用 被执彳丁时，可切换至可通过相机来拍摄图片的拍摄1旲式。此时，在?呆作S602中，确定应用中 所包括的生动记录按钮是否被用户选择。当在操作S602中生动记录按钮被选择时，在操作 S603中，可对通过麦克风输入的音频数据进行记录。
[0097] 在操作S604中，确定当音频数据被记录时用户是否选择拍摄按钮。当在操作S604 中用户选择拍摄按钮时，在操作S605中，由相机模块拍摄图片，并且拍摄到的图像数据被 存储在存储介质中。在操作S606中，在由用户选择生动记录结束按钮或拍摄图片的同时， 音频记录可结束。
[0098] 相应地，当在操作S601至S606中创建图像数据和音频数据时，在操作S607中，可 通过使用（或者换句话说，编码）图像数据和音频数据来创建生动图片文件。根据本公开的 实施例，可在操作S601至S606之后执行操作S607,以便自动创建生动图片文件。
[0099] 图7至图9是示出根据本公开的实施例的生动图片文件编辑处理的流程图。
[0100] 参照图7,在操作S701中，执行支持生动图片文件创建或编辑功能的应用。同时， 当应用被执行时，可切换至预存储在存储介质中的图像文件可被识别的图库模式。
[0101] 此时，在操作S702中，选择将被包括在生动图片文件中的特定图像，或者换句话 说，选择将要编辑的图像。在操作S703中确定是否执行音频记录，并且当在操作S703中音 频记录被执行时，在操作S704中对诸如通过麦克风输入的音频信号的音频数据进行记录。
[0102] 在操作S705中，确定用户是否结束对输入的音频信号的记录。当在操作S705中 用户结束记录时，在操作S706中，创建音频数据，并通过使用（S卩，编码）所选择的图像数据 和记录下的音频数据来根据上述方法创建生动图片文件。根据本公开的实施例，可在操作 S701至S705之后执行操作S706,以便自动创建生动图片文件。
[0103] 参照图8,在另一生动图片文件创建方法中，可通过选择已经存储在存储介质中的 图像数据和音频数据来创建生动图片文件。也就是说，在操作S801中，执行支持生动图片 文件创建或编辑功能的应用。同时，当应用被执行时，可切换至预存储在存储介质中的图像 文件可被识别的图库模式。
[0104] 此时，在操作S802中选择将要编辑以便被包括在生动图片文件中的图像，并在操 作S803中选择预存储的音频文件。此后，在操作S804中，当执行对生动图片文件的创建时， 可通过使用所选择的图像数据和所选择的音频数据来根据上述方法创建生动图片文件。根 据本公开的实施例，可在操作S801至S803之后执行操作S804,以便自动创建生动图片文 件。
[0105] 参照图9,通过将各种附加数据(例如，超链接数据）添加到生动图片文件，可在生 动图片文件被再现时提供各种附加功能。也就是说，在操作S901中，执行支持生动图片文 件创建或编辑功能的应用。同时，当应用被执行时，可切换至预存储在存储介质中的图像文 件或生动图片文件可被识别的图库模式。
[0106] 此时，在操作S902中选择将要编辑的图像，并在操作S903中选择超链接设置菜 单。此后，在操作S904中，输入将被包括在生动图片文件中的超链接信息。在操作S905中， 通过使用所选择的图像数据和所输入的超链接信息来创建生动图片文件，或者换句话说， 在操作S905中，可通过根据上述方法对所选择的图像文件或生动图片文件和所输入的超 链接信息进行编码来创建包括超链接的附加数据的生动图片文件。
[0107] 生动图片文件再现方法
[0108] 图10至图12是示出根据本公开的实施例的生动图片文件再现处理的流程图。
[0109] 参照图10至图12,通过再现根据上述方法创建的生动图片文件，可在显示图像数 据的同时输出音频数据或可提供各种附加数据。
[0110] 参照图1〇,在操作S1001中，执行支持生动图片文件再现功能的应用。同时，当应 用被执行时，可切换至预存储在存储介质中的生动图片文件可被识别的图库模式。此时，可 以以如图15至图19中所示的图像的形式来显示生动图片文件。每个图像具有指示相应的 文件是包括附加数据的生动图片文件和/或生动图片的指示，使得用户可容易地识别出相 应的文件是生动图片文件且该文件提供附加功能。
[0111] 在操作S1002中，用户选择将要再现的生动图片文件。在操作S1003中，根据上述 方法对所选择的生动图片文件进行解码。在操作S1004中，从经解码的生动图片文件提取 图像数据，以便在屏幕上显示图像。在操作S1005中，对从经解码的生动图片文件提取的音 频数据进行解密，以便通过扬声器和/或耳机输出声音，其中，所述音频数据可以是经加密 的音频数据。
[0112] 同时，在通过执行对生动图片文件的再现而再现图像数据和音频数据之后，可根 据用户的选择，通过生动图片文件中所包括的附加数据来提供各种附加功能。
[0113] 例如，参照图11，在操作S1101中，选择超链接指示(其可以是根据图10再现的生 动图片再现屏幕上所显示的超链接按钮)。在操作S1102中从经解码的生动图片文件提取 超链接信息，并在操作S1103中切换到用于显示与提取出的超链接信息相应的超链接页面 和/或网页的屏幕，以便在操作S1103中可浏览与提取出的超链接相应的网页，从而提供与 显示的图像相关的网页。
[0114] 在另一示例中，参照图12,在操作S1201中，选择地图显示指示(其可以是根据图 10再现的生动图片再现屏幕上所显示的地图显示按钮)。在操作S1202中从经解码的生动 图片文件提取可包括诸如GPS信息的位置信息的地图信息，并在操作S1203中执行与电子 地图相关的应用。在操作S1204中，根据相应的坐标来显示诸如所执行的电子地图上的提 取出的位置信息的地图信息。另外，可提供与所显示的图像相关的位置信息(例如，拍摄照 片的位置)。
[0115] 同时，可以以可通过各种计算机元件、单元和设备执行并记录在计算机可读介质 中的程序命令的形式来实现根据本公开的实施例的生动图片文件创建和再现方法。计算机 可读介质可单独地包括程序命令、数据文件和数据结构，或者包括上述项的组合。记录在 计算机可读介质中的程序命令被设计并配置以用于本公开，但是可在计算机软件领域的技 术人员获知之后被使用。计算机可读记录介质的示例包括：可被配置为存储并执行程序指 令的磁介质(诸如硬盘、软盘和磁带)、光介质(诸如致密盘只读存储器（CD-ROM)和数字多功 能盘（DVD))、磁光介质(诸如软盘）以及硬件装置(诸如只读存储器（ROM)、随机存取存储器 (RAM)和闪存)。程序指令的示例包括：由编译器产生的机器语音代码以及计算机可通过使 用编译器而执行的高级语言代码等。硬件装置可被配置为作为至少一个软件模块而运行以 执行本公开的操作，反之亦然。
[0116] 实施例
[0117] 图13和图14示出根据本公开的实施例产生的生动图片文件的再现屏幕。
[0118] 参照图13,当包括再现根据本公开的实施例产生的生动图片文件的功能的应用被 执行时，如图13中所示，通过对生动图片文件中所包括的图像数据进行解码来将相应的图 像1300显示在屏幕上。
[0119] 此时，根据本公开的实施例，再现包括在生动图片文件中的音频数据，因而通过扬 声器和/或耳机输出声音，或者通过选择如图13中所不的扬声器图像1310来输出声音。同 时，再现的生动图片文件可以是通过与记录音频数据相应地同时拍摄图片而创建的文件。 相应地，通过与显示图片图像一起输出当拍摄相应的图片时记录下的音频数据，可提供具 有真实感的图像，而不是简单的图像信息。
[0120] 参照图14,当包括再现根据本公开的实施例产生的生动图片文件的功能的应用被 执行时，如图14中所示，通过对生动图片文件中所包括的图像数据进行解码来在屏幕上显 示相应的图像1400。
[0121] 此时，根据本公开的实施例，自动再现生动图片文件中所包括的音频数据，因而通 过扬声器和/或耳机输出声音，或者通过选择如图14中所不的扬声器图像1410来输出声 音。另外，根据本公开的实施例，当图像上所显示的超链接执行图像1420被选择时，对相应 的生动图片文件中所包括的作为附加数据的超链接数据进行解码并提取所述超链接数据， 且请求与提取出的超链接数据相应的网页并在屏幕上浏览所述网页。
[0122] 同时，所产生的生动图片文件可以是根据如图8和图9所示的图8和图9的处理 创建的用于教育的文件。相应地，在显示图片图像的同时，输出与相应的图片相关的教育内 容(例如，朗读英语句子）作为音频数据，以便通过图像数据和音频数据之间的联系来提供 高的学习效果。另外，可通过提供允许直接访问网页的超链接来进一步提高学习效果，其 中，可从网页额外获得与教育内容相关的信息。
[0123] 应用执行屏幕
[0124] 图15至图21示出用于创建根据本公开的实施例产生的生动图片文件的应用执行 屏幕。
[0125] 参照图15,当提供生动图片文件创建功能的应用被执行时，如图15中所示，可以 以缩略图1510的形式提供已经存储的生动图片文件的图像。
[0126] 此时，当在应用执行屏幕上选择相机图像1511时，通过控制相机模块来进行切换 至拍摄模式。同时，在应用的拍摄模式下，不同于一般的相机拍摄屏幕，可与拍摄按钮1530 单独地额外显示音频记录按钮（未示出）。相应地，当在拍摄模式下音频记录按钮被选择和 /或音频切换按钮1520被从"关"状态改变为"开"状态时，开始对通过麦克风输入的音频 数据进行记录。
[0127] 相应地，当用户选择拍摄按钮1530时，拍摄屏幕上所显示的图像并将该图像存储 为图像数据，并通过根据本公开的实施例对拍摄到的图像数据和记录下的音频进行编码来 创建生动图片文件。
[0128] 同时，可根据实施方法来不同地实现音频记录的开始时间和结束时间。例如，可在 进行切换至相机拍摄模式时或者在音频记录按钮被选择时开始记录。另外，可通过再次选 择音频记录按钮来结束记录，或者当由相机执行拍摄时结束记录。另外，作为另一实施例， 当在开始音频记录之后经过了预设时间时，或者当在拍摄图片之后经过了预设时间时自动 结束记录。
[0129] 图16示出配置根据本公开的实施例创建的生动图片文件的示例。
[0130] 参照图16,当提供生动图片文件创建功能的应用被执行时，如图16中所示，可通 过将记录下的音频数据与已经存储的一般图像文件进行组合来创建生动图片文件。
[0131] 也就是说，如图16中所示，以缩略图的形式提供已经存储的生动图片文件的图 像。此时，当在应用执行屏幕上选择文件图像1610时，显示已经存储在存储介质中的一个 或更多个图像。相应地，当用户选择图像时，提供用于利用所选择的图像来创建生动图片文 件的屏幕。
[0132] 相应地，在屏幕上显示所选择的图像，并在记录图像1620被选择时开始对当前通 过麦克风输入的音频信号进行记录，其中，可在图像下方显示记录图像1620。此后，当经过 了预设时间或者当用户选择记录结束图像1630时，结束记录，并且可通过将记录下的音频 数据与所选择的图像文件进行组合来创建生动图片文件。
[0133] 根据本公开的实施例，不同于使用实时记录在所选择的图像中的音频数据来创建 生动图片文件的图16,图17示出通过使用已经存储在存储介质中的图像数据和音频数据 的生动图片文件记录方法。
[0134] 参照图17,当提供生动图片文件创建功能的应用被执行时，如图17中所示，以缩 略图的形式提供已经存储在存储介质中的图像。此时，当用户在应用执行文件上选择文件 图像1710时，显示已经存储在存储介质中的一个或更多个图像。相应地，当用户选择图像 时，提供用于利用所选择的图像来创建生动图片文件的屏幕。
[0135] 相应地，在屏幕上显示所选择的图像，并在音频数据图像1720被选择时显示已经 存储在存储介质中的音频文件的列表，其中，可在图像下方显示音频数据图像1720。此时， 当用户选择音频文件1730时，可通过将所选择的音频文件1730的音频数据与所选择的图 像相应的文件进行组合来创建生动图片文件。
[0136] 图18示出根据本公开的实施例的将附加数据添加到如上所述地创建的生动图片 文件的方法。
[0137] 参照图18,当提供生动图片文件编辑功能的应用被执行时，如图18中所示，以缩 略图的形式提供已经存储在存储介质中的生动图片文件的图像。此时，当用户在应用执行 屏幕上选择生动图片文件1810(例如，用户在所选择的生动图片文件1810的相应的缩略图 图像上执行长按，并选择用于编辑所选择的生动图片文件1810的菜单)时，可以以弹出窗口 的形式显示用于选择各种附加功能的菜单1820。
[0138] 例如，可提供编辑功能，诸如文件删除（S卩，删除文件功能)、音频数据设置（S卩，设 置生动音频功能)、音频数据去除（即，去除生动音频功能）和超链接设置（即，设置URL功 能)。此时，根据本公开的实施例，当超链接设置功能被执行时，如图18中所示，可提供输入 窗口 1830,其中，可在输入窗口 1830中输入超链接(例如，统一资源定位符（URL)地址)。当 用户在输入窗口 1830中输入URL地址时，该URL地址可被编码并作为附加数据被包括在生 动图片文件中。相应地，如图14中所述，当再现生动图片文件时，可提供作为附加数据而包 括的特定网页。
[0139] 图19至图21是示出根据本公开的实施例的再现如上所述地创建的生动图片文件 的实施例的应用执行屏幕。
[0140] 参照图19,当提供生动图片文件再现功能的应用被执行时，以缩略图的形式提供 已经存储在存储介质中的生动图片文件的图像。此时，当用户在应用执行屏幕上选择生动 图片文件1910 (例如，用户在生动图片文件1910的相应的缩略图图像上执行长按）时，解 码并再现所选择的生动图片文件1910。
[0141] 也就是说，如图19中所示，当音频再现按钮1920被选择时，生动图片文件1910中 所包括的图像数据被解码并显示在屏幕上，且生动图片文件1910中所包括的音频数据被 解码并通过扬声器或耳机输出，其中，可将音频再现按钮1920显示在图片下方。另外，当音 频结束按钮1930在音频信号被输出时被选择时，结束对音频信号的输出。在另一方法中， 当再现生动图片文件1910时，可在显示图像的同时自动再现音频数据。另外，所述功能可 被实现为根据用户选择而直接改变。
[0142] 如上所述，当再现生动图片文件时，可通过显示图像并输出记录下的与所显示的 图像相关的音频信号来向用户传递更生动的信息。
[0143] 同时，如图20和图21中所示，当再现生动图片文件时，可额外地提供作为附加数 据而包括的各种信息。
[0144] 例如，参照图20,当再现生动图片文件时，可在显示图像的同时输出音频数据。根 据本公开的实施例，当超链接执行图像2010被选择时，对生动图片文件中所包括的作为附 加数据的超链接数据进行解码并提取所述超链接数据，其中，可在图像上显示超链接执行 图像2010,且请求与提取出的超链接数据(例如，URL地址）相应的网页2020并在屏幕上浏 览与超链接数据相应的网站。
[0145] 另外，参照图21，当再现生动图片文件时，在显示图像的同时输出音频数据。根据 本公开的实施例，当地图连接图像2110被选择时，对相应的生动图片文件中所包括的作为 附加数据的位置信息进行解码并提取所述位置信息，并在屏幕的电子地图2120上显示与 提取出的位置信息相应的地理位置，其中，可在图像上显示地图连接图像2110。
[0146] 应用示例
[0147] 图22示出配置根据本公开的实施例创建的生动图片文件的示例。
[0148] 参照图22,例如，当在餐厅中拍摄食物图像的同时记录场景所产生的声音(例如， 烤肉的声音）时，根据本公开的实施例，可使用拍摄到的图像和记录下的声音来创建生动图 片文件。相应地，当用户再现所创建的生动图片文件时，用户不但可以看到食物图像，还可 以听到场景所产生的声音，从而接收到更生动的信息。另外，如上所述，还可包括网页(诸如 另外包括相关信息的博客）的URL地址信息作为生动图片文件的元数据。
[0149] 同时，如图22中所示，拍摄到的图像数据具有例如具有"3264X2248"像素的 3. 51MB的大小，且作为再现7秒钟的数据，记录下的音频数据具有0. 052MB的大小。另外， 作为附加数据而添加的与URL地址相应的文本数据具有0. 0001MB的大小。因此，当以如图 1至图3所示的形式来创建生动图片文件时，会创建3. 56MB的文件。
[0150] 与之相反，当相应的图像被记录为动态图像时，即使仅记录7秒钟的动态图像，文 件的大小也变得更大且图像的分辨率下降。另外，当图像的分辨率变得更高时，动态图像文 件的大小急剧增加，使得文件的存储、传输和管理与生动图片文件相比变得更加困难。
[0151] 图23至图26示出使用根据本公开的实施例的生动图片文件的示例。也就是说， 如图23至图26中所示，当根据本公开的实施例拍摄图片时，可生动地传递周围的环境，并 且可将语音备忘录或文书备忘录添加到拍摄到的图片。例如，当在棒球场中创建生动图片 文件时，棒球场的比赛图像和棒球场的叫喊声可被创建为一个文件。在另一示例中，当拍摄 雨天的景色时，相应的拍摄到的图像和雨声可被创建为一个文件。
[0152] 另外，当本公开被应用于教育数据时，包含教育内容的图像可与文书内容、教育备 忘录和/或语音解说一起被存储在一个文件中。当本公开被应用于音乐专辑时，产生的用 于音乐专辑宣传的封套图像可与可事先听到预确定的区段的用于试听的声音资源一起被 提供为生动图片文件。
[0153] 参照图23,在公司制作生动图片文件的情况下，可从公司宣传数据图像解码公司 广告音频数据和链接到公司网站的超链接信息，并将所述公司广告音频数据和超链接信息 制作为一个生动图片文件。相应地，公司可分发生动图片文件，用户可再现分发的生动图片 文件。因此，用户可在识别公司的宣传数据的同时通过音频数据听到关于公司的解说，并直 接访问公司的网站。
[0154] 参照图24,在广播站制作生动图片文件的情况下，从广播(例如，肥皂剧或电影）的 宣传数据图像解码广播广告数据和链接到广播站网站的超链接信息，并将所述广播广告数 据和超链接信息产生为生动图片文件。相应地，广播站分发生动图片文件，用户再现分发的 生动图片文件。因此，用户可在识别相应的广播的宣传数据的同时通过音频数据听到关于 广播的解说，并直接访问广播的网站。
[0155] 参照图25,在个人(诸如歌手或唱片制作人）制作生动图片文件的情况下，可从特 定音乐专辑数据图像(例如，专辑封套图像）解码相应的专辑的试听声音资源数据和链接到 声音资源销售网站的超链接信息，并将所述试听声音资源数据和超链接信息产生为生动图 片文件，其中，用户可从声音资源销售网站购买相应的专辑。相应地，当生动图片文件被分 发时，用户可再现分发的生动图片文件，因而可试听相应的专辑并可直接访问用户可购买 相应的专辑的网站。
[0156] 参照图26,在个人(诸如教授或私人教师）制作生动图片文件的情况下，可从教材 图像(例如，英语学习图像）解码包括相应的讲课内容和链接到相应的讲课网站的超链接信 息的音频数据，并将所述讲课内容和超链接信息产生为生动图片文件。相应地，当生动图片 文件被分发时，用户（其可以是学习者）再现分发的生动图片文件，因而可通过经由音频数 据同时识别相应的学习内容和图像显著提高教育效果，并且学习者可直接访问学习者可听 到相应的讲课内容的讲课网站。
[0157] 如上所述，通过根据本公开的实施例创建的生动图片文件，可以以与动态图像相 比较小的大小(诸如，较小的数据大小、较小的传输大小、较小的带宽大小等）传递具有真实 性的生动信息，还可将与图像信息相关的各种附加服务提供为一个文件，所述一个文件是 生动图片文件。
[0158] 如上所述，虽然已经通过元件、实施例、附图描述了本公开，但是所述元件、实施 例、附图仅被提供为帮助对本公开的全面理解，且本公开不限于上述元件、实施例和附图。 对本公开所属领域的技术人员而言明显的是：可对如上所述的描述做出各种改变和修改。
[0159] 虽然已经参照本公开的各种实施例示出并描述了本公开，本领域技术人员将理解 的是：在不脱离由权利要求及其等同物所限定的本公开的精神和范围的情况下，可对本公 开做出细节和形式上的各种改变。
【权利要求】
1. 一种用于创建生动图片文件的设备，所述设备包括： 音频编辑器，被配置为对具有预定时长的音频数据进行编辑，以便创建编辑后的音频 数据； 编码器，被配置为对图像数据和由音频编辑器进行编辑的音频数据进行编码，以便创 建生动图片文件， 其中，生动图片文件包括下列项中的至少一个：包括图像数据的图像数据区、包括与包 括音频数据的附加数据相关的信息的附加数据头区以及包括编辑后的音频数据的音频数 据区。
2. 如权利要求1所述的设备，还包括：音频加密单元，被配置为对编辑后的音频数据进 行加密， 其中，音频数据区包括由音频加密单元进行加密的音频数据。
3. 如权利要求1所述的设备，其中，生动图片文件还包括：包括与图像数据相关的信息 的元数据区。
4. 如权利要求3所述的设备，其中，与图像数据相关的信息对应于与图像数据相关的 位置信息。
5. 如权利要求3所述的设备，其中，元数据区还包括与音频数据相关的信息。
6. 如权利要求3所述的设备，其中，元数据区还包括：指示与特定网页相应的地址的超 链接数据。
7. 如权利要求1所述的设备，其中，生动图片文件还包括：包括由用户输入的数据的用 户输入区。
8. 如权利要求1所述的设备，其中，音频编辑器还被配置为选择全部音频数据的区段， 以便创建编辑后的音频数据，其中，全部音频数据的区段包括全部音频数据之中满足预设 标准的数据的区段。
9. 一种创建生动图片文件的方法，所述方法包括： 对具有预定时长的音频数据进行编辑，以便创建编辑后的音频数据； 对图像数据和编辑后的音频数据进行编码，以便创建生动图片文件， 其中，生动图片文件包括下列项中的至少一个：包括图像数据的图像数据区、包括与包 括音频数据的附加数据相关的信息的附加数据头区以及包括编辑后的音频数据的音频数 据区。
10. 如权利要求9所述的方法，还包括：对编辑后的音频数据进行加密， 其中，音频数据区包括由音频加密单元进行加密的音频数据。
11. 如权利要求9所述的方法，其中，生动图片文件还包括：包括与图像数据相关的信 息的元数据区。
12. 如权利要求11所述的方法，其中，与图像数据相关的信息对应于与图像数据相关 的位置信息。
13. 如权利要求11所述的方法，其中，元数据区还包括与音频数据相关的信息。
14. 如权利要求11所述的方法，其中，元数据区还包括：指示与特定网页相应的地址的 超链接数据。
15. 如权利要求9所述的方法，其中，生动图片文件还包括：包括由用户输入的数据的 用户输入区。
【文档编号】G11B27/02GK104065908SQ201410108124
【公开日】2014年9月24日 申请日期:2014年3月21日 优先权日:2013年3月21日
【发明者】金徒显, 李东昌, 黄星泽, 李东爀 申请人:三星电子株式会社