用于产生照片的声音序列的方法以及用于产生并且再现该声音序列的装置的制作方法

专利名称：用于产生照片的声音序列的方法以及用于产生并且再现该声音序列的装置的制作方法
技术领域：
本发明涉及一种用于从分别拍摄的固定图像中创建照片的声音序列的方法，并且涉及一种用于实现该方法的设备。
背景技术：
在数字摄像机中，将物镜前的图像投影到CCD或CMOS传感器上。然后将该图像转换为数字数据并且记录在存储器中。最后该存储器可以并入设备中或者可以是可拆卸的，然后其以插件载体的形式出现。依靠数字技术，用户拍摄照片并且之后立刻在一般位于设备背面的小屏幕上看到该照片，该屏幕典型地是LCD或者OLED屏幕。使用该屏幕，用户可以验证刚刚拍摄的照片的质量，决定在存储器中保存还是删除它，并且可以查看旧照片，在存储器中记录该旧照片的数据。在一些设备中，CCD或CMOS传感器足够快速地执行对短持续时间的视频序列的获取。这些设备还具有麦克风以捕获在视频序列的记录期间的声音环境。在视频序列的再现期间，位于设备内部的扬声器实现了与图像同时记录的声音的再现。
但是由于摄像机中运行中图像处理的能力不允许获得高清晰度视频序列，因此这些视频序列一般具有较差的质量。 一般地，在数字摄像机中实现的视频序列的图像具有几万像素的清晰度。
一个解决方案是将处理传送至另一设备以产生视听序列。由实现与计算机或任何其它电子设备(如，电视、打印机、视频投影仪等)的链接的连接器来实现数据的传送。将与照片相对应的数字数据并入可以被传送至计算机的文件中。 一旦在存储器中记录了照片数据或将照片数据下载至计算机，软件应用能够将一个或更多照片与声音序列相关联，并且从而创建动画的视听序列。为此，用户手动地将照片与声音序列相关联。例如，用户口述解说词然后将其与该序列相关联。当显示照片时，也再现该声音序列。这样，使用用户选择的声音内容来补充照片的显示。专用编辑程序实现这样的视听内容的创建。根据
标准格式照片从边缘适合(meet)的照片序列中来产生全景图像的软件应用也是公知的。这些程序通过对每张照片应用变形使得它们的边缘完美相适应来将这些照片汇集在一起。从而获得覆盖角度高达360°的图像。这些图像可以形成水平或球型全景。
由FLASHPOINT提交的文献WO 98/15/15119描述了一种将照片下载至计算机的摄像机。该计算机显示由缩略图构成的菜单，预期选择该缩略图以在宽屏幕上显示相应图像。用户将声音与照片图像相关联。在覆盖多张照片的拍摄的时间段期间记录声音序列。在声音序列的再现期间，索引表能够在其间拍摄每张照片的声音序列时刻显示每张照片。
KODAK提交的文献WO2007/ 038198描述了一种具有用于记录
声音序列的装置的摄像机。该设备具有一种操作模式如图4所示的"缝合全景捕获模式"，能够将多个照片进行汇集。并且在再现期间，针对每张照片获得声音序列。当用户滑动全景图像的片段至屏幕时，再现该声音序列，该片段包含与再现的序列相关联的图像。 一种变型包括，在屏幕上完整地显示汇集的图像，并且图像上的索引的位置指示了选择哪个声音序列。

发明内容
本发明实现了来自在单一声音序列期间拍摄的多张照片的另一类型的动画，并且在再现时没有用户的干预。
本发明的目的是一种用于再现全景声音图像的方法，包括以下步
骤
-摄像机记录声音序列，如环境声音，
-记录多张照片镜头，以及记录所述照片，每张照片与其间获得该照片的声音序列的时刻相关联。
其特征在于，该方法包括以下步骤
5-通过将多张照片汇集起来并且通过将所述全景声音图像与所记录的声音序列相关联来创建被称作"全景声音"的单一图像的步骤，
-再现全景声音图像，包括再现所记录的声音序列并且显示如此创建的全景图像的一部分，该全景图像部分与在获得该照片时的声音序列的时刻显示的照片相对应。
从而，拍摄的照片与用作再现期间的时间戳的声音序列相关联。
在与拍摄照片时所述序列的相同时刻的声音序列的再现期间显示拍摄
的照片，或者在记录该序列的时刻，或者在初始再现的时刻。这样，
以高度真实感的方式来再现照片的声音序列。通过将多张照片汇集起
来以在这些照片之间产生图形连续性来创建被称作"全景"的单一图
像。该再现包括显示如此创建的全景图像的一部分，该全景图像的一部分与在声音序列的再现步骤期间由表关联的时刻显示的照片相对
应。这样，删除对于若干照片公共的部分，并且视觉数据在照片的声音序列中占据更少的空间。根据另一改进，在再现期间，全景图像的所显示部分以连续移动的方式进行移动，连续显示每张照片的该部分的移动速度依赖于在拍摄两个连续照片之间经过的时间以及全景图像中汇集的两张照片分隔的距离。这样，能够创建动画，该动画显示在全景图像中运动的可视窗口，该显示与声音序列同步。
根据另一改进，记录步骤在引入第一个拍摄照片的命令处开始，该第一照片与声音序列的开始相关联。这样，从声音序列的再现的开始来显示图像。根据另一个改进，记录步骤在没有拍摄任何照片的确定时间段的结束处终止。这样，用户不再负责引入停止声音序列的命令，而由摄像机自动负责。
根据另一改进，摄像机预记录声音序列并且在拍摄照片的时刻再现它。表将每张照片与其间拍摄该照片的声音序列的再现的时刻相关联。这样，能够将除了环境声音之外的声音与照片的声音序列相关联。根据另一改进，摄像机与拍摄照片无关地记录声音序列，并且在拍摄镜头的时刻再现记录的序列。这样，能够在比拍摄照片时更有利的时刻来记录环境声音。根据另一改进，摄像机显示代表了正在再现的声音序列的时间符号，由索引来代表当前时刻。这样，用户可以看到在
6记录的声音序列的再现中他位于哪个时刻。
本发明的目的还是一种摄像机，包括用于引入拍摄照片命令的 装置，以及用于记录声音序列(如环境声音)的装置，其特征在于该 摄像机包括用于创建将多张照片汇集起来的被称作"全景声音"的 单一图像并且将所述全景声音图像与记录的声音序列相关联的装置， 以及用于产生将多张照片中的每张照片与其间拍摄该照片的声音序列 的时刻相关联的表的装置，该表能够在声音序列的再现期间，在由表 关联的时刻显示每张照片。
本发明的另一目的是一种再现设备，包括用于显示图像的装置； 用于再现声音的装置；以及用于记录被称作"全景声音"的图像的装 置，该"全景声音"图像由声音序列和通过将多张照片汇集起来而创 建的图像构成，其特征在于，用于记录的装置包含将全景声音图像的
每张照片与其间拍摄该照片的所记录的声音序列的时刻相关联的表； 显示装置，显示所记录的全景图像的一部分；以及用于再现声音的装 置，再现声音序列，使得在获得该照片的声音序列的时刻显示与照片 相对应的全景声音图像的一部分。


通过参照附图，根据在下面的描述的范围中的作为示例给出的实 施例的更多细节，本发明的其它特征和优点将显而易见，其中
图l.a和l.b示出了用于实现本发明的实施例的摄像机的前视图和
后视图，
图2示出了将最终能够产生照片的声音序列的操作的时序图， 图3示出了照片和在声音序列其间拍摄照片的时刻之间的对应表 的示例，
图4示出了用于实现本发明的方法而执行的主要步骤的流程图的 示例，
图5示出了根据本发明实施例的摄像机的屏幕外观， 图6示出了从多张照片产生全景图像。
具体实施例方式
根据优选实施例，如图l.a和l.b所示，由数字摄像机来实现本发 明。外型上，数字摄像机1包括物镜2、 LCD或0LED技术的屏幕3、可 拆卸的存储器模块4、以及用于设置和拍摄的按钮。按钮能够将摄像机 l设置为"拍摄"模式，其中屏幕3对CCD传感器检测到的图像进行可 视化，或者在所记录内容的再现的模式中，在屏幕3上显示在存储器模 块4中记录的图像。根据一些模型，经由在屏幕上显示的图标， 一些命 令是可获得的。对图标进行高亮显示，并且通过按动"OK"键可以执 行关联的功能。摄像机l具有多种拍摄模式，包括能够记录照片的声音 序列，被称作"照片的声音序列"或者简写形式的SSP。使用位于摄 像机前面的麦克风6来实现对声音环境的记录。摄像机l还具有位于侧 面的扬声器7。当用户将其摄像机转至视听内容再现时，使用扬声器7 来再现声音序列。
可选地，摄像机包括能够将视觉和声音内容传输至便携式计算机 的连接器8。例如，经由USB类型的链接来实现该通信。将照片记录在 被传送至计算机的文件中。从而用户可以在大屏幕上看到他的照片并 且经由连接至计算机的扬声器来收听声音内容。
在详细描述了用于实现本发明的设备的示例的主要组件之后，将 解释这些组件如何协作。
图2示出了能够产生照片的声音序列操作的时序图。在时刻T0， 发起声音序列，所有后续时刻使用TO作为开始点。在时刻T1，用户拍 摄第一张照片。在如图所示的示例中，用户在时刻T2、 T3、 T4以及T5 拍摄四张其它照片。在时刻T6，声音序列结束。
图3示出了在照片标识符和拍摄照片的时刻之间的对应关系的表 的示例。标识符"照片l"至"照片5"典型地是指向存储器中特定区 域的索引，在存储器中记录图像数据。如前所指定的，时刻"T1"至 "T5"采用声音序列的开始作为参考。
图4的流程图描述了用于实现根据本发明实施例的方法的主要步 骤的流程。在步骤4.1，用户通过使用用于选择的键5或可能的菜单和 图标来设置其摄像机的参数处于SSP模式下。然后摄像机l开始记录声音序列(步骤4.2)。将麦克风6捕获到的音频信号进行数字化并且记录 在存储器中。 一种变型包括，当用户拍摄序列的第一张照片时对该序 列的记录开始。这样，在再现期间，照片从第一时刻开始出现。在记 录期间，用户通过按动快门按钮来触发照片的拍摄(步骤4.3)。在对 快门按钮的每一次按动的时刻，摄像机l记录镜头拍摄的时刻作为所记 录的声音序列的参考。
在步骤4.4，摄像机结束声音序列的记录。通过按动特定键或者简 单地通过退出SSP模式来实现声音序列的记录的结束。根据改进，声 音序列的结束在没有拍摄照片的时间段之后。可以使用菜单来对该时 间段进行编程。该时间段必须大于两张照片之间的最长时间间隔。扬 声器7发射的声音信号提示用户S.SJP获得的结束。然后在步骤4.5，摄
像机l产生将每张照片与拍摄该照片时声音序列的时刻相关联的关联 表。从而将指定照片的时间戳放在声音序列上。在步骤4.6，摄像机l
将关联表中的声音序列的多张照片的数据汇集起来以产生照片的声音 序列。将构成S.S.P的数据以数字格式记录在可以容易传送的文件形式中。
可以在配备有显示单元和至少一个扬声器的设备中再现包含照 片的声音序列在内的文件。有利地，摄像机l具有对存储器中记录的内 容的再现模式。如果用户请求再现S.S.P.，则摄像机在扬声器7上再现 声音序列同时在屏幕3上显示通过表与时刻相关联的每张照片。任何其 它设备(如计算机或配置有硬盘的解码器)可以实现S.S.P的再现。
假定在摄像机l上再现照片的声音序列，在步骤4.7，摄像机在扬 声器7上再现声音序列并且发起时钟。连续地分析声音序列的关联表， 并且一旦时钟值变为等于关联表中记录的时刻的时钟值，则关联照片 的数据用于在屏幕3上显示图像(步骤4.7)。有利地，按照拍摄照片的 严格顺序来再现照片。照片保持出现在屏幕上，直到其被下张照片擦 除。当扬声器7不再发射声音时，用户知道S.S.P.的再现已经结束。根 据改进，用户可以通过按动键"一"或者"一"来在S.S.P.中向前或者 向后，并且通过按动键"暂停"来短暂停止再现。当停止再现时，用 户可以通过按动按钮"擦除"来删除显示的照片，擦除命令删除表中的关联。
根据图5所示的改进，屏幕通过指示拍摄声音序列的每张照片的 时刻来显示序列的时间符号。典型地，描绘一条水平线，其长度代表
声音序列的总持续时间。在拍摄照片的时刻TO至Ti处在该线上放置标 记(图5上的带环的交叉号)。不同的标记代表当前时刻，该标记在声
音序列的整个再现中移动。这样，用户容易地看到序列的不同照片将
出现的时刻。 一种改进包括，在屏幕窗口上显示与当前再现的S.S.P.
相关的一般信息，比如
-声音序列的总持续时间，分钟和秒， -当前时刻的值，分钟和秒， -序列中包含的照片的总数， -获得声音序列的时间和日期。
在图5所示的屏幕上，窗口指示了 "2，30" - Tc = 1'10" 30:05:2007-18:45:10"，其分别是声音序列的总时间长度、当前时刻、 以及声音序列记录的开始的日期和时间。
现在假定用户小心地拍摄照片同时保留一张照片及其后续照片 之间公共的部分。为此，其需要自身置于某处并且拍摄照片，同时在 相同地点旋转达到实现照片之间的重叠的最大角度。另一种方式是在 沿着直线运动的车辆中。然后能够通过按照拍摄的顺序将照片逐一地 将这些照片汇集起来，并且通过将图像与声音序列相关联以产生全景 声音图像。
在拍摄要汇集的前两张照片时，重要的是确定第二张照片是位于 第一张的左侧还是右侧。通过分析左侧和右侧来实现该确定，以便确 定公共元素。该确定实现要设置的汇集的方向将照片添加到全景图
像的左侧还是右侧。以下列方式来实现该汇集。照片l作为参考图像。
第一步骤包括，估计应用于照片2的公共区域的变形，使得其完美地重 叠在照片1上。为此，可以使用基于感兴趣的点的方法，该方法包括， 提取照片1和照片2中的奇异点，然后提供这两张照片之间的这些点的 对应。根据对应中提供的该点集合，产生全景图像的设备计算公共区 域的变形模型。然后该模型用于在照片1上重叠照片2。针对每张照片
10200880021663.4
说明书第8/10页
重复该过程以便在全景图像中汇集这些照片。在该过程的结束处，获 得单一全景图像，该单一全景图是图像集合上照片的汇集。
该全景图像在该数据中保留照片的分块。该数据定义来自每一张 照片的全景图像的一部分。根据全景图像中的每张照片的区域和在声 音序列的再现期间听到的与该照片相关联的声音的时刻来之间的对应 来定位图像分区。对于对两张照片公共的区域来说，任意定义该区域 的一半属于一张照片，并且另一半属于另一张照片。因此将这些部分 中的每一个与标识拍摄镜头的时刻的时间戳相关联。在再现照片的声 音序列时，显示全景图像的一部分。该显示的部分将从全景图像的一 端连续移动到另一端。声音序列的再现与全景图像中显示的部分的移 动同步。以下述方式来执行全景图像的显示部分的移动当声音序列 到达时刻Ti时，再现设备显示的图像是与该时刻Ti相对应的图像。
显示部分的移动速度依赖于两张照片之间的时间差。该移动速度 在两张照片之间是恒定的，并且从一张照片到另一张照片时是变化的。
图6示出了以角度差Acc拍摄的两张照片的汇集。对公共部分进行检测， 并且确定摄像机l的旋转方向。产生的全景图像是照片l的特定部分、 公共部分以及照片2的特定部分的汇集。
已知焦距f，可以计算与图像l和2之间的重叠相关联的角度值以及 两个镜头之间的时间
Aa = 2 * sin"(丄) = f 2 — rl
然后由下述等式给出根据虚拟角位移d(X的视频频率fi: 力=*
在该阶段存在向用户提供的两种可能的显示选项 固定马赛克采样(d(X是恒定的)=> 可变视频频率fi 固定视频频率(fi是恒定的)=> 可变马赛克采样da 在第一种情况中，为了避免连续照片之间的伪像现象，用户可以 决定全景图像的两个连续照片之间的步长是例如非常低的。然后为了满足da的恒定值，使用前述等式来计算视频频率。
在第二种情况中，用户可以决定视频频率是恒定的(例如每秒25 幅图像)。然后使用下述等式来计算da-
然后依然根据保留的实施例来从固定的da或者计算的da来产生 虚拟图像。
一旦己经产生这些图像，以固定的或者计算的视频频率来显示这 些图像并且与以真实速度再现的声音序列同步。
这样，在执行旋转或连续平移的同时屏幕显示真正的动画序列， 好像用户拍摄了全景。再现设备控制经由音轨的滚动来滚动全景图像 的一部分。然后速度将从一张照片到另一张照片变化，对于观看添加 了多样性和真实的吸引力。摄像机能够拍摄视频序列，然而其清晰度 在10和少于100倍之间。在产生良好清晰度的照片的汇集中，如此再现 的全景序列保留相同的清晰度，并且因此保留相同的质量。
变型实施例包括使用预记录的声音序列，而不是由麦克风6捕获 的环境声音。为此，摄像机连接至配备有包含声音序列的存储器的设 备(典型地，MP3播放器或计算机)上。经由位于摄像机l的侧面的连 接器的USB端口来实现对声音序列的下载。当用户将其摄像机置于 SSP模式时，屏幕提供一系列声音序列，同时在屏幕3上显示标识符。 用户选择将用作与拍摄照片同步的再现的序列。通过第一次按动快门 按钮，使用扬声器7来产生被称作所选声音序列的初始再现的再现。有 利地，屏幕3显示CCD传感器前面的当前图像，并且重叠地显示代表 所选声音序列的时间符号以及代表当前时刻的标记。这样，用户立刻 看到在所选声音序列结束之前还剩下多少时间。
用户可以听到声音序列的初始再现并且在恰当的时刻，通过按动 快门按钮来拍摄照片。然后摄像机记录照片数据以及其间拍摄照片的 初始再现的时刻。 一种改进包括，用户使用麦克风6预记录声音序列以 及环境声音，将在能够拍摄照片的稍后时间再现该选择，同时对它们 进行同步。这样，用户可以在有利时刻记录背景声音。例如用户记录
12在荒芜的海滩上的波浪声音的序列，然后用户在海滩上充满人并且出 现的人的语音覆盖了波浪的声音时拍摄照片。
尽管参照具体示意的实施例描述了本发明，但所述发明不以任何 形式受限于这些实施例，而是仅由所附权利要求来限制。注意到能够 显示图像并且再现声音的任何再现设备可以应用于对照片的声音序列
的复原(restitution)。
权利要求
1、一种用于再现全景声音图像的方法，包括以下步骤-摄像机记录(4.2)诸如环境声音等的声音序列，-记录(4.3)多张照片镜头，以及记录所述照片，每张照片与其间获得该照片的声音序列的时刻相关联，其特征在于，所述方法包括以下步骤-通过将多张照片汇集起来并且通过将所述全景声音图像与所记录的声音序列相关联来创建被称作“全景声音”的单一图像，-再现全景声音图像，包括再现所记录的声音序列并且显示如此创建的全景图像的一部分，在获得照片时的声音序列的时刻显示与照片相对应的全景图像部分。
2、 根据权利要求l所述的用于再现全景声音图像的方法，其特征 在于，在再现步骤(4.7)期间，全景图像的显示部分以连续移动的方 式进行移动，连续显示每张照片的图像部分的移动速度依赖于连续拍 摄两张照片之间经过的时间以及全景图像中这些照片间隔的距离。
3、 根据权利要求1或2之一所述的用于再现全景声音图像的方法， 其特征在于，所述记录步骤(4.2)在引入拍摄照片的第一命令时开始， 该第一张照片与声音序列的开始相关联。
4、 根据前述权利要求中任一项所述的用于再现全景声音图像的 方法，其特征在于，在没有拍摄任何照片的确定时间段之后，其间拍 摄照片的所述记录步骤(4.2)结束。
5、 根据权利要求1至3中任一项所述的用于再现全景声音图像的 方法，其特征在于，所述方法包括用于在拍摄照片之前记录声音序 列的步骤，以及用于再现其间拍摄照片的声音序列的步骤，表将每张 照片与声音序列的再现的时刻相关联。
6、 一种摄像机(1)，包括用于引入拍摄照片的命令的装置(5)， 以及用于记录(6)诸如环境声音等的声音序列的记录装置，其特征在于，所述摄像机包括创建装置，用于创建被称作"全景声音"图像的单一图像，所述全景声音图像将多张照片汇集起来，并且将所述全景声音图像与所记录的声音序列相关联；以及产生装置，用于产生将多张照片中的每一张与其间拍摄照片的声音序列的时刻相关联的表，在所述声音序列的所述时刻拍摄的所述照片，在声音序列的再现期间，所述表能够在由所述表关联的时刻显示每张照片。
7、 根据权利要求6所述的摄像机(1)，其特征在于，所述记录装置(6)在引入拍摄照片的第一命令时开始记录声音序列，所述表将该第一张照片与声音序列的开始相关联。
8、 根据权利要求6或7所述的摄像机(1)，其特征在于，所述记录设备(6)在不拍摄任何照片的确定时间段之后结束声音序列的记录。
9、 根据权利要求6至8中任一项所述的摄像机(O，其特征在于，所述记录设备(6)在拍摄照片之前执行声音序列的记录，其中，所述设备包括声音再现装置(7)，用于其间拍摄照片的声音序列，所述表将每张照片与声音序列的再现的时刻相关联。
10、 一种再现设备(1)，包括用于显示图像的装置(3);用于再现声音的装置(7)、以及用于记录被称作"全景声音"的图像的装置，所述"全景声音"图像由声音序列和通过将多张照片汇集起来而创建的图像构成，其特征在于，用于记录的所述装置包含将全景声音图像的每张照片与其间拍摄该照片的所记录的声音序列的时刻相关联的表，所述显示装置(3)显示所记录的全景图像的一部分，并且用于再现声音的所述装置(7)再现声音序列，使得在获得照片的声音序列的时刻显示与照片相对应的全景声音图像的所述部分。
11、 根据权利要求10所述的再现设备(1)，其特征在于，所述图像显示装置(3)再现以连续移动的方式移动所显示的部分的全景声音图像，连续显示每张照片的全景图像的所述部分的移动速度依赖于连续拍摄两张照片之间经过的时间以及全景图像中两张照片间隔的距离。
全文摘要
本发明涉及一种用于创建照片的声音序列的方法。声音序列由摄像机产生并且对于所述设备的用户是可听的。在声音序列的不同时刻，用户拍摄图片并且设备记录拍摄照片的时刻。创建将每张照片与拍摄该照片时的序列的时刻相关联的表。声音序列终止，结束照片序列的拍摄。然后将照片汇集起来以形成单一全景图像，然后通过动画来显示全景图像的一部分。从而创建全景图像，将声音序列和表汇集起来以形成全景声音图像。在声音全景图像的再现期间，在由所述表关联的时刻显示每张照片。本发明还涉及一种能够创建全景声音图像的摄像机，以及一种被设计为再现全景声音图像的设备。
文档编号H04N1/21GK101690154SQ200880021663
公开日2010年3月31日 申请日期2008年6月26日 优先权日2007年6月26日
发明者利昂内尔·瓦瑟, 瓦莱里·阿利, 路易斯·舍瓦利耶 申请人:汤姆森许可贸易公司