专利名称：用于生成要被显示而同时伴随有音频的多个图像的序列的方法和设备的制作方法
技术领域：
本发明涉及用于生成多个图像的序列的方法和设备。具体地，本发明涉及用于生成要被显示而同时伴随有音频项目的多个图像的序列的方法和设备。
背景技术：
存储设备的价格最近几年来大幅度地下降。其结果是，用户拥有数以千计的图像 (照片)的收集，浏览和观看它们是很单调乏味且很困难的。这导致对呈现这样的图像的新的和不同方式的不断增长的需求。与朋友和家人分享值得纪念的时刻已经从更传统的影集和相框转移到数字媒体， 诸如个人计算机、电视机和数码相框，它们带来了它们自身的困难。人们往往会拍摄相同物体的许多相似的图片，这样，他们可以确保总有一张具有适当的照明、色彩和构图。然而，由于存储设备的低廉价格，他们似乎很少删除冗余的照片。这样，以前的、与其他人分享记忆的愉快活动现在变成静静地观看无休止的单调的幻灯片放映。所以，已经有对供给组合音乐和照片的更动人呈现的不断增长的需求，以允许消费者再次享受单独地或与家人和朋友一起观看照片的体验。已经开发了许多系统来组合音乐和图像呈现。具体地，按照音乐的节拍改变图像， 就像例如由US20070101355所公开的那样。然而，这种系统不一定提供在视觉上令人愉悦的显示。
发明内容
本发明寻求提供在视觉上更令人愉悦的图像的显示。按照第一方面，这是通过生成要被显示而同时伴随有音频项目的多个图像的序列的方法而达到的，该方法包括以下步骤提取音频项目的至少一个特征；提取多个图像的每个图像的至少一个特征；以及根据所提取的、该音频项目的至少一个特征并且根据所提取的、该图像的至少一个特征确定下一个图像，以便生成要被显示而同时伴随有音频项目的所述多个图像的被选择图像的序列。在第二方面，这也是通过用于生成要被显示而同时伴随有音频项目的多个图像的序列的设备而达到的，该设备包括第一提取器，用于提取音频项目的至少一个特征；第二提取器，用于提取多个图像的每个图像的至少一个特征；处理器，用于根据所提取的、该音频项目的至少一个特征并且根据所提取的、该图像的至少一个特征来确定下一个图像，以便生成要被显示而同时伴随有音频项目的该多个图像的被选择图像的序列。这样，考虑音频的特性和每个图像的内容来生成要被显示而同时伴随有音频项目的图像的序列，从而提供更令人愉悦的观看体验。而且，该多个图像(304_1到304_n，306_l,306_n)的所选择组的序列的每个图像的显示持续时间可以根据所提取的、该音频的至少一个特征而被确定。
在一个实施例中，可以按照音乐的节奏(pace)创建幻灯片放映。照片观看时间和/或下一个显示哪张照片的选择是根据音乐节奏的数值测度和在照片和/或照片组之间的距离或相似性的数值表示的组合而被实行的。例如，在快节奏音乐的情形下，图像可被选择为相互非常不同，而如果音乐是慢的，则图像可被选择为相似的。结果，非常相似的图像被聚集成组以呈现图像的更平滑过渡，这些图像也可以被显示得更长，以便遵从 (compliment)慢节奏的音乐，且进一步地，以更快节奏的音乐来呈现不相似的图像的序列。 因此，创建了图像的自然的观看流，其遵循音乐节律。
为了更全面地理解本发明，结合附图来参考以下的说明，其中 图1是按照本发明的实施例的设备的简化示意图2是按照本发明的实施例的方法的流程图；以及图3图示了由本发明的实施例创建的图像的呈现的例子。
具体实施例方式参照图1到3，将描述本发明的实施例。在图1上显示本发明的实施例的设备。该设备包括第一存储设备101，用于存储音频项目库。这可以是个人计算机或PDA的本地存储设备或⑶ROM、存储卡、快闪存储器、或通过互联网访问的远端存储装置。该设备还包括第二存储设备103，用于存储数字图像(照片)库。这可以是个人计算机、数码相机、移动电话或类似设备的本地存储设备、CD ROM、存储卡、快闪存储器、或通过互联网访问的远端存储装置。第一和第二存储设备101、103可以被集成在一起。第一存储设备101被连接到第一提取器105。第二存储设备103被连接到第二提取器107。第一和第二提取器105、107的输出被连接到处理器109的相应的输入。处理器的输出被连接到显示器111，诸如计算机监视器、手持设备的显示器、投影仪屏幕、电视机、 数码相框等等。第一存储设备101被连接到扬声器113。现在将参照图2和3描述图1的设备的运行。在步骤201，从第二存储设备103检索多个301图像302_1到302_n。这可以由用户选择为例如在特定事件中拍摄的图像的收集，或者可以是用户在他们的收集中所拥有的全部图像。在步骤207，从第一存储设备101 检索音频项目。这可以由用户进行选择，或被随机地选择。音频项目可包括单个音乐曲目 (music track)或多个音乐曲目的播放列表。在步骤209，第一提取器105从所检索的音频项目中提取至少一个特征，举例而言，诸如拍子(每分钟的节拍数目)、节律(节拍结构)、节律改变或旋律，以便确定音频项目的节奏。在步骤203，第二提取器107从所检索的图像中提取至少一个特征，诸如色彩、纹理、捕获时间、捕获日期、捕获地点、存在和使用已知面部识别技术的面部的识别。在步骤 205，计算在每个图像之间的距离测度。这个距离测度是相似性的测度，且它反映图像有多相似或相关，以及它可以是基于所提取的特征之一或特征的组合。然后，在步骤211，根据所提取的音频项目和图像的特征，选择多个图像(304_1到304_n，306_l到306_n)的组(303，305)。这当然可以导致选择所有的图像。在步骤213、215，在所检索的图像的序列的显示期间，例如，在幻灯片放映期间 (或当离线地准备幻灯片放映时)，对于每个图像，由处理器109确定每个图像的显示的持续时间和在该序列中下一个要显示哪个图像。每个图像的显示持续时间被确定为该图像在屏幕上被显示的时间量，且对于快节奏的音频项目较短，而对于慢节奏的音频项目较长。为了确定序列内要显示的下一个图像，对于快节奏音乐，例如，所提取的节奏高于阈值，选择非常不同的(不相似的——例如，在大距离内的)图像306_1到306_n，正如举例而言在图3的组305中所显示的。在慢节奏音乐的情形下，例如，所提取的节奏低于阈值， 则选择相似的——例如在小距离内的——图像304_1到304_n，正如在图3的组303中所显示的。所以，当伴随有音频时，在汇编要被显示的图像的序列时，考虑了图像内容和音频内容。结果，得到了遵循自然的音乐流的、动态的快节奏音乐照片呈现或平滑的慢节奏音乐照片呈现。除了基本系统以外，在幻灯片放映内可以使用不同的过渡。例如，当音乐是快节奏时，可以使用在两个照片之间的突然的过渡。如果音乐是慢节奏的，则可以代之以使用在照片之间的慢的渐隐。另一个实施例可包括预定义的情绪组(例如，快乐的、轻松的、情绪激动的、喜庆的等等)，其中音乐和图像都试图传达某种情绪。例如，古典音乐和风景图片可以处于轻松的组中，而爵士乐和带有许多面孔的图片可以处于情绪激动的组中。虽然本发明的实施例已在附图中图示并在以上的详细说明中描述，但应理解，本发明不限于所公开的实施例，而是能够有许多的修改，而不背离如在以下的权利要求中阐述的本发明的范围。正如本领域技术人员将明白的，‘装置’是打算包括任何硬件(诸如分开的或集成的电路或电子元件)或软件(诸如程序或程序的组成部分)，它们在运行时再现或被设计成再现规定的功能，不管其是单独地或是与其它功能相结合地，不管其是孤立地或是与其它单元合作地。本发明可以借助于包括几个不同的单元的硬件，以及借助于适当地编程的计算机而被实施。在列举几个装置的设备权利要求中，这些装置中的几个装置可以由同一个硬件项目来体现。‘计算机程序产品’要被理解为是指任何软件产品，它们是被存储在诸如软盘那样的计算机可读介质上的、是经由诸如互联网那样的网络可下载的、或是以任何其它方式在市场上可购买的。
权利要求
1.一种生成要被显示而同时伴随有音频项目的多个图像(304_1到304_n，306_1到 306_n)的序列(303，305)的方法，该方法包括以下步骤提取(209)音频项目的至少一个特征；提取(203)多个图像(302_1到302_n)的每个图像的至少一个特征；以及根据所述提取的、所述音频项目的至少一个特征并且根据所述提取的、所述图像 (302_1到302_n)的至少一个特征，确定015)下一个图像，以便生成要被显示而同时伴随有所述音频项目的所述多个图像(304_1到304_n，306_1到306_n)的被选择图像的序列 (303，305)。
2.按照权利要求1的方法，其中该方法还包括以下步骤根据所述提取的、所述音频项目的至少一个特征，确定(213)所述多个图像(304_1到304_n，306_1到306_n)的所述被选择图像的所述序列(303，305)的每个图像(304_1到304_n，306_1到306_n)的显示的持续时间。
3.按照权利要求2的方法，其中所述多个图像的所述被选择图像的所述序列 (303，305)的每个图像(304_1到304_n，306_1到306_n)的显示的持续时间对应于所述音频项目的提取的节奏。
4.按照权利要求1的方法，其中提取(209)音频项目的至少一个特征的步骤包括以下步骤提取所述音频项目的节奏。
5.按照权利要求4的方法，其中确定(21 下一个图像的步骤包括以下步骤根据所述提取的、所述音频项目的节奏并且根据在所述提取的、所述图像(304_1到 304_n, 306_1到306_n)的所述被选择图像的至少一个特征之间的相似度，确定下一个图像。
6.按照权利要求4的方法，其中该方法还包括比较Q05)所述提取的、多个图像(304_1到304_n，306_1到306_n)的每个图像的至少一个特征，以便确定在所述图像 (304_1到304_n，306_1到306_n)的每个图像之间的相似性。
7.按照权利要求6的方法，其中比较Q05)所述提取的、多个图像的每个图像的至少一个特征的步骤包括以下步骤测量在所述提取的、所述多个图像(304_1到304_n，306_1到306_n)的每个图像的至少一个特征之间的距离。
8.一种计算机程序产品，其包括用于实行按照前述权利要求的任一项的方法的多个程序代码部分。
9.用于生成要被显示而同时伴随有音频项目的多个图像(304_1到304_n，306_1到 306_n)的序列(303, 305)的设备，该设备包括第一提取器(105)，用于提取(209)音频项目的至少一个特征；第二提取器(107)，用于提取Q03)多个图像(302_1到302_n)的每个图像的至少一个特征；处理器(109)，用于根据所述提取的、所述音频项目的至少一个特征并且根据所述提取的、所述图像的至少一个特征，确定015)下一个图像，以便生成要被显示而同时伴随有所述音频项目的所述多个图像(304_1到304_n，306_1到306_n)的被选择图像的序列(303，305)。
10.按照权利要求9的设备，其中所述处理器(109)根据所述提取的、所述音频项目的至少一个特征，确定所述多个图像(304_1到304_n，306_1到306_n)的所述被选择图像的所述序列(303，305)的每个图像(304_1到304_n, 306_1到306_n)的显示的持续时间。
全文摘要
要被显示为幻灯片放映而同时伴随有音频项目的多个图像的序列通过以下步骤被生成提取(209)音频项目的至少一个特征，诸如节奏；提取(203)多个图像的每个图像的至少一个特征；以及根据所提取的、音频项目的至少一个特征并且根据所提取的、图像的至少一个特征确定(215)下一个图像，以便生成要被显示而同时伴随有音频项目的所述多个图像的被选择图像的序列。
文档编号H04N1/00GK102177703SQ200980139653
公开日2011年9月7日 申请日期2009年9月28日 优先权日2008年10月7日
发明者M·A·彼得斯, P·方塞卡, T·K·特索尼瓦 申请人:皇家飞利浦电子股份有限公司