专利名称：音频数据和图像数据的捕获、同步和回放的制作方法
技术领域：
本公开涉及音频数据和图像数据的捕获、同步和回放，更具体地，涉及用于音频数据和图像数据的捕获、同步和回放的系统和方法。
背景技术：
目前存在各种各样可用的内容捕获设备，诸如，例如，数字静态照相机、摄像机和录音机。在某些情况下，用户可能希望捕获特定的音频和视频内容，但可能不希望捕获全运动视频内容。例如，在记录讲座、音乐会或采访时，用户可能首要关注的是捕获音频内容，但也可能希望捕获一些对应音频内容的静态图像或简短视频片段。除了在用户主要关注音频内容的情况下用户宁愿不捕获带有音频的全运动视频以外，捕获带有音频的全运动视频也可能导致文件尺寸过大，从而难以存储在用户所使用的内容捕获设备上。
发明内容
根据本公开的示范性实施例，一种捕获设备包括麦克风、照相机、存储器、和处理器。麦克风被配置为记录音频数据。照相机被配置为捕获图像数据。存储器被配置为存储记录的音频数据和捕获的图像数据。处理器被配置为基于图像数据的时间戳将所记录的音频数据与所捕获的图像数据相关联，并将相关联的音频数据和图像数据存储在存储器中的同一记录中。根据本公开的示范性实施例，一种在记录音频数据的同时捕获图像数据的方法包括，记录音频数据，捕获图像数据，基于捕获的图像数据的时间戳将所记录的音频数据与所捕获的图像数据相关联，并将相关联的音频数据和图像数据存储在捕获设备的存储器中的同一记录中。音频数据记录由捕获设备中的麦克风记录。图像数据由捕获设备中的照相机捕获。所记录的音频数据和所捕获的图像数据由在捕获设备中的处理器相关联。根据本公开的示范性实施例，一种显示所捕获的图像数据的计算机实现的方法包括，选择使用时间戳与至少一个所捕获的图像文件相关联的所记录的音频文件，播放与所记录的音频文件对应的音频数据，并在基于时间戳播放音频数据的同时，在预定时间显示所捕获的图像文件。该计算机实现的方法可以由处理器执行。根据本公开的示范性实施例，播放所记录的音频数据的计算机实现的方法包括，选择使用时间戳与对应于所记录的音频数据的音频文件相关联的所捕获的图像文件，以及在对应于该时间戳的起始点播放所记录的音频数据。该计算机实现的方法可以由处理器执行。
通过参考附图详细描述本公开的示范性实施例，本公开的上述和其他特征将变得愈加清楚，其中图I是根据本公开的示范性实施例的捕获设备的框图。
图2显示了根据本公开的示范性实施例的作为单独的文件而存储并在单独记录中相互关联的音频数据和图像数据。图3是示出了根据本公开的示范性实施例的捕获设备的语音/声音检测模式的流程图。图4是示出了根据本公开的示范性实施例的捕获设备的讲座检测模式的流程图。图5是示出了根据本公开的示范性实施例的捕获设备的讨论检测模式的流程图。图6是根据本公开的示范性实施例的捕获设备的噪声水平检测模式的流程图。图7是展示根据本公开的示范性实施例的以同步的方式所记录的音频数据和所捕获的图像数据的时间线。图8是展示根据本公开的示范性实施例的以同步的方式所记录的音频数据和所捕获的图像数据的时间线。
具体实施例方式根据本公开的示范性实施例，一种捕获设备可以记录音频数据并且捕获图像和/或视频片段作为单独的文件，并使用时间戳将音频数据与图像和/或视频片段相关联。选择/渲染图像/视频文件将导致相关音频文件的回放，并且选择/渲染音频文件将导致相关的图像/视频文件的回放。所属领域技术人员会意识到虽然这中描述的示范性实施例探讨了捕获图像数据并将所捕获的图像数据与所记录的音频数据相关联，但是视频数据也可以被捕获和并与所记录的音频数据相关联。如同所属领域技术人员会意识到的，本公开的各方面会可以被实施为系统、方法、计算机程序产品或实施在其上含有计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品。计算机可读程序代码可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是任何有形介质，其可包含或者存储用于使用或与指令执行系统、装置或设备结合的程序。将在下文中通过参考附图更完整地描述本公开的示范性实施例。然而，该公开将以许多不同的形式实施，并且不应被理解为局限于此处所阐述的实施例。根据本公开的一个示范性实施例，一种捕获设备记录多种不同类型的媒体内容，例如音频数据和图像数据。捕获设备可同时记录音频数据和捕获图像数据(例如，静态图像)。一旦被记录和捕获，该音频和图像数据将被存储在捕获设备中用于随后回放。在图I中显示了根据一示范性实施例的捕获设备的框图。捕获设备100可特别包括，数据总线101、中央处理单元(CPU) 102、存储器103、麦克风104、显示器105、各种输入/输出设备106和扬声器107。输入/输出设备106可以包括,例如,物理按钮和/或屏上触摸控制的组合，用于控制捕获设备100的各种功能。捕获设备100可进一步实现语音识别，以识别口头命令并响应口头命令来控制捕获设备100的各种功能。音频和图像数据可以作为单独的文件被存储在捕获设备中单独的记录中。例如，如图2所示，第一记录的音频文件201和相关联的所捕获的图像202-207可以存储在第一记录200中，而第二记录的音频文件209和相关联的所捕获的图像210-212可以存储在第二记录208中。在每个记录中所捕获的图像可以通过使用时间戳关联到每个各自记录中的音频文件。例如，在记录1200中，所记录的音频文件201的持续时间是15分钟。在照片I到6202-207中的时间戮分别在I分钟标记、5分钟标记、7分钟标记、10分钟标记、12分钟标记以及15分钟标记处将这些照片与音频文件201关联。在记录2208中，所记录的音频文件209持续时间是10分钟。在照片I到3210-212中的时间戳分别在I分钟标记、5分钟标记、7分钟标记、10分钟标记、12分钟标记以及15分钟标记处将这些照片与音频文件209关联。当用户选择第一音频文件201用于回放时，与第一音频文件201相关联的照片202-207可由所述捕获设备在适当的时间自动回放，并且当用户选择第二音频文件209用于回放时，与第二音频文件209相关联的照片210-212可由所述捕获设备在适当的时间自动回放。类似地，当用户选择与用于回放的第一音频文件201相关联的照片202-207中的一张时，第一音频文件201可由捕获设备在适当的时间开始自动回放，而当用户选择与第二音频文件209相关联的照片210-212中的一张时，第二音频文件209可由捕获设备在适当的时间开始自动回放。在一个示范性实施例中，音频数据可以被捕获设备连续记录。当音频数据被记录时，图像数据被捕获。图像数据可以在特定的时间点被用户捕获。图像数据还可以进一步以由用户定义的特定时间间隔被捕获。例如，用户可以将捕获设备设置为在音频数据被记录时每一分钟捕获一幅图像。此外，用户可以使用例如设置在捕获设备上的按钮，在设置的间隔之间手动捕获图像。捕获设备的示范性实施例可以利用各种检测模式，这些模式允许捕获设备在记录音频数据之前被训练，从而当音频数据被连续记录时，图像数据将在检测到特定事件时被捕获。图3是示出了捕获设备的语音/声音检测模式的流程图。参照图3，在语音/声音检测模式下，捕获设备可在检测到特定语音或声音时自动捕获图像。因此，当音频被连续记录时，每当有特定的人说话或特定的声音出现时，图像可被自动捕获。例如，在块301，捕获设备被训练为识别特定的语音或声音。捕获设备的训练可以包括用户进入设备的训练模式和记录将触发图像的自动捕获的特定的语音或声音。在块302，一旦音频数据的记录已经开始，在块303，捕获设备确定是否已检测到来自训练模式的特定语音或声音。如果该语音或声音没有被检测到，则在块304捕获设备继续记录音频数据，并继续在块303确定该特定语音或声音是否已被检测到。一旦该特定语音或声音已被检测到，在块305自动捕获图像。当处于语音/声音检测模式时，音频数据的记录可以在任何时间结束。例如，音频数据可被记录预定的持续时间，或音频数据的记录可以由用户在任何点结束。语音/声音检测模式可进一步包括其他可配置的选项，如下进行探讨。图4是示出了捕获设备的讲座检测模式的流程图。参照图4，在讲座检测模式下，当音频被连续记录时，捕获设备可以在特定时间量内检测到同一人讲话时自动捕获图像。例如，在块401，用户可以设置在图像被自动捕获之前必须检测到同一语音的预定的持续时间。在块402，一旦音频数据的记录已经开始，在块403捕获设备确定是否同一语音已被检测到。如果同一语音没有被检测到，则在块404捕获设备继续记录音频数据，并在块403继续确定是否同一语音已被检测到。在块405，捕获设备确定在预定的持续时间内同一语音是否已被检测到。如果在该预定持续时间内没有检测到同一语音，则在块404捕获设备继续记录音频数据。如果在预定持续时间内检测到同一语音，则在406块图像被自动捕获。而在讲座检测模式下，音频数据的记录可以在任何时间结束。例如，音频数据可在预定持续时间内被记录，或音频数据的记录可以在任何时间点被用户结束。讲座检测模式可进一步包括其他可配置的选项，如下进行探讨。图5是示出了捕获设备的讨论检测模式的流程图。参照图5，在讨论检测模式下，当音频正在被连续记录时，该捕获设备可以在检测到在特定时间量内发生的多个发言人之间的讨论时自动捕获图像。例如，在块501，用户可以设置在图像被自动捕获之前必须检测到多种语音的预定的持续时间。在块502 —旦音频数据的记录已经开始，在块503捕获设备确定是否多个语音已被检测到。如果多个语音还没有被检测到，则在块504捕获设备则继续记录音频数据，并在块503继续确定是否多个语音已被检测到。在块505，捕获设备确定是否在预定持续时间内多个语音已被检测到。如果在预定持续时间内多个语音没有被检测到，则在块504捕获设备继续记录音频数据。如果在预定时间内多个语音已被检测到，则在块506图像将被自动捕获。当在讨论检测模式下，音频数据的记录可以在任何时间被结束。例如，音频数据可以被记录预定都持续时间，或音频数据的记录可以在任何点被用户结束。讨论检测模式可进一步包括其他可配置都选项，如下进行探讨。图6是示出了捕获设备的噪声水平检测模式的流程图。参照图6，在噪声水平检测模式下，在音频被连续记录时，捕获设备可在检测到特定噪声水平时自动捕获图像。例如，在块601，用户可以设置预定的噪声水平(例如，特定分贝(dB)水平)。在块602 —旦音频数据的记录已经开始，则在块603捕获设备确定所检测到的噪声水平是否大于或等于预定的噪声水平。如果检测到的噪声水平不大于或等于预定的噪声水平，则在块604捕获设备继续记录音频数据。如果检测到的噪声水平大于或等于预定的噪声水平，则在块605图像被自动捕获。当在噪声水平检测模式下时，音频数据的记录可以在任可时间结束。例如，音频数据可以被记录预定的持续时间，或音频数据的记录可以在任何点被用户结束。噪声水平检测模式可进一步包括其他可配置的选项，如下进行探讨。在参照图3至6描述的检测模式中，多个图像可按用户指定的时间间隔被捕获，而不是在检测到某一事件时捕获单个图像。用户还可以进一步指定发生在某一事件的检测和捕获一幅或多幅图像之间的延迟。例如，捕获设备可被配置为在检测到某一事件后的几秒钟捕获图像，而不是在检测到事件后立即捕获图像，并且捕获设备可以被配置为在检测到事件时在一定持续时间内每隔几秒钟捕获一定数量的图像。延迟的值、要捕获的图像的数量以及捕获图像的持续时间可以由用户定义。在一个示范性实施例中，用户可以记录区别于所记录的音频数据的音频注释(note)。音频注释可作为标签用来识别在音频记录中特定事件发生的时间。用户可以稍后使用这些音频注释以快速跳转到该音频记录中与各个音频注释相对应的部分。在一个示范性实施例中，捕获设备可被配置为在捕获图像时自动记录音频。例如，用户可以设置预捕获音频持续时间和后捕获音频持续时间。当用户捕获图像时，在图像捕获之前在等于预捕获音频持续时间的持续时间内记录音频，并且在图像捕获之后在等于后捕获音频持续时间的持续时间内记录音频。捕获设备中的缓冲器可被用于实现图像捕获之前的音频的记录。一旦图像被捕获且音频被记录，则可使用时间戳将所捕获的图像和所记录的音频彼此关联，如参照图2中所探讨的。在一个示范性实施例中，所记录的音频数据和所捕获的图像数据可以经由时间线以同步方式呈现给用户，如图7所示。可使用各种手段向用户呈现这些数据。例如，可以将 数据通过捕获设备中配置的显示器，使用例如高清多媒体接口(HDMI)连接、视频图形阵列(VGA)连接、组件连接或复合连接而连接到该捕获设备的外部显示器,或通过安装在计算机上的软件，呈现给用户用户可以通过选择所记录的音频文件或捕获的图像来查看时间线。例如，当用户选择所记录的音频文件时，关联到该音频文件的所捕获的图像文件将在该音频文件的回放期间的适当的时间被显示。类似地，当用户选择所捕获的图像文件时，所记录的音频文件中与所捕获的图像文件相关联的相应部分被回放，同时所捕获的图像文件被显示。例如，在图7中，呈现给用户的时间线700包括，对应于所记录的音频数据的音频可视化图701，以及对应于所捕获的图像数据的图像702、703。在图7中，所记录的音频数据的总持续时间为15分钟。当用户选择所记录的音频文件时，时间线700被呈现给用户，并且所记录音频数据从所记录的音频的开端开始被回放。当音频数据被回放时，由捕获设备在音频记录5分钟时捕获的第一图像702显示在时间线的05:00标记处，而由捕获设备在音频记录10分钟时捕获的第二图像703显示在时间线的10:00标记处。所捕获的图像702、703可使用时间戳在适当的时间关联到音频记录，参照图2所探讨的。图像702、703可以与音频可视化图701同时被显示为缩略图，如图7所示，或者图像702、703可以在没有音频可视化图701的情况下被显示。代替选择所记录的音频文件，用户可以选择所捕获的图像文件中的一个。根据图像文件的选择，所捕获的图像702、703被显示，并且关联的音频文件在与所捕获的图像702、703对应的时间开始被回放。例如，参照图7，当用户选择第一图像文件时，第一捕获的图像702被显示，并且所记录的音频在05:00标记处开始被回放。当用户选择第二图像文件时，第二捕获的图像703被显示，并且所记录的音频在10:00标记处开始被回放。在示范性实施例中，用户可以配置所记录的音频数据和所捕获的图像数据通过时间线呈现的方式。例如，用户可以在选择所捕获的图像时为音频数据设置预显示音频持续时间和后显示音频持续时间。预显示音频持续时间是发生在选择的将要回放的所捕获的图像之前的音频的持续时间，而后显示音频持续时间是在选择的将要回放的所捕获的图像之后发生的音频的持续时间。因此，参照图7，如果用户设置预显示音频持续时间为5秒以及后显示音频持续时间为20秒，则当用户选择第一捕获的图像702时，所记录的音频数据将在04:55标记处开始回放并将于05:20标记处结束回放。类似地，当用户选择第二捕获的图像703时，所记录的音频数据将在09:55标记处开始回放并将于10:20标记处结束回放。如果用户不设置预显示音频持续时间和后显示音频持续时间，那么当用户选择第一捕获的图像702时，所记录的音频数据将于05:00标记处开始回放并持续到所记录的音频数据结束(例如，在15:00标记处)。同样，当用户选择第二捕获的图像703时，所记录的音频数据将在10:00标记处开始回放并持续到所记录的音频数据结束(例如，在15:00标记处)。用户还可以进一步设置图像显示持续时间。图像显示持续时间是所捕获的图像要被显示的持续时间。例如，参照图7，如果用户设置图像显示持续时间为5秒，则第一捕获的图像702将从05:00标记到05:05标记被显示。类似地，第二捕获的图像703将从10:00标记到10:05标记被显示。如果用户没有设置图像显示持续时间，则图像将被显示直到到达显示下一个图像的时间，如图8所示。例如，在图8中，第一捕获的图像702在05:00标记处被显示并且被显示直到第二捕获的图像703在10:00标记处被显示。在示范性实施例中，当用户选择所捕获的图像或所记录的音频文件时，用户可以指定是否应只呈现相关联的图像和音频文件，或是否也应该呈现在时间线上随后的图像和音频文件。此外，呈现给用户的可以只是时间线，且当用户选择该时间线上的特定点时，与该点对应的所捕获的图像和所记录的音频文件可以被呈现给用户。虽然本发明已参照示范性实施例被特别地展示和描述于此，然而本领域普通技术人员可以理解到，可以做出形式和细节上的各种变化而并不背离由下列权利要求书定义的本发明的精神和范围。
权利要求
1.一种捕获设备，包括 麦克风，被配置为记录音频数据； 照相机，被配置为捕获图像数据； 存储器，被配置为存储所记录的音频数据和所捕获的图像数据；以及处理器，被配置为基于该图像数据的时间戳将所记录的音频数据与所捕获的图像数据相关联，并将相关联的音频数据和图像数据存储在存储器中的同一记录中。
2.根据权利要求I所述的捕获设备，其中 所记录的音频数据包括多个音频文件； 所捕获的图像数据包括多个图像文件，每个图像文件具有各自的时间戳；以及该处理器被配置为使用所述各自的时间戳将所述多个音频文件中的每一个与所述多个图像文件的子集相关联； 其中所述多个音频文件中的每一个与每一个相对应的相关联的图像文件的子集一起被存储在存储器中的不同的记录中。
3.根据权利要求I所述的捕获设备，进一步包括 显示器，被配置为显示所捕获的图像数据；以及 扬声器，被配置为播放所记录的音频数据， 其中，使用同步的时间线显示所捕获图像数据并播放所记录的音频数据。
4.一种捕获图像数据同时记录音频数据的方法，包括 由捕获设备中的麦克风记录音频数据； 由捕获设备中的照相机捕获图像数据； 由捕获设备中的处理器基于所捕获的图像数据的时间戳将所记录的音频数据与所捕获的图像数据相关联；以及 将相关联的音频数据和图像数据存储在捕获设备中的存储器中的同一记录中。
5.根据权利要求4所述的方法，进一步包括 使用多个图像文件的每一个的各自的时间戳将所述多个音频文件中的每一个关联到多个图像文件的子集，其中所述音频数据包括所述多个音频文件，以及所述图像数据包含所述多个图像文件；以及 将所述多个音频文件中的每一个与每一个相对应的相关联的图像文件的子集一起存储在捕获设备中的存储器中的不同的记录中。
6.根据权利要求4所述的方法，其中所述音频数据被记录预定的持续时间。
7.根据权利要求4所述的方法，进一步包括 训练捕获设备以识别指定的声音； 在记录音频数据的同时检测该指定的声音；以及 在检测到指定的声音时捕获图像数据。
8.根据权利要求7所述的方法，其中所述指定的声音是语音。
9.根据权利要求7所述的方法，其中 在检测到指定的声音时捕获图像数据包括捕获多个图像， 预定的时间间隔存在于所述多个图像中的每一个的捕获之间，以及 在预定的持续时间内捕获所述多个图像。
10.根据权利要求9所述的方法，其中所述多个图像是预定数目的图像。
11.根据权利要求4所述的方法，进一步包括 设置第一预定的持续时间； 在记录音频数据的同时检测同一语音；以及 在该第一预定的持续时间内检测到同一语音时捕获图像数据。
12.根据权利要求11所述的方法，其中 在检测到同一语音时捕获图像数据包括捕获多个图像， 预定时间间隔存在于所述多个图像中的每一个的捕获之间，以及 在第二预定的持续时间内捕获所述多个图像。
13.根据权利要求12所述的方法，其中所述多个图像是预定数目的图像。
14.根据权利要求4所述的方法，进一步包括 设置第一预定的持续时间； 在记录音频数据的同时检测两个或更多个语音；以及 在第一预定的持续时间内检测到两个或更多个语音时捕获图像数据。
15.根据权利要求14所述的方法，其中 在检测到两个或更多个语音时捕获图像数据包括捕获多个图像， 预定时间间隔存在于所述多个图像中的每一个的捕获之间，以及 在第二预定的持续时间内捕获所述多个图像。
16.根据权利要求15所述的方法，其中所述多个图像是预定数目的图像。
17.根据权利要求4所述的方法，进一步包括 设定预定的噪声水平；以及 在确定所记录的音频数据的噪声水平大于或等于预定的噪声水平时捕获图像数据。
18.—种显示所捕获的图像数据的计算机实现的方法，包括 选择所记录的音频文件，其中使用时间戳将所记录的音频文件与至少一个所捕获的图像文件相关联； 播放与所记录的音频文件相对应的音频数据；以及 在预定的时间显示所述至少一个所捕获的图像文件，同时基于该时间戳播放音频数据， 其中该计算机实现的方法由处理器执行。
19.根据权利要求18所述的计算机实现的方法，进一步包括 在多个预定的时间显示多个所捕获的图像文件，同时基于与所述多个所捕获的图像文件对应的多个时间戳来播放音频数据。
20.根据权利要求19所述的计算机实现的方法，其中显示所述多个所捕获的图像文件中的每一个，直到随后的所捕获的图像文件被显示。
21.根据权利要求19所述的计算机实现的方法，其中所述多个所捕获的图像文件中的每一个被显示预定的图像显示持续时间。
22.—种播放所记录的音频数据的计算机实现的方法，包括 选择所捕获的图像文件，其中使用时间戳将所捕获的图像文件与对应于所记录的音频数据的音频文件相关联；以及在对应于该时间戳的起始点播放所记录的音频数据， 其中所述计算机实现的方法由处理器执行。
23.根据权利要求22所述的计算机实现的方法，其中显示所捕获的图像文件，直到随后的所捕获的图像文件被显示。
24.根据权利要求22所述的计算机实现的方法，其中所捕获的图像文件被显示预定的图像显示持续时间。
25.根据权利要求22所述的计算机实现的方法，其中所述音频数据在预定的预显示音频持续时间开始播放，并在预定的后显示音频持续时间结束播放。
全文摘要
一种捕获设备，包括麦克风、照相机、存储器和处理器。麦克风被配置为记录音频数据，照相机被配置为捕获图像数据，存储器被配置为存储记录的音频数据和捕获的图像数据，以及处理器被配置为基于图像数据的时间戳将所记录的音频数据与所捕获的图像数据相关联，并将相关联的音频数据和图像数据存储在存储器中的同一记录中。
文档编号G11B27/02GK102932623SQ20121026909
公开日2013年2月13日 申请日期2012年6月13日 优先权日2011年6月13日
发明者T·H·温, N·奎伦 申请人:沃克斯国际公司