专利名称：再现多媒体数据的方法和装置的制作方法
技术领域：
本发明涉及多媒体数据的处理，该多媒体数据包含涉及图像和声音的数据。更具体地说，本发明涉及一种再现多媒体数据的方法和装置，利用该方法和装置来打印并且与声音一起再现包含在多媒体数据中的图像。
背景技术：
通常，在例如个人数字助理(PDA)或移动电话等的便携式无线通信设备中产生的多媒体数据包含音频数据和视频数据。当在个人计算机(PC)中再现这种多媒体数据时，相应于视频数据的图像和相应于音频数据的声音能够被相互同步并且被一同再现。
同时，可以使用打印机(不使用例如PC的再现装置)来再现多媒体数据。以此方式，美国专利5,524,085公开了一种标题为“Multimedia Job Tickets forPrinting Machines”的使用打印机来再现多媒体数据的传统装置。
以下，将描述在上述美国专利中公开的用于再现多媒体数据的传统方法。首先，在个人计算机中产生其中混合了图像数据与多媒体数据的数据。作业单(job ticket)数据被存储在队列存储器中，并且相应于实际要打印的图像的打印数据被存储在编译器中，被传送到打印机并被打印。分支部件从作业单信息中提取多媒体数据，并且将所提取的多媒体数据提供给合成器。在这种情况下，合成器将提取的多媒体数据提供给扬声器，并且扬声器再现相应于提取的多媒体数据的声音。这里，例如，被再现的声音，例如包含在作业单数据中的多媒体数据是用户的指令，例如“用蓝色封皮装订打印的书”。
在包含上述方法的用于再现多媒体数据的传统方法中，打印相应于包含在多媒体数据中的视频数据的图像，并且能够同时再现相应于音频数据的声音。然而，声音不是与图像一同再现而是分别再现的。于是，当多媒体数据包含一个电影的视频数据和音频数据时，即，当相应于包含在多媒体数据中的视频数据的图像和相应于音频数据的声音需要被彼此时间同步地再现并且被一同再现时，在再现多媒体数据的传统方法中，不能够在打印图像的同时再现声音。换句话说，只打印图像而丢掉了声音。
例如，第一个用户能够使用便携式摄像机或具有嵌入式数字照相机的移动电话来拍摄照片或视频，并且将运动画面数据传送给第二个用户，该运动画面数据是与拍摄结果相应的多媒体数据。当第二个用户从第一个用户接收到运动画面数据，并且使用再现多媒体数据的传统方法来打印由第一个用户传送的运动画面时，第二个用户不能够同时再现包含在运动画面中的声音。
发明内容
本发明提供一种再现多媒体数据的方法和装置，利用该方法和装置，打印包含在多媒体数据中的图像并同时再现声音。
根据本发明的一个方面，提供一种再现多媒体数据的方法，该方法包括如下步骤接收外部提供的多媒体数据；从接收的多媒体数据中分离出视频数据、音频数据和同步数据；以及从同步数据中提取同步信号。该方法还包括使用提取的同步信号，使打印及再现相应于视频数据的图像的操作与再现相应于音频数据的声音的操作彼此同步，并且执行上述操作。
根据本发明的另一个方面，提供一种再现多媒体数据的装置，该装置包括数据处理单元，用于接收外部提供的多媒体数据，从接收的多媒体数据中分离出视频数据、音频数据和同步数据，并且从同步数据中提取同步信号。该装置还包括数据再现单元，用于响应提取的同步信号，使打印及再现相应于分离出的视频数据的图像的操作与再现相应于分离出的音频数据的声音的操作彼此同步，并执行上述操作。
通过以下借助附图对本发明示例性实施例的详细描述，本发明的上述和其他特征及优点将会变得更加清楚，其中图1是示出根据本发明实施例的再现多媒体数据的方法的流程图；图2是示出根据本发明实施例的图1所示的步骤10的流程图；图3是示出根据本发明实施例的图1所示的步骤12的流程图；图4是示出根据本发明实施例的图3所示的步骤34的流程图；图5是示出根据本发明实施例的图1所示的步骤12的流程图；图6是根据本发明实施例的再现多媒体数据的装置的方框图；
图7是根据本发明实施例的图6所示的数据处理单元的方框图；图8是根据本发明实施例的图6所示的数据再现单元的方框图；图9是根据本发明实施例的图8所示的图像再现部分的方框图；图10是根据本发明实施例的图9所示的打印部件的方框图；和图11是根据本发明实施例的图8所示的声音再现部分的方框图。
应该理解，在附图中，相似的标号始终用于描述相似的特征和结构。
具体实施例方式
以下，将参照附图来详细描述根据本发明实施例的再现多媒体数据的方法。图1是示出根据本发明实施例的再现多媒体数据的方法的流程图。参照图1，根据本发明实施例的再现多媒体数据的方法包括同步根据从多媒体数据中分离出来的视频数据和音频数据进行的图像打印和声音再现，并且执行图像打印和声音再现(步骤10和12)。
在根据本发明实施例的再现多媒体数据的方法中，首先，在步骤10中，接收外部提供的多媒体数据，从接收的多媒体数据中分离出视频数据、音频数据和同步数据，并且从分离出的同步数据中提取同步信号。这里，可以从个人计算机(PC)、个人数字助理(PDA)、照相机电话、数字摄像机等输入多媒体数据，其中照相机电话是带有嵌入式数字照相机的移动电话。
图2是示出根据本发明实施例的图1所示的步骤10的流程图。参照图2，方法10A包含从多媒体数据中分离出视频数据和音频数据，并且从分离出的同步数据中提取同步信号(步骤20到24)。
首先，在步骤20中，接收多媒体数据。这里，可以经由有线或无线网络总线来接收多媒体数据。
在步骤22中，从接收的多媒体数据中分离出视频数据、音频数据和同步数据。这里，每个分离出的视频数据和分离出的音频数据具有比特流格式。例如，分离出的同步数据可以是运动图像专家组4(MPEG-4)标准中使用的同步信息。在这种情况下，同步信息具有使包含在单位分组中的视频数据和音频数据彼此同步并再现视频数据和音频数据所需的信息。
在步骤24中，从分离出的同步数据中提取同步信号。
同时，在步骤12(图1)中，使用提取的同步信号，使打印和再现相应于视频数据的图像的操作与再现相应于音频数据的声音的操作彼此同步并执行上述操作。
图3是示出根据本发明实施例的图1所示的步骤12的流程图。参照图3，方法12A包含分别在步骤30中，解码视频数据并存储解码的视频数据，以及在步骤32和34中，当第一传送时间到来时，使用存储结果来打印图像。
为了执行根据视频数据打印图像的操作，首先，在步骤30中，以帧为单位解码相应于要被打印的单位页的视频数据，并存储解码结果。在这种情况下，当在步骤10中分离出的视频数据是矢量图像数据时，在步骤30中，对视频数据进行着色处理(render)。这里，着色处理将矢量图像数据转换为光栅图像数据。然而，当在步骤10中分离出的视频数据是光栅图像数据时，在步骤30中，无需对视频数据进行着色处理。例如，矢量图像数据可以是postscript图像数据，以及光栅图像数据可以是位像数据。
根据本发明实施例，步骤30可以包括以帧为单位解码视频数据，存储解码结果，和确定是否已解码并存储了相应于单位页的全部视频数据。这里，如果确定没有解码并存储相应于单位页的全部视频数据，则该方法继续执行解码及存储视频数据的步骤。如果确定已解码并存储了相应于单位页的所有视频数据，则该方法前进到步骤32。
在步骤32中，使用同步信号来确定第一传送时间是否到来。这里，第一传送时间是从再现相应于多媒体数据中包含的音频数据的声音时的时间t往回第一预定周期t1的时间，并且第一预定周期t1是使用相应于单位页的帧的解码结果来打印相应于单位页的图像所需的周期。如果确定第一传送时间没有到来，则该方法继续在步骤32中检查第一传送时间是否到来。
然而，如果确定第一传送时间到来，则在步骤34中，使用相应于单位页的帧的解码结果，来打印相应于单位页的图像。
图4是示出根据本发明另一实施例的图3所示的步骤34的流程图。参照图4，方法34A包括根据第一数量和第二数量的比较结果来构造打印数据(步骤50到54)，并且使用打印数据来打印图像(步骤56)。
如果确定第一传送时间到来，在步骤50中，确定第一数量是否大于或等于第二数量。这里，第一数量X是在步骤34中每单位时间需要打印的视频数据中包含的帧的最大数量。根据图像质量，第一数量X可以是每秒24-30，或者是每秒3-6。照相机电话的第一数量X一般是每秒3-6。另外，第二数量Y是在步骤34中每单位时间要打印的帧的最大数量。
如果确定第一数量大于或等于第二数量，则在步骤52中，从每单位页存储的解码结果中仅有选择地提取相应于不超过第三数量Z的帧的解码结果，并且使用提取结果来构造相应于单位页的打印数据。这里，第三数量是在步骤34中要打印的单位页中能够包含的帧的总数，典型是大约16-20。
然而，如果确定第一数量小于第二数量，在步骤54中，由每单位页存储的解码结果来构造打印数据。
因此，当第一数量X大于或等于第二数量Y(X≥Y)时，每单位页的打印数据中包含的帧的数量F是第三数量Z。当第一数量X小于第二数量Y(X＜Y)时，每单位页的打印数据中包含的帧的数量F被表示为X*Z/Y。
以下示例将说明步骤52和54。假设第一预定周期t1是3秒，并且第三数量Z是20，则第二数量(Y＝Z/3)是6.67。
在这种情况下，如果第一数量X是30，该第一数量X是每秒需要打印的视频数据中包含的帧的最大数量，则第一数量X大于或等于第二数量Y。于是，在步骤52中，通过重复从30个解码帧中提取6个帧的操作，3秒提取了18个帧，以及由这18个提取的帧来构造相应于单位页的打印数据。在这种情况下，为了从30个帧中提取6个帧，例如，置于预定序列中的帧可被每5个帧选择一个。
然而，如果第一数量X是4，则第一数量X小于第二数量Y，在步骤54中，通过重复每秒选择4个解码帧的操作，3秒选择了12个帧，并且由所选择的12个帧来构造相应于单位页的打印数据。
在步骤52或54之后，在步骤56中，使用打印数据来打印相应于单位页的图像。
图5是示出根据本发明另一实施例的图1所示的步骤12的流程图。参照图5，方法12B包含解码并存储音频数据(步骤70)，并且当第二传送时间到来时再现声音(步骤72和74)。
为了执行再现相应于音频数据的声音的操作，在步骤70中，首先以帧为单位来解码将与相应于要打印的单位页的图像一同被再现的音频数据并存储解码结果。
根据本发明实施例，步骤70可以包括以分组为单位解码音频数据，存储解码结果，并确定是否已解码并存储了相应于单位页的全部音频数据。这里，如果确定没有解码及存储相应于单位页的全部音频数据，则该方法继续执行解码和存储音频数据的步骤。如果确定已解码及存储了相应于单位页的全部音频数据，则该方法前进到步骤72。
在步骤72中，使用同步信号来确定第二传送时间是否到来。这里，第二传送时间是从打印图像时的时间t往回第二预定周期t2的时间，第二预定周期t2是执行步骤74所需的周期。如果确定第二传送时间没有到来，则该方法继续步骤72。然而，如果确定第二传送时间已经到来，则在步骤74中，放大解码和存储结果，并且将放大结果再现为声音。
以下，将参照附图来详细说明根据本发明实施例的再现多媒体数据的装置的结构及操作。
图6是根据本发明实施例的再现多媒体数据的装置的方框图。参照图6，根据本发明实施例的再现多媒体数据的装置包含数据处理单元90和数据再现单元92。
在图6所示的装置中，可以执行图1所示的再现多媒体数据的方法。为了执行图1所示的步骤10，数据处理单元90从通过输入端IN1从另一源输入的多媒体数据中，分离出视频数据、音频数据和同步数据，从分离出的同步数据中提取同步信号，并且将分离出的视频数据、分离出的音频数据以及提取的同步信号输出到数据再现单元92。
图7是根据本发明实施例的图6所示的数据处理单元90的方框图。参照图7，数据处理单元90A包括数据接收部分100、数据分离部分102和信号提取部分104。
图7所示的数据处理单元90A执行图2所示的步骤10A。换句话说，为了执行步骤20，数据处理单元90A的数据接收部分100通过输入端IN1接收多媒体数据，并且将接收的多媒体数据输出到数据分离部分102。在这种情况下，如果经由外部网络总线通过无线接收多媒体数据，则可以利用无线网卡来实现数据接收部分100。
为了执行步骤22，数据分离部分102从自数据接收部分100接收的多媒体数据中，分离出视频数据、音频数据和同步数据，通过输出端OUT2将分离出的视频数据输出到数据再现单元92，通过输出端OUT3将分离出的音频数据输出到数据再现单元92，并且将分离出的同步数据输出到信号提取部分104。
为了执行步骤24，信号提取部分104从自数据分离部分102输入的分离出的同步数据中提取同步信号，并且通过输出端OUT4将所提取的同步信号输出到数据再现单元92。
同时，为了执行图1所示的步骤12，数据再现单元92打印相应于从数据处理单元90输入的分离出的视频数据的图像，通过输出端OUT1输出打印结果，再现相应于从数据处理单元90输入的分离出的音频数据的声音，并且通过输出端OUT1输出再现的声音。在这种情况下，数据再现单元92响应于从数据处理单元90输入的提取的同步信号，使图像打印和声音再现同步。
图8是根据本发明实施例的图6所示的数据再现单元92的方框图。参照图8，数据再现单元92A包含图像再现部分110和声音再现部分112。
图8所示的图像再现部分110打印及再现相应于通过输入端IN2从数据处理单元90输入的分离出的视频数据的图像，并且通过输出端OUT5输出再现的图像，也就是说，打印的图像。在这种情况下，声音再现部分112再现相应于通过输入端IN3从数据处理单元90输入的分离出的音频数据的声音，并且通过输出端OUT6输出再现的声音。在这种情况下，响应于通过输入端IN4从数据处理单元90输入的提取的同步信号，图像再现部分110和声音再现部分112被彼此同步，打印图像并再现声音。
图9是根据本发明实施例的图8所示的图像再现部分110的方框图。参照图9，图像再现部分110A包含视频解码部件120、第一时间检查部件122和打印部件124。
图9所示的图像再现部分110A执行图3所示的步骤12A。
为了执行步骤30，视频解码部件120以帧为单位来解码通过输入端IN2从数据处理单元90输入的相应于要打印的单位页的视频数据，并且存储解码结果。
为了执行步骤32，第一时间检查部件122响应于通过输入端IN4从数据处理单元90输入的同步信号，检查第一传送时间是否到来，并且将检查结果作为第一控制信号输出到打印部件124。
为了执行步骤34，打印部件124响应于从第一时间检查部件122输入的第一控制信号，即如果根据第一控制信号识别出第一传送时间已经到来，则根据从视频解码部件120输入的解码结果来打印相应于单位页的图像，并且通过输出端OUT5输出打印结果。
图10是根据本发明实施例的图9所示的打印部件124的方框图。参照图10，打印部件124A包含比较部件130、打印数据构造部件132和打印引擎134。
图10所示的打印部件124A执行图4所示的步骤34A。为了执行图4所示的步骤50，比较部件130响应于通过输入端IN5从第一时间检查部件122输入的第一控制信号，比较每单位时间需要打印的视频数据中包含的帧的第一数量和每单位时间能够打印的帧的第二数量，并且将比较结果输出到打印数据构造部件132。
在这种情况下，为了执行步骤52或54，响应于从比较部件130输入的比较结果，打印数据构造部件132从通过输入端IN7从视频解码部件120输入的每单位页存储的解码结果中，仅仅有选择地选择相应于不超过要打印的单位页中能够包含的帧的总数的帧的解码结果。打印数据构造部件132使用提取结果来构造打印数据，或者使用通过输入端IN7从视频解码部件120输入的每单位页存储的解码结果来构造打印数据。打印数据构造部件132将所构造的打印数据输出到打印引擎134。例如，如果根据从比较部件130输入的比较结果识别出第一数量大于或等于第二数量，则打印数据构造部件132执行步骤52。如果根据比较结果识别出第一数量小于第二数量，则打印数据构造部件132执行步骤54。
为了执行步骤56，打印引擎134根据从打印数据构造部件132输入的打印数据，打印相应于单位页的图像，并且通过输出端OUT5输出打印结果。
图11是根据本发明实施例的图8所示的声音再现部分112的方框图。参照图11，该声音再现部分112A包含音频解码部件140、第二时间检查部件142和声音输出部件144。
图11所示的声音再现部分112A执行图5所示的步骤12B。
为了执行图5所示的步骤70，图11所示的音频解码部件140通过输入端IN3从数据处理单元90输入将与相应于要打印的单位页的图像一同被再现的音频数据，以帧为单位来解码输入的音频数据，并存储解码结果。例如，音频解码部件140解码音频数据，并且将解码的音频数据转换成具有模拟形状的电信号。
为了执行步骤72，第二时间检查部件142使用通过输入端IN4从数据处理单元90输入的同步信号，来检查第二传送时间是否到来，并且将检查结果作为第二控制信号输出到声音输出部件144。
为了执行步骤74，声音输出部件144响应于从第二时间检查部件142输入的第二控制信号，也就是说，如果根据第二控制信号识别出第二传送时间已经到来，则放大从音频解码部件140输入的存储结果，将放大结果再现为声音，并且通过输出端OUT6输出再现的声音。为此，声音输出部件144可以提供用于放大从音频解码部件140输入的存储结果的放大器(未示出)和用于将放大结果输出为声音的扬声器(未示出)。
根据本发明的一个实施例及其多个实施例的图6到11所示的再现多媒体数据的装置可以被嵌入到打印机(未示出)中。
如上所述，在根据本发明实施例的再现多媒体数据的方法和装置中，在打印多媒体数据中包含的图像的同时再现声音，以便使用打印机来更生动地再现多媒体数据例如电影或运动图像。
虽然已参照本发明的优选实施例详细地示出并且说明了本发明，本领域技术人员应该理解，在不脱离所附权利要求及其等效方案所限定的本发明的实质和范围的情况下，可以对其进行形式和细节上的各种改变。
权利要求
1.一种再现多媒体数据的方法，该方法包括如下步骤(a)接收外部提供的多媒体数据，从所接收的多媒体数据中分离出视频数据、音频数据和同步数据，并且从同步数据中提取同步信号；和(b)使用所提取的同步信号，使打印及再现相应于视频数据的图像的操作和再现相应于音频数据的声音的操作彼此同步，并且执行上述操作。
2.如权利要求1所述的方法，其中，步骤(a)包括接收多媒体数据；从接收的多媒体数据中分离出视频数据、音频数据和同步数据；和从分离出的同步数据中提取同步信号。
3.如权利要求1所述的方法，其中，步骤(b)中打印及再现图像的操作包括(b11)以帧为单位来解码相应于要打印的单位页的视频数据，并且存储解码的视频数据；(b12)使用同步信号来确定第一传送时间是否到来；和(b13)如果确定第一传送时间到来，则使用存储和解码的结果来打印相应于单位页的图像，其中，第一传送时间相应于从再现声音时的时间往回第一预定周期的时间，以及第一预定周期相应于执行步骤(b13)所需的周期。
4.如权利要求3所述的方法，其中，步骤(b13)包括如果确定第一传送时间已到来，则在步骤(b13)中确定每单位时间需要打印的视频数据中包含的帧的第一数量是否大于或等于每单位时间要打印的帧的第二数量；如果确定第一数量大于或等于第二数量，则从每单位页存储的解码结果中仅有选择地提取相应于不超过要打印的单位页中能够包含的帧的总数的帧的解码结果，并且使用提取结果来构造打印数据；如果确定第一数量小于第二数量，则使用每单位页存储的解码结果来构造打印数据；和使用打印数据来打印相应于单位页的图像。
5.如权利要求3所述的方法，其中，步骤(b11)包括对视频数据进行着色。
6.如权利要求1所述的方法，其中，再现相应于音频数据的声音的操作包括(b21)以分组为单位来解码将与相应于要打印的单位页的图像一同被再现的音频数据，并且存储解码的音频数据；(b22)使用同步信号来确定第二传送时间是否到来；和(b23)如果确定第二传送时间到来，则放大存储结果并将放大结果再现为声音，其中，第二传送时间相应于从再现图像时的时间往回第二预定周期的时间，并且该第二预定周期相应于执行步骤(b23)所需的周期。
7.一种再现多媒体数据的装置，该装置包括数据处理单元，用于接收外部提供的多媒体数据，从所接收的多媒体数据中分离出视频数据、音频数据和同步数据，并且从同步数据中提取同步信号；和数据再现单元，用于响应于提取的同步信号，使打印及再现相应于分离出的视频数据的图像的操作与再现相应于分离出的音频数据的声音的操作彼此同步，并且执行上述操作。
8.如权利要求7所述的装置，其中，所述数据处理单元包括数据接收部分，用于接收多媒体数据；数据分离部分，用于从所接收的多媒体数据中分离出视频数据、音频数据和同步数据；和信号提取部分，用于从分离出的同步数据中提取同步信号。
9.如权利要求7所述的装置，其中，所述数据再现单元包括图像再现部分，用于打印及再现相应于分离出的视频数据的图像；和声音再现部分，用于再现相应于分离出的音频数据的声音；其中，响应于提取的同步信号，所述图像再现部分和声音再现部分彼此同步地进行操作。
10.如权利要求9所述的装置，其中，所述图像再现部分包括视频解码部件，用于以帧为单位来解码从所述数据处理单元输入的相应于要打印的单位页的视频数据，并且存储解码的视频数据；第一时间检查部件，用于响应于同步信号来确定第一传送时间是否到来，并且输出检查结果作为第一控制信号；和打印部件，用于响应于第一控制信号，根据从所述视频解码部件输入的解码结果，打印相应于单位页的图像；其中，第一传送时间相应于从再现声音时的时间往回第一预定周期的时间，以及第一预定周期相应于在所述打印部件中根据解码结果来打印图像所需的周期。
11.如权利要求10所述的装置，其中，所述打印部件包括比较部件，用于响应于第一控制信号，比较每单位时间需要打印的视频数据中包含的帧的第一数量和每单位时间要打印的帧的第二数量，并且输出比较结果；打印数据构造部件，用于响应于从所述比较部件输入的比较结果，从自所述视频解码部件输入的每单位页存储的解码结果中，仅有选择地提取相应于不超过要打印的单位页中能够包含的帧的总数的帧的解码结果，并且使用提取结果来构造打印数据，或者使用自所述视频解码部件输入的每单位页存储的解码结果来构造打印数据；和打印引擎，用于根据从所述打印数据构造部件输入的打印数据，来打印相应于单位页的图像。
12.如权利要求9所述的装置，其中，所述声音再现部分包括音频解码部件，用于以分组为单位来解码将与相应于要打印的单位页的图像一同被再现的音频数据，并且存储所解码的音频数据；第二时间检查部件，用于使用同步信号来检查第二传送时间是否到来，并且输出检查结果作为第二控制信号；和声音输出部件，用于响应于第二控制信号，放大从所述音频解码部件输入的存储结果，并且将放大结果再现为声音；其中，第二传送时间相应于从再现图像时的时间往回第二预定周期的时间，以及该第二预定周期相应于在所述声音输出部件中根据存储结果来再现声音所需的周期。
13.如权利要求7所述的装置，其中，所述多媒体数据是从个人计算机、个人数字助理(PDA)、照相机电话或数字摄像机输入的。
全文摘要
公开了一种再现多媒体数据的方法和装置。该再现多媒体数据的方法和装置接收外部提供的多媒体数据，从接收的多媒体数据中分离出视频数据、音频数据和同步数据，并且从同步数据中提取同步信号。该方法和装置还使用提取的同步信号，使打印及再现相应于视频数据的图像的操作与再现相应于音频数据的声音的操作彼此同步，并执行上述操作。
文档编号G06K15/00GK1578397SQ20041005490
公开日2005年2月9日 申请日期2004年7月21日 优先权日2003年7月22日
发明者梁佑诚 申请人:三星电子株式会社