专利名称：视频的处理装置及其处理方法
技术领域：
本发明涉及一种视频的处理装置及其处理方法，特别是一种可节省所需的储存器 大小及频宽的视频的处理装置及其处理方法。
背景技术：
使用者能使用数字相机或摄影机等影像/视频(video)撷取装置来撷取影像或视 频，并得到可直接播放观赏的影像/视频输出文件。然而，数字相机等装置的最初经由传感 器(sensor)得到的数据是原始数据(raw data)，原始数据尚须经过许多处理才能提供给 使用者观赏。现在的数字影像处理(Digital Image Processing, DIP)技术多使用管线 (pipeline)系统处理影像/视频的原始数据，而管线系统是可对单一的影像进行一连串的 处理。管线系统通常具有多个处理阶段(stage)，能够一步一步地以施加过滤器(filter) 等方法连续处理被输入的影像。举例而言，管线系统可使用过滤器将被输入的影像/视频 转换为RGB色彩空间模式，亦可将源文件转换为通用的影像格式。然而，由于现有上的影像传感器所用的传感帧频(sensor frame rate)与视频输 出时的视频帧频(video frame rate)是差不多，所以视频处理得在一个帧时间内完成，因 此无形中限制了管线系统的硬件速度和对记忆体的需求。尤其是现今甚为普遍的多尺度 (multi-scale)或是多帧(multi-frame)的影像应用技术更是增加管线系统所需的硬件成 本。由于多尺度或是多帧的处理技术需要处理多个输入帧才能产生一个输出帧，例如 在处理影像传感器所提供的来源影像，是一种连续帧处理，前一张帧是先暂存在输入缓冲 器中，之后在处理下一张帧时，又得至输入缓冲器中读取出前一张帧以一起处理，因此管线 系统就需具有至少一个额外的输入缓冲器(buffer)，才能保留影像传感器所给予的帧以利 后续的处理，这对于记忆体的大小与频宽而言，都是非常大的挑战。此外，随着科技的进步，影像或视频的分辨率也跟着提高。这也代表着输入缓冲器 需要具备有更大的容量，换言之，输入缓冲器需要更多的成本，且来源影像读出或写入记忆 体所需的频宽会随着处理阶段增加而变大。再者，进行多帧的影像处理时需要大量地进行 存取运算，还对现有的视频处理方法造成了帧延迟(frame delay)的问题。
发明内容
为了解决上述管线系统成本较高以及帧延迟的问题，本发明提供一种视频的处理 装置及其处理方法，其是用以将一取景区撷取为一视频结果。本发明所提供的视频的处理 装置及其处理方法能够免除对输入缓冲器的需求，因此可降低所需的硬件成本，并可解决 帧延迟的问题及降低记忆体所需的读写频宽。本发明所提供的视频的处理装置是包括视频传感器(video sensor)、暂时储存 器(temporary memory)以及视频管线(video pipeline)。其中视频传感器以一传感帧频(sensor frame rate)撷取取景区并产生包括连续的多个帧(frame)的一视频，而视频管线 直接由视频传感器接收这些帧之一作为一第一帧。视频管线对第一帧进行处理以产生一暂 时结果帧，再依据暂时结果帧以及直接由视频传感器接收的一第二帧以一视频帧频(video frame rate)产生视频结果，其中第二帧是为第一帧的下一个帧，且其中视频帧频小于传感 帧频。根据本发明的一实施范例，视频管线是可为选自由一影像处理单元、一影像缩 放(image scaling)单元、一影像混合(image blending)单元、一中贞频转换(frame rate conversion)单元以及一影像压缩单元所组成的群组中的一或其组合。根据本发明的另一实施范例，视频管线的影像混合单元依据暂时结果帧以及第二 帧产生视频结果。较佳的是，视频的处理装置另可包括一结果储存器，且视频管线将视频结 果储存于结果储存器。而本发明所提供的视频的处理方法是包括撷取取景区并产生视频，其中视频包 括连续的多个帧；直接接收这些帧之一作为第一帧，并对第一帧进行处理，以产生暂时结果 帧；直接接收第二帧，其中第二帧为第一帧的下一个帧；以及依据第二帧及暂时结果帧产 生视频结果。较佳的是，视频的处理方法是以视频管线接收这些帧之一作为第一帧，并对第一 帧进行处理以产生暂时结果帧。且上述依据第二帧及暂时结果帧产生视频结果的步骤可包 括以视频管线的影像混合单元处理第二帧与暂时结果帧，以产生视频结果。此外，视频的处理方法还可包括将暂时结果帧储存于暂时储存器。视频的处理方 法亦可包括将视频结果储存于结果储存器。且视频管线可将直接接收的这些帧中剩余的 部分交替地作为第一帧以及第二帧并处理之，直到这些帧都被处理完毕。综上所述，本发明的功效在于，根据本发明的视频的处理装置及其处理方法能够 利用具有较高的传感帧频的视频传感器得到影像，再令视频传感器直接将影像(的多个 帧)传送给视频管线。因此视频管线能直接得到需要的帧进行处理，而不需向输入缓冲器 要求。故根据上述处理方法，视频的处理装置不需配置任何输入缓冲器即能执行多尺寸或 是多帧的影像处理技术，可以有效降低整体的记忆体大小，以及记忆体所需的读写频宽。以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图IA为根据本发明一实施范例的视频的处理装置的方框示意图；图IB为根据本发明另一实施范例的视频的处理装置的方框示意图；图2为根据本发明一实施范例的视频的处理装置的流程方框图；图3为根据本发明另一实施范例的视频的处理方法的流程示意图；图4为根据本发明的多尺度应用范例的流程方框图；以及图5为根据本发明的多帧应用范例的流程方框图。其中，附图标记20视频的处理装置22视频传感器221传感器控制器
24暂时储存器26视频管线261，261，影像缩放单元262影像处理单元263影像混合单元28 结果储存器30 视频32，32，第一帧34,34'第二帧36，36，暂时结果帧38，38，视频结果40 微处理器42 编译码器44 显示引擎单元46 输入/输出单元48 显示装置
具体实施例方式以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领 域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求 范围及图式，本领域技术人员可轻易地理解本发明相关的目的及优点。本发明提供一种视频的处理装置及其处理方法，其是用以将一取景区撷取为一 视频结果。请参考图1A，其是为根据本发明一实施范例的视频的处理装置的方框示意图。 如图IA所绘示，视频的处理装置20包括一视频传感器(videosensor)22、一暂时储存器 (temporary memory) 24、一视频管线(video pipeline) 26以及一结果储存器沘。视频的处 理装置20借由视频传感器22依据取景区得到一视频(video)的原始数据(raw data)，再 由视频管线26将视频处理为视频结果。视频传感器22亦可称为影像传感器(image sensor)，例如可以是数字相机、手 机或是摄影机等装置的影像撷取单元或影像感光组件。举例而言，视频传感器22可以是 数字相机的电荷耦合组件(Charge Coupled Device, (XD)，亦或是互补金属氧化物半导体 (Complementary Metal-Oxide-Semiconductor,CMOS)感光组件。更详细的说，当使用者用 数字相机对周围景色撷取视频时，视频传感器22将通过镜头进入数字相机的景色的反射 光撷取为视频；而取景区即为可被数字相机的CCD或CMOS撷取到的景色。由视频传感器22 所撷取的视频可包括连续的多个帧(frame)，亦可包括音频(audio)。且，视频传感器22是 以较高的一传感帧频(sensor frame rate)对取景区撷取影像，传感帧频可以例如是每秒 60个帧或是每秒90个帧。随着科技的进步，以后视频传感器22的传感帧频甚至可能达到 每秒120个帧以上。需注意的是，视频传感器22的传感帧频需大于视频结果的一视频帧频 (video frame rate)。更佳的是，传感帧频可至少是视频帧频的两倍。此外，根据本发明所提供的视频的处理装置20及其处理方法主要是针对视频中的帧进行处理，对于音频的处理方法并无限制。视频管线沈在时间轴上依序接收视频传感器22所撷取的帧，并可对接收的帧进 行各种数字影像处理(Digital Image Processing, DIP)以得到视频结果。根据本发明的一实施范例，视频结果是指被视频管线沈处理过的帧，而这些处理 过的帧可合成为一输出视频(output video) 0而根据本发明的另一实施范例，视频的处理 装置20可接收多个帧并只产生视频结果作为输出，则此时的输出为一张静止影像(still image)。虽本说明书中多以输出视频的情况为例，但本发明所提供的视频的处理装置及其 处理方法亦可用于处理静止影像。视频管线沈可依功能包括数种不同的处理单元，且基本上视频管线沈至少可包 括一个影像处理单元。除了影像处理单元之外，视频管线26内亦可包括一影像缩放(image scaling)单兀、一影像混合(image blending)单兀、一中贞步页转换(frame rate conversion) 单元、一影像压缩单元等处理单元。以下概略地介绍这些处理单元。影像缩放单元是用以将帧进行缩小(downsizing，或称为down-scaling)或是放 大(upsizing，或称为up-scaling)。当使用者对视频结果的分辨率要求不高时，视频的处 理装置20可使用影像缩放单元降低视频的分辨率，以节省储存视频结果的所需空间。且进 行例如超分辨率(Super Resolution)等数字影像处理时，亦需要用到影像缩放单元。又例 如影像缩放单元可将一个影像(或帧)处理成不同分辨率，以获得影像在不同分辨率下的 影像特性。影像混合单元则用以将多个(大部分是两个)帧混合成为一个新的帧。影像混合 单元可依据被混合的帧中的各像素(pixel)的RGB色彩或是亮度，计算得到新的帧的RGB 色彩或是亮度，而得到各种不同的混合效果。帧频转换单元用以在一定范围内提高或降低输出视频的视频帧频。帧频转换单元 减少输出视频内包含的视频结果数量以降低视频帧频，亦可用内插法产生补间帧并加入输 出视频内以提高视频帧频。而帧频转换单元亦可由软件控制，而不需额外的硬件单元。影像压缩单元可使用破坏性压缩，即降低帧的质量以减少视频结果所占用的储存 空间。影像压缩单元亦用以将输出视频压缩为不同的视频格式，视频格式可例如是由动态 影像专家组织(Moving Picture Experts Group,MPEG)所制定的MPEG-2格式，或是重视画 质的蓝光(Blu-ray)格式。影像处理单元可对影像进行多种处理，例如锐利化(sharping)、色彩补正或是去 除红眼、自动白平衡、色调处理等。依据所需的功能不同，影像处理单元所使用的过滤器及 运算方法可有各式各样的变化，于本发明并不对其进行限制。影像处理单元亦可使用过滤 器(filter)去除帧中的盐椒噪声(Salt andpepper noise)或是高感光度噪声(high ISO noise)等噪声，以得到较好的画面质量。举例而言，简单的过滤器可以例如是中值滤波器 (median filter)或是线性过滤器。图IB是为根据本发明另一实施范例的视频的处理装置的方框示意图。如图IB所 绘示，视频的处理装置20除了包括视频传感器22、暂时储存器M、视频管线沈以及结果储 存器观外，尚包括一传感器控制器221、一微处理器40、一编译码器(codec)42、一显示引擎 单元(display engine unit) 44、一输入 / 输出单元 46。
传感器控制器221是用于产生高速控制信号来控制视频传感器22。微处理器40是控制视频的处理装置20的整体运作，例如发送各种命令以令视频 管线沈等配合处理视频传感器22所撷取的影像。编译码器42则用以将影像进行编码与压缩，例如可将影像转换为音频视频交错 格式(Audio Video Interleave format,AVI format)或是动态影像压缩标准格式(Moving Picture Experts Group, MPEG format)等视频格式。显示引擎单元44是用以将视频传感器22所撷取的影像或是由外部储存器所读 取的影像显示于和视频的处理装置20相连的一显示装置48。其中，显示装置48是根据视 频帧频输出视频，且视频帧频是低于传感帧频，更佳的是，传感帧频可至少是视频帧频的两 倍。再者，显示装置48可已装设在视频的处理装置20上，如液晶显示器(Liquid Crystal Display, IXD)等，或是与视频的处理装置20外接，如电视屏幕。视频的处理装置20并可包括一输入/输出单元46，可以是如外部记忆卡控制单 元，用于将处理过后的视频数据储存至记忆卡中，其中记忆卡可为安全数字卡(Secured Digital Card, SD 卡)、记忆体堆栈记忆卡(Memory Stick MemoryCard, MS 卡)、压缩快闪 记忆卡(Compact Flash Memory Card, CF 卡)等。借由具有上述处理单元的视频管线沈，被视频传感器22撷取的视频的帧被转换 为视频结果，多个视频结果并成为输出视频。而在视频管线26处理帧的过程，亦可将部分 处理过的帧作为一暂时结果帧，并将暂时结果帧储存在暂时储存器M。且根据本发明的一 实施范例，暂时储存器M是可被配置于视频管线沈内。也就是说，暂时储存器对可以是 视频管线26的一个内部储存器(internal storage)或是第二级快取(L2cache)。更详细的说，视频管线沈直接接收被视频传感器22所撷取的帧之一作为一第一 帧，并对第一帧进行处理而产生暂时结果帧，并可将暂时结果帧存入暂时储存器24。接着视 频管线沈由视频传感器22直接接收第一帧的下一个帧作为一第二帧，视频管线沈再依据 暂时结果帧以及第二帧产生视频结果。根据本发明的一实施范例，视频管线沈可将处理完成的视频结果(以及输出视 频)储存于结果储存器观，且结果储存器观是可为视频管线沈的外部储存器(external storage)。根据本发明的另一实施范例，暂时储存器M亦可与结果储存器观为同一个储 存器，而以记忆体地址(address)区隔。换句话说，暂时储存器M与结果储存器观可为同 一个储存器的不同记忆体地址的储存空间。请同时参考图1A、图IB与图2，其中图2是为根据本发明一实施范例的视频的处 理装置的流程方框图。于此实施范例中，视频传感器22的传感帧频是为输出视频的视频帧 频的两倍。如图2所绘示，视频传感器22根据传感帧撷取一取景区而产生视频30，且视频 30包括多个帧。视频管线沈包括影像缩放单元沈1、影像处理单元沈2以及影像混合单元 263。视频管线沈直接由视频传感器22接收这些帧之一以作为一第一帧32，并对第一 帧32进行处理后产生暂时结果帧36，且暂时结果帧36被存入暂时储存器M。接着视频管 线沈接收并处理第二帧34，再以影像混合单元263将处理过的第二帧34以及自暂时储存 器M读出的暂时结果帧36混合为视频结果38。之后，视频结果38可储存在结果储存器 28中。
随着时间的经过，视频管线沈再接收第一帧32’并产生暂时结果帧36’，第二帧 34’与暂时结果帧36’再经影像混合单元263混合后，产生视频结果38’。视频管线沈如 此重复接收帧与处理的步骤直到处理完所有视频传感器22所传送的帧为止，以得到相对 应于视频30的视频结果38。此外，视频结果38可经由编译码器42译码后，经由显示引擎单元44显示于显示 装置48上，且显示装置48是以低于传感帧频的视频帧频输出视频结果38，例如当视频传感 器22所用的传感帧频是每秒60帧时，则显示装置48以每秒30帧的视频帧频输出视频结 果38。请参照图3，其是为根据本发明另一实施范例的视频的处理方法的流程示意图。由 图3可以知悉，视频的处理方法可包括步骤SlOO 撷取取景区并产生视频，其中视频包括连 续的多个帧；步骤SllO 接收这些帧之一作为第一帧，并对第一帧进行处理，以产生暂时结 果帧；步骤S120 接收第二帧，其中第二帧为第一帧的下一个帧；步骤S130 依据第二帧及 暂时结果帧产生视频结果；以及步骤S140 重复执行步骤S110、S120以及S130，直到所有 帧处理完为止。其中步骤SllO是可由视频管线沈执行，而步骤S130是可由影像混合单元263执 行。更佳的是，于步骤SllO得到暂时结果帧36之后，视频的处理方法还可包括步骤将暂 时结果帧36储存于暂时储存器M。此外，于步骤S130得到视频结果38后，视频的处理方 法还可包括步骤将视频结果38储存于结果储存器观。需注意的是，第一帧32以及第二帧34是为视频管线沈直接从视频传感器22接 收而来。上述步骤SlOO至步骤S130是为视频的处理方法产生单一个视频结果38的步骤。 在步骤S140，视频的处理方法可重复执行这些步骤直到处理完视频30的所有帧，并得到包 括所有视频结果38的输出视频为止。意即视频管线沈可将直接接收的这些帧中剩余的部 分交替地作为第一帧32以及第二帧34并处理之，直到视频30的帧都被处理完毕。更详细地说，视频管线沈是将视频30中剩余的帧依序交替地作为第一帧32以及 第二帧34，且视频管线沈对第一帧32处理以产生暂时结果帧36。视频管线沈再依据暂 时结果帧36以及直接由视频传感器22接收的第二帧34产生视频件结果38。视频管线沈 并以小于传感帧频的视频帧频输出视频结果38，直至处理完视频30的这些帧为止。接下来请参照图4以及图5，其分别为根据本发明的多尺度应用(multi-scale application)范例以及多帧应用(multi-frame application)范例的流程方框图。图4以 及图5的实施范例是为利用本发明所提供的视频的处理装置20实作的多尺度及多帧应用 范例。于图4的实施范例中，视频传感器22提供第一帧32以及第二帧34予视频管线沈， 视频管线26并以两阶段的处理以产生视频结果38。于本实施范例中，视频传感器22的传 感帧频为输出所需的视频帧频的两倍，且视频管线26含有影像缩放单元沈1、影像缩放单 元洸1，、影像处理单元262及一影像混合单元洸3，其中影像缩放单元261是作为一第一影 像缩放单元，影像缩放单元作为一第二影像缩放单元，这两者是一对的，皆具支持影像 放大或缩小功能，当其中一个进行放大影像时，另一个则进行缩小影像。于第一阶段的处理中，视频管线沈可使用影像缩放单元261先将第一帧32缩小，并以影像处理单元262抽出被缩小的第一帧32的一影像特征。影像特征可例如是以一边 缘检测(edge-detection)方法得到的第一帧32中的边缘，亦可以是以一低通滤波器(low pass filter)处理后得到的第一帧32的低频部分，然后此处理过的第一帧32作为暂时结 果帧36且存在暂时储存器M中。在第二阶段处理中，暂时结果帧36 (被缩小的第一帧32) 被送至影像混合单元263进行混合前，视频管线沈会先以影像缩放单元将缩小过的 第一帧32放大回原本的分辨率。且于第二阶段的处理中，视频管线沈接收第二帧34并以影像处理单元262处理 第二帧34。最后，自暂时储存器M读出暂时结果帧36，且由于暂时结果帧36是一缩小过 的第一帧32，故先利用影像缩放单元使之放大回原本的分辨率，再送至影像混合单元 263与处理过的第二帧34混合为视频结果38。同理，剩余的帧会重复性如前述方式处理，遂不再赘述。根据本发明的另一实施范例，视频管线沈亦可选取影像特征的部分，并仅将影像 特征放大回原先的分辨率，以供之后经由影像混合单元263与处理过的第二帧34混合为视 频结果38。更详细地说，影像特征可具有一原始尺寸(即为第一帧32以及影像特征的原本的 分辨率)。在第一阶段中，影像缩放单元261作为第一影像缩放单元用以改变第一帧32的 尺寸。接着影像处理单元262从已改变尺寸的第一帧32中选择影像特征作为暂时结果帧 36。接着，于第二阶段的处理中，视频管线沈接收第二帧34并以影像处理单元262处理第 二帧34。最后，自暂时储存器M读出暂时结果帧36。且由于暂时结果帧36是一已改变尺 寸(改变分辨率)的影像特征，故先利用影像缩放单元261’作为第二影像缩放单元将影像 特征的尺寸回复至原始尺寸(原本分辨率)，再送至影像混合单元沈3与处理过的第二帧 ；34混合为视频结果38。同理，剩余的帧会重复性如前述方式处理，遂不再赘述。其中，当影像缩放单元261是缩小影像时，则影像缩放单元就是放大影像；反 之，当影像缩放单元261是放大影像时，则影像缩放单元就是缩小影像。前述的实施例是利用影像缩放单元与互相搭配，但由于一个影像缩放单 元261本身就具有放大与缩小影像两种功能，所以亦可以根据需求，只通过一个影像缩放 单元261来实现。例如，假若目前的视频管线沈只有影像缩放单元沈1，则影像缩放单元 261接收第一帧32并改变第一帧32的尺寸，之后影像处理单元262从已改变尺寸的第一帧 32中选择影像特征作为暂时结果帧36。接着亦由影像缩放单元261将影像特征的尺寸回 复至原始尺寸，再送至影像混合单元沈3。相较之下，现有的多尺寸应用的做法需以一额外的输入缓冲器保存影像传感器所 撷取的帧，以供管线以输入缓冲器内的帧进行第一阶段与第二阶段的处理。由于本发明所 提供的视频的处理装置20的视频传感器22具有较高的传感帧频，因此视频传感器22能够 实时连续提供第一帧32与第二帧34。故与现有的做法相比，本发明所提供的视频的处理装 置20并不需要输入缓冲器的支持。于图5的多帧应用的实施范例中，视频传感器22的传感帧频为输出所需的视频帧 频的两倍。举例而言，第一帧32是为数字相机的镜头以1/45秒的曝光时间撷取得到，而第 二帧34是以1/90秒的曝光时间撷取得到。则处理过的视频结果38可为一张具有1/30秒的曝光时间的影像，且视频结果38的质量是比直接以1/30的曝光时间来撷取得到的帧更 好。例如视频结果38可比以1/30的曝光时间来撷取得到的帧具有更少的噪声，或是更清 晰的对比。和图4的实施范例一样，由于视频传感器22具有较高的传感帧频，因此视频的处 理装置20并不需要现有的输入缓冲器与读写输入缓冲器的频宽。且去除输入缓冲器后，因 输入缓冲器所造成的帧延迟(frame delay)的问题亦随之消失。此外，由于第一帧32与第二帧34是为不同的影像，也就是说第一帧32与第二帧 34中可具有不同的影像信息。因此视频管线沈能得到更多的影像信息，以产生较佳的视频结果。且根据本发明的视频的处理装置及其处理方法可适用于各种数字影像处理的技 术，例如视频文字检测(video text detection)、运动事件检测(sport eventdetection)、 方框假象减轻(blocking-artifact reduction)、动态检测 / 补偿(motiondetection/ compensation)、超分辨率、模糊去除(blur deconvolution)、人脸辨识(face recognition)或是视频稳固(video stabilization，亦称为防手震)。综上所述，根据本发明的视频的处理装置及其处理方法能够利用具有较高的传感 帧频的视频传感器得到影像，再令视频传感器直接将影像(的多个帧)传送给视频管线。视 频管线直接得到多个需要的帧作为输入并进行处理，而不需向输入缓冲器要求相同的帧作 为输入，有效降低整体的记忆体大小，并降低将影像读出或写入记忆体时所需的频宽。故根 据上述处理方法，视频的处理装置不需配置任何输入缓冲器即能执行多尺寸或是多帧的影 像处理技术。也就是说，根据本发明的视频的处理装置及其处理方法可解决现有的管线系 统需要输入缓冲器所造成的硬件成本较高以及帧延迟等问题。当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟 悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变 形都应属于本发明所附的权利要求的保护范围。
权利要求
1.一种视频的处理装置其特征在于，包括一视频传感器，以一传感帧频撷取一取景区并产生一视频，其中该视频包括多个帧；以及一视频管线，直接由该视频传感器接收该些帧之一作为一第一帧，对该第一帧处理以 产生一暂时结果帧，该视频管线再依据该暂时结果帧以及直接由该视频传感器接收的一第 二帧产生一视频结果，并以小于该传感帧频的一视频帧频输出该视频结果，其中该第二帧 为该第一帧的下一个帧。
2.根据权利要求1所述的视频的处理装置，其特征在于，该视频管线将剩余的该些帧 依序交替地作为该第一帧以及该第二帧，且该视频管线对该第一帧处理以产生该暂时结果 帧，该视频管线再依据该暂时结果帧以及直接由该视频传感器接收的该第二帧产生该视频 结果，并以小于该传感帧频的该视频帧频输出该视频结果，直至处理完该些帧为止。
3.根据权利要求1所述的视频的处理装置，其特征在于，其中该视频管线包括 一影像混合单元，该影像混合单元混合该暂时结果帧以及该第二帧以产生该视频结^ ο
4.根据权利要求1所述的视频的处理装置，其特征在于，该第一帧具有至少一影像特 征，该影像特征具有一原始尺寸，该视频管线包括一第一影像缩放单元，接收该第帧并改变该第一帧的尺寸；以及 一影像处理单元，从已改变尺寸的该第一帧中选择该影像特征以作为该暂时结果帧， 该第一影像缩放单元再将该暂时结果帧的尺寸回复至该原始尺寸后，传送回复至该原始尺 寸的该影像特征至该影像混合单元以与该第二帧进行混合以产生该视频结果。
5.根据权利要求1所述的视频的处理装置，其特征在于，该第一帧具有至少一影像特 征，该影像特征具有一原始尺寸，该视频管线包括一第一影像缩放单元，接收该第一帧并改变该第一帧的尺寸； 一影像处理单元，从已改变尺寸的该第一帧中选择该影像特征以作为该暂时结果帧；以及一第二影像缩放单元，将该暂时结果帧的尺寸回复至该原始尺寸后，传送回复至该原 始尺寸的该影像特征至该影像混合单元以与该第二帧进行混合以产生该视频结果。
6.根据权利要求1所述的视频的处理装置，其特征在于，该视频管线为选自由一影像 处理单元、一影像缩放单元、一影像混合单元、一帧频转换单元以及一影像压缩单元所组成 的群组中之一或其组合。
7.一种视频的处理方法，用以将一取景区撷取为一视频结果，其特征在于，包括 以一传感帧频撷取该取景区并产生一视频，其中该视频包括多个帧；(a)直接接收该些帧之一作为一第一帧，并对该第一帧进行处理，以产生一暂时结果帧；(b)直接接收一第二帧，其中该第二帧为该第一帧的下一个帧；以及(c)依据该第二帧及该暂时结果帧产生该视频结果，并以小于该传感帧频的一视频帧 频输出该视频结果，其中该视频帧频小于该传感帧频。
8.根据权利要求7所述的视频的处理方法，其特征在于，还包括 将剩余的该些帧交替地作为该第一帧以及该第二帧；以及重复执行步骤(a)、(b)以及(c)，直到处理完剩余的该些帧为止。
9.根据权利要求7所述的视频的处理方法，其特征在于，该步骤(a)以一视频管线执 行，且该视频管线为选自由一影像处理单元、一影像缩放单元、一影像混合单元、一帧频转 换单元以及一影像压缩单元所组成的群组中之一或其组合。
10.根据权利要求9所述的视频的处理方法，其特征在于，该步骤(a)以一视频管线执 行，且该步骤(a)包括以该视频管线的一第一影像缩放单元，改变该第一帧的尺寸；以及 以该视频管线的一影像处理单元，从已改变尺寸的该第一帧中选择该第一帧的一影像 特征以作为该暂时结果帧； 且该步骤(c)包括以该第一影像缩放单元将该暂时结果帧的尺寸回复至该影像特征的一原始尺寸，并传 送回复至该原始尺寸的该影像特征至该影像混合单元；以及以该影像混合单元混合回复至该原始尺寸的该影像特征以及该第二帧，以产生该视频结果。
11.根据权利要求9所述的视频的处理方法，其特征在于，该步骤(a)以一视频管线执 行，且该步骤(a)包括以该视频管线的一第一影像缩放单元，改变该第一帧的尺寸；以及 以该视频管线的一影像处理单元，从已改变尺寸的该第一帧中选择该第一帧的一影像 特征以作为该暂时结果帧； 且该步骤(c)包括以该视频管线的一第二影像缩放单元将该暂时结果帧的尺寸回复至该影像特征的一 原始尺寸，并传送回复至该原始尺寸的该影像特征至该影像混合单元；以及以该影像混合单元混合回复至该原始尺寸的该影像特征以及该第二帧，以产生该视频结果。
全文摘要
一种视频的处理装置及其处理方法，用以将取景区撷取为视频结果。视频的处理装置包括视频传感器、暂时储存器；以及视频管线。其中视频传感器以传感帧频撷取取景区并产生包括多个帧的视频，而视频管线直接由视频传感器接收这些帧之一作为第一帧。视频管线对第一帧进行处理以产生暂时结果帧，再依据暂时结果帧以及直接由视频传感器接收的第二帧以视频帧频产生视频结果。其中且视频帧频小于传感帧频。视频的处理方法则利用视频的处理装置将取景区撷取为视频结果。
文档编号H04N5/91GK102118598SQ20091025889
公开日2011年7月6日 申请日期2009年12月30日 优先权日2009年12月30日
发明者林伯荣, 陈水淋 申请人:华晶科技股份有限公司