专利名称：视频处理装置及方法
技术领域：
本发明有关于视频处理，且特别有关于可以将表示为二维(two-dimensional)视频帧的视频流转换为观察者可利用三维(three-dimensional)透视感知到的立体视频流 (stereoscopic video stream)的视频处理装置及方法。
背景技术：
伴随多媒体应用及相关显示技术的发展，对于能够产生更具体及更真实图像(例如立体的或三维的视频)的显示技术的需求正日渐增长。一般来说，基于观看者立体视觉的生理因素，例如观看者双眼之间的视觉差异(或所谓双眼视差(binocular parallax)), 运动视差等，观看者可将显示在屏幕上的合成图像感知为立体或三维图像。这是因为两只眼睛所看到的同一物体的景象有轻微不同。当前，为获得具有真实三维视图的立体图像，需要具有至少两台摄相机的专用三维图像系统来合成每一台摄相机同时捕捉的景象。举例来说，可利用两台摄相机同时分别记录左眼及右眼的视图，从而可依据上述两视图而形成对应的立体或三维图像。然而，上述多摄相机系统需要较高的设备成本、复杂的配置以及可能引入多摄相机自不同视图记录同一场景的同步问题。在某些情况下，可能需要能够将任一原始记录为二维的视频内容转换为立体或三维视频内容的装置及方法。
发明内容
有鉴于此，本发明特提供以下技术方案本发明实施例提供一种视频处理装置，用于将多个二维视频帧转换为多个立体视频帧，视频处理装置包含比较单元、时序转换器及空间转换器。比较单元用于接收一系列二维视频帧，以及为该多个二维视频帧提供指示时序差异数据的比较结果；时序转换器耦接于比较单元，用于依据比较结果修正该多个二维视频帧；空间转换器耦接于比较单元及时序转换器，用于依据修正的多个二维视频帧的每一帧产生立体帧对，其中立体帧对包含左眼视频帧及右眼视频帧，用于提供由人类双眼所感知到的视觉差异。本发明实施例另提供一种视频处理方法，用于将多个二维视频帧转换为多个立体视频帧，视频处理方法包含接收一系列二维视频帧；为该多个二维视频帧提供指示时序差异数据的比较结果；依据比较结果修正该多个二维视频帧；以及依据修正的多个二维视频帧的每一帧产生立体帧对，其中立体帧对包含左眼视频帧及右眼视频帧，用于提供由人类双眼所感知到的视觉差异。利用本发明的视频处理装置及方法，可将现有二维视频帧转换为立体视频帧。
图1是依据本发明的一个实施例的用于将二维视频帧转换为立体视频帧的装置
4的示意图。图2A及图2B是由人类双眼所感知到的视觉差异示意图。图3是依据本发明另一实施例的用于将二维视频帧转换为立体视频帧的装置的示意图。图4是依据本发明另一实施例的用于将二维视频帧转换为立体视频帧的装置的示意图。图5是依据本发明的一个实施例的用于将二维视频帧转换为立体视频帧的方法的流程图。图6是依据本发明另一实施例的用于将二维视频帧转换为立体视频帧的方法的流程图。
具体实施例方式在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。在通篇说明书及权利要求书当中所提及的「包含」是开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。图1是依据本发明一个实施例的用于将二维视频帧转换为立体视频帧的装置10 的示意图。请参考图1，将二维视频帧转换为立体视频帧的装置10包含比较单元 104、时序转换器(temporal transform operator) 106 及空间转换器(spatial transformoperator)108。在操作的过程中，比较单元104接收二维视频内容，举例来说，一系列二维视频帧 102。特别地，比较单元104为该多个二维视频帧102提供指示时序差异数据的比较结果 112。依据一个实施例，比较单元104可执行基于像素的检测，以获得当前帧及至少一先前帧的像素之间的亮度变化或色度变化。依据另一实施例，比较单元104可执行基于块或基于物体的运动检测，以获得与该多个二维视频帧102相关的运动信息。举例来说，运动信息可通过运动向量表示，以指示连续二维视频帧102内的特定物体或区域的运动速度及方向。由比较单元104比较的比较结果112随后被提供给时序转换器106用于进一步的视频处理操作。耦接于比较单元104的时序转换器106依据比较结果112修正该多个二维视频帧 102。在一个实施例中，时序转换器106可包含噪声抑制滤波器(noise reductionfilter)(未展示)，该噪声抑制滤波器被选定并被启动，用于移除该多个二维视频帧102的噪声，例如空间噪声(spatial noise)及时序噪声(temporal noise)。举例来说，当从一帧到另一帧的运动信息并未发生太多改变时，噪声抑制滤波器可执行帧平均(frame average)，以移除二维视频帧102内的时序噪声或随机噪声，并获得一系列噪声抑制视频帧。在另一实施例中，时序转换器106可包含去交错器(未展示)，该去交错器被选定并被启动，用于依据运动信息去交错该多个二维视频帧。可选地，去交错器可去交错自噪声抑制滤波器输出的该多个噪声抑制视频帧。假定该多个二维视频帧102被交错，例如每秒50个交错场，并且每一场都仅有视频帧的奇数列或偶数列。随后，去交错器将该多个交错二维视频帧102转换为50Hz渐进扫描视频流，50Hz渐进扫描视频流的帧具有视频帧的所有列。特别地，本发明可以使用多种去交错技术，举例来说，包含空间插值(spatial interpolation)技术的bob去交错器或包含场合并(field merge)技术的组织去交错器 (weave deinterlacer) 0请注意，渐进扫描视频流可被反馈至噪声抑制滤波器以移除随后的视频帧的噪声。在又一实施例中，时序转换器106可包含运动颤抖消除器(未展示)，该运动颤抖消除器被选定并被启动，用于对该多个二维视频帧102执行帧率(frame rate)上转换 (up-conversion)，以抑制运动颤抖效果。举例来说，当帧率为M帧每秒的该多个二维视频帧102显示在显示帧率为60帧每秒的显示装置上时，通过基于运动信息内插来自于连续视频帧的运动物体的位置及静止背景，运动颤抖消除器将采样率上转换为显示帧率，从而抑制运动颤抖缺陷。请注意，运动颤抖消除器可对从去交错器输出的渐进扫描视频流执行运动颤抖消除。更请注意，帧率上转换也可先于或后于去交错器实施。此外，应注意，被选定并被启动用于该多个二维视频帧102的视频处理操作并不限于噪声抑制、去交错或运动颤抖消除，其可为任一时序修正操作。在图1的实施例中，存储单元110可进一步用于存储比较结果112及至少一部分二维视频帧，以便通过时序转换器106执行随后的视频处理操作。如图1所示，该多个已修正的视频帧114(已修正的视频帧114为二维视频帧)被随后输出至空间转换器108。在操作期间，耦接于比较单元104及时序转换器106的空间转换器108用于依据已修正的视频帧114的每一帧产生一立体帧对。详细的说，立体帧对包含左眼视频帧116及右眼视频帧118，用于提供由人类双眼所感知到的视觉差异。图2A及图2B是由人类双眼所感知到的视觉差异示意图。如图2A所示，直角坐标 (rectangular coordinate) (Χ, Y)被定义。此外，如图2Β所示，被观察者的左眼及右眼分别感知的直角坐标(Χ，Υ)为两个反向梯形(trapezoid-likeshape) LEFT及RIGHT。在图2B 中，梯形LEFT代表由观察者的左眼感知到的图2A中的坐标(X，Y)，而梯形RIGHT代表由观察者的右眼感知到的图2A中的坐标(X，Y)。依据一个实施例，两个反向梯形LEFT及RIGHT 的水平位置X及垂直位置Y通过具有对应缩放因子(scale factor)的两特定空间转换矩阵更新。举例来说，新垂直位置Y可基于梯形的坡度更新，而由于双眼视差(亦即，人类双眼之间的视觉差异)，新水平位置X需要通过可变缩放因子更新。特别地，可基于观察者的左眼及右眼之间的关联性而导出分别被水平视差及垂直视差诱发的两特定空间转换矩阵。 就其本身而论，特定空间转换矩阵用于将直角坐标(X，Y)转换为具有所需要的立体或三维效果的一对反向梯形LEFT及RIGHT，二者分别代表左眼视频帧116及右眼视频帧118。图3是依据本发明另一实施例的用于将二维视频帧转换为立体视频帧的装置30的示意图。如图3所示，除整合的比较单元304之外，装置30类似于图1的装置10。此夕卜， 图3中使用与图1所示的相同标号的器件执行相同功能，因此，为简洁起见，此处省略进一步的描述。在本实施例中，图1的存储单元110可被整合到图1中的比较单元104中作为整合的比较单元304，以便减少存储器存取延迟。图4是依据本发明另一实施例用于将二维视频帧转换为立体视频帧的装置40的示意图。请参考图4，装置40类似于图1中的装置10，因此，为简洁起见，此处省略对于与图1所示的相同标号的器件的进一步描述。在本实施例中，在时序转换器406利用比较结果112修正存储在存储单元110的该多个二维视频帧102之后，时序转换器406更依据已修正的视频帧中的每一个产生一虚拟帧对。依据一个实施例，时序转换器406可直接复制已修正的视频帧的每一帧，用于分别产生虚拟帧对的第一视频帧414L (用于观察者的左眼)及第二视频帧414R(用于观察者的右眼)。在此情况下，如图4所示的空间转换器408可更包含左眼空间转换器408L，被指定用于第一视频帧414L，以及右眼空间转换器408R，被指定用于第二视频帧414R。在操作过程中，左眼空间转换器408L用于依据虚拟视频对的第一视频帧414L产生立体视频对的左眼视频帧416。此外，右眼空间转换器408R用于依据虚拟视频对的第二视频帧414R产生立体视频对的右眼视频帧418。图5是依据本发明的一个实施例用于将二维视频帧转换为立体视频帧的方法50 的流程图。具体地，方法50用于将原始记录为具有二维视频帧的二维视频内容转换为立体或三维视频内容的即时(real-time)转换。就其本身来说，方法50有利的允许观察者可选的以立体或三维视频内容的形式以期望的立体或三维效果欣赏二维视频内容。请参考图1及图5，比较单元104接收具有一系列二维视频帧102的原始记录二维视频内容(步骤S502)。随后，比较单元104比较二维视频帧102，以为该多个二维视频帧提供指示时序差异数据的比较结果112(步骤S504)。根据上述描述，比较单元104可依据随后的视频处理操作执行基于像素的检测、 基于物体的运动检测及/或基于块的运动检测。举例来说，比较单元104可执行基于块的运动检测，例如，块匹配检测，以获取关于运动向量的运动信息，用于指示连续视频帧102内的特定物体或区域的运动速度或方向。随后，比较单元104将比较结果112输出至时序转换器106。在操作期间，时序转换器106可依据比较结果112修正该多个二维视频帧102以用于一个或多个视频处理操作，所述操作包含但不限于噪声抑制、去交错、运动颤抖消除或类似操作(步骤S506)。通过时序转换器106执行的部分视频处理操作于先前与图1相关的实施例中详述过，因此，为简洁起见，此处不再赘述。此外，应注意，图1的存储单元110可被整合在图1中的比较单元104中而作为图 3的整合的比较单元304，以便减少存储器存取延迟。
随后，空间转换器108依据已修正的视频帧114中的每一个产生一立体帧对(步骤S508)。具体地，立体帧对包含左眼视频帧116及右眼视频帧118，用于提供由人类双眼所感知到的视觉差异。根据上述描述，当观察者分别用左眼及右眼观察图2A所示的直角坐标(X，Y)时， 可同时以水平视差及垂直视差(亦即，人类双眼之间的视觉差异)感知到多个相关立体视图，例如图2B中所示的一对反向梯形LEFT及RIGHT。就其本身来说，由人类双眼所诱发的梯形失真必须通过在水平及垂直方向执行转换而被修正。更具体来说，代表二维视频帧的直角坐标(X，Y)可通过两特定空间转换矩阵变形或转换为具有期望的立体或三维效果的该对反向梯形LEFT及RIGHT。依据一个实施例，在空间转换器108产生该立体帧对之后，亦即，左眼视频帧116 及右眼视频帧118，观察者戴上专用眼镜，举例来说，偏光眼镜(polarization glasses)或快门眼镜(shutter glasses)，可感知合成视频帧，该合成视频帧通过立体帧对的左眼视频帧116及右眼视频帧118格式化为立体的或三维的。依据另一实施例，自动立体化显示装置，而非专用眼镜，可用于显示呈现为三维的合成视频帧。图6是依据本发明另一实施例的用于将二维视频帧转换为立体视频帧的方法60 的流程图。请参考图4及图6，比较单元104接收一系列二维视频帧102 (步骤S6(^)。此外， 该多个二维视频帧102可被存储于存储单元110中用于随后的视频处理操作。随后，比较单元104为该多个二维视频帧102提供指示时序差异数据的比较结果 112 (步骤S604)。如前所述，比较单元104可执行基于像素的检测、基于物体的运动检测及 /或基于块的运动检测，用于获取比较结果112，例如像素之间的亮度变化、与该多个二维视频帧102相关的运动信息等。随后，比较结果112被提供给时序转换器406，用于相对于不同视频处理操作(例如噪声抑制、去交错、运动颤抖消除等)对该多个二维视频帧102进行进一步修正。请注意， 通过时序转换器406执行的视频处理操作的细节在先前与图1相关的实施例中详述过，因此，为简洁起见，此处不再赘述。基于二维视频帧102的视频处理操作，时序转换器406依据已修正的视频帧的每一帧产生一虚拟帧对，该虚拟帧对包含第一视频帧414L及第二视频帧414R(步骤S606)。在本范例性实施例中，输出至空间转换器408的第一视频帧414L 及第二视频帧414R分别被指定用于观察者的左眼及右眼。此外，空间转换器408内的左眼空间转换器408L及右眼空间转换器408R用于产生一立体帧对，亦即依据该虚拟帧对产生一立体帧对(步骤S608)。此处，左眼空间转换器 408L基于指定用于左眼的空间转换矩阵将第一视频帧414L转换为该立体帧对的左眼视频帧416。类似地，右眼空间转换器408R基于指定用于右眼的另一空间转换矩阵将第二视频帧414R转换为该立体帧对的右眼视频帧418。此外，于空间转换器408产生立体帧对(亦即，左眼视频帧416及右眼视频帧418)之后，由立体帧对的左眼视频帧416及右眼视频帧 418形成的合成视频帧可由用户通过专用眼镜或自动立体显示装置感知为立体的或三维的。前述提供的实施例在无需耗费用于安排专用图像摄相机记录左眼及右眼透视图的额外装置成本的情形下，提供可行且灵活的解决方案，实现用于基于时域(temporaldomain)转换及空间(spatial domain)转换的将现有二维视频帧转换为立体视频帧的方
法及装置。 以上所述仅为本发明的较佳实施例，本领域相关的技术人员依据本发明的精神所做的等效变化与修改，都应当涵盖在权利要求书内。
权利要求
1.一种视频处理装置，用于将多个二维视频帧转换为多个立体视频帧，该视频处理装置包含比较单元，用于接收一系列二维视频帧，以及为该多个二维视频帧提供指示时序差异数据的比较结果；时序转换器，耦接于该比较单元，用于依据该比较结果修正该多个二维视频帧； 空间转换器，耦接于该比较单元及该时序转换器，用于依据修正的多个二维视频帧的每一帧产生立体帧对，其中该立体帧对包含左眼视频帧及右眼视频帧，用于提供由人类双眼所感知到的视觉差异。
2.根据权利要求1所述的视频处理装置，其特征在于，该比较单元执行基于像素的检测，用于获得多个像素之间的亮度变化或色度变化。
3.根据权利要求1所述的视频处理装置，其特征在于，该比较单元执行基于块的运动检测，用于获得与该多个二维视频帧相关的运动信息。
4.根据权利要求3所述的视频处理装置，其特征在于，该时序转换器包含去交错器，用于依据该运动信息去交错该多个二维视频帧并获得渐进扫描视频流。
5.根据权利要求1所述的视频处理装置，其特征在于，该时序转换器包含噪声抑制滤波器，用于移除该多个二维视频帧的噪声，以及获得一系列噪声抑制视频帧。
6.根据权利要求1所述的视频处理装置，其特征在于，该时序转换器包含运动颤抖消除器，用于对该多个二维视频帧执行帧率转换，以抑制运动颤抖效果。
7.根据权利要求1所述的视频处理装置，更包含存储单元，用于存储该比较结果及至少部分该多个二维视频帧。
8.根据权利要求1所述的视频处理装置，其特征在于，该时序转换器更依据修正的该多个二维视频帧的每一帧产生虚拟帧对。
9.根据权利要求8所述的视频处理装置，其特征在于，该时序转换器复制修正的该多个二维视频帧的每一帧以分别产生该虚拟帧对的第一视频帧及第二视频帧。
10.根据权利要求9所述的视频处理装置，其特征在于，该空间转换器包含左眼空间转换器，用于依据该虚拟帧对的该第一视频帧产生该立体帧对的该左眼视频帧；以及右眼空间转换器，用于依据该虚拟帧对的该第二视频帧产生该立体帧对的该右眼视频帧。
11.一种视频处理方法，用于将多个二维视频帧转换为多个立体视频帧，该视频处理方法包含接收一系列二维视频帧；为该多个二维视频帧提供指示时序差异数据的比较结果； 依据该比较结果修正该多个二维视频帧；以及依据修正的多个二维视频帧的每一帧产生立体帧对，其中该立体帧对包含左眼视频帧及右眼视频帧，用于提供由人类双眼所感知到的视觉差异。
12.根据权利要求11所述的视频处理方法，其特征在于，提供该比较结果的该步骤包含执行基于像素的检测，用于获得多个像素之间的亮度变化或色度变化。
13.根据权利要求11所述的视频处理方法，其特征在于，提供该比较结果的该步骤包含执行基于块的运动检测，用于获得与该多个二维视频帧相关的运动信息。
14.根据权利要求13所述的视频处理方法，其特征在于，修正该多个二维视频帧的该步骤包含依据该运动信息去交错该多个二维视频帧；以及获得渐进扫描视频流。
15.根据权利要求11所述的视频处理方法，其特征在于，修正该多个二维视频帧的该步骤包含移除该多个二维视频帧的噪声，以及获得一系列噪声抑制视频帧。
16.根据权利要求11所述的视频处理方法，更包含 对该多个二维视频帧执行帧率转换，以抑制运动颤抖效果。
17.根据权利要求11所述的视频处理方法，更包含 存储该比较结果及至少部分该多个二维视频帧。
18.根据权利要求11所述的视频处理方法，更包含 依据修正的该多个二维视频帧的每一帧产生虚拟帧对。
19.根据权利要求18所述的视频处理方法，其特征在于，产生该虚拟帧对的该步骤包含复制修正的该多个二维视频帧的每一帧以分别产生该虚拟帧对的第一视频帧及第二视频帧。
20.根据权利要求19所述的视频处理方法，其特征在于，产生该立体帧对的该步骤包含依据该虚拟帧对的该第一视频帧产生该立体帧对的该左眼视频帧；以及依据该虚拟帧对的该第二视频帧产生该立体帧对的该右眼视频帧。
全文摘要
本发明提供一种视频处理装置及方法。所述视频处理装置用于将多个二维视频帧转换为多个立体视频帧，视频处理装置包含比较单元、时序转换器及空间转换器。比较单元用于接收一系列二维视频帧，以及为多个二维视频帧提供指示时序差异数据的比较结果；时序转换器用于依据比较结果修正多个二维视频帧；空间转换器用于依据修正的多个视频帧的每一帧产生立体帧对，其中立体帧对包含左眼视频帧及右眼视频帧，用于提供由人类双眼所感知到的视觉差异。上述视频处理装置及方法可将现有二维视频帧转换为立体视频帧。
文档编号H04N13/00GK102256143SQ20111005712
公开日2011年11月23日 申请日期2011年3月10日 优先权日2010年5月21日
发明者萧德琪 申请人:联发科技股份有限公司