专利名称：视频处理和应用程序的系统、方法及设备的制作方法
技术领域：
本公开文件大体涉及一种视频处理和应用程序的系统、设备及 方法。
要求优先权
本申请要求2006年6月16日才是交的名为"Video Processing and Applications Server"的第60/814,383号美国专利申请的优先权，通 过参考的方式将其内容结合到本文中。
相关专利申请的交叉参考
本申i青涉及2006年2月16日才是交的名为"MOBILE IMAGING APPLICATION, DEVICE ARCHITECTURE, SERVICE PLATFORM ARCHITECTURE AND SERVICES"的笫11/357,661号未决的美国 专利申请，该专利申请的受让人与本公开文件的受让人相同。该申 请的申请人也是本申请的申请人。通过参考的方式将上面确认的未 决申"i奮的^^开文件全部结合到本文中。
本申请涉及2005年9月20日提交的名为"COMPRESSION RATE CONTROL SYSTEM AND METHOD WITH VARIABLE SUBBAND PROCESSING"的第11/232， 165号未决的美国专利申^青， 该专利申请的受让人与本公开文件的受让人相同。以上申请的申请 人也是本申请的申请人。通过参考的方式将上面标识的未决申请的 公开文件全部结合到本文中。本申i青还涉及2005年9月21曰提交的名为"MULTIPLE TECHNIQUE ENTROPY CODING SYSTEM AND METHOD"的第 11/232,726号未决的美国专利申i青，该专利申"i青的受让人与本z^开 文件的受让人相同。以上申请的申请人也是本申请的申请人。通过 参考的方式将上面标识的未决申请的公开文件全部结合到本文中。
本申请还涉及2005年9月21日提交的名为"PERMUTATION PROCRASTINATION"的第11/232,725号未决的美国专利申请，该 专利申请的受让人与本公开文件的受让人相同。以上申请的申请人 也是本申请的申请人。通过参考的方式将上面确认的未决申请的公 开文件全部结合到本文中。
本申i青还涉及2005年10月12日提交的名为"MOBILE IMAGING APPLICATION, DEVICE ARCHITECTURE, SERVICE PLATFORM ARCHITECTURE"的第11/249,561号未决的美国专利 申请，该专利申请的受让人与本7>开文件的受让人相同。以上申请 的申"i青人也是本申请的申i青人。通过参考的方式将上面标识的未决 申请的/>开文件全部结合到本文中。
本申"i青还涉及2005年10月13曰4是交的名为"VIDEO MONITORING APPLICATION, DEVICE ARCHITECTURE, AND SYSTEM ARCHITECTURE"的第11/250,797号未决的美国专利申 请，该专利申请的受让人与本公开文件的受让人相同。以上申请的 申请人:也是本申请的申请人。通过参考的方式将上面标识的未决申 请的公开文件全部结合到本文中。
在本公开文件的描述中引用和讨论了 一些参考文献(其可以包 括专利、专利申请和各种出版物)。提供这些参考文献的引用和/或 讨i仑仅用于阐明本7>开文件的描述，而并不在于寿"人任何这种参考 相对于本文中所描述的公开文件来说都是"现有技术"。通过参考将该说明书中所引用和讨论的所有参考文献的全部内容结合到本文 中，并通过参考来达到好像单独结合每篇参考文件的同样程度。
发明内容
直接数字化的图像和视频是资源密集型的，因此为了存储、传 送和其他用途可以对图 <象和一见频进4亍压缩。例如，可以通过一种三
阶段处理来描述压缩的特性变换、量子化和熵编码。大多数图像 和^L频压缩器共享该基础架构，其中有所变化。
视频压缩器的变换阶段可以是通过利用图片或图片序列中的局 部类似性和图案来将源图片的能量或信息聚集为尽可能压缩的形 式。压缩器通常利用不同的压缩水平来压缩不同的输入。例如，可 以将压缩器设计为在"通常的"输入下很好地工作而忽略其压缩"随 机的"或"病态的"输入的故障。许多图像压缩和—见频压缩方法(诸 如MPEG-2和MPEG-4 )使用离散余弦变换(DCT )作为变换阶段。
量子化可能在变换阶段之后丟弃信息，因此，在一些情况下， 重构的解压缩的图像可能不是原始图像的精确再现。熵编码通常是 一种无损失处理该处理获得量子化之后剩余的信息并对其进行编 码从而可以在译码器中再现剩余的信息。因此，关于丢弃什么信息 的设计的决定不会受到随后的熵编码阶段的影响。
在一些情况下，被开发为用于(例如)演播室产生的视频内容 的广播和流的基于DTC的视频压缩/解压缩(编码译码器)技术与 演4番室环境中(例如，可以在计算才几工作站上运4于非常复杂的编石马 器的地方)的一见频内容的编码相关联。这种在计算上复杂的编码器 使得计算上简单且相对来说便宜的译码器(播放器)能够安装在消 费者回方丈装置中。然而，如
图1所示,编码技术/译码技术中的不对称可能在支持 利用移动多媒体装置(诸如，可携式摄像电话，其中可以在移动装 置自身中实时拍摄和压缩视频消息并进行回放)中的可利用的处理 器能力来对全电视机大小的视频内容进行压缩的过程中造成困难。
结果，相比于其他消费品中的^L频，移动装置中的^L频可能^皮局限 于极其小的大小和极其低的帧率，如图2所示。
利用基于DCT的4支术和其他pf见频处理应用禾呈序来进^f亍—见频编
压缩纟见频^r入^:据进^于全部或部分i奪码，然后对编辑过的或以其他 方式处理过的3见频凄t据进4亍压缩以用于l命出和随后的分配。因此， 基于DCT的一见频编辑和其他处理应用程序的计算复杂度可能超过 许多基于通用个人计算才几(PC)中央处理单元(CPU)的标准服务 器计算机的计算能力。
序服务器计算机，其中，可以利用专用数据处理元件(包括但不限 于数字信号处理器(DSP)、特定用途集成电路(ASIC)、多媒体 处理器、以及可重新配置处理装置(reconfigurable processing device, 简称RPD))的组合来执行视频处理。相比于基于通用PC CPU的 标准服务器计算机来说，这种专用视频数据处理元件的数目、成本 和功耗导致专用视频服务器的非常高的成本和功耗。然而，新兴移 动视频服务的商业配置要求为大量的并发服务订户提供这种视频编 辑和其^也处理，以及采用和维护相应—见频应用禾呈序月良务器的成本尽
可能的低。
本7>开文件的各种实施例可以包4舌一个或多个各种各才羊的一见频 处理和其^f也处理，i者如，包4舌以下处理中的一个或多个
*压缩； 全部或部分解压缩；
*对全部或部分解压缩的一见频进行编辑，包括^f旦不限于剪切、 调整、插入转换、重排序、调整曝光、补偿背光、补偿摄像 机成像元件(通常，CMOS、 CCD或类似元件)的有限低 光敏感度、补偿来自摄像机模块的透镜的失真、补偿视频记 录期间发生的摄像机抖动、改变图像背景、以及修正红眼；
*代码转换，包括本/>开文件的纟见频格式和其他基于标准的和 /或专有一见频格式之间的转换；
*码率转换，包括用于在不同装置和屏幕大小之间的回i文兼容 而更改视频压缩水平、比特率、帧率、图像大小、及压缩格 式；
*加标签和嵌入用于视频搜索应用程序的元数据；
*凄t字水印，用于安全和版4又管理；
视频存储(包括在数据库中)、搜索、检索;
*对图像和视频内容进行识別、测量和分类，图像和视频内容 包括音乐节拍、视频剪切、场景变换、视角变换、曝光和对 比属性、运动速率、运动方向和连贯性、光(太阳vs荧光 等)、脸、红眼、库存场景、以及水印；
列出的视频处理功能的各种组合的视频应用程序的一些实施例中可 以包括^旦不限于以下多项中的一种或多种
*压缩;參解压缩；
*编辑，包括剪切、调整、插入转换、调整曝光、校正背光、 j务正红眼、同步于配乐的节奏、插入库存字幕和场景、应用
模板、校正摄像机运动、改善合成；
*代码转换，包括本公开文件的视频格式和其他通用的基于标 准的视频格式以及专有视频格式之间的转换；
*码率转换，包括用于在不同装置和屏幕大小之间的回放兼容 而改变^L频压缩水平、比特率、帧率、图4象大小、以及压缩 格式；
数据；
*视频存储(包括在数据库中)、搜索、检索； *凄t字;f反^又管J里(DRM);
*通过供给(feed )将用户创建的视频广播给其他订户的RSS (聚合内容)应用程序，RSS应用程序可以包括聚合器和供 给阅读器，并可以允许在计算机和手持装置上观看用户创建 的视频；
*图像和3见频内容的识别、测量、及分类；
在一些实施例中，在视频应用程序服务器上运行的并支持上面 列出的视频处理功能的各种组合的上面列出的视频应用程序的组合 所支持的视频服务可以包括但不限于以下多项中的一种或多种*视频消息、视频共享、和视频博客非实时，即，包括经由 RSS供给所进行的存储和转发；
*视频IMS:通过IP网络来进行的即时消息服务-实时一见频传 送和流；
* — 见频呼叫通过IP、 ATM、或电i 各交换网络来实时进行；
*视频邮件，类似于语音邮件，即，如果被呼叫的一方没接其 电话则留一封;现频邮件；
* 一见频会i义，例如，多方之间的对等的；
*在手持装置或在网络或基于网络的服务器上手动或自动编 辑在手持装置上拍摄的视频片段；
在线视频存储器、相册、博客等；
*共享所拍4￡/编辑/存储的视频片段和相册；
*对访问进行管理，限定何人何时进行过访问、找出何人看过 或请求过该资料；
对碎见频进4亍加标签，数据库存4诸、4叟索和4企索，预览、下 载(软拷贝)、订硬拷贝(DVD);
*个人多J 某体市场服务，包括
*预览、共享、购买、销售"软，，拷贝(下载)或"硬" 拷贝(DVD);
媒体"加标签"用于进行索引，RSS供给；通向现有在线市场(例如，E画bay、 Google、 Yahoo、 Microsoft 、其J也入口 )的4妄口；
*对来自朋友的资料、来自公共源的资料与所购买的资料进行 比哞交、对比、并置；
在一些实施例中，采用了在^L频应用程序服务器上运行并支持 上述的视频处理功能的各种组合的上面所列出的视频应用程序的组 合所支持的上面确定的—见频月l务中的 一种或多种的— 见频系统可以包 才tf旦不限于以下多项中的一种或多种
*电^各交换移动虫奪窝网络、固定无线网络、通信线电话网络、 通信线电缆网络、通信线安全网络、或卫星网络；
*基于IP的移动蜂窝网^^、移动网状网络、移动自组网^"、 固定无线网络、通信线电话网络、通信线数据网络、或卫星 网络；
*聚合固定/移动无线网络；
*其他无线或有线数据网络ATM等；
本/>开文件的 一些实施例可以包括用于以下多项中的 一种或多 种的方法、装置、应用程序、系统、和服务视频图像记录、传送、 存储、编辑、处理、代码转换、搜索、检索、共享、分发、和交易，
包括移动装置和一见频处理/应用程序;ii务器、相应的移动装置和一见频
处理/应用程序月良务器架构、月良务平台架构，以及用于通过无线和有 线网络和系统来进行传送、存储、编辑、处理、代码转换、溲索、 检索、共享、分发、及交易静止图像和视频图像并在能够进行显示
的装置上》见看它们的方法和服务，还有与上述有关的网络和其他系 统月良务。本公开文件的实施例还包括图像记录和处理技术，以及移动装 置、 一见频处理/应用程序力良务器、和力良务平台的架构上的相应改进。 本公开文件还包括移动装置服务的端到端功能性和性能。这些方面 可以通过将诸如在移动装置中的成像模块中所拍摄到的防抖摄像机
运动补偿信息的信息传送到以下多项中的 一项或多项来实现手持 装置中的随后的4见频编码i争码器、移动网络中的4见频处理应用程序 服务器、和/或4妄收一见频回力文装置。
然后可以(例如)通过提供由视频编码译码器以其他方式从输 入的视频数据中提取的额外的运动4卜偿信息来使用这种信息以进一 步降^f氐一见频编码i爭码器的计算要求。随后在移动网全各中的碎见频处理 应用程序服务器中进行编辑和进一步的视频处理期间，也可以使用 这种信息来进一步补偿在移动装置中的视频拍摄期间所发生的摄像 机运动。随后在移动网络中的视频处理应用程序服务器和/或接收视 频回放的装置中进行编辑和进一步的视频处理期间，也可以使用这 种信息来重新创建之前经由移动装置中的摄像模块中的视频前期处 理而去除的4聂<象4几运动效果。
本^^开文4牛的多个方面还可以包4舌以下多项中的一项或多项
1. 用于对#见频或静止图{象进4亍压缩和/或解压缩的專欠件一见频编 码译码器/可携式摄像装置应用程序；
2. 用于压缩、解压缩、编辑、代码转换、加标签和嵌入用于搜 索应用程序的元数据、存储、数据库、搜索、检索、和分发视频的 软件视频处理应用程序；
3. 基础结构产品、方法和过程，包括移动多媒体服务(MMS) 基础结构服务器计算机和应用程序，用于结合移动手持装置的软件-视频编码i,码器/可携式4i/f象才几应用程序以及软件处理应用#呈序一 起采用视频消息和共享服务；
4.用于建立、使能、分发和操作新的MMS服务的方法、过程 和商业过程，新的MMS服务包括移动视频消息、共享和博客； -f见频流和一见频呼叫；以及支持创建和交易移动用户在移动装置上创 建的视频内容的个人媒体制造者服务。
附图i兌明
图1示出了根据一个实施例的视频编码译码器的计算要求。
图2示出了根据一个实施例的移动装置和服务中的视频图像大 小限制。
图3示出了根据一个实施例的移动成像服务平台架构。
图4示出了根据一个实施例的移动成像手持装置架构。
图5示出了才艮据一个实施例的—见频处理和应用程序服务器的功 能斗匡图。
图6示出了根据一个实施例的视频处理和应用程序服务器架构。
图7示出了根据一个实施例的分布式视频编辑系统架构。 图8示出了根据一个实施例的视频编码译码器技术的比较。 图9示出了根据一个实施例的降低了的视频编码译码器计算要求。图10示出了根据一个实施例的改进的移动成像手持装置架构。
图11示出了才艮据一个实施例的改进的4见频处理和应用程序服务器架构。
图12示出了根据一个实施例的可替换的改进的视频处理和应用程序服务器架构。
图13示出了才艮据一个实施例的改进的—见频处理和应用程序月良务器架构的 一种全软件实施方式。
图14示出了才艮据一个实施例的改进的一见频处理和应用程序月艮务器架构的一种全硬件实施方式。
图15示出了根据一个实施例的改进的视频处理和应用程序服务器架构的一种石更件和^^牛混合的实施方式。
图16示出了4艮据一个实施例的改进的分布式—见频编辑系统架构。
图17示出了根据一个实施例的改进的移动成像服务平台架构。
图18示出了才艮据一个实施例的不需要代码转换且允许现有—见频处理/应用程序服务器对视频格式进行处理的自i,码视频MMS。
图19示出了根据一个实施例的所配置的视频处理和应用程序月良务器的OTN升级。
图20示出了根据一个实施例的配置媒体制造者服务所需的视频编辑服务器的数量、成本、复杂度上的降低。图21示出了根据一个实施例的改进的视频消息/共享/呼叫平台的功能元件。
图22示出了根据一个实施例的更快、更低成本地开发和配置更高质量的多媒体手持装置&服务。
图23示出了根据一个实施例的面向宽带多媒体装置和服务的应用。
图24a示出了与用户和系统管理员交互的—见频编辑系统的一个示例'l"生实施例。
图24b示出了 VESClient经由SSP与TIP进行通信的示例性实施例。
图25示出了 VESClient经由SSP与TIP进4亍通孑言的处理流禾呈的示例4生实施例。
图26示出了 VESClient经由SSP与TIP进4亍通信的另一处理流程的示例性实施例。
图27示出了 VESClient经由SSP与数据库进行通信的处理流程的示例性实施例。
图28示出了接收PC与网站进行通信的处理流程的示例性实施例。
图29示出了才莫板编辑器的处理流程的示例性实施例。
图30示出了才莫板编辑器的另一处理流程的示例性实施例。
图31示出了屏幕截图的示例性实施例。图32示出了屏幕截图的示例性实施例。图33a示出了屏幕截图的示例性实施例。图33b示出了屏幕截图的示例性实施例。图34示出了屏幕截图的示例性实施例。图35示出了屏幕截图的示例性实施例。图36示出了屏幕截图的示例性实施例。图37示出了屏幕截图的示例性实施例。图38示出了屏幕截图的示例性实施例。图39示出了屏幕截图的示例性实施例。图40示出了屏幕截图的示例性实施例。图41示出了屏幕截图的示例性实施例。图42示出了屏幕截图的示例性实施例。图43示出了屏幕截图的示例性实施例。图44示出了屏幕截图的示例性实施例。图45示出了屏幕截图的示例性实施例。图46示出了屏幕截图的示例性实施例。图47示出了屏幕截图的示例性实施例。图48示出了屏幕截图的示例性实施例。图49示出了屏幕截图的示例性实施例。图50示出了屏幕截图的示例性实施例。图51示出了屏幕截图的示例性实施例。图52示出了屏幕截图的示例性实施例。图53示出了屏幕截图的示例性实施例。图54示出了屏幕截图的示例性实施例。图55示出了屏幕截图的示例性实施例。
具体实施例方式
以下描述和附图是示例性的，并不可以将其解释为限制性的。描述许多特定细节仅用于提供对本公开文件的彻底理解。然而，在特定情况下，没有描述熟知的或传统的细节以避免模糊了本说明书。参照本公开文件中的一个实施例可以是(但不一定是)参照同一实施例，并且这种参照意p木着至少一个。
该-说明书中的参考"一个实施例"意味着结合该实施例来描述的特定特征、结构、或特性#皮包括在本7>开文件的至少一个实施例中。该说明书中的各个地方出现的术语"在一个实施例中"不一定全部指代同一实施例，也不是单独的或可替换的实施例相互排斥其他实施例。而且，描述了可以被某些实施例呈现了而未被其他实施例呈现的各种特征。类似地，描述了对于某些实施例来说是要求而对于其他实施例来说不是要求的要求。图l象处理
小波变换可以包括对一组数据重复应用小波滤波器对，或者在一个维度中或者在多于一个维度中。对于静止图像压缩，可以使用
2-D小波变换(水平的和垂直的)。根据本公开文件的视频编码译码器可以-使用3-D小波变换(水平的、垂直的、和时间的)。对称3-D基于小波的视频压缩/解压缩(编码译码器)装置可以用于降低以下的那些基于DCT的编码译码器所需的移动装置中的计算复杂度和功耗，以及用于使得能够在 一 个编码译码器中同时支持处理静止图像和视频图像。
在一个编码译码器中同时支持静止图像和视频图像可以消除或降低对单独的MPEG (视频)编码译码器和JPEG (静止图像)编码译码器的需要，或者大大提高关于(例如)运动JPEG编码译码器的压缩性能以及因而实现的存々者效率。对称3-D基于小波一见频处理装置用于降低计算复杂度和功耗，并提高用于支持自动或手动编辑用户创建的视频、以及用户创建的视频的数据库存储、搜索、检索的MMS基础结构i殳备所支持的并发移动订户凄t量。
移动成^f象服务和服务平台架构
一个实施例的多个方面提供了新一代的新MMS视频服务，包括移动视频消息、共享、和博客；视频流和视频呼叫；以及个人"媒体制造者，，服务，其支持创建和交易移动用户在移动装置上创建的一见频内容。才艮据本7>开文件多个方面的移动成像服务平台架构的组成部分(见图3)可以包4舌以下多项中的一项或多项
*移动手持装置；*移动基站(BTS);*基站控制器/无线电网络控制器(BSC/RNC);
*移动交才奂中心(MSC);
网关服务节点(GSN);
*移动多媒体服务控制器(MMSC);
才艮据本/〉开文件多个方面的MMSC中所包4舌的典型的功能(见图3)可以包4舌以下多项中的一项或多项
* ^L频网关；
* Telco服务器；
* MMS应用程序服务器； 存储服务器；
才艮才居本/>开文4牛多个方面的MMSC中的—见频网关可以用于在成像服务平台所支持的不同视频格式之间进行代码转换。代码转换还4皮无线才喿作者用于支持移动电话网络中所4吏用的不同语音编码译码器，其中相应的语音代码转换才几可以集成到RNC中。
对这种具有垔i所示的架构的移动成像服务平台进行升级可以包括采用新的手持装置，并向MMSC视频网关手动添加新的硬件。在一些移动一见频消息和共享应用中，可以省去与^ 码转换相关的成本和复杂度。本公开文件的一个方面是这样的能力，在传送的每个视频流中嵌入软件译码器，使得在普通手持装置和PC视频播放器上能够具有"自播放"功能。MMSC中的MMS应用禾呈序月良务器可以支持i者如自动或手动编辑用户创建的视频、以及用户创建的视频的数据库存储、搜索、和检索的应用程序。与利用基于DCT的视频实施这种视频编辑功能和其他处理应用程序相关联的计算复杂度超过了许多基于通用个人计算机(PC)中央处理单元(CPU)的标准服务器计算机的计算能力。
才艮据本/>开文件的多个方面，新的潜在移动—见频月良务的商业配置可以包括提供用于大量的并发服务订户的视频编辑和其他处理，并且采用和维护相应的视频应用程序服务器的成本要尽可能低。如果需要新的或专用的硬件，那么对MMSC基础结构进行升级也是高成本的。为了使得能够进行手持装置的自动空中下载(OTA)软件升级、MMSC^L频网关的网症各上(OTN)软件升级、以及支持利用标准PC和力良务器的移动—见频应用程序，SW应用程序和月l务平台将会是优选的。
本公开文件的多个方面包括涉及新的拍摄、压缩、传输、编辑、存储和共享与移动装置相关联的视频内容的新方法、服务和系统。本/>开文件的多个方面可以应用于电信(有线才是供商和无线4是供商均可)和互联网、包括固定和移动无线月l务才是供商的电缆和其他数据和多媒体操作者。本公开文件的多个方面可以提供丰富的内容、更高的宽带利用率和更高的每用户平均收入(ARPU)。
根据;^/>开文件的多个方面的移动多媒体服务(MMS)包括使得目标受众能够交流个人信息的新的视频消息、共享、博客、和个人"媒体制造者，，应用程序。移动图像消息和共享可以要求向移动手持装置添加数字摄像功能(静止图像)和/或可携式摄像机功能(视频图像)，使得订户既可以拍摄(编码)他们想发送的视频消息也可以回放(译码)他们接收到的视频消息。根据本公开文件的多个方面，可以使移动装置演变为集成的消费者多媒体娱乐平台。工业上的主要投资被指向了这样的技术和平台，其使得能够重新打包的广播电视节目(诸如新闻片段、体育精彩场面、和流行电一见节目的特殊"手才几电影")和其他演^番室生成的视频内容(诸如电影预览和音乐视频)传送到移动装置上并在其上观看。在后一种情况中，开发移动订户作为新的一类视频消费者。然而，后一情况在很大程度上利用了已在大广播企业服务器中压缩的一见频内容。
然而，根据本公开文件的多个方面，世界范围的移动操作者还
赢得了重大的新机遇支持其订户作为々某体制造者(如本公开文件的多个方面所使能的)而不仅仅是媒体消费者。如本公开文件的多个方面所使能的，对这种新服务来说，连同配置和汇集更高速度的蜂窝和固定无线数据网络一起，在移动装置上拍摄并共享与单独的数字摄像机和可携式摄像机相同质量的照片和视频性能是技术上的奠基石。
本公开文件的多个方面还包括使得能够大大降低可携式摄像电话机和视频消息/共享基础结构设备的开发成本和零售价格，无论是在成熟市场上还是在新兴市场上，这对于在商业上大规4莫采用这种装置和相关移动多媒体/数据服务来说可能是关键的。
相比于那些通常在其他多々某体装置(见图2)(诸如电4见、个人计算机、数字视频可携式摄像机、和个人媒体播放器)上拍摄并显示的视频图像来说，移动图像消息/共享服务和应用程序可能被限于拍摄和传送尺寸上小得多的且帧率低得多的视频图像。如本公开文件的多个方面所提供的能够支持30 fps或更高帧率的VGA(或更大的) 一见频的移动图像消息力良务和应用程序将是优选的。本公开文件的多个方面还包括这样的软件移动成像应用程序服
务平台，该平台可以包4舌以下多项中的一项或多项
1. 支持所配置的手持装置的自动空中下载(OTA)软件升级；
2. 支持所配置的MMSC的自动网络上(OTN )專欠件升级；
3. 支持使用标准PC和月艮务器来配置移动一见频应用程序和服
务；
4. 使得能够通过少量服务器来支持大量并发移动视频服务订
户；
5. 支持配置移动视频应用程序和服务而无需在网络中的手持 装置中进行^L频代码转换；
6. 使能支持拍摄和传送类似于在其他消费者多媒体装置上(诸 如数字可携式摄像机和电视)通常拍摄和显示的视频图像的 全尺寸和全帧率的一见频图<象的移动—见频装置、应用程序、和 服务；
在一个实施例中，根据本公开文件的多个方面的移动手持装置 和MMS月良务器应用程序的Java实现方式可以用于提供手持装置/ 网络的稳健性以抵御病毒、蠕虫、和其他"袭击"，允许移动网络操 作者提供国家规定所需的服务的稳定性和质量。
移动成《象手持装置架构
在本^^开文件的多个实施例中，向移动手持装置添加数字可携 式摄像机功能一般与添加以下功能相关联，或者以硬件、软件形式， 或者作为硬件和软件的组合(见图4):*成像器阵列(典型地，CMOS像素或CCD像素的阵列)， 具有相应的前级放大器和模数(A/D)信号转换电路
图像处理功能，诸如前处理、编码/译码(编码译码器)、后 期处理
*緩沖处理后的图像用于通过无线或有线网络的非实时传送 或实时流
* 一个或多个图像显示屏
參内置或移动存储器上的本地图像存储
利用诸如MPEG-4的基于DCT变换的编码译码器，商业上可 利用的图像使能的移动手持装置限于拍摄比那些在其他多媒体装置 (诸如电视机、个人计算机、数字视频可携式摄像机、和个人媒体 播放器)上通常拍摄和显示的图像的尺寸小且帧率低的视频图像。 诸如电视机、个人计算机、数字视频可携式摄像机、和个人媒体播 放器的这些其他装置通常按照VGA格式(640 x 480像素)或更大 的、以30帧每秒(fps)或更高的显示速率来拍摄/显示#见频图<象， 然而，商业上可利用的图像使能移动手持装置可能限于拍摄(例如) QVGA格式(320 x 240像素)、QCIF格式(176 x 144像素)或更 小的、(例如)15fps或更低的显示速率(例如见图2)的视频图像。
这个降低的视频拍摄能力通常可能是由完成与利用DCT变换 的视频压缩/解压缩相关联的计算步骤的数量、类型和序列所需要的 巨大的计算要求、处理器功耗、和緩冲存储器引起的。
利用商业上可利用的视频编码译码器和孩t处理器技术导致用于 目标在于拍摄30fps或更高的帧率的VGA(或更大的)视频的移动 成像手持装置的非常复杂、功耗巨大且昂贵的架构。这种手持装置架构利用了这样的编码译码器，该编码译码器具有运行在精简指令
集(RISC)处理器、数字信号处理器(DSP)、特定用途集成电路 (ASIC)、和可重新配置处理装置(RPD)的组合上的软件程序和 硬件加速器的组合、连同超大的緩冲存储器块(1兆字节(Mbyte) 或更多的典型的存储能力)。
可以4吏用RISC处理器、DSP、 ASIC、多々某体处理器、和RPD 作为单独的集成电路(ic),或者对一起集成在系统级封装(SIP) 或片上系统(SoC)中的RISC处理器、DSP、 ASIC、多々某体处理 器、和RPD中的一个或多个进行组合，来实现这些编码译码器功能。
运行在RISC处理器或DSP上的编码译码器功能可以是软件例 4亍程序，具有可以对丰欠件例4于程序进^^修改以4交正编程4晉误或更新 功能的优点。将特定的复杂、重复的编码译码器功能实现为软件的 缺点在于导致整体的处理器资源和功寿毛要求通常超过移动通信装置 上可利用的处理器资源和功耗要求。运行在ASIC和多々某体处理器 上的编码译码器功能通常是复杂、重复的计算步骤的固定硬件实现， 通常具有专门定制的硬件加速器基本上可以降低编码译码器的整体
功耗的优点。
在固定硬件中实现特定编码译码器功能的缺点包括更长且更昂 贵的设计周期、在固定的硅实现过程中发现错误的情况下的昂贵的 产品回收风险、以及在新开发的特;f正^皮添加到成像应用程序的情况 下不能在所配置的产品中升级固定的硅功能。运行在RPD上的编码 译码器功能通常是这样的例行程序，该例行程序既利用了；更件加速 器又利用了在最终的移动成像手持装置产品中添加和修改功能的能 力。
为了简化上述架构并使手持装置成本与高容量商业配置相适 合，降低或消除复杂的、重复的编码译码器功能以使移动成像手持装置能够利用全软件架构来拍摄30 fps帧率的VGA (或更大的)视 频的成像应用程序将是优选的。
要求多媒体手持装置不仅支持图片和视频消息能力，还支持各 种额外的多媒体能力(语音、音乐、图形)和各种固定的和移动的 无线访问才莫式，包括^旦不限于2.5 G和3 G蜂窝i方问、WiBro、 HSDPA、 WiFi、无线LAN和蓝牙。为了更高效的配置新的产生4欠 益的力l务和应用程序并避免昂贵的产品回收，开发、配置并支持这 种产品所涉及的复杂度和风险使许多功能和应用程序的空中下载 (OTA)分布和管理是非常有益处的。
为了使手持装置制造商、移动操作者和其他MMS服务提供商 能够进行成像应用程序的OTA分布和管理，SW成像应用程序将是 优选的。本7>开文件提供了这些目标。
本/>开文4牛的多个方面包4舌以下多项中的一项或多项
1. 4吏能这样的移动—见频装置、应用程序和服务，其支持拍4聂和 传送类似于通常在诸如数字可携式摄像机和电视机的其他 消费者多媒体装置上拍摄和显示的全尺寸和全帧率的视频
图像；
2. 支持所配置手持装置的自动空中下载(OTA)软件升级；
在一个实施例中，根据本公开文件的多个方面的移动手持装置 应用程序的Java实现方式可以用于提供手持装置/网络的稳定性以 抵御病毒、蠕虫、和其他"攻击，，，允许移动网络操作者提供国家规 定所要求的服务的可靠性和质量。
4见频处理和应用程序服务器架构在一个实施例中，MMS视频服务包括移动^L频消息、共享、 和博客；视频流和视频呼叫；以及个人"媒体制造器，，服务，其支 持在移动装置上创建和交易移动用户创建的4见频内容、自动一见频编 辑、视频"后期制造"、和移动手持装置上和/或MMSC应用程序服 务器中提供的其他—见频处理应用程序。然而，这种能力的商业配置 包括提供用于大量并发月良务订户的4见频编辑和其他处理，而配置和 维护相应视频应用程序服务器的成本尽可能低。
图5示出了根据一个实施例的用于视频处理和应用程序服务器 的功能框图。 一见频输入lt据通常是压缩格式的，对—见频输入lt据实 施视频处理算法之前可以对该视频输入数据进行全部译码或部分译
石马。可以再次乂于经处理的一见频进^f亍压缩，用于llr出或随后的传^r和 分布。 一见频处理功能可以包4舌以下多项中的一项或多项
*压缩；
參解压缩；
*编辑，包括顺序编辑(诸如剪切和转换)和图像内容编辑(诸 如颜色才交正、；遮色和去除4牛动)；
*后期制造，诸如添加字幕、或将所选的视频剪辑结合到制造 模板中；
*代码转换，包括当前的小波格式和其他通常配置的基于标准 的视频格式和专有视频格式之间的转换；
*码率转换，包括用于在不同装置和屏幕大小之间的回放兼容 的压缩水平、比特率、帧率、图^f象大小和压缩4各式；
*加标签和嵌入用于4叟索应用程序的元凄t据；*存储(包括在数据库中，搜索，检索)；
*对内容进行管理，包括出处、所有权和许可、以及检查是否 符合许可限制)；
基于DCT的视频编辑和其他处理应用程序的计算复杂度可能 超过基于通用个人计算机(PC)中央处理单元(CPU)的服务器计 算才几的计算能力。在一些情况中， 一见频编辑和其他处理应用程序利 用专用视频应用程序服务器计算机，其中，可以利用专用数据处理 元件的组合来进行视频处理，专用数据处理元件包括但不限于数 字信号处理器(DSP)、特定用途集成电路(ASIC)、多媒体处理器 和可重新配置处理装置(RPD)。
图6示出了根据一个实施例的用于提供基于DCT的视频编辑 和其他处理应用程序的计算要求的fC表性一见频处理和应用程序"l务 器架构。相比于基于通用PC CPU的标准服务器计算机，专用视频 数据处理元件的数量、成本、和功耗导致用于专用视频服务器的更 高的成本和功诔毛。
本7>开文件的多个方面还可以包括具有以下特性中的一个或多 个的系统
1. 降4氐一见频编码、译码和编辑的计算复杂度；
2. 允许移动-见频应用程序运4亍在<氐成本、〗氐功率的PC CPU 上，而不是运行在专用的、昂贵的、高功率的DSP或ASIC 上；
3. 允许更少的、不太昂贵的基于PC的服务器替代大量的专用 视频应用程序服务器，降低每个订户的配置&操作成本；4. 允许才艮本上提高每个纟见频应用程序力l务器所能够支持的并 发移动订户的凄史量；
5. 支持所配置的MMSC视频应用程序服务器的自动网络上
(OTN)软件升级；
6. 支持对移动^L频应用程序和月良务进4亍配置而无需在手持装 置或网络中进刊—阮频代码转换；
^L频编4辱、归档和检索系统
在一个实施例中，MMS视频服务(诸如移动视频消息、共享 和博客；视频流和视频呼叫；以及个人"媒体制造器，，服务，其支 持在移动装置上创建和交易移动用户所创建的^L频内容)提供了以 下多项中的一项或多项自动视频编辑、视频"后期制造"和移动 手持装置上和/或MMSC应用程序月良务器中的其他4见频处理应用程 序。
视频制造是一种分布式处理，其中资源在物理上分布在若干个 位置上。例如，在广播业中，广播公司向专用演播室或即将到来的 虚拟演播室外部供应特定制造和后期制造阶段。本公开文件的多个 方面还包括这样的实施例，这些实施例使配置用于移动个人"媒体 制造器"服务的分布式虚拟演播室应用程序简化和加速。
图7示出了根据 一个实施例的用于广播应用程序的分布式视频 编辑系统的功能和元件，包括支持视频归档和检索功能的元件。设 计这种系统的目标在于向商业广播公司提供用于分布式视频后期处 理的完整解决方案，该方案集成了归档、；险索和编辑功能。
在一个实施例中，该系统包括归档服务器、编辑服务器、目录 月良务器、以及用于最终用户的客户站。本7〉开文件的多个方面还包括对能够支持移动个人"媒体制造器"服务而不仅仅是商业广播服 务的类似的分布式虚拟演^番室系统的i殳计和商业配置进^f亍简化并加 速。
根据一个实施例，里l中的归档服务器存储低比特率的视频也 存储高比特率的视频，并提供视频流和文件传输服务。目录服务器
可以具有(host)其中存储并索引了视频片段元数据的数据库。客 户站允许用户执行归档和检索操作、以及利用低比特率的现有资料
进4亍一见频编辑。然后，用户所创建的编辑列表#:编辑力良务器所处理 并寻皮应用到相应的高比特率资并+，以制造可以广4番的最终^L频。
目录服务器自动取出视频存档中的每个新片段的低比特率版本 并对其进行前期处理，以4是耳又元凄史据。通过4企测4竟头之间的转才奂以 及通过分析运动属性，可以将视频片段分解为更小的部分。针对每 个镜头，可以提取静止图像(关键帧)用于显示目的，并使得能够 进行自动图像索引方法。可以从运动矢量中计算出摄像机和摄像机 镜头运动(例如，摇摄、倾斜、摄像机移动、静止)属性。对低比 特率流(通常是MPEG-1) 4丸行这些前期处理步骤而不需解压缩。
根据一个实施例，图7中的归档工具允"i午文档列表可一见/编辑片 段前期处理算法的结果，并允许输入额外的文本注释。
图形用户界面允许(例如)新闻记者或节目导演利用可利用的 来自目录服务器的元数据从存档中检索视频资料。 一旦选择了项目， 则有可能将其输出给编辑工具。在一个实施例中，图7中的冲企索工 具允许人们利用文本和视觉信息来查询数据库。在归档处理期间输 入文本查询地址特定字段。在前期处理阶段提取视觉查询地址元数 据。用户指定实例图像并限定摄像机运动的期望类型。
本公开文件的实施例还包括1. 在一个实施例中， 一见频编码、i奪码和编辑的降〗氐的计算复杂 度。
2. 在一个实施例中，在小波变换域中执行视频编辑步骤或操 作，从而存储反向小波变换和正向小波变换的计算，并还存 储通过对相比于像素数据值的传统操作所需的数据项目少 的凄t据项目进行访问和改变来进行的计算。
3. 在一个实施例中，允许移动视频应用程序运行在低成本、低 功率的PC CPU上而非专用的、昂贵的、高功率的DSP或 ASIC上。
4. 在一个实施例中，更少的、不太昂贵的基于PC的服务器可 以替代大量的专用视频应用程序服务器，降低每个订户的配
置&#:作成本。
5. 在一个实施例中，降4氐寺丸行在线编辑系统的所有实时功能所
需的计算功率，并允许这些实时编辑功能的软件实现方式。
6. 在一个实施例中，除了最终用户工作站之外，还使得最终用 户能够支持经由移动手持装置、个人^ 某体播放器、膝上型计 算机和个人计算机上的SW客户机来自动进行的视频编辑 和其4也处理。
7. 通过将诸如防抖4i/f象^^运动补偿信息(可在移动装置中的成 像器模块中获得该信息)的信息传送给以下多项中的一项或 多项来使得能够进一 步改进移动视频服务的端对端功能性 和性能手持装置中的随后的视频编码译码器、移动网络中 的—见频处理应用程序月l务器、和/或4妻收—见频回i文装置。视频编辑服务(例如，"自动视频编辑系统")还能够被用于补
偿或校正有限的摄像机低光敏感度、成像元件(通常的CMOS、 CCD 或类似装置)、和/或来自摄像机模块的镜头的失真中的一个或多个， 以补偿视频记录期间发生的摄像机抖动。
在一个实施例中，然后可以(例如)通过^是供由一见频编码译码 器以其他方式从输入视频数据中提取的额外的运动补偿信息，使用 这种信息来进一步降低视频编码译码器的计算要求。这种信息还可 以被用于进一步补偿摄像机运动，该摄像机运动可能发生在移动装 置中的一见频拍4聂期间、随后在移动网络中的-见频处理应用程序月良务 器中所进行的编辑以及进一步的视频处理期间。根据一个实施例， 这种信息还可以被用于重新创建摄^f象才几运动岁丈果，该效果可能是随 后在移动网络中的^L频处理应用程序月艮务器中、和/或在4妾收—见频回 放装置中所进行的编辑以及进一步的视频处理期间在移动装置中的 才聂像4几才莫块中经由 一见频前期处理而先前去除的。
利用本公开文件的实施例，将移动视频服务投入到使视频与家 庭影院质量广播(例如，诸如30帧每秒的VGA的全尺寸图像格式) 相关联的市场中。这种大容量数据利用的处理超过了移动手持装置 中的实时^L频拍ii (编码)可利用的电池功率和计算资源。
在一些情况下，可以在演播室环境(其中高复杂度译码器可以 运行在计算机工作站上)中对广播和流应用程序的视频内容执行译 码。由于在手持装置自身中实时拍摄视频消息，因此它们被限于更 小的尺寸和更低的帧率。
本7>开文件的实施例包4舌可以实^见为移动手持装置和MSS应 用程序服务器中的应用程序的低复杂度成像应用程序(例如，用于 移动手持装置的视频编码译码器客户机、用于MMS应用程序服务器的视频编辑和处理应用程序)，以降低手持装置架构的复杂度以及 移动成像服务平台架构的复杂度。
根据本公开文件的实施例，视频编码译码器解决方案降低了或 消除了多媒体手持装置中的基带处理器和视频加速器的成本和要
求。与经由OTA下载来安装编码译码器后期制造的能力相结合，该 全SW解决方案根本上降低了手持装置开发和视频消息服务架构和 配置的复杂度、风险和成本。降低的可携式損J象才几电话开发时间和 提高的产品平台灵活性进一步提供了摄像机电话成本降低。
才艮据本公开文件的SW^L频代码转换才几和编辑、存储、搜索、 检索应用程序使得能够进行所配置的MMS控制(MMSC)基础结 构的自动网络上(OTN)升级、以及利用标准PC和月l务器来运4亍 这种应用程序。另外，本公开文件的小波代码转换机提供了具有小
互才乘作性的载波。本〃〉开文件的实施例还包括嵌入在所传送的每个 视频流上的软件译码器，使得能够在普通手持装置和PV视频播放 器上具有"自播放"功能，并一起消除代码转换的成本和复杂度。
在一个实施例中，-观频平台允许快速配置新的MMS服务。本 />开文件实施例中的一些实施例还4是供了利用其他现有4支术所不能 得到的处理速度和纟见频制造精确性。这种新的MMS "良务本身是本 />开文件的多个方面。
本公开文件的d 、波编码译码器在其高效处理静止图像和视频的 能力上是独特的，并因此可以利用能够同时支持移动图片邮件和视 频消息服务的低成本且低功率的单一解决方案替代单独的MPEG编 码i,码器和JPEG编码译码器。本/>开文件的实施例还包括通过与 手持装置中的随后的4见频编码i奪码器、移动网络中的^L频处理应用 程序服务器、和/或接收4见频回放装置共享诸如在移动装置中的成像器模块中获得的防抖摄像机运动补偿信息的信息来改善移动视频服 务的端对端功能和性能。
改进的基于J、波的图像处理
本7>开文件的多个方面还利用了 (例如)具有比基于DCT的编 码译码器更低的计算复杂度的视频压缩/解压缩(编码译码器)装置
中的3-D小波变换。
图8 4是供了传统的DCT编码器技术的相关计算要求和根据一 个实施例的本公开文件的示例性技术的相关计算要求的对比。小波 变换阶段的应用程序还使得能够设计具有极大地降低了计算复杂度
的量^b和熵编》马阶,史。
图9示出了才艮据一个实施例通过本7>开文件的多个方面所^使能 的视频编码译码器计算要求上的降低。
在一些实施例中，小波编码译码器(例如，3D小波代码)还可 以向移动成4象应用程序、装置和月l务提供以下多项中的 一 项或多项
*对称的低复杂度视频编码和译码；
SW编码译码器和HW编码译码器实现方式的低处理器功率
要求；
*既作为本地代码又作为Java应用程序的具有与现有商业移 动手持装置相兼容的处理器要求的30fps (或更高的)帧率 的VGA (或更大的) 一见频的專t件编码和译码；
*用于SoC集成的低门数ASIC核；
*低緩冲存储器要求； 既支持静止图像(~ JPEG)又支持视频(-MPEG)的单一 的编码译码器；
*更短的图片组(GOP )所导致的简化-現频编辑(剪切、插入、 文本覆盖)；
更短的GOP所导致的与语音编码译码器的简化同步；
*更短的GOP所导致的对于增强纟见频流的低等待时间；
*自适应速率控制、多播、和联合源通道编码的精细颗粒可扩 展性；
*对新兴HDTV纟见频4各式的低复杂度性能扩展；
* 一寻小型SW"i奪石马器(< 40 kB)与传送的每个一见频流集成在 一起，以使得能够进行与普通手持装置和PC视频播放器相 兼容的"自4番;汰"^L频消息；
在一些实施例中，小波变换的应用程序在上升结构中利用了小 的双值整数滤波器系数。例如，可以利用它们的Haar 2-6和5-3小 波和变分。
在一个实施例中，可以^使用才是升方案计算算法。例如，利用4吏 得能够进行原位计算的提升方案来计算这些滤波器。
这降低了寄存器和临时RAM位置的使用，并保持高效率利用 高速緩冲存储器的本地参考。
在一个实施例中，可以使用具有定制的金字塔结构的金字塔形 状的小波变换。例如，本公开文件的一些实施例还包括基于从之前 小波等级得出的数据的一半来计算小波变换序列的每个等级，使得整个计算几乎独立于等级的数量。在一个实施例中，定制金字塔以 提供上述提升方案的优点并进一步节约寄存器利用率和高速緩沖存 储器带宽。
在一个实施例中，可以利用块结构。例如，本7>开文件将图片 分割为多个矩形块并独立于其他块来处理每一块，从而使得能够保 持存储器参考是本地的并利用处理器高速緩冲存储器中剩余的数据 来进行整体的变换金字塔，在大多数的存储器中存储极大量的数据
运动。在HW实施例中该块结构可以是有利的，这是由于其避免了 对信号流中的巨大中间存储能力的要求。
在一个实施例中，可以使用块边界滤波器本乂>开文件在每个 块的边界处利用了改进的滤波器计算，如序列号为10/418,363的美 国专利申请所陈述的，其避免了尖锐伪像，通过参考的方式将该专 利申请结合到本文中。
在一个实施例中，可以使用色度暂时去除例如，利用序列号 为10/447,514的美国专利申i青中所陈述的用于GOP的色度的单一 场，通过参考的方式将该专利申请结合到本文中。
在一个实施例中，可以使用利用3D小波的暂时压缩。相反， 本/>开文件的某些实施例计算场对场(field-to-field )的暂时小波变 换。这计算起来非常廉价。在一个方面上，还使用了利用提升方案 的短整数滤波器。
在一个实施例中，可以〗吏用双值量化算法。在本7>开文件的某 些实施例中，利用在系数位置范围上统一进行二进制移位操作来完 成压缩处理的量化步艰i。
在一个实施例中，可以4吏用打才庄算法(piling algorithm)-例如， 在本/>开文件的一些实施例中，通过进4亍零运4亍(run-of-zero )转换来降低通过以下的熵编码器所处理数据量。在某些实施例中，序
列号为10/447,455的美国专利申请中所披露的方法和公开文件被用 于对平行处理架构的零运行进行计数，通过参考的方式将该专利申 请结合到本文中。
在一个实施例中，可以〗吏用循环效率熵编码。例如，可以利用 将传统的表格查找与输入符号的直接计算结合起来的技术来完成压 缩处理中的熵编码步骤。由于已经对符合分布进行了表征，可以使 用i者3口 Rice-Golomb或 exp-Golomb或动态单调的简单烦编石马器。塌 编码器的选择在细节上依赖于处理器平台能力。可以使用通过参考 的方式结合到本文中的序列号为10/447,467的美国专利申请中所披 露的方法以及通过参考的方式结合到本文中的序列号为11/232,726 的美国专利申请。
本公开文件的多个方面还使得能够在小波变换域中完成视频编 辑处理或操作，从而存储反向小波变换和正向小波变换的计算，并 还存储通过对相比于像素数据值的传统4乘作所需的凄t据项目少的数 据项目进行访问和改变来进行的计算。这种利用简化的计算来在小
1. -隨色为黑色
在一个实施例中，开始于小波变换数据(系数而非像素数据值), 通过每个时间步骤中的某些量来降低图片(如果有块的话，或每个 块)的LumaDC系数，从而使得整体的亮度水平平滑地降到黑色。 当DC水平达到全黑色时，该降低停止，否则除了全黑之外将继续 降^f氐以确保图片的所有部分已达到黑色。注意，在Droplet的目前 的商业编码译码器中所使用的块变换的情况中，在每个时间步骤访 问和/或改变凄t据的约1/256,或者在非块全变^:小波实现方式的情 况中的凝:据的约1/300,000。2. — 逸色为白色
根据一个实施例，这类似于褪色为黑色(除了将DC系数逐渐 提高到全亮度水平之外)。
3. 抹掉
在一个实施例中，开始于同样的小波变换数据系数，在每个连 续时间步骤，我们按照精细到粗糙的空间细节顺序来替代接下来的 系数。该顺序对应于JPEG和MPEG编码中的系数的"反向Z字型 扫描"顺序。在最终时间步骤处，我们用代表中间灰色的值来替代 DC系数。在块变换的情况中，在图片的每个块中完成该替换。该 处理具有使图像模糊直到没有信息留下的效果。注意在每个时间步 骤访问和/或改变数据的约1/256。
4. 切希尔^逸色(Cheshire Fade ) (4逸色为4青细细节)
在一个实施例中，开始于同样的小波变换彩:据系数，在第一时 间步骤，我们用代表中间灰色的值来替代DC系数。在每个连续的 时间步骤，我们按照粗糙到精细的空间细节的顺序来替代接下来的 系数。该顺序对应于JPEG和MPEG编码中的系数的"Z字型扫描" 顺序。在块变换的情况中，在图片的每个块中完成该替换。注意在 每个时间步驶^沐问和/或改变翁:才居的约1/256。
5. 颜色4交正
开始于同样的小波变换数据系数，我们只改变色度DC系数。 这具有改变跨越整个图像的颜色平衡的效果，并且只需要访问和改 变凄W居元素的1/256或更少。
改进的移动成像手持装置架构图10示出了根据一个实施例的由本公开文件的多个方面所使
能的移动成像手持装置架构。 改进的视频处理和应用程序服务器架构
图11示出了 4艮据一个实施例的^L频处理和应用程序力良务器架 构，其中包含专用^:据处理元件的单独的线卡^皮通用个人计算枳j (PC)中央处理单元(CPU)所替代，专用数据处理元件包括但不 局限于数字信号处理器(DSP)、特定用途集成电路(ASIC)、多 々某体处理器、及可重新配置处理装置(RPD)。
图12示出了才艮据一个实施例的4见频处理和应用禾呈序H务器架 构，其中，才艮据本7>开文件的基于小波的SW^L频代码转换4几和编 辑、存储、搜索、检索应用程序替代了运行在数字信号处理器(DSP)、 特定用途集成电路(ASIC)、多媒体处理器、及可重新配置处理装 置(RPD)上的基于DCT的视频处理。
本公开文件的各种实施例提供了对MMS应用程序月良务器架构 的增强。例如，可以考虑若干种实现方式选项，用于改进的^L频处 理和应用程序月良务器(见图13)中的SW基于小波的一见频处理和应 用程序。可以经由OTN下载将成像应用程序安装到月l务器的多々某体 处理部。还可以在加工期间、在销售点、或在安装期间将该成^f象应 用程序安装到服务器的多媒体处理部。另外的实现方式选项也是可 能的。
才艮据本/>开文件的多个方面，通过经由基于HW的处理资源来 4吏一些计算元4牛加速以利用在移动装置计算HW( ASIC、DSP、RPD ) 和集成技术(SoC、 SIP)方面的进展，可以改进4见频处理和应用程 序月l务器的性能，并可以降^氐成本和功寿毛。若干全HW选项可以祐L 实现用于将这些基于硬件的处理资源集成在服务器中(见图14)。才艮才居一个实施例，:J!口图15所示，本7>开文4牛的多个方面所提 供的用于^见频处理应用禾呈序的混合架构可以通过在HW中实^见一些 计算加强的、重复的、固定的功能、以及在SW中实现一些功能(对 于这些功能的后期加工和后期安装的改进式期望的且要求的)来提 供增强。
改进的视频编辑、归档、及检索系统
图16示出了才艮据一个实施例的用于广播应用程序的分布式牙见 频编辑系统的功能和元件，包括支持视频归档和检索功能的元件。 本公开文件的多个方面使可以支持移动个人"媒体制造器"服务(而 不仅仅是商业广播服务)的这种分布式虚拟演播室系统的设计和配 置简化并加速。本公开文件的实施例还包括以下多项中的 一项或多 项
1. 牙见频编;马、译码、和编辑的降〗氐的计算复杂度；
2. 在小波变换域中执行视频编辑步骤或操作，从而存储反向小 波变换和正向小波变换的计算，并还存储通过对相比于像素 凄t据值的传统操作所需的凄t据项目少的凄t据项目进行访问 和改变来进4于的计算；
3. 允许移动一见频应用程序运4于在<氐成本、^f氐功率的PCCPU上 而非专用的、昂贵的、高功率的DSP或ASIC上；
4. 更少的、不太昂贵的基于PC的服务器可以替代大量的专用 视频应用程序服务器，降低每个订户的配置&操作成本；
5. 降低执行在线编辑系统的所有实时功能所需的计算功率，并 允许这些实时编辑功能的软件实现方式；6. 除了最终用户工作站之外，还使得最终用户能够支持经由移 动手持装置、个人媒体播放器、膝上型计算机和个人计算机 上的SW客户机来进行的自动视频编辑和其他处理；
7. 使能移动视频服务的端对端功能性和性能；这是通过将诸如 防抖摄像机运动补偿信息(可在移动装置中的成像器模块中 获得该信息)的信息传送给以下多项中的一项或多项来使能 的手持装置中的随后的4见频编码译码器、移动网全各中的賴L 频处理应用程序H务器、和/或接收#见频回》欠装置。然后例如 通过提供必须以其他方式由视频编码译码器从输入视频数 据中提取出的额外的运动补偿信息，这种信息可以被用于进 一步地降低视频编码译码器的计算要求。
这种信息还可以被用于进一步补偿摄像机运动，该摄像 才几运动发生在移动装置中的一见频拍才聂期间、随后在移动网络 中的—见频处理应用程序服务器中所进行的编辑以及进一 步 的视频处理期间。在一个实施例中，这种信息还可以净皮用于 重新创建摄像机运动效果，该效果可能是在编辑期间以及随 后在移动网《各中的一见频处理应用程序月良务器中、和/或在招: 收—见频回》文装置中所进4亍的进一 步的—见频处理期间在移动 装置中的摄像机模块中经由视频前期处理而先前去除的。
改进的移动成像J3MH^台架构
才艮据本公开文件的实施例的改进的移动成像服务平台架构的
部件(见图17)包4舌以下多项中的一项或多项 *移动手持装置 *移动基站(BTS)*基站控制器/无线电网络控制器(BSC/RNC )
*移动交换中心(MSC)
*网关月l务节点(GSN)
*移动多媒体服务控制器(MMSC)
*成像服务下载服务器
MMSC(见图17 )中包4舌的功能包4舌以下多项中的一项或多项
* ^L频网关
* Telco服务器
* MMS应用禾呈序"l务器 *存储服务器
本7>开文件的实施例包括用于采用该改进的成像"良务平台的处 理，该改进的成^象月良务平台包4舌以下多项中的一项或多项
处理1.
用信号通知网络—见频编辑/处理应用程序可用于更新所配置的 MMSC。可以经由自动OTN配置或经由手动步骤来安装该更新；
处理2.
经由自动OTN配置或经由手动步骤来安装和配置—见频编辑/处 理SW应用禾呈序(见图12);处理3.
用信号通知订户手持装置移动碎见频成^f象应用^f呈序可用于下载和
安装；
处理4.
如果订户接受，并且成功完成交易结算，则下载并安装移动i见 频成〗象应用程序；
处理5.
用信号通知网络手持装置升级完成。激活服务和相关应用程序。 4安月更新订户的贝长单{己录以反映移动一见频成<象应用禾呈序的新的费
用；
才艮据本/>开文件的一个实施例，图18示出了通过将SW译码 器集成在传送的一见频流上而实现的"自译码" 一见频MMS功能，其 消除了转换代码的需要并允许现有的视频处理/应用程序服务器对 本公开文件所提供的视频格式进行处理。
才艮据本y厶开文件的多个方面，图19示出了所配置的一见频处理 和应用程序服务器的OTN升级。
根据本公开文件的一个实施例，图20示出了配置媒体制造器 服务(诸如自动或手动编辑用户创建的视频、以及用户创建的视频 的数据库存储、搜索及检索)所需的视频应用程序服务器的数量、 成本、及复杂度上的降低。
根据本公开文件的一个实施例，图21示出了结合了 ？文进的基 于小波的编码译码器/可携式摄像机应用程序、以及改进的视频编辑/处理、及数据库存储、搜索和检索的视频消息/共享/呼叫平台的功 能处理。
才艮据本/>开文件的一个实施例，图22示出了就更快速的、更 低成本的开发和配置更高质量的多媒体手持装置&服务而言的优 点，包括配置新的个人多媒体市场平台的能力，在该个人多媒体市 场平台中，用户能够预览、共享、购买、销售用户创建的音频"见频 内容的"软'，拷贝(下载)或"硬"拷贝("DVD")。本^Hf文件 还允许更高效的用于数据库索引的视频"加标签"和网络(RSS) 供给，并支持通向现有基于网络的市场(诸如E-bay、 Google、 Yahoo、 Microsoft和其他入口 )的接口。
才艮据本/>开文件的一个实施例，图23示出了上述一见频消息/共 享/呼叫平台的应用程序，该平台结合了改进的基于小波的编码译码 器/可携式纟聂^f象才几应用程序和改进的一见频编辑/处理和凄t据库存储、搜 索、及检索以在以下网络上配置新的视频服务固定无线网络、移 动无线网络、及有线网络、以及组合了固定无线架构、移动无线架 构、及有线架构的元件的"会聚"网络。
本/>开文件，在一个实施例中，利用其基于小波的移动一见频成 像应用程序、手持装置架构、以及服务平台架构实现了更高的移动 视频图像质量、更低的手持装置成本和复杂度、以及降低的服务配 置成本的目标。
本公开文件的成像解决方案根本上降低了视频编辑服务器中的
要求和处理器成本。与经由OTN下载来安装并升级一见频编辑应用程
序后期制造的能力相结合，该SW解决方案能够根本上降低视频消 息和共享服务配置的复杂度、风险和成本。本公开文件向移动操作者提供了第 一 移动视频消息和共享平 台，该平台提供了消费者和企业客户所采用的巨大市场所需的视频
质量和力良务配置成本。本7>开文件_提供了一种sw可携式揭/f象才几电
话应用程序，该应用程序仅利用已经结合在绝大多数多媒体手持装
置中的单一的标准RISC处理器就能够实时拍摄30帧每秒(fps )的 全(VGA)尺寸的图像(640 x480像素)。对于移动运营商，本公 开文件的低复杂度视频处理和分布技术被集成到强大的软件平台 中，该平台使得利用现有的移动手持装置和移动多媒体消息服务 (MMS)基础结构能够进4亍转4建(turnkey)配置。
才艮据一个实施例，对上述的SW移动可携式揭/f象4几应用程序进 行补充，本公开文件的内容管理平台向运营商提供了用于将根据本 —技术的压缩过的图{象和#见频连同声音和文本一起集成到完成的移动 多媒体消息和"铃音(ring-stone)"中的才莫块，还有空中编辑、缩 略图预览、多媒体邮箱、在线资料档案库、共享和交易服务、以及 订阅管理。
种其他数据可以包括获得的同步于一见频的音频数据。其还可以包括 包含元数据的其他数据，元数据包括拍摄时间、位置信息(起源于 GPS、移动蜂窝信号楼位置、来自摄像机图像数据的景物标识、无 线发射机(例如WIFI)标识等)、用户标识、移动装置标识、用户 添加的信息(包括用户对包括视频服务查询的服务查询、力口标题、 命名、后添加的注释音频lt据的响应)。
该数据还可以包括起源于这样的视频和音频数据的元数据，该 一见频和音频^:据拍纟聂于或起源于纟见频拍^聂处理。其还可以包括起源 于额外的传感器装置的元数据，例如，起源于回转仪或角速率传感 器的抖动ft据。可以以各种方式将该额外的#:据用在#见频编辑、存储、搜索、检索、位置标识、与广告的集成、对摄像机用户的视频 提供、以及本申请中描述的其他服务中。
在一个实施例中， 一见频传送是基于用户的位置的。例如，移动
装置(例如，蜂窝电话、黑莓(BlackBerry)等)可以包括GPS追 踪功能，从而可以识别移动装置用户的位置用于将地理专用视频数 据传送给该用户。
基于位置的视频可以作为通过用户的位置来确定的风景旅行。 例如，不熟悉维也纳的意大利旅行者可以请求来自移动装置的维也 纳特有的信息。可以(例如)基于请求和/或基于用户设置自动地将 现场》艮行的流4见频传送给该用户。类似地，基于识别出的用户地理 ^立置可以向该用户建"i义和/或提供;也理特有的^L频才莫々反。
可以基于用户设置在请求时提供或自动提供这种动态模板建 议。例如，如果用户在纽约城中拍摄视频，则可以将(例如)帝国 大厦、自由女神像等的模板提供给该用户。
此外，可以基于用户的地理位置来提供4见频增强。例如，可以 在提出请求时提供或自动提供预先录制的用户当前位置的视频，用 于增强用户拍摄的视频。在一个实施例中，可以提供目标广告，例 如，用户凄t才居。
用户数据可以包括地理数据、年龄^t据、订阅数据。可以从各 种来源(诸如用户提供的信息、账单信息、订阅信息、实时收集的 信息(例如，呼叫记录、用户地理位置等))来搜集用户数据。
可以使用这种用户数据来确定用户的偏爱和嗜好，以(例如) 传送目标广告。在一些实施例中，可以提供对所观看的广告的服务 费用纟氐消。本7>开文件的一个或多个实施例可以实现在一个系统中，例如， 在一个示例性实施例中，下述的碎见频编辑月良务系统(例如，自动视 频编辑月l务系统)。
自动视频编辑月艮务(AVES )系统
本公开文件优选实施例的一个实例可以包括自动视频编辑服务 (AVES )。图24a示出了根据本公开文件的部件的一种可能的示例 性冲既述，其可以包括AVES组成。
在一个实施例中，件见频编辑月良务响应于(例如)利用^L频拍才聂 功能经由便携式装置所产生的用户请求来提供视频编辑服务。可以 经由路由系统将该视频编辑同时提供给多个用户，若干个视频处理器。
在一个实施例中，路由器追踪一个或多个视频处理器的才喿作状 态，使得可以将新的处理任务路由到不处于操作中的视频处理器， 或者将新的处理4壬务路由到具有短一些的4壬务队列的处理器。因此， 可以同时进行多个^L频处理任务。
在一个实施例中，该视频编辑服务经由移动装置向用户提供一 个或多个模板。 一个或多个模板可以预先存储在移动装置中。在一 些实施例中，可以经由移动装置(例如)基于用户的请求或者基于 用户设置等自动地下载这些才莫板。在一些实施例中，可以基于用户 特有的数据来提供这些模板，可以经由多种处理之一来收集这些数 据，诸如(例如)GPS功能、经由信号楼获得的三角测量数据、用 户订阅数据等。在一个实施例中，可以向用户提供模板以收取费用。
对视频编辑的请求可以包括如用户所选的视频片段和模板。可 以在发送请求之前由用户来剪辑该视频。在接收到对视频编辑的请求时， 一见频服务器对该请求进行处理并执4亍用户所指定的编辑。这
些编辑可以包4舌利用与用户所选的才莫板相关联的^L频编辑。
可以将经编辑:规频的至少一部分发送回用户，4吏得利于实时预 览这些编辑。在用户指示同意编辑时，可以将经编辑的全长版^见频 发送回该移动装置。在一个实施例中，在用户请求时，可以经由移 动装置将经编辑的视频发送回多个将要接收的接收者。在一些实施 例中，基于用户设置，可以将经编辑的视频提供给多个用户，例如， 以接收与特定主题的视频有关的视频。
参照图24a， AVES可以包括S见频编辑月1务客户才几(VESClient) 2410。该VESClient可以包括可以运行在指定的任意移动操作系统 上的移动应用程序。优选地，VESClient可以包括将AVES协调为 发送并编辑所编码的视频的应用程序。根据本发明的一个实施例， VESClient可以经由WiFi与AVES连接。应当注意到，可以4吏用未 来开发的4壬意其4也方法或4壬意已知方法来4吏VESClient与AVES连 接起来。
VESClient可以包括许多特征。这些特征包括但不限于以下多 项中的一项或多项字幕屏幕(其可以包括诸如(例如)发送/编辑 视频、我的好友、我的画室、我的视频的选项)，选择一个或多个视 频的能力，支持具有MP3或WMA音频追踪的AVI存储器，调整 (即，将视频截到特定长度)视频的能力，预览经调整(例如，截 短)的一见频的能力，重新调整的能力，给—见频加字幕的能力，示出 所激活模板的能力，将多个视频接合在一起，将视频和/或音频序列 发送给AVES，预览经编辑的视频合成文件(在一些实施例中，可 以在一见频上传开始的IO秒内开始该预览)，基于用户联络(可以通 过网站来管理用户联络)显示接收者列表，直接接收期望的接收者 的电话号码和/或邮件地址的输入的功能，以及示出从VESClient发 送给AVES的最后N条4见频的概要(其中，N可以是任意整数)。在一个实施例中，小波编码译码器(例如，3D小波编码译码器)可 以用于一见频压缩。
在一个实施例中，AVES包4舌一个或多个月艮务交换点(SSP) 2420。图24b示出了与N个VESClient和X个TP相连<1妾的SSP的 一个示例性实施例(其中，N和X是可以;波此相等或可以;波此不相 等的整数)。SSP可以包括交换机，该交换机处理输入的客户机连接 并将它们分配给可用于视频编辑的模板处理器。例如，该SSP可以 执行负载平衡并可以形成分布式网络以在任意时间对可连接到模板 处理器或模板处理器阵列的并发VESClient的数目进行扩展。
该SSP可以包括许多特征。这些特征可以包括^f旦不限于以下多 项中的一项或多项处理一个或多个VESClient,以及处理连^妄到 一个或多个SSP的一个或多个才莫4反处理器。可以通过在配置文件中 指定参^t值来配置该SSP。
在一个实施例中，该系统可以接受用户登录并确定该登录在 AVES数据库中是否合法。在一个实施例中，该系统可以确定是否 存在处理VESClient编辑请求的可利用的才莫板处理器。在一个实施 例中，该系统可以基于所确定的模板处理器状态将忙碌状态通知给 VESClient。在一个实施例中，该系统能够从AVES数据库获得联络 和/或模板信息并将该信息发送给VESClient。在一个实施例中，该 系统4妄收来自VESClient的编辑请求并将该信息存+者到凄史据库中。 在一个实施例中，该系统还能够将模板和编辑信息合并起来，并能 够接收来自VESClient的数据组块并将凄U居组块转发给才莫4反处理 器。
在一个实施例中，该系统可能能够获得来自AVES数据库的预 定数量的由该用户上传的视频(例如，最新10个视频)的概要并将 该信息发送给VESClient,该系统可能还能够接收来自VESClient的预览请求并将该请求转发给模板处理器，能够接收来自模板处理
器的用于预览的数据流(例如，AVI数据流)并转发给VESClient, 该系统还可以，接收来自VESClient的预览"跳过，，并通知才莫才反处理 器。在一个实施例中，该系统还可以接收来自VESClient的预览"取 消"并通知才莫4反处理器。
在一个实施例中，该系统可能能够对AVES凄丈据库进4亍扫描以 识别新予贞定的作业，例如，管理一莫一反处理器处理(例如，载入或无 效)。在一个实施例中，该系统可能能够在#见频#1编辑后将新的—见频 通知发送到接收者。
AVES还可以包括一个或多个才莫板处理器(TP ) 2430。 TP可以 4姿收来自SSP的编辑:清求。例如，可以卩夸编辑-清求发送到TP用于 处理，并且TP还可以提供视频的按比例缩小预览版本用于在对被 编辑视频进行合成时实时传送回VESClient。在一个实施例中，TP 可能还能够监控每个用户的磁盘使用率以防止用户占用过多存储 器。
TP可以包括:特别配置的用于完成AVES的—见频编辑处理或其 一部分的衫:件系统。多个分立的TP可以在同一硬J牛平台上同时进 4亍才乘作并共享同一处理器或处理器组。可以将TP配置为阵列，仅_ 得SSP可以将VESClient需要指向可利用的TP之一。因此，该架 构是高度可扩展的，并能够利用相对低成本的普通平台(其具有在 每个平台上可利用的多个软件TP引擎)来构建(即，不是定制视 频编辑硬件平台)。每个硬件平台可以具有其自己的SSP,或者在一 些实施例中，一个硬件平台上的SSP可以利用不同硬件平台上的TP 进行功能性操作。
该TP可以包括4午多特4i。这些4争4i可以包括 f旦不限于以下多 项中的一项或多项接收来自SSP的编辑信息(例如，除了用于产生经编辑一见频的其他元凄t据之外，该编辑信息还可以包含^L频编辑 模板的XML描述)，对编辑信息进行分解以确定如何合成最终视频。
在本公开文件的一个实施例中，可以接收来自SSP的上传数据 流(其可以是AVI)。在一个实施例中，可以存储最初的原始数据文 4牛用于上传的#见频。此外，来自AVI文〗牛的^f见频和音频可以是多路 解编的。其^f也实施例可以包4舌4妄收经编辑的纟见频和音频(可以通 过包含在相关联才莫板中的信息来指引TP)，以及在月l务器上重新多 3各复用经编辑的#见频和音频、和/或将经编辑凄t据存〗诸为AVI文件。
一个实施例还包括以下能力中的 一种或多种将视频接合到上 传供给的开始或结尾，将多个视频接合在一起，使具有与该目标编 辑视频不同的分辨率的静止图片居中或伸展适应，混合音频追踪， 根据所选模板或通过分析场景变换而在视频片段之间制造一些变换 效果(在其他可能性中，该变换效果可以包括擦、叠象渐变、渐隐、 飞行、放大、遮蔽、制成方格式、及消失)，将视频片段转换为黑& 白或棕褐色，向视频添加时间戳、日期戳、和/或位置戳，从经编辑 一见频创建幻灯片秀，制造预览AVI流(该一见频可以包括减小的帧尺 寸和降低的帧率)。
本公开文件的实施例还包括以下多种能力中的一种或多种接 收来自SSP的"预览"请求并随后发送回预览一见频ft据流，4妻收来 自SSP的"预览跳过"请求并随后停止制造预览流，才艮据用户选择 了哪个才莫^反来将多个Jf某体对象合并为一个AVI,应用3见频和音频效 果(其可以是基于用户所选的模板的)，在视频片段上应用颜色变形， 在视频片段上应用黑和白变换，支持视频片段的动画和背景覆盖， 和/或能够插入4见频片,殳的文本i兌明。
AVES还可以包括网站2440 。用户可以使用该网站来观看其视 频的列表。例如，可以由该用户来创建^L频，或者可以由其4也用户将一见频发送给该用户。用户还可以4吏用该网站编辑联络信息、激活 模板、以及激活媒体。在一个实施例中，该网站还可以向用户提供
以下能力中的一种或多种邀请好友观看视频，载入模板编辑器， 激活音频追踪，通过位置显示纟见频，显示用户上传的^L频列表或发 送给用户的视频列表，购买新的模板，以及允许用户维护联络列表。 应当注意这不是用户经由该网站可获得的特征的详尽列表。可以包 括其他特征。
AVES还可以包括模板编辑器(TE ) 2450。在一个实施例中， TE是用于创建定制模板的工具。该模板编辑器可以是基于并运行在 用户浏览器上的Flash。在一个实施例中，TE可以通过互联网或任 意其他类型的网络(诸如LAN, WAN)与AVES进行交互。
在一些实施例中，TE还可以提供一项或多项用户服务，诸如 创建可以对包括变换成分、背景音乐、和/或静止图片的视频片段进 行组合的模板；将媒体添加到模板中；在两个视频片段之间插入变 换；混合音频追踪；预览图片、音频追踪、和/或^L频元素；在图片 上设置属性(诸如(例如)如果需要使图片居中或伸展适应)；设置 持续显示静止图片和变换；将视频槽插入到模板中；将制造出的模 板上传到AVES;预览才莫^反如何工作；为每个视频和音频元素设置 属性；为视频片段设置属性，例如，颜色变形、动画、背景覆盖、 和/或文本i兌明；相对于其覆盖的其他追踪来设置音频追踪的4又重； 以及示出用户激活的才莫4反。
AVES还可以包括PHP月良务2460,其可以包括网站和/或TE所 使用的一组PHP文件以允许访问AVES数据库。这些PHP文件还 可以为4妄收PC应用程序才是供支持以得到关于何时可利用新:视频的通知。AVES还可以包括4妄收PC应用程序(ReceivingApp )。该4妄收 PC应用程序可以是这样的应用程序，该应用程序对服务器进行周期 性轮询以观察用户是否向服务器发送了新的视频。还可以将其设置 为需要用户id和口令来进行登录。当新的视频到达时，它还能够用 于登录网站，并且它还能够检测是否安装了小波编码:泽码器(例如， 3D小波编码译码器)。另夕卜，如果不存在编码译码器，则接收PC 可以安装该编码译码器(如果编码译码器不存在)。可以从服务器获 得该编码译码器。
AVES还可以包括数据库2470。在其他项目中，AVES数据库 可以配置为^f呆存来自TE的关于用户账户、上传的-见频、经编辑的 视频、媒体、模板、及所预定的作业的信息。应当注意到数据库可 以配置为存储所期望的任意信息。
AVE"i更置实例
该实例示出了本发明的示例性实施例的架构设置和利用图案的 一个实例。
VESClient
1. VESClient 乂人本地配置文件中得到月l务器信息并利用该信息 来连接到AVES。优选地，用户不必配置服务器IP地址信息， 因为这将^皮自动处理。
2. 如果用户是第一次登录到AVES,则他/她必须输入他/她的 移动电话号码。稍后VESClient可以利用所存储的该号码来 自动登录。
3. 如果对于AVES来说该移动电话号码是已知的，则登录成 功。4. 在登录到AVES之后，AVES将模板列表和接收者列表返回 给VESClient。
5. 用户可以从模板列表中选择一个激活的模板，在本地系统中 选择一些视频，并具有对这些视频中的一些进行调整的选项
(可以在另一子窗口中实现调整操作，在另一子窗口中，用 户可以设置所选视频的开始点和结束点，并且将利用所选的 这两点来对^L频进4亍调整)。用户可以反复调整^L频直到用 户满意。
6. 对于给定模板，用户可以选择与模板中的槽数目相等的视频 数量。在括号中会有指示符，建议一个槽中应当包含多少个 片段。
7. 用户还可以在上传之前为视频提供字幕。
8. VESClient可以将所选的经调整4见频上传到AVES。
9. 用户可以在上传发生的同时预览经编辑的3见频。用户还可以 直接取消预览或跳过预览。
10. 在上传完成之后或者如果用户跳过预览，则用户可以通过乂人
用户还可以管理其来自电话的联络。
11. 在将经编辑^L频发送给接收者之后，VESClient可以呈现该 用户上传的最新10个3见频。
12.用户可以返回到VESClient内的主屏幕'
SSP (服务交换点)对于J^&SC7&W
1. VESClient连接到SSP并发送其移动电话号码。SSP可以进 行检查来查看该移动电话号码是否存在于数据库中。
2. 如果该号码不存在，则将通知用户他们需要签名加入账户。
3. 在登录进入之后，SSP可以从AVES数据库中才企索该用户的 联络信息和模板列表并将其发送给VESClient。
4. 然后SSP可以4妄收来自VESClient的编辑4言息。
5. SSP可以从AVES数据库中检索用于所选模板的细节。然后 SSP可以将该模板和编辑信息合并在一起并将该编辑信息 存储到AVES凄t据库中。
6. 然后SSP可以将合并后的信息发送给相应TP。
7. 然后SSP可以接收来自VESClient的输入数据流并将该数据 直接转发给TP。
8. SSP可以接收来自VESClient的对预览的请求。然后SSP可 以告知相应的TP发回^L频凄t据流。
9. 然后SSP可以接收来自TP的视频数据流并将其转发给 VESClient。
10. TP可以通知SSP其4可时完成了该编辑处理。SSP可以告知 VESClient该编辑处理已完成并在数据库中作批注。
ll.SSP可以接收来自VESClient的字幕和接收者信息，并将该 信息存储到数据库中。12.SSP可以4妄收来自VESClient的对历史的请求，并然后可以 返回由相应的用户创建的最^斤10个^L频。
13.在完成整个处理之后，SSP可以清除AVES中的所有相关4言 息(诸如临时^L频文件和在编辑处理期间所4吏用的数据库条 目)。
1. SSP可以定期才企查预定的"-见在就尝试(Try it now)"作业表格。
2. 如存在等待作业，则SSP可以4企查是否存在该作业可利用的 TP。如果不存在可利用的TP,则可以4呆存该作业直到有了 可利用的TP。
3. SSP可以读取关于该作业的信息并从数据库中检索新创建的 模板。然后SSP可以合并该模板和作业元数据。
4. SSP可以将合并后的作业信息发送给TP。
5. 在TP完成该处理之后，TP可以通知SSP。然后SSP可以通
过更新凄t据库来通知网站该处理已完成。
6. 在整个处理完成之后，SSP可以清除AVES中的所有相关4言 自
TP (J^板处理器)
1。 TP可以接收合并后的模板并对其进行分解。
2. TP可以接收上传的视频数据流并将其存储为原始文件。3. TP可以才艮据分解后的才莫板对凄t据流进4亍编辑。
4. TP可以将结果存储为经编辑文件。
5. TP可以制造用于预览的视频(该预览将存储在存储器中)。
6. TP可以4矣收预览i青求，然后将该预览流发送回SSP。
7. 如果TP接收到跳过预览的请求，则TP可以停止制造预览 数据流并删除存储器中的所有预览组块。
8. 在TP完成之后，TP可以通知SSP。 网站
根据网站是由用户来访问还是由管理员来访问，该网站可以具 有不同的选项。该网站可以具有4吏用户和管理员登录和退出的能力。
该网络可以向用户提供以下能力注册、管理联络、管理视频 (例如，观看发送的视频、接收到的视频、上传的视频等)，管理媒 体(例如，欣赏音乐、购买音乐、观看背景图像、购买背景图像、 观看模板、购买模板等)，以及创建新模板。
该网站可以向管理员4是供以下能力管理々某体(例如，创建音 乐、删除音乐、创建背景图像、删除背景图像等)，以及管理模板(创 建和删除4莫玲反)。
TE (模板编辑器)
1, 用户可以乂人网站载入TE。
2. 用户可以向时间线添加静止图片、4见频、变才奐等。3. 用户可以将背景音乐(以及其持续时间)设置到时间线中的 —见频槽。
4. 在用户完成对才莫板进行编辑之后，用户可以将才莫4反上传到 AVES。
5. 在用户上传模板之后，用户通过点击"现在就尝试(Try it now)"可以子贞览岁丈果。
6. "现在就尝试，，可以指示用户为每个模板的空槽选择已上传 至)J AVES的3见步贞。
7. 当"现在就尝试，，作业已完成之后，用户就可以〗現看来自网 站的最终结果。
ReceivingApp
1. 当窗口开始时，可以载入ReceivingApp 。
2. 当ReceivingApp载入时可以弹出登录对话框(这可能仅在 第 一次登录时出现，在此之后用户登录信息可能净皮隐藏)。
3. 用户输入其Droplet Id和口令以进4亍登录。
4. 然后ReceivingApp连4妄到网乡占。
5. ReceivingApp可以进行周期性才企查以查看对于当前用户是 否有 一 些经编l辱纟见频。
6. 如果对于当前用户有一些经编辑—见频，贝1ReceivingApp可 以弹出气J求通知。7. 如果用户点击该气J求，则可以载入该网站。
8. 用户可以右击窗口的习犬态4兰中的ReceivingApp图冲示来打开 i亥网乡占。
连接
作为分布式系统，AVES部件可以按两种方式进行连接 一种 是基于TCP的，而另 一种是基于HTTP的。
VESClient和SSP之间的连4妄可以是套4妾字的和基于TCP的。 在任意VESClient和SSP之间可以存在两种连接。 一种连接是用于 命令的，其可以是基于专用二进制十办i义(private binary protocol )。 另 一种连接是用于预览数据流的。
5^尸
SSP和TP之间的连接可以是套接字的和基于TCP的。在SSP 和任意给定TP之间可以存在两种连接。 一种连接是用于将来自SSP 的消息发送给TP。另 一种连接是用于接收从TP到SSP的预览数据 流。这些消息可以是基于专用二进制协议的。
r￡ &嚴务
TE和PHP月良务之间的连接可以是基于HTTP的。这些连接可 以是基于专用HTTP协议的。ReceivingApp和PHP服务之间的连接可以是基于HTTP的。这 些连4妄可以是基于专用HTTP+办i义的。
登录和上传处理
参照图25,以下是本公开文件的示例性实施例的涉及AVES的 登录和上传处理的工作流禾呈的实例。
1. VESClient将带有移动电话号码的登录消息发送给SSP。
2. SSP4企查数据库以查看是否存在与该移动电话号码相匹配的 记录。
3. SSP冲企查是否存在可用于VESClient的TP。
4. 如果移动电话号码匹配且存在可用的TP，则成功进行登录。 然后SSP从数据库获得模板和联络信息。
5. SSP将才莫板和联络信息返回给VESClient。
6. 用户可以选4奪才莫外反、选择S见频、并刈—所选—见频进4亍调整。
7. VESClient将编辑信息发送给SSP。
8. SSP从数据库中得到对于该请求的相应模板细节，将模板与 编辑信息合并，并将编辑信息存储到数据库中。
9. SSP将合并后的才莫板发送给TP。 上传和预览参照图26,以下是本发明的示例性实施例涉及的AVES的上传 和预览处理的工作流^f呈的实例。
1. SSP将接收到的视频组块发送给TP。
2. TP将这些组块存储为原始视频文件。
3. TP根据相应模板来编辑这些组块。
4. TP将经编辑的组块存储为经编辑的一见频文件。
5. TP制造用于预览的组块。
6. 用户可以决定预览何时开始。SSP接收来自用户的预览请求 并然后通知TP开始预览。
7. TP将预览组块传送到SSP。
8. SSP将预览组块传送给VESClient。
9. VESClient在Windows媒体播放器中将这些组块显示为视频。
10. 用户可以跳过该预览或等待其结束。
11. 如果用户跳过预览，则SSP告知TP停止预览。
12. 在完成编辑之后，TP告知SSP编辑完成。
13. SSP将必要信息存储到数据库中，并清理数据库。 在上传^r参照图27，以下是本发明的示例性实施例的涉及在上传之后发 生的AVES的处理的工作流禾呈的实例。
1. 用户可以选裤4妄收该经编辑一见频的4妄收者。
2. VESClient将所选字幕和接收者发送给SSP。
3. SSP将这些接收者存储到数据库中。
4. VESClient请求上传的最近IO个文件的历史。
5. SSP从数据库得到历史。
6. SSP将历史返回到VESClient。
7. VESClient显示历史。 接收
参照图28，以下是本发明的示例性实施例的涉及AVES的接收 处理的工作流禾呈的实例。
1. 当接收应用程序载入时，弹出登录对话框。
2. 用户输入id和口令以进4亍登录。
3. 4妄收应用禾呈序查询PHP页面。
4. PHP页面检查数据库以查看是否存在任何要发给该用户的 视频。
5. 如果登录成功，则网站4皮载入。6. 如果存在要发送给用户的新的视频，则弹出指示符。
7. 用户可以点击该指示才寻以到达该网站。
8. 在该网站中，用户可以看到一见频列表或带有可利用的一见频的 地图。
9. 用户还可以点击计算才几桌面上的应用禾呈序以到达该网站。 登录、编辑&;j^板上传
参照图29，以下是本发明的示例性实施例的涉及AVES的登录、 编辑、和上传才莫^反的处理的工作流程的实例。
翁禅
1. 当用户创建模板时，他们可以将媒体元素插入到该模板中。 这些元素可以包括字幕、静止图片、视频、音频追踪、变换 效果等。
2. 当用户想要为元素指定媒体资源(例如，图片文件)时，TE 会将对可利用资源列表的请求发送给PHP服务。
3. PHP力l务4妄收该:清求并查询H据库以找到可利用资源。然后 PHP服务将该列表发送回TE。
4. 用户可以/人该列表中选择资源。 兰传微
1.在用户完成创建模板之后，他们可以点击"上传，，按钮以上 传模板。2. 上传请求将被发送到PHP服务。
3. PHP服务接收模板脚本并将该模板脚本记录到数据库中。 现在就尝试
参照图30，以下是本发明的示例性实施例的涉及AVES的模板 的现在就尝试(Try It Now)功能的工作流程的实例。
1. 用户通过点击"现在就尝试，，按钮可以尝试新创建的模板。
2. 请求将被发送到PHP服务以查询服务器上的可利用3见频。 PHP服务将视频信息列表返回到TE。
3. 弹出窗口列出这些视频。用户选择来自列表的适当数目的视 频文件用于模板中的槽。
4. TE将编辑请求递交到PHP服务。
5. PHP力良务通过将该作业添加到lt据库来预定新作业。
6. SSP对数据库进行定期轮询以检查是否存在新预定的作业。 如果发现新预定的作业，则其将查找用于执4于该作业的可利 用TP。如果4戈到可利用的TP,则该TP将处理该作业，否 贝'J TE将必须等;f寺，直到TP可利用为止。在TP完成处理之 后，SSP可以移除该新作业并爿寻新i己录添加到最终表才各。
7. 用户通过检查网页上的视频列表来确定视频何时可利用。
8. 在完成编辑处理之后，用户可以点击用于一见频列表页面中的 经编辑一见频的相应链接。这会4吏预览4皮载入。用户经验实例
参照图31-55，该实例示出了用户对本发明优选实施例的经-验 的一个实移'J。
图31示出了根据本发明实施例的用户导航地图的一个实例。
图32示出了 VESClient的字幕屏幕或主页的一个实例。在图 32中所示的实施例中，主页屏幕具有4个按4丑发送/编辑视频、我 的好友、我的画室、及我的纟见频。
点击发送/编辑视频按钮将用户导航到"视频-模板选择"页面， 其一个实例#:示出在图33a和图33b中。该页面可以允i午用户选择 视频和模板。图33a和图33b中所示的按钮的可能描述如下
脚本选择要使用的脚本。
一见频列表列出所有所选一见频。
添力口 3寻牙见步贞添力口至U歹'Jl。
字幕添加纟见频的字幕。
向上向上移动位置。
向下向下移动4立置。
移除/人"一见频列表"移除^见频。
调整按钮启动视频调整屏幕以对所选-见频进行调整。挨着经 调整的视频有一个调整图标。不调整按钮使帧指针复位以从0开始并在最后一帧结束。 才番方文预览该纟见频。
来自图33a和图33b中所示的屏幕的可能场景如下所示
1. 用户可以选择扭卩本。
2. 用户可以点击"添加"按4丑以添加一见频。
3. 用户可以i殳置所选^L频的顺序。(用户可以乂人"视频列表，， 选择一见频并然后点击"向上"按4丑以向上移动位置。用户还 可以从"视频列表，，选择视频并然后点击"向下，，按4丑以向 下移动位置。)
4. 用户可以/人"阮频列表"选冲和见频并然后点击"移除"按4丑 以将该视频从"视频列表，，移除。
5. 用户可以从"视频列表，，选择视频并然后点击"调整"按钮 以弹出"现频调整，，页面以调整该-f见频。
6. 用户可以从"视频列表，，选择经调整的—见频并然后点击"不 调整"4姿4丑以取消调整。
7. 用户可以从"视频列表，，选择视频并然后点击"预览"按钮 以预览^L频。
8. 用户可以从"模板"下拉列表选择模板。
9. 用户通过点击"主页"菜单可以返回到VESClient主页屏幕。10.在选择视频和模板之后，用户可以点击"上传"菜单项目。
这将使用户进入"预览"页面。
图34示出了如果用户选择添加—见频的话用户将看到的屏幕的 实例。
图35示出了如果用户选择预览视频的话用户将看到的屏幕的 实例。
图36示出了如果用户选择调整视频的话用户可以看到的屏幕 的实例。当选择"调整"来调整-见频时， 一见频可以开始插-;改。左边 的菜单项目可以是"取消，，，而右边的菜单项目可以是"设置开始"。 如果点击"设置开始"，则右边的菜单项目可以变为"设置停止"。 当视频完成播放或用户点击"设置停止"时，视频可以暂停，并且 左边的菜单项目可以变为"接受"。视频调整页面可以被划分为三个 页面设置开始位置，设置结束位置，以及4番》文结束。
图37示出了:&置开始位置页面的实例。在该实例中，如果用 户选择"取消，，茱单项目，则用户可以返回到视频-模板选择屏幕。 如果用户选择"设置开始"菜单项目，则设置幵始调整位置，并且 右边的菜单可以自动变为"设置停止"。
图38示出了设置停止位置页面的实例。在该实例中，用户可 以点击"设置停止"菜单项目来设置视频结束位置。如果用户不选 才奪设置停止项目，则可以将视频结尾设置为结束位置。用户可以选 择"取消"按钮来重新播放视频并使开始和结束位置复位。
图39示出了接受调整页面的实例。用户可以点击"取消"菜 单项目以返回到视频-模板选择页面。然后用户可能能够选择再次调 整视频或播放当前调整的选择。用户可以点击"接受，，菜单项目以 接受修剪后的视频并回到视频-模板选择页面。如果用户选择预览4见频，则可以显示一系列三个—见频。图40 示出了上传页面，上传页面可以是VESClient首先显示的。最初可 以禁止该"预览，，按钮，但是一旦预览可利用则为该用户使能该"预 览"按〃組。在—见频正在上传期间可以在一,殳时间内显示广告。
图41示出了表示—见频正^皮上传且尽管上传继续^f旦预览"见在 可利用"的屏幕。
如果选择"取消"，则用户可以返回到"视频-模板选择"页面。 图42示出了当用户选择耳又消上传时的屏幕的实例。可以提示用户确 认用户是否要取消视频的上传和预览。如果用户选冲奪预览该:枧频， 则该"预览"按4丑可以变为"淵〖过"。
图43示出了向用户显示4见频预览的屏幕的实例。如果用户选 择跳过该预览，则可以将该用户指向"接收者选择，，页面。
图44示出了如果用户选择取消上传的话的屏幕的实例。
图45示出了预览已完成播放的屏幕的实例。"跳过"按钮可以 变为"完成"。用户可以选择"取消"项目以取消上传，取消预览， 并返回到"视频-模板选择"页面。用户可以选择"完成"以通往"接 收者选择"页面。
图46示出了用户可以选择接收视频的4妄收者的屏幕的实例。 如果用户选择将视频发送给接收者，则用户可以从接收者下拉列表 选择接收者并然后点击"添加，，按钮以将接收者添加到"接收者列 表"。用户可以从"接收者列表，，选择接收者并然后点击"移除"按 钮以从"接收者列表，，中移除接收者。用户可以点击"取消"菜单 项目以回到"视频-模板选择，，页面。在选择接收者之后，用户可以 点击"发送"菜单项目以发送经编辑的视频。图46中所示出的屏幕项目的描述如下 发送如果未完成上传，则将禁止该项目。 取消回到视频-模板选择页面。 「 接收者列出所有的接收者。 接收者列表列出所有所选接收者。 发送当上传完成时，该项目将被使能。
图47示出了概要和历史页面的实例。在该实施例中，概要和 历史页面示出用户发送的最近10个经编辑:枧频的字幕。如果用户要 选择"主页"菜单项目，则可以重启视频编辑程序并且用户可以被 发送到"视频-模板选择，，页面。用户还可以选择"退出，，以退出该 VESClient应用程序。
图48示出了用于接收PC应用程序的登录页面的实例。在该示 例性实施例的实例中，接收PC应用程序是位于Windows应用程序 纸盒的微软基本类库(MFC)应用程序。
图49示出了如果用户登录失败的话的屏幕槽的实例。将发送 警告消息并且用户可以重新IIT入用户名和口令。
如果登录成功，则图标(如图50的高亮方块中示出的)出现 在任务栏上，并且可以载入网站。优选地自动载入网站。如果用户 在该图标上双击鼠标左4定，则应用禾呈序自动打开该网站。如果用户 在该图标上右击，则可以弹出菜单，如图51中所示。用户可以选择 "网，，以载入该网站，选择(或取消选定)"自动开始，，以决定是否在Windows内自动运行该应用程序，或选择"退出"以结束该应用 程序。
图52示出了气泡，其可以弹出以^是醒用户新添加的经编辑祸L 频是可利用的。如果用户左击该图标，则该应用程序可以自动载入 i亥网乡占。
图53、图54和图55示出了才莫板编辑器的屏幕槽的不同实例。 说资面我
该面板可以包括图像、视频、以及槽。
1. 图像-可以从服务器下载静止图片的列表。在选择图像 之后，可以从服务器下载实际的图片数据并显示给用 户。
2. 视频-可以从服务器下载视频列表。
3. 槽-点击槽按一丑可以导致槽项目纟皮创建。
该面板包括变换部件(作为按钮)的不同实例。用户可以点击 变换按钮并在视频时间线中创建变换项目。
视频时间线可以由表示静止图片、服务器上的视频、原始视频、 和变换部件的元素组成。按照时间来排列这些元素。在元件或变换 部件被添加到时间线之后，右击元素可以允许用户改变该视频元素的属性、添加背景音乐、或删除元素。如果用户选择添加背景音乐，
则可以创建音频线。用户可以能够为添加的每个音频元素i殳置音量
权重。这些权重可以用于在最终视频中混合重叠音频。
音*嫂
对于该X1本，每个纟见频元素可以具有添加至其的至少一个音频 追踪。使用中的才莫板编辑器的实例如下所示
1.用户载入网站上的TE应用禾呈序。
2. 用户将鼠标移动到"图片"按钮上。(可以在弹出窗口中示 出服务器上的图片列表。)
3. 用户点击列表中的图片之一。(可以在碎见频线上创建图片元 素。)
4. 用户点击"变4奐面4反"中的变换按4丑。(可以在^L频线上创 建变换元素。)
5. 用户点击"槽"按钮。(可以在视频线上创建空的槽。)
6. 在槽元素上右击可以导致菜单被示出。选择"添加背景音乐" 可以显示一列可利用的音乐追踪来添加。跨越多个槽，背景 音乐可以播》文到完成。
7. 用户可以重复步骤2-6。
8. 用户点击"上传"按钮以将模板上传到服务器。(这可以使 負fe "现在就尝试"按钮)9. 在上传才莫板之后用户点击"现在就尝试，，4安钮。(可以为用 户示出一个面才反来选择他或她之前上传的4见频用于才莫4反中 的空的槽。如果用户之前没有上传过用于该用途的片段，则 AVES可以利用来自AVES的默认"现在就尝试，，片段。)
10. 如果执4于"现在就尝试"，则在TP完成—见频创建之后用户 可以在网站上7见看4寻到的祸L频。
在一个实施例中，提出了计算机系统的示例性形式的机器，在 该机器中，可以执行用于使机器执行本文中所讨论的多个方法中的 任一个或多个的一組指令。在可替换实施例中，机器为独立装置进 行操作或者可以连接到(例如，联网到)其他;t几器。在联网配置中， 该机器可以在客户服务器网络环境中的客户机或者服务器的能力下 进行操作，或者作为对等(或分布式)网络环境中的对等机器进行 操作。该机器可以是服务器计算机、客户机计算机、个人计算机 (PC)、输入板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝 电话、网络4义器、网络路由器、交换才几或桥、或任何能够^Vf亍一组 指令(序列或别的)的机器，该指令指定由该机器执行的动作。
尽管在示例性实施例中将机器可读介质示为单独的介质，但是 术语"机器可读介质"应当被理解为包括存4渚指令中的一组或多组 的单独的介质和多重的介质(例如，集中式或分布式凄史据库、和/ 或相关联的高速緩冲存储器和服务器)。术语"机器可读介质"还应 当被理解为包括能够存储、编码或携带一组由该机器执行的指令并 4吏该才几器净丸行本发明的多个方法中的一个或多个的任意介质。总而
现为操作系统或特定应用程序、部件、程序、对象、模块、或称作 "计算机程序"的指令序列的一部分。计算机程序通常包括一个或
多个指令组，在各个时间该指令组被设置在计算机中的各种存储器 和存储装置中，当由计算机中的一个或多个处理器来读取并执行该指令组时，该指令组使计算机执行操作以执行本公开文件的各个方 面戶斤涉及的元素。
而且，尽管在全功能性计算机和计算机系统的上下文中描述了 这些实施例，^f旦是本领域^支术人员会理解到能够以各种形式将各个 实施例分配为程序产品，并且不管实际用于进行分配的冲几器或计算 才几可读介质的特定类型如何本7>开文件都同等适用。计算机可读介
质的实例包括但不限于可记录类型媒体，尤其诸如易失性存储装 置和非易失性存储装置、软盘和其他可移动磁盘、硬盘驱动器、光 盘(例如，光盘只读存储器(CD ROM)、数字多功能盘(DVD) 等)；以及传输型4某体，诸如数字通信链路和模拟通信链路。
尽管已参照特定示例性实施例描述了实施例，^f旦是显而易见的 是可以对这些实施例进行各种改变和变化。因此，说明书和附图应 当视为示例性意义的而非限制性意义的。前述说明书参照特定示例 性实施例提供了描述。显而易见的是在不背离权利要求的更宽的精 神和范围的情况下，可以对其进4亍各种改变。因此，i兌明书和附图 应当视为示例性意义的而非限制性意义的。
权利要求
1.一种方法，包括对视频数据进行处理；以及提供经处理的视频用于移动传送。
全文摘要
一种提供并处理用于传送给移动装置的视频数据的系统、方法和设备。
文档编号H04L29/06GK101529848SQ200780029979
公开日2009年9月9日 申请日期2007年6月18日 优先权日2006年6月16日
发明者史蒂文·E·桑德斯, 约翰·D·罗尔斯顿 申请人:液滴技术有限公司