专利名称：一种基于光栅的多视点立体手机视频处理方法
技术领域：
本发明属于立体视频处理技术领域，尤其涉及一种立体手机视频处理系统方法。
背景技术：
立体成像技术是开发立体显示业务的关键技术。立体成像技术分为“自由立体成 像技术”和“传统立体成像技术”两种。自由立体成像技术不需要观看者佩戴任何辅助视 具，用裸眼就可以直接观看立体图像。这得益于平板显示技术的发展与成熟，是立体成像技 术领域的重大突破，也是未来立体显示技术发展的必然趋势。新一代宽带移动通信网络是融合多种宽带业务和通信传输技术的新型移动通信 网络，旨在使用户能够在任何地点、任何时间根据需求在不同无线网络系统间以高速数据 传输，实现个人通信和资源共享。基于人类视听的需求，2G移动通信网络很好的解决了音频 传输问题，3G移动通信网络正在逐步解决高质量的平面视频/图像传输问题。然而，在终 端上再现自然界中真实的三维景物一直是人类梦寐以求的理想。因此，基于立体显示的业 务(视频，图像，游戏等)必将成为人类新的追求和需求，也必将成为移动终端显示技术的 发展方向及新的业务生长点。基于立体显示的业务需要更大的传输带宽，在尽可能低的存储情况下获得好的图 像质量和低带宽图像快速传输已成为视频压缩的两大难题。新一代视频压缩标准H. 264不 仅有良好的压缩性能，而且还具有很好的网络亲和性。H. 264和以前的标准一样，也是 差值 编码加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获 得比MEPG-4好得多的压缩性能；H. 264加强了对各种信道的适应能力，采用“网络友好”的 结构和语法，有利于对误码和丢包的处理；H. 264应用目标范围较宽，可以满足不同速率、 不同解析度以及不同传输(存储)场合的需求，在混合编码的框架下引入了新的编码方式， 提高了编码效率，在低码流下可达到优质图像质量。
发明内容
本发明的目的是提供一种基于光栅手机的立体视频处理系统，能够实现通过无线 网络较快地下载平面视频或者立体视频，同时实现在手机平台上平面视频与立体视频的兼 容显示。本发明采用如下的技术方案一种基于光栅的多视点立体手机视频处理方法，包括下列步骤第一步，手机客户端向服务器发送认证请求进行终端激活，服务器经过认证后，将 认证结果返回给客户端，如果认证成功，手机客户端向服务器发送手机屏幕分辨率、手机相 邻光栅单元下可容纳的子像素个数、获取平面视频或立体视频信息，服务器准备好相应的 平面视频源或多视点立体视频源。第二步，对于平面视频，将现有的平面视频源分辨率变换为手机显示屏幕的分辨 率。对于立体视频，根据手机客户端发送的手机屏幕分辨率和手机相邻光栅单元下可容纳 的子像素个数的信息，将现有的多视点立体视频进行子像素重新排列；
第三步，将平面视频或排列后的多视点立体视频转换为YUV格式的视频源；第四步，对平面YUV视频源或立体YUV视频源进行H. 264视频编码；第五步，对编码后的H. 264视频源进行传输；
第六步，手机客户端接收到H. 264视频源，进行H. 264解码，解码为YUV视频源；第七步，YUV视频源转化为RGB数据流；第八步，接收的为平面视频源，发送关闭光栅信号，光栅关闭，进行平面视频播放； 接收的为立体视频源，发送开启光栅信号，光栅打开，进行立体视频播放。作为优选实施方式，第二步中，对现有的多视点立体视频进行子像素重新排列的 方法如下1)设手机相邻光栅单元下可容纳的子像素个数为n，根据公式= Wrom和
Yi*3 = HEIGHT确定手机显示所需的单视点视频源的水平分辨率X1和垂直分辨率y1;式中， WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；2)设K为X(l、y(l到Xl、yi的映射系数，K满足公式I =，对于原始的视频
Λ0 少0
源分辨率水平分辨率Xtl和垂直分辨率％，在竖直方向将Xtl左右边缘剪切掉变为t分辨率， 在水平方向将yo上下方向剪切变为f分辨率，然后通过在水平和垂直方向上同时拉伸或压 缩为原来的K倍使单视点视频源的分辨率变换为Xl，yi ；3)从每行的起始位置开始，以每η个子像素为一个基本的排列单元，将每个视点 相应的子像素排列到同一个合成图像中；4)在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得 处理后的显示分辨率达到全屏显示的要求。第五步中，传输方法如下对于立体H. 264视频源，首先进行数据封装，加一层包 头文件，实现立体视频传输的多路数据复用与同步；对平面和立体的H. 264视频源传输时， 参考帧的片，序列参数集，图像参数集这些重要的数据单位为高优先级的数据单元，采用 TCP协议的同时进行基于SSL的加密连接，其余的数据单元为一般优先级的数据单元，采用 UDP传输协议。与基于平面显示的业务不同，基于立体显示的业务能给观众带来更大的冲击感和 震撼感，有更强的表现力，但也需要更大的传输带宽。新一代无线移动网络在传输速率和 带宽方面的优势，为在其终端上传输基于立体显示的宽带业务提供了可能性。因此将自由 立体成像技术用于移动通信终端，能为新一代宽带移动通信网络的用户提供全新的视觉体 验，同时还能大大地拓展新一代宽带移动通信网络上的应用，不但能实现客观世界逼真的 再现，还能衍生出众多的与之相关的增值业务。
图1基于光栅的多视点立体手机视频处理系统网络拓扑图。图2基于光栅的多视点立体手机视频处理流程。图3基于光栅的多视点立体手机视频处理系统服务器架构图。图4服务器网络连接流程图。
图5手机客户端视频播放器软件流程图。
具体实施例方式基于光栅手机的多视点立体视频处理系统网络拓扑图如图1所示。该系统中的视 频处理流程如图2所示。该系统中主要有服务器和客户端组成，服务器端实现多视点立体 手机视频像素排列、H. 264视频编解码、网络传输等功能，服务器架构图如图3所示，服务器 端网络传输流程图如图4所示。客户端流程图如图5所示。1、视频源准备手机客户端首先向服务器端发送认证请求，而服务器端向TNC认证服务器发送 access-request, TNC 认证月艮务器向月艮务器返回 access-responseaccess-accept 或者 access-r eject.服务器跟TNC server的认证结果返回给客户端。如果认证通过，客户端 下载唯一标识客户端的全局唯一的Terminal ID,同时向服务器发送手机屏幕分辨率、手机 相邻光栅单元下可容纳的视点数、获取平面视频或立体视频信息，服务器根据客户端发送 的信息准备好平面视频源或者立体视频源。2、基于光栅的多视立体手机视频像素排列方法平面视频源对图像进行拉伸或压缩转化为手机屏幕分辨率大小的视频源。立体视 频源按照以下方式进行像素排列。在服务器端进行立体视频像素排列，可以大大缩短手机 客户端的视频处理时间，提高手机客户端的视频播放速率。1)设相邻光栅单元下可容纳的子像素个数为n，根据公式(1)和(2)确定手机显 示所需的单视点视频源的水平分辨率X1和垂直分辨率yi，式中，WIDTH代表自由立体显示屏 幕的宽，HEIGHT代表自由立体显示屏幕的高；X1^ = WIDTH(1)yi*3 = HEIGHT (2)2)设K为Χ(ι、Υ(^Ι」Χι、Υι的映射系数，K满足公式(3)，对于原始的视频源分辨率水 平分辨率Xtl和垂直分辨率％，在竖直方向将Xtl左右边缘剪切掉变为t分辨率，在水平方向 将I0上下方向剪切变为f分辨率，使单视点视频源的分辨率变换为Xl，yi，变换方法如下K =(3)Α)若K = 1，则无需变化；B)若K > 1，则对I * f的视频源在水平和垂直方向上每相邻两个像素间平均插 值或者复制出(K-I)个像素；C)若K< 1，则对f * f的视频源在水平和垂直方向上每个像素丢掉中间的 去-1个像素。3)从每行的起始位置开始，以每η个子像素为一个基本的排列单元，将每个视点 相应的子像素排列到同一个合成图像中。4)对合成排列后的立体图像进行非整分辨率处理在各视点子像素排列合成时， 超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。3、H. 264 视频编码将处理后的平面视频或立体视频转化为YUV格式的视频，然后采用H. 264JMVC模 型进行视频的编解码，JMVC为多视点立体视频编码模型，同时支持平面视频编码。1)根据手机平台显示需求确定平面视频或者立体视频的视点数，其中平面视频视 点数为1，立体视频视点数等于光栅单元下可容纳的子像素个数η。2)对立体视频的η个视频源按照0-2-1-4-3-6-5-7...的视点顺序分别进行 H. 264JMVC编码。然后将编码后的η个264视频合成为一个264视频。3)平面视频源仅进行单视点的编码。3、网络传输1)对编码后的H. 264立体视频首先进行数据封装，在普通H. 264数据包的基础上 外加一层包头文件。其包头格式如表1所示。A)Byte 0 此字节用于描述该协议方法的版本。当前为第一个版本，所以设置为 0x10 1. 0 ；B)Byte 1 这一个字节用来描述封装包采用的是哪一个传输通道。传输通道0为 管理通道，用来实现服务器对客户端的接入管理与控制，服务器与客户端的交互信息使用 此通道；1 9通道为视点通道，用于传输各个视点自己的视频序列；OBytes 2-5 这四个字节用于描述整个封装包的字节数，包扩8个字节的头信 息。在接收端可以根据这里所提供的字节数，从缓存中提取相应大小的数据，从而保证数据 完整性；D)Bytes 6_7 数据源标识。此处定义包的序号，与通道号配合可以确定NAL的等 级，从而确定当前封装的包要采用的连接类型。当通道号为0时，这两个字节用来表示控制 信息的类型；当通道号为1-9，也就是在传输视频NAL单元时，此处的序号从0-65536进行 循环，这样在接收端，可以根据此处的序号，对视频NAL单元进行排序，保证接收文件的正 确性。此标识与通道号一起来实现对多视点立体视频多路数据复用与同步。E)Bytes 8及之后实际载荷。对于传输通道0，负载部分为相应的交互信息；对于 通道1-7，负载部分为一个完整的NAL单元的数据，也是说一个NAL单元被封装成一个数据 包。2)对平面H. 264视频和数据封装后的立体H. 264视频采用不同优先级的数据单元 做不同类型的传输。A)H. 264NAL中的参考帧的片，序列参数集，图像参数集这些重要的数据单位为高 优先级的数据单元，实现高可靠性的传输，采用TCP协议的同时进行基于SSL的加密连接。 一旦鉴权完成，SSL连接能防止MITM的攻击。B)其余的H. 264NAL的数据单元为一般优先级的数据单元，采用一般的UDP传输协 议，同时来保证其传输的实时性。在传输时要必须保证一些优先级高的相关数据，如序列参 数集、图像参数集要在一般的片数据之前到达接收端。
012 3 4 56 7版本视点标识包含头信息的数据字节数数据源标识
表1基于H. 264的立体视频传输的包头格式
3、手机平台上平面与立体视频兼容显示立体成像要求显示屏能实现精确显示，不仅要实现全像素点对点显示，还要求子 像素也实现点对点显示，这就需要在手机终端上开发特殊的驱动程序，同时也对手机的计 算资源、控制资源提出了更高的要求。另外由于手机屏幕横向窄，竖向长，一部分手机的光 栅按照横屏时进行贴的，这就需要针对手机光栅方向调整为横屏播放。手机上视频播放主要有两种方式DirectDraw和windows⑶I系列函数。由于 DirectDraw通常用于游戏开发，帧率要求高，适合于视频播放；而windows⑶I通常用于画 面的显示，对速度要求不高的场合使用，不适合视频播放。手机客户端对接收到的H. 264视频源首先解码为YUV数据流，然后通过 ConvertYUV2RGB函数转化为RGB数据流。然后对RGB数据流采用DirectDraw方式播放。 接收的为平面视频源，发送关闭光栅信号，光栅关闭，进行平面视频播放；接收的为立体视 频源，发送开启光栅信号，光栅打开，按以下方式进行立体视频播放。A)手机竖屏贴光栅这种情况下的手机是竖屏写内存方式，DirectDraw系列函数 在进行绘图时先创建一个绘图区域，创建主平面。首先获得主平面内存首地址，在内存上直 接写入图像数据，rgb数据经888转565，变为16位数据显示，最后主平面显示。B)手机横屏贴光栅这种情况下的手机是横屏写内存方式，DirectDraw系列函数 在进行绘图时先创建一个绘图区域，创建主平面和翻转平面。首先获得翻转平面内存首地 址，在内存上直接写入图像数据，rgb数据经888转565，变为16位数据显示，最后翻转到主 平面显示。
权利要求
1.一种基于光栅的多视点立体手机视频处理方法，其特征在于，包括下列步骤第一步，手机客户端向服务器发送认证请求进行终端激活，服务器经过认证后，将认证 结果返回给客户端，如果认证成功，手机客户端向服务器发送手机屏幕分辨率、手机相邻光 栅单元下可容纳的子像素个数、获取平面视频或立体视频信息，服务器准备好相应的平面 视频源或多视点立体视频源。第二步，对于平面视频，将现有的平面视频源分辨率变换为手机显示屏幕的分辨率。对 于立体视频，根据手机客户端发送的手机屏幕分辨率和手机相邻光栅单元下可容纳的子像 素个数的信息，将现有的多视点立体视频进行子像素重新排列；第三步，将平面视频或排列后的多视点立体视频转换为YUV格式的视频源； 第四步，对平面YUV视频源或立体YUV视频源进行H. 264视频编码； 第五步，对编码后的H. 264视频源进行传输；第六步，手机客户端接收到H. 264视频源，进行H. 264解码，解码为YUV视频源； 第七步，YUV视频源转化为RGB数据流；第八步，接收的为平面视频源，发送关闭光栅信号，光栅关闭，进行平面视频播放；接收 的为立体视频源，发送开启光栅信号，光栅打开，进行立体视频播放。
2.根据权利要求1所述的基于光栅的多视点立体手机视频处理方法，其特征在于，第 二步中，对现有的多视点立体视频进行子像素重新排列的方法如下1)设手机相邻光栅单元下可容纳的子像素个数为n，根据公式6*| =『/Dm和yi*3 =HEIGHT确定手机显示所需的单视点视频源的水平分辨率X1和垂直分辨率y1;式中，WIDTH 代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；2)设K为X(l、y0到Xl、Y1的映射系数，K满足公式&=，对于原始的视频源Λ0 JO分辨率水平分辨率X0和垂直分辨率L，在竖直方向将X0左右边缘剪切掉变为t分辨率，在 水平方向将％上下方向剪切变为f分辨率，然后通过在水平和垂直方向上同时拉伸或压缩 为原来的K倍使单视点视频源的分辨率变换为Xl，yi ；3)从每行的起始位置开始，以每η个子像素为一个基本的排列单元，将每个视点相应 的子像素排列到同一个合成图像中；4)在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理 后的显示分辨率达到全屏显示的要求。
3.根据权利要求1所述的基于光栅的多视点立体手机视频处理方法，其特征在于，第 五步中，传输方法如下对于立体H. 264视频源，首先进行数据封装，加一层包头文件，实现 立体视频传输的多路数据复用与同步；对平面和立体的H. 264视频源传输时，参考帧的片， 序列参数集，图像参数集这些重要的数据单位为高优先级的数据单元，采用TCP协议的同 时进行基于SSL的加密连接，其余的数据单元为一般优先级的数据单元，采用UDP传输协 议。
全文摘要
本发明属于立体视频技术领域，涉及一种基于光栅的多视点立体手机视频处理方法，包括经过认证的手机客户端向服务器发送手机屏幕分辨率、手机相邻光栅单元下可容纳的子像素个数、获取平面视频或立体视频信息，服务器准备好相应的平面视频源或多视点立体视频源；对于立体视频，根据手机客户端发送的手机屏幕分辨率和手机相邻光栅单元下可容纳的子像素个数的信息，将现有的多视点立体视频进行子像素重新排列；视频转换和编码；视频传输；解码；立体视频播放。本发明能够实现通过无线网络较快地下载平面视频或者立体视频，同时实现在手机平台上平面视频与立体视频的兼容显示。
文档编号H04N13/00GK102143166SQ20111002707
公开日2011年8月3日 申请日期2011年1月25日 优先权日2011年1月25日
发明者侯春萍, 王宝亮, 金明磊, 陈艳芳, 韩晶晶, 韩秋实 申请人:天津大学