专利名称：一种基于光栅的多视点立体手机视频像素排布方法
技术领域：
本发明属于自由立体手机显示技术领域，更具体地，涉及一种立体手机显示系统中多视点视频的像素排布方法。
背景技术：
以平面图像描述的2D可视化技术远未满足人们日益增长的再现三维场景的更逼真、更自然的需求。立体视频技术被有效应用于立体数字电视(3DTV)、医疗三维显示、三维视频会议系统、虚拟现实系统等诸多领域。但是，现有的立体显示终端大部分是基于台式电脑监视器或大尺寸、高分辨率的平板显示器。
作为一种个人设备，移动终端一手机的功能越来越强大，是各类业务的综合操作平台和显示平台。在移动终端上实现立体显示，可以更方便的再现从自然界看到的真实三维景物，会给移动终端用户带来比平面显示更大的冲击感和震撼感，获得更强的表现力；可以使用户用三维信息描述周围的一切，并可以用这种新手段来与自然界进行交互，从而为用户提供一种全新的应用手段。
目前主流的在台式电脑监视器或大尺寸、高分辨率的平板显示器上采用的多视点立体图像合成算法中像素排列方式如图1所示，本图以九视点立体显示为例。
图1中，θ为光栅倾斜角，d为相邻两个像素中心间距，每个光栅之间可以容纳η 个子像素，光栅间栅距为d。在每个子像素小格里面，第一排数字代表当前小格对应的视点数，第二排数字代表当前小格中对应单视点源图像中的第H行的第几个像素，第三排代表当前小格中放的R或G或B子像素，如图中加灰色部分代表当前子像素放置的是第二视点图像中第H行的第3个像素的G子像素。
这些参数满足关系公式(1)。
η = (s/cos θ )/(d/3) (1) 在水平方向上的每一个光栅单元下能放置η个子像素，首先确定每行离图像最左边缘的平移距离lean [h]，每行(第h行)的平移距离以子像素为单位取值，由此可以确定每行的子像素排列的起始位置，由公式2计算。
lean [h] = [3h · tan θ ] % n (2) 然后从每行的起始位置开始，以每η个子像素为一个基本的排列单元，将每个视点中有用的子像素依照排列规律填入同一个合成图像中。填充的过程中，以行为单位循环 H次，最终生成一幅立体合成图像。
以上基于台式电脑监视器或大尺寸、高分辨率的平板显示器的立体图像合成算法有两个明显的缺陷 Α)单视点频源分辨率和最终的显示器的分辨率是一一对应的关系，当视频源分辨率变化或者显示器分辨率发生变化时，显示合成后的立体图像分辨率也随之发生变化，无法实现全屏显示，达不到最佳的立体显示效果。
B)在该合成算法中分辨率的计算公式为 X1^ = WIDTH(3) yi*3 = HEIGHT (4) 式(3)、⑷中Xl，yi为单视点水平和垂直分辨率，WIDTH和HEIGHT为合成后的立体图像分辨率，则有
WIDTH χ, η… -― = -(5)
L 」HEIGHT γ, 9 由式(5)可知，当η远小于9时，合成后的立体图像横竖比发生变化，图像严重变型。
因此在基于光栅的立体手机显示平台上需要一种能适应手机终端资源有限的多视点通用像素排列方法。
发明目的 本发明提出一种能够较好地平衡图像的横竖比的变化，实现多分辨率自适应的一种基于光栅的多视点立体手机视频像素排布方法。这种通用的像素排布方法可以适用于各种基于光栅的立体手机，并能为未来兼容立体手机终端的产业化和推向市场做好准备。本发明的技术方案如下 一种基于光栅的多视点立体手机视频像素排布方法，包括下列步骤 第一步，设视点数为η，确定光栅立体手机的屏幕分辨率和每个光栅单元下可容纳的子像素个数，根据公式巧= Wrom和yi*3 = HEIGHT确定手机显示所需的单视点视频源的水平分辨率&和垂直分辨率y1;式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高； 第二步，设K为X(l、y0到Xl、Y1的映射系数，K满足公式I =，对于原始
Λ0 JO
的视频源水平分辨率&和垂直分辨率％，在竖直方向将&左右边缘剪切掉变为f分辨率，
在水平方向将I0上下方向剪切变为f分辨率，使单视点视频源的分辨率变换为Xl，Y1 ； 第三步，根据视点数n，确定图像中的B子像素排列方式当视点数η为9，8，7，6 时，从每行的起始位置开始，以每η个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中，而当视点数η为3，4或5时，采用平衡图像横竖比的排列方式进行子像素排列合成； 第四步，对于图像中的R或G子像素，按照与第三步相同的方法进行处理； 第五步，对合成排列后的立体图像进行非整分辨率处理在各视点子像素排列合成时，超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。
作为优选实施方式，其中的第二步的变换方法如下 Α)若K = 1，则无需变化； B)若K > 1，则对f * f的视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-I)个像素； C)若1( < 1，则对爭*孕的视频源在水平和垂直方向上每‘+1个像素丢掉中间的个像素。
其中的第三步的处理方法如下 A)n = 3时，在相邻光栅单元中根据对应子像素数值线性插值出两个光栅单元的子像素数值； B)n = 4或5时，在相邻光栅单元中根据对应子像素数值线性插值出一个光栅单元的子像素数值。
本发明能够较好地平衡图像的横竖比的变化，实现多分辨率自适应，对贴有光栅的立体手机视频显示具有普适性。利用本发明编写的播放器程序可以较大的拓展立体手机的业务范围，能为用户提供更加震撼、表现力更强的新业务，并能给用户提供全新的视觉体验，特别是能满足年轻用户标新立异的心理。由于新型立体手机视频播放器的新颖性和多功能兼容性，经后续产品化开发之后，再辅以丰富的三维游戏、立体图片和视频节目等，预计可以获得可观的市场份额，应用前景会很好。
图1九视点立体图像子像素排列规律。
图2多视点立体手机视频像素排布方法。
图3维持图像横竖比的子像素排布规律。
图4 λ = 3的子像素排布规律。
图5 λ = 2，η = 4的子像素排布规律。
图6 λ = 2，η = 5的子像素排布规律。
图7魅族M8SE八视点立体手机上子像素排列规律。
图8中兴Ν61三视点立体手机子像素排列规律。
具体实施例方式要在手机上实现立体视频显示，必须考虑以下三个问题 Α)手机显示屏的尺寸一般较小，通常不会大于3英寸。在这么小的显示屏上显示立体图像，要考虑到视差的特殊控制，以保证观察者可以看到明显的立体效果。
B)手机显示屏的分辨率通常不会太高，而自由立体业务通常需要用较高的分辨率来展现，因此必须特别针对移动终端上研究提高自由立体图像显示分辨率的方法。
C)目前市场上的手机类型非常多，相应的分辨率类型也很多。主要的显示分辨率类型包括32(^240，240*320，480*720，480*800等，这种多分辨率特点对多视点立体视频合成算法提出了更高的要求，要求合成算法能适应多种分辨率的显示。
针对以上三点，本发明提出了一种基于光栅的多视点立体手机视频像素排布方法，该方法先针对R、G、B子像素进行的处理，然后再显示，如图2所示。
1)解码 本发明可以支持YUV和H. 264两种格式的视频源，在对视频源进行子像素处理之前必须对视频源进行解码从而转换为RGB格式的数据流。H. 264格式的视频源通过 H. 264JMVC解码器解码为YUV数据流，YUV数据流通过ConVertYUV2RGB函数转化为RGB数据流。另外H. 264编解码时要求视频源水平分辨率和垂直分辨率必须都为16的倍数，假设原有的YUV或264视频源分辨率为&、％，则解码完之后的RGB数据流分辨率仍然为&、％， 且K、Y0表示H. 264视频源时必须都为16的倍数。
2)多分辨率自适应 由式(1)和(2)中WIDTH和HEIGHT,就可以得到X1和y1 分别为
权利要求
1.一种基于光栅的多视点立体手机视频像素排布方法，包括下列步骤第一步，设视点数为n，确定光栅立体手机的屏幕分辨率和每个光栅单元下可容纳的子像素个数，根据公式巧= Wrom和yi*3 = HEIGHT确定手机显示所需的单视点视频源的水平分辨率&和垂直分辨率y1;式中，WIDTH代表自由立体显示屏幕的宽，HEIGHT代表自由立体显示屏幕的高；第二步，设K为χ。、y0到Xl、Y1的映射系数，K满足公式& =，对于原始的视Λ0 JO频源水平分辨率&和垂直分辨率％，在竖直方向将&左右边缘剪切掉变为t分辨率，在水平方向将I0上下方向剪切变为f分辨率，使单视点视频源的分辨率变换为Xl，Y1 ；第三步，根据视点数n，确定图像中的B子像素排列方式当视点数η为9，8，7，6时，从每行的起始位置开始，以每η个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中，而当视点数η为3，4或5时，采用平衡图像横竖比的排列方式进行子像素排列合成；第四步，对于图像中的R或G子像素，按照与第三步相同的方法进行处理； 第五步，对合成排列后的立体图像进行非整分辨率处理在各视点子像素排列合成时， 超出手机分辨率的部分不再进行排列合成，使得处理后的显示分辨率达到全屏显示的要求。
2.根据权利要求1所述的多视点立体手机视频像素排布方法，其中的第二步的变换方法如下Α)若K= 1，则无需变化；B)若Κ>1，则对f * f的视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-I)个像素；C)若K<1，则对f * f的视频源在水平和垂直方向上每.+I个像素丢掉中间的去-1个像索。
3.根据权利要求1所述的多视点立体手机视频像素排布方法，其中的第三步的处理方法如下A)n= 3时，在相邻光栅单元中根据对应子像素数值线性插值出两个光栅单元的子像素数值；B)η = 4或5时，在相邻光栅单元中根据对应子像素数值线性插值出一个光栅单元的子像素数值。
全文摘要
本发明属于自由立体手机显示技术领域，涉及一种基于光栅的多视点立体手机视频像素排布方法，包括确定光栅立体手机的屏幕分辨率和每个光栅单元下可容纳的子像素个数；对于原始的视频源的水平分辨率x0和垂直分辨率y0，将边缘截去；分别确定图像中的B，R，G子像素排列方式当视点数n为9，8，7，6时，从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中，而当视点数n为3，4或5时，采用平衡图像横竖比的排列方式进行子像素排列合成；对合成排列后的立体图像进行非整分辨率处理。本发明能够较好地平衡图像的横竖比的变化，实现多分辨率自适应。
文档编号H04N15/00GK102186091SQ20111002707
公开日2011年9月14日 申请日期2011年1月25日 优先权日2011年1月25日
发明者侯春萍, 王宝亮, 陈艳芳, 韩秋实, 高得鑫 申请人:天津大学