专利名称：：组合式大屏幕流媒体播放的计算机控制方法
技术领域：
：本发明属于组合式大屏幕的显示控制领域，特别涉及一种组合式大屏幕流媒体播放的计算机控制方法。
背景技术：
：随着社会信息化的高速增长，信息的可视化需求也急剧扩大，同时高端可视化的难度也越来越高，单台显示设备所能显示的信息量已经远远不能满足市场需求，特别是一些监控中心，指挥中心，调度中心等各行各业重要场所，大屏幕拼接显示系统已经成为信息可视化不可或缺的核心基础系统，大多数传统的解决方案采用专用的硬件设备和视频技术，向用户提供高清晰度的视频输出，但这种方式的电视墙大多实现复杂且价格昂贵，使它很难得到大范围推广应用。
发明内容为克服上述方法的不足，本发明提出一种组合式大屏幕流媒体播放的计算机控制方法，通过采用组合式大屏幕实现流媒体播放，以达到节约成本、可大范围使用的目的。本发明的技术方案是这样实现的由于网络带宽、计算机处理能力、显存容量等指标均是有限的，组合式大屏幕的实时显示效果要受到上述因素制约和限制，总体来讲，用户的视觉体验E可以定义为式中，V代表传输图像的快慢程度；Q代表每一帧图像的质量，显然，当图像的传输越快时，播放出的画面越流畅；当每一帧图像的质量越高时，呈现出的画面越清晰；用户的体验E将随着V和Q的增大而提升，因此成正比例关系，其中F表示函数，其具体表达式如下式中，Vr是实际的传输快慢，Ve是用户的期望值，Qr是实际的图像质量，Qe是用户的图像质量期望值，αjPα2分别是V和Q的权重，有Ci1,α2e且α^α2=1，又因为Vre，因此，Ee；Vr取决于网络带宽，以及主机对图像的处理效率，因此式中，B表示网络带宽，它直接影响着每秒传输的帧数的多少；T代表主机处理一帧图像所需要的时间；显然，B越大，V越大；T越大，V越小，因此V与B成正比关系，与T成反比关系，可以表示为式中，B^表示实际的带宽，83是带宽的标准值，在这里用作比对的标准；；是处理一帧的实际时间，Ts是处理一帧的标准时间；Ci3和α4分别是B和T的权重，有α3，α4e且α3+α4=1；其中每一帧的实际处理时间；取决于主机处理一个像素点的时间T'与每一帧实际需要处理的点数凡Tr=NrXT'(5)同理，每一帧的标准处理时间Ts表示为Ts=NsXT'(6)式中，Ns是一帧图像中需要处理的像素点数的标准值；本发明采用屏幕比较传输的方式，即选取每一帧图像中的若干像素点作为采样点，将这些点分别与前一帧中的对应点比较若不同，认为该点周围区域内的图像已发生改变，将该区域内的图像传至目的主机；若相同，认为该点周围区域图像没有变化，不进行传输；通过比较传输，当图像与上一帧相比变化不大时，可大大减少传输的数据量，但由于以一个像素点代一个区域，判断不能完全精确，也会影响图像的质量，因此，图像质量Qr定义为采样点数与总像素点数的比值公式(7)将一帧图像划分为重要区域和非重要区域，NT。tall表示一帧图像中重要区域内的像素点总数，Nl0tal2表示非重要区域内的像素点总数，Nsamplel表示一帧图像中采样的像素点落在重要区域中的个数，Nsample2表示采样的像素点落在非重要区域中的个数，％和α6分别为两个比值的权重，值均位于W，l]区间内，且α5大于重要区域的识别需要由具体的语义环境决定，本发明从通用的角度出发，只考虑一般情况，不设定具体的语义环境，因此认为一帧图像全部为重要区域用NT。tal表示一帧图像的全部像素点数，Nsample表示采样的像素点总数，有NT。tal=Nlotall,Nsample=Nsamplel,α5=1，α6=0，因此公式(7)在本说明书中用公式(8)来代替采样比A影响了每一帧图像中需要处理的像素点数，且两者成正比关系当采样比增大，需要处理的像素点数也增多；反之，则相应减小，因此可以将公式(5)中的凡表示为上式中，β是正比例系数，公式(6)中的Ns表示需要处理的像素点的标准值，这里设为NT。talNs=Nlotal(10)由式(4)、(5)、(6)、(8)、(9)、(10)，可以推出因此，当网络带宽一定时，V与Q成反比例关系图像质量越高，图像传输就越慢，播放越不流畅；相反，图像播放越流畅，每一帧图像的质量就要降低，因此，用户需根据具体情况决定倾向于哪种性能，在V和Q之间取一个折衷；本发明以用户指定的两个期望值V。和Q。为输入参数，计算出最接近期望值且使E达到最大的\和Qp根据这些参数控制组合式大屏幕的显示，以满足用户对效果的要求；组合式大屏幕流媒体播放的计算机控制方法包括源主机控制方法和目的主机控制方法，其中，源主机控制方法包括以下步骤步骤1提取源主机每一帧图像的采样点；1)用户输入参数用户的图像质量期望值Qy图像传输快慢的期望值\2)计算每一帧图像中的采样点个数式中，E指用户的视觉体验，Ee；Qr指实际的图像质量，Qe指用户期望的图像质量；α！是指图像传输快慢的权重，α2是指图像质量的权重，αρα2e且α^α2=1;α3是指网络带宽的权重，α4是指主机处理一帧图像所需时间的权重，α3,Q4e且α3+α4=1；利用公式(12)计算的I值和Qr值，使E在约束条件下达到最大值，计算每一帧图像中的采样点个数Nsample,公式如下式中，NT。tal表示一帧图像的全部像素点数；步骤2根据采样点个数进行屏幕划分；屏幕的划分参数包括横向划分区域数X、纵向划分区域数Y、区域横向宽W、区域纵向宽h、横向步进调整值Awidth以及纵向步进调整值AMght，所述的横向步进调整值及纵向步进调整值分别是与w、h互质的最小正整数，各参数的计算公式如下1)计算横向划分区域数X和纵向划分区域数Y，公式如下式中，Rwidth为屏幕横向分辨率，Rheight为屏幕纵向分辨率；2)计算区域横向宽w和区域纵向宽h，公式如下w—-X(15)ηJ1_heightY3)计算横向步进调整值Awidth以及纵向步进调整值Ateight横向步进调整值Awidth包括以下步骤(a)如果w的值小于5，返回1；(b)设置变量i等于2；(c)如果变量i与w互质，返回i;7(d)i增加1，转至(C)；纵向步进调整值Aheight包括以下步骤(a)如果h的值小于5，返回1；(b)设置变量i等于2；(c)如果变量i与h互质，返回i；(d)i增加1，转至(C)；步骤3进行屏幕比较并实时传输图像；(1)发送第一帧图像和刷屏信号，并保存第一帧图像数据；(2)设iinit，Jinit为采样点的初始坐标，并初始化为0，设i，j为采样点的横、纵坐标，并分别初始化为iinit，jinit:iinit=0Jinit=0i=iinitj=Jinit(3)提取新的一帧图像的数据；(4)比较当前帧图像与前一帧图像在坐标i，j处的像素点，若不相同，将i，j对应点所在区域内图像数据压缩并传至对应的目的主机；(5)将i增大一个区域的横向宽度，将采样点移到下一个区域内i=i+w(6)如果i小于Rwidth，返回(4)，否则，令iinit增加一个横向步进调整值iinit=(iinit+Awidth)%w将两者的和与区域宽度w取余是为了确保每一行的第一个采样点落在该行的第一个区域内；(7)将j增大一个区域的纵向宽度，将采样点移动到下一行区域，将横坐标修改为Iinit·j=j+hi=Iinit(8)如果j小于Rteight，返回⑷，否则，令jinit增加一个纵向步进调整值Jinit=(jinit+Aheight)%h将两者的和与区域高度h取余是为了确保每一帧图像的第一个采样点落在该帧的第一行内(9)将纵坐标修改为jinitj=Jinit(10)向目的主机发送刷屏信号；(11)保存当前帧的图像数据；(12)如果未接到结束信号，则返回(3)，否则，向目的主机发送结束指令。目的主机的控制方法如下(1)等待接收来自源主机的指令；(2)如果指令为结束指令，则结束；(3)如果指令包含当前帧发生变化的图像区域的数据，将该数据解压并放入显存中对应的区域内，但并不将改动实时显示出来；(4)如果指令为刷屏指令，向显示器发送更新命令，将显存内更新过的图像内容在显示器上显示出来；(5)执行步骤(1)。本发明优点本发明价格更加低廉，且随着电子工业技术的进步，硬件成本逐渐降低，这种价格优势将进一步增大；同时，由于采用普通的PC机及局域网通信技术，本发明很容易部署和实现，适用于很多应用环境，因而通用性更强；本发明的另一个显著特点是它是用户可定制的它为用户提供了品质参数供用户设置，按照用户的需求自动调整、控制组合屏幕的显示，以满足不同用户在不同应用场景下的需求，因此具有很高的实用价值和经济价值。图1为组合式大屏幕流媒体播放的计算机控制方法组合式大屏幕示意图；图2为组合式大屏幕流媒体播放的计算机控制方法源主机控制方法流程图；图3为组合式大屏幕流媒体播放的计算机控制方法目的主机控制方法流程图。具体实施例方式下面结合附图和实施例对本发明作进一步详细说明。如图1所示，组合式大屏幕由九个屏幕组成，每个屏幕由一个目的主机控制，提取源主机图像的每一帧，将一帧图像分割成九份，然后将每一份发送至对应的目的主机上，再由目的主机将图像显示在屏幕上，具体过程如下假设控制端显示器分辨率为4196*2160；用户要求Ve=0.9，Qe=0.5，取αi=0.5，α2=0.5，α3=0.5,α4=0.5,β=5，Br=Bs=IOOMbpms,实施过程如下步骤1提取源主机每一帧图像的采样点；(1)用户输入参数用户的图像质量期望值Qe=0.5，图像传输快慢的期望值入=0.9；(2)计算每一帧的采样点个数根据公式解得当Vr=0.9，Qr=0.22，E可以达到最大，则每一帧图像中应选取的采样点个数为Nsample=QrXNlotal=0.22X4196X2160=1993939步骤2根据采样点个数确定屏幕划分方案1)计算横向划分区域数X，纵向划分区域数Y，公式如下0110]3)计算横向步进调整值Awidth，纵向步进调整值Aheight0111]将w=2代入求Awidth的过程如下0112](a)判断2小于5，则返回1；0113]因此，Awidth=I;0114]同理，Aheight=1；0115]上述计算步骤由于输入的值都小于5，因此一步就结束，现假设输入w=h=12，则计算过程如下(a)判断12大于等于5，不返回；0117](b)令χ=2；0118](C)X=2与12不互质，χ的值增加10119](d)X=3与12不互质，χ的值增加10120](e)x=4与12不互质，χ的值增加10121](f)x=5与12互质，返回5；0122]因此Awidth=5;0123]同理Ahei淑=5;步骤3进行屏幕比较并实时传输图像(1)向目的端发送第一帧图像和刷屏指令，并保存图像数据；(2)将采样点初始横坐标iinit、纵坐标jinit置为0，将采样点横坐标i、纵坐标j置为采样点初始横、纵坐标；0127](3)获得新一帧的图像数据；0128](4)比较新、旧帧图像上的采样点是否相同，若不相同，压缩该采样点所在区域的图像数据，并将数据发送至对应目的端主机，若相同则执行(5)；0129](5)将i增加一个区域宽度2，并判断是否大于等于屏幕横向分辨率4096，如果不是，转至⑷；0130](6)增加一个横向步进调整值1，并与区域宽度2取余；0131](7)将j增加一个区域高度2，将i置为iinit，并判断j是否大于等于屏幕纵向分辨率2160，如果不是，转至(4)；0132](8)将么_增加一个纵向步进调整值1，并与区域高度2取余；0133](9)将纵坐标修改为jinit:0134]j=Jinit10(10)向全部目的主机发送刷屏命令；(11)保存当前图像的数据；(12)判断是否应该结束，如果是，则结束，如果否，将i、j置为iinit、jinit，转至⑷；目的端主机控制方法包括以下步骤(1)接收控制端主机发来的命令；(2)如果命令为退出命令，程序结束，退出；(3)如果命令包含图像变化部分的数据，将此数据解压缩，并存放到显卡缓存中的对应位置；(4)如果命令为刷屏命令，将显卡缓存中更新后的数据同时显示在屏幕上；(5)转至(1)。权利要求一种组合式大屏幕流媒体播放的计算机控制方法，其特征在于包括源主机控制方法和目的主机控制方法，其中，源主机控制方法包括以下步骤步骤1提取源主机每一帧图像的采样点；1)用户输入参数用户的图像期望值Qe，图像传输快慢的期望值Ve；2)计算每一帧图像中的采样点个数<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><mi>E</mi><mo>=</mo><mfrac><msub><mi>α</mi><mn>1</mn></msub><msub><mi>V</mi><mi>e</mi></msub></mfrac><msub><mi>V</mi><mi>r</mi></msub><mo>+</mo><mfrac><msub><mi>α</mi><mn>2</mn></msub><msub><mi>Q</mi><mi>e</mi></msub></mfrac><msub><mi>Q</mi><mi>r</mi></msub></mtd></mtr><mtr><mtd><msub><mi>V</mi><mi>r</mi></msub><mo>×</mo><msub><mi>Q</mi><mi>r</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>α</mi><mn>3</mn></msub><msub><mi>B</mi><mi>r</mi></msub></mrow><mrow><msub><mi>α</mi><mn>4</mn></msub><mi>β</mi><msub><mi>B</mi><mi>s</mi></msub></mrow></mfrac></mtd></mtr></mtable></mfenced><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mo>·</mo><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>V</mi><mi>r</mi></msub><mo>≤</mo><msub><mi>V</mi><mi>e</mi></msub></mtd></mtr><mtr><mtd><msub><mi>Q</mi><mi>r</mi></msub><mo>≤</mo><msub><mi>Q</mi><mi>e</mi></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>12</mn><mo>)</mo></mrow></mrow>式中，E指用户的视觉体验，E∈；Qr指实际的图像质量，Qe指用户期望的图像质量；α1是指图像传输快慢的权重，α2是指图像质量的权重，α1，α2∈且α1+α2＝1；α3是指网络带宽的权重，α4是指主机处理一帧图像所需时间的权重，α3，α4∈且α3+α4＝1；利用公式(12)计算的Vr值和Qr值，使E在约束条件下达到最大值，计算每一帧图像中的采样点个数Nsample，公式如下NSample＝Qr×NTotal(13)式中，NTotal表示一帧图像的全部像素点数；步骤2根据采样点个数进行屏幕划分；屏幕的划分参数包括横向划分区域数X、纵向划分区域数Y、区域横向宽w、区域纵向宽h、横向步进调整值Δwidth以及纵向步进调整值Δheight，所述的横向步进调整值及纵向步进调整值分别是与w、h互质的最小正整数，各参数的计算公式如下1)计算横向划分区域数X和纵向划分区域数Y，公式如下<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><mi>X</mi><mo>×</mo><mi>Y</mi><mo>=</mo><msub><mi>N</mi><mi>Sample</mi></msub></mtd></mtr><mtr><mtd><mfrac><mi>X</mi><mi>Y</mi></mfrac><mo>=</mo><mfrac><msub><mi>R</mi><mi>width</mi></msub><msub><mi>R</mi><mi>height</mi></msub></mfrac></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>14</mn><mo>)</mo></mrow></mrow>式中，Rwidth为屏幕横向分辨率，Rheight为屏幕纵向分辨率；2)计算区域横向宽w和区域纵向宽h，公式如下<mrow><mfencedopen=''close=''><mtable><mtr><mtd><mi>w</mi><mo>=</mo><mfrac><msub><mi>R</mi><mi>width</mi></msub><mi>X</mi></mfrac></mtd></mtr><mtr><mtd><mi>h</mi><mo>=</mo><mfrac><msub><mi>R</mi><mi>height</mi></msub><mi>Y</mi></mfrac></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>15</mn><mo>)</mo></mrow></mrow>3)计算横向步进调整值Δwidth以及纵向步进调整值Δheight横向步进调整值Δwidth包括以下步骤(a)如果w的值小于5，返回1；(b)设置变量i等于2；(c)如果变量i与w互质，返回i；(d)i增加1，转至(c)；纵向步进调整值Δheight包括以下步骤(a)如果h的值小于5，返回1；(b)设置变量i等于2；(c)如果变量i与h互质，返回i；(d)i增加1，转至(c)；步骤3进行屏幕比较并实时传输图像；(1)发送第一帧图像和刷屏信号，并保存第一帧图像数据；(2)设iinit，jinit为采样点的初始坐标，并初始化为0，设i，j为采样点的横、纵坐标，并分别初始化为iinit，jinitiinit＝0jinit＝0i＝iinitj＝jinit(3)提取新的一帧图像的数据；(4)比较当前帧图像与前一帧图像在坐标i，j处的像素点，若不相同，将i，j对应点所在区域内图像数据压缩并传至对应的目的主机；(5)将i增大一个区域的横向宽度，将采样点移到下一个区域内i＝i+w(6)如果i小于Rwidth，返回(4)，否则，令iinit增加一个横向步进调整值iinit＝(iinit+Δwidth)％w将两者的和与区域宽度w取余是为了确保每一行的第一个采样点落在该行的第一个区域内；(7)将j增大一个区域的纵向宽度，将采样点移动到下一行区域，将横坐标修改为iinitj＝j+hi＝iinit(8)如果j小于Rheight，返回(4)，否则，令jinit增加一个纵向步进调整值jinit＝(jinit+Δheight)％h将两者的和与区域高度h取余是为了确保每一帧图像的第一个采样点落在该帧的第一行内(9)将纵坐标修改为jinitj＝jinit(10)向目的主机发送刷屏信号；(11)保存当前帧的图像数据；(12)如果未接到结束信号，则返回(3)，否则，向目的主机发送结束指令，所述的目的主机控制方法如下(1)等待接收来自源主机的指令；(2)如果指令为结束指令，则结束；(3)如果指令包含当前帧发生变化的图像区域的数据，将该数据解压并放入显存中对应的区域内，但并不将改动实时显示出来；(4)如果指令为刷屏指令，向显示器发送更新命令，将显存内更新过的图像内容在显示器上显示出来；(5)执行步骤(1)。全文摘要组合式大屏幕流媒体播放的计算机控制方法，属于组合式大屏幕的显示控制领域，采用屏幕比较传输的方式，即选取每一帧图像中的若干像素点作为采样点，将这些点分别与前一帧中的对应点比较若不同，认为该点周围区域内的图像已发生改变，将该区域内的图像传至目的主机；若相同，认为该点周围区域图像没有变化，不进行传输；通过比较传输，当图像与上一帧相比变化不大时，可大大减少传输的数据量，本发明方法的另一个优点是价格低廉且通用性更强。文档编号G09G5/14GK101901126SQ20101022403公开日2010年12月1日申请日期2010年7月12日优先权日2010年7月12日发明者于戈,张铁,陈郭成,高福祥申请人:东北大学