基于硬件的画中画显示方法及装置与流程

本发明涉及图像处理
技术领域：
，尤其涉及一种画中画显示方法及装置。
背景技术：
：在显示领域，经常会用到画中画功能。画中画(pictureinpicture简称pip)是利用数字技术，是将内容制作者事先准备的再现时间相同的2个图像数据进行合成显示的功能。简单来说，画中画即是在一个主画面图像之上的某个区域合成另外一张子画面图像，参见图1所示的pip区域。图像合成的方式通常可以包括上层覆盖下层或者阿尔法合成。传统的画中画的实现方式，通常需要预先获取原图和画中画(然后将原图和画中画图进行上层覆盖下层或者阿尔法合成，然后将生成的结果图像(或称合成图像)暂存在设定的内存中，然后通过显示设备将前述内存中的结果图像显示出来。上述画中画显示方案有以下缺点：1)结果图像会占用内存空间；2)将结果图像保存到内存和显示设备从内存读取图像都会占用内存带宽；3)必须要合成完毕之后才能开始显示，会产生一些延迟；4)进行合成的前提是原图和画中画都已经准备好了，数据已经传输好并进行了存储，因而无法对正在传输过程中的图像进行合成。技术实现要素：本发明的目的在于：克服现有技术的不足，提供了一种基于硬件的画中画显示方法及装置，利用本发明实现画中画时，无需对结果图像进行保存，可以对正在传输的图像进行画中画合成，降低画中画显示时的画面延迟。为实现上述目标，本发明提供了如下技术方案：一种基于硬件的画中画显示方法，包括步骤：根据帧产生设备的设定，显示设备将屏幕划分为主画面区域和画中画区域；以行为单位读取前述显示设备的屏幕区域划分信息，判定当前行屏幕区域中是否包含画中画区域；判定不包含画中画区域的情况下，读取主画面图像中与当前行对应的像素信息，经图像处理后传输到接收端；判定包含画中画区域的情况下，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后传输到接收端。进一步，所述显示设备为具有hdmi接口的显示器或电视机，通过hdmi将每行的像素从左到右传输到接收端显示设备。进一步，将每行的像素从左到右传输到接收端时，当画中画区域位于主画面区域中部时，首先进行主画面图像左边区域的图像传输，再进行画中画图像传输，画中画图像传输完成后切换到主画面图像，进行主画面图像右边区域的图像传输。进一步，读取主画面图像中与当前行对应的像素信息，经图像处理后发送到接收端的步骤包括：采集主画面图像的尺寸信息，与显示设备的输出尺寸进行比对；获取主画面图像的尺寸与显示设备的输出尺寸的比例值n；根据前述n值，读取主画面图像的对应的行像素信息，对读取的行像素进行缩小或放大操作合成一行；将合成后的行像素经图像变换后传输到接收端。进一步，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后发送到接收端的步骤包括：采集主画面图像的尺寸信息和画中画图像的尺寸信息，将二者分别与显示设备的对应输出尺寸进行比对；获取主画面图像的尺寸与显示设备的对应输出尺寸的比例值n，画中画图像的尺寸与显示设备的对应输出尺寸的比例值m；根据前述n和m值，读取主画面图像的对应的行像素信息，对读取的行像素进行缩小或放大操作合成一行，以及读取画中画图像的对应的行像素信息，对读取的行像素进行缩小或放大操作合成一行；将合成后的行像素经图像变换后传输到接收端。进一步，所述画中画区域为矩形，判定当前行屏幕区域中是否包含画中画区域的步骤为，获取画中画区域在屏幕区域中的坐标；显示设备按照输出的尺寸每次处理一行，根据前述画中画的矩形位置的坐标，判断当前行是否经过该画中画的矩形区域；经过该画中画的矩形区域时判定包含画中画区域。进一步，所述画中画区域为多个，所述画中画区域的形状为矩形或非矩形。本发明还提供了一种基于硬件的画中画显示装置(包括如下结构：帧产生设备，用以设定包含画中画的屏幕区域划分信息；图像处理设备，用于以行为单位读取前述屏幕区域划分信息，判定当前行屏幕区域中是否包含画中画区域；并在判定不包含画中画区域的情况下，读取主画面图像中与当前行对应的像素信息，经图像处理后传输到接收端显示设备；在判定包含画中画区域的情况下，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后传输到接收端显示设备；显示设备，用以根据前述屏幕划分信息输出包含主画面区域和画中画区域的图像。进一步，所述显示设备为具有hdmi接口的显示器或电视机，通过hdmi将每行的像素从左到右传输到接收端显示设备。进一步，所述图像处理设备还包括缩放单元，其用以采集主画面图像的尺寸信息和画中画图像的尺寸信息，依次获取二者与显示设备的对应输出尺寸的比例值n和m，并根据前述n和m值分别读取主画面图像的对应的n行像素信息进行缩放操作合成一行，读取画中画图像的对应的m行像素信息进行缩放操作合成一行。本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：利用本发明的技术方案实现画中画时，无需对结果图像进行保存，可以对正在传输的图像进行画中画合成，降低画中画显示时的画面延迟。附图说明图1为现有技术中常见的画中画显示示例图。图2为本发明实施例提供的屏幕划分示意图。图3为本发明实施例提供的基于屏幕建立的坐标系。图4为本发明实施例提供的读取不包含画中画区域的像素信息的示意图。图5为本发明实施例提供的读取包含画中画区域的像素信息的示意图。图6为本发明实施例提供的包含多个画中画区域的主画面图像。屏幕100；主画面区域110；画中画区域120；当前处理行200。具体实施方式以下结合附图和具体实施例对本发明公开的基于硬件的画中画显示方法及装置作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属
技术领域：
的技术人员所理解。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。实施例参见图1所示，公开了一种基于硬件的画中画显示方法，包括步骤：s100(根据帧产生设备的设定，显示设备将屏幕划分为主画面区域和画中画区域。s200(以行为单位读取前述显示设备的屏幕区域划分信息，判定当前行屏幕区域中是否包含画中画区域。s300(判定不包含画中画区域的情况下，读取主画面图像中与当前行对应的像素信息，经图像处理后传输到接收端；判定包含画中画区域的情况下，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后传输到接收端。本实施中，所述显示设备基于显示外设驱动，比如具有hdmi(highdefinitionmultimediainterface高清多媒体接口)接口的显示器或电视机。该显示设备是基于输出行驱动的，比如hdmi规定必须要在多少时间内，开始下一行的传输。通过hdmi将每行的像素从左到右从发送端传输到接收端显示设备上输出。一行传输完成后，经过一个短暂的暂停后，再传输下一行。采用本实施例提供的方案，只要能够按照显示的速度准备好需要显示图像数据，就可以在没有延迟的情况下，实现画中画。所述步骤s100中，根据帧产生设备的设定，显示设备将屏幕划分为两个区域，参见图2所示，在屏幕100输出的视窗中包括主画面区域110(即画中画所在的底图)和画中画区域120。所述深色区域为主画面区域110，浅色区域为画中画区域120。所述帧产生设备是可以设定画面显示内容和/或效果的部件，显示设备基于帧产生设备的指令信息输出相应的内容和/或效果，显示设备是为帧产生设备服务的。作为举例而非限制，比如帧产生设备可以包括电脑cpu(中央处理器)和运行在该电脑上的游戏应用(或称游戏计算机程序)，而显示设备可以包括显卡和屏幕，通过显示设备把帧产生设备的描述(指令)显示出来。本实施例中，所述画中画区域120优选为矩形。作为举例而非限制，当画中画区域为矩形时，可以通过采集所述矩形的对角点来标注画中画在屏幕中的位置。比如，参见图3所示，以屏幕左上角的起始点为原点建立直角坐标系，所述画中画的位置，可以通过左上角点坐标(0.2(0.2)和右下角点坐标(0.6(0.7)来标注。在所述步骤s200中(以行为单位读取前述显示设备的屏幕区域划分信息。具体实施时，硬件每次处理一行数据，并将这些数据通过hdmi发送到接收端。参见图4所示，图中的黑线代表当前处理行200。判定当前行屏幕区域中是否包含画中画区域。具体实施时，以画中画区域为矩形为例，判定当前行屏幕区域中是否包含画中画区域的步骤可以如下：获取画中画区域在屏幕区域中的坐标；显示设备按照输出的尺寸每次处理一行，根据前述画中画的矩形位置的坐标，判断当前行是否经过该画中画的矩形区域；经过该画中画的矩形区域时，即可以判定包含画中画区域。作为举例，比如显示设备按照输出的尺寸1920x1080每次处理一行，再根据上面的画中画的矩形位置判断，当前行是否经过该画中画的矩形区域，判定当行屏幕区域中是否包含画中画区域。在判定不包含画中画区域的情况下，读取主画面图像对应的当前行的像素信息，再经过可能的缩放，变换——比如调整饱和度，再通过hdmi发送到接收端。结合图4进行说明。在当前处理行200(黑线)没有经过画中画区域120时，获取图像信息的方式，就是将主画面图像的对应一到多行读取出来，即读取主画面图像中与当前行对应的像素信息。优选的，还包括如下步骤：采集主画面图像的尺寸信息，与显示设备的输出尺寸进行比对；获取主画面图像的尺寸与显示设备的输出尺寸的比例值n；根据前述n值，读取主画面图像的对应的行像素信息，对读取的行像素进行缩小或放大操作合成一行；将合成后的行像素经图像变换后传输到接收端。作为举例而非限制，比如主画面图像的尺寸为3840x2160，显示设备的输出尺寸为1920x1080，n＝2，则每次都要读取2行主画面图像行，将读取的两行像素信息缩放1/2合成一行后，通过hdmi发送到接收端。在判定包含画中画区域的情况下，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后传输到接收端。结合图5进行说明。在当前处理行200(黑线)经过画中画区域120时，显示设备会先将主画面图像的对应一到多行读取出来，再经过可能的缩放，变换，发送到hdmi接收端；然后，当本行处理到画中画区域的时候，显示设备从画中画图像的对应一到多行读取出来。即在判定包含画中画的情况下，读取当前行对应的主画面图像没有被画中画矩形区域覆盖的部分一到多行，以及当前行对应的画中画图像的一到多行，经过可能的缩放，变换，发送到hdmi接收端。在处理完画中画区域后再切换到主画面图像进行处理，主画面图像中被覆盖部分可以选择丢弃以减少资源占用。优选的，还包括如下步骤：读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后发送到接收端的步骤包括，采集主画面图像的尺寸信息和画中画图像的尺寸信息，将二者分别与显示设备的对应输出尺寸进行比对；获取主画面图像的尺寸与显示设备的对应输出尺寸的比例值n，画中画图像的尺寸与显示设备的对应输出尺寸的比例值m；根据前述n和m值，读取主画面图像的对应的行像素信息，对读取的行像素进行缩小或放大操作合成一行，以及读取画中画图像的对应的行像素信息，对读取的行像素进行缩小或放大操作合成一行；将合成后的行像素经图像变换后传输到接收端。作为举例而非限制，比如主画面图像的尺寸为3840x2160，显示设备的输出主画面图像尺寸为1920x1080；画中画图像的尺寸为1920x1080，显示设备的输出画中画尺寸为640x360；则n＝2(m＝3；对于画中画，每次都要读取3行画中画图像行，将读取的两行像素信息缩放1/3合成一行后，通过hdmi发送到接收端。需要说明的是，虽然上述实施例中仅示例了显示时进行缩小处理的方式(此时n和m的值大于1)，但本领域技术人员应知晓，所述n和m还可以是小于1的值，即显示时还可以是放大处理。作为举例而非限制，比如根据主画面尺寸和显示尺寸计算得出n＝0.25，即主画面在显示时需要被放大4倍，则需要读取主画面图像的对应的1行像素信息，对读取的行像素放大4倍后合成一行。另外，所述计算得到n还可以是非整数，作为举例而非限制，比如n＝1.2，需要读取的对应的行像素信息为n向上取整后的数n1＝2，即读取主画面图像的对应的2行像素信息，对读取的行像素缩放1/1.2后合成一行。本实施例中，参见图5所示，所述画中画区域120优选的位于主画面区域110中部，此种情况下，在当前处理行200(黑线)经过画中画区域120时，首先进行主画面图像左边区域的图像传输，再进行画中画图像传输，画中画图像传输完成后切换到主画面图像，进行主画面图像右边区域的图像传输。参见图6所示，为本实施例的另一实施方式，所述画中画区域120可以为多个，所述画中画区域120的形状为矩形或非矩形。所述的非矩形形状，作为举例而非限制，比如可以为圆形、椭圆形、五角星形、三角形以及其他任意非规则闭合形状。当主画面区域包括多个画中画区域时，其显示方法与包括一个画中画区域的方法相似：获取每个画中画区域在主画面区域中的坐标位置，根据画中画的坐标位置判断当前行是否经过该画中画区域，从而判定当行屏幕区域中是否包含画中画区域。在判定不包含画中画区域的情况下，读取主画面图像对应的当前行的像素信息，再经过可能的缩放，变换——比如调整饱和度，再通过hdmi发送到接收端。在判定包含画中画区域的情况下，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经过可能的缩放，变换——比如调整饱和度，再通过hdmi发送到接收端。对于非矩形(轮廓)的画中画区域，优选的，可以根据帧产生设备的设定，将屏幕的显示区域划分成多块，并根据显示尺寸生成一张画中画显示映射表。作为举例而非限制，以显示尺寸为1920x1080为例，则上述映射表的表宽1920，高1080。表的内容可以表示每个像素的来源：来自主画面图像o、画中画图像a、画中画图像b或画中画图像c。作为举例而非限制，简化后的所述画中画显示映射表可以如下：oooooooooooooooooooooooaaaoooooooobbbbooooaaaaaooooooobbbboooooaaaoooooooobbbboooooooooooooooobbbboooooooooooooooobbbbooooooocoooooooobbbbooooocccccoooooobbbboooooocccooooooobbbbooooocooocoooooobbbboooooooooooooooobbbboooooooooooooooooooooo本发明的另一实施例，还提供了一种基于硬件的画中画显示装置。所述装置包括如下结构：帧产生设备，用以设定包含画中画的屏幕区域划分信息；图像处理设备，用于以行为单位读取前述屏幕区域划分信息，判定当前行屏幕区域中是否包含画中画区域；并在判定不包含画中画区域的情况下，读取主画面图像中与当前行对应的像素信息，经图像处理后传输到接收端显示设备；在判定包含画中画区域的情况下，读取主画面图像中与当前行对应的没有被画中画区域覆盖的像素信息，以及画中画图像中与当前行对应的像素信息，再经图像处理后传输到接收端显示设备；显示设备，用以根据前述屏幕划分信息输出包含主画面区域和画中画区域的图像。本实施例中，所述显示设备基于显示外设驱动，比如具有hdmi(highdefinitionmultimediainterface高清多媒体接口)接口的显示器或电视机。通过hdmi将每行的像素从左到右从发送端传输到接收端显示设备上输出。一行传输完成后，经过一个短暂的暂停后，再传输下一行。采用本实施例提供的方案，只要能够按照显示的速度准备好需要显示图像数据，就可以在没有延迟的情况下，实现画中画。所述帧产生设备是可以设定画面显示内容和/或效果的部件，显示设备基于帧产生设备的指令信息输出相应的内容和/或效果，显示设备是为帧产生设备服务的。作为举例而非限制，比如帧产生设备可以包括电脑cpu(中央处理器)和运行在该电脑上的游戏应用(或称游戏计算机程序)，而显示设备可以包括显卡和屏幕，通过显示设备把帧产生设备的描述(指令)显示出来。所述画中画区域120优选为矩形。本实施例的另一实施方式中，所述图像处理设备还可以包括缩放单元。缩放单元用以采集主画面图像的尺寸信息和画中画图像的尺寸信息，依次获取二者与显示设备的对应输出尺寸的比例值n和m，并根据前述n和m值分别读取主画面图像的对应的行像素信息进行缩放操作合成一行，读取画中画图像的对应的行像素信息进行缩放操作合成一行。作为举例而非限制，比如主画面图像的尺寸为3840x2160，显示设备的输出主画面图像尺寸为1920x1080；画中画图像的尺寸为1920x1080，显示设备的输出画中画尺寸为640x360，则每次都要读取3行画中画图像行，将读取的两行像素信息缩放1/3合成一行后，通过hdmi发送到接收端。其它技术特征参见在前实施例的描述，在此不再赘述。需要说明的是，本发明中，设备或装置还可以包括通常在计算系统中找到的其它组件，诸如存储在存储器中并由处理器执行的操作系统、队列管理器、设备驱动程序、数据库驱动程序或一个或多个网络协议等，属于现有技术，在此不再赘述。在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。当前第1页12