插帧方法、装置及电子设备与流程

1.本技术属于通信技术领域，具体涉及一种插帧方法、装置及电子设备。


背景技术：

2.电子设备的屏幕中所显示的画面一般包括多层图层，但最终显示的画面是电子设备对多层图层进行图层叠加处理后的一个图层，因此，当电子设备在显示视频时，若需要显示其他动态用户界面(user interface，ui)图层(例如弹幕、广告等)，则动态ui图层的变化可能会影响到电子设备对视频图层的运动计算，对于视频的插帧效果影响很大，如此导致电子设备播放视频的清晰度和流畅度变差。


技术实现要素：

3.本技术实施例的目的是提供一种插帧方法、装置及电子设备，提升了电子设备播放视频的清晰度和流畅度。
4.第一方面，本技术实施例提供了一种插帧方法，应用于电子设备，该电子设备包括应用处理器ap主控芯片和独立插帧芯片，该方法包括：在ap主控芯片获取待显示的目标视频的视频图层的情况下，对视频图层进行区域划分，得到m个区域，m为大于1的整数；根据视频图层中是否有ui图层覆盖，从 m个区域中确定插帧区域；独立插帧芯片对插帧区域进行插帧处理。
5.第二方面，本技术实施例提供了一种插帧装置，该插帧装置包括：划分模块、确定模块和处理模块。划分模块，用于在ap主控芯片获取待显示的目标视频的视频图层的情况下，对视频图层进行划分，得到m个区域，m为大于1 的整数。确定模块，用于根据根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域。处理模块，用于对插帧区域进行插帧处理。
6.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
7.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
8.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
9.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
10.在本技术实施例中，电子设备可以在获取待显示的目标视频的视频图层的情况下，对目标视频对应的视频图层进行划分，以得到m个区域，m为大于1 的整数，然后可以根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域；独立插帧芯片对插帧区域进
行插帧处理。本方案中，由于电子设备可以在显示目标视频的视频图层的情况下，将目标视频对应的视频图层划分为多个区域，并确定这多个区域中需要插帧的区域，然后电子设备可以直接对需要插帧的区域进行插帧处理，因此，当电子设备需求显示ui图层时，电子设备可以只对未被ui图层覆盖的区域进行插帧处理，避免了由于ui图层而导致电子设备显示视频图层效果较差的问题，如此，在降低了电子设备的功耗，提升了电子设备显示视频的效果的同时，也提升了电子设备播放视频的清晰度和流畅度。
附图说明
11.图1是本技术实施例提供的一种插帧方法的示意图之一；
12.图2是本技术实施例提供的一种插帧方法的实例示意图之一；
13.图3是本技术实施例提供的一种插帧方式的实例示意图之二；
14.图4是本技术实施例提供的一种插帧方式的实例示意图之三；
15.图5是本技术实施例提供的一种插帧方式的实例示意图之四；
16.图6是本技术实施例提供的一种插帧方式的实例示意图之五；
17.图7是本技术实施例提供的一种插帧方式的流程图；
18.图8是本技术实施例提供的一种插帧方式的实例示意图之六；
19.图9是本技术实施例提供的一种插帧方式的实例示意图之七；
20.图10是本技术实施例提供的一种插帧装置的结构示意图；
21.图11是本技术实施例提供的一种电子设备的硬件结构示意图之一；
22.图12是本技术实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
25.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的插帧方法进行详细地说明。
26.目前，为了提升电子设备显示视频时的流畅度，通常采用对视频进行插帧处理的方式，即在两帧画面中间计算出新的画面内容，并通过预测画面中物体的运动轨迹，以使得电子设备可以通过运动补偿技术将帧数较低的视频通过插帧的方法提升视频帧数，例如，通过采用视频插帧的方式，将一部24帧的电影提升至60帧甚至更高的帧数，以提升电影显示的流畅度。
27.电子设备中的视频画面通常分为很多图层(surface)，然而最终在电视设备的屏幕显示区域中显示的是视频的所有图层经过叠加处理后的画面。由于视频类应用程序在播放视频时，不仅会显示视频画面图层，可能还会显示该视频图层中其他ui图层，例如弹幕、消息弹窗、控件、台标、广告等。这些ui 图层往往显示在视频图层的上方，并且，其中一些ui图层还包括透明度 (alpha)。
28.然而，电子设备通常将待显示的视频以yuv格式处理，yuv格式由y、 u、v三种部分组成，其中，y表示亮度(lminance或luma)，u和v表示颜色的色度，而将ui图像以argb格式处理，argb格式由a、r、g、b组成，其中，a代表透明度、红色(red)、绿色(green)、蓝色(blue)。并且，电子设备在将视频图层与ui图层进行叠加合成时，通常采用先将yuv视频图层转换成argb格式，然后再与ui图层进行叠加合成，并在叠加时将所有图层转换为argb格式，以得到一个不包括alpha的rgb格式的图层，其中，rgb 格式由r、g、b组成。
29.因此，在电子设备在对待显示的视频进行叠加合成处理时，若ui图层发生变化，尤其是包括有alpha的ui图层的变化，则极大可能会影响到电子设备对视频图层画面的运动计算，如此，ui图层的变化也会影响电子设备对视频插帧的处理效果，从而影响电子设备显示视频的流畅度和清晰度。
30.在本技术实施例中，电子设备可以在获取待显示的目标视频的视频图层的情况下，对目标视频对应的视频图层进行划分，以得到m个区域，m为大于1 的整数，然后可以根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域；独立插帧芯片对插帧区域进行插帧处理。本方案中，由于电子设备可以在显示目标视频的视频图层的情况下，将目标视频对应的视频图层划分为多个区域，并确定这多个区域中需要插帧的区域，然后电子设备可以直接对需要插帧的区域进行插帧处理，因此，当电子设备需求显示ui图层时，电子设备可以只对未被ui图层覆盖的区域进行插帧处理，避免了由于ui图层而导致电子设备显示视频图层效果较差的问题，如此，在降低了电子设备的功耗，提升了电子设备显示视频的效果的同时，也提升了电子设备播放视频的清晰度和流畅度。
31.本技术实施例中通过在主控芯片和电子设备的显示屏幕之间添加一颗插帧独立芯片，以通过该插帧独立芯片对待显示的视频进行插帧处理，即将待显示视频发送至插帧独立芯片之后，先对待显示的视频进行插帧处理，再将插帧处理的视频发送至电子设备的屏幕显示区域显示。
32.本技术实施例提供一种插帧方法，应用于电子设备，该电子设备包括应用处理器ap主控芯片和独立插帧芯片，图1示出了本技术实施例提供的一种插帧方法的流程图。如图1所示，本技术实施例提供的插帧方法可以包括下述的步骤201至步骤203。
33.步骤201、在ap主控芯片获取待显示的目标视频的视频图层的情况下，电子设备对视频图层进行区域划分，得到m个区域。
34.其中，m为大于1的整数。
35.本技术实施例中，当电子设备播放目标视频时，若未开启插帧功能，则应用程序处理器(application processor，ap)主控芯片在对目标视频进行处理时，直接将视频图层与ui图层合成后发送至独立插帧芯片，以使得独立插帧芯片绕道(bypass)发送至电子设备的屏幕显示区域显示；若开启插帧功能，则电子设备进入插帧工作模式。
36.可选地，本技术实施例中，上述目标视频可以包括多个图层，例如视频图层和ui图
层。
37.可选地，本技术实施例中，ui图层可以包括以下任一项：弹幕、消息弹窗、视频控件、电视台台标、应用程序商标和广告等。
38.可选地，本技术实施例中，电子设备可以对目标视频的视频图层进行划分，以将视频图层划分为多个区域，例如将视频图层划分为a
×
b个区域，即将视频图层划分为a行和b列，以得到m个区域，其中，a
×
b＝m，a和b均为大于1的整数。
39.步骤202、电子设备根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域。
40.本技术实施例中，电子设备可以通过独立插帧芯片确定视频图层是否有 ui图层覆盖，以从m个区域中确定插帧区域。
41.步骤203、独立插帧芯片对所述插帧区域进行插帧处理。
42.本技术实施例中，电子设备在独立插帧芯片对目标视频进行插帧处理后，将处理后的目标视频送至电子设备的显示屏显示。
43.可选地，本技术实施例中，在本技术实施例的第一种实现方式中，上述步骤201具体可以通过下述的步骤201a至201d实现。
44.步骤201a、ap主控芯片获取待显示的视频图层和待显示的视频图层上显示的ui图层。
45.本技术实施例中，电子设备可以通过ap主控芯片获取待显示的视频图层和待显示的视频图层上显示的ui图层。
46.步骤201b、ap主控芯片在视频图层与ui图层之间插入ui侦测图层，并通过ui侦测图层，对屏幕显示区域进行区域划分，得到x个区域。
47.本技术实施例中，x个区域中的每个区域为屏幕显示区域中的一个区域， x为大于1的正整数。
48.可选地，本技术实施例中，ap主控芯片可以通过ui侦测图层，先将屏幕显示区域进行区域划分，以得到x个区域。
49.本技术实施例中，上述ui侦测图层中包括ui侦测点，ap主控芯片可以在通过ui侦测图层将屏幕区域进行划分时，在每个区域中设置ui侦测点，并得到每个ui侦测点的初始值。
50.示例性地，以电子设备为手机为例，如图2所示，手机将屏幕显示区域划分为多个区域，并将每个区域等分为4个小区域，每个小区域的中心点为ui 侦测点，这4个侦测点的颜色分别为纯黑、纯白、纯白、纯黑；其中，左上角第一个区域a1内的4个侦测点：a11、a12、a13、a14像素点的argb值分别为0xff000000、0xffffffff、0xffffffff、0xff000000，除ui侦测点外剩下的所有像素点值都为全透明的像素值(0x00000000)。
51.步骤201c、ap主控芯片对视频图层、ui图层与ui侦测图层进行合成处理，得到第一图层。
52.本技术实施例中，电子设备可以通过ap主控芯片对目标视频进行处理、且屏幕显示区域中包括视频图层和视频图层上显示的ui图层的情况下，在目标图层和ui图层之间插入一层ui侦测图层，其中，ui侦测图层与电子设备的屏幕显示分辨率一致。
53.可选地，本技术实施例中，上述步骤201b具体可以通过下述的步骤201b1 实现。
54.步骤201c1、ap主控芯片采用预设算法，对视频图层和ui侦测图层进行合成处理，得到第二图层，并采用预设算法，对第二图层和ui图层进行合成处理，得到第一图层。
55.可选地，本技术实施例中，ap主控芯片将视频图层置于底层，ui侦测图层置于中间层，ui图层置于上层，并通过将视频图层和ui图层的分辨率缩放至适配屏幕显示的分辨率，以使得ap主控芯片可以将视频图层和ui图层与 ui侦测图层进行合成处理，得到第一图层。
56.本技术实施例中，上述第一图层为视频图层、ui图层与ui侦测图层经过合成处理的一层图层。
57.示例性地，如图3所示，手机在将视频图层、ui图层与ui侦测图层进行合成时，可以将视频图层置于z轴顺序的最底层，将ui侦测图层置于z轴顺序的中间层，将ui图层置于z轴顺序的最上层，并将所有图层叠加合成为一个图层，即第一图层(即合成后的图层)。
58.本技术实施例中，电子设备可以将视频图层设置为背景图(backgroundpixel color，cb)，将ui侦测图层设置为前景图(foreground pixel color，cf)，从而电子设备可以采用预设算法，对视频图层和ui侦测图层进行合成处理，以得到第二图层。
59.可选地，本技术实施例中，电子设备可以采用alpha混合叠加公式对视频图层和ui侦测图层进行合成处理，并计算出视频图层和ui侦测图层叠加合成后的像素值，以得到经过叠加合成后的第二图层。
60.需要说明的是，对图层进行图层叠加是指：将多个图层以argb格式按照图层的z轴顺序从下到上分别做alpha混合叠加计算，以得到混合后的图层。其中，z轴顺序在上层的为前景图，z轴顺序在底层的为背景图，叠加合成后的每个像素点的rgb值都是前景图的argb值和背景图的argb值根据混合公式计算得到。
61.需要说明的是，alpha混合叠加公式为：cr＝a
×
cf+(1－a)
×
cb，其中， cr为结果色(result pixel color，cr)，a为前景色的alpha值(af)与色深的比值；并且，cf的rgb值包括rf，gf和bf；cb的rgb值包括rb，gb和 bb；cr的rgb值包括rr，gr和br。
62.示例性地，结合图2，如图4所示，在alpha完全不透明，即a＝1的情况下，叠加后的像素值为cr＝1
×
cf+0
×
cb＝cf，即将合成后的第二图层的像素值覆盖为ui侦测图层的像素值，即a11和a14为纯黑，a12和a13为纯白。在 alpha完全透明，即a＝0的情况下，叠加后的像素值cr＝0
×
cf+1
×
cb＝cb，即将合成的第二图层的像素值保留为视频图层的像素值，手机可以将视频图层与 ui侦测图层进行叠加合成，以得到第二图层。
63.本技术实施例中，第二图层为将视频图层和ui侦测图层经过混合叠加后的一层图层。
64.可选地，本技术实施例中，电子设备可以采用alpha混合叠加公式对第二图层和ui图层进行合成处理，并计算出第二图层和ui侦测图层叠加合成后的像素值，以得到经过叠加合成后的第一图层。
65.可选地，本技术实施例中，电子设备在将第二图层与ui图层进行alpha 叠加，得到第一图层之后，第一图层中被ui图层覆盖的区域的像素值会发生变化，第一图层未被ui图层覆盖的区域的像素值保持叠加混合前的像素值。
66.示例性地，结合图2，如图5所示，手机可以先将视频图层与ui侦测图层进行合成叠加处理，再与ui图层进行alpha叠加处理，若视频图层上方有ui 图层覆盖，则有ui图层覆盖的视频图层的区域中的ui侦测点的像素值叠加后将会变为其他像素值，包括ui侦测点的像
素值(a12、b42、c22和c23点像素颜色从全白变成与ui叠加后的颜色，a14、b41、c21、c24点像素颜色从全黑变成与ui叠加后的颜色)，若视频图层上方无ui图层覆盖，则无ui图层覆盖的视频图层的区域中的ui侦测点的像素值叠加后仍保持之前的像素值。手机可以将第二图层与ui图层进行叠加合成，以得到第一图层。
67.本技术实施例中，电子设备可以采用预设算法，先将视频图层与ui侦测图层进行叠加处理，并可以在得到叠加处理后的图层的同时，得到该图层的像素值，以使得电子设备可以根据该像素值判断视频图层中是否有ui图层覆盖，因此，当电子设备对多个图层进行叠加合成时，可以更加准确地计算出合成后的图像的像素值变化，如此，降低了ui图层对目标视频的影响，优化了电子设备对图层叠加合成的效果和作用。
68.步骤201d、插帧独立芯片对第一图层进行区域划分，得到m个区域。
69.本技术实施例中，m个区域中的每个区域为第一图层中的一个区域。
70.可选地，本技术实施例中，m等于x(例如在视频图层满屏显示的情况下)；或者，m不等于x(例如在视频图层居中并且非满屏显示的情况下)。
71.本技术实施例中，电子设备可以通过ui侦测图层将屏幕显示区域划分处理为x个区域，并将屏幕显示区域的x个区域映射在视频图层上，然后电子设备可以通过独立插帧芯片，将待显示在屏幕显示区域的第一图层划分为m 个区域，其中，m个区域中的每个区域为第一图层中的一个区域。
72.本技术实施例中，电子设备可以在视频图层与ui图层之间插入ui侦测图层，以使得电子设备将视频图层、ui图层与ui侦测图层进行合成位一个图层，即第一图层，然后电子设备可以根据ui侦测图层，对屏幕显示区域进行划分，以将第一图层划分为m个区域，因此，电子设备可以根据对不同的区域进行不同的处理，例如插帧处理或不插帧处理，如此，降低了电子设备的功耗，也提升了电子设备对目标视频进行插帧处理的准确性。
73.可选地，本技术实施例中，上述ui侦测图层中包括包括n个ui侦测点，该m个区域中的每个区域包括n个ui侦测点中的至少一个ui侦测点，上述步骤202中具体可通过下述的步骤202a实现，并且上述的步骤203具体可以通过下述的步骤203a实现。
74.步骤202a、独立插帧芯片将m个区域中的第一目标区域，确定为插帧区域。
75.本技术实施例中，上述第一目标区域为m个区域中至少一个ui侦测点的像素颜色值满足预设条件的区域，该预设条件为：至少一个ui侦测点的像素颜色值与至少一个ui侦测点的像素值的初始值匹配。
76.需要说明的是，至少一个ui侦测点的像素颜色值与至少一个ui侦测点的像素值的初始值匹配是指：混合叠加处理后的第一图层上的ui侦测点对应的位置处的属性信息与混合叠加处理前的ui侦测图层上的ui侦测点的属性信息相匹配。
77.可选地，本技术实施例中，上述属性信息包括像素值、像素颜色、像素位置、像素色温、像素亮度等，以使得电子设备可以根据该像素信息判断某个区域中是否被ui图层覆盖。
78.本技术实施例中，上述第一目标区域为m个区域中多个ui侦测点的像素颜色值满足预设条件的区域。
79.可选地，本技术实施例中，上述第一目标区域可以包括一个或多个区域。
80.可选地，本技术实施例中，电子设备可以通过ui侦测图层，将屏幕显示区域划分为m个区域，从而在每个区域中设置4个ui侦测点，即将一个区域等分为4个小区域，并将4个侦
测点分别放置在该4个小区域的中心点位置。该4个ui侦测点的像素颜色分别为纯黑、纯白、纯白、纯黑。然后独立插帧芯片可以根据第一图层的每个区域对应的4个ui侦测点，检测4个ui侦测点像素颜色是否分别为纯黑、纯白、纯白、纯黑，若该区域内出现任意一个ui 侦测点的像素值不匹配，则说明该区域中有ui覆盖或ui叠加，并且，由于ui侦测点的位置像素信息不是视频图层与ui图层叠加的原始像素值，因此，电子设别需要根据ui侦测点四周相邻的像素值进行插值，以得到原始的像素值；若该区域内的4个ui侦测点的像素值均匹配，则说明该区域中未被ui 覆盖或未与ui叠加，并将这些区域确定为第一目标区域，即插帧区域。电子设备可以对整帧图像的所有区域的所有ui侦测点都通过插值算法恢复其像素值，最后再对可插帧的区域做插帧处理。
81.本技术实施例中，电子设备可以根据多个ui侦测点确定m个区域中需求插帧的区域，并对这些区域进行插帧，因此，无需电子设备对无效插帧区域进行插帧处理，只需对无ui叠加的区域进行插帧处理，如此，降低了电子设备插帧的功耗，提升了电子设备对视频进行插帧的处理速度，也提升了ui侦测的准确率。
82.可选地，如图6所示，在上述第一种实现方式中，电子设备包括ap主控芯片、独立插帧芯片与显示屏，其中ap主控芯片包括中央处理器(centralprocessing unit，cpu)和图像处理器(graphics processing unit，gpu)，独立插帧芯片包括cpu和数字信号处理器(digital signal processor，dsp)。当用户选择播放视频，并启动电子设备的插帧功能时，电子设备可以通过ap主控芯片在视频图层与ui图层之间插入一层ui侦测图层，然后将所有的图层叠加合成为一个图层，即第一图层，并将该第一图层通过移动产业处理器接口 (mobile industry processor interface，mipi)的发送接口(transmit，tx)发送至独立插帧芯片的mipi的接收接口(receive)，然后ap主控插帧芯片可以将屏幕显示区域划分为多个区域，以使得电子设备根据第一图层的某个区域的 ui侦测点的位置，判断该ui侦测点对应的区域的像素值是否发生变化，以确定像素值未发生变化的区域，并将这些区域确定为需要进行插帧处理的区域。在视频图层的部分区域(例如第一目标区域)未被ui图层覆盖的情况下，电子设备根据ui侦测点四周的像素值插帧得到ui侦测点的像素值后，对第一目标区域进行插帧处理；在视频图层的其他区域(例如m个区域中除第一目标区域之外的区域)被ui图层覆盖的情况下，电子设备不对这些部分区域进行插帧处理，同时根据ui侦测点四周的像素值插值得到ui侦测点的像素值。在独立插帧芯片对插帧区域进行插帧处理之后，可以通过mipi的发送接口发送至显示屏的mipi的接收接口，并在屏幕显示区域显示插帧处理后的目标视频。
83.图7示出了本技术实施例上述第一种插帧方法的流程图。如图7所示，本技术实施例提供的第一种插帧方法可以包括下述的步骤21至步骤25和步骤 27，或者步骤21至步骤24以及步骤26和步骤27。
84.步骤21、电子设备播放视频，并启动插帧功能。
85.步骤22、电子设备在视频图层与ui图层之间插入一层ui侦测图层，将所有图层叠加合成为一个图层。
86.步骤23、电子设备将合成后的图层通过mipi接口发送给独立插帧芯片。
87.步骤24、电子设备判断图层某个区域的ui侦测点位置的像素值是否发生改变。
88.步骤25、在对应区域的视频画面的上方有ui覆盖的情况下，电子设备对该区域不
做插帧处理，同时根据ui侦测点四周的像素值插值得到ui侦测点的像素值。
89.步骤26、在对应区域的视频画面的上方无ui覆盖的情况下，电子设备根据ui侦测点四周的像素值插值得到ui侦测点的像素值之后，该区域做插帧处理。
90.步骤27、独立插帧芯片将插帧后的图像发送给屏幕显示。
91.本技术实施例中，电子设备可以通过ui侦测技术，将屏幕显示区域分为多个而区域，并检测目标视频的多个区域，以确定多个区域中个一个区域是否有ui叠加，并只对无ui叠加的区域做插帧处理，因此，降低了ui图层对电子设备进行插帧效果的影响，也减少了对无效区域的插帧处理而消耗的插帧功耗，同时也提高了电子设备对多个区域进行插帧的处理速度。
92.步骤203a、独立插帧芯片对所述第一目标区域进行插帧处理。
93.本技术实施例中，独立插帧芯片可以在从m个区域中确定插帧区域(即第一目标区域)之后，对第一目标区域进行插帧处理。
94.可选地，在本技术实施例的第二种实现方式中，电子设备提供的插帧方法还包括通过下述的步骤401。步骤401、ap主控芯片存储支持插帧功能的视频图层白名单，并根据视频图层白名单判断视频图层中是否有ui图层覆盖。
95.可选地，本身实施例中，电子设备可以通过ap主控芯片预先保存所有支持插帧功能的视频应用程序的视频图层白名单，并将不在白名单内的图层判定为ui图层，然后在显示目标视频的视频图层的情况下，对目标视频对应的屏幕显示区域进行划分，得到m个区域。
96.本技术实施例中，电子设备可以预先在本地存储一个白名单，并根据该白名单判断视频图层中是否有ui图层覆盖，如此，提升了电子设备对目标视频进行插帧的效率和灵活性。并且，在本技术实施例的第二种实现方式中，
97.上述步骤201具体可以通过下述的步骤201e至201g实现。
98.步骤201e、ap主控芯片获取待显示的视频图层和待显示的视频图层上显示的ui图层。
99.可选地，本技术实施例中，电子设备可以通过ap主控芯片获取待显示的视频图层和待显示的视频图层上显示的ui图层。
100.步骤201f、ap主控芯片对屏幕显示区域进行区域划分，得到y个区域。
101.本技术实施例中，y个区域中的每个区域为屏幕显示区域中的一个区域， y为大于1的正整数。
102.可选地，本技术实施例中，电子设备可以通过ap主控芯片对屏幕显示区域进行划分，以得到y个区域，具体实现方式可以参见本技术实施例的第一种实现方式。
103.步骤201g、ap主控芯片对视频图层进行区域划分，得到m个区域。
104.本技术实施例中，m个区域中的每个区域为视频图层中的一个区域。
105.可选地，本技术实施例中，m等于y(例如在视频图层满屏显示的情况下)；或者，m不等于y(例如在视频图层居中并且非满屏显示的情况下)。
106.可选地，本技术实施例中，电子设备可以通过ap主控芯片对屏幕显示区域进行划分，以得到y个区域，具体实现方式可以参见本技术实施例的第一种实现方式。
107.可选地，本技术实施例中，上述步骤202具体可以通过下述的步骤202b 实现，并且
上述步骤203可以通过下述的步骤203b实现。
108.步骤202b、在ap主控芯片中显示的视频图层上显示ui图层的情况下，根据ui图层的属性信息，将m个区域中的第二目标区域，确定为插帧区域。
109.可选地，本技术实施例中，第二目标区域为视频图层与ui图层不存在重叠的区域在m个区域中所在的区域，ui图层的属性信息包括ui图层的在视频图层上的位置和面积。
110.可选地，本技术实施例中，上述ui图层的属性信息包括ui图层在视频图层上的位置和面积，即ui图层和视频图层的重叠区域信息。
111.可选地，本技术实施例中，重叠区域的位置坐标、重叠区域的像素值、重叠区域的亮度值、重叠区域的饱和度、重叠区域的色温等，以使得电子设备可以根据重叠信息判断m个区域与ui图层的重叠情况。
112.可选地，本技术实施例中，上述第二目标区域包括一个或多个区域。
113.可选地，本技术实施例中，上述重叠可以包括部分重叠或完全重叠，即在 m个区域中的第二目标区域与ui图层存在部分重叠的情况下，将m个区域中的第二目标区域确定为插帧区域；在m个区域中的第二目标区域与ui图层存在完全重叠的情况下，将m个区域确定为第二目标区域。
114.可选地，本技术实施例中，电子设备可以通过ap主控芯片根据m个区域与ui图层的重叠位置及重叠区域的面积，确定m个区域中的第二目标区域，并将第二目标区域确定为插帧区域。
115.示例性地，如图8所示，手机可以根据视频图层中和ui图层重叠的位置和面积，对视频图层和ui图层叠加的区域进行标记，即标记为插帧无效区域，并对视频图层和ui图层无叠加的区域进行标记，即标记为可插帧区域。
116.本技术实施例中，电子设备可以在视频图层上显示ui图层的情况下，将 m个区域中与ui图层不存在重叠的区域确定将m个区域中的插帧区域，因此，减少了电子设备对插帧无效区域的处理，如此，降低了电子设备的功耗，提升了电子设备对视频进行插帧处理的效率。
117.可选地，如图9所示，在上述第二种实现方式中，电子设备包括ap主控芯片、独立插帧芯片与显示屏，其中ap主控芯片包括中央处理器(centralprocessing unit，cpu)和图像处理器(graphics processing unit，gpu)，独立插帧芯片包括cpu和数字信号处理器(digital signal processor，dsp)。当用户选择播放视频，并启动电子设备的插帧功能时，电子设备可以在ap主控芯片中，根据预先保存视频图层白名单，以侦测视频图层是否被ui图层覆盖。电子设备将视频图层与ui图层进行叠加合成，将叠加合成后的图层通过mipi 的发送接口发送至独立插帧芯片的mipi接收接口，并在视频图层上存在非白名单的图层(即ui图层)时，将视频图层分为多个区域，从而可以根据ui 图层的位置和大小，对图层的多个区域进行标记，以标记出可插帧区域和插帧无效区域，即将视频图层中未与ui图层重叠的区域标记为可插帧区域，即第二目标区域，并将视频图层中与ui图层重叠的区域标记为插帧无效区域，并将标记结果通过串行外设接口(serial peripheral interface，spi)发送至独立插帧芯片，以使得独立插帧芯片可以通过spi接口接收标记结果，并根据标记结果对第二目标区域进行插帧处理，然后将处理后的视频通过mipi发送接口发送至显示屏的mipi接收接口，从而在屏幕显示区域显示插帧处理后的目标视频。
118.本技术实施例中，电子设备可以根据预先保存的视频图层白名单，直接在主控芯片端标识出可插帧区域，即未被ui覆盖的区域，然后独立插帧芯片只对可插帧区域做插帧处理，因此，简化了电子设备对ui图层的侦测方法，在提升了电子设备对目标视频进行插帧的效率的同时，也降低了电子设备的功耗，并提高了电子设备对目标视频进行插帧的效果。
119.步骤203a、独立插帧芯片根据第二目标区域，从m个区域中确定插帧区域，并对插帧区域进行插帧处理。
120.本技术实施例中，电子设备可通过独立插帧芯片并根据第二目标区域，从 m个区域中确定插帧区域，并对插帧区域进行插帧处理。
121.本技术实施例提供一种插帧方法，电子设备可以在显示目标视频的视频图层的情况下，对目标视频对应的视频图层进行划分，以得到m个区域，m为大于1的整数，然后可以根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域；独立插帧芯片对插帧区域进行插帧处理。本方案中，由于电子设备可以在显示目标视频的视频图层的情况下，将目标视频对应的视频图层划分为多个区域，并确定这多个区域中需求插帧的区域，然后电子设备可以直接对需求插帧的区域进行插帧处理，因此，当电子设备需求显示ui图层时，电子设备可以只对未被ui图层覆盖的区域进行插帧处理，避免了由于ui图层而导致电子设备显示视频图层效果较差的问题，如此，在降低了电子设备的功耗，提升了电子设备显示视频的效果的同时，也提升了电子设备播放视频的清晰度和流畅度。
122.需要说明的是，本技术实施例提供的插帧方法，执行主体可以为电子设备，插帧装置，或者该插帧装置中的用于执行插帧方法的控制模块。本技术实施例中以电子设备执行插帧方法为例，说明本技术实施例提供的插帧方法。
123.图10示出了本技术实施例中涉及的插帧装置的一种可能的结构示意图。如图10所示，该插帧装置70可以包括：划分模块71、确定模块72和处理模块73。
124.其中，划分模块71，划分模块71，用于在ap主控芯片获取待显示的目标视频的视频图层的情况下，对视频图层进行划分，得到m个区域，m为大于1 的整数。确定模块72，用于根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域。处理模块73，用于对插帧区域进行插帧处理。
125.本技术实施例提供一种插帧装置，由于电子设备可以在显示目标视频的视频图层的情况下，将目标视频对应的视频图层划分为多个区域，并确定这多个区域中需求插帧的区域，然后电子设备可以直接对需求插帧的区域进行插帧处理，因此，当电子设备需求显示ui图层时，电子设备可以只对未被ui图层覆盖的区域进行插帧处理，避免了由于ui图层而导致电子设备显示视频图层效果较差的问题，如此，在降低了电子设备的功耗，提升了电子设备显示视频的效果的同时，也提升了电子设备播放视频的清晰度和流畅度。
126.在一种可能实现的方式中，划分模块71，具体用于获取待显示的视频图层和待显示的视频图层上显示的ui图层；在视频图层与ui图层之间插入ui侦测图层，并通过ui侦测图层，对屏幕显示区域进行区域划分，得到x个区域， x个区域中的每个区域为屏幕显示区域中的一个区域，x为大于1的正整数；对视频图层、ui图层与ui侦测图层进行合成处理，得到第一图层；对第一图层进行区域划分，得到m个区域，m个区域中的每个区域为第一图层中的一个区域。
127.在一种可能实现的方式中，划分模块71，具体用于采用预设算法，对视频图层和ui
侦测图层进行合成处理，得到第二图层，并采用预设算法，对第二图层和ui图层进行合成处理，得到第一图层。
128.在一种可能实现的方式中，ui侦测图层中包括n个ui侦测点，m个区域中的每个区域包括n个ui侦测点中的至少一个ui侦测点。确定模块72，用于芯片将m个区域中的第一目标区域，确定为插帧区域，第一目标区域为m 个区域中至少一个ui侦测点的像素颜色值满足预设条件的区域，预设条件为：至少一个ui侦测点的像素颜色值与至少一个ui侦测点的像素值的初始值匹配。处理模块73，具体用于对第一目标区域进行插帧处理。
129.在一种可能实现的方式中，划分模块71，具体用于获取待显示的视频图层和待显示的视频图层上显示的ui图层；对屏幕显示区域进行区域划分，得到 y个区域，y个区域中的每个区域为屏幕显示区域中的一个区域，y为大于1 的正整数；对视频图层进行区域划分，得到m个区域，m个区域中的每个区域为视频图层中的一个区域。
130.在一种可能实现的方式中，确定模块72具体用于在ap主控芯片中显示的视频图层上显示ui图层的情况下，根据ui图层的属性信息，将m个区域中的第二目标区域，确定为插帧区域，第二目标区域为视频图层与ui图层不存在重叠的区域在m个区域中所在的区域，ui图层的属性信息包括ui图层的在视频图层上的位置和面积。处理模块73，具体用于对插帧区域进行插帧处理独立插帧芯片根据第二目标区域，从m个区域中确定插帧区域，并对插帧区域进行插帧处理。
131.在一种可能实现的方式中，处理模块73，还用于存储支持插帧功能的视频图层白名单，并根据视频图层白名单判断视频图层中是否有ui图层覆盖。
132.本技术实施例中的插帧装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer， umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
133.本技术实施例中的插帧装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
134.本技术实施例提供的插帧装置能够实现上述方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
135.可选地，如图11所示，本技术实施例还提供一种电子设备90，包括处理器91，存储器92，存储在存储器92上并可在所述处理器91上运行的程序或指令，该程序或指令被处理器91执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
136.需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
137.图12为实现本技术实施例的一种电子设备的硬件结构示意图。
138.该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输
入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
139.本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
140.其中，处理器110，用于在ap主控芯片获取待显示的目标视频的视频图层的情况下，对视频图层进行划分，得到m个区域，m为大于1的整数，根据视频图层中是否有ui图层覆盖，从m个区域中确定插帧区域，并对插帧区域进行插帧处理。
141.本技术实施例提供一种电子设备，由于电子设备可以在显示目标视频的视频图层的情况下，将目标视频对应的视频图层划分为多个区域，并确定这多个区域中需求插帧的区域，然后电子设备可以直接对需求插帧的区域进行插帧处理，因此，当电子设备需求显示ui图层时，电子设备可以只对未被ui图层覆盖的区域进行插帧处理，避免了由于ui图层而导致电子设备显示视频图层效果较差的问题，如此，在降低了电子设备的功耗，提升了电子设备显示视频的效果的同时，也提升了电子设备播放视频的清晰度和流畅度。
142.可选地，本身实施例中，处理器110，具体用于获取待显示的视频图层和待显示的视频图层上显示的ui图层；在视频图层与ui图层之间插入ui侦测图层，并通过ui侦测图层，对屏幕显示区域进行区域划分，得到x个区域， x个区域中的每个区域为屏幕显示区域中的一个区域，x为大于1的正整数；对视频图层、ui图层与ui侦测图层进行合成处理，得到第一图层；对第一图层进行区域划分，得到m个区域，m个区域中的每个区域为第一图层中的一个区域。
143.可选地，本身实施例中，处理器110，具体用于采用预设算法，对视频图层和ui侦测图层进行合成处理，得到第二图层，并采用预设算法，对第二图层和ui图层进行合成处理，得到第一图层。
144.可选地，本身实施例中，ui侦测图层中包括n个ui侦测点，m个区域中的每个区域包括n个ui侦测点中的至少一个ui侦测点。处理器110，用于芯片将m个区域中的第一目标区域，确定为插帧区域，第一目标区域为m个区域中至少一个ui侦测点的像素颜色值满足预设条件的区域，预设条件为：至少一个ui侦测点的像素颜色值与至少一个ui侦测点的像素值的初始值匹配，并对第一目标区域进行插帧处理。
145.可选地，本身实施例中，处理器110，具体用于获取待显示的视频图层和待显示的视频图层上显示的ui图层；对屏幕显示区域进行区域划分，得到y 个区域，y个区域中的每个区域为屏幕显示区域中的一个区域，y为大于1的正整数；对视频图层进行区域划分，得到m个区域，m个区域中的每个区域为视频图层中的一个区域。
146.可选地，本身实施例中，处理器110具体用于在ap主控芯片中显示的视频图层上显示ui图层的情况下，根据ui图层的属性信息，将m个区域中的第二目标区域，确定为插帧区域，第二目标区域为视频图层与ui图层不存在重叠的区域在m个区域中所在的区域，ui图层的属性信息包括ui图层的在视频图层上的位置和面积，对插帧区域进行插帧处理独立插帧芯片根据第二目标区域，从m个区域中确定插帧区域，并对插帧区域进行插帧处理。
147.可选地，本身实施例中，处理器110，还用于存储支持插帧功能的视频图层白名单，并根据视频图层白名单判断视频图层中是否有ui图层覆盖。
148.本技术实施例提供的电子设备能够实现上述方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
149.本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。
150.应理解的是，本技术实施例中，输入单元104可以包括图形处理器 (graphics processing unit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107 包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备 1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
151.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
152.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-onlymemory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
153.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
154.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
155.本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述视频生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
156.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述
的特征可在其他示例中被组合。
157.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
158.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。