视频拍摄方法及相关设备与流程

文档序号:33465851发布日期:2023-03-15 06:34阅读:62来源:国知局
视频拍摄方法及相关设备与流程

1.本技术涉及智能终端技术领域,尤其涉及一种视频拍摄方法及相关设备。


背景技术:

2.随着终端技术的发展,用户对电子设备的视频拍摄功能的需求越来越高。目前,电子设备可以根据不同的拍摄场景设置多种视频模式,供用户选择而进行视频拍摄。然而,在实际使用过程中,用户可能不确定当前的拍摄场景,也不知道该选择哪种视频模式,或者即使确定拍摄场景,也不知道如何选择对应的视频模式。例如,在拍摄内容包含有人像时,用户可能会选择人像模式,使得电子设备可以对视频中的人像效果进行优化处理,然而,当人像距离电子设备较远时,人脸在拍摄界面所占的比例可能较小,即使对人像进行处理,人像的优化效果也可能不佳,导致人像视频的拍摄效果不佳,从而影响用户体验。


技术实现要素:

3.鉴于以上内容,有必要提供一种视频拍摄方法及相关设备,解决在拍摄人像视频场景时,由于用户选择的视频模式与人像不匹配而导致人像视频的拍摄效果不佳的技术问题。
4.第一方面,本技术提供一种视频拍摄方法,所述方法包括:获取摄像头拍摄的视频帧数据,识别所述视频帧数据是否包含人脸;若所述视频帧数据包含人脸,计算人脸区域的尺寸在所述视频帧数据中所占的比例;判断所述人脸区域的尺寸在所述视频帧数据中所占的比例是否大于或等于第一预设值;若所述人脸区域的尺寸在所述视频帧数据中所占的比例大于或等于所述第一预设值,确定推荐的视频模式为人像模式,并基于所述人像模式进行视频拍摄;若所述人脸区域的尺寸在所述视频帧数据中所占的比例小于所述第一预设值,判断所述人脸区域的尺寸在所述视频帧数据中所占的比例是否小于或等于第二预设值,所述第二预设值小于所述第一预设值;若所述人脸区域的尺寸在所述视频帧数据中所占的比例小于或等于第二预设值,确定推荐的视频模式为主角模式,并基于所述主角模式进行视频拍摄。通过上述技术方案,可以在拍摄的人像视频时,基于人脸比例进行视频模式推荐,在人脸比例较大时,推荐以人像模式进行视频拍摄,有效地优化了人像视频的显示效果,在人脸比例较小时,推荐以主角模式进行视频拍摄,有效地优化了主角人像的显示效果。
5.在一种可能的实现方式中,所述计算人脸区域的尺寸在所述视频帧数据中所占的比例包括:采用矩形框对所述视频帧数据中识别出的所述人脸区域进行标识;基于所述矩形框确定所述人脸区域的尺寸;计算所述人脸区域的尺寸与视频帧图像的尺寸之间的比例,得到所述人脸区域的尺寸在所述视频帧数据中所占的比例。通过上述技术方案,可以基于标识人脸区域的矩形框精确地计算出人脸区域的尺寸比例。
6.在一种可能的实现方式中,所述基于所述矩形框确定所述人脸区域的尺寸包括:将所述视频帧图像中标识所述人脸区域的所述矩形框的宽度值确定为所述人脸区域的宽
度值,将所述矩形框的高度值确定为所述人脸区域的高度值。通过上述技术方案,可以基于标识人脸区域的矩形框的尺寸精确地确定人脸区域尺寸的宽度值和高度值。
7.在一种可能的实现方式中,所述计算所述人脸区域的尺寸与视频帧图像的尺寸之间的比例包括:计算所述人脸区域的宽度值与所述视频帧图像的宽度值之间的比例。通过上述技术方案,可以快速、精确地计算出人脸区域的尺寸比例。
8.在一种可能的实现方式中,所述计算所述人脸区域的尺寸与视频帧图像的尺寸之间的比例包括:计算所述人脸区域的高度值与所述视频帧图像的高度值之间的比例。通过上述技术方案,可以快速、精确地计算出人脸区域的尺寸比例。
9.在一种可能的实现方式中,所述计算所述人脸区域的尺寸与视频帧图像的尺寸之间的比例包括:计算所述人脸区域的面积与所述视频帧图像的面积之间的比例。通过上述技术方案,可以快速、精确地计算出人脸区域的尺寸比例。
10.在一种可能的实现方式中,所述识别所述视频帧数据是否包含人脸包括:对所述视频帧数据中的每个视频帧图像进行格式转换,得到视频流;对所述视频流中的每个视频帧图像进行人脸识别,判断所述视频帧数据是否包含人脸;若识别到连续预设数量的所述视频帧图像包含人脸,确定所述视频帧数据包含人脸。通过上述技术方案,可以精确地识别出视频帧数据是否包含人脸。
11.在一种可能的实现方式中,所述基于所述人像模式进行视频拍摄包括:对所述摄像头拍摄的所述视频帧数据进行虚化处理。通过上述技术方案,可以在人脸区域的尺寸比例较大时,突出人像,优化人像的显示效果。
12.在一种可能的实现方式中,所述对所述摄像头拍摄的所述视频帧数据进行虚化处理包括:对视频帧图像进行人像抠图,提取所述视频帧图像中的人像区域;对所述视频帧图像的背景区域进行虚化处理;将提取的所述人像区域与虚化的所述背景区域融合。通过上述技术方案,可以精确地对人像视频进行背景虚化处理,从而突出人像,优化人像的显示效果。
13.在一种可能的实现方式中,所述对所述视频帧图像的背景区域进行虚化处理包括:对所述背景区域进行高斯模糊处理,得到虚化的所述背景区域。通过上述技术方案,可以提高背景虚化处理的效率。
14.在一种可能的实现方式中,所述基于所述主角模式进行视频拍摄包括:拍摄全景视频和主角人像视频;将所述主角人像视频的视频帧数据以画中画的形式显示在所述全景视频的视频帧数据中。通过上述技术方案,可以在人像视频中的人脸区域的尺寸比例较小时,对人像视频进行放大显示,有效优化人像视频的显示效果。
15.第二方面,本技术提供一种电子设备,所述电子设备包括存储器和处理器:其中,所述存储器,用于存储程序指令;所述处理器,用于读取并执行所述存储器中存储的所述程序指令,当所述程序指令被所述处理器执行时,使得所述电子设备执行上述的视频拍摄方法。
16.第三方面,本技术提供一种芯片,与电子设备中的存储器耦合,所述芯片用于控制所述电子设备执行上述的视频拍摄方法。
17.第四方面,本技术提供一种计算机存储介质,所述计算机存储介质存储有程序指令,当所述程序指令在电子设备上运行时,使得所述电子设备执行上述的视频拍摄方法。
18.另外,第二方面至第四方面所带来的技术效果可参见上述方法部分各设计的方法相关的描述,此处不再赘述。
附图说明
19.图1是本技术一实施例提供的电子设备的相机应用程序的界面示意图。
20.图2是本技术一实施例提供的电子设备的相机应用程序的另一界面示意图。
21.图3是本技术一实施例提供的电子设备的软件架构图。
22.图4是本技术一实施例提供的视频拍摄方法的流程图。
23.图5是本技术一实施例提供的视频拍摄系统的架构示意图。
24.图6是本技术一实施例提供的利用级联分类器识别人脸图像的效果图。
25.图7是本技术一实施例提供的计算人脸区域的尺寸在视频帧数据中所占的比例的流程图。
26.图8是本技术一实施例提供的对摄像头拍摄的视频帧数据进行虚化处理的流程图。
27.图9是本技术另一实施例提供的视频拍摄系统的架构示意图。
28.图10是本技术另一实施例提供的视频拍摄方法的流程图。
29.图11是本技术另一实施例提供的视频拍摄方法的流程图。
30.图12是本技术另一实施例提供的视频拍摄方法的部分流程图。
31.图13是本技术另一实施例提供的视频拍摄方法的部分流程图。
32.图14是本技术另一实施例提供的视频拍摄方法的部分流程图。
33.图15是本技术另一实施例提供的视频拍摄方法的部分流程图。
34.图16是本技术另一实施例提供的视频拍摄方法的流程图。
35.图17是本技术一实施例提供的智能场景检测的决策因子的示意图。
36.图18是本技术一实施例提供的视频模式的视频规格的示意图。
37.图19是本技术另一实施例提供的视频拍摄方法的流程图。
38.图20是本技术一实施例提供的电子设备的硬件架构图。
具体实施方式
39.本技术实施例中所涉及的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术实施例的描述中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
40.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术中的技术领域的技术人员通常理解的含义相同。本技术的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本技术。应理解,本技术中除非另有说明,“/”表示或的意思。例如,a/b可以表示a或b。本技术中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b三种情
况。“至少一个”是指一个或者多个。“多个”是指两个或多于两个。例如,a、b或c中的至少一个,可以表示:a,b,c,a和b,a和c,b和c,a、b和c七种情况。
41.本技术实施例中的用户界面(user interface,ui),是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,可实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,xml)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析、渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control),是用户界面的基本元素,典型的控件有按钮(button)、小工具(widget)、工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、滚动条(scrollbar)、图片(image)和文本(text)。界面中的控件的属性和内容是通过标签或者节点来定义的,比如xml通过《textview》、《imgview》、《videoview》等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,html),层叠样式表(cascading style sheets,css),java脚本(javascript,js)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如html通过《p》、《img》、《video》、《canvas》来定义网页的元素和属性。
42.用户界面常用的表现形式是图形用户界面(graphic user interface,gui),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素。
43.在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
44.随着终端技术的发展,用户对电子设备中的视频拍摄功能的需求越来越高。目前,电子设备可以根据不同的拍摄场景设置多种视频模式,供用户选择而进行视频拍摄。然而,在实际使用过程中,用户可能不确定当前的拍摄场景,也不知道选择哪种视频模式,或者即使确定拍摄场景,也不知道如何选择对应的视频模式。例如,在拍摄包含有人像时,用户可能会选择人像模式,使得电子设备可以对视频中的人像进行处理,然而,当人像距离电子设备较远时,人脸在拍摄界面所占的比例可能较小,即使对人像进行处理,人像的优化效果也可能不佳,导致人像视频的拍摄效果不佳,从而影响用户体验。
45.为了避免在拍摄人像视频场景时,由于用户选择的视频模式与人像不匹配而导致人像视频的拍摄效果不佳,本技术实施例提供一种视频拍摄方法,在拍摄人像视频时,可以基于人脸比例进行视频模式的推荐,从而自动生成效果更佳的人像视频,适应于用户的人像视频拍摄需求,有效提升了用户体验。
46.为了更好地理解本技术实施例提供的视频拍摄方法,下面结合图1、图2对本技术实施例的视频拍摄方法的应用场景进行描述。
47.参阅图1所示,在用户开启电子设备的相机应用程序,并选择录像,即拍摄视频时,电子设备在相机应用程序的拍摄界面上显示预览视频帧数据。在摄像头的拍摄范围内存在人时,预览的视频帧数据中也会包含人像,图1中的人像在预览界面内所占的比例较小。
48.电子设备在相机应用程序的预览界面上提供视频模式选择控件,当用户触发视频模式选择控件时,电子设备提供多种视频模式对应的控件供用户选择,用户可以触发控件以选择对应的视频模式,从而对预览视频帧数据和拍摄的视频进行优化处理。
49.参阅图2所示,当用户触发人像模式对应的控件时,电子设备自动对预览视频帧数据中的人像进行处理,例如美颜、背景虚化处理等。然而,由于人像在预览界面内所占的比例较小,不容易看到美颜效果,背景虚化也无法有效地突出人像主体,导致人像视频的拍摄效果不佳,从而影响用户体验。
50.参阅图3所示,为本技术实施例提供的电子设备的软件架构图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。例如,将安卓系统分为四层,从上至下分别为应用程序层101,框架层102,安卓运行时(android runtime)和系统库103,硬件抽象层104,内核层105,硬件层106。
51.应用程序层可以包括一系列应用程序包。例如,应用程序包可以包括相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息,设备控制服务等应用程序。
52.框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。例如,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
53.其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
54.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
55.应用程序层和框架层运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
56.系统库可以包括多个功能模块。例如,表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如sgl)等。
57.其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和
3d图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如: mpeg4,h.264,mp3,aac,amr,jpg,png等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2d图形引擎是2d绘图的绘图引擎。
58.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
59.内核层是电子设备的操作系统的核心,是基于硬件的第一层软件扩充,提供操作系统最基本的功能,是操作系统工作的基础,负责管理系统的进程、内存、设备驱动程序、文件和网络系统,决定了系统的性能和稳定性。例如,内核可以决定一个应用程序对某部分硬件的操作时间。
60.内核层包括与硬件紧密相关的程序,例如中断处理程序、设备驱动程序等,还包括基本的、公共的、运行频率较高的模块,例如时钟管理模块、进程调度模块等,还包括关键性的数据结构。内核层可以设置于处理器中,或固化在内部存储器。
61.硬件层包括电子设备的多个硬件设备,例如摄像头、显示屏等。
62.参阅图4所示,为本技术一实施例提供的视频拍摄方法的流程图。所述方法应用于电子设备中,所述视频拍摄方法包括:s101,获取摄像头拍摄的视频帧数据,识别视频帧数据是否包含人脸。若视频帧数据包含人脸,流程进入s102;若视频帧数据不包含人脸,流程继续s101。
63.如图3所示,在本技术的一实施例中,硬件层106包括图像处理器1061,图像处理器1061包括,但不限于,图像前端(image front end,ife)1062和图像处理引擎(image processing engine,ipe)1063。图像处理器1061通过移动行业处理器接口(mobile industry processor interface,mipi)与摄像头193通信。摄像头193包括,但不限于,镜头和图像传感器。镜头用于采集摄像头拍摄范围内的光信号,图像传感器用于将镜头采集的光信号转换为电信号,得到图像数据或视频帧数据。其中,图像传感器得到的图像数据为raw图像,图像传感器得到的视频帧数据为raw视频帧图像。
64.参阅图5所示,为本技术一实施例提供的视频拍摄系统的架构示意图。视频拍摄系统10包括,但不限于,图像前端1062、图像处理引擎1063、模式切换模块11、焦外处理模块12。
65.在本技术的一实施例中,获取摄像头拍摄的视频帧数据,识别视频帧数据是否包含人脸包括:响应于用户的预设操作,获取摄像头拍摄的视频帧数据,对摄像头拍摄的视频帧数据进行格式转换,得到第一视频流,对第一视频流进行场景分析,识别视频帧数据是否包含人脸。其中,用户的预设操作可以是开启相机应用程序的操作、开启相机应用程序并开启视频功能的操作、或开启相机应用程序并触发视频拍摄的操作。
66.具体地,通过图像前端对摄像头拍摄的视频帧数据进行格式转换,得到第一视频流。在本技术的一实施例中,摄像头拍摄得到的视频帧数据包括多个视频帧图像,摄像头初始拍摄得到的视频帧图像为raw格式,通过图像前端对视频帧数据中的每个raw视频帧图像进行格式转换得到bmp(bitmap,位图)格式的视频帧图像,得到第一视频流,并将第一视频流传输至图像处理引擎。其中,第一视频流为微小(tiny)流。
67.在本技术的一实施例中,图像处理引擎中运行有场景识别模块,图像处理引擎接
收到第一视频流后,场景识别模块采用ai场景检测算法识别第一视频流中的场景,判断视频帧数据是否包含人脸。具体地,场景识别模块对第一视频流中的每个视频帧图像进行人脸识别,判断视频帧数据是否包含人脸,若识别到连续预设数量的视频帧图像包含人脸,确定视频帧数据包含人脸;若未识别到连续预设数量的视频帧图像包含人脸,确定视频帧数据不包含人脸。其中,预设数量为5。在其他实施例中,预设数量也可以根据需求设置为其他数值。
68.在本技术的一实施例中,场景识别模块采用ai场景检测算法识别第一视频流中的场景,判断视频帧数据是否包含人脸包括:场景识别模块采用级联分类器识别第一视频流中的场景,判断视频帧数据是否包含人脸。级联分类器由多个强分类器级联而成,每个强分类器又由一定数量的弱分类器通过adaboost算法(通过迭代弱分类器而产生最终的强分类器的算法)形成。其中,弱分类器用于提取图像的harr-like矩形特征,矩形特征指具有黑色区域以及白色区域的矩形,可包括原始矩形特征和扩展矩形特征。具体地,选取任一个矩形放置于视频帧图像上,然后利用白色区域的像素和减去黑色区域的像素和,得到的值为矩形特征的特征值。如果将矩形特征放在视频帧图像的人脸区域与非人脸区域,计算出的特征值是不同,因此可以基于矩形特征的特征值判断视频帧图像中放置有矩形特征的区域是否为人脸区域,进而判断视频帧图像是否包含人脸。
69.若通过级联分类器可以在视频帧图像中识别出人脸区域,确定视频帧图像包含人脸,若通过级联分类器未在视频帧图像中识别出人脸区域,确定视频帧图像不包含人脸。若连续预设数量的视频帧图像包含人脸,确定摄像头拍摄得到的视频帧数据包含人脸。参阅图6所示,为本技术实施例提供的利用级联分类器识别人脸图像的效果图,矩形框部分即为人脸区域。
70.在其他实施例中,也可以基于模板匹配的人脸检测、基于外观形状的人脸检测、基于神经网络的人脸检测、基于特征的人脸检测、基于肤色的人脸检测等人脸检测方法检测视频帧图像中是否包含人脸。
71.s102,计算人脸区域的尺寸在视频帧数据中所占的比例。
72.在本技术的一实施例中,若视频帧数据包含一个人脸,计算该一个人脸对应的人脸区域的尺寸在视频帧数据中所占的比例;若视频帧数据包含多个人脸,计算所有人脸对应的人脸区域的尺寸在视频帧数据中所占的比例。
73.在本技术的一实施例中,计算人脸区域的尺寸在视频帧数据中所占的比例的细化流程如图7所示,具体包括:s1021,采用矩形框对视频帧数据中识别出的人脸区域进行标识。
74.在本技术的一实施例中,场景识别模块在识别出摄像头拍摄的视频帧数据包含人脸后,还采用矩形框对视频帧数据中识别出的人脸区域进行标识。矩形框可以是将人脸区域包围在内的最小矩形。
75.具体地,场景识别模块在人脸检测的过程中,同时计算人脸坐标,基于人脸区域上、下、左、右四个端点的坐标确定将人脸区域包含在内的最小矩形框,最小矩形框的横向边缘沿水平方向延伸,纵向边缘沿竖直方向延伸。
76.s1022,基于矩形框确定人脸区域的尺寸。
77.在本技术的一实施例中,人脸区域的尺寸可以包括人脸区域的宽度值w、高度值h
及面积s,面积s为宽度值w和高度值h的乘积,宽度值、高度值及面积的单位均为像素点数量。基于矩形框确定人脸区域的尺寸包括:将视频帧图像中标识人脸区域的矩形框的宽度值确定为人脸区域的宽度值,将矩形框的高度值确定为人脸区域的高度值。
78.s1023,计算人脸区域的尺寸与视频帧图像的尺寸之间的比例,得到人脸区域的尺寸在视频帧数据中所占的比例。
79.在本技术的一实施例中,视频帧图像的尺寸可以包括视频帧图像的宽度值w、高度值h及面积s,面积s为宽度值w和高度值h的乘积,视频帧图像的宽度值w、高度值h及面积s均为预设值,宽度值w为视频帧图像的横向边缘的像素点数量,高度值h为视频帧图像的纵向边缘的像素点数量,面积s为视频帧图像的像素点数量。例如,视频帧图像的分辨率为640*480,视频帧图像的横向边缘的像素点数量为640,视频帧图像的纵向边缘的像素点数量为480,则视频帧图像的像素点数量为307200。
80.在本技术的一实施例中,计算人脸区域的尺寸与视频帧图像的尺寸之间的比例包括:计算人脸区域的宽度值与视频帧图像的宽度值之间的比例。例如,人脸区域的宽度值为400,视频帧图像的宽度值为640,则人脸区域的宽度值与视频帧图像的宽度值之间的比例rw=400/640=0.625。
81.在本技术的另一实施例中,计算人脸区域的尺寸与视频帧图像的尺寸之间的比例包括:计算人脸区域的高度值与视频帧图像的高度值之间的比例。例如,人脸区域的高度值为240,视频帧图像的宽度值为480,则人脸区域的宽度值与视频帧图像的宽度值之间的比例rh=240/480=0.5。
82.在本技术的另一实施例中,计算人脸区域的尺寸与视频帧图像的尺寸之间的比例包括:计算人脸区域的面积与视频帧图像的面积之间的比例。例如,人脸区域的面积为10500,视频帧图像的面积为307200,则人脸区域的宽度值与视频帧图像的宽度值之间的比例rs=10500/307200=0.34。
83.s103,判断人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s104;若人脸区域的尺寸在视频帧数据中所占的比例小于第一预设值,流程进入s105。
84.在本技术的一实施例中,第一预设值为1/3。在其他实施例中,第一预设值也可以根据需求设置为其他数值。
85.在本技术的另一实施例中,判断连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值,若连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s104。
86.在本技术的另一实施例中,判断连续预设数量的视频帧图像中人脸数量是否为一个,以及判断连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值,若连续预设数量的视频帧图像中人脸数量为一个,且连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s104。
87.s104,确定推荐的视频模式为人像模式,并基于人像模式进行视频拍摄。
88.如图5所示,在本技术的一实施例中,在作出推荐决策,确定推荐的视频模式为人像模式后,在相机应用程序界面显示提示控件,提示控件上显示文字“推荐使用人像模式”,
响应于用户触发提示控件的操作,模式切换模块将当前的视频模式切换为人像模式,基于人像模式进行视频拍摄。
89.在本技术的一实施例中,基于人像模式进行视频拍摄包括:切换至光圈最大的镜头进行视频拍摄,或将当前拍摄视频的镜头的光圈提高为最大值。
90.在本技术的另一实施例中,基于人像模式进行视频拍摄包括:对摄像头拍摄的视频帧数据进行虚化处理,并将人像虚化处理后的视频帧数据显示于显示屏。具体地,摄像头将拍摄得到的视频帧数据传输至图像前端,通过图像前端对视频帧数据进行格式转换,将raw格式视频帧数据转换为yuv格式视频帧数据,生成第二视频流,并将第二视频流传输至图像处理引擎,第二视频流为预览流,图像处理引擎通过焦外处理模块对第二视频流中的视频帧图像进行虚化处理,并将虚化处理后的视频帧数据显示于显示屏。
91.在本技术的一实施例中,对摄像头拍摄的视频帧数据进行虚化处理的细化流程如图8所示,具体包括:s1041,对视频帧图像进行人像抠图,提取视频帧图像中的人像区域。
92.在本技术的一实施例中,虚化处理通过焦外处理模块基于bokeh(背景虚化)算法实现。对视频帧图像进行人像抠图,提取视频帧图像中的人像区域包括:将视频帧图像输入人像抠图模型,通过人像抠图模型提取出视频帧图像中的人像区域。其中,人像抠图模型可以是fcn((fully convolutional networks,全卷积神经网络)、语义分割网络segnet、稠密预测网络unet。
93.s1042,对视频帧图像的背景区域进行虚化处理。
94.在本技术的一实施例中,视频帧图像的背景区域为视频帧图像中除人像区域之外的区域。对视频帧图像中的背景区域进行虚化处理包括:对背景区域进行高斯模糊处理,得到虚化的背景区域。
95.具体地,对背景区域进行高斯模糊处理包括:预设二维高斯分布函数的均值和标准差,将背景区域划分为多个n*n预设区域,将每个n*n预设区域内的每个像素点的坐标输入二维高斯分布函数,得到二维高斯分布函数的输出值,并将每个像素点对应的输出值除以预设区域内所有像素点对应的输出值之和,得到预设区域内每个像素点的权重,将像素点的rgb三通道像素值分别乘以权重,得到高斯模糊处理后的像素值,将像素点的初始像素值替换为高斯模糊处理后的像素值,得到高斯模糊处理后的像素点,将多个n*n预设区域内高斯模糊处理后的像素点组成的图像确定为虚化处理后的视频帧图像。其中,n为模糊半径,取值可以是任意正整数。可选地,二维高斯分布函数的均值为0,标准差为1.5。
96.s1043,将提取的人像区域与虚化的背景区域融合。
97.在本技术的一实施例中,将提取的人像区域放置于初始的人像位置,对提取的人像区域与虚化的背景区域进行合并,使得人像区域与虚化的背景区域融合。
98.s105,判断人脸区域的尺寸在视频帧数据中所占的比例是否小于或等于第二预设值,第二预设值小于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s106;若人脸区域的尺寸在视频帧数据中所占的比例大于第二预设值,流程返回s101。其中,第二预设值为1/5。在其他实施例中,第二预设值也可以根据需求设置为其他数值。
99.在本技术的另一实施例中,判断连续预设数量的视频帧图像中人脸区域的尺寸在
视频帧数据中所占的比例是否小于或等于第二预设值,若连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s106。
100.在本技术的另一实施例中,判断连续预设数量的视频帧图像中人脸数量是否为一个,以及判断连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例是否小于或等于第二预设值,若连续预设数量的视频帧图像中人脸数量为多个,且连续预设数量的视频帧图像中人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s106。
101.s106,确定推荐的视频模式为主角模式,并基于主角模式进行视频拍摄。
102.在本技术的一实施例中,在作出推荐决策,确定推荐的视频模式为主角模式后,在相机应用程序界面显示提示控件,提示控件上显示文字“推荐使用主角模式”,响应于用户触发提示控件的操作,模式切换模块将当前的视频模式切换为主角模式,基于主角模式进行视频拍摄。其中,主角为对焦位置对应的人像,对焦位置基于用户的触控选择进行确定。
103.在主角模式下,拍摄界面同时显示人像视频帧数据和全景视频帧数据,人像视频帧数据和全景视频帧数据叠加,以画中画的形式进行显示。在本技术的一实施例中,基于主角模式进行视频拍摄包括:控制一摄像头拍摄主角人像视频,控制另一摄像头拍摄全景视频,在拍摄界面显示全景视频的视频帧数据,将人像视频的视频帧数据以画中画的形式叠加显示在全景视频的视频帧数据中。其中,拍摄主角人像视频的摄像头为主摄像头或长焦摄像头(焦距最长的摄像头),可以跟踪拍摄主角,拍摄全景视频的摄像头为广角摄像头。在其他实施例中,拍摄人像视频和全景视频的摄像头也可以是同一摄像头,将摄像头拍摄的全景视频帧数据中的主角人像部分截取和放大,以画中画形式进行显示。
104.具体地,参阅图9所示,摄像头将拍摄的视频帧数据传输至图像前端,图像前端首先将视频帧数据转换为第一视频流(tiny流),对第一视频流采用ai场景检测算法进行场景分析,若场景分析结果为人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,根据场景分析结果做出主角模式的推荐决策,并响应于用户操作将视频模式切换为主角模式。视频模式切换为主角模式后,图像前端将摄像头拍摄的视频帧数据转换为第二视频流(预览流),并将第二视频流传输至图像处理引擎,图像处理引擎对第二视频流进行优化处理,例如防抖、降噪、色彩校正等。图像前端对视频帧视频进行格式转换后,还截取出视频帧数据中的主角人像视频帧数据,对主角人像视频帧数据进行放大,例如放大一倍,生成第三视频流,第三视频流为放大跟踪主体的视频流,图像前端将第三视频流传输至图像处理引擎,图像处理引擎对第三视频流进行优化处理,例如防抖、降噪、色彩校正等。图像处理引擎将处理后的第二视频流和第三视频流拼接,并将拼接后的视频流显示于显示屏,使得第二视频流完整显示,第三视频流以画中画的形式进行显示。
105.参阅图10所示,为本技术另一实施例提供的视频拍摄方法的流程图。所述方法应用于电子设备中,所述视频拍摄方法包括:s201,获取摄像头拍摄的视频帧数据,识别视频帧数据是否包含人脸。若视频帧数据包含人脸,流程进入s202;若视频帧数据不包含人脸,流程进入s206。
106.s202,计算人脸区域的尺寸在视频帧数据中所占的比例。
107.s203,判断人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s204;
若人脸区域的尺寸在视频帧数据中所占的比例小于第一预设值,流程进入s205。
108.s204,确定推荐的视频模式为人像模式,并基于人像模式进行视频拍摄。
109.s205,判断人脸区域的尺寸在视频帧数据中所占的比例是否小于或等于第二预设值,第二预设值小于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s206;若人脸区域的尺寸在视频帧数据中所占的比例大于第二预设值,流程进入s207。
110.s206,确定推荐的视频模式为主角模式,并基于主角模式进行视频拍摄。
111.s207,识别视频帧数据的场景信息是否为夜景场景。若视频帧数据的场景信息为夜景场景,流程进入s208;若视频帧数据的场景信息不是夜景场景,流程返回s201。
112.在本技术的一实施例中,识别视频帧数据的场景信息是否为夜景场景包括:场景识别模块获取连续预设数量的视频帧图像,获取每个视频帧图像的亮度信息luxindex,判断连续预设数量的视频帧图像的亮度信息luxindex是否小于或等于预设亮度,若连续预设数量的视频帧图像的亮度信息luxindex小于或等于预设亮度,说明当前拍摄场景的光线亮度较暗,确定视频帧数据的场景信息为夜景场景;若任一视频帧图像的亮度信息大于预设亮度,说明当前拍摄场景的光线亮度较亮,确定视频帧数据的场景信息不是夜景场景。可选地,预设数量为5。
113.s208,确定推荐的视频模式为夜景模式,并基于夜景模式进行视频拍摄。
114.在本技术的一实施例中,在作出推荐决策,确定推荐的视频模式为夜景模式后,在相机应用程序界面显示提示控件,提示控件上显示文字“推荐使用夜景模式”,响应于用户触发提示控件的操作,模式切换模块将当前的视频模式切换为夜景模式,基于夜景模式进行视频拍摄。
115.参阅图11所示,为本技术另一实施例提供的视频拍摄方法的流程图。所述方法应用于电子设备中,所述视频拍摄方法包括:s301,获取摄像头拍摄的视频帧数据,识别视频帧数据是否包含人脸。若视频帧数据包含人脸,流程进入s302;若视频帧数据不包含人脸,流程进入s307。
116.s302,计算人脸区域的尺寸在视频帧数据中所占的比例。
117.s303,判断人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s304;若人脸区域的尺寸在视频帧数据中所占的比例小于第一预设值,流程进入s305。
118.s304,确定推荐的视频模式为人像模式,并基于人像模式进行视频拍摄。
119.s305,判断人脸区域的尺寸在视频帧数据中所占的比例是否小于或等于第二预设值,第二预设值小于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s306;若人脸区域的尺寸在视频帧数据中所占的比例大于第二预设值,流程进入s307。
120.s306,确定推荐的视频模式为主角模式,并基于主角模式进行视频拍摄。
121.s307,识别视频帧数据的场景信息是否为夜景场景。若视频帧数据的场景信息为夜景场景,流程进入s308;若视频帧数据的场景信息不是夜景场景,流程进入s309。
122.s308,确定推荐的视频模式为夜景模式,并基于夜景模式进行视频拍摄。
123.s309,识别视频帧数据的场景信息是否为高动态范围(high dynamic range,hdr)
场景。若视频帧数据的场景信息为高动态范围场景,流程进入s310;若视频帧数据的场景信息不是高动态范围场景,流程返回s301。
124.在本技术的一实施例中,识别视频帧数据的场景信息是否为高动态范围场景包括:场景识别模块获取视频帧数据中连续预设数量的视频帧图像,获取连续预设数量的视频帧图像的动态范围值drvalue,判断连续预设数量的视频帧图像的动态范围值drvalue是否大于或等于预设动态范围值,若连续预设数量的视频帧图像的动态范围值drvalue大于或等于预设动态范围值,确定视频帧数据的场景信息为高动态范围场景;若任一视频帧图像的动态范围值drvalue小于预设动态范围值,确定视频帧数据的场景信息不是高动态范围场景。在本技术的一实施例中,动态范围值为图像中最高亮度与最低亮度之间的比值。可选地,预设动态范围值为50。
125.s310,确定推荐的视频模式为高动态范围模式,并基于高动态范围模式进行视频拍摄。
126.在本技术的一实施例中,在作出推荐决策,确定推荐的视频模式为高动态范围模式后,在相机应用程序界面显示提示控件,提示控件上显示文字“推荐使用hdr模式”,响应于用户触发提示控件的操作,模式切换模块将当前的视频模式切换为高动态范围模式,基于高动态范围模式进行视频拍摄。
127.参阅图12-13所示,为本技术另一实施例提供的视频拍摄方法的流程图。所述方法应用于电子设备中,所述视频拍摄方法包括:s401,获取摄像头拍摄的视频帧数据,识别视频帧数据是否包含人脸。若视频帧数据包含人脸,流程进入s402;若视频帧数据不包含人脸,流程进入s407。
128.s402,计算人脸区域的尺寸在视频帧数据中所占的比例。
129.s403,判断人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s404;若人脸区域的尺寸在视频帧数据中所占的比例小于第一预设值,流程进入s405。
130.s404,确定推荐的视频模式为人像模式,并基于人像模式进行视频拍摄。
131.s405,判断人脸区域的尺寸在视频帧数据中所占的比例是否小于或等于第二预设值,第二预设值小于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s406;若人脸区域的尺寸在视频帧数据中所占的比例大于第二预设值,流程进入s407。
132.s406,确定推荐的视频模式为主角模式,并基于主角模式进行视频拍摄。
133.s407,识别视频帧数据的场景信息是否为夜景场景。若视频帧数据的场景信息为夜景场景,流程进入s408;若视频帧数据的场景信息不是夜景场景,流程进入s409。
134.s408,确定推荐的视频模式为夜景模式,并基于夜景模式进行视频拍摄。
135.s409,识别视频帧数据的场景信息是否为高动态范围场景。若视频帧数据的场景信息为高动态范围场景,流程进入s410;若视频帧数据的场景信息不是高动态范围场景,流程进入s411。
136.s410,确定推荐的视频模式为高动态范围模式,并基于高动态范围模式进行视频拍摄。
137.s411,识别视频帧数据的场景信息是否为微距场景。若预览流的场景信息为微距
场景,流程进入s412;若视频帧数据的场景信息不是微距场景,流程返回s401。
138.在本技术的一实施例中,识别视频帧数据的场景信息是否为微距场景包括:场景识别模块基于摄像头音圈马达的移动数据vcmcode、摄像头的对焦状态focusstatus及摄像头的校正数据calibdata判断视频帧数据的场景信息是否为微距场景。具体地,场景识别模块获取摄像头音圈马达的移动数据vcmcode、摄像头的对焦状态focusstatus及摄像头的校正数据calibdata,判断摄像头的对焦状态focusstatus是否为成功,若摄像头的对焦状态focusstatus为不成功,判断摄像头音圈马达的移动数据vcmcode是否大于或等于预设移动数据,若摄像头音圈马达的移动数据vcmcode大于或等于预设移动数据,判断摄像头的校正数据calibdata是否正常,若摄像头的校正数据calibdata正常,在摄像头对焦失败的情况下,摄像头的移动距离也够多,且摄像头的校正数据正常,说明摄像头可能由于对焦距离大小而无法对焦,确定视频帧数据的场景信息为微距场景;若摄像头的对焦状态focusstatus为成功,或摄像头音圈马达的移动数据vcmcode小于预设移动数据,或摄像头的校正数据calibdata异常,确定视频帧数据的场景信息不是微距场景。可选地,预设移动数据为10个音圈马达的移动步长。
139.s412,确定推荐的视频模式为微距模式,并基于微距模式进行视频拍摄。
140.在本技术的一实施例中,在作出推荐决策,确定推荐的视频模式为微距模式后,在相机应用程序界面显示提示控件,提示控件上显示文字“推荐使用微距模式”,响应于用户触发提示控件的操作,模式切换模块将当前的视频模式切换为微距模式,基于微距模式进行视频拍摄。
141.参阅图14-15所示,为本技术另一实施例提供的视频拍摄方法的流程图。所述方法应用于电子设备中,所述视频拍摄方法包括:s501,获取摄像头拍摄的视频帧数据,识别视频帧数据是否包含人脸。若视频帧数据包含人脸,流程进入s502;若视频帧数据不包含人脸,流程进入s506。
142.s502,计算人脸区域的尺寸在视频帧数据中所占的比例。
143.s503,判断人脸区域的尺寸在视频帧数据中所占的比例是否大于或等于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例大于或等于第一预设值,流程进入s504;若人脸区域的尺寸在视频帧数据中所占的比例小于第一预设值,流程进入s505。
144.s504,确定推荐的视频模式为人像模式,并基于人像模式进行视频拍摄。
145.s505,判断人脸区域的尺寸在视频帧数据中所占的比例是否小于或等于第二预设值,第二预设值小于第一预设值。若人脸区域的尺寸在视频帧数据中所占的比例小于或等于第二预设值,流程进入s506;若人脸区域的尺寸在视频帧数据中所占的比例大于第二预设值,流程进入s507。
146.s506,确定推荐的视频模式为主角模式,并基于主角模式进行视频拍摄。
147.s507,识别视频帧数据的场景信息是否为夜景场景。若视频帧数据的场景信息为夜景场景,流程进入s508;若视频帧数据的场景信息不是夜景场景,流程进入s509。
148.s508,确定推荐的视频模式为夜景模式,并基于夜景模式进行视频拍摄。
149.s509,识别视频帧数据的场景信息是否为高动态范围场景。若视频帧数据的场景信息为高动态范围场景,流程进入s510;若预览流的场景信息不是高动态范围场景,流程进入s511。
150.s510,确定推荐的视频模式为高动态范围模式,并基于高动态范围模式进行视频拍摄。
151.s511,识别视频帧数据的场景信息是否为微距场景。若视频帧数据的场景信息为微距场景,流程进入s512;若视频帧数据的场景信息不是微距场景,流程进入s513。
152.在本技术的一实施例中,识别视频帧数据的场景信息是否为微距场景包括:场景识别模块基于摄像头音圈马达的移动数据vcmcode、摄像头的对焦状态focusstatus及摄像头的校正数据calibdata判断视频帧数据的场景信息是否为微距场景。具体地,场景识别模块获取摄像头音圈马达的移动数据vcmcode、摄像头的对焦状态focusstatus及摄像头的校正数据calibdata,判断摄像头的对焦状态focusstatus是否为成功,若摄像头的对焦状态focusstatus为不成功,判断摄像头音圈马达的移动数据vcmcode是否大于或等于预设移动数据,若摄像头音圈马达的移动数据vcmcode大于或等于预设移动数据,判断摄像头的校正数据calibdata是否正常,若摄像头的校正数据calibdata正常,在摄像头对焦失败的情况下,摄像头的移动距离也够多,且摄像头的校正数据正常,说明摄像头可能由于对焦距离大小而无法对焦,确定视频帧数据的场景信息为微距场景;若摄像头的对焦状态focusstatus为成功,或摄像头音圈马达的移动数据vcmcode小于预设移动数据,或摄像头的校正数据calibdata异常,确定视频帧数据的场景信息不是微距场景。可选地,预设移动数据为10个音圈马达的移动步长。
153.s512,确定推荐的视频模式为微距模式,并基于微距模式进行视频拍摄。
154.s513,识别视频帧数据的场景信息是否为多镜场景。若视频帧数据的场景信息为多镜场景,流程进入s514;若视频帧数据的场景信息不是多镜场景,流程返回s501。
155.在本技术的一实施例中,识别视频帧数据的场景信息是否为微距场景包括:场景识别模块获取视频帧数据中连续预设数量的视频帧图像,识别连续预设数量的视频帧图像中是否包含宠物,若连续预设数量的视频帧图像中包含宠物,确定视频帧数据的场景信息为多镜场景;若任一视频帧图像中不包含宠物,确定视频帧数据的场景信息不是多镜场景。即,场景识别模块基于场景分析结果aiscencdetresult为连续预设数量的视频帧图像中包含宠物,确定视频帧数据的场景信息为多镜场景。
156.s514,确定推荐的视频模式为多镜模式,并基于多镜模式进行视频拍摄。
157.在本技术的一实施例中,在作出推荐决策,确定推荐的视频模式为多镜模式后,在相机应用程序界面显示提示控件,提示控件上显示文字“推荐使用多镜模式”,响应于用户触发提示控件的操作,模式切换模块将当前的视频模式切换为多镜模式,基于多镜模式进行视频拍摄。
158.本技术实施例提供一种在普通录像模式支持智能场景检测并进行视频模式推荐的整体方案,可以根据当前已经支持的视频模式,识别出典型的用户场景,即,在普通录像模式,开启典型场景检测逻辑,检测到典型场景后把对应的最佳视频模式推荐给用户。
159.当前支持的视频模式有hdr模式、人像模式、主角模式、夜景模式、微距模式,多镜模式。具体方案包括:进入普通录像预览界面,默认开启master ai(智能拍摄助手),进行智能场景检测,根据场景检测结果,弹出推荐对话框,用户点击进行模式选择之后会进入对应的录像模式。进入选择的录像模式之后,不再支持场景检测,退出当前模式的方法:手动叉掉当前模式的图标或者点击录像,完成录制之后会自动返回到普通录像模式,并启动新一
轮场景检测。
160.参阅图16所示,为本技术另一实施例提供的视频拍摄方法的流程图。
161.s601,进入普通录像模式。
162.s602,判断master ai是否开启。若master ai未开启,流程进入s603;若master ai已开启,流程进入s604。
163.s603,保持视频模式为普通录像模式。
164.s604,master ai进行拍摄场景识别。
165.s605,判断是否有匹配场景。若有匹配场景,流程进入s606;若没有匹配场景,流程进入s603。
166.s606,基于识别到的匹配场景进行视频模式的决策推荐。其中,决策推荐流程具体包括:s607,检测到hdr场景,且稳定一定帧数。s608,将视频模式切换为hdr模式。s609,检测到夜景场景,且稳定一定帧数。s610,将视频模式切换为夜景模式。s611,检测到单人,人脸比例大于或等于1/3,且稳定一定帧数。s612,将视频模式切换为人像模式,开启虚化功能。s613,检测到多人,最大人脸比例小于或等于1/5,且稳定一定帧数。s614,将视频模式切换为主角模式。s615,检测到宠物,且稳定一定帧数。s616,将视频模式切换为多镜模式。s617,检测到微距场景,且稳定一定帧数。s618,将视频模式切换为微距模式。手动关闭当前视频模式时,s619,进入普通录像模式。
167.参阅图17所示,为master ai进行智能场景检测的决策因子,参阅图18所示,为各个视频模式的视频规格。
168.参阅图19所示,为本技术另一实施例提供的视频拍摄方法的流程图。
169.s701,输入视频帧数据。
170.s702,根据决策因子输出待推荐的视频模式。
171.s703,判断当前摄像头是否满足待推荐的视频模式要求的变焦能力。若当前摄像头满足待推荐的视频模式要求的变焦能力,流程进入s704;若当前摄像头不满足待推荐的视频模式要求的变焦能力,流程返回s701。
172.在本技术的一实施例中,若当前摄像头的变焦倍率范围满足待推荐的视频模式要求的缩放规格,确定当前摄像头满足待推荐的视频模式要求的变焦能力;若当前摄像头的变焦倍率范围不满足待推荐的视频模式要求的缩放规格,确定当前摄像头不满足待推荐的视频模式要求的变焦能力。例如,如图18所示,人像模式的缩放规格为1x-2x(1倍-2倍),当前摄像头的变焦倍率范围为1x-4x,则确定当前摄像头的变焦倍率范围满足人像模式要求的缩放规格。
173.s704,决策推荐的视频模式。即,将输出的视频模式决策为推荐的视频模式。
174.此方案跟拍照智能场景识别的主要差异点:1)拍照masterai只要识别到人脸,并满足场景优先级条件,即进入人像虚化;视频masterai中,会根据人脸大小的不同进入不同模式,大于1/3的人脸场景进入人像虚化模式,小于1/5的人脸场景会进入主角模式;2)实现方式有差异:拍照masterai进入人像虚化,只是在普通拍照链路增加虚化和美颜算法;视频masterai中会进行模式跳转,跳转进人像模式(视频虚化)和主角模式中。
175.本技术实施例还提供一种电子设备100,参阅图20所示,所述电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计
算机(ultra-mobile personal computer,umpc)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,pda)、增强现实(augmented reality,ar)设备、虚拟现实(virtual reality,vr)设备、人工智能(artificial intelligence, ai)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本技术实施例对该电子设备100的具体类型不作特殊限制。
176.电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
177.可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
178.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
179.控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
180.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
181.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
182.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k,充电器,
闪光灯,摄像头193等。例如:处理器110可以通过i2c接口耦合触摸传感器180k,使处理器110与触摸传感器180k通过i2c总线接口通信,实现电子设备100的触摸功能。
183.i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过i2s接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
184.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中,音频模块170也可以通过pcm接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
185.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过uart接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过uart接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
186.mipi接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头193通过csi接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信,实现电子设备100的显示功能。
187.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
188.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如ar设备等。
189.可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本技术另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
190.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
191.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,
navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
198.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
199.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。
200.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
201.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
202.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。
203.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
204.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
205.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
206.内部存储器121可以包括一个或多个随机存取存储器(random access memory,ram)和一个或多个非易失性存储器(non-volatile memory,nvm)。
207.随机存取存储器可以包括静态随机存储器(static random-access memory,sram)、动态随机存储器(dynamic random access memory,dram)、同步动态随机存储器(synchronous dynamic random access memory, sdram)、双倍资料率同步动态随机存取
usa,ctia)标准接口。
219.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
220.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
221.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
222.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在电子设备100中,不能和电子设备100分离。本技术实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备100上运行时,使得电子设备100执行上述相关方法步骤实现上述实施例中的视频拍摄方法。
223.本技术实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的视频拍摄方法。
224.另外,本技术的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的视频拍摄方法。
225.其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
226.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
227.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合
或通信连接,可以是电性,机械或其它的形式。
228.该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
229.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
230.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
231.最后应说明的是,以上实施例仅用以说明本技术的技术方案而非限制,尽管参照较佳实施例对本技术进行了详细说明,本领域的普通技术人员应当理解,可以对本技术的技术方案进行修改或等同替换,而不脱离本技术技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1