一种图像拍摄方法和终端设备与流程
本申请涉及图像拍摄技术领域，尤其涉及一种图像拍摄方法和终端设备。
背景技术：
随着终端技术的进步，终端设备的各种功能不断完善。以手机为例，图像拍摄功能是用户使用频率较高的功能之一，而且，用户越来越关注手机的成像质量。
然而，目前的手机拍摄图像的曝光度不好把控，容易出现过曝或欠曝的问题，导致在图像中亮部细节清晰但是暗部细节丢失，或者暗部细节清晰但是亮部细节丢失，最终导致图像的成像质量不佳。
技术实现要素：
本申请实施例提供一种图像拍摄方法和终端设备，用以提高图像拍摄质量。
第一方面，本申请实施例提供一种图像拍摄方法，该方法可由终端设备执行。所述方法包括：终端设备响应于用户操作，打开相机应用，启动摄像头，显示取景界面；所述终端设备将所述摄像头采集的原始图像转换成rgb图像；所述终端设备将所述rgb图像的亮度降低到小于第一亮度或提高到大于第二亮度，得到第一图像，所述第一亮度大于所述第二亮度；所述终端设备采用hdr技术将所述rgb图像转换成n帧hdr图像，所述n帧hdr图像每帧hdr图像的亮度不同，且在所述rgb图像的亮度降低到小于第一亮度时所述n帧hdr图像的亮度均大于所述第一亮度，或者在所述rgb图像的亮度提高到大于第二亮度时所述n帧hdr图像的亮度均小于所述第二亮度；n为正整数；所述终端设备将所述第一图像与所述n帧hdr图像中任意相同位置的像素点的颜色信息进行融合，得到最终图像；所述终端设备在所述取景界面中显示所述最终图像。
在本申请实施例中，终端设备将rgb图像和多帧hdr图像的亮度分别做不同幅度的调整。这样的话，rgb图像和hdr图像上保持的细节不同。终端设备将rgb图像和多帧hdr图像上相同位置的像素点的颜色信息融合后，得到质量较好的图像，提高图像拍摄质量。
在一种可能的设计中，所述终端设备将所述第一图像与所述n帧hdr图像中任意相同位置的像素点的颜色信息进行融合，得到最终图像，具体可以为：所述终端设备根据采集所述原始图像的曝光参数，从多条融合曲线中确定与所述曝光参数对应的第一融合曲线；所述第一融合曲线用于指示颜色信息与融合系数之间的对应关系；所述终端设备将所述每帧hdr图像上相同位置的像素点分别作为第一像素点，针对每个第一像素点分别执行：所述终端设备根据所述每帧hdr图像上第一像素点的颜色信息，在所述第一融合曲线上确定与所述颜色信息对应的融合系数；所述终端设备根据所述融合系数将所述每帧hdr图像上的第一像素点和所述第一图像上的第二像素点的颜色信息融合，得到最终图像；其中，所述第二像素点是所述终端设备根据匹配算法确定出的与所述第一像素点对应的位置相同的像素点；
在本申请实施例中，终端设备根据采集原始图像的曝光参数确定一条融合曲线，然后根据hdr图像上的像素点的颜色信息在融合曲线上确定融合系数。终端设备根据融合系数将rgb图像和hdr图像上相同位置的像素点的颜色信息融合后，得到质量较好的图像，提高图像拍摄质量。
在一种可能的设计中，所述终端设备根据所述每帧hdr图像上第一像素点的颜色信息，在所述第一融合曲线上确定与所述颜色信息对应的融合系数，具体可以包括：所述终端设备根据所述每帧hdr图像上的第一像素点的r颜色信息，在所述第一融合曲线上确定与所述r颜色信息对应的第一融合系数，得到n个第一融合系数；所述终端设备根据所述每帧hdr图像上的第一像素点的g颜色信息，在所述第一融合曲线上确定与所述g颜色信息对应的第二融合系数，得到n个第二融合系数；所述终端设备根据所述每帧hdr图像上的第一像素点的b颜色信息，在所述第一融合曲线上确定与所述b颜色信息对应的第三融合系数，得到n个第三融合系数；相应地，所述终端设备根据所述融合系数将所述每帧hdr图像上的第一像素点和所述第一图像上的第二像素点的颜色信息融合，具体可以包括：所述终端设备根据所述n个第一融合系数将所述每帧hdr图像上的所述第一像素点和所述第二像素点的r颜色信息融合；所述终端设备根据所述n个第二融合系数将所述每帧hdr图像上的所述第一像素点和所述第二像素点的g颜色信息融合；所述终端设备根据所述n个第三融合系数将所述每帧hdr图像上的所述第一像素点和所述第二像素点的b颜色信息融合。
在本申请实施例中，终端设备根据hdr图像上第一像素点的三种颜色信息分别确定融合系数。终端设备根据某种颜色信息的融合系数将rgb图像和hdr图像上相同位置的像素点的该种颜色信息融合。即终端设备在融合rgb图像和hdr图像上相同位置的像素点的颜色信息时，对rgb图像和hdr图像上相同位置的像素点的每种颜色信息分别融合。通过这样的方式，得到质量较好的图像，提高图像拍摄质量。
在一种可能的设计中，所述终端设备根据所述n个第一融合系数将所述每帧hdr图像上的所述第一像素点和所述第二像素点的r颜色信息融合，可以符合下述公式要求：
其中，rsrc是第一图像上的第二像素点的r颜色信息的取值，
在本申请实施例中，终端设备融合rgb图像和hdr图像上相同位置的像素点的r(红)颜色信息时，符合上述公式要求。通过这样的方式，得到质量较好的图像，提高图像拍摄质量。
在一种可能的设计中，所述终端设备根据所述n个第二融合系数将所述每帧hdr图像上的所述第一像素点和所述第二像素点的g颜色信息融合，可以符合下述公式要求：
其中，gsrc是第一图像上的第二像素点的g颜色信息的取值，
在本申请实施例中，终端设备融合rgb图像和hdr图像上相同位置的像素点的g(绿)颜色信息时，符合上述公式要求。通过这样的方式，得到质量较好的图像，提高图像拍摄质量。
在一种可能的设计中，所述终端设备根据所述n个第三融合系数将所述每帧hdr图像上的所述第一像素点和所述第二像素点的b颜色信息融合，可以符合下述公式要求：
其中，bsrc是第一图像上的第二像素点的b颜色信息的取值，
在本申请实施例中，终端设备融合rgb图像和hdr图像上相同位置的像素点的b(蓝)颜色信息时，符合上述公式要求。通过这样的方式，得到质量较好的图像，提高图像拍摄质量。
第二方面，本申请实施例提供一种终端设备。该终端设备包括摄像头、显示屏、存储器和处理器：所述处理器用于响应于用户操作，打开相机应用，启动摄像头；所述显示屏用于显示所述相机应用的取景界面；所述摄像头用于采集原始图像；所述存储器用于存储一个或多个计算机程序；当所述存储器存储的一个或多个计算机程序被所述处理器执行时，使得所述终端设备能够实现第一方面或者第一方面的任意一种可能的设计的方法。
第三方面，本申请实施例还提供了一种终端设备，所述终端设备包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第四方面，本申请实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在终端上运行时，使得所述终端设备执行第一方面或上述第一方面的任意一种可能的设计的方法。
第五方面，本申请实施例还提供一种包含计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行第一方面或上述第一方面的任意一种可能的设计的方法。
附图说明
图1为本申请实施例提供的手机100的结构示意图；
图2为本申请实施例提供的手机100的结构示意图；
图3为本申请实施例提供的通过手机100拍摄图像的流程示意图；
图4为本申请实施例提供的图像拍摄方法的效果示意图；
图5为本申请实施例提供的图像拍摄方法的流程示意图；
图6为本申请实施例提供的融合曲线的示意图；
图7为本申请实施例提供的图像拍摄方法的流程示意图；
图8为本申请实施例提供的终端设备的结构示意图；
图9为本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
以下，对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
本申请实施例涉及的曝光参数，是终端设备在拍摄图像时设置的参数。曝光参数可以用于指示设备在拍摄景物时，接收景物发出的光线的总量。曝光参数可以包括曝光时间和/或曝光强度等。
通常，曝光参数的取值的大小可以决定最终拍摄的图像的亮度值的大小。例如曝光时间较长或者曝光强度较大，则设备在拍摄图像时的进光量较大，所以拍摄的图像的亮度较大。如果曝光时间较短或者曝光强度较小，则设备在拍摄图像时的进光量较小，所以拍摄的图像的亮度较小。
本申请实施例涉及的像素，为一帧图像上的最小成像单元。一个像素可以对应图像上的一个坐标点。一个像素可以对应一个参数(比如灰度)，也可以对应多个参数的集合(比如灰度、亮度、颜色等)。以颜色信息为例，通常，一帧图像上具有三种基础颜色，即红(red，下文以r表示)，绿(green，下文以g表示)，蓝(blue，下文以b表示)，其它颜色可以通过这三种基础颜色组合而成。因此，一帧图像上的每个像素点可以包含r、g、b三种颜色信息，且每个像素点上的r、g、b三种颜色信息的取值不同。比如，一个像素点对应的r、g、b三种颜色信息的取值均为0时，该像素点呈现白色，一个像素点对饮的r、g、b三种颜色信息的取值均为255时，该像素点呈现黑色。
本申请实施例涉及的原始图像，是摄像头的输出图像，即摄像头将采集的物体反射的光信息转化为数字图像信号而得到的原始数据，该原始数据未经过加工处理。比如，原始图像可以是raw格式数据。该raw格式数据中可以包括物体的信息和摄像头参数。其中，摄像头参数可以包括感光度(internationalstandardizationorganization，iso)、快门速度、光圈值、白平衡等。原始图像也是isp和网络神经单元，比如下文的神经网络处理器(neural-networkprocessingunit，npu)的输入图像。
本申请实施例涉及的第一图像，是isp的输出图像，由isp对原始图像进行处理得到rgb格式或者yuv格式的图像，并且将rgb格式或者yuv格式的图像的亮度调整后得到的图像。其中，isp将rgb格式或者yuv格式的图像的亮度调整的具体值，可以是用户设置的，也可以是手机在出厂时设置好的。第一图像也是处理器比如下文中的图形处理器(graphicsprocessingunit，gpu)的输入图像。
本申请实施例涉及的hdr图像，即高动态范围图像(highdynamicrange，hdr)图像，是网络神经单元的输出图像。神经网络单元可以基于现有技术中的高动态范围技术得到的hdr图像，关于高动态范围技术，本申请实施例不多赘述。其中，hdr图像也是处理器(比如下文中的gpu)的输入图像。
需要说明的是，本申请实施例涉及的“图像”，例如原始图像、第一图像、hdr图像等，可以是指图片，也可以是一些参数(比如，像素信息，颜色信息、亮度信息)的集合。
本申请实施例涉及的多个，是指大于或等于两个。
需要说明的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
以下介绍终端设备、用于这样的终端设备的图形用户界面(graphicaluserinterface，gui)、和用于使用这样的终端设备的实施例。在本申请一些实施例中，终端设备可以是包含摄像头等具有图像采集功能的器件的便携式终端，诸如手机、平板电脑等。便携式终端设备的示例性实施例包括但不限于搭载
通常情况下，终端设备支持多种应用。比如以下应用中的一个或多个：相机应用、即时消息收发应用、照片管理应用等。其中，即时消息收发应用可以有多种。比如微信、腾讯聊天软件(qq)、whatsappmessenger、连我(line)、照片分享(instagram)、kakaotalk、钉钉等。用户通过即时消息收发应用，可以将文字、语音、图片、视频文件以及其他各种文件等信息发送给其他联系人；或者，用户可以通过即时消息收发应用实现与其他联系人的视频或音频通话。
以终端设备是手机为例，图1示出了手机100的结构示意图。
手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserialbus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160、音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentificationmodule，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
其中，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(applicationprocessor，ap)，调制解调处理器，图形处理器(graphicsprocessingunit，gpu)，图像信号处理器(imagesignalprocessor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digitalsignalprocessor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessingunit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
手机100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay，lcd)，有机发光二极管(organiclight-emittingdiode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，amoled)，柔性发光二极管(flexlight-emittingdiode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantumdotlightemittingdiodes，qled)等。在一些实施例中，手机100可以包括1个或n个显示屏194，n为大于1的正整数。
手机100可以通过处理器110，摄像头193，显示屏194等实现图像拍摄功能。摄像头193用于捕获静态图像或视频。通常，摄像头193可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。图像传感器将生成的原始图像发送给处理器110。处理器110运行本申请实施例提供的图像拍摄算法对原始图像进行处理，得到处理后的图像，显示屏194显示处理后的图像。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，ufs)等。
其中，距离传感器180f，用于测量距离。手机100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，手机100可以利用距离传感器180f测距以实现快速对焦。在另一些实施例中，手机100还可以利用距离传感器180f检测是否有人或物体靠近。
其中，接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。手机100通过发光二极管向外发射红外光。手机100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定手机100附近有物体。当检测到不充分的反射光时，手机100可以确定手机100附近没有物体。手机100可以利用接近光传感器180g检测用户手持手机100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180l用于感知环境光亮度。手机100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测手机100是否在口袋里，以防误触。
指纹传感器180h用于采集指纹。手机100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180j用于检测温度。在一些实施例中，手机100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，手机100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，手机100对电池142加热，以避免低温导致手机100异常关机。在其他一些实施例中，当温度低于又一阈值时，手机100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于手机100的表面，与显示屏194所处的位置不同。
另外，手机100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。手机100可以接收按键190输入，产生与手机100的用户设置以及功能控制有关的键信号输入。手机100可以利用马达191产生振动提示(比如来电振动提示)。手机100中的指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。手机100中的sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和手机100的接触和分离。
手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoiseamplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks，wlan)(如无线保真(wirelessfidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(globalnavigationsatellitesystem，gnss)，调频(frequencymodulation，fm)，近距离无线通信技术(nearfieldcommunication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
以下实施例均可以在具有上述硬件结构的终端设备(例如手机100、平板电脑等)中实现。
为了方便描述本申请实施例提供的图像拍摄算法，下文将通过与本申请实施例提供的图像拍摄算法相关的部件介绍本申请实施例提供的图像拍摄算法。具体请参见图2。图2所示的部件可以参考关于图1的相关描述。需要说明的是，在图2中，以处理器110集成gpu110-1、isp110-2和npu110-3为例。
下面介绍通过图2所示的手机100拍摄得到一张图像的过程。请参见图3所示，为本申请实施例提供的手机100拍摄得到一张图像的过程示意图。如图3所述，该过程包括：
第一步，手机100响应于用户操作，进入相机应用，打开摄像头193，显示取景界面。
示例性的，手机100的显示屏194显示主界面，主界面中包括各个应用程序的图标(比如电话应用图标、视频播放器图标、音乐播放器图标、相机应用图标、浏览器应用图标等等)。用户通过设置于显示屏194上的触摸传感器180k(图2中未示出，可参见图1所示)点击主界面中的相机应用的图标，启动相机应用，打开摄像头193。显示屏194显示相机应用的界面，例如取景界面。
第二步，摄像头193基于设置的曝光参数采集原始图像。
具体而言，请继续参见图2所示，摄像头193采集原始图像的过程为：摄像头193中的镜头组193-1采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器193-2。图像传感器193-2根据所述光信号生成待拍摄物体的原始图像。
需要说明的是，摄像头193采集原始图像之前，通常会设置好摄像头参数，比如曝光参数(可以是用户自定义设置的，也可以是手机100自己设置的)的取值。曝光参数包括iso、曝光时间、光圈的大小、快门、进光量等多个参数中的至少一个参数；或者，曝光参数也可以是根据ios、光圈、快门计算得到的用于指示曝光程度的其它参数，只要能够反映曝光程度即可，本申请实施例不作限定。
摄像头193采集的原始图像是未经过加工的原始图像。比如，原始图像可以是raw格式数据，raw格式数据中包括待拍摄物体的信息和摄像头参数(比如曝光参数)。
第三步，isp110-1将原始图像转换成rgb图像，通常如果曝光参数设置较高时，摄像头193基于设置的曝光参数采集的原始图像的亮度会较高，这时isp110-1可以将rgb图像的亮度调整到小于第一亮度，得到第一图像；如果曝光参数设置较低时，摄像头193基于设置的曝光参数采集的原始图像的亮度会较低，这时isp110-1可以将rgb图像的亮度调整到大于第二亮度，得到第一图像。第一亮度和第二亮度的值可以预先设定，且第一亮度大于等于第二亮度。
如前述内容可知，原始图像中包括待拍摄物体的信息和摄像头参数。由于，摄像头193采集的原始图像是未经过加工处理的图像。isp110-1可以基于rgb色彩模式对原始图像进行处理，得到包含颜色信息的图像即rgb图像。以摄像头193采集的原始图像是raw格式数据为例，isp110-1可以基于rgb色彩模式将raw格式数据转换成rgb格式数据。其中，rgb格式数据是包含颜色信息数据。其中，sp110-1基于rgb色彩模式将raw格式数据转换成rgb格式数据的过程，可以参见现有技术，本申请实施例不限定。具体而言，isp110-1将rgb图像调整到哪一个亮度值，可以根据用户的设置而定，这里仅是以第一亮度和第二亮度为例进行说明。
当然，isp110-1还可以对基于yuv色彩模式将raw格式数据转换成包含颜色信息的yuv图像，本申请实施例不作限定。
第四步，isp110-1将曝光参数和所述第一图像发送给gpu110-3，并将所述rgb图像发送给npu110-2。
第五步，npu110-2根据高动态范围技术对得到的rgb图像进行处理，得到hdr图像。具体而言，当isp110-1将rgb图像的亮度调整到小于第一亮度时，npu110-2可以基于高动态范围技术将hdr图像的亮度提升到大于所述第一亮度。当isp110-1将rgb图像的亮度调整到大于第二亮度时，npu110-2可以基于高动态范围技术将hdr图像的亮度降低到低于所述第二亮度。
关于高动态范围技术，可参见现有技术，本申请实施例不作限定。
第六步，npu110-2将得到的hdr图像发送给gpu110-3。
第七步，gpu110-3运行本申请实施例提供的图像拍摄算法的代码，根据曝光参数确定与所述曝光参数对应的融合曲线，基于所述融合曲线将第一图像和hdr图像融合，得到最终图像。
请参见图4所示，为gpu110-3将第一图像和hdr图像融合的示意图。如图4所示，gpu110-3根据曝光参数确定融合曲线，根据该融合曲线将第一图像和hdr图像融合，得到最终图像。需要说明的是，如前述内容可知，曝光参数的调整的不合适会对图像的细节信息造成影响，比如，当过曝时，图像过亮，进而导致亮部细节清晰但是暗部细节丢失，欠曝时，图像过暗，进而导致图像暗部细节清晰但是亮部细节丢失。
因此，在本申请一些实施例中，当曝光参数的取值设置的较高时，isp110-1可以将grb图像的亮度降低，即第一图像的亮度较低(这样的话，第一图像上的暗部细节保持)。npu110-2利用高动态范围技术将rgb图像的亮度提升，得到hdr图像，以恢复hdr图像上的亮部细节(这样的话，hdr图像上的亮部细节保持)。gpu110-3将第一图像和hdr图像融合，即将第一图像上的暗部细节和hdr图像的亮部细节融合，得到图像质量较高的最终图像。
在本申请另一些实施例中，当曝光参数的取值设置的较低时，isp110-1可以将grb图像的亮度升高，即第一图像的亮度较高(这样的话，第一图像上的亮部细节保持)。npu110-2利用高动态范围技术将rgb图像的亮度降低，得到hdr图像，以恢复hdr图像暗部细节(这样的话，hdr图像上的暗部细节保持)。gpu110-3将第一图像和hdr图像融合，即将第一图像上的亮部细节和hdr图像的暗部细节融合，得到图像质量较高的最终图像。
其中，isp110-1可以将原始图像中的曝光参数的取值与事先存储的曝光参数的取值比较，若原始图像中的曝光参数的取值大于事先存储的曝光参数的取值，则确定曝光参数的取值较高。若原始图像中的曝光参数的取值小于等于事先存储的曝光参数的取值，则确定曝光参数的取值较低。
其他关于第七步的具体实现过程，将在后文介绍。
第八步，显示屏194在取景界面中显示最终图像。
需要说明的是，在图2中是以处理器110集成gpu110-1、isp110-2和npu110-3为例的，在实际应用中，处理器110可以只集成gpu110-1、isp110-2和npu110-3中的一个或者两个。假设处理器110只集成gpu110-1和isp110-2，那么上述实施例中npu110-3的功能(基于原始图像得到hdr图像的功能)可以由gpu110-1或isp110-2执行。再假设处理器110只集成npu110-3和isp110-2，那么上述实施例中gpu110-1的功能(运行本申请实施例提供的图像拍摄算法融合第一图像和hdr图像的功能)可以由npu110-3或isp110-2执行。另外，图2中的处理器110还可以只集成除去gpu110-1、isp110-2和npu110-3之外的其它处理器比如中央处理cpu，则上述gpu110-1、isp110-2和npu110-3的功能均由cpu执行；或者图2中的处理器110可以集成cpu、isp110-2和npu110-3，那么上述gpu110-1的功能由cpu执行。总之，本申请实施例的图像拍摄算法可以在各类处理器上运行，本申请实施例不作限定。
图3所示的流程是通过手机100的相机应用拍摄图像为例的。实际上，本申请实施例提供的图像拍摄方法还可以适用于其它场景。比如，手机100中的微信应用的视频通话、或者qq视频通话的场景等使用摄像头采集图像的场景。
下面介绍手机100中的gpu110-3运行本申请实施例提供的图像拍摄方法、根据曝光参数确定与所述曝光参数对应的融合曲线，基于所述融合曲线将第一图像和hdr图像融合，得到最终图像的过程，即图3所示的第七步过程。具体而言，请参见图5所示，gpu110-3运行本申请实施例提供的图像拍摄算法的代码，执行如下过程：
s501：根据原始图像的曝光参数从多条融合曲线中确定与所述曝光参数对应的第一融合曲线。
作为一种示例，手机100中可以预先存储有多条融合曲线。这些融合曲线可以是设计人员在手机100出厂前经过试验获得的，并存储在手机100(比如内部存储器121)中。
请参见图6所示，为本申请实施例提供的融合曲线的示意图。如图6所示，横纵是颜色信息(比如r、g、b颜色信息的取值)、纵轴是融合系数。以其中一条融合曲线为例，该融合曲线可以反映融合系数与r颜色信息(g颜色信息或b颜色信息)的取值之间的对应关系。
假设曝光参数的取值是取值1，gpu110-3根据曝光参数的取值1在图6所示的多条融合曲线中，确定出与该取值1对应的第一融合曲线。
需要说明的是，图6是以三条融合曲线为例的，在实际应用中，手机100可以包含更多的融合曲线。
作为一种示例，gpu110-3确定曝光参数小于第一曝光参数(比如第一曝光参数的取值为取值1)时，确定第一融合曲线(比如图6中的曝光参数取值为1的融合曲线)，gpu110-3确定曝光参数大于等于第一曝光参数小于第二曝光参数(比如第二曝光参数的取值为取值2)时，确定第二融合曲线(比如图6中的曝光参数取值为2的融合曲线)，gpu110-3确定曝光参数大于等于第二曝光参数小于第三曝光参数(比如第三曝光参数取值为取值3)时，确定第三融合曲线(比如图6中的曝光参数取值为3的融合曲线)。这种方式中，手机100中无需存储很多的融合曲线，节省内存。
作为另一种示例，曝光参数和融合曲线是一一对应的关系，即每个曝光参数可以确定一条不同的融合曲线。这种方式中，手机100中存储的融合曲线较多，根据曝光参数确定的融合曲线较为准确。
s502：确定hdr图像中第一像素点的r、g、b颜色信息各自的取值。
如前述内容可知，isp110-1对原始图像进行处理，得到包含颜色信息的rgb图像，然后将rgb图像的亮度调整，得到第一图像。因此，步骤s502可参见现有技术，本申请实施例不多赘述。
s503：根据r颜色信息的取值在所述第一融合曲线上确定与所述r颜色信息对应的第一融合系数；根据g颜色信息的取值在所述第一融合曲线上确定与所述g颜色信息对应的第二融合系数；根据b颜色信息的取值在所述第一融合曲线上确定与所述b颜色信息对应的第三融合系数。
举例来说，假设r颜色信息的取值是150，再假设在s501中，gpu110-1确定第一融合曲线是图6所示的曝光参数的取值2的融合曲线，那么gpu110-1在横坐标上找到r颜色信息的取值是150的值，并确定在该第一融合曲线上与取值是150的值对应的纵坐标，该纵坐标即第一融合系数。对于g、b颜色信息，也可以采用类似的方式，不多赘述。
需要说明的是，对于r、g、b颜色信息的融合系数的确定可以均采用图6所示的融合曲线，即图6所示的横坐标可以代表r、g、b三种颜色信息的取值。或者，图6所示的融合曲线的横坐标仅仅是r颜色信息和融合系数的对应关系，设计人员可以对g、b颜色信息均设计一组类似于图6所示的融合曲线。
s504：在第一图像上确定与hdr图像上的第一像素点处于相同位置的第二像素点。
由于第一图像和hdr图像都是基于原始图像得到的，而原始图像上的坐标点是在成像平面上可以确定的。因此，gpu110-3可以确定第一图像和hdr图像上的每个像素点的坐标值。请继续参见图4为例，图4示出了一帧hdr图像和一帧第一图像，gpu110-3可以在hdr图像上选择一个像素点b(即第一像素点)，gpu110-3可以根据现有技术的匹配算法(比如相似度匹配算法)得到第一图像上与像素点b对应的像素点a(即第二像素点)；或者，gpu110-3可以确定第一图像和hdr图像上的处于相同位置(坐标值相同)像素点。
s505：根据第一融合系数和第一融合公式，将所述第一像素点和所述第二像素点上的r颜色信息融合；根据第二融合系数和第二融合公式，将所述第一像素点和所述第二像素点上的g颜色信息融合；根据第三融合系数和第三融合公式，将所述第一像素点和所述第二像素点上的b颜色信息融合，得到最终图像。
如前述内容可知，一帧图像上的每个像素点包含r、g、b三种颜色信息，且每个像素点上的r、g、b三种颜色信息的取值不同。因此，在本申请实施例中，gpu110-3融合第一图像和hdr图像时，可以将这两帧图像上的每个像素点的颜色信息分别融合。
继续以图4为例，gpu110-3确定像素点a和像素点b之后，可以将像素点a的r、g、b三种颜色信息和像素点b的r、g、b三种颜色信息分别融合。具体而言，gpu110-3将像素点a的r颜色信息和像素点b的r颜色信息融合，将像素点a的g颜色信息和像素点b的g颜色信息融合，像素点a的b颜色信息和像素点b的b颜色信息融合。
以r颜色信息为例，gpu110-3可以根据第一融合公式和第一融合系数(s503中确定的第一融合系数)将像素点a的r颜色信息和像素点b的r颜色信息融合。
作为一种示例，手机100中可以存储有第一融合公式(用于计算最终图像上一个像素点的r颜色信息的融合公式)，请参见公式(1)：
rdst＝(1-f1)·rsrc+f1·rres公式(1)
其中，rsrc是第一图像上的一个像素点(比如像素点a)的r颜色信息的取值，rres代表hdr图像的一个像素点(比如像素点b)的r颜色信息的取值；f1基于hdr图像上像素点(比如像素点b)的r颜色信息的取值在第一融合曲线上确定的第一融合系数(步骤s503)。通过公式(1)得到最终图像上的一个像素点(比如像素点c)的r颜色信息的取值，即rdst。
作为一种示例，手机100中可以存储有第二融合公式(用于计算最终图像上一个像素点的g颜色信息的融合公式)，请参见公式(2)：
gdst＝(1-f2)·gsrc+f2·gres公式(2)
其中，gsrc是第一图像上的一个像素点(比如像素点a)的g颜色信息的取值，gres代表hdr图像的一个像素点(比如像素点b)的g颜色信息的取值。f2基于hdr图像上像素点(比如像素点b)的g颜色信息的取值在第一融合曲线上确定的第二融合系数(步骤s503)。通过公式(2)得到最终图像上的一个像素点(比如像素点c)的g颜色信息的取值，即gdst。
作为一种示例，手机100中可以存储有第三融合公式(用于计算融合后的图像上一个像素点的b颜色信息的融合公式)，请参见公式(3)：
bdst＝(1-f3)·bsrc+f3·bres公式(3)
其中，bsrc是第一图像上的一个像素点(比如像素点a)的b颜色信息的取值，bres代表hdr图像的一个像素点(比如像素点b)的b颜色信息的取值。f3基于hdr图像上像素点(比如像素点b)的b颜色信息的取值在第一融合曲线上确定的第三融合系数(步骤s503)。通过公式(3)得到最终图像上的一个像素点(比如像素点c)的b颜色信息的取值，即bdst。
通过上述公式(1)-(3)可以确定融合后的图像上的一个像素点(即像素点c)的rgb颜色信息，对于其它像素点可以采用类似的方式，最终确定每个像素点的rgb颜色信息，进而得到最终图像。
需要说明的是，图5所示实施例中的s501-s505之间的执行顺序，本申请实施例不限定。
在上述实施例中，gpu110-1是将第一图像和hdr图像融合得到最终图像。下面介绍另一实施例，在该实施例中，npu110-2可以对rgb图像上的不同区域做不同的亮度调整，得到多帧hdr图像，即图3所示的流程中的第五步中，npu110-2对rgb图像上的不同区域做不同的亮度调整，得到多帧hdr图像。npu110-2将得到的多帧hdr图像发送给gpu110-3。gpu110-3将该多帧hdr图像和第一图像融合，得到最终图像(对应图3所示的第七步)。
请参见图7所示，为本申请实施例提供的图像拍摄过程的流程示意图。如图7所示，gpu110-3根据曝光参数确定融合曲线，根据该融合曲线将第一图像和多帧hdr图像融合，得到最终图像。其中，npu110-2对rgb图像上的不同区域分别采用高动态范围技术，得到多帧hdr图像。以两帧hdr图像为例，当isp110-1将rgb图像的亮度调整到小于第一亮度时，npu110-2可以基于高动态范围技术将rgb图像的第一区域(全部区域或部分区域)的亮度提升到大于所述第一亮度的某个亮度值，得到一帧hdr图像。npu110-2可以基于高动态范围技术将rgb图像的第二区域(全部区域或部分区域)的亮度提升到大于所述第一亮度的另一个亮度值，得到另一帧hdr图像。当isp110-1将rgb图像的亮度调整到大于第二亮度时，npu110-2可以基于高动态范围技术将rgb图像上的第一区域(全部区域或部分区域)的亮度降低到低于所述第二亮度的某个亮度值，得到一帧hdr图像。npu110-2可以基于高动态范围技术将rgb图像的第二区域(全部区域或部分区域)的亮度降低到小于所述第二亮度的另一个亮度值，得到另一帧hdr图像。总之，npu110-2得到多帧hdr图像的亮度可以不同。这样的话，npu110-2得到的多帧hdr图像中每帧hdr图像上不同区域的细节不同。gpu110-3可以将第一图像和多帧hdr图像融合，得到最终图像。
需要说明的是，gpu110-3将多帧hdr图像和第一图像融合的流程与图4所示的流程类似。不同的是，在s404中，gpu110-3在每帧hdr图像上确定与第一图像上的第一像素点(比如像素点a)对应的第二像素点(比如像素点b1、b2)。在s405中，gpu110-3采用的融合公式不同。
以r颜色信息为例，用于计算最终图像上一个像素点的r颜色信息的融合公式与前述的公式(1)不同，具体请参见公式(4)：
其中，rsrc是第一图像上的一个像素点(比如像素点a)的r颜色信息的取值，
通过公式(5)得到最终图像上的一个像素点(比如像素点c)的g颜色信息的取值，即gdst。
以g颜色信息为例，用于计算最终图像上一个像素点的g颜色信息的融合公式与前述的公式(2)不同，具体请参见公式(5)：
其中，gsrc是第一图像上的该像素点(比如像素点a)的g颜色信息的取值，公式(5)中
通过公式(5)得到最终图像上的一个像素点(比如像素点c)的g颜色信息的取值，即gdst。
以b颜色信息为例，用于计算最终图像上一个像素点的b颜色信息的融合公式与前述的公式(3)不同，具体请参见公式(6)：
其中，bsrc是第一图像上的该像素点(比如像素点a)的b颜色信息的取值，
通过公式(6)得到最终图像上的一个像素点(比如像素点c)的b颜色信息的取值，即bdst。
通过上述公式(4)-(6)可以确定融合后的图像上的一个像素点(即像素点c)的r、g、b颜色信息，对于其它像素点可以采用类似的方式，最终确定每个像素点的r、g、b颜色信息。
本申请的各个实施方式可以任意进行组合，以实现不同的技术效果。
上述本申请提供的实施例中，从终端设备(手机100)作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，终端可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
基于相同的构思，图8所示为本申请提供的一种终端设备800。如图8所示，该终端设备800可以包括：摄像头801、显示屏802、一个或多个处理器803；存储器804；以及一个或多个计算机程序805，上述各器件可以通过一个或多个通信总线806连接。
其中，摄像头1402用于采集原始图像；其中，所示一个或多个计算机程序805被存储在上述存储器804中并被配置为被该一个或多个处理器803执行，该一个或多个计算机程序805包括指令，上述指令可以用于执行如图3或图5中的全部或部分步骤及相应实施例中的各个步骤。
基于相同的构思，图9所示为本申请提供的一种终端设备900。如图9所示，该终端设备900可以包括：图像采集单元901、处理单元902和显示单元903。
处理单元902，用于响应于用户操作，打开相机应用，启动摄像头。
显示单元903，用于显示取景界面。
所述处理单元902，还用于将所述摄像头采集的原始图像转换成rgb图像；将所述rgb图像的亮度降低到小于第一亮度或提高到大于第二亮度，得到第一图像，所述第一亮度大于所述第二亮度；采用hdr技术将所述rgb图像转换成n帧hdr图像，所述n帧hdr图像每帧hdr图像的亮度不同，且在所述rgb图像的亮度降低到小于第一亮度时，所述n帧hdr图像的亮度均大于所述第一亮度，或者在所述rgb图像的亮度提高到大于第二亮度时，所述n帧hdr图像的亮度均小于所述第二亮度；n为正整数；将所述第一图像与所述n帧hdr图像中任意相同位置的像素点的颜色信息进行融合，得到最终图像。
所述显示单元903还用于在所述取景界面中显示所述最终图像。
本发明实施例还提供一种计算机存储介质，该存储介质可以包括存储器，该存储器可存储有程序，该程序被执行时，使得终端执行包括如前的执行如前的图3或图5所示的方法实施例中记载的终端所执行的全部或部分步骤。
本发明实施例还提供一种包含计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行包括如前的图3或图5所示的方法实施例中记载的终端所执行的全部或部分步骤。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请实施例可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括ram、rom、电可擦可编程只读存储器(electricallyerasableprogrammablereadonlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(digitalsubscriberline，dsl)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本申请实施例所使用的，盘(disk)和碟(disc)包括压缩光碟(compactdisc，cd)、激光碟、光碟、数字通用光碟(digitalvideodisc，dvd)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
总之，以上所述仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡根据本申请的揭露，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！