一种图像融合方法及系统与流程

1.本发明涉及拍摄图像技术领域，尤其涉及一种图像融合方法及系统。


背景技术：

2.当前多摄像头的手持终端设备已成主流，目前的多摄像头应用主要在以下几个方面：
3.1)、不同焦段摄像头组合，通过摄像头切换实现简单的光学变焦，以最小的代价得到光学变焦效果。但其缺点是变焦形式比较单一，只能是几个固定焦段组合切换，多焦段变焦成本倍数增加。
4.2)、多摄像头图像像素融合，通常是一个彩色摄像头捕捉图像色彩信息，一个黑白摄像头捕捉光线变化细节，通过两个摄像头图像融合得到更精细的图像。该方案的缺陷是两个摄像头需要通过支架矫正或者直接做成双摄，机械要求高，进而带来高成本；
5.3)、具有一个用于背景虚化的副摄和一个用于拍摄的主摄，从而形成人像模式。但该方案没有本质解决画质问题，只是一个双摄的概念。


技术实现要素：

6.本发明要解决的技术问题在于，针对现有技术存在的至少一个缺陷，提供一种图像融合方法及系统。
7.本发明解决其技术问题所采用的技术方案是：构造一种图像融合方法，包括以下步骤：
8.s10：启动拍摄功能，长焦摄像头和广角摄像头同时启动；
9.s20：获取并存储所述长焦摄像头拍摄的第一图像和所述广角摄像头拍摄的第二图像；
10.s30：基于不同摄像模式下的不同焦段需求，通过融合所述第一图像和所述第二图像来强化对应焦段摄像头的画质，得到拍摄图像。
11.优选地，在本发明所述的图像融合方法中，所述步骤s10还包括：默认所述广角摄像头为主摄；
12.所述步骤s10之后还包括：
13.s11：获取所述长焦摄像头和所述广角摄像头分别侦测到的对焦主体信息，并判断是否相同；
14.s12：若相同，则切换所述长焦摄像头为主摄。
15.优选地，在本发明所述的图像融合方法中，所述方法还包括：
16.s13：判断所述长焦摄像头或所述广角摄像头所侦测的对焦主体是否发生改变，或者判断是否接收到调焦操作指令，若是，则执行所述步骤s11。
17.优选地，在本发明所述的图像融合方法中，所述摄像模式包括人像模式；所述步骤s30包括：
18.s301：基于人像模式，将所述第一图像的焦点主体信息提取至第一存储单元中进行存储，将所述第二图像的背景信息进行虚化后提取至第二存储单元中进行存储；
19.s302：将所述第一存储单元中的焦点主体信息和所述第二存储单元中的背景信息进行融合，得到人像模式下的拍摄图像。
20.优选地，在本发明所述的图像融合方法中，所述摄像模式包括默认模式；所述步骤s30包括：
21.s303：基于默认模式，将所述第一图像的焦点主体信息提取至第一存储单元中进行存储；
22.s304：将所述第一存储单元中的焦点主体信息替换至所述第二图像的背景信息中去，得到默认模式下的拍摄图像。
23.优选地，在本发明所述的图像融合方法中，所述摄像模式包括全景深模式；所述步骤s30包括：
24.s305：基于全景深模式，将所述第一图像中的焦点主体信息和所述第二图像中的焦点主体信息进行融合，得到全景深模式下的拍摄图像。
25.本发明还公开了一种图像融合系统，包括：
26.启动单元，用于启动拍摄功能，长焦摄像头和广角摄像头同时启动；
27.获取单元，用于获取并存储所述长焦摄像头拍摄的第一图像和所述广角摄像头拍摄的第二图像；
28.融合单元，用于基于不同摄像模式下的不同焦段需求，通过融合所述第一图像和所述第二图像来强化对应焦段摄像头的画质，得到拍摄图像。
29.优选地，在本发明所述的图像融合系统中，所述摄像模式包括人像模式；所述融合单元包括：
30.提取模块，用于基于人像模式，将所述第一图像的焦点主体信息提取至第一存储单元中进行存储，将所述第二图像的背景信息进行虚化后提取至第二存储单元中进行存储；
31.融合模块，用于将所述第一存储单元中的焦点主体信息和所述第二存储单元中的背景信息进行融合，得到人像模式下的拍摄图像。
32.优选地，在本发明所述的图像融合系统中，所述摄像模式包括默认模式；所述融合单元包括：
33.提取模块，用于基于默认模式，将所述第一图像的焦点主体信息提取至第一存储单元中进行存储；
34.融合模块，用于将所述第一存储单元中的焦点主体信息替换至所述第二图像的背景信息中去，得到默认模式下的拍摄图像。
35.优选地，在本发明所述的图像融合系统中，所述摄像模式包括全景深模式；所述融合单元包括：
36.融合模块，用于基于全景深模式，将所述第一图像中的焦点主体信息和所述第二图像中的焦点主体信息进行融合，得到全景深模式下的拍摄图像。
37.通过实施本发明，具有以下有益效果：
38.本发明基于不同摄像模式下的不同焦段需求，通过融合长焦摄像头拍摄的第一图
像和广角摄像头拍摄的第二图像来强化对应焦段摄像头的画质，进而满足不同摄像模式下的图像输出质量和效果需求，并综合长焦摄像头和广角摄像头的像素优势和焦段优势，将现有的硬件资源利用率提升到最高。
39.并且，本发明可自适应调整主摄，省去用户自行切换摄像头的反复操作。
附图说明
40.下面将结合附图及实施例对本发明作进一步说明，附图中：
41.图1是本发明图像融合方法的流程图；
42.图2是本发明在人像模式下的融合步骤流程图；
43.图3是本发明在默认模式下的融合步骤流程图；
44.图4是本发明在全景深模式下的融合步骤流程图；
45.图5是本发明图像融合系统的框架图。
具体实施方式
46.为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
47.需要说明的是，附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
48.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
49.如图1所示，本发明公开了一种图像融合方法，包括以下步骤：
50.步骤s10：启动拍摄功能，长焦摄像头和广角摄像头同时启动；
51.步骤s20：获取并存储长焦摄像头拍摄的第一图像和广角摄像头拍摄的第二图像；
52.步骤s30：基于不同摄像模式下的不同焦段需求，通过融合第一图像和第二图像来强化对应焦段摄像头的画质，得到拍摄图像。
53.在本实施例中，步骤s10：启动拍摄功能，长焦摄像头和广角摄像头同时启动。具体地，可通过触发终端上的快门来启动拍摄功能，此时长焦摄像头和广角摄像头同时启动，取景时采用共同取景的方式。其中，由于长焦摄像头可将远处的物体拉近拍摄，拍摄覆盖角度只有10度甚至更小，因此长焦摄像头拍摄到的图像内的信息更准确。而由于广角摄像头适合拍摄风景，将眼前的景物最大化地收进图像中，拍摄覆盖角度能达110度或者以上，因此广角摄像头拍摄到的图像内的信息更完整。
54.本方法适用于终端设备，其硬件组成为：1)至少存在一个可存储本方法的最小智能硬件系统及其操作系统；2)至少存在两个图像处理单元(isp)，根据摄像头数量而定，无特别说明本发明以两个摄像头为例，但本发明不局限于两颗摄像头；3)至少有一个可供用户调焦和预览拍摄画面的输出单元，如彩色lcd和触摸屏；4)至少两颗覆盖焦段不同的摄像头，包括长焦摄像头和广角摄像头。在一些实施例中，该终端设备为手持工业pda或智能手机等设备。
55.在一些实施例中，默认广角摄像头为主摄，相应地步骤s10之后还包括：
56.步骤s11：获取长焦摄像头和广角摄像头分别侦测到的对焦主体信息，并判断是否相同；
57.步骤s12：若相同，则切换长焦摄像头为主摄。
58.具体地，若长焦摄像头和广角摄像头分别侦测到的对焦主体信息相同，则为了对焦主体在图像中的清晰度或者像素，可将长焦摄像头切换为主摄，主要用于侦测对焦主体信息，作为后期图像融合的素材，而广角摄像头主要用于侦测完整的环境信息。
59.在另外一些实施例中，本方法还包括步骤s13：判断长焦摄像头或广角摄像头所侦测的对焦主体是否发生改变，或者判断是否接收到调焦操作指令，若是，则执行步骤s11及其后续流程，重新确定主摄。
60.本实施例通过步骤s11、s12和s13实现了摄像头主摄的自动切换，拍摄时基于主摄提取主要拍摄信息，同时基于副摄提取用于丰富或美化的辅助拍摄信息。
61.在本实施例中，步骤s20：获取并存储长焦摄像头拍摄的第一图像和广角摄像头拍摄的第二图像；
62.在本实施例中，步骤s30：基于不同摄像模式下的不同焦段需求，通过融合第一图像和第二图像来强化对应焦段摄像头的画质，得到拍摄图像。
63.在一些实施例中，如图2所示，摄像模式包括人像模式，相应地步骤s30包括：
64.步骤s301：基于人像模式，将第一图像的焦点主体信息提取至第一存储单元中进行存储，将第二图像的背景信息进行虚化后提取至第二存储单元中进行存储；
65.步骤s302：将第一存储单元中的焦点主体信息和第二存储单元中的背景信息进行融合，得到人像模式下的拍摄图像。
66.具体地，在人像模式下，其需要着重显示人该焦点主体信息，因此通过对广角摄像头拍摄到的第二图像中的背景信息进行虚化，并将长焦摄像头拍摄到的人该焦点主体信息和虚化后的背景信息进行融合，从而强化长焦摄像头的画质优势，得到完整的拍摄图像。
67.在一些实施例中，如图3所示，摄像模式包括默认模式，相应地步骤s30包括：
68.步骤s303：基于默认模式，将第一图像的焦点主体信息提取至第一存储单元中进行存储；
69.步骤s304：将第一存储单元中的焦点主体信息替换至第二图像的背景信息中去，得到默认模式下的拍摄图像。
70.具体地，在默认模式下，其需要显示焦点主体信息和环境信息，因此可通过将第一图像中的焦点主体信息替换至第二图像的背景信息中去，从而分别利用长焦摄像头和广角摄像头的画质优势，得到完整的拍摄图像。
71.在一些实施例中，如图4所示，摄像模式包括全景深模式，相应地步骤s30包括：
72.步骤s305：在全景深模式下，将第一图像中的焦点主体信息和第二图像中的焦点主体信息进行融合，得到全景深模式下的拍摄图像。
73.具体地，在全景深模式下，其需要显示像素更高的焦点主体信息和环境信息，因此可通过将第一图像中的焦点主体信息和第二图像中的焦点主体信息进行融合，即将第一图像和第二图像中相同的焦点主体信息进行融合，来提高像素，从而分别强化长焦摄像头和广角摄像头的画质优势，得到完整的拍摄图像。
74.如图5所示，本发明还公开了一种图像融合系统，包括：启动单元、获取单元和融合单元。
75.在本实施例中，该启动单元用于启动拍摄功能，长焦摄像头和广角摄像头同时启动。具体地，可通过触发终端上的快门来启动拍摄功能，此时长焦摄像头和广角摄像头同时启动，取景时采用共同取景的方式。其中，由于长焦摄像头可将远处的物体拉近拍摄，拍摄覆盖角度只有10度甚至更小，因此长焦摄像头拍摄到的图像内的信息更准确。而由于广角摄像头适合拍摄风景，将眼前的景物最大化地收进图像中，拍摄覆盖角度能达110度或者以上，因此广角摄像头拍摄到的图像内的信息更完整。
76.本系统适用于终端设备，其硬件组成为：1)至少存在一个可存储本系统的最小智能硬件系统及其操作系统；2)至少存在两个图像处理单元(isp)，根据摄像头数量而定，无特别说明本发明以两个摄像头为例，但本发明不局限于两颗摄像头；3)至少有一个可供用户调焦和预览拍摄画面的输出单元，如彩色lcd和触摸屏；4)至少两颗覆盖焦段不同的摄像头，包括长焦摄像头和广角摄像头。在一些实施例中，该终端设备为手持工业pda或智能手机等设备。
77.在一些实施例中，默认广角摄像头为主摄，相应地本系统还包括切换单元，用于获取长焦摄像头和广角摄像头分别侦测到的对焦主体信息，并判断是否相同，若相同，则切换长焦摄像头为主摄。
78.具体地，若长焦摄像头和广角摄像头分别侦测到的对焦主体信息相同，则为了对焦主体在图像中的清晰度或者像素，可将长焦摄像头切换为主摄，主要用于侦测对焦主体信息，作为后期图像融合的素材，而广角摄像头主要用于侦测完整的环境信息。
79.在另外一些实施例中，本系统还包括判断单元，用于判断长焦摄像头或广角摄像头所侦测的对焦主体是否发生改变，或者判断是否接收到调焦操作指令，若是，则执行切换单元，重新确定主摄。
80.本实施例通过切换单元和判断单元实现了摄像头主摄的自动切换，拍摄时基于主摄提取主要拍摄信息，同时基于副摄提取用于丰富或美化的辅助拍摄信息。
81.在本实施例中，该获取单元用于获取并存储长焦摄像头拍摄的第一图像和广角摄像头拍摄的第二图像。
82.在本实施例中，该融合单元用于基于不同摄像模式下的不同焦段需求，通过融合第一图像和第二图像来强化对应焦段摄像头的画质，得到拍摄图像。
83.在一些实施例中，摄像模式包括人像模式，该融合单元包括：
84.提取模块，用于基于人像模式，将第一图像的焦点主体信息提取至第一存储单元中进行存储，将第二图像的背景信息进行虚化后提取至第二存储单元中进行存储；
85.融合模块，用于将第一存储单元中的焦点主体信息和第二存储单元中的背景信息进行融合，得到人像模式下的拍摄图像。
86.具体地，在人像模式下，其需要着重显示人该焦点主体信息，因此通过对广角摄像头拍摄到的第二图像中的背景信息进行虚化，并将长焦摄像头拍摄到的人该焦点主体信息和虚化后的背景信息进行融合，从而强化长焦摄像头的画质优势，得到完整的拍摄图像。
87.在一些实施例中，摄像模式包括默认模式，该融合单元包括：
88.提取模块，用于基于默认模式，将第一图像的焦点主体信息提取至第一存储单元
中进行存储；
89.融合模块，用于将第一存储单元中的焦点主体信息替换至第二图像的背景信息中去，得到默认模式下的拍摄图像。
90.具体地，在默认模式下，其需要显示焦点主体信息和环境信息，因此可通过将第一图像中的焦点主体信息替换至第二图像的背景信息中去，从而分别利用长焦摄像头和广角摄像头的画质优势，得到完整的拍摄图像。
91.在一些实施例中，摄像模式包括全景深模式，该融合单元包括：
92.融合模块，用于基于全景深模式，将第一图像中的焦点主体信息和第二图像中的焦点主体信息进行融合，得到全景深模式下的拍摄图像。
93.具体地，在全景深模式下，其需要显示像素更高的焦点主体信息和环境信息，因此可通过将第一图像中的焦点主体信息和第二图像中的焦点主体信息进行融合，即将第一图像和第二图像中相同的焦点主体信息进行融合，来提高像素，从而分别强化长焦摄像头和广角摄像头的画质优势，得到完整的拍摄图像。
94.通过实施本发明，具有以下有益效果：
95.本发明基于不同摄像模式下的不同焦段需求，通过融合长焦摄像头拍摄的第一图像和广角摄像头拍摄的第二图像来强化对应焦段摄像头的画质，进而满足不同摄像模式下的图像输出质量和效果需求，并综合长焦摄像头和广角摄像头的像素优势和焦段优势，将现有的硬件资源利用率提升到最高。
96.并且，本发明可自适应调整主摄，省去用户自行切换摄像头的反复操作。
97.可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。