高动态范围图像合成方法、系统、图像处理设备和介质与流程

1.本发明涉及图像处理技术领域，尤其涉及高动态范围图像合成方法、系统、图像处理设备和介质。


背景技术：

2.高动态范围图像(high
‑
dynamic range，简称hdr)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的ldr(low
‑
dynamic range，低动态范围图像)，并利用每个曝光时间相对应最佳细节的ldr图像来合成最终hdr图像。它能够更好地反映出真实环境中的视觉效果。
3.传统hdr技术是控制每一帧图像的曝光时间，达成长短曝光的交替图像效果，输出一亮一暗的原始影像资料，再将一亮一暗的原始影像资料，合成为1帧画面。因为传统hdr技术是两两长短帧画面二合一合成，所以成品视频达不到图像采集设备所能支持的最高帧率，降低了显示的流畅度。


技术实现要素：

4.基于此，有必要针对上述问题，提出了高动态范围图像合成方法、系统、图像处理设备和介质。
5.一种高动态范围图像合成方法，包括：采集待合成图像数据，所述待合成图像数据包括多帧图像数据，所述多帧图像数据包括多个相间排列的长帧图像数据和短帧图像数据；获取所述待合成图像数据中的当前帧图像数据，获取所述当前帧图像数据的上一帧的目标帧图像数据，将所述当前帧图像数据和所述目标帧图像数据合成为合成帧图像数据，根据所述合成帧图像数据生成目标视频数据。
6.一种高动态范围图像合成系统，包括：获取模块，用于采集待合成图像数据，所述待合成图像数据包括多帧图像数据，所述多帧图像数据包括多个相间排列的长帧图像数据和短帧图像数据；合成模块，用于获取所述待合成图像数据中的当前帧图像数据，获取所述当前帧图像数据的上一帧的目标帧图像数据，将所述当前帧图像数据和所述目标帧图像数据合成为合成帧图像数据，根据所述合成帧图像数据生成目标视频数据。
7.一种图像处理设备，包括：处理器、存储器，所述处理器耦接所述存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现如上所述的方法。
8.一种存储介质，存储有计算机程序，所述计算机程序能够被处理器执行以实现如上所述的方法。
9.采用本发明实施例，具有如下有益效果：
10.获取包括多个相间排列的长帧图像数据和短帧图像数据的待合成图像数据，将当前帧图像数据和当前帧数据上一帧的目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据，长短帧合成进行补偿，可以实现优秀的高动态范围图像补偿效果，当前帧图像数据和当前帧数据上一帧的目标帧图像数据合成，使得目标视频数据的
帧率提升，其播放平顺度会大幅提升，长帧图像数据的曝光时间长，目标视频数据的夜间低光源影像效果优秀，从而有效提升目标视频数据的视频质量，改善播放效果。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.其中：
13.图1是本发明提供的高动态范围图像合成方法的第一实施例的流程示意图；
14.图2是本发明提供的高动态范围图像合成方法的合成结构示意图；
15.图3是本发明提供的高动态范围图像合成方法的第二实施例的流程示意图；
16.图4是本发明提供的高动态范围图像合成方法的第三实施例的流程示意图；
17.图5是本发明提供的高动态范围图像合成系统的一实施例的结构示意图；
18.图6是本发明提供的图像处理设备的一实施例的结构示意图；
19.图7是本发明提供的存储介质的一实施例的结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.请参阅图1，图1是本发明提供的高动态范围图像合成方法的第一实施例的流程示意图。本发明提供的高动态范围图像合成方法包括如下步骤：
22.s101：采集待合成图像数据，待合成图像数据包括多帧图像数据，多帧图像数据包括多个相间排列的长帧图像数据和短帧图像数据。
23.在一个具体的实施场景中，采用hdr的方式采集待合成图像数据，以支持1080p p60帧和1080p p30+长短曝hdr输出的拍摄装置为例，拍摄装置的图像传感器每1/30秒接连输出曝光时间一长一短的长帧图像数据和短帧图像数据。具体的，请结合参阅图2，图2是本发明提供的高动态范围图像合成方法的合成结构示意图。如图2中所示的，多帧图像数据包括长帧0和短帧0、长帧1和短帧1、长帧2和短帧2、长帧3和短帧3。长帧0和短帧0的时长之和为1/30秒，且长帧0的时长大于1/60秒，而短帧0的时长小于1/60秒，长帧1和短帧1、长帧2和短帧2、长帧3和短帧3的时长关系与长帧0和短帧0相同，此处不再进行赘述。拍摄装置可以一直处于拍摄状态，长帧图像数据和短帧图像数据的数量不做限制，可以一直处于增加的状态，且长帧图像数据和短帧图像数据成对输出，两者数量相同。
24.s102：获取待合成图像数据中的当前帧图像数据，获取位于当前帧图像数据的上一帧的目标帧图像数据，将当前帧图像数据和目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据。
25.在一个具体的实施场景中，获取待合成图像数据中的当前帧图像数据，当前帧图
像数据为目前最新接收到的一帧对应的图像数据，获取目前最新接收到的一帧的上一帧的目标帧图像数据，由于多帧图像数据包括多个相间排列的长帧图像数据和短帧图像数据，所以当前帧图像数据和目标帧图像数据中必然一者为长帧图像数据一者为短帧图像数据。
26.请继续参阅图2，例如，若短帧0为当前帧图像数据，则长帧0为目标帧图像数据，将长帧0和短帧0合成为合成帧0，若长帧1为当前帧图像数据，则短帧0为目标帧图像数据，将短帧0和长帧1合成为合成帧1，若短帧1为当前帧图像数据，则长帧1为目标帧图像数据，将长帧1和短帧1合成为合成帧2，以此类推，最新采集到的一帧的当前帧图像数据与其前一帧的目标帧图像数据进行合成，生成合成帧图像数据，将生成的合成帧图像数据依据时间顺序进行组合，生成目标视频数据。合成帧图像数据的时间可以是根据合成该合成帧的长帧图像数据的采集时间和短帧图像数据的采集时间获取，例如取平均值，或者为长帧图像数据的采集时间和短帧图像数据的采集时间赋予不同的权重后取平均值等方法。
27.在其他实施场景中，若当前帧图像数据对应的为多帧图像数据中的第一帧，则不执行该步骤，若当前帧图像数据对应为多帧图像数据中除了第一帧之外的其他任意一帧，则执行该步骤。
28.在其他实施场景中，在获取合成帧图像数据后，对合成帧图像数据进行图像效果运算处理，图像效果运算处理包括画面亮度增益补偿、色彩gamma值校正、色温调整、色彩饱和度调整、降噪、除燥、锐利度调整、平滑度调整、明暗对比度调整、图像裁切、旋转中的至少一种。获取处理帧数据，根据处理帧数据生成目标视频数据，可以进一步提升目标视频数的显示质量，改善用户体验。
29.将最新接收的一帧的当前帧图像数据和最新接收的一帧的上一帧的目标帧图像数据合成为合成帧图像数据，可以有效提升目标视频数据的帧率，在本实施场景中，支持1080p p60帧和1080p p30帧+hdr输出的拍摄装置，其输出的目标视频数据的规格为1080p p60+hdr。因为帧率倍增，其播放平顺度会大幅优于传统hdr技术的效果。hdr技术因为长帧图像数据的曝光时间超过1/60秒，因此输出的目标视频数据的夜间低光源影像效果会大幅优于单纯1080p p60帧的视频数据。因为采用同样的图像处理机制(长短帧合成以进行补偿)，因此在高动态范围图像补偿效果上，目标视频数据与1080p p30帧+hdr的视频数据一样表现优秀。
30.通过上述描述可知，在本实施场景中，获取包括多个相间排列的长帧图像数据和短帧图像数据的待合成图像数据，将当前帧图像数据和位于当前帧图像数据上一帧的目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据，长短帧合成进行补偿，可以实现优秀的高动态范围图像补偿效果，使得目标视频数据的帧率提升，其播放平顺度会大幅提升，长帧图像数据的曝光时间长，目标视频数据的夜间低光源影像效果优秀，从而有效提升目标视频数据的视频质量，改善播放效果。
31.请参阅图3，图3是本发明提供的高动态范围图像合成方法的第二实施例的流程示意图。本发明提供的高动态范围图像合成方法包括如下步骤：
32.s301：获取目标图像处理设备的图像处理参数，根据图像处理参数规划长帧专用空间和短帧专用空间。
33.在一个具体的实施场景中，获取目标图像处理设备的图像处理参数，图像处理参数包括图像分辨率resolution(表示单帧数据处理量的大小)、帧率frame rate(单位时间
内数据处理量的大小)、sdram(synchronous dynamic random
‑
access memory，同步动态随机存取内存)(ddr(double data rate，双倍速率同步动态随机存储器))内存空间的大小、sdram(ddr)内存空间的存取效率。根据图像处理参数规划长帧专用空间和短帧专用空间。
34.若ddr内存空间大小足够支持单帧图像数据的存储，暂存空间依据分辨率的不同以帧为单位来进行规划，可以规划一个空间作为长帧专用空间，规划另一个空间短帧专用空间，长帧专用空间可以存储一帧长帧图像数据，短帧专用空间可以存储一帧短帧图像数据。在其他实施场景中，长帧专用空间可以存储若干帧长帧图像数据，短帧专用空间可以存储若干帧短帧图像数据。
35.若ddr内存空间大小，不足以支持单帧图像数据的存储。暂存空间的规划就改以行为单位，可以规划一个空间作为长帧专用空间，规划另一个空间短帧专用空间。例如1080p的图像数据＝1080行，根据sdram(ddr)內存空間的大小，确定长帧专用空间一次性可以存储的长帧图像数据的行数，确定短帧专用暂存空一次性可以存储的短帧图像数据的行数。确定一次性可以存储的行数同时还要考虑sdram(ddr)内存空间的存取效率，若行数过小，可能会导致单帧图像数据需要处理的次数太多超过而sdram存储速度极限。
36.s302：采集待合成图像数据，待合成图像数据包括多帧图像数据，多帧图像数据包括多个相间排列的长帧图像数据和短帧图像数据。
37.在一个具体的实施场景中，步骤s302与本发明提供的高动态范围图像合成方法的第一实施例中的步骤s101基本一致，此处不再进行赘述。
38.s303：将长帧图像数据存入长帧专用空间，将短帧图像数据存入短帧专用空间。
39.在一个具体的实施场景中，长帧专用空间可以存储一帧长帧图像数据，短帧专用空间可以存储一帧短帧图像数据，则将当前获取的一帧长帧图像数据存入长帧专用空间，将当前获取的一帧短帧图像数据存入短帧专用空间。
40.在其他实施场景中，长帧图像数据存入长帧专用空间，将短帧图像数据存入短帧专用空间时，为长帧图像数据和短帧图像数据添加数据标识，数据标识用于指长帧图像数据合成合成帧图像数据所需的短帧图像数据和短帧图像数据合成合成帧所需的长帧图像数据。例如图2中所示的应用场景，在长帧0和短帧0上添加数据标识0，以指示长帧0和短帧0可以合成帧0，在长帧1和短帧0上添加数据标识1，以指示长帧1和短帧0可以合成帧1，以此类推。
41.在其他实施场景中，长帧专用空间和短帧专用空间添加空间标识，长帧专用空间的空间标识为a，短帧专用空间的空间标识为b，根据合成帧00为a补b，合成帧01为b补a等等编程指示，将长帧专用空间和短帧专用空间中的长帧图像数据和短帧图像数据合并。
42.在其他实施场景中，将长帧图像数据存入长帧专用空间，将短帧图像数据存入短帧专用空间之前，判断长帧专用空间和短帧专用空间是否存储有已存储长帧图像数据和已存储短帧图像数据。由于长帧专用空间和短帧专用空间一经规划即为固定空间，因此当存储有旧数据，又接收到新数据的情况下，会将新数据覆盖旧数据进程存储。因此，若判定长帧专用空间和短帧专用空间尚未存储有已存储长帧图像数据和已存储短帧图像数据，则将将长帧图像数据存入长帧专用空间，作为已存储长帧图像数据，将短帧图像数据存入短帧专用空间，作为已存储短帧图像数据，若长帧专用空间和短帧专用空间存储有已存储长帧图像数据和已存储短帧图像数据，则将将长帧图像数据覆盖已存储长帧图像数据存入长帧
专用空间，作为新的已存储长帧图像数据，将短帧图像数据覆盖已存储短帧图像数据存入短帧专用空间，作为新的已存储短帧图像数据。
43.s304：获取待合成图像数据中的当前帧图像数据，获取位于当前帧图像数据的上一帧的目标帧图像数据，将当前帧图像数据和目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据。
44.在一个具体的实施场景中，步骤s304与本发明提供的高动态范围图像合成方法的第一实施例中的步骤s102基本一致，此处不再进行赘述。
45.在图2所示的应用场景中，假设长帧专用空间和短帧专用空间起初均为空，则接收到长帧0存入长帧专用空间，接收到短帧0存入短帧专用空间，将长帧0和短帧0合并为合成,0，再接收到长帧1，覆盖长帧0存入长帧专用空间，将长帧1和短帧0合并为合成帧1，再接收到短帧1，将短帧1覆盖短帧0存入短帧专用空间，将长帧1和短帧1合并为合成帧2，以此类推。
46.通过上述描述可知，在本实施例中获取目标图像处理设备的图像处理参数，根据图像处理参数规划长帧专用空间和短帧专用空间，将长帧图像数据存入长帧专用空间，将短帧图像数据存入短帧专用空间，可以避免对sdram造成存储压力，有效确保目标视频数据的顺利生成。
47.请参阅图4，图4是本发明提供的高动态范围图像合成方法的第三实施例的流程示意图。本发明提供的高动态范围图像合成方法包括如下步骤：
48.s401：获取传感参数和/或预设画面亮度参数，根据传感参数和/或预设画面亮度参数获取目标曝光时间。
49.在一个具体的实施场景中，目标图像处理设备设置有传感器，获取的传感参数可以用于感知当前场景的亮度，获取与当前场景的亮度匹配的曝光时间。还可以获取用户输入的预设画面亮度参数，根据当前场景的亮度和/或用户想要的画面亮度，可以获取目标曝光时间。进一步地，可以预设一参数对照表，该参数对照表包括不同的画面亮度对应的目标曝光时间，可以通过查表获取目标曝光时间。
50.s402：获取预设画面显示效果参数，根据预设画面显示效果参数获取对应于长帧图像数据和短帧图像数据的曝光时长比例，根据目标曝光时间和曝光时长比例采集待合成图像数据。
51.在一个具体的实施场景中，获取预设画面显示效果参数，例如hdr设定效果的强弱，根据预设画面显示效果参数获取对应于长帧图像数据和短帧图像数据的曝光时长比例，长短曝光的比值越大，hdr的效果越明显，但副作用如鬼影等也会越严重。根据目标曝光时间和曝光时长比例采集待合成图像数据。
52.s403：对待合成图像数据进行初步图像处理，以使得待合成图像数据的画面亮度符合用户需求。
53.在一个具体的实施场景中，对待合成图像数据进行初步图像处理，也就是说对长帧图像数据和短帧图像数据进行初步图像处理，以使得长帧图像数据和短帧图像数据的亮度符合用户需求，这样合成的合成帧图像数据的亮度才会符合用户需求，从而目标视频数据才会符合用户需求。
54.s404：采集待合成图像数据，待合成图像数据包括多帧图像数据，多帧图像数据包
括多个相间排列的长帧图像数据和短帧图像数据。
55.s405：获取待合成图像数据中的当前帧图像数据，获取位于当前帧图像数据的上一帧的目标帧图像数据，将当前帧图像数据和目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据。
56.在一个具体的实施场景中，步骤s404
‑
s405与本发明提供的高动态范围图像合成方法的第一实施例中的步骤s101
‑
s102基本一致，此处不再进行赘述。
57.通过上述描述可知，在本实施例中，获取传感参数和/或预设画面亮度参数，根据传感参数和/或预设画面亮度参数获取目标曝光时间；获取预设画面显示效果参数，根据预设画面显示效果参数获取对应于长帧图像数据和短帧图像数据的曝光时长比例，根据目标曝光时间和曝光时长比例采集待合成图像数据，能够有效提升待合成图像数据的显示质量，从而使得目标视频数据的质量得到保障。
58.请参阅图5，图5是本发明提供的高动态范围图像合成系统的一实施例的结构示意图。高动态范围图像合成系统包括：获取模块11和合成模块12。
59.获取模块11用于采集待合成图像数据，待合成图像数据包括多帧图像数据，多帧图像数据包括多个相间排列的长帧图像数据和短帧图像数据。合成模块12用于获取待合成图像数据中的当前帧图像数据，获取位于当前帧图像数据的上一帧的目标帧图像数据，将当前帧图像数据和目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据。
60.获取模块11还用于获取目标图像处理设备的图像处理参数，根据图像处理参数规划长帧专用空间和短帧专用空间，将长帧图像数据存入长帧专用空间，将短帧图像数据存入短帧专用空间。
61.获取模块11还用于为长帧图像数据和短帧图像数据添加数据标识和/或为长帧专用空间和短帧专用空间添加空间标识，数据标识和/或空间标识用于指示能够合成合成帧的长帧图像数据和短帧图像数据。
62.获取模块11还用于判断长帧专用空间和短帧专用空间是否存储有已存储长帧图像数据和已存储短帧图像数据；若否，则将将长帧图像数据存入长帧专用空间，作为已存储长帧图像数据，将短帧图像数据存入短帧专用空间，作为已存储短帧图像数据；若是，则将将长帧图像数据覆盖已存储长帧图像数据存入长帧专用空间，作为新的已存储长帧图像数据，将短帧图像数据覆盖已存储短帧图像数据存入短帧专用空间，作为新的已存储短帧图像数据。
63.获取模块11还用于获取传感参数和/或预设画面亮度参数，根据传感参数和/或预设画面亮度参数获取目标曝光时间；获取预设画面显示效果参数，根据预设画面显示效果参数获取对应于长帧图像数据和短帧图像数据的曝光时长比例，根据目标曝光时间和曝光时长比例采集待合成图像数据。
64.获取模块11还用于对待合成图像数据进行初步图像处理，以使得待合成图像数据的画面亮度符合用户需求。
65.合成模块12还用于对合成帧图像数据进行图像效果运算处理，获取处理帧数据，根据处理帧数据生成目标视频数据；图像效果运算处理包括画面亮度增益补偿、色彩gamma值校正、色温调整、色彩饱和度调整、降噪、除燥、锐利度调整、平滑度调整、明暗对比度调
整、图像裁切、旋转中的至少一种。
66.通过上述描述可知，在本实施场景中，高动态范围图像合成系统获取包括多个相间排列的长帧图像数据和短帧图像数据的待合成图像数据，将当前帧图像数据和位于当前帧图像数据上一帧的目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据，长短帧合成进行补偿，可以实现优秀的高动态范围图像补偿效果，使得目标视频数据的帧率提升，其播放平顺度会大幅提升，长帧图像数据的曝光时间长，目标视频数据的夜间低光源影像效果优秀，从而有效提升目标视频数据的视频质量，改善播放效果。
67.请参阅图6，图6是本发明提供的图像处理设备的一实施例的结构示意图。图像处理设备20包括处理器21、存储器22。处理器21耦接存储器22。存储器22中存储有计算机程序，处理器21在工作时执行该计算机程序以实现如图1、图3
‑
图4所示的方法。详细的方法可参见上述，在此不再赘述。
68.通过上述描述可知，在本实施场景中，图像处理设备获取包括多个相间排列的长帧图像数据和短帧图像数据的待合成图像数据，将当前帧图像数据和位于当前帧图像数据上一帧的目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据，长短帧合成进行补偿，可以实现优秀的高动态范围图像补偿效果，使得目标视频数据的帧率提升，其播放平顺度会大幅提升，长帧图像数据的曝光时间长，目标视频数据的夜间低光源影像效果优秀，从而有效提升目标视频数据的视频质量，改善播放效果。
69.请参阅图7，图7是本发明提供的存储介质的一实施例的结构示意图。存储介质30中存储有至少一个计算机程序31，计算机程序31用于被处理器执行以实现如图1、图3
‑
图4所示的方法，详细的方法可参见上述，在此不再赘述。在一个实施例中，计算机可读存储介质30可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。
70.通过上述描述可知，在本实施例中存储介质中的计算机程序可以用于获取包括多个相间排列的长帧图像数据和短帧图像数据的待合成图像数据，将当前帧图像数据和位于当前帧图像数据上一帧的目标帧图像数据合成为合成帧图像数据，根据合成帧图像数据生成目标视频数据，长短帧合成进行补偿，可以实现优秀的高动态范围图像补偿效果，使得目标视频数据的帧率提升，其播放平顺度会大幅提升，长帧图像数据的曝光时间长，目标视频数据的夜间低光源影像效果优秀，从而有效提升目标视频数据的视频质量，改善播放效果。
71.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
72.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
73.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。