图像处理方法和装置与流程

图像处理方法和装置
1.相关引用
2.本技术要求于2021年2月4日提交的美国临时申请号63/145,551的优先权，所述申请通过引用并入本文。
技术领域
3.本发明涉及蓝光过滤设计，更具体地，涉及根据输入帧的内容分析得出的抗蓝光强度水平对输入帧应用色彩校正的方法和装置。


背景技术：

4.电磁波可分为紫外光(波长在10纳米(nm)和400nm之间)、可见光(波长在400nm和700nm之间)和红外光(波长在700nm和1000nm之间)。415nm-455nm的波长范围波长短，能量高，对人眼结构的穿透性好。换句话说，当波长415nm至455nm之间的蓝光直接照射视网膜时，人眼结构就会受到蓝光危害。人们日复一日地操作比以往更多的花哨和现代电子产品，暴露在电子产品发出的蓝光下。因此，蓝光的长期积累会导致眼睛疲劳、干涩、视力下降等。
5.传统的蓝光过滤设计对所有帧采用固定的抗蓝光强度水平并且引入显著的色移。因此，需要一种能够以较少副作用解决蓝光危害问题的创新蓝光过滤设计。


技术实现要素：

6.本发明的一个目的是提供一种方法和装置，用于根据从输入帧的内容分析中得出的抗蓝光强度水平对输入帧进行色彩校正。
7.根据本发明的第一方面，一种示例性图像处理方法被公开。示例性的图像处理方法包括：对输入帧进行内容分析以生成输入帧的至少一个内容分析结果；处理电路根据输入帧的至少一个内容分析结果，确定输入帧的抗蓝光强度水平；以及响应于确定的输入帧的抗蓝光强度水平，对输入帧进行色彩校正以生成输出帧。
8.根据本发明的第二方面，一种示例性非暂时性机器可读介质被公开。程序代码存储在非暂时性机器可读介质中。当程序代码由处理电路加载并执行时，程序代码指示处理电路执行以下步骤：控制输入帧的内容分析以获取输入帧的至少一个内容分析结果；根据输入帧的至少一个内容分析结果，确定输入帧的抗蓝光强度水平；以及响应于确定的输入帧的抗蓝光强度水平，对输入帧进行色彩校正以生成输出帧。
9.根据本发明的第三方面，一种示例性图像处理设备被公开。示例性图像处理设备包括内容分析电路、处理电路和色彩校正电路。内容分析电路用以对输入帧进行内容分析，以产生输入帧的至少一个内容分析结果。处理电路耦接内容分析电路，用以根据输入帧的至少一个内容分析结果，决定输入帧的抗蓝光强度水平。色彩校正电路耦接处理电路，用以响应确定的输入帧的抗蓝光强度水平，对输入帧进行色彩校正以产生输出帧。
10.在阅读了在各个附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的对于本领域普通技术人员来说无疑将变得显而易见。
附图说明
11.图1示出根据本发明实施例的图像处理设备的图。
12.图2示出根据本发明实施例的图像处理方法的流程图。
13.图3示出通过内容分析获得的输入帧的光谱的示例的图。
14.图4示出通过内容分析获得的输入帧的蓝色物体检测结果的图。
15.图5是示出通过内容分析获得的输入帧的直方图的示例的图。
16.图6示出根据本发明实施例的抗蓝光强度决定器所使用的回归线的图。
17.图7是说明根据本发明的实施例的图2所示的步骤206的细节的流程图。
18.图8示出根据本发明实施例的色度图上的蓝光减少线、修改后的目标色度轨迹、优选区域和黑体辐射色温轨迹线的图。
19.图9示出根据本发明实施例的另一图像处理设备的图。
20.图10示出所提出的使用修改后的目标色度轨迹进行色彩校正的蓝光过滤设计与使用黑体辐射色温轨迹线进行色彩校正的的蓝光过滤设计之间的性能比较的图。
具体实施方式
21.贯穿以下描述和权利要求使用了特定术语，它们指的是特定元件。正如本领域技术人员所理解的，电子设备制造商可能会用不同的名称来指代一个元件。本文档不打算区分名称不同但功能不同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为“包括但不限于
……”
。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。
22.图1示出根据本发明实施例的图像处理设备的图。图像处理装置100包括处理电路102和存储装置104。在本实施例中，处理电路102可以由处理器、微控制器单元或任一具有软件执行能力的元件来实现。存储设备104为机器可读介质，可以是易失性存储器、非易失性存储器或任一具有代码存储能力的元件。请参考图1，储存装置104中储存有程序代码prog。当程序代码prog被处理电路102加载并执行时，程序代码prog会指示处理电路102执行所提出的智能防蓝光功能。也就是说，建议的智能防蓝光功能可以通过软件实现。
23.请结合图2参考图1，图2示出根据本发明实施例的图像处理方法的流程图。图像处理装置100可以采用图像处理方法来实现蓝光过滤。在步骤202中，处理电路102(具体地，在处理电路102上运行的程序代码prog)对输入帧img_in进行内容分析，生成输入帧img_in的至少一个内容分析结果，或控制输入帧img_in的内容分析，以取得输入帧img_in的至少一个内容分析结果。在步骤204，处理电路102(具体地，在处理电路102上运行的程序代码prog)根据输入帧img_in的内容分析结果确定输入帧img_in的抗蓝光强度水平。在步骤206，处理电路102(具体地，在处理电路102上运行的程序代码prog)响应于确定的输入帧img_in的抗蓝光强度水平对输入帧img_in进行色彩校正以产生输出帧img_out。
24.当执行步骤202时，处理电路102(具体地，在处理电路102上运行的程序代码prog)充当内容分析器的至少一部分(即，部分或全部)。例如但不限于，步骤202得到的内容分析结果可以包括输入帧img_in的直方图、输入帧img_in的蓝色物体检测结果、输入帧img_in的光谱、通过将基于人工智能(ai)的图像处理(例如，基于深度学习的图像处理或基于机器
学习的图像处理)应用于输入帧img_in而获得的蓝光相关信息，或其组合。
25.图3示出通过内容分析获得的输入帧img_in的光谱的示例的图。处理电路102(具体地，在处理电路102上运行的程序代码prog)可以控制对输入帧img_in的内容分析，以获得预先显示的输入帧img_in的光谱。例如，图像处理装置100耦接用于测量光谱的测量设备，该测量设备可以是光谱仪(spectrometer)、积分球(integrating sphere)或色度计(chroma meter)。因此，处理电路102(特别是在处理电路102上运行的程序代码prog)可以在指示测量设备对预先显示的输入帧img_in进行光谱测量后，从测量设备获取输入帧img_in的光谱。在本发明的一些实施例中，测量设备可以通过处理电路102(特别是在处理电路102上运行的程序代码prog)来进一步测量有害蓝光光谱与全光谱的比率，有害蓝光光谱与蓝光光谱的比率，和/或峰值蓝光光谱与峰值非蓝光光谱的比率。处理电路102控制下的测量设备(特别是处理电路102上运行的程序代码prog)给出的蓝光光谱相关信息，可用于确定波长范围415nm-455nm的蓝光危害的强度。
26.图4示出处理电路102(特别是处理电路102上运行的程序代码prog)对输入帧img_in进行内容分析得到的蓝色物体检测结果示意图。例如，蓝色物体402，例如蓝色汽车，可以从输入帧img_in中识别，以及可以提供可以参考的信息以确定波长范围415nm-455nm中蓝光危害的强度。
27.图5是表示处理电路102(特别是处理电路102上运行的程序代码prog)进行内容分析得到的输入帧img_in的直方图的一个例子的图。输入帧img_in的直方图由蓝色通道直方图h_b、绿色通道直方图h_g和红色通道直方图h_r组成，蓝色通道直方图h_b可提供用于确定波长范围415nm-455nm中蓝光危害的强度的信息。
28.在执行步骤204时，处理电路102(特别是在处理电路102上运行的程序代码prog)作为抗蓝光强度判定器。在本实施例中，处理电路102(特别是在处理电路102上运行的程序代码prog)参考内容分析结果和(technischer)认证来确定输入帧img_in的蓝光危害指数，然后根据蓝光危害指数和映射函数确定输入帧img_in的抗蓝光强度水平。例如，映射函数可以由从显示面板上的实验获得的回归线表示。图6示出说明根据本发明实施例的抗蓝光强度决定器所使用的回归线rl的图。回归线rl定义了蓝光(bl)危害指数和抗蓝光强度水平之间的映射。关于回归线rl的生成，大量图像被测量以找到认证的指标(即符合认证的蓝光危害指数)，并且抗蓝光强度水平通过在显示面板上进行反复试验和实验进行微调，以避免/减轻色偏。认证的指数和相关联的微调抗蓝光强度水平可以记录并由图6中所示的点a1、a2、a3、a4、a5和a6表示。得到a1-a6点后，由抗蓝光强度判定器后面使用的回归线rl可以通过回归得到。例如，回归线rl可以由多项式函数y＝f(x)定义，其中y代表抗蓝光强度水平，x代表蓝光危害指数。如图6所示，回归线rl为曲线，但本发明不限于此。
29.当执行步骤206时，处理电路102(具体地，在处理电路102上运行的程序代码prog)充当自适应地控制每帧蓝光水平的蓝光滤波器。请结合图8参考图7，图7是说明根据本发明的实施例的图2所示的步骤206的细节的流程图。图8示出根据本发明实施例的色度图上的蓝光减少线、修改后的目标色度轨迹、优选区域和黑体辐射色温轨迹线的图。在本实施例中，步骤206可视为具有步骤702-710。因此，处理电路102(具体地，在处理电路102上运行的
程序代码prog)执行步骤702-710以对输入帧img_in应用色彩校正以减少蓝光危害。
30.在步骤702处，处理电路102(具体地，在处理电路102上运行的程序代码prog)确定蓝光减少线l_blr。本领域普通技术人员已知，人类视觉色域的弯曲边缘称为光谱轨迹l_sp，对应于单色光(每个点代表单一波长的纯色相(pure hue))，其中波长以纳米为单位。在本实施例中，蓝光减少线l_blr由穿过显示面板的白点p_w和光谱轨迹l_sp上的蓝光危害边界点p_b的直线定义。例如但不限于，蓝光危害边界点p_b可以具有大约435nm的波长。在本实施例中，图1所示的处理电路102还可以接收面板信息inf_p，该信息携带显示面板的参数，例如面板伽马和三个顶点值。根据面板信息inf_p，处理电路102(具体地，在处理电路102上运行的程序代码prog)知道显示面板的色域(由图8中的三角形区域rg表示)以及显示面板的白点w_p。例如，白点p_w可以具有色度(x,y)＝(0.3127,0.3290)。在步骤704中，处理电路102(具体地，在处理电路102上运行的程序代码prog)沿着蓝光减少线l_blr根据步骤204得到的抗蓝光强度水平寻找第一色度点p1。在步骤706，处理电路102(具体地，在处理电路102上运行的程序代码prog)修改第一色度点p1以在优选区域rp内生成第二色度点p2，以避免/减轻色偏。如图8所示，优选区域rp位于蓝光减少线l_blr和黑体辐射色温轨迹线l_ct之间。更具体地，优选区域rp由蓝光减少线l_blr、色温线l_ct和显示面板的色域边界划定。在该实施例中，确保对不同抗蓝光强度水平(其指示非零蓝光过滤)找到的第二色度点p2位于优选区域rp内的修改后的目标色度轨迹l_tc上，其中修改后的目标色度轨迹l_tc可以通过实验确定。
31.在一个示例性设计中，色度图上初始色坐标(x,y)＝(x1,y1)通过沿着蓝光减少线l_blr寻找第一色度点p1确定，以及色度图上最终色坐标(x,y)＝(x2,y2)通过直接参照第一色度点p1来确定以寻找修改后的目标色度轨迹l_tc上的第二色度点p2。也就是说，第一色度点p1可以直接映射到第二色度点p2而无需进一步调整。
32.在另一示例性设计中，第一色度点p1被用来在经过一定的修改后确定第二色度点p2。例如，在色度图上的初始色坐标(x,y)＝(x1,y1)通过沿着蓝光减少线l_blr寻找第一个色度点p1来确定，色度图上第一修改色坐标(x,y)＝(x3,y3)根据输入帧img_in的图像色温修改初始色坐标(x,y)＝(x1,y1)得到，色度图上第二修改色坐标(x,y)＝(x4,y4)根据用户偏好的微调偏移量修改第一修改色坐标(x,y)＝(x3,y3)得到，最终色坐标(x,y)＝(x2,y2)通过参考第二修改色坐标(x,y)＝(x4,y4)寻找修改后的目标色度轨迹l_tc上的第二色度点p2来确定。
33.需要说明的是，以上所述仅为举例说明之用，并不构成对本发明的限制。在实践中，任一基于算法的蓝光过滤设计从蓝光减少线l_blr上的第一色度点p1导出修改后的目标色度轨迹l_tc上的第二色度点p2(仅限于首选区域rp)落入本发明的范围。
34.在步骤708，处理电路102(具体地，处理电路102上运行的程序代码prog)根据白点p_w的色度(即色度图上白点p_w的色坐标)和第二色度点p2的色度(即色度图上第二色度点p2的色坐标)之间的关系确定色彩校正矩阵。例如，白点p_w的色度(x,y)
p_w
和第二个色度点p2的色度(x,y)
p2
之间的关系可以用色彩校正矩阵m
corr
来描述，即(x,y)
p2
＝m
corr
*(x,y)
p_w
。
35.在步骤710，处理电路102(具体地，在处理电路102上运行的程序代码prog)根据色彩校正矩阵对输入帧img_in进行逐像素色彩校正，以产生输出帧img_out。例如，蓝光危害减少的色彩校正帧被生成并被作为输出帧img_out输出，该输出帧img_out将显示在显示面
板上。
36.在上述实施例中，所提出的智能防蓝光功能是通过软件实现的。然而，这仅用于说明目的，并不意味着对本发明的限制。或者，所提出的智能防蓝光功能也可以通过纯硬件来实现。
37.图9示出根据本发明实施例的另一图像处理设备的图。图像处理装置900包括内容分析电路902、处理电路904和色彩校正电路906。内容分析电路902可以是用于处理步骤202中指定的操作的专用硬件。例如，内容分析电路902可以包括光谱测量设备(例如，光谱仪、积分球或色度计)、蓝色物体检测电路和/或直方图计算电路。处理电路904可以是用于处理步骤204中指定的操作的专用硬件。色彩校正电路906可以是用于处理步骤206和步骤702-710中指定的操作的专用硬件。由于本领域普通技术人员在阅读上述段落后可以容易地理解图像处理装置900的细节，为简洁起见，在此不再赘述。
38.图10为所提出的使用修改后的目标色度轨迹l_tc进行色彩校正的蓝光过滤设计与使用黑体辐射色温轨迹线l_ct进行色彩校正的蓝光过滤设计之间的性能比较图。特性曲线l1为输入帧img_in未过滤蓝光时的原始光谱。特性曲线l2显示了从使用黑体辐射色温轨迹线l_ct进行色彩校正的蓝光过滤设计产生的输出帧img_out的光谱。特性曲线l3显示了从所提出的使用修改后的目标色度轨迹l_tc进行色彩校正的蓝光过滤设计生成的输出帧img_out的光谱。如上所述，本发明实施例将第二色度点p2限定在蓝光减少线l_blr与黑体辐射色温轨迹线l_ct之间的优选区域rp内。与使用黑体辐射色温轨迹线l_ct进行色彩校正的蓝光滤光设计相比，所提出的使用修改后的目标色度轨迹l_tc进行色彩校正的蓝光滤光设计可能具有更低的亮度损失并且可以通过认证。
39.简而言之，所提出的蓝光过滤设计可以解决蓝光危害问题，具有低颜色损失、低相关色温变化、低亮度损失、满意的色域范围和/或没有面板膜/滤波器的额外成本。此外，所提出的蓝光过滤设计使用内容分析来自适应地控制每帧的蓝光水平。因此，图像处理装置100/900可分别对多个输入帧应用具有不同抗蓝光强度水平的色彩校正(即，内容感知蓝光过滤)。
40.本领域普通技术人员将容易地观察到在保留本发明的教导的同时可以对装置和方法进行多种修改和改变。因此，上述公开应被解释为仅受所附权利要求的边界和界限的限制。