图像处理装置和摄像系统的制作方法

本发明涉及进行明亮度不同的图像信号的合成处理的图像处理装置和摄像系统。

背景技术：

近年来，公知有如下技术：在通过对明亮度(曝光量)不同的输入图像进行合成而生成扩大了动态范围的图像即hdr(highdynamicrange：高动态范围)图像后，对该hdr图像实施灰度压缩处理，生成监视器中能够显示的灰度压缩图像(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特表2012-513172号公报

技术实现要素：

发明要解决的课题

但是，在专利文献1公开的现有的灰度压缩处理中，相对于输入图像的颜色再现性较低。特别是在医学诊断中，根据患部的色调来进行诊断，所以，当监视器中显示的灰度压缩图像的色调与由内窥镜得到的输入图像的色调不同时，诊断结果可能不同。

本发明是鉴于上述情况而完成的，其目的在于，提供在对明亮度不同的输入图像进行了合成、灰度压缩的情况下也能够抑制灰度压缩图像相对于输入图像的颜色再现性降低的图像处理装置和摄像系统。

用于解决课题的手段

为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：hdr图像生成部，其对分别包含曝光量不同的第1图像数据和第2图像数据在内的第1信号和第2信号进行高动态范围合成，生成hdr图像信号；灰度压缩部，其对由所述hdr图像生成部生成的hdr图像信号实施灰度压缩处理，由此生成显示用的第1灰度压缩图像信号；以及颜色校正部，其根据所述第1信号和第2信号以及所述第1灰度压缩图像信号实施颜色校正，由此生成第2灰度压缩图像信号。

并且，本发明的摄像系统的特征在于，所述摄像系统具有：摄像装置，其具有对来自外部的光进行光电转换的多个像素，生成曝光量不同的第1摄像信号和第2摄像信号；hdr图像生成部，其对所述第1摄像信号和第2摄像信号进行高动态范围合成，生成hdr图像信号；灰度压缩部，其对由所述hdr图像生成部生成的hdr图像信号实施灰度压缩处理，由此生成显示用的第1灰度压缩图像信号；以及颜色校正部，其根据所述第1摄像信号和第2摄像信号以及所述第1灰度压缩图像信号实施颜色校正，由此生成第2灰度压缩图像信号。

并且，本发明的摄像系统的特征在于，在上述发明中，所述hdr图像生成部根据对所述第1摄像信号的像素值乘以大于0且小于1的第1系数而得到的值以及对所述第2摄像信号的像素值乘以与所述第1系数之和为1的第2系数而得到的值，生成所述hdr图像信号，所述颜色校正部根据所述第1摄像信号和第2摄像信号、所述第1灰度压缩图像信号以及所述第1系数和第2系数，生成所述第2灰度压缩图像信号。

并且，本发明的摄像系统的特征在于，在上述发明中，所述颜色校正部具有：增益图计算部，其通过对所述第1系数乘以所述第1灰度压缩图像信号的代表值相对于所述第1摄像信号的代表值的比，计算第1增益值，并且，通过对所述第2系数乘以所述第1灰度压缩图像信号的代表值相对于所述第2摄像信号的代表值的比，计算第2增益值，由此计算与像素位置对应的增益图；以及再合成处理部，其根据所述增益图计算部计算出的所述增益图对所述第1摄像信号和第2摄像信号再次进行高动态范围合成，由此生成所述第2灰度压缩图像信号。

并且，本发明的摄像系统的特征在于，在上述发明中，所述摄像系统还具有射出照明光的光源装置，所述第1摄像信号是对以第1照明强度被照明的被摄体进行摄像而得到的摄像信号，所述第2摄像信号是对以与第1照明强度不同的第2照明强度被照明的被摄体进行摄像而得到的摄像信号。

发明效果

根据本发明，发挥在对明亮度不同的输入图像进行了合成、灰度压缩的情况下也能够抑制灰度压缩图像相对于输入图像的颜色再现性降低这样的效果。

附图说明

图1是示出本发明的一个实施方式的内窥镜系统的概略结构的图。

图2是示出本发明的一个实施方式的内窥镜系统的概略结构的框图。

图3是说明基于本发明的一个实施方式的内窥镜系统的图像生成的示意图。

具体实施方式

下面，对用于实施本发明的方式(以下称为“实施方式”)进行说明。在实施方式中，作为包含本发明的图像处理装置的摄像系统的一例，说明对患者等被检体内的图像进行摄像并显示的医疗用的内窥镜系统。并且，本发明不由该实施方式限定。并且，在附图的记载中，对相同部分标注相同标号进行说明。

图1是示出本发明的一个实施方式的内窥镜系统的概略结构的图。图2是示出本实施方式的内窥镜系统的概略结构的框图。

图1和图2所示的内窥镜系统1具有：内窥镜2，其通过将前端部插入到被检体内，拍摄被检体的体内图像；光源装置3，其产生从内窥镜2的前端射出的照明光；处理装置4，其对内窥镜2进行摄像而得到的摄像信号实施规定的信号处理，并且对内窥镜系统1整体的动作进行总括控制；以及显示装置5，其显示通过处理装置4的信号处理而生成的体内图像。

内窥镜2具有：插入部21，其具有挠性且呈细长形状；操作部22，其与插入部21的基端侧连接，受理各种操作信号的输入；以及通用软线23，其从操作部22向与插入部21延伸的方向不同的方向延伸，内置有与光源装置3和处理装置4连接的各种缆线。

插入部21具有：前端部24，其内置有摄像元件244(摄像装置)，该摄像元件中呈二维状排列有接收光并进行光电转换而生成信号的像素；弯曲自如的弯曲部25，其由多个弯曲块构成；具有挠性的长条状的挠性管部26，其与弯曲部25的基端侧连接。插入部21被插入到被检体的体腔内，通过摄像元件244对位于外光无法到达的位置的活体组织等被摄体进行摄像。

前端部24具有：光导241，其使用玻璃纤维等构成，成为光源装置3发出的光的导光路；照明透镜242，其设置在光导241的前端；会聚用的光学系统243；以及摄像元件244，其设置在光学系统243的成像位置，接收光学系统243会聚后的光并将其光电转换为电信号，实施规定的信号处理。

光学系统243使用一个或多个透镜构成，具有使视场角变化的光学变焦功能和使焦点变化的对焦功能。

摄像元件244对来自光学系统243的光进行光电转换，生成电信号(摄像信号)。具体而言，摄像元件244具有：受光部244a，其呈矩阵状排列有多个像素，该多个像素分别具有蓄积与光量对应的电荷的光电二极管或将从光电二极管传输的电荷转换为电压电平的电容器等，各像素对来自光学系统243的光进行光电转换而生成电信号；以及读出部244b，其依次读出受光部244a的多个像素中的任意设定为读出对象的像素生成的电信号，作为摄像信号进行输出。摄像元件244根据从处理装置4接收到的驱动信号对前端部24的各种动作进行控制。摄像元件244例如使用ccd(chargecoupleddevice：电荷耦合器件)图像传感器或cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)图像传感器实现。

操作部22具有：弯曲旋钮221，其使弯曲部25向上下方向和左右方向弯曲；处置器具插入部222，其将活体钳子、电刀和检查探针等处置器具插入到被检体的体腔内；以及作为操作输入部的多个开关223，其除了输入处理装置4、光源装置3的操作指示信号以外，还输入送气单元、送水单元、画面显示控制等周边设备的操作指示信号。从处置器具插入部222插入的处置器具经由前端部24的处置器具通道(未图示)而从开口部(未图示)露出。

通用软线23至少内置有光导241和汇集一个或多个信号线而得到的集合缆线245。集合缆线245包含用于传送摄像信号的信号线、用于传送对摄像元件244进行驱动的驱动信号的信号线、用于发送接收包含与内窥镜2(摄像元件244)有关的固有信息等在内的信息的信号线。

接着，对光源装置3的结构进行说明。光源装置3具有照明部31和照明控制部32。照明部31在照明控制部32的控制下，针对被摄体(被检体)依次切换并射出不同曝光量的照明光。照明部31具有光源31a和光源驱动器31b。

光源31a使用射出白色光的led光源和一个或多个透镜等构成，通过led光源的驱动而射出光(照明光)。光源31a产生的照明光经由光导241而从前端部24的前端朝向被摄体射出。另外，光源31a也可以使用红色led光源、绿色led光源和蓝色led光源构成，通过从任意光源射出光，来射出具有红色光、绿色光和蓝色光中的任意波段的光作为照明光。

光源驱动器31b在照明控制部32的控制下，对光源31a供给电流，由此使光源31a射出照明光。

照明控制部32根据来自处理装置4的控制信号，对向光源31a供给的电力量进行控制，并且对光源31a的驱动定时进行控制。通过照明控制部32的控制，照明部31通过以第1曝光量进行曝光的第1曝光处理以及以与第1曝光量不同的第2曝光量进行曝光的第2曝光处理，分别对被摄体进行曝光。在本实施方式中，设第1曝光量大于第2曝光量来进行说明。照明控制部32例如通过使照明光的照明强度变化，来调整曝光量。

接着，对处理装置4的结构进行说明。处理装置4具有摄像信号取得部41、hdr(highdynamicrange：高动态范围)图像生成部42、灰度压缩部43、颜色校正部44、输入部45、存储部46、控制部47。另外，通过hdr图像生成部42、灰度压缩部43和颜色校正部44构成图像处理装置。

摄像信号取得部41从内窥镜2接收摄像元件244输出的摄像信号。图3是说明基于本实施方式的内窥镜系统的图像生成的示意图。摄像信号取得部41对所取得的摄像信号实施噪声去除、a/d转换、同时化处理(例如在使用滤色器等得到每个颜色成分的摄像信号的情况下进行)等信号处理，生成包含输入图像(图像数据)的摄像信号。摄像信号取得部41生成通过第1曝光处理即长曝光处理得到的长曝光图像pl1～pl3以及通过第2曝光处理即短曝光处理得到的短曝光图像ps1、ps2作为输入图像，并且将所生成的输入图像存储在存储部46中。各输入图像是通过信号处理而赋予了红色(r)、绿色(g)和蓝色(b)的颜色成分的图像。在图3中，设摄像信号取得部41按照长曝光图像pl1、短曝光图像ps1、长曝光图像pl2、短曝光图像ps2、长曝光图像pl3的顺序取得图像来进行说明。

摄像信号取得部41将最新帧的摄像信号和存储在存储部46中的最新帧的前1帧的摄像信号输出到hdr图像生成部42和颜色校正部44。在本实施方式中，摄像信号取得部41将包含以第1曝光量进行摄像而得到的长曝光图像(第1图像数据)在内的第1摄像信号和包含以第2曝光量进行摄像而得到的短曝光图像(第2图像数据)在内的第2摄像信号输出到hdr图像生成部42和颜色校正部44，该第2摄像信号是第1摄像信号之前或之后的帧的摄像信号。关于长曝光图像和短曝光图像，在一方是输入图像的情况下，另一方成为存储在存储部46中的存储图像。

hdr图像生成部42从摄像信号取得部41取得包含摄像元件244生成的不同曝光量的图像在内的第1摄像信号和第2摄像信号，通过对曝光量不同的图像进行合成，生成包含扩大了动态范围的hdr图像ph1～ph4(例如每通道的位数为32位)在内的hdr图像信号。hdr图像生成部42具有：加权相加部421，其进行第1摄像信号与第2摄像信号的加权相加处理，生成hdr图像信号；以及加权相加系数计算部422，其计算加权相加部421的加权相加处理时使用的加权相加系数。

加权相加部421将进行第1摄像信号与第2摄像信号的加权相加处理而生成的hdr图像信号输出到灰度压缩部43。具体而言，加权相加部421利用正交坐标系(x,y)表示各像素的位置，并且，在设第1摄像信号sl中的长曝光图像的像素值为l(x,y)、第2摄像信号ss中的短曝光图像的像素值为s(x,y)、加权相加系数为α(x,y)(0<α(x,y)<1)、hdr图像信号sh中的hdr图像的像素值为h(x,y)时，通过下式(1)导出hdr图像的像素值h(x,y)。另外，下面，设加权相加系数α是针对短曝光图像设定的系数来进行说明。

h(x,y)＝(1-α(x,y))×l(x,y)

+α(x,y)×β×s(x,y)…(1)

这里，β是为了调整短曝光与长曝光的曝光量之差而作用于短曝光侧的系数，在设短曝光处理的曝光量为e1、长曝光处理的曝光量为e2时，利用β＝e2/e1表示。另外，在使该系数作用于长曝光侧的情况下，系数β’利用β’＝e1/e2表示。

加权相加系数计算部422根据长曝光图像的明亮度(像素值l(x,y))设定加权相加系数α(x,y)。具体而言，加权相加系数计算部422参照存储部46，长曝光图像的像素值l(x,y)相对于预先设定的基准值越大，则将加权相加系数α(x,y)的值设定为越大，长曝光图像的像素值l(x,y)相对于基准值越小，则将加权相加系数α(x,y)设定为越小。加权相加系数计算部422按照每个像素位置(坐标)设定加权相加系数α(x,y)。另外，加权相加系数计算部422进行各系数的设定，使得针对像素值s(x,y)的加权相加系数(第1系数)与针对像素值l(x,y)的加权相加系数(第2系数)之和成为1。

灰度压缩部43通过对hdr图像生成部42生成的hdr图像信号sh实施灰度压缩处理、例如使每通道的位数从32位变成12位的处理，生成包含将动态范围降低到显示装置5能够显示的尺寸的灰度压缩图像pt1～pt4(色调映射图像)在内的灰度压缩图像信号st(第1灰度压缩图像信号)。

颜色校正部44根据从摄像信号取得部41输入的第1摄像信号sl和第2摄像信号ss、灰度压缩部43生成的灰度压缩图像信号st以及加权相加系数α(x,y)，对第1摄像信号sl和第2摄像信号ss实施颜色校正处理，生成包含颜色校正图像的颜色校正图像信号st’。

颜色校正部44具有：亮度成分提取部441，其提取第1摄像信号sl、第2摄像信号ss和灰度压缩图像信号st的各信号的亮度成分；增益图计算部442，其根据亮度成分提取部441提取出的亮度成分和加权相加系数α(x,y)计算增益图；以及再合成处理部443，其根据增益图对各像素中的像素值进行校正，在生成对第1摄像信号sl和第2摄像信号ss进行再合成而得到的校正hdr图像信号后，通过对该校正hdr图像信号实施灰度压缩处理，生成包含校正灰度压缩图像即颜色校正图像在内的颜色校正图像信号st’(第2灰度压缩图像信号)。

亮度成分提取部441针对所输入的第1摄像信号sl、第2摄像信号ss和灰度压缩图像信号st，对利用rgb表现的值进行ycbcr转换处理，将其分离成亮度(y)成分和色差(crcb)成分，提取各信号的亮度(y)成分。亮度成分提取部441将包含从第1摄像信号sl中提取出的亮度成分的亮度成分信号yl、包含从第2摄像信号ss中提取出的亮度成分的亮度成分信号ys和包含从灰度压缩图像信号st中提取出的亮度成分的亮度成分信号yt输出到增益图计算部442。

增益图计算部442根据亮度成分提取部441提取出的亮度成分和加权相加系数α(x,y)计算增益图。具体而言，在设第1摄像信号sl中的像素位置(x,y)的增益值为gl(x,y)、第2摄像信号ss中的像素位置(x,y)的增益值为gs(x,y)、第1摄像信号sl中的长曝光图像的像素值l(x,y)的亮度成分为yl(x,y)、第2摄像信号ss中的短曝光图像的像素值s(x,y)的亮度成分为ys(x,y)、灰度压缩图像信号st中的灰度压缩图像的像素值t(x,y)的亮度成分为yt(x,y)时，通过下式(2)导出增益值gl(x,y)，通过下式(3)导出增益值gs(x,y)。

gl(x,y)＝(1-α(x,y))×yt(x,y)/yl(x,y)…(2)

gs(x,y)＝α(x,y)×yt(x,y)/ys(x,y)…(3)

增益图计算部442根据上式(2)、(3)，计算对各像素位置赋予了增益值gl(x,y)而成的第1增益图gl和对各像素位置赋予了增益值gs(x,y)而成的第2增益图gs。增益图计算部442将计算出的第1增益图gl和第2增益图gs输出到再合成处理部443。

再合成处理部443根据增益图计算部442计算出的第1增益图gl和第2增益图gs对各像素中的像素值进行校正，在生成对第1摄像信号sl和第2摄像信号ss进行再合成而得到的校正hdr图像信号sq后，通过对该校正hdr图像信号sq实施灰度压缩处理，生成包含校正灰度压缩图像即颜色校正图像的颜色校正图像信号st’。具体而言，再合成处理部443在设校正hdr图像信号sq中的校正hdr图像的像素值为q(x,y)时，通过下式(4)导出像素值q(x,y)。

q(x,y)＝gl(x,y)×l(x,y)

+gs(x,y)×s(x,y)…(4)

再合成处理部443根据第1增益图gl和第2增益图gs计算像素值q(x,y)，在生成校正hdr图像信号sq后，通过对该校正hdr图像信号sq实施灰度压缩处理，生成包含校正灰度压缩图像即颜色校正图像pc1～pc4的颜色校正图像信号st’。该颜色校正图像是对上述灰度压缩图像(色调映射图像)实施了颜色校正处理后的图像。

颜色校正部44对所生成的包含颜色校正图像的颜色校正图像信号st’实施光学黑体减法处理、白平衡调整处理、颜色矩阵运算处理、伽马校正处理、颜色再现处理、边缘强调处理和格式转换处理等之后，将处理后的颜色校正图像信号st’输出到显示装置5。

输入部45受理指示内窥镜系统1的动作的动作指示信号等各种信号的输入。

存储部46使用闪存或dram(dynamicrandomaccessmemory动态随机存取存储器)等半导体存储器实现。存储部46存储用于使内窥镜系统1进行动作的各种程序以及包含内窥镜系统1的动作所需要的各种参数等的数据。并且，存储部46存储处理装置4的识别信息。这里，在识别信息中包含处理装置4的固有信息(id)、年代和说明书(spec)信息等。

存储部46存储与由摄像信号取得部41实施信号处理后的摄像信号对应的图像、即通过第1曝光处理进行摄像而得到的长曝光图像和通过第2曝光处理进行摄像而得到的短曝光图像等图像数据；加权相加部421的加权相加处理时使用的加权相加系数的基准值；加权相加系数相对于该基准值的增减率等。存储部46例如也可以具有存储第1和第2摄像信号的环形缓冲区。该情况下，环形缓冲区在容量不足时(存储规定帧数的摄像信号时)，利用最新的摄像信号覆盖最老的摄像信号，由此，从最新的摄像信号起以时间序列存储规定帧数。

控制部47使用cpu(centralprocessingunit：中央处理单元)等构成，进行包含摄像元件244和光源装置3在内的各结构部的驱动控制、以及针对各结构部的信息的输入输出控制等。控制部47参照存储部46中存储的摄像控制用的控制信息数据(例如读出定时等)，经由集合缆线245中包含的规定的信号线向摄像元件244发送该控制信息数据。

并且，控制部47根据基于所取得的摄像信号的图像检测明亮度，设定曝光量，生成使光源31a以与该设定的曝光量对应的发光量(包含强度和时间)进行发光的控制信号。

显示装置5经由影像缆线显示与处理装置4(颜色校正部44)生成的颜色校正图像信号st’对应的颜色校正图像pc1～pc4。显示装置5使用液晶或有机el(electroluminescence：电致发光)等监视器构成。

在以上说明的内窥镜系统1中，根据输入到处理装置4的摄像信号，在hdr图像生成部42根据曝光量不同的第1和第2摄像信号(摄像信号sl、ss)生成hdr图像信号sh后，灰度压缩部43生成灰度压缩图像信号st，颜色校正部44根据摄像信号sl、ss和灰度压缩图像信号st的各图像的亮度(y)成分计算增益图gl、gs，再次构筑根据计算出的增益图gl、gs实施颜色校正后的灰度压缩图像信号，生成颜色校正图像信号st’，显示装置5显示基于再次构筑的颜色校正图像信号st’的颜色校正图像(颜色校正图像pc1～pc4)。

根据上述本发明的一个实施方式，在根据曝光量(明亮度)不同的第1和第2摄像信号生成hdr图像信号后，生成灰度压缩图像信号，根据第1和第2摄像信号以及灰度压缩图像信号的各图像的亮度成分计算增益图，再次构筑根据计算出的增益图实施颜色校正后的灰度压缩图像，所以，在进行了灰度压缩的情况下，也能够抑制灰度压缩图像相对于输入图像的颜色再现性降低。

另外，在上述实施方式中，设根据ycbcr颜色空间将亮度(y)成分作为代表值并根据亮度(y)成分计算增益图来进行说明，但是，不限于ycbcr颜色空间，例如，也可以使用由色相(hue)、彩度(saturationchroma)、明度(valuelightnessbrightness)这三个成分构成的hsv颜色空间、利用三维空间的l^*a^*b^*颜色空间等，分离成颜色和亮度，使用亮度的信息计算增益图。例如，在使用l^*a^*b^*颜色空间的情况下，使用三刺激值(xyz空间(三维空间)的y成分)作为代表值。

另外，在上述实施方式中，设加权相加系数α是针对短曝光图像设定的系数来进行说明，但是，也可以是针对长曝光图像设定的系数。

并且，在上述实施方式中，设使用通过不同的两个曝光处理生成的摄像信号来进行说明，但是，也可以使用通过三个以上的曝光处理生成的摄像信号。

并且，在上述实施方式中，也可以是能够对灰度压缩后的颜色校正处理的执行或不执行进行切换。可以根据基于用户对开关等的操作的指示输入来进行该切换，也可以通过对进行摄像而得到的图像进行分析来自动进行切换。在通过图像分析来判断切换的情况下，例如，也可以根据图像的亮度分布计算图像的明暗差，如果该计算结果大于预先设定的明暗差，则执行颜色校正处理，如果该计算结果为预先设定的明暗差以下，则不执行该处理。

并且，在上述实施方式中，设光源装置3与处理装置4分开来进行说明，但是，光源装置3和处理装置4也可以是一体的，例如在处理装置4的内部设置有照明部31和照明控制部32。

并且，在上述实施方式中，设本发明的图像处理装置作为内窥镜系统1的hdr图像生成部42、灰度压缩部43和颜色校正部44发挥功能来进行说明，该内窥镜系统1使用观察对象是被检体内的活体组织等的内窥镜2，但是，也可以应用于使用观测材料特性的工业用内窥镜或胶囊型内窥镜的内窥镜系统。与体内、体外无关，都能够应用本发明的图像处理装置。

并且，在上述实施方式中，举出内窥镜系统作为例子来进行说明，但是，例如在对设置在数字静止照相机等中的evf(electronicviewfinder：电子取景器)输出影像的情况下也能够应用。该情况下，与使用光学式取景器的情况相比，在逆光状态等场景中的明暗差较大的情况下，也能够再现原画的色调，并提高被摄体的视觉辨认性。

产业上的可利用性

如上所述，本发明的图像处理装置和摄像系统在进行了灰度压缩的情况下抑制灰度压缩图像相对于输入图像的颜色再现性降低的方面是有用的。

标号说明

1：内窥镜系统；2：内窥镜；3：光源装置；4：处理装置；5：显示装置；21：插入部；22：操作部；23：通用软线；24：前端部；25：弯曲部；26：挠性管部；31：照明部；32：照明控制部；41：摄像信号取得部；42：hdr图像生成部；43：灰度压缩部；44：颜色校正部；45：输入部；46：存储部；47：控制部；421：加权相加部；422：加权相加系数计算部；441：亮度成分提取部；442：增益图计算部；443：再合成处理部。