一种像素合并方法、成像设备、图像传感器及汽车与流程

本发明涉及图像数据处理领域，特别涉及一种像素合并方法、成像设备、图像传感器及汽车。

背景技术：

在电荷耦合元件(chargecoupleddevice，ccd)或互补金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)等图像传感器中，像素合并pixelbinning是指将多个相邻像素的电荷合并成为一个超像素输出的过程，旨在降低噪声，提高相机的信噪比和帧速率。

技术实现要素：

现有的像素合并技术是在图像传感器(如ccd、cmos)内部进行的，像素合并模式的设置方式不够方便，响应速度也慢。此外，当对图像进行像素合并时，整幅图像的所有像素都需要参与合并，且只能采用一种合并模式。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种像素合并方法、成像设备、图像传感器及汽车。

第一方面，本发明实施例提供一种像素合并方法，包括：

从图像中划分出至少一个合并区域；

确定每个合并区域的合并模式，并对每个合并区域按照其合并模式进行像素合并。

第二方面，本发明实施例提供一种成像设备，包括：图像传感器和图像处理器；

所述图像传感器用于拍摄图像；

所述图像处理器获取所述图像，并执行如上所述的像素合并方法。

第三方面，本发明实施例提供一种汽车，包括：如上所述的成像设备。

第四方面，本发明实施例提供一种图像传感器，包括：镜头和处理器；

所述镜头用于拍摄图像；

所述处理器获取所述图像，并执行如上所述的像素合并方法。

第五方面，本发明实施例提供一种汽车，包括：如上述的图像传感器。

第六方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述的像素合并方法。

本发明实施例提供的上述技术方案的有益效果至少包括：

(1)本发明提供的像素合并方法可以应用于与图像传感器连接的图像处理器中，由图像处理器对图像传感器拍摄的图像进行像素合并然后输出给用户。由于避免了在图像传感器中设置和切换像素合并模式，因此模式的设置和切换不受图像传感器硬件及软件技术的限制，可以随时设置，并在下一帧图像数据传输时生效，大大提高了像素合并处理的设置和响应速度。该像素合并方法可适用于那些没有像素合并功能的图像传感器，以弥补图像传感器自身不能进行像素合并的缺陷。

(2)本发明提供的像素合并方法也可以应用于图像传感器中，由图像传感器内置的处理器对镜头拍摄的图像进行像素合并然后输出给用户。相比于现有图像传感器的像素合并处理技术，本发明可对整幅图像或者图像中的感兴趣区域进行像素合并，且，每个合并区域的合并模式可以分别设置，满足用户的灵活需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的一种应用场景；

图2为本发明实施例提供的像素合并处理示意图；

图3为本发明实施例提供的像素合并方法的流程图；

图4为本发明实施例提供的感兴趣区域和合并区域的示意图；

图5为本发明实施例提供的对每个合并区域确定合并模式并进行像素合并的流程图；

图6为本发明实施例提供的对像素集合进行像素合并得到超像素的示意图；

图7为本发明实施例提供的成像设备的结构框图；

图8为本发明实施例提供的图像传感器的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

发明概述

现有技术中，像素合并处理是在图像传感器(如ccd、cmos)内部进行的，在设置像素合并模式时，需要先进入待机模式，设置完成后再从待机模式切换到正常工作模式才能生效，这种设置方式不仅不够方便，响应速度也慢。

像素合并有水平合并、垂直合并、水平和垂直同时合并等模式，参照图2所示，gr、r、b和gb分别表示图像中每个像素的不同颜色分量；其后的两个数字依次表示像素所在的列和行。图2表示对输入图像做2×2模式的像素合并处理，得到输出图像，具体是将输入图像的相邻两行和相邻两列的4个像素的相同颜色分量合并成为输出图像中的一个超像素的相应颜色分量，例如，将输入图像的第0行第0列像素的gr分量、第0行第1列像素的gr分量、第1行第0列像素的gr分量和第1行第1列像素的gr分量的平均值作为输出图像的第0行第0列超像素的gr分量输出，即gr00′；将输入图像的第0行第2列像素的gr分量、第0行第3列像素的gr分量、第1行第2列像素的gr分量和第1行第3列像素的gr分量的平均值作为输出图像的第0行第1列超像素的gr分量输出，即gr01′；依次类推，对输入图像中的所有像素都执行像素合并处理。

现有技术中，当对图像进行像素合并时，整幅图像的所有像素都需要参与合并，且只能采用一种合并模式。

综上，现有的像素合并技术存在设置不方便、响应速度慢、合并模式单一等问题。

为了解决现有的素合并技术存在的问题，本发明实施例提供一种像素合并方法，该方法将图像划分为至少一个合并区域，对每个合并区域确定合并模式，并对每个合并区域按照其合并模式进行像素合并。该方法具有设置方便，响应速度快，且合并模式灵活多样等优点。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

如图1所示，成像设备10包括图像传感器11和图像处理器12，图像传感器11用于拍摄图像，图像处理器12接收图像传感器11拍摄的图像，对图像进行像素合并处理后再输出给用户。

需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

示例性方法

本发明实施例提供一种像素合并方法，其流程如图3所示，包括如下步骤：

步骤s100：从图像中划分出至少一个合并区域。

考虑到像素合并主要是对水平方向上相邻的像素、垂直方向上相邻的像素、或水平和垂直方向上都相邻的像素进行合并，为了方便进行像素合并处理，在一些实施例中，划分出的合并区域的形状为矩形。

在一些实施例中，步骤s100将图像整体划分为一个合并区域。

在一些实施例中，如图4所示，步骤s100在图像中确定至少一个感兴趣区域(虚线所示的区域)，为每个感兴趣区域分别划分一个合并区域(斜线所示的区域)，所述合并区域包含相应的感兴趣区域。

在这类实施例中，感兴趣区域可以由用户自定义设置，也可以通过图像识别确定。

考虑到感兴趣区域有可能是不规则的形状，而合并区域一般是矩形，为使合并区域像素合并的结果能较好地反应感兴趣区域的信息，应使合并区域中的非感兴趣区域较少，因此在一些实施例中，合并区域被设置为恰好涵盖住感兴趣区域的矩形区域，如图4所示，合并区域的像素总行数和总列数分别等于感兴趣区域中最长像素列包含的像素数和最长像素行包含的像素数。

步骤s200：确定每个合并区域的合并模式，并对每个合并区域按照其合并模式进行像素合并。

在一些实施例中，如图5所示，步骤s200按照步骤s201～s205执行：

步骤s201，轮询每个合并区域，针对每个合并区域执行步骤s202～s205，直到轮询完所有合并区域。

步骤s202，确定权重w以及像素集合的行数m和列数n。

步骤s203，将当前合并区域划分为多个像素集合。

其中，每个像素集合由当前合并区域中相邻的m行n列像素组成，且每个像素集合中的像素不重复。

步骤s204，轮询每个像素集合，针对每个像素集合执行步骤s205，直到轮询完所有像素集合。

步骤s205，计算当前像素集合中各个像素的每一颜色分量的累加值；将该累加值除以权重w的结果确定为合并得到的超像素的相应颜色分量。

如图6所示，每个像素集合包含2行2列像素，每个像素有rgb三个颜色分量，像素合并时，对于r颜色分量，将每个像素集合中各个像素的r颜色分量累加然后除以权重w的结果作为合并得到的超像素的r颜色分量，对g、b颜色分量的处理有类似处理，此处不再赘述。

在步骤s201中，由于需要把合并区域划分为多个像素集合，而合并区域的像素总行数m和总列数n与像素集合的行数m和列数n存在能整除和不能整除的关系，当能整除时，合并区域的所有像素可以都被划分至像素集合中，而当不能整除时，合并区域中就会有一些像素不能被划分至像素集合中。

考虑到以上因素，步骤s201在确定像素集合的行数m和列数n时，可以有下述(1)(2)两种处理方式：

(1)在一些实施例中，将像素集合的行数m设置为能够整除合并集合的总行数m的整数，将像素集合的列数n设置为能够整除合并集合的总列数n的整数，且，像素集合的行数m和列数n不同时等于1。

在这类实施例中，合并区域的所有像素都可以被划分至像素集合中，然后可以按照步骤s203对每个像素集合进行像素合并。

(2)在一些实施例中，将像素集合的行数m设置为不能够整除合并集合的总行数m的整数，和/或将像素集合的像素列数n设置为不能够整除合并集合总列数n的整数，且，像素集合的行数m和列数n不同时等于1。

在这类实施例中，被划分出的像素集合仍然按照步骤s203进行像素合并，而合并区域中有一些不能被划分至像素集合中的像素，就需要进行特殊处理，具体处理方式可以是：

(a)在一些实施例中，将当前合并区域划分像素集合后剩余的像素丢弃，不再参与像素合并。

(b)在一些实施例中，将当前合并区域划分像素集合后剩余的像素划分为一个或多个特殊像素集合，这些特殊像素集合由上述剩余的像素中的相邻像素组成，且特殊像素集合的行数x和列数y分别小于像素集合的行数m和列数n，每个特殊像素集合中的像素不重复。

在该类实施例中，对像素集合仍然按照步骤s203进行像素合并，而对特殊像素集合按照如下过程进行像素合并：将特殊像素集合中各个像素的每一颜色分量的累加值除以权重的结果确定为合并得到的超像素的相应颜色分量。

当图像中包括至少一个感兴趣区域时，步骤s201在确定像素集合的行数m和列数n时，还可以包括如下操作步骤：确定每个感兴趣区域的重要程度；为重要程度高的感兴趣区域对应的合并区域设置的像素集合的行数m和列数n的乘积，小于为重要程度低的感兴趣区域对应的合并区域设置的像素集合的行数m和列数n的乘积。通过这种处理方式，经过像素合并处理之后，重要程度高的感兴趣区域对应更多的超像素，保留的细节信息也会更多，重要程度低的感兴趣区域对应的超像素相应较少，可以得到这部分区域的粗略信息。

例如，图像中有roi-1、roi-2、roi-3三个感兴趣区域，分别对应合并区域1、2、3，其重要程度为roi-1＞roi-2＞roi-3，为这三个合并区域确定像素集合的行数mi和列数ni时(i表示合并区域的编号)，m1*n1<m2*n2<m3*n3。

像素合并技术可以显著提高成像设备的感光性能，例如在相机中，利用像素合并技术可使极低光照条件下拍摄的图像获得较高的亮度，提高暗处细节的清晰程度，为使像素合并得到的图像亮度适中，对于不同的拍摄条件应采用不同的合并模式。考虑到这一点，在步骤s201中确定权重w时，可以根据合并区域的亮度确定权重w，且，合并区域的亮度越高，确定的权重w越小。

在一些实施例中，判断合并区域的亮度大于第一预设值时，将权重w设置为像素集合的像素总数m*n；判断合并区域的亮度小于第二预设值时，将权重w设置为1；判断合并区域的亮度介于第二预设值和第一预设值之间时，将权重w设置为介于1和m*n之间的数值；其中第二预设值小于第一预设值。

上述实施例中，合并区域的亮度大于第一预设值说明合并区域的亮度较高，此时，可以将权重w设置为像素集合的像素总数m*n，以使超像素的各个颜色分量等于被合并的各个像素的相应颜色分量的平均值，得到亮度适中的图像；合并区域的亮度小于第二预设值说明合并区域的亮度较低，此时，可以将权重w设置为1，以使超像素的各个颜色分量等于被合并的各个像素的相应颜色分量之和，得到亮度适中的图像。这种处理模式可以有针对性地保留细节信息，减小数据计算量，降低数据传输压力。

现有技术中，像素合并处理是在图像传感器(如ccd、cmos)内部进行的，在设置像素合并模式时，需要先进入待机模式，设置完成后再从待机模式切换到正常工作模式才能生效，这种设置方式不仅不够方便，响应速度也慢。为了解决上述问题，在一些实施例中，本发明实施例提供的像素合并方法应用于与图像传感器连接的图像处理器中，在这类实施例中，图像处理器获取图像传感器拍摄的图像，对获取的图像按照本发明实施例提供的像素合并方法进行像素合并然后输出给用户。由于避免了在图像传感器中设置和切换像素合并模式，因此模式的设置和切换不受图像传感器硬件及软件技术的限制，可以随时设置，并在下一帧图像数据传输时生效，大大提高了像素合并处理的设置和响应速度。这类实施例也适用于那些没有像素合并功能的图像传感器，以弥补图像传感器自身不能进行像素合并的缺陷。

此外，在一些实施例中，本发明实施例提供的像素合并方法也可以应用于图像传感器中，在这类实施例中，图像传感器内置的处理器(例如专用集成电路(applicationspecificintegratedcircuit，asic))对镜头拍摄的图像按照本发明实施例提供的像素合并方法进行像素合并然后输出给用户。

现有技术中，当对图像进行像素合并时，整幅图像的所有像素都需要参与合并，且只能采用一种合并模式。相比于现有技术，本发明实施例可对整幅图像或者图像中的感兴趣区域进行像素合并，且，每个合并区域的合并模式可以分别设置，满足用户的灵活需求。

示例性设备

基于本发明的发明思想，本发明实施例提供一种成像设备，以下具体说明。如图7所示，本发明实施例提供一种成像设备70，包括图像传感器71和图像处理器72；其中，图像传感器71用于拍摄图像；图像处理器72获取图像传感器71拍摄的图像，并执行本发明实施例提供的像素合并方法。

该成像设备中，像素合并处理是在图像处理器中进行，由于避免了在图像传感器中设置和切换像素合并模式，因此模式的设置和切换不受图像传感器硬件及软件技术的限制，可以随时设置，并在下一帧图像数据传输时生效，大大提高了像素合并处理的设置和响应速度。

本发明实施例提供的成像设备中，图像处理器72可以是fpga、arm、gpu、cpu等。

在一些实施例中，该图像处理器72为现场可编程门阵列(fieldprogrammablegatearray，fpga)。

在一些实施例中，图像传感器71通过第一移动产业处理器接口(mobileindustryprocessorinterface，mipi)向图像处理器72发送图像。

图7所示的成像设备与本发明实施例提供的像素合并方法基于相同的发明思想实现，且有相同的非限制性实施方式，具体可参照前面示例性方法中对像素合并方法的介绍，此处不再赘述。

基于本发明的发明思想，本发明实施例提供一种汽车，该汽车包括图7所示的成像设备。其中，该汽车可以是传统类型的车辆，也可以是利用自动驾驶技术实现的具有载人(如家用轿车、公共汽车等类型)、载货(如普通货车、厢式货车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等类型)或者特殊救援功能(如消防车、救护车等类型)的车辆。

基于本发明的发明思想，本发明实施例提供一种图像传感器，以下具体说明。如图8所示，本发明实施例提供一种图像传感器80，包括：镜头81和处理器82；其中，镜头81用于拍摄图像；处理器82获取镜头81拍摄的图像，并执行本发明实施例提供的像素合并方法。

该图像传感器80可以是电荷耦合元件ccd或互补金属氧化物半导体cmos。

处理器82可以是专用集成电路asic。

现有的图像传感器进行像素合并处理时，整幅图像的所有像素都需要参与合并，且只能采用一种合并模式。而利用本发明实施例提供的图像传感器则可对整幅图像或者图像中的感兴趣区域进行像素合并，且，每个合并区域的合并模式可以分别设置，满足用户的灵活需求。

图8所示的图像传感器80与本发明实施例提供的像素合并方法基于相同的发明思想实现，且有相同的非限制性实施方式，具体可参照前面示例性方法中对像素合并方法的介绍，此处不再赘述。

基于本发明的发明思想，本发明实施例提供一种汽车，该汽车包括图8所示的图像传感器。其中，该汽车可以是传统类型的车辆，也可以是利用自动驾驶技术实现的具有载人(如家用轿车、公共汽车等类型)、载货(如普通货车、厢式货车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等类型)或者特殊救援功能(如消防车、救护车等类型)的车辆。

基于本发明的发明思想，本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现本发明实施例提供的像素合并方法。其中，该计算机可读的存储介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。在一些实施例中，该计算机可读的存储介质可以是：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。