专利名称：用于图像处理的方法和装置的制作方法
技术领域：
本发明一般涉及图像处理，具体上涉及用于有效检测彩色图像中的物理物体表示的方法和装置，其具有广泛应用，诸如航空和空运、陆上运输、航运、水底工程、水下调查、医学检查、海洋考古、陆地考古、农业、监测和安全、食品安全、能源系统和森林等。
背景技术：
假定在人的视网膜上成像并且随后在大脑的视皮质中“被看到”的物体O。可以以图像I对“理解”O有多大用处来描述图像I的质量，和/或图像I的质量被描述为在O和I之间的感知上的相似性。因此，如果下述项目之一或者组合发生a)在眼睛和物体之间的空间(真空、空气、流体)被雾、烟雾、烟、雪、灰尘、泥砂或其他类型的分散粒子(例如血球)“污染”；b)在眼睛和物体之间的空间(气体，流体)具有与通常空气或真空相比的、不同的波长相关的相对透明度；c)物体O具有有限的色彩成分(colour content)；d)在其中视网膜感受体具有特别有限的分辨亮度或色差的能力的条件(例如低亮条件)下捕获图像，则所感知的图像I的质量会受到严重影响，这继而意味着对I的解析可能是有缺陷的。这样的在视觉方面的干扰在诸如对人体内部(例如眼睛)的检查、空运控制、驾驶、其他陆地或海上交通、水下作业、救火或其他监视情形之类的情况下可能会有严重的实际后果。在眼底中的病理细节可能因为血液沾染而被遗漏，飞机或船只可能在雾中迷路，消防人员可能在烟中迷路，司机可能找不到失事交通工具的出口。因此，在这种情况下，缺少提供便于人对图像的解析的可能(即增强人的能见度)的有效图像增强系统就构成了严重的问题。下面更详细地讨论一些感兴趣的领域和问题。
航空和空运在机场和/或驾驶员座舱内外，雾、烟雾、薄雾、雪、烟、雨、诸如小虫和昆虫(例如蚱蜢、蜜蜂等)之类的生物的云状物、低光条件(例如在黄昏和拂晓或者光线不足(即光线不足以至于无助细节感知))一般构成空中旅行的危险因素，并且引起严重的空中交通控制问题，其结果是可能航线改道或取消。显然，这些问题也可能引起航空公司和乘客双方的负面经济后果，在最坏的情况下甚至导致致命的意外事故。即使通过复杂的导航和雷达系统来引导和控制空中交通，也仍然需要具有目视发现(visual contact)。下降的可见度和未知的物体移动已经导致了太多事故。甚至在可见度上的轻微提高也将向飞行员和空中交通控制者提供处理困难情况的更好机会。因此，需要提供克服或减少这些问题的装置和方法。
陆上交通以类似方式，烟雾、薄雾、雪、烟、雨、诸如小虫和昆虫(例如蚱蜢、蜜蜂等)之类的生物的云状物、低光条件(例如在黄昏和拂晓或光线不足(即光线不足以至于无助细节感知))构成关于道路和铁路安全的问题，并且也可能增加货物运输的成本。因此，需要提供克服或减少这些问题的装置和方法。
航运即使船只通常具有例如雷达、GPS等很复杂的导航设备，船员仍然需要具有对于例如海岸线、小船和其他船只的目视发现。在包含烟雾、薄雾、雪、烟、雨、诸如小虫和昆虫(例如蚱蜢、蜜蜂等)之类的生物的云状物、低光条件(例如在黄昏和拂晓或光线不足(以至于无助细节感知))的环境中建立这样的目视发现可能是一个问题。结果，影响了安全和航运成本。因此，需要提供克服或减少这些问题的装置和方法。
水下应用泥沙、粒子、“悬浮”的沉淀物、由水过滤的波长、光线不足(即在水下光线不足以至于无助细节感知)、诸如海藻、浮游生物等的生物的云状物都使得在水下对图像的人解析更困难。通常问题是由于海床泥沙以及它是那么容易被扰动，所以所有的靠近海底的水下作业是困难的。这种底部扰动产生了浓“雾”，其大大地降低了可见度。在潜水期间或者例如在当使用例如具有视频记录设备的潜水工具时在水下安装作业期间，这既是安全问题也是经济问题。例如，驾驶员可能丢失方位，并且可能有灾难性后果，并且一些建筑物和/或安装工作由于这些问题而变得不必要的昂贵或者甚至不可能进行。作为示例，必须构造/安装、检查和维护海底基础设施(诸如桥、水坝、油气管道、钻井平台部件、电信电缆等)，并且所有这些行为需要精确地解析水下图像，以便被有效执行。而且，必须在海平面下维护和检查商用的或者用于游览目的的船只。如果船只小，这通过将其提出海面进行。如果船只大，则既可通过潜水员也可通过配备了视频的远程操作的运载工具(ROV)来进行。所处理的视频连续镜头给出了潜在问题非常好的画面。问题是当海床被偶然扰动时，泥沙将阻碍任何进一步的工作，直到海床已经平静为止。这是危险的，并且导致效率问题。依赖于水质量、泥沙和粒子数量以及上述可见度干扰之外的其他因素，任何水下建设或检查因为可见度问题而是困难的。
因此，需要找到在这种情况下便于人对图像的解析的方法和装置，以便有可能与配备了视频的“ROV”相结合地减少用于执行这样的行为和改善安全所需要的时间和成本。
医疗应用在医疗记录或者检查情况中(例如在眼科手术、眼底检查、皮肤图像查看、在内窥镜图像中的局部细胞变化的识别等期间)，诸如血球之类的各种粒子使得人对图像的解析更困难，这可能导致精细医疗方面的误诊和/或误判断。除了使人痛苦之外，这在社会和病人的成本上引起经济问题，其中一些病人可能不得不在他们的余生中带着严重的伤残生活。因此，需要提供克服或减少这些问题的装置和方法。
海洋考古学海洋考古学意味着对海底的扰动，具有较大的能见度问题。通常，搜索人工制品的唯一可能是通过“真空处理”和过滤，但是这破坏了许多信息，例如人工制品的位置。因此，需要提供克服或减少这些问题的装置和方法。
陆地考古学如果有可能使用飞机安装的视频设备，则找到挖掘的位置更有效。但是，问题是现在不能获得能够通过在土壤颜色方面的差别(例如来自房屋和其他建筑的柱孔)来找到遗迹的有效图像处理技术。因此，需要提供克服或减少这些问题的装置和方法。
而且，在考古挖掘中的大多数断代估计是通过了解来自不同时期的不同土壤层来进行的。因此，需要提供能够便于对不同土壤检测和解析以提供以精确和安全方式估计土壤的“历史年代”的可能的有效方法和手段。
农业被污染的土壤区域在颜色上与周围区域略微不同。所述色差可以如此小以至于难以以完全的视觉查看来检测它。因此，需要提供能够便于对污染土壤的检测的有效方法和装置。
可以通过略微的色差来观察农作物质量和生长状态。所述色差可以如此小以至于难以以纯粹的视觉查看来检测它。需要提供能够以精确、安全和有效方式来根据所述色差检测农作物质量和生长状态的有效方法和手段。
食品安全食品和食物的质量变差通常将其本身显示为小的色差，诸如，食用肉在变质时变得更黑。需要提供能够以精确、安全和有效的方式来根据所述色差检测食品质量变差的有效方法和手段。
能源系统在许多情况下，为了电力网计划、维护和控制的目的(例如在风暴等后的电源故障情况下)，执行空中检查。因此，需要提供能够便于对在这样的空中检查期间捕获的图像的精确解析、便于电力网的有效计划、操作、维护和控制的有效方法和装置。
森林在许多情况下，在森林维护和控制中使用空中检查，以例如调查/估计质量、生长、健康状况、环境问题、非法伐木等。需要提供能够便于对在这样的空中检查期间捕获的图像的精确解析、允许对森林的有效检查、维护和控制的有效方法和装置。
监控/安全/监视设想紧接在机场终端建筑物的房顶下面安装的监视旋转摄像头。所述摄像头可以倾斜，并且主要指向停机坪。所述摄像头用于安全监视以及一般的行为监视。进一步设想气象情况是有雾。在这种情况下，一个问题当然是低能见度阻碍了对未授权人员的检测，可以例如通过穿戴的服装和/或具有特定形状和/或反射特性的物体来识别所述未授权人员。因此，需要提供能够精确地将在困难的图像条件期间捕获的彩色图像中的授权人员与未授权人员相区别的有效方法和装置。
在该背景技术部分中给出的信息意欲更好地理解本发明，并且没有信息由于其在本背景技术部分中的提及而被认为是本发明的现有技术。
因此，需要找到解决或减轻如上所述的问题并且能够例如对于如上所述的应用以有效和有效率的方式来检测在彩色图像中的各种物体表示的方法和装置。
发明内容
本发明的一个目的是提供解决或减轻如上所述问题的方法和装置，其能够对于例如如上所述的应用，以有效和有效率的方式来检测在彩色图像中的各种物体表示。
本发明的一个目的是便于对彩色图像的人解析(human interpretation)。
本发明的另一个目的是提供在使用上通用的、用户友好的、交互的图像处理部件，以便以经济的方式在大量的不同应用和情况中便于对彩色图像的人解析。
本发明的另一个目的是提供被特别适配来用于如上所述的各种应用的装置，它们以有效和有效率的方式解决/减轻上述问题/缺陷，和/或满足了上述需要。
本发明通过提供一种图像处理方法以及按照本发明的方法工作的一组装置和器件来基本上实现此目的，所述图像处理方法便利了对彩色图像中的物理物体表示的人检测(human detection)。
按照第一方面，本发明通过提供一种用于检测在由至少两个不同的彩色像素矩阵MN形成的彩色图像IC中的物理物体表示的方法来实现上述目的，其中，至少通过包括下面步骤的直方图均衡处理步骤来处理所述图像IC-从所述至少两个不同的彩色像素矩阵MN中选择至少第一彩色像素矩阵M1，-至少对于所述第一彩色像素矩阵M1，独立地执行直方图均衡处理步骤，形成所述第一彩色像素矩阵的更新的版本M1’，-形成所述图像IC的更新版本IC’，使得IC’包括至少所述更新的彩色像素矩阵M1’，-在显示器上显示所述更新的版本IC’，由此，所述更新的彩色图像表示IC’通过突出在所述彩色图像表示IC’中的所述物体表示而便利了所述物体表示的人检测。
按照本发明，通常，对于所述彩色像素矩阵MN的每一个和全部矩阵分别执行所述直方图均衡步骤，形成所述彩色像素矩阵的更新的版本MN’，并且形成所述图像IC的更新版本IC’，以便IC’包括所有所述更新的彩色像素矩阵MN’。
在一个实施例中，按照本发明的方法包括在所述直方图均衡步骤之前执行的第一类型的预洗步骤(pre-wash step)，其中，所述第一类型的预洗步骤包括下面的步骤-对于至少一个特定的彩色像素矩阵，建立强度直方图IHI，-选择所述强度直方图IHI的像素强度值的至少一个范围，-通过丢弃在所述范围内的强度直方图值来建立所述强度直方图的更新的版本IHI’，
-使用IHI’作为输入以提供给后面的直方图均衡步骤，用于进一步的处理。
在另一个实施例中，按照本发明的所述方法包括第二类型的预洗步骤，它是在所述直方图均衡步骤之前被执行的，其中，所述第二类型的预洗步骤包括下面的步骤-识别在所述图像表示IC中的至少一个不期望的像素区域，并且-丢弃在形成所述图像表示的更新的版本IC’的所述区域内的所有像素值，-使用I’HI作为输入提供后面的直方图均衡步骤，以用于进一步的处理。可以例如通过图像分割算法(例如文本识别算法)来执行所述识别步骤。所述识别步骤可以包括例如通过在显示所述图像IC的显示器上移动指示部件的人交互。
在一个实施例中，所述直方图均衡处理步骤包括下面的步骤-计算所述第一彩色像素矩阵M1的强度分布直方图IDH，-计算所述IDH的归一化累加和NCS，-选择所述归一化累加和NCS的门限值K，-根据所述门限值K来识别在IDH中的限定像素强度值的第一范围RAB的像素强度值A和B，-通过丢弃在所述范围RAB之外的所有像素强度值来形成所述强度分布直方图的更新的版本IDH’，-将在所述第一范围RAB中的像素值映射到像素强度值的第二更大范围RAB’上。可以通过定位控制装置而通过人交互来选择所述门限值K。
在另一个实施例中，按照本发明的所述方法包括步骤通过使用具有至少在大约400和800nm之间的频谱范围的传感器来捕获所述彩色图像表示IC。
在另一个实施例中，按照本发明的所述处理方法应用于基于逐个图像的连续彩色图像的序列。
在另一个实施例中，按照本发明的所述方法包括下面的步骤-在所述直方图均衡步骤之前通过复制IC而在所述存储部件中存储所述彩色图像表示IC的至少一个相同版本，在所述存储部件中形成所述图像IC的至少两个存储版本IC、IC2，-使用相对于IC2的参数设置的、关于预洗类型和/或拉伸因子K和/或IC的矩阵组合的不同参数设置来并行地对于所述至少两个相同的彩色图像IC、IC2执行所述直方图均衡步骤，并且-形成至少两个更新的图像IC’、IC2’，并且-在显示部件上显示所述更新的图像IC’、IC2’。
按照第二方面，本发明提供了一种具有存储的计算机程序代码单元的计算机可读介质，其中，所述存储的程序代码单元包括程序代码单元，用于当所述程序被载入到计算机中时使得所述计算机执行用于实现按照本发明的所述方法的至少一个处理。
按照第三方面，本发明提供了一种图像处理装置，它具有处理部件，所述处理部件访问通过捕获部件捕获的在存储部件中的、或者通过数据通信部件、或者通过视频连接部件的彩色图像IC的数字表示，其中，所述存储部件具有存储的程序代码单元，用于当所述程序代码单元被载入到所述处理部件中时使得所述处理部件执行用于实现按照本发明的所述方法的至少一个处理。
在一个实施例中，所述图像处理装置包括与所述处理部件互连的交互控制部件，其中，所述交互控制部件允许对所述门限值K的交互控制，由此，允许对在所述直方图均衡步骤中的强度分布扩展度的交互控制。
所述显示部件可以被配置成与交互指示部件交互。
在一个实施例中，按照本发明的图像处理装置包括交互预洗选择部件和/或选择部件，所述选择部件允许交互选择使用更新的彩色像素矩阵MN’的那些特定组合来形成所述更新的图像IC’。
按照第四方面，本发明提供了一种照相机，其包括按照本发明的第三方面的装置。
按照第五方面，本发明提供了一种摄像机，其包括按照本发明的第三方面的装置。
按照第六方面，本发明提供了一种用于检测在彩色图像中的物理物体表示的检测器，所述检测器包括用于提供特定照明条件的装置以及按照本发明的第三、第四或者第五方面的装置。
按照第七方面，本发明提供了一种安全监视和/或监控系统，其包括按照本发明的第三、第四、第五或者第六方面的装置。
按照第八方面，本发明提供了一种工具，其包括按照本发明的第三、第四、第五、第六或者第七方面的装置。
按照第九方面，本发明提供了按照本发明的第八方面的运输工具，其中，所述图像处理装置包括显示部件，其被适配来用于将所述图像IC投影到所述运输工具的至少一个风档上。
按照第十方面，本发明提供了一种远程操作的运输工具，包括彩色图像捕获部件，用于与按照本发明的第三、第四、第五、第六或者第七方面的装置通信。
按照第十一方面，本发明提供了一种用于检查人眼内部部分的装置，其包括用于从眼睛内部捕获彩色图像的部件，其中，所述捕获部件与按照本发明的第三、第四、第五、第六或者第七方面的装置连接。
按照第十二方面，本发明提供一种面罩，其包括彩色图像显示部件，所述彩色图像显示部件被配置用于目视(eye view)，其中，所述显示部件与按照本发明的第三、第四、第五、第六或者第七方面的装置连接。
尽管已经在上面总结了本发明，但是本发明通过所附的权利要求1-27来限定。
当阅读下面的说明书和权利要求以及附图时，本发明的这些和其他特征、方面和优点将变得更清楚。
图1是按照本发明的装置的功能方框图；图2是图解按照本发明的方法的流程图；图3是图解在图2中的步骤250的流程图；图4是图解在图3中的步骤360的流程图；图5是图解在单个彩色通道的直方图均衡之前的强度分布直方图IDH和直方图均衡之后的强度分布直方图IDH’；图6图解了单个彩色信道的归一化的累加和NCS的形成；图7图解了通过选择门限值K而选择适当的范围RAB；图8图解了NCS的线性效果；图9图解了按照本发明的一个实施例的预洗步骤；
图10是图解按照本发明的方法的一个实施例的流程图。
具体实施例方式
现在将参照附图来更详细地说明本发明。
图1是图解按照本发明的彩色图像处理装置100的功能方框图。所述装置100一般是适配的数字摄像机。镜头101(例如通常的照相机透镜)至少对于人眼可见的波长是可透射的。传感器102可以被配置以形成具有至少对于人眼可见的波长适当的敏感度的数字传感器阵列，即用于捕获图像的一个或多个传感器102的频谱范围被适配以涵盖至少人的视觉的波长，其表示通常的胶片或者普通的数字照相机传感器(大致在400和800nm之间的波长)。在传感器阵列中的每个元件(即像素)临时存储几个基色(通常是红色、绿色和蓝色)的值。数字化器103是传统的模数转换器，其用于将由传感器102捕获的彩色图像的模拟表示变换为所述彩色图像IC的数字表示。所述装置100还包括存储部件104(即任何合适的RAM存储器)；处理部件105(例如与其他适当硬件互连的CPU、ASIC电路、ALU，如本领域技术人员所公知的)；通信控制单元106(其可以包括用于将彩色图像转换为适当格式的转换器)，用于将处理部件105与模拟图像/视频输入/输出连接单元108以及数字图像/视频输入/输出连接器107互连；所述连接器107，可以是被适配用于与诸如数字照相机和/或网络连接(诸如因特网连接)之类的外部装置通信的特定(ad hoc)连接器，其被实现为例如传统电话调制解调器连接器或USB端口；显示器109，其与存储部件104和/或处理部件105连接，使得能够显示在存储器104中存储的彩色图像。
在一个实施例中，显示器109、处理部件105和存储部件104被配置以使得能够通过使用交互指示部件120(例如计算机鼠标或类似物)而交互地选择在显示器109上显示的彩色图像中的区域。这是已知的，将不在此进一步说明。
在一个实施例中，处理部件105与交互控制部件110和/或130和/或140(诸如选择按钮、旋钮或类似物)互连，使得能够交互控制预洗步骤215、240，以及交互控制直方图均衡步骤250的参数值，如下详细所述。在一个实施例中，控制部件130是具有5个不同位置的旋钮，用于根据应用来选择要采用什么类型的预洗，如下所述，但是存在其他可能性。在一个实施例中，控制部件140是具有7个不同位置的旋钮，用于当更新彩色图像时根据应用来选择要使用更新的彩色像素矩阵Mi’的那些具体组合。但是存在其他可能性。一般，控制部件110是具有N个不同位置的旋钮，用于根据应用来选择适当的门限值K，如下所述。
图2示出了图解按照本发明的方法的流程图。一般通过向处理部件105中载入在存储部件104中存储的软件程序来执行所述方法。
参见图2，按照本发明的方法以捕获步骤210开始，其用于获得在存储部件104中的彩色图像表示IC的存储版本。活动物体图像可以通过镜头101、进一步通过传感器102来捕获，然后由模数转换器103转换为数字格式，然后以已知方式存储到存储器104中，或者可以直接地经由连接器107或108从外部装置读取。模拟视频图像经由输入连接器108读取，由处理部件105和/或通信控制单元106解码和编码为适当的数字格式IC，然后以已知方式存储到存储器104中。数字视频图像经由输入连接器107读取，可能由处理部件105和/或通信控制单元106转换为更适当的数据格式，然后以已知方式存储到存储器104中。因此，在步骤210后，在存储器104中存在存储的适当格式的彩色图像的数字表示IC。在一个实施例中，适当的格式表示IC由一组独立的彩色通道或者彩色像素矩阵Mi构成，通常是一个矩阵用于红色，一个矩阵用于绿色，一个矩阵用于蓝色。按照本发明，所述一组矩阵包括至少两个不同的彩色矩阵。但是，本发明适用于所有类型的彩色图像，例如青色-品红色-黄色-黑色的编码图像，因为可以以已知方式将任何彩色图像转换为所述适当的数据格式IC。
所述方法然后进行到选择步骤211，其中，处理部件105读取交互控制部件110、130和140中的每一个部件和全部部件的位置。如果控制部件130位于其第一位置(1)，则所述方法进行到预洗步骤215，如下详细所述。如果控制部件130位于为第二位置(2)、第三位置(3)或者第四位置(4)，则所述方法进行到预洗步骤240，如下详细所述。如果控制部件130位于其第五位置(5)，则所述方法进行到直方图均衡步骤250，其中，建立所述彩色像素矩阵中的至少一个矩阵M1的更新版本M1’。下面参照图3更详细地说明步骤250。所述方法从预洗步骤215和240进行到直方图均衡步骤250。在步骤250后，按照本发明的所述方法进行到步骤290，其中，通过组合所述更新的像素矩阵版本M1’和至少一个其他像素矩阵Mi或者更新的像素矩阵Mi’来建立图像IC的更新的版本IC’。在步骤S290中，在存储器104中存储更新的图像表示Ic’。在步骤295中，以已知方式在显示器109上显示在存储器104中的更新的图像表示Ic’。
因此，按照本发明，对至少一个像素矩阵执行直方图均衡步骤，但是，当所有三个像素矩阵被直方图均衡时通常获得最佳结果，从而所述图像Ic’的更新版本由所有三个彩色像素矩阵(即绿色、红色和蓝色)的更新版本构成。但是，不对所有像素矩阵直方图均衡可能是有益的。按照本发明，重要的是对不同彩色像素矩阵Mi分别执行直方图均衡步骤250。
因此，在图3中所示的一个实施例中，直方图均衡步骤250在这种情况下包括第一直方图均衡步骤360，用于所述第一彩色像素矩阵M1(例如绿色)；第二直方图均衡步骤370，用于第二彩色像素矩阵M2(例如红色)；第三直方图均衡步骤380，用于剩余的彩色像素矩阵M3(例如蓝色)。按照本发明的所述方法在步骤380后进行到步骤385。在步骤385选择在所述更新步骤290中将使用那些更新的像素矩阵Mi’:s。因此，在步骤290后，更新的图像Ic’将由至少这些所选择的矩阵Mi:s构成。在一个实施例中，通过定位选择部件140而交互地执行在步骤385中的选择。因此，在一个实施例中，如果选择部件140处于其第一、第二或者第三位置，则仅仅选择一个更新的彩色矩阵M1(即绿色或红色或蓝色)，如果选择部件140处于其第四、第五或者第六位置，则选择两个更新的彩色像素矩阵Mi’:s(即红色和绿色、红色和蓝色或者绿色和蓝色)的组合，如果选择部件140处于其第七位置，则选择所有三个更新的彩色像素矩阵Mi’:s，但是对于本领域技术人员来说，明显存在其他可能。
直方图均衡步骤360、370和380完全类似，仅仅在此参照附图4、5、6、7和8详细说明步骤360。
在一个实施例中，如图4中所示执行直方图均衡步骤。如图4中所示，直方图均衡在步骤401开始，其中，计算所关心的彩色像素矩阵Mi的强度分布直方图IDH。这是通过下述方式而进行的对于所有量化的彩色强度值(例如在8比特量化的情况下的256个值，即28＝256)，计数具有特定彩色强度的矩阵Mi中的像素的数量，并且根据所述计数来形成在图5中图解的直方图分布图。图5是图解了在直方图均衡步骤250之前的彩色矩阵Mi的IDH(由灰色圆圈表示)和在直方图均衡步骤250之后的彩色矩阵Mi的IDH(由黑色三角形表示)。如图5中所示，在直方图均衡之前，彩色像素矩阵Mi包括仅仅在大约60和160的量化值之间的范围中的强度值，直方图均衡步骤250“拉伸”强度分布，以便形成例如在图5中的由灰色条图解的结果。
所述方法从步骤401进行到步骤410，其中，计算IDH的归一化累加和NCS。在图6中，灰色圆圈表示在直方图均衡之前的IDH，黑色三角形图解所述IDH的NCS。所述方法然后进行到步骤420，其中，选择适当的门限值K。可以通过定位控制部件110来以交互方式完成此。按照本发明，K的选择依赖于应用和/或环境条件，例如，对于在雾中的着陆场(landing ground)，K的适当值可以是K1；对于深水下的应用，K的适当值可以是K2；对于在热带水中的水下应用，K的适当值可以是K3，等等。
一般，K是拉伸因子，用于确定有多少IDH应当被“伸展”，即强度分布扩展的程度。通常，IDH被伸展到其全范围，如图5中所示，但是本发明不限于此。
在一个实施例中，K表示百分比门限值，如图7中所示。在步骤420后，所述方法进行到步骤430，其中，通过将原始像素值重新映射到强度值的更大范围来伸展强度分布直方图IDH以形成更新的版本IDH’，如图5中所示。这可以通过首先选择IDH的第一范围RAB来实现，所述选择IDH的第一范围RAB是例如通过识别在具有对应于所述百分比门限值K和1-K的值A和B的NCS中的强度值来进行的，如图7中所示。在图7中，K被设置为5％，并且，在强度标度上，A的值是大约80，而B的值是大约140。其后从IDH去除在范围RAB之外的所有强度值(即低于A或者超过B的强度值)，并且IDH的像素值重新映射到像素强度值的第二更大范围RAB’。RAB’通常是整个量化范围，如图5中所示，但是存在其他可能性。可以通过形成适当的查找表而逐个像素地执行所述重新映射步骤，这对于本领域技术人员来说是公知的。直方图均衡步骤250因此给出了如图8中所示的更线性的累加直方图NCS。
直方图均衡本身是在几篇图像处理文献中描述的已建立的算法，所述图像处理文献例如Gonzalez，R.C.and Wintz，P.，Digital Image Processing，Addison-Wesley，Reading，MA，1987(Gonzalez，R.C.和Wintz，P.，数字图像处理，Addison-Wesley，Reading，MA，1987)。按照本发明，重要的是对于每个独立的彩色像素矩阵MN分别执行所述直方图均衡步骤。商用软件程序PhotoshopTM具有用于对独立的彩色通道执行直方图均衡的预先安装的功能，并且这些功能可以用作用于执行本发明的部分。
在一个实施例中，所述三个独立的直方图均衡步骤360、370和380都使用同一门限值K，并且彩色图像的更新的版本Ic由所有的更新的矩阵Mi’构成，但是本发明不限于此。
在一个实施例中，按照本发明的成像系统可以允许对于图像的不同部分/区域选择不同的K，以及累加直方图计算能够基于在图像中的每个像素的本地相邻像素(local neighbourhood)。这意味着例如通过使用分割算法(segmentation algorithm)，对于图像中的不同部分使用不同的K值，而与K的人工控制无关。例如，对于具有许多眩目粒子(blinding particle)的应用(诸如使用高功率灯的接近海底的深水作业等)，这个实施例会是有益的。
在胶片(即图像的序列)的情况下，按照本发明，可以对于序列中不同图像采用不同的K值。
对于实时应用特别有益的另一个可能是将按照本发明的方法并行地应用到至少两个相同的图像序列(即一个是另一个的拷贝)，并且彼此紧接地显示所述图像序列，特定参数设置(即预洗类型、矩阵组合和K值的固定组合)可以因此产生“最佳”图像序列，所述“最佳”图像序列当前可以与“扫描”图像序列相比较，以在实时地彼此紧接地并行显示期间搜索更好的替代设置。如果所述“扫描”图像序列提供了更高的感知的图像质量(即特定物体表示更突出)，则终端用户可以选择这个序列以作为使用预洗类型、矩阵组合和K值的这个固定组合的“最佳”图像序列，而前述的“最佳”序列开始搜索更佳的参数设置。以这种方式，可以以有效方式来获得随环境变化的连续适配和正确参数控制。图10是图解如何可以实现这个实施例的流程图。
在参照图2描述的步骤211或者215或者220或者225或者230后，在图10的步骤10中，所述彩色图像表示Ic的至少一个拷贝被建立并且存储在所述存储部件104中。因此，在步骤10后，在存储部件104中存在所述图像Ic的至少两个存储版本Ic、Ic2。在步骤20中，通常使用相对于Ic2的参数设置的、关于Ic的预洗类型和/或拉伸因子K和/或矩阵组合的不同参数设置来对于所述至少两个相同的彩色图像Ic、Ic2并行执行直方图均衡步骤。所述步骤20就是分别应用于Ic和Ic2的、参照图2、3和4所述的步骤250。在步骤30中，形成更新的图像版本Ic’、Ic2’。步骤30就是分别应用于Ic’和Ic2’的、参照图2所述的步骤290，并且其后，在步骤40在显示部件109上显示Ic’、Ic2’。
现在，往回参照图2，将更详细地说明预洗步骤215、220、225、230和240。
在步骤215中，识别在图像中人为引入的人工产物(artefact)的彩色内容，并且将其去除，如图9中所示。当通过数字装置来捕获模拟视频信号时，这样的人工产物经常发生。这些图像经常包含黑色/白色帧和/或文本和/或字母，用于指示位置、日期、时间、状态等。因此，在图9中，对应于在图9中的“WHITE(白色)”值的高强度像素值和对应于在图9中的“BLACK(黑色)”值的低强度像素值在直方图均衡步骤之前被丢弃。这可以通过使用用于图像处理的公知算法来实现。
可以通过步骤220或者225和230的任何一个或者其组合来实现步骤240(在图2中未示出)。在步骤240中，识别和去除图像Ic中的不期望的部分。
在步骤220，文本识别算法识别要在直方图均衡步骤之前去除在图像Ic中的那些部分。因此将丢弃在所述部分中的所有像素值。
在步骤225，通过人交互(human interaction)(例如通过在显示所述图像Ic的显示器109上移动指示部件120)来分割所述图像Ic。
在步骤230，被适配用于特定应用的图像分割算法识别要丢弃在图像Ic中的那些部分/像素(例如在使用高功率灯的接近海底的深水作业时，在图像中有许多眩目的粒子“浮动”的情况下)，可以丢弃具有超过门限值的强度的所有像素。另一种可能是使用分割算法，其识别在图像中具有已知形式的特定“固定”物体，诸如石油钻塔的一个部分/多个部分。这样的算法是已知的，并且在此不详细说明。
按照本发明的所述方法看起来在下述情况下给出了最佳的结果彩色图像的频谱动态范围限于每个通道/颜色的强度值的相对窄的部分。但是，本发明不限于仅仅这种情况。
可以例如通过计算机可读介质来实现按照本发明的所述装置，所述计算机可读介质诸如硬盘存储器、CD-ROM、磁带、快闪存储器等，并且具有要存储到所述存储器104中的存储的计算机程序代码单元，以使得所述处理部件105执行用于实现按照本发明的所述方法的至少一个处理。作为替代，可以完全使用硬件逻辑，诸如本领域技术人员所公知的ASIC电路。
在一个实施例中，以被适配的照相机或摄像机的形式来实现本发明，因此提供了方便的、相对小的和低重量的装置，其作为经济选择在使用中是移动和通用的。
在另一个实施例中，以检测器的形式来实现按照本发明的所述装置，所述检测器可以基于应用的特定方式来进行适配，例如，可以特定方式配置特定的灯以提供最佳的照明条件，例如，在食品安全的情况下，可以从下面照射肉片等等。在航空安全的情况下，检测器可以包括透镜，其在最佳位置(例如在机头下)与机体流线型地结合。而且，在运输工具应用的情况下，检测器显示部件可以被适配以便将图像投影在风挡上等。
在另一个实施例中，以包括按照本发明的至少一个装置的安全监视和/或监控系统的形式来实现本发明。
在另一个实施例中，以远程操作的运输工具的形式来实现本发明，所述远程操作的运输工具包括彩色图像捕获部件，用于例如通过电缆或者光缆、无线链路等与按照本发明的装置通信，这是经济的解决方案，因为以这种方式，仅仅需要针对恶劣(ROV)环境(例如水下)设计图像捕获部件。
在另一个实施例中，以用于检查人眼内部部分的装置的形式来实现本发明，所述装置包括用于从眼睛内部捕获彩色图像的部件，其中，所述捕获部件与用于执行按照本发明的方法的装置连接。所述装置可以以多种方式被适配，以例如用于通过例如指向眼睛的特定灯而获得最佳的照明条件，或者提供最佳的变焦和/或分辨率，和/或具有关于强度图拉伸的特定的预先安装的参数设置(例如，K的选择、用于形成更新图像的更新的彩色矩阵的组合以及预洗类型)以有效和有效率地检测特定的畸变和/或者疾病，和/或例如提供用于改善病人状况的其他配置(例如提供舒适和固定的头部支撑，以便最小化误诊的风险和/或检查所需时间)。
在另一个实施例中，以包括被配置来用于眼睛查看的彩色图像显示部件的面罩的形式来实现本发明，其中，所述显示部件与用于执行按照本发明的方法的装置连接。所述面罩可以为例如适配的护目镜的形式，其提供用于在例如在有雾/烟环境中的救援期间(例如在救火期间或者在驾驶员座舱中起火的情况下等)放大影象的特别有效的部件。
已经通过仅作为示例的方式来描述了本发明，并且本发明不限于此，例如，按照本发明的所述装置可以以许多不同方式、在单个装置或者几个物理上分离的装置中实现，本发明可以被应用在本申请中未明确提到的技术领域中，例如军事应用等。本领域技术人员可以进行多种修改。因此，仅仅由所附的权利要求来限定本发明的范围。
权利要求
1.一种用于检测在由至少两个不同的彩色像素矩阵MN形成的彩色图像IC中的物理物体表示的方法，其特征在于至少通过包括下面的步骤的直方图均衡处理步骤(250)来处理所述图像IC-从所述至少两个不同的彩色像素矩阵MN中选择至少第一彩色像素矩阵M1，-至少对于所述第一彩色像素矩阵M1，独立地执行直方图均衡处理步骤(360)，形成所述第一彩色像素矩阵的更新的版本M1’，-形成所述图像IC的更新版本IC’，使得IC’包括至少所述更新的彩色像素矩阵M1’，-在显示器(109)上显示所述更新版本IC’，由此，所述更新的彩色图像表示IC’通过突出在所述彩色图像表示IC’中的所述物体表示而便于对所述物体表示的人检测。
2.按照权利要求1的方法，其特征还在于对于所述彩色像素矩阵MN中的每一个和全部彩色像素矩阵分别执行所述直方图均衡步骤，形成所述彩色像素矩阵的更新的版本MN’，并且形成所述图像IC的更新版本IC’，以便IC’包括所述更新的彩色像素矩阵MN’中的所有矩阵。
3.按照权利要求1或2的方法，其特征还在于在所述直方图均衡步骤(250)之前执行预洗步骤(215)，其中，所述预洗步骤(215)包括下面的步骤-对于至少一个特定的彩色像素矩阵，建立强度直方图IHI，-选择所述强度直方图IHI的像素强度值的至少一个范围，-通过丢弃在所述范围内的强度直方图值来建立所述强度直方图的更新的版本IHI’，-使用IHI’作为输入而提供给后面的直方图均衡步骤(250)，以用于进一步的处理。
4.按照权利要求1或2的方法，其特征还在于在所述直方图均衡步骤之前执行预洗步骤(240)，其中，所述预洗步骤(240)包括下面的步骤-识别在所述图像表示IC中的至少一个不期望的像素区域，以及-丢弃在形成所述图像表示的更新的版本IC’的所述区域内的所有像素值，-使用I’HI作为输入而提供给后面的直方图均衡步骤(250)，以用于进一步的处理。
5.按照权利要求4的方法，其特征还在于通过图像分割算法(230)来执行所述识别步骤。
6.按照权利要求4的方法，其特征还在于通过文本识别算法(220)来执行所述识别步骤。
7.按照权利要求4的方法，其特征还在于所述识别步骤包括通过在显示所述图像IC的显示器上移动指示部件(120)的人交互(235)。
8.按照前述权利要求的任何一项权利要求的方法，其特征还在于所述直方图均衡处理步骤(250，360)包括下面的步骤-计算所述第一彩色像素矩阵M1的强度分布直方图IDH，-计算所述IDH的归一化累加和NCS，-选择所述归一化累加和NCS的门限值K，-根据所述门限值K来识别在IDH中的限定像素强度值的第一范围RAB的像素强度值A和B，-通过丢弃在所述范围RAB之外的所有像素强度值来形成所述强度分布直方图的更新的版本IDH’，-将在所述第一范围RAB中的像素值映射到像素强度值的第二更大范围RAB’上。
9.按照权利要求8的方法，其特征还在于所述选择所述门限值K的步骤包括通过定位控制装置(110)的人交互。
10.按照上述权利要求的任何一项权利要求的方法，其特征还在于它还包括步骤通过使用具有至少在大约400和800nm之间的频谱范围的传感器(102)来捕获所述彩色图像表示IC。
11.按照上述权利要求的任何一项权利要求的方法，其特征还在于其被应用于基于逐个图像的连续彩色图像的序列。
12.按照权利要求1-11的任何一项权利要求的方法，其特征还在于下面步骤-在所述直方图均衡步骤(250)之前通过复制IC而在所述存储部件(104)中存储所述彩色图像表示IC的至少一个相同版本，在所述存储部件(104)中形成所述图像IC的至少两个存储版本IC、IC2，并且使用相对于IC2的参数设置的、关于预洗类型和/或拉伸因子K和/或IC的矩阵组合的不同参数设置来并行地对所述至少两个相同的彩色图像IC、IC2执行所述直方图均衡步骤(250)，以及-形成至少两个更新的图像IC’、IC2’，以及-在显示部件(109)上显示所述更新的图像IC’、IC2’。
13.一种具有存储的计算机程序代码单元的计算机可读介质，其特征在于所述存储的程序代码单元包括程序代码单元，用于当所述程序被载入到计算机中时使得所述计算机执行用于实现按照权利要求1-12的任何一项权利要求的方法的至少一个步骤。
14.一种图像处理装置(100)，具有处理部件(105)，所述处理部件(105)访问通过捕获部件(101、102、103)捕获的在存储部件(104)中、或者通过数据通信部件(107)、或者通过视频连接部件(108)的彩色图像IC的数字表示，其特征在于所述存储部件(104)具有存储的程序代码单元，用于当所述程序代码单元被载入所述处理部件(105)中时使得所述处理部件(105)执行用于实现按照权利要求1-12的任何一项权利要求的方法的至少一个步骤。
15.按照权利要求14的图像处理装置(100)，其特征在于与所述处理部件(105)互连的交互控制部件(110)，其中，所述控制部件(110)允许门限值K的交互控制，由此，允许在所述直方图均衡步骤(250)中的强度分布扩展度的交互控制。
16.按照权利要求14的图像处理装置(100)，其特征在于它还包括显示部件(109)和/或集成的图像捕获部件(101、102、103)。
17.按照权利要求14的图像处理装置(100)，其特征在于所述装置(100)包括交互预洗选择部件(130)和/或交互指示部件(120)，被配置成与显示部件(109)交互。
18.按照权利要求14的图像处理装置(100)，其特征在于所述装置(100)包括选择部件(140)，所述选择部件(140)允许交互选择(385)更新的彩色像素矩阵MN’的那些特定组合以形成所述更新的图像IC’。
19.一种照相机，其特征在于它包括按照权利要求14-18的任何一项权利要求的装置。
20.一种摄像机，其特征在于它包括按照权利要求14-18的任何一项权利要求的装置。
21.一种用于检测在彩色图像中的物理物体表示的检测器，所述检测器包括用于提供特定照明条件的部件，其特征在于它包括按照权利要求14-20的任何一项权利要求的装置。
22.一种安全监视和/或监控系统，其特征在于它包括按照权利要求14-21的任何一项权利要求的装置。
23.一种运输工具，其特征在于它包括按照权利要求14-21的任何一项权利要求的装置。
24.按照权利要求23的运输工具，其特征在于所述装置包括显示部件，所述显示部件被适配来用于将所述图像IC投影到所述运输工具的至少一个风档上。
25.一种远程操作的运输工具，其特征在于它包括彩色图像捕获部件，用于与按照权利要求14-21的任何一项权利要求的装置通信。
26.一种用于检查人眼内部部分的装置，包括用于从眼睛内部捕获彩色图像的部件，其特征在于所述捕获部件与按照权利要求14-21的任何一项权利要求的装置连接。
27.一种面罩，包括彩色图像显示部件，所述彩色图像显示部件被配置来用于目视，其特征在于所述显示部件与按照权利要求14-21的任何一项权利要求的装置连接。
全文摘要
本发明一般涉及图像处理，具体上涉及便于对彩色图像中的物理物体表示的人检测的方法和装置，其具有广泛的应用，诸如航空和空运、陆地交通、航运、水底工程、水下调查、医疗检查、海洋考古、陆地考古、农业、监视和安全、食品安全、能源系统和森林。本发明通过提供一种通过执行直方图均衡处理步骤(250)的彩色图像表示Ic的图像处理方法来将实现此目的，所述彩色图像Ic由至少两个不同的彩色像素矩阵Mi形成，其中对于每个彩色像素矩阵分别执行所述直方图均衡处理步骤(250)。可以在直方图均衡处理步骤(250)之前应用不同的预洗步骤。本发明也提供了多个装置，它们被适配来用于使用按照本发明的方法的不同应用。
文档编号G06T5/40GK101040296SQ200580027223
公开日2007年9月19日 申请日期2005年6月8日 优先权日2004年6月11日
发明者安德斯·霍尔姆, 奥勒·霍尔姆 申请人:利英公司