随车起重机的人机操作室的制作方法

[0001]
本发明涉及随车起重机的技术领域，特别涉及随车起重机的人机操作室。


背景技术：

[0002]
随着基础建设的发展，随车起重机广泛应用于不同场合的工程建设中，随车起重机能够根据实际需要移动到不同位置区域对相应的目标物进行起重操作。随车起重机的运作都是依靠操作室内的操作人员来实现，操作人员通过控制操作室内的相关设备来完成随车起重机的起重升降和移动等不同类型的动作，但是这一过程都是依靠操作人员的人工操作来实现的，随车起重机的动作准确性决定于操作人员的操作熟练程度和反应速度，这大大地限制了随车起重机运行的自动性和可靠性。可见，现有技术需要能够辅助操作人员准确地和快速地控制随车起重机运作状态的人机操作室。


技术实现要素：

[0003]
针对现有技术存在的缺陷，本发明提供随车起重机的人机操作室，其包括操作人员状态检测模块、外部环境检测模块、信息显示模块、声音采集模块和室内设备声控模块；其中，该操作人员状态检测模块用于检测操作人员的坐姿状态信息和视线状态信息；该外部环境检测模块用于检测随车起重机所处的外部环境的障碍物存在信息；该信息显示模块用于根据该坐姿状态信息和/或该视线状态信息，适应性地投射显示该障碍物存在信息；该声音采集模块用于采集来自该操作人员的语音信息；该室内设备声控模块用于对该语音信息进行识别处理，并根据该识别处理的结果，调整操作室内相应设备的运行状态；可见，该随车起重机的人机操作室通过根据操作人员的坐姿状态信息和视线状态信息，适应性地投射显示外部环境的障碍物存在信息，以此保证操作人员能够全面地获得障碍物存在状态和提高操作人员对随车起重机的操作精度，而通过对来自操作人员的语音信息的识别结果来调整操作室内相应设备的运行状态，以此便于操作人员通过声控方式来同时控制不同设备，从而提高随车起重机的控制便捷性。
[0004]
本发明提供随车起重机的人机操作室，其特征在于，其包括操作人员状态检测模块、外部环境检测模块、信息显示模块、声音采集模块和室内设备声控模块；其中，
[0005]
所述操作人员状态检测模块用于检测操作人员的坐姿状态信息和视线状态信息；
[0006]
所述外部环境检测模块用于检测随车起重机所处的外部环境的障碍物存在信息；
[0007]
所述信息显示模块用于根据所述坐姿状态信息和/或所述视线状态信息，适应性地投射显示所述障碍物存在信息；
[0008]
所述声音采集模块用于采集来自所述操作人员的语音信息；
[0009]
所述室内设备声控模块用于对所述语音信息进行识别处理，并根据所述识别处理的结果，调整操作室内相应设备的运行状态；
[0010]
进一步，所述操作人员状态检测模块检测操作人员的坐姿状态信息具体包括：
[0011]
对所述操作人员进行双目拍摄，并对所述双目拍摄得到的图像进行分析处理，从
而得到所述操作人员的初始坐姿状态信息；
[0012]
对所述操作人员当前的运动状态进行三轴加速度检测处理，以此获取所述操作人员在当前运动状态下的三轴加速度信息，并根据所述三轴加速度信息，确定所述操作人员的六自由度位姿变化信息；
[0013]
利用所述六自由度位姿变化信息对所述初始坐姿状态信息进行修正，从而得到所述操作人员在操作室内的实时坐姿位姿信息；
[0014]
进一步，所述操作人员状态检测模块对所述操作人员进行双目拍摄，并对所述双目拍摄得到的图像进行分析处理，从而得到所述操作人员的初始坐姿状态信息具体包括：
[0015]
对所述操作人员进行双目拍摄，以此获得关于所述操作人员的第一视角图像和第二视角图像，并根据所述第一视角图像和所述第二视角图像之间的图像视差，得到所述操作人员的初始坐姿状态信息；
[0016]
所述操作人员状态检测模块利用所述六自由度位姿变化信息对所述初始坐姿状态信息进行修正，从而得到所述操作人员在操作室内的实时坐姿位姿信息具体包括：
[0017]
根据所述六自由度位姿变化信息，确定所述操作人员在偏航角、俯仰角和翻滚角上的角度变化值，并根据所述角度变化值，对所述初始坐姿位姿信息包含的偏航角、俯仰角和翻滚角进行修正，从而得到所述实时坐姿位姿信息；
[0018]
进一步，所述操作人员状态检测模块检测操作人员的视线状态信息具体包括：
[0019]
对所述操作人员的眼睛进行红外线扫描处理，并接收到达所述眼睛并被所述眼睛反射的红外线信号；
[0020]
并根据所述红外线扫描处理发射的红外线的传输方向和接收到的所述红外线信号的传输方向，确定所述操作人员的视线方向；
[0021]
再根据所述操作人员的视线方向，确定所述操作人员的视线范围；
[0022]
进一步，所述外部环境检测模块检测随车起重机所处的外部环境的障碍物存在信息具体包括：
[0023]
所述外部环境检测模块对所述随车起重机所处的外部环境进行全景拍摄，以此对应获得全景环境图像；
[0024]
并对所述全景环境图像进行降噪处理后，从所述全景环境图像中提取得到相应的图像轮廓信息，再根据所述图像轮廓信息，确定所述外部环境的障碍物存在位置信息和/或障碍物尺寸信息；
[0025]
进一步，所述信息显示模块根据所述坐姿状态信息和/或所述视线状态信息，适应性地投射显示所述障碍物存在信息具体包括：
[0026]
根据所述操作人员的实时坐姿位姿信息和视线范围，确定所述障碍物存在信息在预设屏幕上的投射位置和投射面积大小；
[0027]
根据所述投射面积大小，调整所述障碍物存在信息的显示分辨率后，将所述障碍物存在信息投射到所述预设屏幕的所述投射位置上；
[0028]
进一步，所述声音采集模块采集来自所述操作人员的语音信息具体包括：
[0029]
从所述操作室的不同方位位置同步采集来自所述操作人员的语音信息，并对所述语音信息进行背景噪声降噪处理；
[0030]
根据所述操作人员的声纹特征信息，从所述语音信息中提取得到相应的有效语音
信息；
[0031]
进一步，所述室内设备声控模块对所述语音信息进行识别处理，并根据所述识别处理的结果，调整操作室内相应设备的运行状态具体包括：
[0032]
对所述有效语音信息进行语音识别处理，以此从所述有效语音信息中提取得到相应的调整控制指令，并根据所述调整控制指令，调整操作室内相应设备的运行状态。
[0033]
相比于现有技术，该随车起重机的人机操作室包括操作人员状态检测模块、外部环境检测模块、信息显示模块、声音采集模块和室内设备声控模块；其中，该操作人员状态检测模块用于检测操作人员的坐姿状态信息和视线状态信息；该外部环境检测模块用于检测随车起重机所处的外部环境的障碍物存在信息；该信息显示模块用于根据该坐姿状态信息和/或该视线状态信息，适应性地投射显示该障碍物存在信息；该声音采集模块用于采集来自该操作人员的语音信息；该室内设备声控模块用于对该语音信息进行识别处理，并根据该识别处理的结果，调整操作室内相应设备的运行状态；可见，该随车起重机的人机操作室通过根据操作人员的坐姿状态信息和视线状态信息，适应性地投射显示外部环境的障碍物存在信息，以此保证操作人员能够全面地获得障碍物存在状态和提高操作人员对随车起重机的操作精度，而通过对来自操作人员的语音信息的识别结果来调整操作室内相应设备的运行状态，以此便于操作人员通过声控方式来同时控制不同设备，从而提高随车起重机的控制便捷性。
[0034]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0035]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明提供的随车起重机的人机操作室的结构示意图。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
参阅图1，为本发明实施例提供的随车起重机的人机操作室的结构示意图。该随车起重机的人机操作室包括操作人员状态检测模块、外部环境检测模块、信息显示模块、声音采集模块和室内设备声控模块；其中，
[0040]
该操作人员状态检测模块用于检测操作人员的坐姿状态信息和视线状态信息；
[0041]
该外部环境检测模块用于检测随车起重机所处的外部环境的障碍物存在信息；
[0042]
该信息显示模块用于根据该坐姿状态信息和/或该视线状态信息，适应性地投射显示该障碍物存在信息；
[0043]
该声音采集模块用于采集来自该操作人员的语音信息；
[0044]
该室内设备声控模块用于对该语音信息进行识别处理，并根据该识别处理的结果，调整操作室内相应设备的运行状态。
[0045]
上述技术方案的有益效果为：通过根据操作人员的坐姿状态信息和视线状态信息，适应性地投射显示外部环境的障碍物存在信息，以此保证操作人员能够全面地获得障碍物存在状态和提高操作人员对随车起重机的操作精度，而通过对来自操作人员的语音信息的识别结果来调整操作室内相应设备的运行状态，以此便于操作人员通过声控方式来同时控制不同设备，从而提高随车起重机的控制便捷性。
[0046]
优选地，该操作人员状态检测模块检测操作人员的坐姿状态信息具体包括：
[0047]
对该操作人员进行双目拍摄，并对该双目拍摄得到的图像进行分析处理，从而得到该操作人员的初始坐姿状态信息；
[0048]
对该操作人员当前的运动状态进行三轴加速度检测处理，以此获取该操作人员在当前运动状态下的三轴加速度信息，并根据该三轴加速度信息，确定该操作人员的六自由度位姿变化信息；
[0049]
利用该六自由度位姿变化信息对该初始坐姿状态信息进行修正，从而得到该操作人员在操作室内的实时坐姿位姿信息。
[0050]
上述技术方案的有益效果为：通过对操作人员进行双目拍摄后得到的图像进行分析处理能够获得操作人员的初始坐姿状态信息，再通过检测操作人员在当前运动状态下的三轴加速度信息确定操作人员的六自由度位姿变化信息，以此修正该初始坐姿状态信息，这样能够在操作人员运动状态发生连续变化的情况下，也能够精准地得到操作人员的实时坐姿位姿信息。
[0051]
优选地，该操作人员状态检测模块对该操作人员进行双目拍摄，并对该双目拍摄得到的图像进行分析处理，从而得到该操作人员的初始坐姿状态信息具体包括：
[0052]
对该操作人员进行双目拍摄，以此获得关于该操作人员的第一视角图像和第二视角图像，并根据该第一视角图像和该第二视角图像之间的图像视差，得到该操作人员的初始坐姿状态信息；
[0053]
该操作人员状态检测模块利用该六自由度位姿变化信息对该初始坐姿状态信息进行修正，从而得到该操作人员在操作室内的实时坐姿位姿信息具体包括：
[0054]
根据该六自由度位姿变化信息，确定该操作人员在偏航角、俯仰角和翻滚角上的角度变化值，并根据该角度变化值，对该初始坐姿位姿信息包含的偏航角、俯仰角和翻滚角进行修正，从而得到该实时坐姿位姿信息。
[0055]
上述技术方案的有益效果为：通过双目拍摄在不同视角位置获得关于操作人员的第一视角图像和第二视角图像，并利用相应的图像视差确定该初始坐姿状态信息，再利用该六自由度位姿变化信息，对该初始坐姿位姿信息包含的偏航角、俯仰角和翻滚角进行修正，能够在三维空间上对该初始坐姿位姿信息进行细化的修正，从而提高该实时坐姿位姿信息的可信度。
[0056]
优选地，该操作人员状态检测模块检测操作人员的视线状态信息具体包括：
[0057]
对该操作人员的眼睛进行红外线扫描处理，并接收到达该眼睛并被该眼睛反射的红外线信号；
[0058]
并根据该红外线扫描处理发射的红外线的传输方向和接收到的该红外线信号的传输方向，确定该操作人员的视线方向；
[0059]
再根据该操作人员的视线方向，确定该操作人员的视线范围。
[0060]
上述技术方案的有益效果为：通过对该操作人员的眼睛进行红外线扫描定位跟踪，能够确保该操作人员的眼睛发生连续转动的情况下，依然能够对眼睛进行及时有效的跟踪以及提高操作人员视线范围的确定可靠性。
[0061]
优选地，该外部环境检测模块检测随车起重机所处的外部环境的障碍物存在信息具体包括：
[0062]
该外部环境检测模块对该随车起重机所处的外部环境进行全景拍摄，以此对应获得全景环境图像；
[0063]
并对该全景环境图像进行降噪处理后，从该全景环境图像中提取得到相应的图像轮廓信息，再根据该图像轮廓信息，确定该外部环境的障碍物存在位置信息和/或障碍物尺寸信息。
[0064]
上述技术方案的有益效果为：由于当全景环境图像中的障碍物存在位置和障碍物尺寸不同时，该全景环境图像中的图像轮廓信息也相应不同，这样通过对该外部环境的全景环境图像进行降噪处理和图像轮廓信息的分析处理，能够精确地确定该外部环境的障碍物存在位置信息和/或障碍物尺寸信息。
[0065]
优选地，该信息显示模块根据该坐姿状态信息和/或该视线状态信息，适应性地投射显示该障碍物存在信息具体包括：
[0066]
根据该操作人员的实时坐姿位姿信息和视线范围，确定该障碍物存在信息在预设屏幕上的投射位置和投射面积大小；
[0067]
根据该投射面积大小，调整该障碍物存在信息的显示分辨率后，将该障碍物存在信息投射到该预设屏幕的该投射位置上。
[0068]
上述技术方案的有益效果为：由于操作人员的坐姿状态和/或视线状态发生变化时，操作人员在预设屏幕上的实际观看范围也会发生变化，而根据该操作人员的实时坐姿位姿信息和视线范围，确定该障碍物存在信息在预设屏幕上的投射位置和投射面积大小，能够保证操作人员处于不同坐姿状态和/或视线状态情况下，依然能够全面地和清晰地观看到该障碍物存在信息，而根据该投射面积大小，调整该障碍物存在信息的显示分辨率，能够提高操作人员对该障碍物存在信息的观看灵敏度。
[0069]
优选地，该声音采集模块采集来自该操作人员的语音信息具体包括：
[0070]
从该操作室的不同方位位置同步采集来自该操作人员的语音信息，并对该语音信息进行背景噪声降噪处理；
[0071]
根据该操作人员的声纹特征信息，从该语音信息中提取得到相应的有效语音信息。
[0072]
上述技术方案的有益效果为：通过在操作室的不同方位位置同步采集来自该操作人员的语音信息，能够最大限度地提高语音信息采集的全面性和有效避免发生采集遗漏的情况，而对该语音信息进行背景噪声降噪处理和有效语音信息的提取，能够准确地得到只
与该操作人员匹配的语音信息，从而降低其他语音信息的干扰性。
[0073]
优选地，该室内设备声控模块对该语音信息进行识别处理，并根据该识别处理的结果，调整操作室内相应设备的运行状态具体包括：
[0074]
对该有效语音信息进行语音识别处理，以此从该有效语音信息中提取得到相应的调整控制指令，并根据该调整控制指令，调整操作室内相应设备的运行状态。
[0075]
上述技术方案的有益效果为：通过对该有效语音信息进行语音识别处理得到相应的调整控制指令，再根据该调整控制指令，调整操作室内相应设备的运行状态，这样能够使得操作人员在双手无法操控设备的情况下，通过语音控制的方式就能够快速地调整不同设备的运行状态，从而提高操作人员的操作效率。
[0076]
从上述实施例的内容可知，该随车起重机的人机操作室包括操作人员状态检测模块、外部环境检测模块、信息显示模块、声音采集模块和室内设备声控模块；其中，该操作人员状态检测模块用于检测操作人员的坐姿状态信息和视线状态信息；该外部环境检测模块用于检测随车起重机所处的外部环境的障碍物存在信息；该信息显示模块用于根据该坐姿状态信息和/或该视线状态信息，适应性地投射显示该障碍物存在信息；该声音采集模块用于采集来自该操作人员的语音信息；该室内设备声控模块用于对该语音信息进行识别处理，并根据该识别处理的结果，调整操作室内相应设备的运行状态；可见，该随车起重机的人机操作室通过根据操作人员的坐姿状态信息和视线状态信息，适应性地投射显示外部环境的障碍物存在信息，以此保证操作人员能够全面地获得障碍物存在状态和提高操作人员对随车起重机的操作精度，而通过对来自操作人员的语音信息的识别结果来调整操作室内相应设备的运行状态，以此便于操作人员通过声控方式来同时控制不同设备，从而提高随车起重机的控制便捷性。
[0077]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。