应用数字孪生与增强现实技术的可以帮助矿山井下人员安全

1.本发明涉及矿山井下安全监控防护和管理技术领域，特别是涉及一种应用数字孪生与增强现实技术的矿山井下人员安全系统。

背景技术：

2.数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射从而反映相对应的实体装备的全生命周期过程。而随着数字孪生技术的快速发展，地下矿山的智能化开采也取得了较大的进步。目前，矿山的数字孪生技术主要用于构建与更新矿山地表、井下工程环境和人员、装备、设备及其附加属性的实时动态三维模型；而矿山增强现实技术主要用于安全教育培训课程工作。这两门技术在矿山的应用较为简单，没有深度挖掘其内在安全方面的应用场景，无法实现井下作业人员利用增强现实技术掌握矿山数字孪生实时动态三维模型，也无法实现已接收危险作业环境及周边大型设备的视觉信息和安全预警。

3.现有的技术提供了一种矿井无人化综掘工作面数字孪生智能监控模型仿真系统，这种技术通过构建数字孪生模型，基于机器视觉和边缘计算，利用深度学习算法进行感知分析、仿真模拟、迭代优化与决策控制；基于数据孪生和数据驱动，通过虚拟空间数字孪生无人化综掘工作面实现对远程物理空间矿井无人化综掘工作面的实时监控、智能感知、精准定位和健康预测，随后通过vr或ar人机接口实现数字孪生体与物理实体的实时交互及虚拟监控。这种技术虽然结合了数字孪生技术与增强现实技术，能够通过视频显示终端实时显示三维模型，但是，这种技术对于数字孪生与增强现实技术的挖掘并不深刻，各项功能不够完善，没有安全方面的应用，且工作人员长时间佩戴增强现实显示终端观看三维模型很容易产生疲惫感，且三维模型里信息过多，影响使用者及时获取所需信息。

4.因此，设计一种能够同时显示二维模型与三维模型、能够调节各个模型的场景范围并能实时提供安全预警信息的应用数字孪生与增强现实技术的矿山井下人员安全系统就很有必要。

技术实现要素：

5.为了克服上述问题，本发明提供一种应用数字孪生与增强现实技术的矿山井下人员安全系统，利用数字孪生技术与增强现实技术将当前环境的三维模型同步传递给井下作业人员，同时根据三维模型构建二维模型，以更加简洁的方式获取周边环境信息，且能够调整可视场景的范围并按照相应的比例呈现，便于查看更远处的信息。

6.为实现上述的目的，本发明采用的技术方案是：

7.一种应用数字孪生与增强现实技术的矿山井下人员安全系统，包括服务器、构建于所述服务器内的3d虚拟场景、植入所述3d虚拟场景内的若干数字孪生体、以及分别与所述服务器通讯连接的数据采集装置与增强现实显示终端，所述若干数字孪生体分别对应与若干物理实体双向通讯连接，所述增强现实显示终端包括显示屏幕、映射于所述显示屏幕

上的3d模拟场景与2d模拟场景、以及控制所述3d模拟场景的映射范围的3d范围调整模块与控制所述2d模拟场景的映射范围的2d范围调整模块。

8.进一步的，所述数据采集装置遍布矿区地表与矿区井下，并包括倾斜摄像装置、三维激光扫描仪、全站仪、gps定位装置、uwb定位装置、气体传感器、以及地压传感器，所述服务器存储所述数据采集装置所采集的各项数据与当前所述数据采集装置的位置信息，并根据各项数据实时更新所述3d虚拟场景与所述数字孪生体。

9.进一步的，所述增强现实显示终端还包括分别与所述服务器通讯连接的视觉追踪模块与定位模块，所述视觉追踪模块用于追踪佩戴所述增强现实显示终端的物理实体的视线变化，所述定位模块用于定位所述增强现实显示终端的当前位置信息；所述服务器根据所述增强现实显示终端传递的当前位置信息与视线范围内的场景与物理实体，调取相对应的所述3d虚拟场景与数字孪生体后构建3d模拟场景并映射于所述显示屏幕上，以实现佩戴所述增强现实显示终端的物理实体的视角的周边范围可视及不可视的矿山井下工程三维模型的实时动态更新。

10.进一步的，所述服务器根据当前矿山井下工程三维模型对应的3d虚拟场景，截取同一水平面内的所述3d虚拟场景中各个物理实体的位置及实际环境的分布走向，从而构建所述3d虚拟场景对应的2d模拟场景；所述服务器内存储有所述若干数字孪生体映射于二维平面时的标记符号，并根据所述3d模拟场景中各个数字孪生体的信息在2d模拟场景中对应位置处显示数字孪生体对应的标记符号。

11.进一步的，所述3d模拟场景为三维透视模型，用于映射当前视线范围内可视的场景与物理实体、以及映射范围内被可视的场景与物理实体所遮挡的场景与物理实体，所述3d模拟场景实时显示当前场景内各个数字孪生体的名称及相应的工作信息。

12.进一步的，所述增强现实显示终端还包括与所述服务器通讯连接的预警模块，所述服务器对所述增强现实显示终端的当前位置范围内的数据采集装置所采集的各项信息进行风险评估，以生成所述增强现实显示终端在当前位置范围内的预警信息，并将预警信息传递给所述预警模块；所述预警模块与设置于所述增强现实显示终端上的报警组件电连接，以控制所述增强现实显示终端在所述3d模拟场景上叠加可视化的显示所述预警信息，并控制报警组件发出警报声或播放预警信息，所述预警信息包括危险气体预警、不稳固围岩预警、昏暗的危险环境预警、被遮挡人员预警、以及被遮挡大型设备预警。

13.进一步的，所述3d范围调整模块与设置于所述增强现实显示终端上的3d范围调整按钮电连接，以调整所述增强现实显示终端当前视线范围的最大延伸区域，所述3d范围调整模块包括一级3d模式、二级3d模式、以及三级3d模式。

14.进一步的，位于所述一级3d模式下的所述3d模拟场景为以当前增强现实显示终端为中心向外辐射10m范围内的模拟场景与数字孪生体，并将所述模拟场景与数字孪生体按照1：1的比例呈现；位于所述二级3d模式下的所述3d模拟场景为以当前增强现实显示终端为中心向外辐射20m范围内的模拟场景与数字孪生体，并将所述模拟场景与数字孪生体按照1：0.5的比例呈现；位于所述三级3d模式下的所述3d模拟场景为以当前增强现实显示终端为中心向外辐射30m范围内的模拟场景与数字孪生体，并将所述模拟场景与数字孪生体按照1：0.25的比例呈现。

15.进一步的，所述2d范围调整模块与设置于所述增强现实显示终端上的2d范围调整

按钮电连接，以调整所述增强现实显示终端当前视线范围的最大延伸区域，所述2d范围调整模块包括一级2d模式、二级2d模式、以及三级2d模式。

16.进一步的，位于所述一级2d模式下的所述2d模拟场景为以当前增强现实显示终端为中心向外辐射10m范围内的模拟场景与数字孪生体，并将所述模拟场景与数字孪生体按照1：1的比例呈现；位于所述二级2d模式下的所述2d模拟场景为以当前增强现实显示终端为中心向外辐射20m范围内的模拟场景与数字孪生体，并将所述模拟场景与数字孪生体按照1：0.5的比例呈现；位于所述三级2d模式下的所述2d模拟场景为以当前增强现实显示终端为中心向外辐射30m范围内的模拟场景与数字孪生体，并将所述模拟场景与数字孪生体按照1：0.25的比例呈现。

17.与现有技术相比，本发明的有益效果是：

18.1.本发明的应用数字孪生与增强现实技术的矿山井下人员安全系统，通过利用数字孪生技术与增强现实技术将当前环境的三维模型、数字孪生体的位置及状态信息、以及环境预警信息同步传递给井下作业人员，从而为井下工作人员提供三种不同方式的安全预警信息，包括可视化安全预警信息、安全预警警示音、安全预警语音播报，防止意外发生；同时，根据三维模型构建二维模型，在二维模型上呈现巷道走向及人员、车辆或大型设备的位置信息，以更加简洁的方式获取周边环境信息，使用者可根据需求查看三维模型或二维模型，大大提高了本发明的实用性与便捷性。

19.2.本发明的应用数字孪生与增强现实技术的矿山井下人员安全系统，通过调整三维模型与二维模型的映射范围并按照相应的比例呈现，便于使用者查看更远处的信息，且使用者能够选择最舒服的比例模型，避免长时间佩戴而出现头晕、眼睛疲惫等现象。

附图说明

20.图1是本发明的应用数字孪生与增强现实技术的矿山井下人员安全系统的结构示意图；

21.图2是本发明的应用数字孪生与增强现实技术的矿山井下人员安全系统的流程示意图；

22.图3是本发明的应用数字孪生与增强现实技术的矿山井下人员安全系统的模拟效果示意图；

23.附图中各部件的标记如下：10、服务器；20、数据采集装置；30、增强现实显示终端。

具体实施方式

24.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

25.在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

26.另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的

要素。

27.实施例

28.如图1至图2所示，一种应用数字孪生与增强现实技术的矿山井下人员安全系统100，包括服务器10、构建于服务器10内的3d虚拟场景、植入3d虚拟场景内的若干数字孪生体、以及分别与服务器10通讯连接的数据采集装置20与增强现实显示终端30。若干数字孪生体分别对应与若干物理实体双向通讯连接，以及时根据物理实体更新3d虚拟场景内对应的数字孪生体的三维坐标信息及状态信息。其中，物理实体包括但不限于为巷道、溜井、斜坡道、采场、矿体、移动设备、固定设施、车辆、工作人员等。

29.增强现实显示终端30包括显示屏幕、映射于显示屏幕上的3d模拟场景与2d模拟场景、以及控制3d模拟场景的映射范围的3d范围调整模块与控制2d模拟场景的映射范围的2d范围调整模块。增强现实显示终端30为增强现实眼镜，其采用增强现实技术将佩戴者透过眼镜能够看到的可视实景与不可视实景所构建的矿山井下工程三维模型同步呈现在显示屏幕上，便于作业人员实时获取周边围岩、障碍物遮挡、昏暗环境、能见度不佳条件下的作业环境及周边大型设备的视觉信息，辅助作业人员掌握周边环境后准确做出决策，有效避免安全禁区、异常环境进入、围岩不稳固区域闯入、机械设备碰撞、跌落等安全隐患，确保人员作业安全。

30.如此设置，通过利用数字孪生技术与增强现实技术将当前环境的三维模型、数字孪生体的位置及状态信息、以及环境预警信息同步传递给井下作业人员，从而为井下工作人员提供三种不同方式的安全预警信息，包括可视化安全预警信息、安全预警警示音、安全预警语音播报，防止意外发生。同时，根据三维模型构建二维模型，在二维模型上呈现巷道走向及人员、车辆或大型设备的位置信息，以更加简洁的方式获取周边环境信息，使用者可根据需求查看三维模型或二维模型。此外，3d范围调整模块与2d范围调整模块的设置能够调整三维模型与二维模型的映射范围并按照相应的比例呈现，便于使用者查看更远处的信息，且使用者能够选择最舒服的比例模型，避免长时间佩戴而出现头晕、眼睛疲惫等现象。

31.如图1至图2所示，在一些实施例中，增强现实显示终端30还包括分别与服务器10通讯连接的视觉追踪模块与定位模块。视觉追踪模块用于追踪佩戴增强现实显示终端30的物理实体的视线变化，以跟随佩戴者的视线转移捕捉当前视线所对应的实体场景区域。定位模块用于定位增强现实显示终端30的当前位置信息，以更新在3d虚拟场景内对应的数字孪生体的三维位置信息，并锁定使用者当前周边范围内的3d虚拟场景，实现映射的3d模拟场景随视角变化的同步更新变化。

32.服务器10根据增强现实显示终端30传递的当前位置信息与视线范围内的场景与物理实体，调取相对应的3d虚拟场景与数字孪生体后构建3d模拟场景并映射于显示屏幕上，以实现佩戴增强现实显示终端30的物理实体的视角的周边范围可视及不可视的矿山井下工程三维模型的实时动态更新。其中，不可视的三维模型为实体场景内被巷道遮挡的设施、车辆以及人员等物理实体。而通过将3d模拟场景以渲染等方式生成三维透视模型，能够映射当前视线范围内可视的场景与物理实体、以及映射范围内被可视的场景与物理实体所遮挡的场景与物理实体。

33.具体来讲，由于矿山井下掘进各种巷道，大型设备、车辆、以及人员等工作在不同的巷道内，使用者在巷道内行走时映射场景术语就是数字孪生，视线很容易被遮挡，无法得知被巷道遮挡住的环境信

息，很容易在经过巷道交叉口时与车辆或其他人员发生碰撞。而通过采用三维透视模型，能够便于使用者看到视线范围内被巷道所遮挡的各种物理实体，从而提前躲避。

34.特别的，3d模拟场景实时显示当前场景内各个数字孪生体的名称及相应的工作信息，使用者能够直接读取映射的3d模拟场景内的数字孪生体的各项信息。例如，车辆的类型、以及车辆与使用者之间的直线距离，人员的工种、姓名、以及人员与使用者之间的直线距离。

35.如图1至图3所示，在一些实施例中，服务器10根据当前矿山井下工程三维模型对应的3d虚拟场景，截取同一水平面内的3d虚拟场景中各个物理实体的位置及实际环境的分布走向，从而构建3d虚拟场景对应的2d模拟场景。同时，服务器10内存储有若干数字孪生体映射于二维平面时的标记符号，并根据3d模拟场景中各个数字孪生体的信息在2d模拟场景中对应位置处显示数字孪生体对应的标记符号。

36.具体来讲，根据当前3d模拟场景，以佩戴增强现实显示终端30的人员脚底所在地面为水平面，根据3d模拟场景内的巷道及围岩等基建的走向及布局等比例构建巷道及围岩等基建的二维走向图，并根据当前3d模拟场景内的数字孪生体的名称及位置信息，在二维走向图上的相应位置标记数字孪生体对应的标记符号，从而使工作人员更简单直观的看到周边环境信息。

37.如图1至图2所示，在一些实施例中，数据采集装置20遍布矿区地表与矿区井下，并包括安全避险六大系统、全站仪、倾斜摄像装置、三维激光扫描仪、gps定位装置、uwb定位装置、气体传感器、以及地压传感器。服务器10内的数据库存储数据采集装置20所采集的各项数据与当前数据采集装置20的位置信息，并根据各项数据通过建模软件构建3d虚拟场景与数字孪生体，并实时更新3d虚拟场景与数字孪生体。

38.增强现实显示终端30还包括与服务器10通讯连接的预警模块，服务器10对增强现实显示终端30的当前位置范围内的数据采集装置20所采集的各项信息进行风险评估，以生成增强现实显示终端30在当前位置范围内的预警信息，并将预警信息传递给预警模块。预警模块与设置于增强现实显示终端30上的报警组件电连接，以控制增强现实显示终端在3d模拟场景上叠加可视化的显示预警信息，并控制报警组件发出警报声或播放预警信息。

39.预警信息包括危险气体预警、不稳固围岩预警、昏暗的危险环境预警、被遮挡人员预警、以及被遮挡大型设备预警。具体来讲，危险气体预警是通过气体传感器监测井下环境中的有毒有害气体。不稳固围岩预警是通过设置于各处围岩的压力传感器在线监测围岩压力，当其压力值达到报警阈值时，则发出不稳固围岩预警。昏暗的危险环境预警是根据分布在井下的光线传感器监测各个区域的光线强度，当光线强度低于报警阈值时，则发出昏暗的危险环境预警。遮挡人员预警与被遮挡大型设备预警是根据使用者与其相近的车辆及人员的距离，并结合车辆及人员的运动方向与运动速度，判断使用者按照当前行走路线及速度前进是否会与车辆及其他人员发生碰撞。

40.此外，预警模块还能够将不稳固围岩所在区域、具有有害气体的区域、地压不稳定区域、以及安全禁区等标识在当前3d模拟场景内，从而便于使用者提前查看后规避。

41.如图1至图2所示，在一些实施例中，3d范围调整模块与设置于增强现实显示终端30上的3d范围调整按钮电连接，以调整增强现实显示终端30当前视线范围的最大延伸区域，使用者可通过按压3d范围调整按钮选择不同的调节范围。3d范围调整模块包括一级3d

模式、二级3d模式、以及三级3d模式。

42.具体来讲，位于一级3d模式下的3d模拟场景为以当前增强现实显示终端30为中心向外辐射10m范围内的模拟场景与数字孪生体，并将模拟场景与数字孪生体按照1：1的比例呈现。位于二级3d模式下的3d模拟场景为以当前增强现实显示终端30为中心向外辐射20m范围内的模拟场景与数字孪生体，并将模拟场景与数字孪生体按照1：0.5的比例呈现。位于三级3d模式下的3d模拟场景为以当前增强现实显示终端30为中心向外辐射30m范围内的模拟场景与数字孪生体，并将模拟场景与数字孪生体按照1：0.25的比例呈现。

43.值得注意的是，依据本领域技术人员对于本发明的技术方案的理解，本发明中的各级3d模式下的模拟场景的辐射范围与模拟场景的呈现比例可依据需要进行调整映射场景术语就是数字孪生，例如将一级3d模式下的辐射范围设置为5m，将二级3d模式下的呈现比例设置为1：0.8，模拟场景的辐射范围与模拟场景的呈现比例可依据地下矿井的总面积以及不同使用者的喜好或舒适度进行设计，故而上述等效结构可理解为利用本发明的方案所作的等同实施方式。

44.如此设置，使用者能够通过切换不同的模式查看更远处的信息，一级3d模式下的3d模拟场景最为清晰且使用者长时间观看也不容易产生不适感。此外，使用者能够选择最舒服的比例模型，避免长时间佩戴而出现头晕、眼睛疲惫等现象。

45.如图1至图2所示，在一些实施例中，2d范围调整模块与设置于增强现实显示终端30上的2d范围调整按钮电连接，以调整增强现实显示终端30当前视线范围的最大延伸区域，2d范围调整模块包括一级2d模式、二级2d模式、以及三级2d模式。

46.具体来讲，位于一级2d模式下的2d模拟场景为以当前增强现实显示终端30为中心向外辐射10m范围内的模拟场景与数字孪生体，并将模拟场景与数字孪生体按照1：1的比例呈现；位于二级2d模式下的2d模拟场景为以当前增强现实显示终端30为中心向外辐射20m范围内的模拟场景与数字孪生体，并将模拟场景与数字孪生体按照1：0.5的比例呈现；位于三级2d模式下的2d模拟场景为以当前增强现实显示终端30为中心向外辐射30m范围内的模拟场景与数字孪生体，并将模拟场景与数字孪生体按照1：0.25的比例呈现。

47.值得注意的是，2d范围调整模块与3d范围调整模块的原理和功能相同，不再赘述。

48.以上所述仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。