一、系统概述
DMS-EDC工程数据中心是大禹汇智研发的基于大数据应用的新一代数据管理平台。数据伴随着产品的全生命周期、从产品的设计仿真、生产制造、试验检测、综合保障到后期维护每个阶段都会产生大量的数据。对这些数据的收集、存储、分析、利用的效率及效果、关系到产品质量优劣、研发速度、高层决策,是军工企业生存发展的重要因素。DMS-EDC工程数据中心正是从产品全生命周期的数据采集传输、再到数据分析,到数据存储,到后续的数据可视化分析应用角度出发,为军工企业高效利用产品全生命周期数据提供了完整的解决方案,贴合军工企业的数据管理现状及模式。
二、系统架构
三、系统特性
▪支持Hadoop平台架构
系统采用Hadoop集群、是系统实现大数据分析的基础,对数据进行存储、计算。
▪数据采集
1)数据采集功能可以通过与企业的DMS-SCADA系统进行集成;
2)提供数据导入接口,可以实现各种离散数据的导入。
▪数据展现
系统展现采用BI思想,并提供自定义展现模板编辑功能,以可配置的维度和指标形成多种组态方式进行数据展现。
▪大数据分析
1)基本数据分析类算法包括:相关性分析、主成分分析、周期性分析、缺失值处理、坏数据处理、属性选择、数据规约、离散处理、特征提取等算法;
2)分类与回归类算法包括:贝叶斯:朴素贝叶斯网络、贝叶斯信念网络;
3)决策树及表:决策表、CART决策树、ID3决策树、C4.5决策树;
4)神经网络:BP神经网络、LM神经网络、RBF神经网络、FNN神经网络、ANFIS神经网络、WNN神经网络;
5)回归分析:线性回归、逐步回归、逻辑回归、保序回归;
6)其它算法:AdaBoostM1算法、KStar算法、SVM支持向量机、K-最近邻分类等算法;
7)时序模式类算法包括:指数平滑、多元回归、GM灰色理论、RBF神经网络、ANFIS神经网络、SVM支持向量机;
8)聚类分析类算法包括:K-均值算法、EM最大期望算法、DBScan密度算法、改进K-均值算法、多层次聚类;
9)关联分析类算法包括:HotSpot关联规则、Apriori关联规则、FP-Tree关联规则、HOTSPOT关联规则、灰色关联法;
10)系统具备相关算法的调用接口及算法展现功能,可以将算法处理后的数据直接生成报告或另外存储。
▪专业的数据综合管理架构设计
1)核心技术支撑平台,支持分布式平台部署、支持SCADA系统应用;
2)独有的元数据模型封装技术,实现底层数据流转的面向对象化应用;
3)具有大数据优化、应用及管理的完整模块,可集成专业的大数据分析系统或软件。
▪业务应用系统数据采集接口
1)具有PDM、SDM、MES、ERP、TDM、OA等多种业务系统的数据采集集成解决方案,可实现相关系统的数据采集及输入;
2)提供业务系统数据采集标准,解决“多源数据抓取”的问题;
3)具有SCADA系统的数据集成接口,可以实现实时数据采集及管理。
▪数据仓库模块
1)具备多数据库的集成接口,可以实现从不同数据库中直接提取表单数据,并可对其它数据库进行联动管理;
2)具备非结构化数据的优化、全文检索、分词解析、批量上传下载、在线预览等管理功能;
3)支持非结构数据库与结构化数据库的并行应用,通过平台智能调度机制实现两种数据库的业务应用。
▪智能数据应用模块
1)丰富的数据可视化展现形式,如2D、3D、VR、组态、绘图、列表等;
2)动态数据监测和预测功能,可以依据设置的条件对数据进行动态监测,并具备提示、预警、应急处理等多级处理功能;
3)具备集成知识库、大数据分析的接口,可以实现人工智能业务应用及大数据分析业务应用。
四、典型应用
企业级数据中心:用户可以基于DMS-EDC平台搭建自己的企业级数据中心,利用系统的集成接口将企业内部的其它业务系统的数据源进行集成,并实现相关系统内数据的实时动态采集。对采集后的数据利用可视化数据展现模块动态的进行数据分析及监控。实时反馈各系统内数据的异常状态。利用智能分析及大数据分析功能对海量数据进行充分分析、挖掘。以多维度的方式对数据分析结果进行展现和反馈,为企业的数据积累和利用提供完整的解决方案。
设备故障大数据分析:通过为某单位建设DMS-EDC系统,为企业降低了设备维护成本,帮助企业成功找到了造成设备故障的主要因素,特别是对设备的故障信息收集及大数据分析应用,提高了设备的使用寿命,该单位实现了设备状态信息实时采集及监控。