系统介绍
水务大数据平台覆盖全链路的数据集成、开发、治理、服务等场景。将原来通过人工经验+人工约定的数据模型搭建改为系统化的规范方式,实现从模型的配置到在线设计并输出服务的规范化过程。
系统特点
1. 对数字资产进行全面梳理,推进数据采集、清洗、治理,打通部分业务部门的数据孤岛,实现数据标准化治理、可视化分析。
2. 结合业务驾驶舱、决策分析平台、移动分析门户等信息化系统规划建设集成,为企业决策者提供可视化分析平台。
系统架构
分为7个子系统:
1. 数据存储与利用子系统:支持服务器集群技术、多服务器负载均衡、高性能计算处理,且性能应能随节点数呈线性增长。
2. 数据采集与集成子系统:多源采集适配、日志采集与解析、任务图形化采集、增量数据同步。
3. 数据开发子系统:数据处理任务开发、任务调度配置、资源包管理、任务管理等功能。
4. 数据共享服务子系统:数据服务目录、数据服务计量、数据服务安全管理、消息推送、消息队列。
5. 数据质量管理子系统:数据质量规则配置、数据质量校验、数据质量报告
6. 数据资产管理子系统:包含数据标准管理、数据资源目录管理、元数据管理、全链路数据血缘管理、资产价值评估。
7. 数据运维与安全子系统:包含底层运行平台监控、数据质量监控、任务运行监控、数据处理监控、数据运维报表、数据资源巡检、数据安全管理。
系统展示
1、首页可根据角色与需求快速进入相关模块。
2、数据规划基于水务行业生态、特征预划分的业务逻辑空间和技术逻辑空间,为数据集成和资产分类提供了基础依据。
3、数据资产是水务中台的数据地图、字典,全方位展示了中台的数据对象(集群、数据源、数据模型、调度作业、数据服务等)。
4、数据服务是大数据中心对外共享和复用数据的开放地,提供了自有数据开放(API服务)、三方数据注册开放(三方API服务)、访问授权、服务使用监控等能力。
5、数据运维模块监控、预警数据在集成、标准化、主题化和场景化过程中产生的时效、代码、质量等问题,是大数据中心从记录到信息可持续性的基础保障。