数据清洗融合系统
国内首创基于政务逻辑数据模型GLDM(Government Logical Data Model)的大数据融合平台,以GLDM模型指导,支持湖仓一体6大分层设计架构,内置低代码、流程式的数据清洗能力,快速实现对海量的、零碎的数据资源归集、整理、清洗、转换和融合
功能特性
分层管理表模型,多样模型设计能力
提供六层数仓分层模式,支持各层数据表单独管理。以资源目录多部门\系统的统一管理树,提供自动连接读取源表数据元结构、自动创建数仓贴源表等多种自动能力。对各类资源库的表设计,提供可视化的表模型设计能力,包括在线设计、批量导入、DDL解析建表和物理库引入等多种方式,帮助快速构建数据模型。
可视化数据开发,低代码实现数据集成
提供可视化的页面引导操作,帮助开发人员快速实现数据的源数据采集策略、标准表清洗规则引入、源和目标表关联、多表字段映射、多表融合策略配置、多表连接配置等操作。全程页面配置后由系统自动生成脚本,实现低代码甚至零代码输入即可完成数据的集成作业开发操作。
作业依赖自动生成、异常告警实时通知
一健自动生成任务作业工作流,根据任务开发自动创建任务数据表间的上下依赖,无需人工划线设计工作流DAG图。在生成的任务流实例中,系统提供以任务异常、数据异常、作业等待异常等多维度设置告警规则,帮助识别异常并实现作业快速解决异常的能力。
统一清洗规则管理,内置常用清洗规则
提供统一的清洗规则管理功能,实现规则的"一次开发、无限复用"。可通过脚本将常用清洗函数规则在系统初始部署时直接内置带入,节省开发时间,帮助快速完成数据清洗加工。
多租户模式支撑数据隔离
提供一键快速完成数仓初始化,无需任何代码编写,实现“即点即用”的系统初始能力。提供多租户管理能力,可自定义租户下各分层存储数仓schema,实现租户灵活配置数据的逻辑隔离能力。
产品优势
-
GLDM政务模型理论指导
GLDM模型是华傲从经验中提炼,专业服务在政务领域的数据治理理论,以统一管理、六层构建方式高效建设政务数据资源库
-
自带政务数据融合策略
内置一数一源、来源优先、数据新鲜度、最值等多种策略,无需开发即选即用,实现多源数据融合归一
-
可视化的数据开发过程
采用可视化的步骤流程方式指导数据开发,由系统自动生成数据脚本。简化实施门槛,让业务人员也可进行专业的数据开发
-
支持主流云厂商底座
系统国产化全面适配,支持市场主流的数据库、中间件和操作系统
-
支持湖仓一体架构
GLDM六层支持配置HDFS系列、MPP数据仓库的数据湖仓架构部署,充分利用湖仓特点完成各类数据开发场景