数据清洗融合系统

国内首创基于政务逻辑数据模型GLDM(Government Logical Data Model)的大数据融合平台,以GLDM模型指导,支持湖仓一体6大分层设计架构,内置低代码、流程式的数据清洗能力,快速实现对海量的、零碎的数据资源归集、整理、清洗、转换和融合

功能特性

分层管理表模型,多样模型设计能力

提供六层数仓分层模式,支持各层数据表单独管理。以资源目录多部门\系统的统一管理树,提供自动连接读取源表数据元结构、自动创建数仓贴源表等多种自动能力。对各类资源库的表设计,提供可视化的表模型设计能力,包括在线设计、批量导入、DDL解析建表和物理库引入等多种方式,帮助快速构建数据模型。

分层管理表模型,多样模型设计能力

可视化数据开发,低代码实现数据集成

提供可视化的页面引导操作,帮助开发人员快速实现数据的源数据采集策略、标准表清洗规则引入、源和目标表关联、多表字段映射、多表融合策略配置、多表连接配置等操作。全程页面配置后由系统自动生成脚本,实现低代码甚至零代码输入即可完成数据的集成作业开发操作。

可视化数据开发,低代码实现数据集成

作业依赖自动生成、异常告警实时通知

一健自动生成任务作业工作流,根据任务开发自动创建任务数据表间的上下依赖,无需人工划线设计工作流DAG图。在生成的任务流实例中,系统提供以任务异常、数据异常、作业等待异常等多维度设置告警规则,帮助识别异常并实现作业快速解决异常的能力。

作业依赖自动生成、异常告警实时通知

统一清洗规则管理,内置常用清洗规则

提供统一的清洗规则管理功能,实现规则的"一次开发、无限复用"。可通过脚本将常用清洗函数规则在系统初始部署时直接内置带入,节省开发时间,帮助快速完成数据清洗加工。

统一清洗规则管理,内置常用清洗规则

多租户模式支撑数据隔离

提供一键快速完成数仓初始化,无需任何代码编写,实现“即点即用”的系统初始能力。提供多租户管理能力,可自定义租户下各分层存储数仓schema,实现租户灵活配置数据的逻辑隔离能力。

多租户模式支撑数据隔离

产品优势

  • GLDM政务模型理论指导

    GLDM模型是华傲从经验中提炼,专业服务在政务领域的数据治理理论,以统一管理、六层构建方式高效建设政务数据资源库

  • 自带政务数据融合策略

    内置一数一源、来源优先、数据新鲜度、最值等多种策略,无需开发即选即用,实现多源数据融合归一

  • 可视化的数据开发过程

    采用可视化的步骤流程方式指导数据开发,由系统自动生成数据脚本。简化实施门槛,让业务人员也可进行专业的数据开发

  • 支持主流云厂商底座

    系统国产化全面适配,支持市场主流的数据库、中间件和操作系统

  • 支持湖仓一体架构

    GLDM六层支持配置HDFS系列、MPP数据仓库的数据湖仓架构部署,充分利用湖仓特点完成各类数据开发场景