数据集成系统

华傲数据集成系统提供灵活的数据读写插件,支持多源异构数据源的读取和写入,在任意时间、任意系统之间实现轻量级离线数据集成和实时数据同步。通过构建集成任务,源端选择相应的数据源,目的端选择数据归集目标库,即可完成定时或实时的数据归集工作,实现数据归集的全流程监控管理,致力于帮助企事业单位在大数据应用的采集端保障数据质量。

功能特性

30+种丰富的异构数据源

支持结构化、半结构化、非结构化数据的同步。结构化库表数据同步,支持主流的Mysql、Oracle、达梦、PostgreSQL、Hive、DWS、Hudi等数据库的数据同步。Excel、CSV/TXT、RestAPI等半结构化数据同步入库。文件、图片、视频等非结构化数据迁移。

30+种丰富的异构数据源

可靠、 高效、 便捷的数据同步

数据同步效率,是影响数据集成质量的关键因素,华傲数据集成系统提供的灵活数据读写插件,不但实现了不同数据源异构数据之间的准确、 可靠、 高效、 便捷的同步支持,还大大提升数据迁移效率,能够充分满足企业级数据仓库、数据湖项目的数据迁移需求。

可靠、 高效、 便捷的数据同步

统一编排、调度、管控

数据集成系统结合华傲编排调度系统作业编排、调度、运维功能,实现所有的数据同步任务便捷集中进行,支持应用流程的发布和管理,方便管理员根据实际情况最大限度提升流程执行效率。

统一编排、调度、管控

智能、便捷配置数据迁移任务

由于数据集成工作常常牵扯到多个业务系统的数据,在传统的处理流程中,涉及到的编码工作量往往非常巨大。数据集成系统将复杂的数据迁移开发流程提供可视化的任务配置界面,通过配置数据来源、数据目标,并快速确认两个异构库之间的数据类型映射,就可以轻松完成任务配置,同时可配置迁移过程中的最大并发数、同步速率和脏数据内容。以低代码的智能操作帮助用户节省工作时间,提高工作效率。

智能、便捷配置数据迁移任务

任务监测预警、数据缺失填充

对结构化数据同步,支持数据的同步质量校验,智能识别异常数据,并提供异常结果,同时支持对写入目的库的异常缺失数据的填补。支持智能基线告警,拥有丰富的监控策略,对任务异常及时发出告警通知。

任务监测预警、数据缺失填充

产品优势

  • 支持丰富的数据库类型

    数据同步适配的数据库类型囊括近年来国内外主流数据库类型,如MySql、Oracle、达梦、DWS、Hive、Hudi等

  • 多种数据采集方式

    支持批量和增量数据离线同步,库表、Kafka、API等实时数据同步,数据同步准确、可靠、高效

  • 多源异构数据集成

    支持结构化数据(如库表数据等)、半结构化(如文件解析、API)和非结构化数据(如视频、音频等)的全量、增量和批量数据集成,以满足用户不同的数据集成需求

  • 可视化便捷操作

    可视化表单形式配置数据同步任务,以低代码的智能操作实现数据采集任务的增删改查、采集任务的监控管理等功能,能够为用户提供更直观的数据同步执行结果展示