IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    CDC 整合方案:MySQL > Flink CDC + Schema Registry + Avro > Kafka > Hudi

    bluishglc发表于 2024-02-20 13:07:22
    love 0
    本文是《CDC 整合方案:MySQL > Flink CDC > Kafka > Hudi》的增强版,借助 Flink CDC 从源头数据库接入数据并写入到 Kafka 后再使用 Flink 将数据写入到 Hudi 表中,在此过程中,使用了 Avro 格式传输数据,提升了效率,同时全程由 Confluent Schema Registry 参与,对 Schema Evolution 进行管控,该方案是一个完整的端到端的解决方案,也是最接近实际应用的选型方案之一。


沪ICP备19023445号-2号
友情链接