IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    CDC 数据入湖方案:Kafka Connect>Kafka + Schema Registry>Hudi ( HoodieMultiTableStreamer )

    bluishglc发表于 2024-05-20 15:25:42
    love 0
    本方案的技术链路为:使用 Kafka Connect 配合 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 (Avro 格式)接入到 Kafka ,然后通过 Hudi 的 HoodieMultiTableStreamer 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文和《CDC 数据入湖方案:Kafka Connect > Kafka + Schema Regis


沪ICP备19023445号-2号
友情链接