IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
CDC 整合方案:MySQL > Flink CDC + Schema Registry + Avro > Kafka > Hudi
bluishglc
发表于
2024-02-20 13:07:22
love
0
本文是《CDC 整合方案:MySQL > Flink CDC > Kafka > Hudi》的增强版,借助 Flink CDC 从源头数据库接入数据并写入到 Kafka 后再使用 Flink 将数据写入到 Hudi 表中,在此过程中,使用了 Avro 格式传输数据,提升了效率,同时全程由 Confluent Schema Registry 参与,对 Schema Evolution 进行管控,该方案是一个完整的端到端的解决方案,也是最接近实际应用的选型方案之一。