bluishglc
发表于
2024-01-26 12:25:04

Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )

本文介绍的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据（Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，本文讨论的就是在这一场 ...继续阅读 (106)

bluishglc
发表于
2024-01-26 12:18:03

制作 MSK Connect 的 Confluent Avro Converter + Debezium MySQL Connector 插件包

MSK Connect 的插件包需要将各种插件的 Jar 包及其依赖包放到一起，打成 Zip 包，上传到 S3，然后在MSK Console 上创建插件时指定好 Zip 位置即可。为了便于维护，我们不建议将各种插件的 Jar 包混在一起放入同一个文件内，最好还是按插件原来的名称单独创建文件夹，单独放置各自的 Jar 包。我们以 Debezium MySQL Connector 和 Confluent Avro Converter 这两个插件为例 ...继续阅读 (74)

bluishglc
发表于
2024-01-24 17:42:28

Flink SQL Client 如何支持 Kafka？Could not find any factory for identifier ‘kafka‘ / ‘upsert-kafka 解决方法

我们以 EMR 为例，Flink SQL Client 默认是没有安装 kafka connector 的相关 Jar 包的，所以在 Flink SQL Client 中执行 Kafka 的建表语句时会报如下错误： org.apache.flink.table.api.ValidationException: Could not find any factory for identifier ‘upsert-kafka’ that implements ‘org.apache.flink.table.fa ...继续阅读 (73)

bluishglc
发表于
2024-01-24 11:18:30

查看 Avro 格式的 Kafka 消息（启用了 Confluent Schema Registry )

使用 Avro 格式传递 Kafka 消息要比 Json 更加高效，因为它是二进制格式，在启用了 Confluent Schema Registry 的情况下，会进一步地提升传输效率，因为 Avro 中的 Schema 信息将不再出现在消息中，消息体积会进一步压缩，同时，还可以利用到 Schema Registry 的其他好处，例如 Schema Evolution 管理。 ...继续阅读 (79)

bluishglc
发表于
2024-01-19 16:33:07

Kafka Console Client 的 Consumer Group

以往使用 kafka-console-consumer.sh 消费 Kafka 消息时并没有太在意过 Consumer Group，在命令行中也不会使用 --group 参数，本文针对 Kafka Console Client 命令行中的 Consumer Group 进行一次统一说明。 ...继续阅读 (74)

bluishglc
发表于
2024-01-19 16:30:01

Kafka Connect: Debezium MySQL Connector 的 Partition 和 Replication 配置

使用 Kafka Connect 的 Debezium MySQL Connector 将 MySQL 数据库中的 CDC 数据写入 Kafka 时，在 Kafka 默认允许自动创建 Topic 的情况下，Kafka Connect 自动创建的 Topic 只有一个 Partition，在实际应用中，这显然是不行，我们需要显式地配置 Kafka Connect，指定适当的 Partition 数量，具体怎么做呢？本文简单介绍一下。 ...继续阅读 (90)

bluishglc
发表于
2024-01-16 17:16:59

Kafka 的 Consumer Group 解读

作为一份笔记，本文再次梳理一下 Kafka 的 Consumer Group。我们知道，一个 Topic 往往会有多个 Partition，一条消息只会被写到一个 Kafka 的 Partition 中，那 Consumer 是怎么消费 Message 的呢？ Consumer Group 又从中起到了什么作用呢？ ...继续阅读 (83)

bluishglc
发表于
2024-01-16 10:10:52

java.lang.RuntimeException: /packages cannot be represented as URI 解决方法

有时候，使用 Maven 构建项目时，你可能会遇到上述错误。导致产生这一错误的原因是：项目声明（POM文件）使用的 JDK 版本和本地安装的版本不一致导致的，例如：目前还有大量的项目在使用 JDK 8，而假如你本地安装的是 JDK 17，就会有很大概率遇到该问题。解决该问题的方法是：在本地安装与程序相匹配的 JDK 版本，然后在使用 Maven 命令构建项目前，显式地配置的 JAVA_HOME，就像下面这样： ...继续阅读 (79)

bluishglc
发表于
2023-12-29 15:50:18

Linux CPU 数据 Metrics 指标解读

过去从未仔细了解过使用 top 和 htop 等命令时显式的CPU信息，本文我们详解解读和标注一下各个数据项的含义，同时和 Ganglia 显式的数据做一个映射。开始前介绍一个小知识，很多查看CPU的命令行工具都是 cat /proc/stat 里的数据，所以数据来源都是一样的，区别只在于显式格式，用户体验上。本文我们以 mpstat 和 uptime 命令为主，最后介绍一下 top 和 htop 的一些细微差异。 ...继续阅读 (86)

bluishglc
发表于
2023-12-29 14:19:26

Linux 内存数据 Metrics 指标解读

过去从未仔细了解过使用 free、top 等命令时显式的内存信息，只关注了已用内存 / 可用内存。本文我们详解解读和标注一下各个数据项的含义，同时和 Ganglia 显式的数据做一个映射。开始前介绍一个小知识，很多查看内存的命令行工具都是 cat /proc/meminfo 里的数据，所以数据来源都是一样的，区别只在于显式格式，用户体验上。本文我们以 free 命令为主，最后介绍一下 top 和 htop 的一些细微差异。 ...继续阅读 (91)

bluishglc
发表于
2023-12-28 11:37:07

使用 async-profiler 分析内存

async-profiler 是非常主流的 Java Profiling 工具之一，且对 Linux 支持良好，适合分析运行在服务器上的 Java 应用程序在 CPU 和内存上的占用情况。本文介绍一下 async-profiler 的安装和使用方法。 ...继续阅读 (73)

bluishglc
发表于
2023-12-27 13:14:41

HBase 例行灾备方案：快照备份与还原演练

该方案是为某用户定制的 HBase 灾备方案，方案本身具有很好的适用性，可以复用于常规 HBase 灾备场景。用户对 HBase 的灾备工作非常重视，每周会对 HBase 进行一次全量备份，将快照上传至 S3 保存，同时，在消息队列和其他数据库中保存着两周以内的增量数据，当 HBase 宕机时，会先还原快照将数据库恢复至一周内某一时刻的全量状态，然后再从其他系统读取一周内的增量数据进行补录，直至数据追平。本文将重点讨论 HBase 基于快照的例行备份和灾后恢复操作，并给出详细的解释和操作脚本。 ...继续阅读 (94)

bluishglc
发表于
2023-12-26 23:05:44

YCSB 测试表预分区

最近使用 YCSB 测试时，一直使用如下方法创建预分区：但是这样创建出来的分区其实头和尾两个分区是没有数据的，因为它的RowKey Range将分别是：Start Key = 空, End Key = user1000 Start Key = user9999, End Key= 空而 YCSB 自动生成的 Rowkey 是从 user1xxxx 开始的，user1000 之前不会有任何数据，user9999 之后只会有极少的数据，所以，应该修正分区的 row key 切分，改下面的方式就非常均衡了 ...继续阅读 (100)

bluishglc
发表于
2023-12-26 12:22:34

HBase 创建不分裂的表 ( 禁止 Table Split )

有时候，出于特殊需要，我们希望对 HBase 表进行预分区后，禁止表再自动 Split。HBase 并不直接提供 Table Properties 来实现该功能，需要我们手动配置，主要操作是两项... ...继续阅读 (92)

bluishglc
发表于
2023-12-25 17:26:01

Shell 迭代读取 CSV 文件为变量赋值

有时候，我们可能需要在 Shell 中维护一个KV结构的数组，也就是类似于 List这样的数据结构，但是这在 Shell 中并不容易实现，一些联合使用 Shell 的 Indexed Arrays 和 Associative Arrays 进行模拟的方案虽然可行，但其实使用起来还是很别扭的，此时，最自然做法是把这些值抽离到单独的 CSV 文件中维护，然后用 Shell 循环读取每一行并对变量进行赋值。 ...继续阅读 (79)

bluishglc
发表于
2023-12-25 09:30:00

HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案

本文介绍的演练操作源于某真实案例，用户有一个接近 100 TB 的 HBase 数据库，其中有一张超大表，数据量约为数十TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。本文将讨论并演示：使用全量快照 + 实时同步（Snapshot + Replication）的方式将一个数十TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。 ...继续阅读 (88)

bluishglc
发表于
2023-12-25 09:15:00

Yarn ResourceManager 页面上的绿色条块（Used Resources）反映的是真实的资源占用情况吗？

过去，一直习惯于在 Yarn 的 ResourceManager 页面上，通过菜单：Cluster -> Scheduler 查看当前 Yarn 总体的资源分配状况，因为这个页面非常直观。不过，在最近一次测试中，我发现：Yarn ResourceManager 页面上的绿色条块（Used Resources）并不能如实地反映集群当前实际的资源占用情况，这一点需要注意，并且要改正一下过去养成的这一习惯了！ ...继续阅读 (80)

bluishglc
发表于
2023-12-25 02:14:01

使用 jq 处理 json 文件的最佳实践

1. 使用 jq 格式化 json 文本后再存入 json 文件，但不回显 json 内容;2. 使用 jq 格式化 json 文本后再存入 json 文件，同时回显 json 内容（无 jq 语法着色）;3. 使用 jq 格式化 json 文本后再存入 json 文件，同时回显 json 内容（有 jq 语法着色） ...继续阅读 (68)

bluishglc
发表于
2023-12-25 02:12:52

正则表达式：过滤 S3 上以 _$folder$ 结尾的占位文件

当我们使用命令行批量从 S3 上拷贝文件或统计文件数量时，希望能排除掉 S3 上以 _$folder$ 结尾的占位文件，这个正则表达式应该怎么写呢？以下是统计 S3 某个位置下的除 _$folder$ 结尾的文件的文件数量 ...继续阅读 (92)

bluishglc
发表于
2023-12-10 09:54:41

Unknown parameter in InstanceGroups[0]: “Configurations“, must be ... 解决方法

使用 aws emr modify-instance-groups 更新集群配置时可能会遇到如下错误信息： Unknown parameter in InstanceGroups[0]: “Configurations”, must be one of: InstanceGroupId, InstanceCount, EC2InstanceIdsToTerminate, ShrinkPolicy 这一报错其实和提供的json配置信息并没有任何关系，是一个很糟糕的误导信息，如果你的配置确实是根据官方文档给 ...继续阅读 (101)

bluishglc
发表于
2023-12-09 16:29:46

使用 iperf 测试网络带宽

有时候，我们需要确切地知道服务器在当前网络环境下所能达到的上行和下行的网络带宽是多少，这对于测试一些上传或下载的作业效率非常重要。我们以位于AWS VPC 环境中的 EC2 为例，介绍一下如何实测出 EC2 节点所能达到的最大带宽。我们以 m5.4xlarge 这一机型为例，根据 AWS 官方文档的介绍：https://aws.amazon.com/ec2/instance-types/m5/，该型实例可以达到的最高带宽是 10 Gbps，我们将使用两台 m5.4xlarge，通过 iperf 来实测一下两 ...继续阅读 (115)

bluishglc
发表于
2023-12-09 12:41:16

s3-dist-cp 介绍教程示例使用方法

s3-dist-cp 是 AWS EMR 内置的用于 S3 和 HDFS 之间文件拷贝的专用工具，与 Hadoop 的 distcp 类似，也是通过 Map-Reduce 作业的方式实现分布式的文件复制（distcp 就是 distributed copy 分布式拷贝的意思）。s3-dist-cp 并不是一个简单的在 S3 和 HDFS 之间拷贝文件的工具，因为它并不是一个独立运行的命令行工具，而是要依靠 EMR 集群提交 MR 作业。实际上，它更多应用在超大数据集的迁移上，例如将原来 HDFS 上的构 ...继续阅读 (101)

bluishglc
发表于
2023-11-09 16:39:27

在 EMR 上启用 DominantResourceCalculator

DominantResourceCalculator 仅工作于 capacity-scheduler 模式下，需要启用 capacity-scheduler，然后在其下面配置 DominantResourceCalculator。以下是启用 DominantResourceCalculator 的 EMR Configuration 的 Json 内容（注意：spark-defaults 部分配置用于通过 Spark 测试时排除 DynamicAllocation 机制的影响，非必要配置，如不需要可移除 ...继续阅读 (102)

bluishglc
发表于
2023-11-08 16:14:12

EMR 磁盘挂载解读与磁盘扩容操作

云上的计算实例挂载的存储盘通常可以在线实现磁盘扩容。本文以 AWS EMR 节点的磁盘扩容为例，记录一下具体的操作步骤。在详细介绍前，先将重要的总结发在前面，便于以后查阅：EMR 磁盘分配规则是：第一磁盘（/dev/nvme0n1），必备，大小由控制台的"EBS root volume"配置项指定，默认是 15GB，该盘是系统盘，挂载在根目录/下第二磁盘（/dev/nvme1n1），必备，默认会大小根据所选EC2类型自动调整第二磁盘的第一分区：5GB（固定值），挂载至 /emr 文件夹 ...继续阅读 (82)

bluishglc
发表于
2023-10-20 11:00:23

Lake Formation 和 IAM 之间的区别与联系

IAM 和 Lake Formation 都是 AWS 上的权限管理服务，且默认都是自动开启并生效的，只是如果你没有特别配置过它们，可能感觉不到它们的存在，特别是Lake Formation（后文简写为 LF），通常情况下都是“透明”的，虽然但它确实在每次请求时进行了权限检查。本文会详细介绍一下两者之间的区别和联系，特别是 Lake Formation 的作用机理。 ...继续阅读 (101)

bluishglc
发表于
2023-10-18 08:16:41

Python 环境构建最佳实践：联合使用 Mamba + Conda + PIP

此前，我们单独介绍过 PIP 和 Conda，在后续的实际应用中，还是遇到了不少 Python 环境构建的问题，特别是在 Windows 系统上，最突出的表现是：虽然PIP的包依赖解析和下载都很快，但在 Windows 上经常会因为缺失底层依赖的程序库（例如某些dll文件）而导致 Python 程序启动时报错，此时，改用 Conda 通常可以解决此类问题，但是，Conda 的问题在于：它的包依赖解析问题很大，耗时很长，解决 Conda 这一问题的方法是引入 Mamba，Mamba 可以视作是 Conda 的 ...继续阅读 (107)

bluishglc
发表于
2023-10-13 09:26:14

Conda Channel 介绍与配置

简单讲：Conda 的 Channel 就是 Repo，与 Yum 和 Maven 中的 Repository 是一样的，用于存放各种 Python 包的公共库。以下几个 Channel 是 Conda 中最为常见的，简单介绍一下. Default Channel：顾名思义，默认的 Channel，它由 Anaconda 公司维护 Anaconda Channel：是由社区维护的，通常比默认 Channel 包含更多的包，更新也更快 ...继续阅读 (100)

bluishglc
发表于
2023-10-09 17:33:12

AWS AD Connector 的网络配置

配置 AWS 的 AD Connector 通常遇到的都是些网络问题，且 AD Connector 本身屏蔽了一些网络细节，使得查找root cause往往有点困难，本文就把 AD Connector 网络问题梳理一下。首先，需要搞清楚的是：AD Connector 是 Microsoft Active Directory 的一种代理，IAM可以通过它联通到一个现有的 AD 服务器，从而可以值得用户可以使用AD上的域账号登录AWS的某些服务。要特别注意的是：AD Connector 本身是需要服务器承载 ...继续阅读 (101)

bluishglc
发表于
2023-10-09 13:51:23

HBase 计划外启动 Major Compaction 的原因

HBase 的 Compaction 有两个线程池，一个是为 Minor Compaction 准备的，一个是为 Major Compaction 准备的，hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值，当待合并文件的总大小小于这个阈值时，就是一个 Minor Compaction，当待合并文件的总大小大于这个阈值时，就是一个 Major Compaction。这个阈值的默认值是：2.5 GB （26843 ...继续阅读 (102)

bluishglc
发表于
2023-09-25 16:47:10

在 EMR Serverless 上使用 Delta Lake

本文是一份开箱即用的全自动测试脚本，用于在 EMR Serverless 上提交一个 Delta Lake 作业。本文完全遵循《最佳实践：如何优雅地提交一个 Amazon EMR Serverless 作业？》一文给出的标准和规范！ ...继续阅读 (87)