今天是2023年5月15日，距离我第一次来北京工作的时间刚好跨过了整整三年，关于这个时间我也是在跟朋友的闲聊中才发现原来我已经来北京北漂三年了。回想起三年前的自己，刚才学校毕业不到一年，工作在西安的一家表面上还看得过去的公司，挣扎在与前女友的回忆中，身体与记忆相互拉扯，不知道明天的路该怎么走，既不敢辞职，也不敢和朋友说，幸亏有大学的舍友在同一家公司上班，不高不低的续命到毕业的第二年。领导在特别突然的一天询问我的工作规划和以后的安排，谈话中我感觉到了不妙的气氛，果不其然我要被安排长期驻场出差了，去原本就定好的北京，领导给了两天的时间让我收拾家里的事情，其实我明白这是领导给我的考虑时间，不同意那就离职，同意就去北京出差。我回到自己组的房子里，思考了一晚，我说服了自己，我要跟之前的生活告别，那最好的方式就是去一个陌生的地方，开启一段陌生的生活。两天后，在大学舍友的送别之下，我踏上了开往北京的动车，从西安开往北京，时间花费了5小时35分钟，全程我没有睡觉，没有玩手机，我就静静地看着窗外，我的内心告诉我新的生活在向我招手，而我也即将开始新的生活。正如预测的那样，刚到北京的一个月住在公司租的房子里，开始跟同事了解驻场开发的所有相关内容，一个月后我开始自己独立租房子，买了锅碗瓢盆自己做饭。幸而遇到一个还算不错的组长，在工作完成之后，他还允许我自己看书学习；半夜熬夜切换演练后，第二天就给我一天假期 ...继续阅读 (122)

基础HBase是一个在HDFS上开发的面向列的分布式数据库，如果你需要实时访问超大规模的数据集，那么使用HBase就对了。HBase自底而上地进行构建，可以简单的通过增加节点来线性扩展。其并不是关系型数据库，并且也不支持SQL，在特定的空间里，能够做RDBMS不能做的事，即在廉价的硬件构成的集群上管理超大规模的稀疏表。概念应用将数据放到带有标签的表中。而表有行和列组成，表的单元格由行和列的交叉决定，其是有版本的。默认情况下，版本号自动分配，为HBase插入单元格时的时间戳，单元格的内容是未解释的字节数组。表中的行也是字节数组，因此理论上任何东西都可以通过表示成字节数组或者将二进制形式转换为长整型或直接对数据结构进行序列化来作为键值。表中的行根据行的键值进行排序，排序根据字节序进行，所有对表的访问都需要通过表的主键。行中的列被分为列族（column family），同一个列族的所有成员具有相同的前缀。列族的前缀必须由可打印的字符组成，而修饰性的结尾字符，即列族修饰符，可以为任意字节。列族和修饰符之间始终以冒号（:）分隔。一个表的列族必须作为表模式定义的一部分预先给出，但是新的列族成员可以随后按需加入。在物理上所有的列族成员都一起存放在文件系统中，因此结合前面的将HBase描述为一个面向列的存储器，其本质上更准确的是面向列族的存储器。但由于调优和存储都是在列族这个维度上进行，所以所有的 ...继续阅读 (69)

基础HBase是一个在HDFS上开发的面向列的分布式数据库，如果你需要实时访问超大规模的数据集，那么使用HBase就对了。HBase自底而上地进行构建，可以简单的通过增加节点来线性扩展。其并不是关系型数据库，并且也不支持SQL，在特定的空间里，能够做RDBMS不能做的事，即在廉价的硬件构成的集群上管理超大规模的稀疏表。 ...继续阅读 (25)

配置列表CPU：Intel i5-12400散片主板：微星MAG B660 MORTAR WIFI DDR4内存：光威 天策系列16G * 2套条固态：宏基掠夺者GM7000 PCIe4.0 NVMe电源：长城650w金牌全模散热：九州风神 玄冰400V5（四热管）机箱：先马 平头哥M2（五风扇位，侧头玻璃）系统：Windows 10专业版上面这台机器从购买组装完再到现在，已经有了半个月的时间，可以基本上满足类似DNF、 原神、IDEA、VS Code这类低生产、低游戏的日常 PC 机需求。优缺点优点没有显卡，使用核显，对于非游戏玩家来说完美适配。后续若想加显卡，电源、主板均可以完美适配。整体配置中规中矩，也就意味着不出错、不完美。主板和机箱支持多磁盘扩展，散热、颜值在线。支持国产品牌，发挥自己的一份力。缺点没有独显，对于中轻度游戏玩家不是很友好，游戏体验折扣较大。没有光污染，对于常年不关机玩家有较好的体验。如果没有后续扩展的需求，可以使用MATX-mini机箱进一步压缩占用面积。优化配置机箱：小喆优品C2P散热：乔思伯CR-1400机箱风扇：利民C12C * 3这里的优化配置倾向于压缩机箱占用面积，而不是减少花费的金额，毕竟一分钱一分货。吐槽上面详细客观的描述了这台机器的情况和需要优化的地方，那下面就是吐槽的内容。因为一直是JD的深度用户，基本上大大小小的电子产品都是在官方直营买 ...继续阅读 (85)

配置列表CPU：Intel i5-12400散片主板：微星MAG B660 MORTAR WIFI DDR4内存：光威 天策系列16G * 2套条固态：宏基掠夺者GM7000 PCIe4.0 NVMe电源：长城650w金牌全模散热：九州风神 玄冰400V5（四热管）机箱：先马 平头哥M2（五风扇位，侧头玻璃）系统：Windows 10专业版 ...继续阅读 (26)

基础Hive是一个构建在Hadoop之上的数据仓库框架，其设计目的在于让精通SQL但编程技能较弱的运营人员能够对存放在HDFS中的大规模数据集执行查询。但是由于其底层依赖的Hadoop和HDFS设计本身约束和局限性，限制Hive不支持记录级别的更新、插入或者删除操作，不过可以通过查询生成新表或将查询结果导入文件中来实现。同时由于MapReduce任务的启动过程需要消耗较长的时间，所以查询延时比较严重。Hive发行版本中包含CLI、HWI（一个简单的网页界面）以及可通过JDBC、ODBC和一个Thrift服务器进行编程访问的几个模块。所有的命令和查询都会进入Driver（驱动模块），通过该模块对输入进行解析编译，对需求的计算进行优化，然后按照指定的步骤执行（通常是启动多个MapReduce任务job来执行）。当需要启动启动MapReduce任务（job）时，Hive本身是不会生成MapReduce算法程序，相反Hive会通过一个XML文件的job执行计划驱动执行内置的、原生的Mapper和Reduce模块，即这些通用的模块函数类似于微型的语言翻译程序，而驱动此翻译程序的就是XML文件。Hive通过和JobTracker通信来初始化MapReduce任务，而不必部署在JobTracker所在的管理节点上执行。Metastore（元数据存储）是一个独立的关系型数据库，Hive会在其中保存 ...继续阅读 (76)

引入Spark是用于处理大数据的集群计算框架，与其他大多数数据处理框架不同之处在于Spark没有以MapReduce作为执行引擎，而是使用它自己的分布式运行环境在集群上执行工作。另外Spark与Hadoop又紧密集成，Spark可以在YARN上运行，并支持Hadoop文件格式及其存储后端（例如HDFS）。Spark最突出的表现在于其能将作业与作业之间的大规模的工作数据集存储在内存中。这种能力使得在性能上远超MapReduce好几个数量级，原因就在于MapReduce数据都是从磁盘上加载。根据Spark的处理模型有两类应用获益最大，分别是迭代算法（即对一个数据集重复应用某个函数，直至满足退出条件）和交互式分析（用户向数据集发出一系列专用的探索性查询）。另外Spark还因为其具有的DAG引擎更具吸引力，原因在于DAG引擎可以处理任意操作流水线，并为用户将其转化为单个任务。基础安装从官方页面下载一个稳定版本的Spark二进制发行包（选择与当前使用Hadoop匹配的版本），然后在合适的位置解压文件包，并将Spark的解压路径添加到PATH中。12$tar -xzvf spark-x.y.z.tgz$exportPATH=~/spark-x.y.z/bin:$PATH作业Spark像MapReduce一样也有作业（job）的概念，只不过Spark的作业相比MapReduce更加通用，因为Sp ...继续阅读 (73)

复现在之前的博客中说明过，我负责的业务有数据同步的需求，是从MySQL实时同步数据到ClickHouse，为此我们使用了一个工具clickhouse-mysql-data-reader，该工具的底层是通过监听MySQL的bin log来实现实时同步数据。就在今早，数据同步不知为何停止了，当发现问题重新拉起同步任务时，就发现同步脚本出现了异常：1Could not find first log file name in binary log index file思考问题在看过异常报错信息之后，其大致是因为同步脚本停止了同步任务，之后就没有更新本地的bin log索引，此时等待我再拉起同步任务时，同步脚本使用本地未修改的bin log索引去MySQL拉取数据时，MySQL的bin log索引经过业务数据的写入已经覆盖了之前的索引，同步脚本没有找到对应的索引就抛出异常。解决方案那么就下来的问题就是如何查找正确的bin log索引，然后修改同步脚本的bin log索引即可恢复同步数据。1show binary logs;上述命令可以帮助你查看到MySQL最新的bin log索引，之后同步修改脚本的bin log索引即可。那么关于两次索引之间的数据如何同步呢？可以通过添加where case采用select的形式同步数据，更多的操作可以参考同步工具的使用文档。引用个人备注此博客内容均为作者学 ...继续阅读 (69)

HDFS当数据集的大小超过一台计算机的存储上限时，就有必要对数据进行分区然后存储到其他的计算机上。管理网络中跨多台计算机存储的文件系统被称为分布式文件系统（distributed filesystem），该架构于网络之上，势必会引起网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。Hadoop自带一个称为HDFS的分布式文件系统，也是Hadoop的旗舰级文件系统，即Hadoop Distributed Filesystem。HDFS以流式数据访问模式来存储超大文件，运行于商业硬件集群上。超大文件。这里指的是具有几百MB、几百GB或者以上大小的文件。流式数据访问。HDFS采用的是一次写入、多次读写的高效访问模式。商业硬件。运行于各种商业硬件上即可，不需要专业的硬件。HDFS相关概念数据块每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块，该文件系统块的大小可以是磁盘块的整数倍，文件系统块一般为几千个字节，而磁盘块一般为512字节。HDFS也同样存在类似块（block）的概念，默认为128MB。与单一磁盘上的文件系统类似，HDFS上的文件也会被划分为块大小的多个分块（chunk），作为独立的存储单元。与单一磁盘文件系统不同之处在于HDFS中小于一个块大小的文件不会占据整个块的空间。那么HD ...继续阅读 (68)

基础MapReduce是一种用于数据处理的编程模型，其本质是并行运行，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心，当然其优势也是处理大规模数据集。MapReduce任务过程分为两个处理阶段：map阶段和reduce阶段。每个阶段都是以键值对作为输入和输出，其类型由开发者决定，当然map函数和reduce函数也是由开发者实现。MapReduce原理MapReduce作业（job）是客户端执行工作的单元，包含：输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个任务（task）来执行，其中包含两类任务：map任务和reduce任务，这些任务运行在集群的节点上，并通过YARN进行调度，其中如果有一个任务失败，则将在另一个不同的节点上重新调度运行。MapReduce的输入数据会被划分为等长的小数据块，称为输入分片（input split）或者简称分片，而每一个分片会构建一个map任务，并由该任务来运行用户自定义的map函数从而处理分片中的每条记录。有许多分片就意味着每个分片处理所需时间少于整个输入数据所需时间；另外如果分片切分得太小，那管理分片得事件和构建map任务的事件将组成作业的整体运行事件。如果map任务运行在存储有输入数据（HDFS中的数据）的节点上，无需使用带宽资源即可获得最佳性能，也就是数据本地化优化（data locality o ...继续阅读 (126)

复现工作时需要拉一下测试环境的数据到开发环境，所以就是mysqldump老哥出场了…123# mysqldump -h localhost -u root -p --tables test_table --where="str='str1'" > test_table_data.sqlEnter password:Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don't want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events.上面的警告内容翻译如下：12默认情况下，来自具有 GTID 的服务器的部分转储将包括所有事务的 GTID，即使是那些更改了数据库被抑制部分的事务。如果不想恢复 gtid，请使用 --set-gtid-purged=OFF 参数。如果要进行完 ...继续阅读 (69)

引入今天工作的时候写了这么一段代码：12345678@Getter@Setter@ToString@NoArgsConstructor@AllArgsConstructorpublicclassObjectA{}接下来就是一系列的上传代码、发版、打包…..，然后就出现了神奇的异常信息：1constructorObjectA()is already defined in ObjectA回头去看代码，这真是让人百思不得其解啊解决方案无引用即删除该类该类内部无任何属性，即可认为无用，再判断没有任何引用，最终删除掉这个类就可以了。该类已被引用但无属性分析异常出现的原因即可以判断为@NoArgsConstructor与@AllArgsConstructor注解生成的构造对象函数因为该对象无属性导致重名冲突，那么删除其中一个注解即可解决这个问题。引用个人备注此博客内容均为作者学习所做笔记，侵删！若转作其他用途，请注明来源！ ...继续阅读 (52)

简介Hadoop是一个分布式计算开源框架，其提供一个分布式文件系统子项目（HDFS）和支持MapReduce分布式计算的软件架构。在有了大量数据之后，那么该如何进行存储和分析这些数据呢？Hadoop需要解决的问题如下：硬件故障问题。一旦使用磁盘存储数据，就会遇到磁盘故障；但是为了避免数据丢失，最常见的做法就是复制（replication）；系统保存数据的副本（replica），一旦硬件系统出现故障，就立即使用另外保存的副本。以某种方式结合大部分数据来共同完成分析。各种分布式系统允许不同来源的数据进行分析，但其数据的正确性是无法保证的。因此MapReduce提出了一个编程模型，该模型抽象出这些硬盘读/写问题并将其作为对一个数据集（由键值对组成）的计算。架构设计及用途HDFS采用主从架构。HDFS集群是由一个Namenode和一定数量的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间（namespace）即元数据以及客户端对文件的访问；而Datanode一般是一个节点部署一个，负责管理所在节点上数据的存储。集群中单一Namenode的结构大大简化了系统的架构，Namenode是所有HDFS元数据的仲裁者和管理者，因此用户数据永远都不会流过Namenode。HDFS使用Java语言开发，因此任何支持Java的机器都可以部署Namenode或者 ...继续阅读 (102)