Data Lake学习资料推荐 整体介绍和产品 《Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics》 《The Snowflake Elastic Data Warehouse》 数据存储：表、文件列存 《Delta Lake: High-Performance ACID Table Storage over Cloud Object Stor ...继续阅读 (106)

Hyperspace初体验：Delta Lake表索引 1.简介 Hyperspace是一个由微软开发的开源的数据湖索引子系统。 1.1 特性 提供了一套定义完好的索引管理API （4.1 建索引, 5.2 增量刷新） 为用户提供更大的自由度，毕竟用户是最了解自己用例的人 不尝试去解决所有问题，有些问题没有固定答案 独立于数据和元数据，索引有自己的元数据/日志（4.2 Hyperspace日志） 能感知到底层数据的版本，同数据一起“时间旅行” （5.1 Time Travel支持） 因为 ...继续阅读 (119)

湖中小屋：从数据仓库到数据湖 昨天读完了一篇不错的论文《Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics》。虽然篇幅不长，而且也没涉及到具体的理论和技术实现，但可以当作是对当前比较火的数据湖领域知识的导读。论文标题也比较有趣，Data Warehouse + Data Lake = Lakehouse。有点文字游戏，但非常契合文章主旨：是否能够融合数据仓库和数据湖的 ...继续阅读 (124)

SQL语句的确定性 1.确定性的用途 SQL语句的确定性，从字面上理解就是执行一条语句始终有同样的结果。根据语句类型的不同（DQL/DML/DDL），这里的结果指的可能是查询结果，也可能是副作用，比如对数据库状态的修改。在思考确定性的准确定义之前，我们先看下面三个判断SQL语句确定性的用途： 数据复制（Replication）：分布式数据库要保持主副本和从副本之间的数据一致性，两种常见的策略是基于语句和基于行数据。前者只发送要执行的语句，比如DML的INSERT/UPDATE，这就要保证这条语句具有确定性 ...继续阅读 (115)

最近终于有时间，拜读了《Designing Data-Intensive Applications》的第一部分。这本书的豆瓣评分高达9.1，被奉为系统设计面试的“圣经”。个人觉得第二章逻辑数据模型和第三章物理存储实现最为经典，这也是这篇读书笔记内容的主要来源。 数据模型（或数据结构）可能是软件开发中最重要的部分，因为它不仅影响如何写代码，更重要的是它会影响我们如何思考要解决的问题。著名的《人月神话》里有专门一章讲述数据结构的重要性。其中有句让我印象深刻的话：“”。一个典型的应用程序可能包含很多层次，每一个 ...继续阅读 (128)

分布式查询引擎Presto 本文内容主要来自《Presto: The Definitive Guide - SQL at Any Scale, on Any Storage, in Any Environment》一书。 1.Presto的历史 2008年，Facebook开源了Hive，之后成了Apache的顶级项目。Hive在Facebook被广泛使用来分析它巨大Hadoop集群中HDFS里的数据。然而，Hive的性能不足以支撑交互式数据分析的场景。2012年，Facebook的Hive数据仓库已经达到 ...继续阅读 (112)

为了深入学习Elasticsearch和Lucene，本文从Elasticsearch索引的创建过程入手，对Refresh和Flush两个重要的API做一个小实验。从而理解Elasticsearch在接收到一个文档后，是如何对其进行索引的。了解了整个流程，后续我们再深入学习Lucene索引的内存数据结构和磁盘文件格式。注：本文使用Elasticsearch和Kibana 7.10.2。 1.实验环境 1.1 创建索引 创建索引lucene-learning，设置shard数为1，关闭replica，同时关闭 ...继续阅读 (128)

为什么要学习排序算法？ 根据统计，早起大型机CPU资源的四分之一都花在了数据排序上面。排序算法作为最基础的算法，各种操作系统、编程语言都提供了内置的实现。既然排序实现随处可见，我们为什么还要自己动手实现呢？虽然经典算法要动手写写加深印象的道理都懂，但直到最近才发现，每种排序算法里都“暗藏玄机”。排序算法看似简单，其实不同的算法中蕴涵着经典的算法策略。通过熟练掌握排序算法，就可以掌握基本的算法设计思想，包括暴力枚举法、时间空间置换、子问题的分治以及随机化。 1.选择排序：暴力搜索 1.1 “暴力”的定义 按 ...继续阅读 (105)

Redis之父Antirez今早发布了一篇文章，题为《The end of the Redis adventure》。多年以前深入学习过Redis，这个最流行的缓存解决方案。当时惊叹于其近乎“变态”的性能表现，简直就是一个性能猛兽。而更令人印象深刻的是，在优异的外在表现背后，其代码质量也同样优秀。当年又不少的文章和书籍，都是关于Redis源码解析的。因为工作的缘故，我也写了不少文章，对Redis这个好产品还是有些怀念的。 出于这些缘由，今天特意仔细读了一下Redis之父的这篇博客。文章虽然不长，但有的地方还 ...继续阅读 (111)

测试驱动开发下的软件生长 1.前言 最近读完了《Growing Object-Oriented Software, Guided by Tests》，这本在豆瓣上高达9.5分的好书。事实证明，群众的眼睛是雪亮的。除去中间那个很长的实际项目案例没耐下心来看完，其他部分我都看了不止一遍。虽然还没有读过那本名气很大的《Test Driven Development: By Example》，但到目前为止，这本书已经成了我心中测试驱动开发的“圣经”。 读完全书，印象深刻的地方实在太多了，比如快速反馈的重要性、软件系 ...继续阅读 (131)

1.前言 《如何解题》（《How to Solve it》）是波利亚的经典著作，列举了很多数学问题，总结了解决问题的主要思路和步骤，即定义问题，设计方案、实现、验证。虽然全书主要是以数学问题为例，但其思路适用于生活和学习的其他方面。比如在软件开发领域，我们通常也是按照这四步。首先收集客户需求、找到客户的痛点和要解决的问题，然后进行产品设计、架构设计和每个模块的详细设计，接下来就是编码实现和最终测试验证了。 这四步法的确非常有效，然而很多时候，现实世界的问题与纯粹的数学问题还是有很大差别的。最近读了一些其他这 ...继续阅读 (126)

1.《The Joy Of X》 第25章—— 最孤独的数 Computers have found twin primes at unbelievably remote parts of the number line. The largest known pair consists of two numbers with 100355 decimal digits each, snuggling in the darkness. 所谓Twin Primes就是两个紧邻的质数，比如11和13，17和1 ...继续阅读 (116)

因为目前项目涉及到数据库查询引擎的实现，所以近来愈发觉得数据库引擎开发是一个很好的技术领域。首先，一个数据库引擎与传统编译器很像，可以细分为三大部分，前端、中端和后端。所谓前端，就是一个SQL解析器把用户的SQL语句转换成语法树（Parse Tree或者叫Concrete Syntax Tree，CST），然后在执行语义检查的同时将其转换成中端所需的输入——抽象语法树（Abstract Synta... ...继续阅读 (114)

2018年的个人总结内容很丰富，2019年也已经过去两周了，想提笔写点什么却好像素材不多。 这一年最大的收获应该就是，一直在做的主项目3月份在GitHub上开源了。以前对GitHub上如何开发和协作一点都不了解，没想到在Amazon竟然有机会参与到开源软件的开发。于是在接下来的大半年时间，如果管理Issue，发Pull Request，合并到主干。同时还读了《Pro Git》的主要部分，对Git和... ...继续阅读 (115)

这周突然发现公司项目的GitHub代码库多了一个Tab页，叫做GitHub Action。于是了解了一下，发现这就是大家期待已久的自动化功能。自动化不只是我们常说的CICD（持续集成和持续部署），通过定义一个yml文件我们可以实现更多的动作。这个yml配置文件会保存在代码库的.github文件夹，所以fork出去的代码库也跟着自动开启了相应的GitHub Action功能。 下面就是我们代码库里一... ...继续阅读 (113)

Grammarinator是一个基于ANTLR 4的grammar文件，自动生成语句的开源项目：https://github.com/renatahodovan/grammarinator。从语言的grammar生成语句或者所谓的Fuzzy Testing，对软件测试很帮助。就像Grammarinator的README里所说，它已经帮助一些项目发现了很多缺陷。本文通过一个简单例子，让大家先了解一下... ...继续阅读 (119)

周末阴雨连绵，在家闲来无事，抽空读了《Database In Depth: Relational Theory for Practitioners》这本评价不错的关系理论书的开篇。作者C.J.Date是关系理论之父Codd的好友，所以对关系理论的理解是足够深入的。甚至在开篇不久，作者就提到了与Codd理念不合的地方，比如关于NULL的合理性，关于Domain与Type的等价性等。 1.SQL不等... ...继续阅读 (117)

原书《Logicomix》，中文名《罗素的故事》或《疯狂的罗素》。讲述的是逻辑学家、哲学家罗素追寻真理的故事。以罗素的回忆为主线，穿插了许多史实和一些虚构的情节，比如罗素与一些人物的会面和对话。主要内容上与《逻辑的引擎》类似，毕竟如罗素悖论、哥德尔不完备性等大事件是一定会提及的。不同的是轻松有趣的漫画风格，而且是制作漫画的画师和数学家、演讲中的罗素、以及罗素回忆的故事三重场景不断转换，像盗梦空间一... ...继续阅读 (122)

早些时候曾写过一篇程序员的数学修养，介绍了一些程序员可以学习的数学分支。虽然与编程有一定的相关，但自学起来也不是一件容易的事。所以本文再推荐一些专门为程序员写的数学书，可以用作入门。有了一定基础知识，可以再根据需要去学习和选读一些更偏向数学的书。说到程序员数学，可能第一反应就是离散数学，再就是算法。国外的几本经典教材可能大家也都耳熟能详，所以本文会侧重一些不是很热门或者新出版的书籍。 1.抽象代... ...继续阅读 (122)

之前曾写过一篇语义分析的概念性介绍：https://daichen.blog.csdn.net/article/details/100097850。最近，终于开发完了一套基于SQL的语义分析器，算是对之前学习到的理论的一次工程实践。本文只是点出一下实践时的一些关键点和经验，具体细节还请看这里的设计文档：https://github.com/opendistro-for-elasticsearch/... ...继续阅读 (120)

当你编码时你在做什么：谈编程的本质(一)状态机这学期学习了两门有意思的课，Theory of Computation和Distributed System，一低一高完全两个层次上的分支，却意外地发现两者在理论方面的重叠——那就是状态机。在Theory of Computation中，DFA、NFA、Turing Machine都是非常经典的State Machine，而在Distributed System中，Global State的确定、一致性协议的Replicated State Machine等处，又再次看到了它的身影。于是搜到了图灵奖大牛Lamport的一篇论文《Computation and State Machines》，讲述了无所不能的State Machine。下面对这篇note中触及编程本质的几处做下摘录，句句经典：1. Think Better, Code Better“I believe that the best way to get better programs is to teach programmers how to think better.Thinking is not the ability to manipulate language; it’s the ability to manipulate concepts. Computer s ...继续阅读 (117)

当你编码时你在做什么：谈编程的本质(零)编码时间也不算短了，一直想写这么一篇文章，但苦于知识面和功力不够。经过了一年的读研学习，终于对什么是计算、什么是编程的本质有了些领悟。于是断断续续花了几天时间，斗胆提笔来谈一谈自己的理解。写着写着就越写越多，于是干脆就写成一个系列吧。还没搞懂的就先放下，等搞懂了写好了再发，用这个系列先占个位置，督促自己不断地深入学习，不要停歇。目前已经想到的比较重要的内容有：State Machine：计算机的理论根基之一，从图灵机到何为计算。Set & Function：与编码息息相关的集合与函数。Tree (Graph)：既能表示计算对象的执行空间，同时树在数据结构中的重要地位。Top-down & Bottom-up Search：对搜索空间进行由上至下（Recursion & DFS）和由下至上（Dynamic Programming）的搜索。Behind the Scene: Logic：编程的另一理论根基，为什么用计算机进行计算是“站得住脚”的科学。Program & Data：代码与数据的完美统一。相信对这些内容的梳理和学习，对代码的理解会加深一层，编程功力一定会有很大的提高。也正应了这个系列的标题：当你编码时你究竟在做什么？每一个想不断进取的程序员、工程师在整个职业生涯都可能都会反复问自己这个问题。但这个主题本 ...继续阅读 (113)

如何突破编程学习的瓶颈期1.谁未曾彷徨对于每个学习编程的工程师来说，肯定都会遇到或长或短的瓶颈期。基本症状就是：不知道该学什么、该怎样继续提高。看什么都能上手弄一弄，但好像又什么都不精通。本文谈谈笔者在不到十年的整个职业生涯中碰到的三次瓶颈期，以及是如何克服的。方法因人而异，本文只供大家参考借鉴。2.真实的项目是什么样这是本人在本科学习时还未实习前最好奇的一点。因为学了C++/JAVA等专业课，尤其JAVA，语法和库函数已经烂熟于心，但从来没有做过真正的项目，所以对于该学什么框架、平台、开发方法等还是很迷茫的。迷茫是正常的，但千万不要停下脚步。不知道不了解，那就上网去找资料。看看别人上传的代码是什么结构，怎样设计的，用了哪些框架。一点点的，也就对真实世界里的项目有了些了解。记得当时自己弄个Log4j都感觉很兴奋，仿佛自己的Demo专业了很多。这样再等到真正实习时，那就如醍醐灌顶般，一下就有了清晰的认识，然后就能够大踏步提高。顺带再补充一点就是：对于还未毕业的同学，看经典好书是非常重要的。因为这时的你还未养成根深蒂固的习惯，就像张白纸。所以，看什么样的书对你未来的发展和习惯养成是有决定性作用的。在这一点上，笔者感到非常幸运，在本科阶段认真看了两本书：《JAVA编程思想》和《代码大全》。尤其是后者，看过之后，以后再做不管是大项目还是小模块，都会使你不断思考到底代码怎样写会更好。这种追求 ...继续阅读 (134)

春夏秋冬又一年春夏秋冬，一年又一年。可总有那些岁月，可能是几个月，几天甚至一瞬间，让人刻骨铭心难以忘怀的。2016就是我生命中最难忘的一年，不是几个月、几天或者一瞬间，而是满满的一年。到国外求学，学到自己想要的东西，还度过了三十岁的生日，辛苦忙碌却又非常充实而欣慰的一年。1.春：飘洋过海去求学2016最重要的一件事就是：工作了六七年后，又重新回到了校园。本科学习时的种种遗憾，终于有了机会弥补。一整年都在学习拼搏，想要紧紧抓住这弥足珍贵的机会。因为这应该是最后一次在校园学习了。第一学期是非常艰苦的一学期，初来乍到，生活上一切都要重新适应。而学习上又要与各国同学竞争。每天上课，去图书馆找资料打印论文，回家吃饭写作业，周而复始，有时真想快点过去。每次从图书馆出来，吹吹冷风，呼吸下新鲜空气，放松下心情。回到家，又继续开工。这样辛苦到底值不值呢？做热爱的事就值。想象中的热爱，就像灌篮高手里，一群热血少年，在最好的年华里为了一个目标而拼搏，这是多么令人向往的一段经历。关于热爱，是一件很私人的事，不是别人来告诉你的。有时做什么事都会有附带的你不喜欢的部分，比如工作有出差、加班、领导开会以及其他编程不相关的事，学习又有竞争和成绩的压力。如果能苦中作乐，我想这就是热爱吧。2.夏：人到三十古来稀在这炎炎夏日的悠长假期里，鄙人度过了三十岁的生日。很简单普通的一天，没有什么特别的事情。但心理上还是有了些微 ...继续阅读 (111)

当Linux Mint遇上Thinkpad1.再谈好工具的重要性大概两年前开始使用Linux Mint，从此无法自拔，真的太方便了！但真正进入Linux世界之前，笔者也是经历了小心翼翼在虚拟机里用Ubuntu、安装Cygwin模拟等一系列的过程，大概也有个两三年的适应之后，才真正在真机上安装Linux Mint的。安装过程出奇的简单，真后悔没早点弄个双系统。以下便是之前整理关于Linux系统安装、开发环境搭建的文章，有需要可以参考：Linux Mint 17一周使用体验：有些麻烦了，其实直接U盘引导也是可以的，详见后文高效程序员的狂暴之路Linux Mint 18升级失败记Sublime Text 3下C/C++开发环境搭建Markdown语法及SublimeText下使用技巧工具的强大之处真是无需多言，在日积月累、潜移默化中就对你造成深刻的影响。在进入Linux Mint世界之后，每当有任何需求就查找解决，对Linux各种软件更加熟悉了。对像Vi这种神级编辑器更是重度使用，连Intellij中都装了Vim插件。像Guake这种既方便又酷炫的Dropdown式Terminal，Remarkable所见即所得式的Markdown编辑器等都是在进入Linux世界后一点点学会的。久而久之，开发和使用习惯也都打上了深深的Linux烙印。方便好看就更加爱用，爱用就学得更多，所以工具不仅是工具 ...继续阅读 (139)

Leetcode分类解析：二分查找1.原始二分查找1.1 典型例题35-Search Insert Position (Medium): Given a sorted array and a target value, return the index if the target is found. If not, return the index where it would be if it were inserted in order. You may assume no duplicates in the array.Here are few examples.[1,3,5,6], 5 → 2[1,3,5,6], 2 → 1[1,3,5,6], 7 → 4[1,3,5,6], 0 → 0首先来看一道最经典的二分查找题，考察的就是二分查找的原始实现。因为这道题比较经典，所以下面源码做了大量注释。说是注释，其实是断言，用来在后面说明这段代码的正确性。特别注意一点，就是那个看似奇怪的mid计算方式，为什么不是(low+high)/2呢？做了很久Leetcode我都没注意到，看到有些答案这样写的还以为是多此一举，直到做到某一道题发生溢出，真是井底之蛙！这样写就是因为当low和high特别大时相加会发生Integer溢出，要么都转成long做完运算再转回来，但是下面这种写法更加方便， ...继续阅读 (120)

Leetcode分类解析：链表1.分类地图按照惯例，首先来看一下链表在本系列所处的位置：基础结构（Fundamentals）1.1 数组和链表（Array&List）：插入、删除、旋转等操作。1.2 栈和队列（Stack&Queue）：栈的典型应用。1.3 树（Tree）：构建、验证、遍历、转换。1.4 字符串（String）：转换、搜索、运算。积木块（Building Block）2.1 哈希表（Hashing）2.2 分治（Divide-and-Conquer）2.3 排序（Sorting）2.4 二分查找（Binary Search）高级算法（Advanced）：3.1 组合算法（Combinatorial Algorithm）3.2 贪心算法（Greedy Algorithm）：贪心的典型应用。3.3 动态规划（Dynamic Programming）：广泛应用DP求最优解。3.4 扫描（Scan）其他杂项（Misc）：4.1 数学（Math）4.2 位运算（Bit Manipulation）4.3 矩阵（Matrix）4.4 区间（Interval）4.5 图（Graph）因为数组本身并没有太多技巧，而更多地是在其基础上对其他更高级一些的数据结构和算法的应用，所以本文侧重链表部分的技巧和经验总结。2.经验技巧总结链表问题的特点和解决技巧整理如下：删除操作： ...继续阅读 (152)

Linux Mint 18升级失败记上月末看到Linux Mint 18发布的消息，非常期待，但官方迟迟没有给出具体的升级办法，于是就没敢轻举妄动。今天看到官方终于发布升级手册了，于是简单备份了一下系统（大部分重要资料都保存在DropBox了）就开始动手升级了。结果不出所料，失败了，千小心万小心，还是没躲开这一劫……1.升级失败满心欢喜按照升级Instruction一步步来，结果在最后一步升级各种包时还是倒下了，莫名其妙的一个apt包安装失败。上网查了一下没有找到解决方案，于是带着侥幸心理直接继续刚才中断的升级。最后结束时还以为可以了，一重启就发现不对了，无法进入Mint了！！！还好系统里的资料都做了备份，所以也不准备想办法回滚了，直接进入Windows重装Mint吧～2.重装引发的血案这一重装不要紧，但在Windows中删除Mint之前的两个分区时，忘记重新生成引导记录了。因为之前安装Mint后，Mint会生成一个引导菜单，现在Mint的分区都删掉了，变成未分配了，不用EasyBCD重新生成的话就肯定不对了！但当时统统忘了，于是重启机器后可怕的一幕发生了，直接黑屏，显示grub rescue… 网上众说纷纭的，什么执行ls逐个确认分区，然后set手动修改重新生成引导菜单，试了都不行，两个系统都被搞坏了实在崩溃……3.抢救引导区还好对操作系统的基本知识有些了解，冷静了一下，结合网上 ...继续阅读 (223)

Leetcode分类解析：组合算法所谓组合算法就是指：在解决一些算法问题时，需要产生输入数据的各种组合、排列、子集、分区等等，然后逐一确认每种是不是我们要的解。从广义上来说，组合算法可以包罗万象，甚至排序、各种搜索算法都可以算进去。最近读《The Algorithm Design Manual》时了解到这种归类，上网一查，甚至有专门的书籍讲解，而且Knuth的巨著TAOCP的第四卷就叫组合算法，看来还真是孤陋寡闻了！于是最近着重专攻了一下Leetcode中所有相关题目，在此整理一下学习心得。题量重要，质量也重要！1.分类地图个人以为，以组合算法为一大类是非常好的分类方式，比目前网上看到的一些类似穷举、BFS、DFS的分类方法要清晰得多。那首先来看一下组合算法在本系列所处的位置，以及它可以细分为几小块吧：基础结构（Fundamentals）1.1 数组和链表（Array&List）：插入、删除、旋转等操作。1.2 栈和队列（Stack&Queue）：栈的典型应用。1.3 树（Tree）：构建、验证、遍历、转换。1.4 字符串（String）：转换、搜索、运算。积木块（Building Block）2.1 哈希表（Hashing）2.2 分治（Divide-and-Conquer）2.3 排序（Sorting）2.4 二分查找（Binary Search）高级算法（Ad ...继续阅读 (129)

操作系统内核的绝佳学习材料——JOS前言：关于JOS和一些经验之谈这一学期的操作系统课使用的是MIT用于教学的JOS操作系统，并且StonyBrook在其基础上做了大量改动，最重要的变化就是从32位移植到了64位。因为个人之前曾系统学习过Linux 0.11内核（《操作系统内核Hack：(四)内核雏形》，实现到时钟中断部分停下了），深知自己从零开始实现内核的工作量。即便是如我个人实现的MiniOS这种简单的不能再简单的，也是需要花费很多时间和精力的。虽然这些付出非常值得（在上这门课时给我带来了巨大的帮助），但是对于想直接上手的同学来说会很打击积极性。既然强烈推荐JOS，那它有哪些好处呢？环境搭建简单：JOS依赖的软件较少，基本就是GCC、Qemu、GDB这一套。以后如果有人能够做一个Docker镜像的话，那就更方便了。引导性强：不管是Lab中的文字还是代码里的注释，JOS的作者真的很贴心，几乎所有习题都不会从零开做。尤其是代码中的注释，给出了详尽的指导，很多还都有Hint提示。这对自学的同学来说真的太重要的了。自动打分：每个Lab都有一个Grade脚本，因为代码中编写了大量的测试断言代码（有的Lab感觉测试代码甚至都要超过功能代码了，非常的全面）。挑战题目：如果你觉得太简单，每个Lab还有少量的挑战题目，有些可以一试，有些对于我是挺难的。这学期大概做了有十几个相对容易一些的Chal ...继续阅读 (132)