今天聊一下时间的话题。在分布式系统中，“时间” 是一个挺有趣，但是很难处理的东西。我把自己的理解简单整理下来。不可靠的物理时钟首先，单一节点的物理时钟是不可靠的。物理时钟本身就有偏差，可是除此之外，可以引起节点物理时钟不准确的原因太多了，比如 clock jump。考虑到NTP 协议，它基于 UDP 通信，可以从权威的时钟源获取信息，进行自动的时间同步，这就可能会发生clock jump，它就是说，时钟始终会不断进行同步，而同步回来的时间，是有可能不等于当前时间的，那么系统就会设置当前时间到这个新同步回来的时间。即便没有这个原因，考虑到数据从网络传输的延迟，处理数据的延迟等等，物理时钟是非常不可靠的。如果一个分布式系统，多个节点想要仅仅依赖于物理时钟来完成什么操作，那么只能祈祷运气足够好了。在《从物理时钟到逻辑时钟》这篇文中，我已经介绍了对于物理时钟不可靠的问题，我们有一个解决的办法，就是引入 Lamport 逻辑时钟，或者使用向量时钟，这里就不赘述了。超时分布式系统中什么样的执行结果最难处理，成功还是失败？其实都不是，最难处理的结果是超时，因为执行超时了，但是系统却并不知道它：是没执行，是执行成功了，还是执行失败了。所谓超时，一个显然的问题是，超过多少时间才算超时？往往没有一个公式，更没有一个标准答案，我觉得《Designing Data-Intensive Applicatio ...继续阅读 (1)

我有 Mac 和 Windows，这些年折腾软件方面的环境 Linux 用得比较多，最近想安装一个 Kubernetes 的本地环境，本着 “生命不息，折腾不止” 的精神，打算在 Windows 上动手。了解到可以尝试 Minikube，在此简单记录一下。首先得要安装 Docker，但是在 Windows 下跑 Docker 有两种方式，WSL（Windows Subsystem for Linux）或者 Hyper-V。我首先把这些 Windows 组件都勾上：我两条路都去走了一下，为了使用 Hyper-V，我还去 BIOS 里面打开虚拟化支持的选项。不过，后来才知道，因为操作系统版本是 Windows 10 Home，虽说 Windows 上面跑 docker 有两种方式：一种是使用 WSL另一种是使用 Hyper-V但在 Windows 10 Home 版本上只支持第一种。由于 Hyper-V 本质上是额外的虚拟机，而WSL更新，是虚拟化的 Linux 环境，是 Windows 操作系统原生支持的，性能要好一些。其实，在 Docker 的设置里面也有说了：可以列出所有 WSL（我使用的WSL 2）目前支持的 Linux Distributions：wsl --list --online可以选一两个自己熟悉的安装了体验一下：wsl --install Ubuntu wsl -- ...继续阅读 (2)

分布式系统有它特有的设计模式，无论意识到还是没有意识到，我们都会接触很多，网上这方面的材料不少，比如《Catalog of Patterns of Distributed Systems》，还有《Cloud Design Patterns》等等。这里简单谈谈几个我接触过的，也觉得比较有意思的模式。LSM Tree对于这个话题，基本上第一个在我脑海里蹦出来的就是 LSM 树（Log Structured Merge Tree）。其实，LSM 树本来只是指一种数据结构，这种数据结构对于大吞吐量的写入做了性能上的优化（比如日志写入），同时对于根据 key 的读取也有不错的性能。换言之，对于读写性能的平衡，大幅优化了写入，而小幅牺牲了读取，现在它也不再被局限于数据结构本身，而是泛化为能够提供这样特性的一种机制。整个写入过程分为两个部分，为了追求极致的写入速度，写入方式都被设计成追加的：C0：这一层其实就是内存中写入的 buffer，它的实现可以用 RBTree，或者是 SkipList，这种树状有序的结构，它的写入和范围查询都很快。在Bigtable 的设计中，它被称为 Memtable。C1：这一层则主要待在磁盘上了，它可以由若干个文件组成，每一个文件都是有序的数据，这样拿着一个 key 去文件查询对应的数据，根据 indexed keys 可以用二分法来查找。在 Bigtable 的设 ...继续阅读 (3)

不要使用分布式锁就像 Martin Fowler 说的那样，“分布式调用的第一原则就是不要分布式”，谈分布式锁也要先说，不要使用分布式锁。原因很简单，分布式系统是软件系统中复杂的一种形式，而分布式锁是分布式系统中复杂的一种形式，没有必要的复杂性就不要引入。有的逻辑是没有副作用的（纯函数代码），那就可以无锁执行；有的数据经过合理的 sharding 之后，可以使用单线程（单节点）执行，那就单线程执行。比如一种常见的模式就是使用 queue（比如 Kafka），任务全部放到队列中，然后根据 sharding 的逻辑，不同的 consumer 来处理不同的任务，互相之间不会干扰冲突。还有一个例子是 Kotlin Coroutine，通过指定一个单线程的 dispatcher，也可以保证它执行的操作之间互相不会有多线程的冲突问题。有了这样的原则以后，再来谈谈几种分布式锁。数据库锁分布式系统中，我觉得我们最常见的锁就是使用一个中心数据库来做的。一种是悲观锁，就是 “select xxx … for update” 这样的，相应的数据行会被锁上，直到 commit/rollback 操作发生。如果被别人锁了，当前线程没得到锁的话就会等着。还有一种是乐观锁，就是使用版本号，“update … where … version=A” 这样的。如果 update 成 ...继续阅读 (6)

我裸辞了。工作差不多十六年了，从来没有以离职后休假的方式休息过。今年还是比较特别的，我做了很多新的尝试，想改变一下自己，包括这最近发生的一件事情。事情发生得很快，我辞职了，在作为 engineer 加入 Doordash 一年零十个月后。记录一下。原因我不是在二十岁的年纪，做决定容易缺乏思考，其实，我已经想了这件事情好久了。在这期间，我也和不同的朋友和同事讨论过，他们有的还在 Doordash，而有的也已经离开了。说起来，大致有三个原因：第一个，是兴趣的不匹配。郭德纲说过，如果你每天做的事情是你喜欢做的，那就是老天爷赏饭吃。这样的情况只在少数人身上发生，而我大致就是这样的少数人——不能说每天如此，但是在我职业生涯八成以上的时间，我工作做的事情，恰恰就是我喜欢做的。不过，今年我从一个做平台的 Gateway 组换到了一个做产品的 Order 组，我察觉到情况有了变化，这里面原因有些复杂，但明确的是，impact 是有，但做这个产品工程师并不是我所喜欢的。回头想起来，过往一直都是一个 platform engineer，这算是我第一次做 product engineer，也许这个角色并不适合我。兴趣，其实是一个复杂的事情。但是匹配还是不匹配，却是可以直接感受到的。有兴趣的时候，我会感觉充满热情，也不太容易感觉疲倦，做事情都很有动力，工作就是一件快乐的事情；没有兴趣的时候，依然会努力做好 ...继续阅读 (3)

最近有些思考，想在这里随便聊一下拼多多和品牌的话题，记录一下。我不是学经济的，也不是学商业的，但是关于品牌和商业模式的话题，很多人都有自己的思考。我想聊聊这个事情是由最近拼多多市值超过阿里的事情引起的。首先一点，电子商务的红利期早就过去，现在看来，电子商务真的算不得什么好生意，也很难谈什么扎实的护城河。电子商务，最多就是套着已经黯淡马甲的零售业，没有什么本质区别。也许在十五年前，电子商务是能给人无限遐想空间的商业模式。阿里巴巴这些年可以说把一副好牌打坏，电商成功了，但不能躺在功劳簿上，于是它尝试了大量的 “第二曲线”，可是基本上输多胜少，臃肿的人员不说，投资也是一塌糊涂。阿里巴巴有护城河吗？当然！但是它最核心的零售业，护城河却是被高估的，有人说它现在是处于 “大而不能倒” 的状态。我想起自己家乡的大型超市，基本上都是每隔几年就有一个新的冒出来，然后就是人头攒动，再接着就是几年后倒闭，几十年了，仿佛就是跳不出这个循环。灯火辉煌的时候人们永远都不会去想象它几年后落魄的样子，但是市场的变化往往比人们想象要快。曾经有人争论重物流和轻物流带来的区别，可是看看京东，一样在过苦日子。电子商务就真的是一个艰难无比的行业，随着抖音、拼多多这样的越来越多的玩家进驻，伴随经济因素导致的消费降级，很难有人独善其身。再来看拼多多。拼多多从社交的夹缝中成长起来，在大家都爱 “价廉物美” 的东西，在没法两全的时 ...继续阅读 (17)

关于行业未来软件行业裁员到处是风声鹤唳，关于行业，关于职业，关于未来，平日里总有一些零散的想法，可是总体来说，始终是忙碌太多，而思考太少。于是，这个周末静下心来，想努力把这些碎片串起来——可是似乎这并不是一件很容易做的事情，那就先把这些想法记录下来。首先，关于软件行业。很显然的是，任何行业都有周期，软件行业也不例外，软件行业已经过了最疯狂的时间段，现在整个市场都在高利率下，在高昂的借贷成本下冷静下来。我依然记得最疯狂的时候，大概就是在疫情大放水期间，小红书上都有各种行业的牛鬼蛇神 “三个月转码” 的小作文，那些就让我想起了好多年前，我刚读大学的时候，听说招计算机专业的毕业生，因为需求火爆、一将难求而面试大量走过场（那个时候还没有软件专业毕业生）的故事。和做 manager 的朋友聊天，他也说，那段时间招进来的程序员能力整体上很明显下降了一个档次，而对于公司和团队来说，消化这些人的代价又显得很巨大。软件行业是夕阳产业吗？显然不是。但软件行业是新兴行业吗？说真的，也不太适合谈什么 “新兴” 了。我认为，现在的软件产业依然再走着明确的上坡路，但是市场很明显很理性了。长远看，这是一个太正常不过的、健康的行业发展的过程。就像中国的房市经过了十几年的高增长，需要冷静下来一段时间一样，但是它和房市还不一样，房市的其中一个根本影响因素——人口，在经过了转折点之后，开始走下坡路，因而房市从长远看，缺 ...继续阅读 (36)

2022 年末 2023 年初的时候，中国顶尖的投资银行中金公司（中国国际金融股份有限公司）对于中国宏观经济做了十大宏观预测。如今到了年末，回头一看，了不得，居然全错。要知道，能把这十道题全部做错和把十道题全部做对一样，都是只有非同寻常的人才能做到的。不过，我倒不是想强调中金公司搞宏观分析的团队有多么得不靠谱，而是说，预测宏观本来就是一件无比困难的事——事实上，华尔街的分析师也好不到哪去：股票策略师 Mike Wilson 预测，标准普尔 500 指数即将暴跌。在美国银行，Meghan Swiber 及其团队表示，要为美国国债收益率暴跌做好准备。在高盛，包括 Kamakshya Trivedi 在内的策略师都在谈论中国资产，因为中国经济终于从疫情封锁中复苏。16 家大行对标普 500 指数到 2023 年的目标点位，预测值从 3675 点到 4500 点不等。可是结果呢，今天是 2021 年的最后一个交易日，标普最终停留位置是 4769.83。换言之，诸位大师们，全错。所以，我最终想说明的是，我觉得对于任何一个热衷于投资的朋友，都要有着清醒的头脑，就是不要把自己对于宏观经济的判断，太当回事。这些专业人士况且只能把这件事情做得如此不靠谱，你我业余爱好者就更得有自知之明了。话说 2024 年，一票砖家又开始预测了，看看就好，看看就好。对于今年投资美股的大多数人来说，收益率都应该还挺不错 ...继续阅读 (37)

和不慌不 MANG 播客的主播 FANG FANG 聊了一下程序员的话题，音频放在这里。下面是Spotify和苹果 Podcast的嵌入代码，国内的小宇宙链接在此。Show notes：02:36 “码农” 是不经意的自嘲还是妄自菲薄？04:45 十年前写下《致那些自嘲码农的苦逼程序员》文章的机缘11:32 要意识到自己所讲述的故事 narrative 对自己的暗示， “自我验证预言” 与现实的交互影响15:38 误解之一： 程序员是无趣的人？17:23 误解之二： 程序员的工作单调乏味？24:17 程序员也需要全面的能力， 写程序只是工作中的一部分30:08《你不适合做程序员》？ 做程序员的必备特质34:10 在转码的潮流背景下， 这些程序员的必备特质是自带的天赋还是后天可以培养的？37:56 “程序员需要独立解决问题，程序员解决问题不是民主选举。世界上绝大部分优秀的系统的绝大部分，总是由很少的人设计出来的” 那么作为普通程序员， 可以享受到什么样的乐趣？40:33 如何看待一辈子只做程序员？ 这是一种无奈的被动选项吗？还是也可以是一种认清楚自己喜好之后的主动选择？41:10 误解之三： 程序员是一份 “不体面” 的工作？44:01 匠人程序员45:51 程序员科学的思考方式也让我在生活中解决问题的时候大大受益48:38 喜欢工程师文化中的平等交流，就事论事54:20 需要意识到 ...继续阅读 (46)

从读书，到工作，都离不开时间管理，我相信只要不是属于无比随性的少数人，应该都有自己的体会。因为这件事情太重要了，它贯穿于每日的生活和工作之中。好久以前就写过一点关于时间管理的体会，后来又补充了一些，现在重新开一篇短小的文字，记录一点新的感悟。变化随着年岁的增长，我却越来越感到时间管理这件事情在不断地变得更加重要，因为整体的事务数量和复杂度都提升了。关于其中的原因，我仔细思考过。大致上，在年纪轻一点的时候，兴许每天需要筹划实施五件事，但是现在呢，每天需要筹划实施十件事。相应地，年轻的时候，兴许可能这五件事里面，最终能完成三件；而现在，这十件事里面，也最多能完成五件，看似完成的更多了，却留下了更多的待办事项。那接着的问题就变成了，为什么现在的事情更多？一方面是因为年纪增长，本身就需要承担更多的责任，比如需要处理孩子的事情，家人的事情等等，而这样的事情简直太多了。读书的时候，虽然忙，但是事情的类型相对单纯，而现在的忙，则是掺杂了生活、家庭、工作、学习等等各种各样类型的事情。我记得有一句话说，“成年人的世界里没有童话”，繁忙就是常态。至于另一方面，则是因为科学技术的发展，尤其是信息技术的发展，让一切都变得更可触及和可获得，因此我们的选择更多了，有精力去同时参与更多的事情。比方说，各种社交软件，就会不断打断你的进程，侵蚀你的时间。也许在十五年前，我只需要处理回复短信就可以了，现在我需要处理邮 ...继续阅读 (45)

闲聊一点美股投资。以前讲过一点我投资美股的原则（有些想法有了变化），今天想接着再补充说一些。上周五的时候，和同事闲聊聊到了投资，他提到，巴菲特建议大多数人只需要买指数就好了，因为投资个股对于大多数人来说都是一件长期收益小于投资指数的事情。即便不买指数，还有那么多基金，都很方便购买——事实上，市场上大部分的资金都来自于专业机构，他们有高级的工具，有专业的人员，市场在某种程度上就是一个零和游戏，那凭什么自己做的投资决策能击败他们？如果不能，那为还不如就买相应的基金就好了。我很赞同这样的看法，可是，投资个股也有好处，其中之一就是有乐趣，可以保持自己对于经济、公司等等的敏感性，让自己持续学习。而且，如果寻找到合适的方法，散户有自己的优势，比如散户资金量小，进出非常容易，而且散户有自己的视角，而这方面如果做得好的话，也是可以获得很有竞争力的收益的。亲自体验谈及 “自己的视角”，那就必须要保证自己对于投资标的有着一定的认识。而要做到这一点，就必须做到 “亲自体验”，就是说，只考虑自己看得懂的，体验过的。有很多原则和方法都在过往不断更新，比如估值，但是这一条却没有改变。举例来说，过往两年我还是陆陆续续加仓了特斯拉（当然因为一直都很贵，就没敢买太多），而我本身就是特斯拉车的用户，所以我对于它有着直接的体验，虽说并没有机构那么专业，但是自然有着自己的认识。我知道特斯拉的车内饰质量做得很差（特斯拉为了 ...继续阅读 (50)

我记得在毕业以前，就大致明白这样一件事情，系统之间、模块之间的交互，要确定协议，要定义接口，兜兜转转这些年过去了，我觉得对这件事情认识当然越来越深刻，也说不清其中的程度。最近做的项目中，开始大量地和 OpenAPI 打交道，一方面要最先使用 OpenAPI 来定义接口，让多个其他交互的模块都遵循它来开发，就是 “OpenAPI Driven Development” 的意思，这没啥特别的；但另一方面，系统中还需要把 Protobuf 接口定义转换成 HTTP 接口定义，并实施地使用swagger-core来动态创建OpenAPI Spec，这就比较好玩了。gRPC 到 HTTP 的协议转换先来说说这第二件，动态创建 OpenAPI Spec。我们的网关系统需要大量地涉足两种接口，一种是对内调用 gRPC 接口，需要使用Protobuf来描述它们；另一种则是对外开放 HTTP 接口，需要使用 OpenAPI 来描述它们。这就牵涉到了两个事情：一个是需要设计一种机制，允许用户只用某一种描述语言（可以是 Protobuf，也可以是 OpenAPI）做出接口定义，然后这个定义会被自动转述为另一种接口定义语言，从而实现通过最少的配置，将两种接口都定义清楚了。技术实现上，我们使用了Wire。第二个是对于任何一个从外部到来的 HTTP 请求，这个系统需要根据定义自动把他转成 gRPC 的请求，并 ...继续阅读 (47)

好久没动笔了，昨日得知左耳朵耗子陈皓先生突然离世的消息，颇为震惊和难过，也感到非常惋惜。他曾经是我在亚马逊时期团队中的经理，更重要的是，他是对我在软件工程师这条道路上影响最深的几个人之一，我觉得我应该写一点纪念性的文字。要说和陈皓的联系，大概从十来年前说起，之前也关注酷壳博客，2011 年底的时候，在南京的我我正在找工作，想去北京，我写邮件给他，附上我的简历和我当时还在 ITEye 的 blog，问他招不招人。那时我只是一个工作三年多的程序员，和我想象的不同，陈皓回邮件很快，也没有什么架子，我们来来回回讨论了不少技术问题。之后赶在年前跌跌撞撞过了面试，两月份我就加入了北京亚马逊，在一个把负责商品在欧洲进行跨国配送的研发团队，他当时是我的主管。于是我离开南京，来到了北京，可是亚马逊业务调整，我们原有的业务线解散，在选择新团队的几个选项中，我们加入了商品的销量预测团队，这也是后来我在亚马逊期间呆了好几年的团队。在北京的时候，我们团队的氛围很好，基本上工作日每天都在中午一起下楼吃饭，私下里我们称呼他 “皓哥”。工作中皓哥努力推行的团队文化非常鲜明，给作为程序员的你充分的信任，然后期望你牵头搞定项目。从不搞 micro management，也没有什么条条框框，只要做好工作，其它方面随性得很。他很注重技术分享，所以基本上每周都有技术茶话会，我们团队的所有人都分享过不同的内容，有些是基础技术 ...继续阅读 (53)

有些时候自己会有一些想法，但是过于零散，想把它们记录下来，可是又找不到一个清晰脉络可以把它们串起来。入职已经两周了，我还记得快要五年前加入 Oracle 的时候，我也写了一篇类似零散的文字，不过那个时候是在入职一个月左右的时候。Facebook 的唏嘘我记得在五年前谈 offer 的时候，Facebook（现在改名叫 Meta 了）也给了 offer，他们的 recruiter 当然是尽力试图说服我加入他们，而不是加入 Oracle。当时有一句话我依然记得，大致是说不只要看当下 compensation 的价值，要考虑到股票的潜力，因为 Facebook 的股票的潜力是 Oracle 所不能比的（北美软件工程师的 offer 往往都包含固定薪水和股票两个部分）。其实他这话某种意义上也没错，爆发中的世界最大的 SNS 公司，当时 FB 股价 $175，一直被称作市值最被低估的 FANNG 巨头，最高涨到去年比那时候翻倍了都不止，而今年的低谷则比那时是接近腰斩，这一进一出简直太过疯狂。疫情可以说强行憋出一堆泡沫，接着就是把它们一个个刺破，那些不盈利的公司都雪崩了，大科技是最后倒下的，但依然可以看得到它们摔得有多惨。我其实还是看好 Facebook，只是我不知道这个 “阵痛” 有多长。众所周知 Facebook 历来有一个产品线单一的毛病，几乎所有的利润都来自线上广告业务，抗风险能力弱， ...继续阅读 (41)

最近发生了太多的事情，也没有更新 blog，来冒个泡。我基本上是一个很长时间才会换一次工作的人，说好听点就是爱惜羽毛（工作经历），注重长期积累而非短期回报，说难听点那叫懒得动弹。记得在 2012 年初的时候，我在人生中第一次换工作，从华为跳到亚马逊，那时候我已经在华为干了三年半了，其中的主要动机一个是想开阔眼界，另一个是可以不那么辛苦。接着就是 2018 年初，在亚马逊干了六年之后，第二次换工作，从亚马逊跳到甲骨文，主要动机有两个，一个是我想在职业生涯有个突破，去参与云计算的浪潮；第二个是我觉得当时我的薪水已经严重偏离市场能给我的待遇了，所以想去谋取一份更合理的薪水。这一次，在甲骨文干了 4 年 9 个多月，第三次换工作，下一站是一家相对较小的公司 DoorDash。这次的主要动机有三个，一个还是职业生涯方面的，如今干的事情越来越偏离我认为工程师最应该干的事情，做很多的 process management，很多的协调和扯皮，很多的项目和任务管理，以及很多的 ops，而在技术方面也缺乏足够多有意思的挑战；第二个则是在 compensation 方面遭遇了一个出乎我意料的大 cliff，它让我非常不爽，于是我觉得必须得离开才能得到合理的待遇；第三个，则是客观的经济大环境，决定了现在风险资产都在低位，它就像一个照妖镜，是好公司和好的商业模式，还是风口上的猪，如今都看得清清楚楚，目光放远 ...继续阅读 (43)

支付（Payment）系统可以很复杂，比如可以和银行打交道，和信用卡系统打交道。如果我们考虑用户在一家电商买东西，在结账的时候，借助电商支持的支付系统（Payment Service Provider）来完成支付行为。支付系统需要结合商家（包含卖家和买家）一起来看。最典型的一种需求是，卖家在电商网站挂了东西卖，买家挑选了货物，结账并支付，电商依赖于支付系统来完成支付，并通知买家支付成功。图中用两条虚线分隔出了 3 列，最左边是用户，中间是电商系统（比如 Amazon），右边是 Payment Service Provider（PSP，比如 PayPal）。支付操作需要保证幂等性，从而在重试的过程中保证不会被重复扣钱。有的电商自己会存储用户具体的支付信息，比如信用卡信息和银行账号信息，但是这样的数据管理成本由于安全需求的原因非常高，因此也有很多电商省掉这个麻烦，选择让 PSP 来管理。图中就是对于这种情况的示意。图中用户在 checkout page 结账页面，store 向 PSP 发送一个 registration 请求，得到一个 token，这个 token 就可以后续用来查询支付信息。再根据这个 token 生成一个跳转到 PSP 网页的 URL，于是这个 URL 重定向用户的请求到了 PSP 的支付页面。一并带过去的，除了 token，还可能会有一个回调 URL，用以支付成 ...继续阅读 (41)

Key-value 存储系统大概是分布式存储系统中最常见的一种类型了。从功能需求的角度说，最核心的包括：可以创建一张表和删除一张表，同时对于表的数据可以进行：读，即 get(key) 返回 value写，即 put(key, value)删除，即 delete(key)当然，也有一些其它的功能需求，比如支持事务性，支持 key 排序查询，range key 或者特定列索引，支持同一 key 下 value 的 version 等等。从非功能需求的角度说，凡是存储系统，Durability 是最重要的，数据不能丢失；其次是 Availability；再次是 Performance，这样的系统需要考虑 throughput 和 latency 二者。宏观上看，实线是数据流，虚线是控制流。get 或是 put 请求被发送到 Request Manager，而 Request Manager 会询问 Metadata Service 来获知这个请求应该被送到哪一个 Replication Group 去。每一个 Replication Group 都存放有若干个数据节点，包括一个 leader 和若干个 follower，他们都和 Group Manager 通信。Group Manager 会根据它们的健康状况、繁忙状况来动态调整，并将调整同步到 Metadata Service。Met ...继续阅读 (39)

典型的互联网应用的日志系统，从功能需求上看主要包括收集，存储和分析，以及展示这样三个部分，因此整个系统我觉得也可以按此思路大致可以分为三个部分：日志收集，从宿主机上采集业务应用的日志，发送给远端的日志系统；日志存储、分析和后期处理；日志查询和分析数据展示。非功能需求方面，我觉得可以考虑这样几个要点：Durability：这是最重要的，尽可能不要丢失日志，到服务端的日志不要丢，在客户端的日志，也是如此，即便服务端不可用或连接断开，客户端的日志也要保存在本地。Availability：其次是可用性，要保证高可用。Performance：相较来说，日志系统的 performance 主要是吞吐量而非延迟，而且网络带宽需要特别算一下。Scalability：业务应用增减引起的 scale 变动会非常频繁。图中虚线为控制或辅助的逻辑，实线为实际的日志数据，或处理过的日志数据的流向。客户端日志需要分片，日志的客户端采集和处理策略存储在客户端，可以通过配置文件修改，或者通过一个第三方的系统统一将数据同步过去。本地的分片日志经过部署在客户端宿主机上的 Log Collector 应用来收集，这个应用需要独立进程，尽量避免影响主营业务。日志实时地发给 Log Service，需要数据压缩以减少带宽占用，可以采用 “微批量”（micro-batches）提高效率。特殊情况下，某些区域多个本地客户端可以 ...继续阅读 (45)

最近亚马逊将要关闭 Kindle 中国区业务的新闻唤起了我的感慨，这则新闻在朋友圈刷屏了。这件事情作为触媒，让我联想到很多东西，我就想，要不然理一理思路，写一点东西吧。这件事情，基本上就是说，亚马逊宣布将于一年之后即 2023 年 6 月 30 日，在中国停止 Kindle 电子书店的运营，被媒体称作 “时代的眼泪”。众所周知，亚马逊曾经也在中国有着雄心壮志，不可谓目光不长远。建仓储和物流的基础设施，要与淘宝一争高下，可如今只能灰溜溜地撤出了原本在中国主营的零售业务，只留下了跨境电商，令人唏嘘。我在 2012 年初以软件工程师的身份加入了亚马逊，一直到 2018 年初离开。很喜欢亚马逊的工程师文化，也很喜欢亚马逊在云计算的野心。即便抛开这个特殊的身份，我一直很喜欢在亚马逊网站上买东西，可能是因为我是一个程序员，亚马逊网站清楚、简洁，质量有保证，退货零担忧，只要不去计较那三块五毛的零头钱，简直是省心的典范，于是我就一年又一年地心甘情愿地交着 Prime 会员费。但是，它在中国的发展，我却一直都不看好，而且这个 “不看好” 并非针对特定的一家外企，而是全部这些互联网巨头们。在 2013 年我写了《IT 外企在中国》，那会我才加入亚马逊一年，但是已经开始心狠手辣地（隐晦地）手撕老东家了：……一些非常优秀的 IT 企业，到了中国以后，变成了变相外包公司，走上了中国特有的路线，从环境、风气， ...继续阅读 (66)

挺久时间没有更新了，最近脑海中有几个化为文字的想法，但是都比较散，也就没有落笔。不过忽然有一个念头冒了出来，就是这些想法里面，有几个其实都是关于软件工程师成长的一个 “误区”。可以说，从 2008 年步入职场以来，这个误区导致的坑，或早或晚我踩过不少，我觉得把它们总结一下，写出来，兴许能给一些朋友们带来一点帮助。“我对技术感兴趣，我只想做技术，走技术路线。”这句话是不是很听过呢？请不要误会，这句话本身没有问题，但是说出这句话的软件工程师中，十有八九有一个误区，就是高估了技术本身在个人职业生涯中，起作用的占比。而我，曾经是其中之一。我多次听到来自家长这样的评论，说是他/她的孩子不善言辞，缺乏沟通技巧，然而罗辑思维缜密，对于软件技术充满热情，想做一个出色的程序员。我觉得，这样的言论，既对又不对。对的是，如果刚踏入职场，相当一个优秀的程序员，我觉得上述的优缺点，都很 “契合”，或者说，也许只需要学好技术，把确定的任务做完、做好，就能找得到工作的褒奖，就能胜任岗位。但是，随着你继续在职业生涯的道路上向上突破，基本坚定地走着技术通道（譬如我），上述能力的缺失，而造成的 “短板效应”，会越来越明显。个中的原因，其实并不难理解。软件工程师，不是搞学术，而是搞工程，而工程能力，是一个非常复杂的多面体。比如提到的沟通合作的能力，是根本就绕不过去的。职场这些年来，我已经无数次看到那些所谓的技术 “牛人 ...继续阅读 (40)

好久没动笔了。在2015 年和2012 年的时候曾经写过一点对于英语学习的认识，在那以后，我对于它的认知也在不断进化，今天我想稍微再写一点。比较起来，如今我印象最深的一点是，英语对我影响最大的，还并非关于信息的获取，而是在日益熟练的情况下，对于更多独立思考的促成。首先，什么才可以称之为 “熟练”？是不是英语考试考高分就是熟练了？是不是掌握一万个词就是熟练了？是不是可以无字幕看美剧就是熟练了？是不是可以流利对话就是熟练了？是不是中文说得好好的，因为号称 “用英文思考” 的关系，隔三差五地蹦出几个英文单词就是熟练了？我觉得都不是。顺带地，我想吐槽一下上述最后一种情况。我见过的凡是中文是母语的，讲中文的时候，英文单词乱蹦的，基本都是英文说得谈不上非常流利的。第二语言英文流利到能够比较接近母语的程度，反而中文英文使用的场合分得清清楚楚，才不会大量混合使用。从我自己这个兴许不够客观的角度来说，在合适的场合讲好自己的母语，尽量不要使用其他人不熟悉的英文单词，也算是一种礼貌和尊重。回到前述的话题。这个可以说是 “熟练”，甚至 “相当熟练” 的阶段，我觉得可以这样表述：在这个阶段，对于英语这样一个特殊工具的使用，开始觉得 “舒适”，开始觉得 “自然”，而不需要大量地使用大脑的注意力，去努力专注于的内容理解与表达。这绝对是我在开始学习英语的时候所没有意识到的，一门语言，就如同一个工具，纵使再有效，也 ...继续阅读 (42)

说起美股市场，和 2020 年相比，2021 年真是动荡的一年，起码对我来说是这样。还记得年初的时候我写了一点心得，现在到了年末，我想接着聊一下。在不断地学习和实践中，我也逐渐形成了自己的一套小小的投资体系，其中最重要的是几条选股和投资的原则，虽说这个过程可以说相当崎岖。市场上有无数的方式可以赚到钱。我知道美股市场上有两大类人，一类是分析基本面的，一类是看技术指标的。这两类人都能取得成功，但是做法却大相径庭。前者在标的大跌的时候往往会分批加仓，而后者则在跌破一个位置后止损离场。我两种思路都尝试过，但是对我来说，经过实践，明显还是前者更加适合我。因此下面我说的，都是奔着长期投资的思路来的，仅供参考，未必适合你。选股和投资原则我们在生活中不要吹毛求疵，但对于选股来说，却要挑剔，非常挑剔，永远抱着 “宁可错过” 的态度，去寻找自己最置信的，被当前市场所错杀或尚未被足够认可的生意。1. 做自己熟悉的标的，有一套系统的估值体系。自己要熟悉，这可以是因为自己对于目标公司的生意有过研究，或者是自己使用它的产品等等。2022 年除了大科技，我还看好医疗板块，但我对这部分领域不熟悉，我就只能避开个股了，ETF 是可以考虑的。为什么做长线一定要有估值体系，是因为我们需要量化，一只股票到底它的合适的价格是多少。这当然不是说它一定能够在某个时间点涨到，或者跌到这个价格上，而是说，长远来看，价格往往总是围绕 ...继续阅读 (44)

水文预警。有段时间没有更新了，今天打算来写一点，本来想写写一年的回顾的，可想想似乎今年似乎内容并不丰富，印象最深的除了疫情就是旅行了，那就干脆随便聊聊今年的旅行吧。要说到这一点，主要原因还是因为去年疫情憋得太久，去年一整年，加上今年的上半年，直到 5 月中旬，印象中除去短程的、当天来回的郊游以外，只在夏天的时候全家搭帐篷在营地过了一夜。作为一个非常喜欢出去 “跑路” 的人来说，以往每年都要出去三、四趟，去年这一年多真的是太不寻常了。我理解为了疫情控制的原因要减少非必要的旅行，但我本人还是非常反感一刀切 “杜绝” 人口流动的。所有的出行活动都有风险，但是为了避免冒险天天宅在家里也真不是一个好主意，我一直在寻求这其中的一个平衡点。今年 5 月初我完成了两针辉瑞疫苗，在这两周以后就开始陆续旅行了。无论去哪里，我还是尽量避开人口密集的室内场所，因此总的来说，自然景观接触得多一点，人文景观接触得少一点。以往很喜欢的各种类型的博物馆，这次也去得不多。旅行其实并不是一件完全放松的事情，或者说，起码对牵头的那个人不是。规划行程是一件辛苦活儿，不过我还是比较能够乐在其中的。我的习惯是，在出行的一个月前大致规划好行程，把重要的机票、酒店等安排好，剩下细致的具体景点和活动就可以慢慢完成。有些读者可能知道，在这个小站的页面上方，有一个旅行映像的链接，基本上我会不定期地把主要的旅行内容都更新到上面去，今年也 ...继续阅读 (42)

昨天去参加了一个公司内的expo，大致就是以团队为单位组织起来，做广告，招呼各种工程师去看，有团队介绍，产品介绍，技术介绍；有披萨、啤酒和零食；也有一些填方格的活动供参与和纪念衫可以领取。我们组也大张旗鼓地伴着各种搞笑的口号和宣传材料上阵了。挺有趣的一件事情，也是很有工程师文化的事情。以前谈过不少关于工程师的话题，比如这个、这个和这个，今天想再谈谈。其实自我工作以来，软件工程师这个职位变化很大，无论是职责、技术、待遇，但是不变的是，我看到优秀的工程师至始至终非常抢手，而且需求量很大。不扯没用的，任何行业优秀的角色都受欢迎，但是就我熟悉的IT公司来说，软件工程师始终处于特别的存在。需要做一个产品，有团队找了一个牛哄哄的数据科学家（Data Scientist）搞了几个月，折腾出一套原始的数学模型，写了一些初始的代码。然后招了一个工程师团队开始订项目，设期望，排时间，产品化。这期间，特别是初期你可以看到工程师们围着数据科学家干活，或者说打杂，从脚本到job到代码修缮到模型调参数，样样都要做。产品上线以后数据暴涨，迫切需要更专业的和这堆数据打交道的角色，于是招了两个数据分析师（Data Analyst），天天折腾sql，分析数据，出报表。但是这些工作一部分需要程序化，一部分需要高效化，所以又找了一堆软件工程师给写任务，统筹执行计划，写一些原始的工具帮助自动化。这些数据需要发布出去，用各种 ...继续阅读 (53)

对，就是百家讲坛那个号称研究古文的“学者”于丹。鸡汤满世界都是，我很少在意；知识分子谈论观点和看法千千万，多么奇葩有趣的都有，我很少痛恨知识分子。但是于丹是个例外。与我而言，知识分子如果只专注分内之事，执着于学术范畴，无疑是所谓的“本行工作”，无论正误，都是无可过度指摘的。毕竟观点迭出才有万象世界，只有反复质疑才有科技与社会之进步。还有一类知识分子，他们不甘寂寞，他们涉足传道授业，他们涉足启迪民智，通常他们更令人尊敬。因为这并非本行，当然也不可说越俎代庖，毕竟没有人专职干这个。但是有一些人，他们传“道”，但是愚民，他们的面皮撕下来，就是一张维护统治阶级少数人的嘴脸。于丹就是其中之一。她的伟大功绩正是在于“愚民”。而这个“愚”，不仅仅是学术范畴内的，还是鸡汤领域里的。首先，学术上说。于丹不懂《论语》。我非大师，但是有许许多多的文人学者已经发声了，无论是学术范畴“一分钟一个硬伤”（周孝正语），还是学术之外“口才出众的狐狸精”（马瑞芳语）。如果她涉及的内容，仅仅停留在学术领域，我自然也不会去关注这些自己八竿子打不着的事情。但是我看了一些她的讲评，其鸡汤纯度令人乍舌，其空洞无物令人惊诧，其洗脑之逆社会反人性令人惊呼无耻。简单说来，就是让你忘却一切烦恼，丢掉一切念意，抛弃一切追求，没有野心，没有介意，心如止水，这是什么？这是佛？这是皮囊，这是机器！毫无疑问她让百姓变得更易统治，没有思想，没有 ...继续阅读 (39)

来美国工作生活已经三年了，早就过了适应期，一些酸甜苦辣也尝到了。经常和同事讨论各个国家的趣事，经常涉及到的话题是教育。事实上这也是个敏感话题，而且似乎是个永久热门的话题。我不想扯得太远，只想表达对于国内学校的课程教育，我的其中几个观点。英语从高考中撤走？众所周知，国内的应试教育决定了，如果高考不考，基本上课程就和放松之用的选修课差不多。无数的父辈都教育我们要把英语学好，可是每当我们跟上问一句“为什么”的时候，除了“高考要考”之外，并没有什么强有力的理由，在耳边来回倒腾的无非是“要和外国人对话”啊，“中国要国际化”啊云云自己都不太相信的鬼话。这就好像很多家长要逼着小孩子学琴一样，其实自己也说不清为什么，就是觉得是一个高雅的爱好，实在是令人无语。事实上，我都觉得英语确实应该从高考中拿掉。英语重要么？很难讲，这需要看未来的职业通道。应该说英语是一个非常强大的工具，掌握它无疑多了一双从别处看世界的眼睛，但是是否它应当被放到高考那区区几门课程里面去，我却持模棱两可的态度。难道我认为它的重要性值得怀疑么？不，完全不是。我只是觉得，以如今这样的应试教育模式，初等数学可以教好，语文可以学好，但是英语，对大多数人却总是吃力不讨好。我的经历并不丰富，我也没有在英语国家求学的经验，但是我一直都在学习它，很庆幸一直对英语有一定的兴趣，没有被那些痛苦的文法句式折磨得不堪，而这三年来，由于生活工作所迫又接触了 ...继续阅读 (49)

最近忙于一些新做的项目，由于新入手，就想着往最佳实践去靠，也寻找一些可以借鉴的模板。其中前端的部分，有很成型的模板可以借鉴。大幅度减少了自己调查和集成的工作量。但是仔细看看，发现这里头的概念太多了，各种开源的库和工具，有人说“前端玩的是广度”是有道理的。这个新项目并不算特别复杂，大致的技术是基于React+Redux的，但是大体上集成完毕以后，完成了几个demo的代码之后，粗粗地过了一遍，除了传统意义上的HTML+CSS+JavaScript（遵循ECMAScript 6的标准）三大件，居然涉及到了那么多技术，把自己吓了一跳：React: an open-source declarative JavaScript library for building user interfaces.Redux: a predictable state container for JavaScript apps. It helps you write applications that behave consistently, run in different environments (client, server, and native), and are easy to test.Webpack: constructs two separate dependency graphs and ...继续阅读 (39)

我在几年前写过一点对于在家办公的理解，经过最近几年的感受，时不时地需要在家办公，零零散散陆陆续续有了一些新的感受。首先要明确的是，团队的支持是最重要的。需要一个宽松的团队氛围，能够获得足够的信任，这些都是软基础。如果同事和上司不信任，这件事情是不可能办成的。对于那些把员工视为不可靠、不安全因素的公司，在家办公也是难以实现的。开发环境。以往我一个不愿意在家办公的重要原因是，我的开发环境都部署在desktop上面，从家里无论是通过Microsoft Remote Desk还是NoMachine之类的连接（我还试过一些别的持有图形界面连接的方式），都不够理想，一顿一顿的，写代码很难受。现在已经用上了云主机，机器性能比较强大，总结下来一个比较理想的方式是，在本地（例如我的Mac）上面开发，并且进行配置管理，比如Git提交代码和发送code review。但是所有的编译、构建、连接、测试、开发环境部署等等全部放到云主机去进行。这之间使用一个同步工具来完成，我目前用的是公司一些热心工程师写的一个同步小工具——即选定了Mac上的一个工作文件夹，其下的所有改动全部自动同步到云主机去，我不需要显式执行任何脚本。硬件和设备。我对于显示器要求不太高，虽然在家和公司都配置了比较大的显示器，但是我已经习惯了小小的Mac屏幕。在家办公需要安全可靠的VPN，避免在这些硬件网络的问题上耽误时间是非常重要的。无论是 ...继续阅读 (44)

一个我很喜欢的时评人，老梁（梁宏达）最近被封杀了。原因只是用质疑的语言评价了一些传统意义上的正面光辉形象，比如雷锋、焦裕禄等等。他的观点与官媒背道而驰，于是伟光正的广电总局终于无法忍受，封杀了他。事实上，他还没太敢触及更尖锐的话题，涉及更惊人的人物春秋。你我都明白，他是收着说话的，他是说好听话的，他还是尽量缓和地在歌功颂德中揭露一些丑恶。我记得最近一年来，我喜欢听这么几个人的评论或者脱口秀节目：罗辑思维的罗振宇，听他讲历史、讲社会问题挺有趣，生动而且视角独特，但是他不太讲尖锐的社会问题，不太讲当今国内的政治问题；大唐雷音寺的老梁，我最喜欢的地方在于，对于社会时事热点，能够用非常通俗和接地气的语言来解剖，观点鲜明犀利（能坚持到近期不被打压已是奇迹），涉猎极其广泛，对于体育方面则是相当有深度；晓说的高晓松，他涉足了四十多个国家，这点上当然不是盖的，见识广博，为理想而活，当然高晓松讲音乐才是最棒的；徐静波电台，听听一些日本趣事，有些话题挺生活化，营养价值可能相对其他这些小一些，路线更加正确一些；其实还有一些其他人，但是不能算常听。最近同事推荐，我才开始听“文昭博古论今”，就先不发表评论了。如果你有推荐，也不妨告诉我，一起讨论。我一直觉得，媒体是统治阶级的喉舌，这是现代才逐渐有的概念，并且随之兴起的功用有数十种。可是本源上，媒体就应该是具备下面两个最最原始的职责和特性：通风报信——真实性， ...继续阅读 (41)

这是一个关于自己的故事。大概是去年我被诊断出克罗恩病的，要说以前，大概只是大概知道它是什么，我想对于大多数人来说，这只不过是一个名词而已吧。去年9月份的时候，吃完虾以后，突然感到恶心腹痛，吐了又吐，难以忍受。实在没招了，凌晨的时候，我老婆开车把我送去邻近医院急诊。CT显示小肠末端处于发炎状态，有严重的狭窄，因此食物下不去。为这事儿住了两天院观察，做了一堆检查，严格禁食，等到炎症缓和一些，就出院了，但是医生告诉我，但愿只是病毒引起，也可能是别的疾病，但必须去完善肠镜。一个月以后，除了巨额账单，肠镜的结果更令人失望，除了小肠末端狭窄依然存在以外，活检发现一些肠壁的损伤，包括炎症性质的肉芽肿，又经过检查排除一些其他疾病以后，胃肠科的医生告诉我说，你这是克罗恩病（CD, Chrohn’s Disease）。这就有点麻烦了，因为克罗恩病是炎症性肠病的一种，并且通常认为没有治愈的可能，如果置之不理，很可能随着时间会不断进展，可在整个消化道出现溃疡、出血和狭窄等等症状，只能用对抗炎症的药物控制。随着病情发展，很快出现了长期腹痛和上消化道出血的症状，于是医生给我使用一个月的激素强的松（Prednisone）进行活跃期的治疗。同时我也拜访了外科大夫，检查了肠道功能并且评估了手术的必要，结论是暂时不需要。与此同时，我面临着长期治疗的药物选择。由于病灶不只是在结肠，在小肠也有，因此5-氨基水 ...继续阅读 (47)