最近写了较多的 Python 脚本，将最近自己写的脚本进行一个总结，其中有些是 Python 独有的，有些是所有程序设计中共有的：考虑使用 Logger（logger 怎么配置，需要输出哪些信息 — 可以反向考虑，自己看到这个 logger 的时候想了解什么信息）传递的数据结构如何考虑（是否对调用方有先验知识的要求，比如返回一个 Tuple，则需要用户了解 tuple 中元素的顺序，这样情况是否应该进行封装；），数据结构定义清楚了，很多东西也就清楚了。如何操作数据库（可以学习 sqlalchemy，包括 core 和 orm 两种 api）异常如何处理（异常应该分开捕获 — 可以清楚的知道什么情况下导致的，异常之后应该打印日志说明出现什么问题，如果情况恶劣需要进行异常再次抛出或者报警）所有获取资源的地方都应该做 check（a. 没有获取到会怎么办；b.获取到异常的怎么办）所有操作资源的地方都应该检查是否操作成功每个函数都应该简短，如果函数过长应该进行拆分（有个建议值，函数包含的行数应该在 20-30 行之间，具体按照这个规范做过一次之后就会发现这样真好）使用 class 之后，考虑重构__str__函数，用户打印输出（如果不实现__str__，会调用__repr__)，如果对象放到 collection 中之后，需要实现__repr__函数，用于打印整个 collection 的 ...继续阅读 (5)

为什么要写作写作是了帮助自己更好的思考，提高自己的效率。首先，每个人同一时刻能记住的东西有限，而做一件事情可能需要考虑的条件往往会比较多，将所有的情况写到一张纸上，就能在需要的时候看到自己需要的条件。相信每个人都有这样的体验：做数学题的时候，将所有的已知条件，或者自己推导出来的结论写到草稿纸上，往往能更快的解出这道题目。这也是写作帮助自己思考的一个直接。其次，我遇到过这种情况，自己想着是这么回事，可是写下来的时候，发现无从下笔，根本写不出来，写出来之后，也很难向别人清楚、准确的表达自己的意思。这归根结底还是没有思考清楚导致的，而写作可以帮助我整理自己的思路。然后，当过客服的人肯定有一个体会，客服非常耗时间，而这些客服的问题大部分是差不多的，一对一的客服是非常低效的，就算在群组里面进行客服，其实很多后来遇到同样问题的人也是不看群历史记录（或者不知道以前有人遇到过类似的问题）的。这种情况下，虽然文档不是最优解，但能够省出自己足够多的时间，实际上这是一件杠杆率非常高（产出投入比高）的事件。写什么既然明确了写作的目的，那么写什么也就清楚了。写对自己有用的东西读书笔记。看完一本书之后，可以写一个读书笔记，或者用思维导图整理书中内容，整理的过程是帮助自己加深书中思想印象的过程，可以帮助自己将整本书串起来，有一个全局的了解，也知道自己哪些地方暂时不太清楚。自己解决问题的总结。总结可以帮助自己复盘 ...继续阅读 (7)

名字来自于Scalable Web Architecture and Distributed Systems。本文是一个简单版的笔记，主要是想推荐这套书籍The Architecture of Open Source Applications。第一和第二册讲一些开源系统的设计，第三册讲性能相关，第四次每一章都用 500 行左右的代码实现一个小型的系统。现在正在出第五册。推荐这本书的理由很简单：没吃过猪肉，但总见过猪跑，其中见过猪跑很重要。另外最近从我们组一哥们那学到了很多东西，觉得见识真是一个很神奇的事情，只有见过大场面，经历过大场面，那么才有更大的可能创造大场面。下面是看这篇文章之后记录下来的一些点，有些东西不仅仅在 Web 系统中有用，在所有的分布式系统中都有用处。Some key principles that influence the design of large-scale web systemsAvailiability: The uptime of a website is absolutely critical to the reputation and functionality of many companies.Performance: Website performance has become an important consideration fo ...继续阅读 (5)

这里所说的 ClassLoader 均指 Java ClassLoader。什么是 ClassLoaderJava 的 ClassLoader 是 JVM 中的一个核心组件，用于动态加载 Java class，分为系统 ClassLoader 和用户自定义 ClassLoader。wikipedia 对 Java ClassLoader 的定义如下：The Java Classloader is a part of the Java Runtime Environment that dynamically loads Java classes into the Java Virtual Machine. Usually classes are only loaded on demand. The Java run time system does not need to know about files and file systems because of classloaders.在 JVM 启动的时候，会启动三个系统级的 ClassLoader：Bootstrap ClassLoader, 用于加载${JAVA_HOME}/jre/lib目录下的 classExtensions ClassLoader，用于加载${JAVA_HOME}/jre/lib/ext目录下的 clas ...继续阅读 (9)

现象一批 Spark Streaming 会统一在每分钟的 00 秒开始消费 kafka 数据问题排查这一批作业的功能就是从 kafka 消费数据，进行转化后存储到外部可靠介质中。所有作业的batchDuration都设置为 60s。我们追踪代码可以得到在JobGenerator中有一个变量timer : RecurringTimer，改变量用于定时的启动 task 去消费数据。从RecurringTimer#getStartTime我们可以得到作业第一个 batch 的启动时间，后续的 batch 启动时间则是在第一个 batch 的启动时间上加上batchDuration的整数倍。第一个 batch 的起动时间实现如下：(math.floor(clock.getTimeMillis().toDouble / period) + 1).toLong * period其中clock.getTimeMillis()是当前时间，period 是batchDuration的毫秒表示法。通过上述公式，我们可以知道作业的启动时间会对齐到batchDuration，而我们把这一批作业的batchDuration都设置为 60s，因此都会在每分钟的 00 秒开始消费 kafka 数据。问题解决我们可以通过下面两种方式进行解决设置不同的batchDuration改写RecurringTimer#g ...继续阅读 (19)

现象一批 Spark Streaming 会统一在每分钟的 00 秒开始消费 kafka 数据问题排查这一批作业的功能就是从 kafka 消费数据，进行转化后存储到外部可靠介质中。所有作业的batchDuration都设置为 60s。我们追踪代码可以得到在JobGenerator中有一个变量timer : RecurringTimer，改变量用于定时的启动 task 去消费数据。从RecurringTimer#getStartTime我们可以得到作业第一个 batch 的启动时间，后续的 batch 启动时间则是在第一个 batch 的启动时间上加上batchDuration的整数倍。第一个 batch 的起动时间实现如下：(math.floor(clock.getTimeMillis().toDouble / period) + 1).toLong * period其中clock.getTimeMillis()是当前时间，period 是batchDuration的毫秒表示法。通过上述公式，我们可以知道作业的启动时间会对齐到batchDuration，而我们把这一批作业的batchDuration都设置为 60s，因此都会在每分钟的 00 秒开始消费 kafka 数据。问题解决我们可以通过下面两种方式进行解决设置不同的batchDuration改写RecurringTimer#g ...继续阅读 (15)

需求将数据从 Kafka 同步到 Hive，并且目标格式希望是 lzo。我们通过 Spark Stremaing 做这件事，将文件写成 lzo 格式，并且添加索引。实现要实现将数据从 Kafka 同步到 Hive 的功能，我们通过将数据直接写到 HDFS 路径来解决，由于担心小文件太多的（一个 batch 一个文件的话，可能造成小文件太多，对 HDFS 造成非常大的压力），所以我们通过追加的方式写 HDFS 文件。往 HDFS 追加写文件的方式，我们在前面已经说了具体的方案了。但是对于格式为 LZO 的 Hive 表，我们发现一个现象：只能查到第一个 batch 的数据（也就是说所有 append 的数据都不能被查询到）。这是因为 LZO 文件会在关闭的时候在文件末尾添加一个块结束标记符，导致解析的时候只能读取到块结束符之前的数据（Linux 自带的 lzop 文件可以解析包含块结束符的文件）。到这里我们有两个思路：1. 在 Hive 层面进行修改，将 Hive 使用的 InputFormat 重新实现，从而可以解析 multipart 的文件； 2. 通过某种方式将文件进行追加，但是文件的中间不会出现结束块的标记符。由于第一种方式影响较大，实现起来周期较长，所以这里采用第二种方法。我们考虑如何做到往 HDFS 写完数据之后，文件流不进行关闭，在我们需要关闭的时候再手动关闭。也就是 ...继续阅读 (24)

现象Spark Streaming 处理数据过程中遇到Ran out of messages before reaching ending offset异常，导致程序一直 hang 住（因为我们希望接上次消费从而不丢失数据）分析通过异常栈信息，我们知道异常从 KafkaRDD.scala#211 行抛出，下面是相应代码206 override def getNext(): R = { if (iter == null || !iter.hasNext) { 208 iter = fetchBatch } 210 if (!iter.hasNext) { 211 assert(requestOffset == part.untilOffset, errRanOutBeforeEnd(part)) 212 finished = true null.asInstanceOf[R] } else { val item = iter.next() if (item.offset >= part.untilOffset) { 217 assert(item.offset == part.untilOffset, errOvers ...继续阅读 (9)

需求从指定时间戳（比如 2 小时）开始消费 Kafka 数据思路我们知道通过 Kafka 的 API 可以得到指定时间戳对应数据所在的 segment 的起始 offset。那么就可以通过这个功能来粗略的实现需求。实现我们知道KafkaUitls.createDirectStream这个接口可以指定起始点的 offset，那么我们需要做的就变成如下三步：获取topic对应的TopicAndPartitions，得到当前 topic 有多少 partition从 Kafka 获取每个 partition 指定时间戳所在 segment 的起始 offset将步骤 2 中的 offset 作为参数传入createDirectStream即可通过查看源码，我们知道步骤 1 和步骤 2 中的功能在org.apache.spark.streaming.kafka.KafkaCluster中都已经有现成的函数了：getPartitions和getLeaderOffsets，分别表示获取指定 topic 的 partition 以及获取 partition 指定时间戳所在的 segment 的起始 offset，那么我们需要做的就是如何调用这两个函数实现我们的功能了。我们知道KafkaCluster的作用域是private[spark]所以我们需要在自己的代码中使用package org.apa ...继续阅读 (10)

需求将 kafka 上的数据实时同步到 HDFS，不能有太多小文件实现过程Spark Streaming 支持 RDD#saveAsTextFile，将数据以纯文本方式写到 HDFS，我们查看 RDD#saveAsTextFile 可以看到RDD.rddToPairRDDFunctions(r)(nullWritableClassTag, textClassTag, null) .saveAsHadoopFile[TextOutputFormat[NullWritable, Text]](path)从上面这句话我们可以知道，首先将 RDD 转化为 PariRDD（PariRDD 的数据是 (K,V) 类型的），然后再调用 saveAsHadoopFile 函数进行实际的操作。上面的语句中r是原始 RDD，nullWritableClassTag和textClassTag表示所写数据的类型（分别代表 PariRDD 的 K 和 V 的类型），使用nullWritableClassTag是因为 HDFS 不会将 PairRDD 的 key 进行实际写入，从效果上看就只写入了 PariRDD 的 V 字段。TextOutputFormat是一个格式化函数，后面我们再来看这个函数，NullWritable则表示一个占位符，同样是这个字段不需要实际写入 HDFS，Text表示我们 ...继续阅读 (10)

背景Spark Streaming 作业在运行过程中，上游 topic 增加 partition 数目从 A 增加到 B，会造成作业丢失数据，因为该作业只从 topic 中读取了原来的 A 个 partition 的数据，新增的 B-A 个 partition 的数据会被忽略掉。思考过程为了作业能够长时间的运行，一开始遇到这种情况的时候，想到两种方案：感知上游 topic 的 partition 数目变化，然后发送报警，让用户重启直接在作业内部自适应上游 topic partition 的变化，完全不影响作业方案 1 是简单直接，第一反应的结果，但是效果不好，需要用户人工介入，而且可能需要删除 checkpoint 文件方案 2 从根本上解决问题，用户不需要关心上游 partition 数目的变化，但是第一眼会觉得较难实现。方案 1 很快被 pass 掉，因为人工介入的成本太高，而且实现起来很别扭。接下来考虑方案 2.Spark Streaming 程序中使用 Kafka 的最原始方式为KafkaUtils.createDirectStream通过源码，我们找到调用链条大致是这样的KafkaUtils.createDirectStream->new DirectKafkaInputDStream-> 最终由DirectKafkaInputDStream#compute( ...继续阅读 (18)

要多快才能跑完一场马拉松完成一场马拉松的最慢速度工作后身边跑马拉松的人突然就多起来了，或许你也蠢蠢欲动，但是一看到半程马拉松有 21 公理，全程马拉松 42 公理，就提前打退堂鼓了。那么你有没有想过到底要多快我们才能跑完一场 半程/全程 马拉松？我们来算一算到底需要多快才能才可以跑完一场马拉松，鉴于体力原因，假设我们开始想完成一场半程马拉松，那么我们需要在 3 小时内跑完 21 公理，也就是说每小时需要跑完 7 公理，这样算还是不够直观，我们换一种方式，我们计算每公里平均最长耗时 MM * 21 公里 = 3 小时这样，我们得到 M 的值为 3 * 60 / 21 约等于 8.57 分钟，即 8 分钟 34 秒。这个值告诉我们平均 8 分钟 34 秒跑完一公里 -- 也就是快走的速度 -- 以这个速度就能跑完一场半程马拉松比赛。最慢速度的作用我们知道了跑完一场半程马拉松，最慢平均速度是 8 分 34 秒。那么我们知道这个速度有什么用呢？让我们从心底知道我们能完成这件事，这并不是一件只有少数人才能做的事情，并不需要你在体育方面有超过常人能力，只要你身体健康就行。卡耐基在《人性的优点》里面介绍一个应对恐惧的方法也是类似的：把你恐惧的事情会导致的所有最坏可能性都一一罗列出来，然后一一检查它们。这个方法的好处是让你知道，就算最坏情况也就这样，让你从无边的恐惧中解放出来。最后如果你自己能够一 ...继续阅读 (10)

文章首发于美团点评技术博客Storm是一个分布式的实时计算框架，可以很方便地对流式数据进行实时处理和分析，能运用在实时分析、在线数据挖掘、持续计算以及分布式 RPC 等场景下。Storm 的实时性可以使得数据从收集到处理展示在秒级别内完成，从而为业务方决策提供实时的数据支持。在美团点评公司内部，实时计算主要应用场景包括实时日志解析、用户行为分析、实时消息推送、消费趋势展示、实时新客判断、实时活跃用户数统计等。这些数据提供给各事业群，并作为他们实时决策的有力依据，弥补了离线计算“T+1”的不足。在实时计算中，用户不仅仅关心时效性的问题，同时也关心消息处理的成功率。本文将通过实验验证 Storm 的消息可靠性保证机制，文章分为消息保证机制、测试目的、测试环境、测试场景以及总结等五节。Storm 的消息保证机制Storm 提供了三种不同层次的消息保证机制，分别是 At Most Once、At Least Once 以及 Exactly Once。消息保证机制依赖于消息是否被完全处理。消息完全处理每个从 Spout（Storm 中数据源节点）发出的 Tuple（Storm 中的最小消息单元）可能会生成成千上万个新的 Tuple，形成一棵 Tuple 树，当整棵 Tuple 树的节点都被成功处理了，我们就说从 Spout 发出的 Tuple 被完全处理了。 我们可以通过下面的例子来更好地诠 ...继续阅读 (23)

一种可行的英语阅读学习方法 为什么要看英语文章我之前的英语基础具体做法我遇到过的问题有关书籍书籍在哪找有关 YL 值一种可行的英语阅读学习方法介绍自己从抵触看英语文章，到现在能够自如的阅读英语文章的方法，以及可能遇到的问题。方法基于今日就读百万英语。这种方法只是我实验过，且可行的，当然还有其他很多方法。为什么要看英语文章我看英语文章的理由很简单，因为在 IT 行业，前沿的技术，论文和好的书籍都是英文的，从英文翻译到中文的时间往往很长很长，而且大部分翻译的质量达不到我的要求。还有就是看到别人看美剧可以不看字幕很羡慕。我之前的英语基础英语水平四级 450，六级未过。单词量 5000 左右。具体做法严格按照按照下面三点来不要查辞典，不要翻成母语；阅读不查辞典也能完全理解的图书，个别不懂的地方就跳过去；越读越没趣的书就暂时停下去，先往后放一放。第一点会要求你从看得懂的书开始，形成阅读英文原文的习惯。如果不这么做，我们会习惯的去看一些别人推荐的书籍或文章，这些书籍的难度可能是已经超过了我们的范围的。这样就会给自己造成很大的压力，慢慢的可能就不想继续阅读英语原文了。我最开始阅读的书籍包括《高级彩绘英文童书》，就是那种插画书，每一页可能就几句话，大部分是插图。如果你基本没有阅读过英文原本书籍的话，建议不要跳过这些插图书。第二点是需要你从整体上理解一篇文章，一开始你只要能读懂整篇文章的 ...继续阅读 (7)

在开发 Spark Streaming 的公共组件过程中，需要将 binlog 的数据(Array[Byte])转换为 Json 格式，供用户使用，本文提供一种转换的思路。另外我们会用到几个辅助类，为了行文流畅，我们将辅助类的定义放在文章的最后面。如果如果本文有讲述不详细，或者错误指出，肯请指出，谢谢对于 binlog 数据，每一次操作(INSERT/UPDATE/DELETE 等）都会作为一条记录写入 binlog 文件，但是同一条记录可能包含数据库中的几行数据（这里比较绕，可以看一个具体的例子）在数据库中，有 id, name 两个字段，其中 id 为主键，name 随意, age 随意。有两行数据如下idnameage1john302john40那么你进行操作update table set age = 50 where name = john的时候，就会将两行的数据都进行更改，这两行更改的数据会在同一个 binlog 记录中，这一点会在后面的实现中有体现。下面，我们给出具体的代码，然后对代码进行分析def desirializeByte(b: (String, Array[Byte])) : (String, String) = { val binlogEntry = BinlogEntryUtil.serializeToBean(b._2) //将 Array[ ...继续阅读 (9)

上一篇文章中，我们讲了如何在将 offset 保存在 zk 中，以及进行重用，但是程序中有个小问题“如果程序停了很长很长一段后再启动，zk 中保存的 offset 已经过期了，那会怎样呢？”本文将解决这个问题如果 kafka 上的 offset 已经过期，那么就会报 OffsetOutOfRange 的异常，因为之前保存在 zk 的 offset 已经 topic 中找不到了。所以我们需要在 从 zk 找到 offset 的这种情况下增加一个判断条件，如果 zk 中保存的 offset 小于当前 kafka topic 中最小的 offset，则设置为 kafka topic 中最小的 offset。假设我们上次保存在 zk 中的 offset 值为 123（某一个 partition），然后程序停了一周，现在 kafka topic 的最小 offset 变成了 200，那么用前文的代码，就会得到 OffsetOutOfRange 的异常，因为 123 对应的数据已经找不到了。下面我们给出，如何获取 <topic, parition> 的最小 offset，这样我们就可以进行对比了val partitionOffset = zkClient.readData[String](s"${topicDirs.consumerOffsetDir}/${i}") val tp ...继续阅读 (32)

在 Spark Streaming 中消费 Kafka 数据的时候，有两种方式分别是 1）基于 Receiver-based 的 createStream 方法和 2）Direct Approach (No Receivers) 方式的 createDirectStream 方法，详细的可以参考Spark Streaming + Kafka Integration Guide，但是第二种使用方式中  kafka 的 offset 是保存在 checkpoint 中的，如果程序重启的话，会丢失一部分数据，可以参考Spark & Kafka - Achieving zero data-loss。本文主要讲在使用第二种消费方式（Direct Approach）的情况下，如何将 kafka 中的 offset 保存到 zookeeper 中，以及如何从 zookeeper 中读取已存在的 offset。大致思想就是，在初始化 kafka stream 的时候，查看 zookeeper 中是否保存有 offset，有就从该 offset 进行读取，没有就从最新/旧进行读取。在消费 kafka 数据的同时，将每个 partition 的 offset 保存到 zookeeper 中进行备份，具体实现参考下面代码val topic : String = "topic_name" // ...继续阅读 (85)

这是一本讲 Critical Thinking 的书籍，本文为一份读书笔记，有兴趣的建议自己读最新的原版。我读的是中文第 7 版，豆瓣地址https://book.douban.com/subject/1504957/批判性思维包括提出一系列相关的批判性问题的意识，以及在适当的时机提出并回答问题的能力和意愿。本书主要包括如下三方面：意识到一些彼此相关的批判性问题能够在适当的时机提出和回答批判性问题愿意主动运用批判性问题我们所做的每个决定都受自己的个人印记—经历、价值观、训练和文化的习惯所影响，因此需要尽量减少情感成为你接受或拒绝一个观点的主要原因的情况出现。批判性思维是耗时的，我们需要明确，“谁关心这个问题”，并不是所有的问题都需要使用批判性思维身体力行通常比旁观更有趣，做好比只是简单的做更有趣。这也是批判性思维的乐趣所在。使用批判性思维，你能够感觉到一种满足感，知道为什么某种观点只是一堆废话所产生的满足感。通过细分，可以将批判性思维的阶段分为如下阶段什么是论题？什么是结论？结论是其他观点支持的观点，没有其他观点支持的观点，不算结论理由是什么哪些词句有歧义什么是价值观冲突？什么是价值观假设？什么是描述性假设？推理中存在谬误吗？这些证据的可信度有多大？你发现干扰性原因了吗？统计数据是否具有欺骗性哪些重要信息被遗漏了什么结论可能是合理的通过一项一项的学习，以及对应的训练，能够更好的学习 ...继续阅读 (32)

师者，所以传道，授业，解惑也我心目中，教师和老师是两个完全不同的词，教师是一个职业，和工人，农民，医生等一样，而老师是一个尊称。最近看了《垫底辣妹》，电影里面的补习班教师算得上是真正的老师，为每一个学生指定不一样的学习计划，不管在人前还是人后，都从心底觉得学生有无限的可能。电影里面老师对女主说的一句话，大致意思是“你要相信自己有可能做到，然后你就会努力的去做到”，而且用一个很形象的例子来诠释了这句话。很多时候，确实是因为我们不相信自己可能做到，从而导致自己一开始就放弃了，从某种角度上来说，又是因为我们一次次的放弃，导致我们不相信自己可以做成事情。就像自信一样，如果你做一件事成功了，再做一件事，又成功了，再做一件事又成功了，等成功的次数多了，我们从心底就相信自己能够做成事，这就是自信。长大后，如果有人对你说，你不会吃饭，你一定觉得  TA 是傻子，但是别人质疑你做不成某件事的时候，你可能就会相信  TA  的说法，因为你已经成功的吃饭几十年了。由于各种原因，老师毕竟是少数的，能遇到是幸运。硕士第三年，每天最开心的时候是吃饭时一起吐槽导师，有幸在 15 年初遇到刘江老师，刘江老师在的一个月，是硕士第三年中我过得最愉快的一个月，每天早上六点多起床，然后爬山一小时，然后去实验室做事。刘江老师看我们，也总是看到我们的优点，给我们指出各种可能性。刘江老师现在已经以千人计划会国内发展，他的研究团 ...继续阅读 (26)

做这个实验，最能学习的地方就是调试和思考的过程了，如果你直接参考了别人的思路或者代码，那么对于你来说，这个实验能学习到的东西则会大大减少记录 MIT 6.824 Lab 2 中 Part A的一些想法以及思路，如果错误，还请指出，谢谢Lab 2 的链接如下http://nil.csail.mit.edu/6.824/2015/labs/lab-2.html，其中 Part A 要求实现一个 ViewService，根据 Service 的状态，进行相应的 View 切换（这里 View 表示当前能提供服务的 Server 以及相应的状态组合，ViewService 提供 View 的增删改查功能），这里将该 Lab 的两个部分分开来写。Part A 实现 ViewService 的整个功能，ViewService 需要保证如下几点：在以下几种情况中的任何一种发生的时候才进行 View 的切换primary 和 backup 都没有 ackprimary 或者 backup 重启backup 为空，且有限制的 Server（会发送 Ping 命令给 ViewService）只有在 primary ack 过了当前的 View 之后，才能进行 View 的切换，换句话说，如果 primary 收到一个新的 View，然后挂了，那么 ViewService 就不应该切换 View（根据页 ...继续阅读 (223)

最开始做这个 Lab 是去年，所以使用的是 2015 年的（现在已经有 2016 年的了），地址Distributed System第一个 Lab 是阅读 MapReduce 的论文，然后在提供的框架下实现一个简单版的 MapReduce 程序，论文地址：MapReducePart I在提供的框架下，自己实现 Map 和 Reduce 函数，从而实现单机版的 MapReduce 程序，用来统计单词的数据，类似分布式程序的 Hello World。根据提供的代码，以及我们在 Part I 执行的语句可知，在 wc.go 中我们找到如下的语句mapreduce.RunSingle(5, 3, os.Args[2], Map, Reduce)我们最终执行的是 mapreduce.RunSingle 这个函数，在 RunSingle 函数中，可以分为如下几步InitMapReduceSplitDoMapDoReduce其中 InitMapReduce，初始化一个 mapreduce 结构体，在后面使用，Split 则将输入的文件进行，然后顺序调用 DoMap，这里面会调用我们写的 map 函数，DoMap 都做完之后，再继续执行 DoReduce，这个函数会调用我们写的 reduce 函数。然后根据论文中的伪代码，差不多就可以完成这两个函数了map(String key, String v ...继续阅读 (37)

本文属于《如何阅读一本书》的读书笔记，最近花了一个月，看完了前面两篇（阅读的前三个层次），在此进行记录本书目的是：如何选择好书，以及利用一系列方法，将书本内容变为自己的知识阅读是一门艺术，所谓艺术，只属于那些能养成习惯，而且能依照规则来运作的人，了解规则，依照规则行事头一次阅读一本书的时候，碰到不懂的地方不要停下来查询或思索，先读完整本书阅读的速度有很多种，针对不同的书，使用合适的阅读速度即可阅读分为四个层次基础阅读/初级阅读。要求：识字，能够知道特定句子的意思。检视阅读。要求：了解书本的主旨，以及书本的分类。特点：在短时间内完成阅读，并抓住书的重点，学到书的表象所交给你的东西。（层次一专注，句子的意思，层次二关注整本书的意思）该阶段可以用来选择一本书分析阅读/全盘阅读/完全阅读。要求：专注，对自己有要求。特点：追求理解，目标：提出系统问题，咀嚼以及消化一本书（层次二的阅读时间有限，层次三时间无限）主题阅读/比较阅读。要求：架构一个在哪本书中都没有提到的主题分析。最主动也最花力气。检视阅读的一些建议先看书名，然后看序以及副标题。关于看书名，比如《罗马帝国的衰亡史》的第一章为什么是“安东尼时代的帝国版图与武力”，而没有提到罗马共和国。书名写着“衰亡史”，当然就从鼎盛时期开始，一直到帝国衰亡为止研究目录页，了解整本书的架构。目录就像旅游的地图一样，很多书会在目录页给出章节的要旨查看索引 ...继续阅读 (18)

Redis 中的快排中的思想是一篇叫做“Engineering a Sort Function”里面的思想。做到比标准库里面的快排更快，更稳定，（在自己电脑上做测试的时候，基本一样的时间），按照论文来说主要用到下面的优化：元素交换的时候更省时间在某些情况下使用了冒泡排序，以及插入排序选择一个接近中位数的数做 pivot下面从上面三个方面入手分析代码对于元素交换方面，代码里面的做法首先会查看待排序的数组是否按机器字节对齐，以及每个元素所占的字节长度是否等于机器字节长度，代码如下：#define SWAPINIT(a, es) swaptype = ((char *)a - (char *)0) % sizeof(long) || \ es % sizeof(long) ? 2 : es == sizeof(long)? 0 : 1;注意 || 的优先级比 ?: 的优先级要高，不然这里会理解错误的。这里的 swaptype 就是用来确定交换时的类型的，有如下三种可能：数组首地址对齐，且数组元素占的字节数和 sizeof(long) 一样的。swaptype == 0数组首地址对齐，数组元素占的字节数是 sizeof(long) 的倍数的。swaptype == 1数组首地址不对齐；或者首地址对齐，但是数组元素所占的字节数不能整除 sizeof(long) 的。swaptype == ...继续阅读 (36)

打算把自己学习实时计算的相关东西写出来，形成一个从零开始学实时计算的系列，由于我也是刚开始接触，系列文中的描述或概念有不当的地方，还请不吝指教。在此谢过。本文对 storm 的几种分组方式进行测试，加深对每一种分组方式的理解。首先，storm 包含下面七种分组方式：Shuffle grouping:Tuples are randomly distributed across the bolt's tasks in a way such that each bolt is guaranteed to get an equal number of tuples.Fields grouping: The stream is partitioned by the fields specified in the grouping. For example, if the stream is grouped by the "user-id" field, tuples with the same "user-id" will always go to the same task, but tuples with different "user-id"'s may go to different tasks.Partial Key grouping: The stream is partitio ...继续阅读 (32)

打算把自己学习实时计算的相关东西写出来，形成一个从零开始学实时计算的系列，由于我也是刚开始接触，系列文中的描述或概念有不当的地方，还请不吝指教。在此谢过。Storm是一个分布式实时计算框架，由 Twitter 开放并开源。用来处理无边界的流数据，进行实时处理。与 Hadoop 做批处理相对应。因为底层使用 Thrift 来定义和提交 Topology（Storm 中的一种结构），Storm 可以使用任何语言来进行编程。可以用来做实时计算，在线机器学习等等一系列事情。每秒可以每个节点可以处理百万级别的 Tuple（Storm 中的一种结构）。伸缩性好，容错好，并且保证所有数据都会被处理。首先介绍 Storm 中几个结构的定义，分别是 Tuples, Stream, Spout, Bolt, Topology, Task.其中 Tuple 是最基本的结构，是传输数据过程中的最小单元，可以当作为一个包装好的结构体Stream： 是无边界的 Tuple 组成的数据流，可以理解为 Tuple 的流动Spout： 是程序的数据来源，由用户指定，指定之后，所有的数据都从 spout 发出Bolt： 数据中转和处理的节点，负责经过数据的中转以及处理Topology： 是包括 spout，stream，bolt 的一个完整流程，表示数据从开始到结束的整个过程，每一个 Topology 定义了数据的来 ...继续阅读 (37)

本文将提供一种方法，让 github blog 可以支持数学公式，通俗的说就是支持 latex 写法。假设已经有一个 github blog。本文利用的是 Mathjax 来支持 latex 公式的解析和显示。下面假设本地仓库所在的文件夹为"xxx.github.com"1. 切换到"xxx.github.com\_includes\themes\dinky" 其中 dinky 是你现在使用的模板名称2. 用文本编辑器打开"default.html" 文件，跳转到文件末尾，在和之间加上如下代码window.MathJax = false;MathJax.Hub.Config({ tex2jax: {inlineMath: [["$","$"],["\"]]} });MathJax.Hub.Queue(["Typeset",MathJax.Hub]);3. 在 "xxx.githu.com" 下建立一个名为 extensions 的目录，然后把MathMenu和MathZoom两个文件添加到 extensions 目录下（如果到这一步还出现问题的话，可以利用 chrome 打开相应的 github blog 页面，然后按下 F12 打开 console，把缺少的文件添加到 extensions 目录即可）4. 在 github blo ...继续阅读 (306)

今年外婆去世了，以前总想着以后应该会有机会孝顺她，结果在自己毕业前她去世了，自从读大学以来，每年去看她的机会也变的越来越少，后来几次去看她，她一直和我说我妈不容易，让我以后要孝顺我妈。外婆摔伤之后，由于年龄太大不方便手术，就一直这样护理着，记得同学对我说“你外婆年龄这么大了，摔伤了，你应该有心里准备啊”。我也想过，而且外婆受伤之后，一直只能躺在床上，肯定也不好受，只是自己一直自私的想着等我毕业之后孝顺她。今年终于能像朋友一样和我爸聊天了，从小时候觉得他是最厉害的人，能言善道，能文能武，慢慢的变成他也就那样，他会的我都会，甚至有些比他做的还要好，然后再到现在。其实想想我爸确实也挺厉害的，单就他的账单十多年没出过差错就够厉害的了，只是我和他不是一样的性格，中间一段时间我一直以自己的标准要求他，总是无限放大他的缺点，对他的优点进行无视。明年就毕业了，学生生涯也要正式结束了。今年第一次开始找工作，大学期间搞比赛，保研，过的懒懒散散，就没想着去找工作，面过一次，也是裸面。研究生两年学的东西也很杂，基本今年才确定搞后台方向，发现自己除了会点数据结构，算法，其他的一窍不通。找实习被虐的太惨，期间把后台方向的几本基础书过了一遍，后来9月正式找工作了，阴差阳错找了一个还算过的去的工作，去做大数据存储。父母一直劝我进国企，说稳定，我想着进了国企，按自己的性格估计就废了，不善言辞，技术荒废，就等着养老。 ...继续阅读 (29)

递归（Recursion）是一种不停的调用自身的过程。比如下面这个故事就是一个递归的例子从前有座山，山里有座庙，庙里有个老和尚，正在给小和尚讲故事呢！故事是什么呢？「从前有座山，山里有座庙，庙里有个老和尚，正在给小和尚讲故事呢！故事是什么呢？『从前有座山，山里有座庙，庙里有个老和尚，正在给小和尚讲故事呢！故事是什么呢？……』」本文说的递归，讲的是递归函数，也就是一个函数不停的调用自己而形成的。首先，递归函数都满足两个性质有一个 base case。base case 可以理解为可以直接得到结果的一个状态或者说是终止状态。每一次函数调用都往 base case 靠拢，否则会形成 infinite loop这里我们用阶乘函数 f(n) = n! 来进行说明。对于阶乘函数我们写出的递归函数大致是下面的样子int fac(int n) { if(n<0) // base case return 0; if(n<2) // base case return 1; return n*fac(n-1); //调用 fac(n-1)，往 base case 靠拢 }这个函数中前面两个 if 语句组成了 base case。也就是说如果 n<0,那么 n 的阶乘是0，如果 n 是 0 或者 1，那么阶乘是1。这两种情况就组成了阶乘函数的 base case。剩下的 ...继续阅读 (43)

Dynamic Programming（动态规划）是一种以空间换时间的算法，可以用来解决的问题都有一个共性：重叠子问题。用通俗的话说就是记忆化搜索。也就是说，所有的动态规划都是可以用搜索去写的，但是用简单的搜索写，会发现时间复杂度太高，从而达不到要求，因为在搜索的过程中我们重复计算了很多以前已经计算过的问题（重叠子问题），这里就会浪费大量的时间。下面借助一个经典的入门题数塔来讲解具体的过程：数塔的大致意思如下：在一棵二叉树中，每个节点都有一个权值，现在你的任务是需要求从根出发到树的最底层的任何一条路径中（每一次都只能往下走），所经过的节点权值加起来最大（或者最小）的一条路径，并输出这个最大值（最小值）。下图中，9是树的根，需要求的是从9出发，最后到达｛19, 7, 10, 4, 16} 这一层的所有路径中，权值加起来最大的那一条。这里是{9-12-10-18-10}最大值为59.我们在看到这个题目的时候，最开始可能想到的是用搜索直接求解，写一个递归函数解决之。因为每个节点只能往下走，所以每个节点的路径必然是经过左儿子或者右儿子节点，那么最大路径也必然从左儿子或右儿子中间选取。如果我们写一个函数叫做 f(i, j) 用来求每个点到最底层的最大路径和的话，那么这个函数的大致轮廓就可以写成：int f(int i, int j) { if(i>MAX) //超过层数 return 0; ...继续阅读 (26)

最近突然有想把自己知道的，学过的算法写成一个系列的想法，即可以理清自己的思路，督促自己学习(复习)相关知识，也可以帮助一部分人，暂时的想法是在自己的能力范围之内，把一些算法尽量的讲解透彻，做到从零开始，也可算是一个入门级别的吧，所以很多东西会讲的很基础，简单。当然由于自己水平有限，如果有些东西讲的不是很详细，明白的话，可以相互讨论，我会尽己所能，把自己想要讲解的东西，写出来。由于每一篇可能都会比较长，所以这个系列的更新频率会比较低，争取一周一篇。现在的预拟的目录如下（可能随着时间的推移而更改）：1.Dynamic Programming2. Tree {Binary Tree, 2-3-4 Tree, Red Black Tree, AVL Tree, B/B+ Tree}3. Greedy {Huffman encoding, Minimum spanning Tree}4. Graph {shortest path, Minimum spanning tree, strongly connected components}5. Hash6. String {Longest common subsequence, String matching}7. Sorting {Bubble sort, Quick sort, Merge sort, Insertion sort, She ...继续阅读 (25)