原文链接【需求缘起】之前的文章更多的聊了单对单的消息投递：《微信为什么不丢消息？》《http如何像tcp一样实时的收消息？》群聊是多人社交的基本诉求，不管是QQ群，还是微信群，一个群友在群内发了一条消息：（1）在线的群友能第一时间收到消息（2）离线的群友能在登陆后收到消息由于“消息风暴扩散系数”的存在（概念详见《QQ状态同步究竟是推还是拉？》），群消息的复杂度要远高于单对单消息。群消息的实时性，可达性，离线消息是今天将要讨论的核心话题。 【常见的群消息流程】开始讲群消息投递流程之前，先介绍两个群业务的核心数据结构：群成员表：用来描述一个群里有多少成员t_group_users(group_id, user_id)群离线消息表：用来描述一个群成员的离线消息t_offine_msgs(user_id, group_id, sender_id,time, msg_id, msg_detail) 业务场景举例：（1）一个群中有x,A,B,C,D共5个成员，成员x发了一个消息（2）成员A与B在线，期望实时收到消息（3）成员C与D离线，期望未来拉取到离线消息 系统架构简介：（1）客户端：x,A,B,C,D共5个客户端用户（2）服务端        （2.1）所有模块与服务抽象为serv ...继续阅读 (16)

原文链接：http://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=2659598371&idx=1&sn=b9e81fc19c36c0c2a29dc98e27a6b215&chksm=8be99531bc9e1c275c0452fcc5ce9317b9617ca038f867c0d2c0bcd5f3c8c5cb17ea3008b6c8&mpshare=1&scene=2&srcid=10247BAv0yJ4ksnxoTm82Gda&from=timeline&isappinstalled=0#wechat_redirect到处都在谈直播，直播技术目前越来越大众化，但也面临着更多的挑战。本次分享主要介绍直播的一般流程，CDN的技术原理及架构，CDN直播技术的难点和对应的解决方案。希望能够给大家带来帮助，更希望能推动实时直播技术的改进和改革。下面是本文的要点：直播的一般流程；CDN的技术原理及架构；CDN直播的技术难点和应对方案；基于SD-RTN的，针对低延迟、强互动场景的直播技术。直播的流程正如上图所示，整个直播流程分为以下几个关键步骤：主播客户端，将本地采集的视频推送到CDN；CDN对视频流进行缓存以及转发；观众客户端，拉取CDN中缓存视频流进行播放；可以看到C ...继续阅读 (24)

在Malwarebytes 我们经历了显著的增长，自从我一年前加入了硅谷的公司，一个主要的职责成了设计架构和开发一些系统来支持一个快速增长的信息安全公司和所有需要的设施来支持一个每天百万用户使用的产品。我在反病毒和反恶意软件行业的不同公司工作了12年，从而我知道由于我们每天处理大量的数据，这些系统是多么复杂。有趣的是，在过去的大约9年间，我参与的所有的web后端的开发通常是通过Ruby on Rails技术实现的。不要错怪我。我喜欢Ruby on Rails，并且我相信它是个令人惊讶的环境。但是一段时间后，你会开始以ruby的方式开始思考和设计系统，你会忘记，如果你可以利用多线程、并行、快速执行和小内存开销，软件架构本来应该是多么高效和简单。很多年期间，我是一个c/c++、Delphi和c#开发者，我刚开始意识到使用正确的工具可以把复杂的事情变得简单些。作为首席架构师，我不会很关心在互联网上的语言和框架战争。我相信效率、生产力。代码可维护性主要依赖于你如何把解决方案设计得很简单。问题当工作在我们的匿名遥测和分析系统中，我们的目标是可以处理来自于百万级别的终端的大量的POST请求。web处理服务可以接收包含了很多payload的集合的JSON数据，这些数据需要写入Amazon S3中。接下来，map-reduce系统可以操作这些数据。按照习惯，我们会调研服务层级架构，涉及的 ...继续阅读 (17)

声明：这里的测试框架都是很常用的框架，不去跟一些奇葩但是所谓性能极高的框架进行对比由于我们在项目中大量使用Iris和nginx这两个Web框架(纯Go语言实现，零内存拷贝)，同时也听过很多人问Go的Http性能对比nginx、对比nodejs到底如何，有鉴于此，今天我们就来做一个Web框架性能真实比拼。测试环境图：下面从多个维度对4个框架进行对比：Nginx   VS   Nginx-php-fpm   VS  Iris    VS   nodejs-Express一、 Nginx并发压力测试100  －  100K第一张图是在不同并发压力下，每秒处理的请求数第二张是每秒吞吐的数据量第三张是99.9%、平均、标准方差的延迟统计，可以看出有0.01%的请求延迟在2秒左右第四张是单线程统计(这些图后面不会再解释，请大家自行对比)这张图是soccket错误和请求总数的对比，这里的比例是100K / 3.5M二、Nginx-Php-Fpm三、Iris(Golang)四、Express-Nodejs总结：因为其它的评测往往对比的是Go最慢的框架之一 －－标准库，因此这里对比了另外一个常用的最快的框架iris。从上面图可以看出，Iris和Nginx的速度、请求延迟、吞吐、socket错误率都是差不多的，在 ...继续阅读 (103)

一、程序员是一个知识更新较为迅速的一个职业，这个行业的知识的更新速度，有的时候会超过你的学习速度。大部分的人都在不断的更新自己的知识体系，这里笔者要向读者安利一下机器学习(包含深度学习)的重要性，以及常见的知识。作为个人能力的提升，笔者觉得这一点是程序猿/媛，需要掌握的一想技能。 其实在互联网公司工作过的同学都应该有这样的感触，我们正在从IT到DT的转型，算法在应用中变得越来越重要了。处在向DT转型中的我们也就理所当然的需要掌握DT的核心——算法。外界将大数据吵得如火如荼，但对于业内人来说，这些东西只是吵概念而已，简单的大数据是没有太大意义的，数据就好比是发动机运转需要的燃料，而算法则是发动机。只有有了发动机数据才能发挥它的价值。就像石油已经在地下沉睡千万年，在发动机产生前并没有人认识到它的价值，但发动机产生后，石油才成为像黄金一样珍贵的东西。所以我们必须掌握算法知识才能更好的驾驭DT这辆战车。然而在实际的工作中所谓的算法工程师，实际上大部分应该叫做“算法应用工程师”，很少有算法工程师能够产生自己的算法。我这么说肯定有人要拍砖，但实际上确实是这样的。比如做一些分类问题用逻辑回归、SVM等常用算法，对于一些复杂问题，如图像分类用CNN处理，稍微复杂一点的NLP问题用RNN处理。很多算法工程师日常工作大部分用在数据处理、训练数据集选择、校验数据集选择等，不断的调节参数从而获得较好的效果 ...继续阅读 (29)

相信想学习机器学习的广大工程师们已经被那些算法大神的言论虐的怕怕的了吧？不用担心，我来带你们理理一个工程师需要入门机器学习，到底要走哪个路线？一、 基础不用多说，机器学习作为高门槛领域，基础还是需要的，但是也没有想得那么恐怖，很多人提问机器学习需要哪些数学知识，然后就会得到一大堆犹如天书般高大上的回答： 矩阵分析、微积分、概率论、统计学、数学分析等等，如果按照这些算法大神的路线去走，也许这条路就真的走到头了。所以，入门阶段要学什么数学呢？答案就是：大学学过的基本的线性代数、高数(主要是微积分)、概率统计，不需要多高深，重点是能看懂，工程应用的核心是实践，不需要你去证明那些乱七八糟的定理！好了，有了这些基本的基础，你就可以看懂和理解大部分的机器学习算法内容了。2、编程语言作为工程师，这个对你来说是小菜吧？目前来说Python在科学计算领域是应用最广的，因为学会它就行，虽然python性能不好，但是毕竟简单嘛，很受非编程人员的欢迎。等你学懂了这个领域，自然可以其它语言去实现自己想要的东东。二、入门第一步：如果你相信知乎算法大神们推荐的elements of machine learning,那就真的入坑了，工程师最大的优点是啥？懂得实践并且知道自己的实力到底有几瓶醋！因此我推荐学习Machine Learning In Action,应用语言是Python,如果对英文没自信，那就看中文 ...继续阅读 (17)

你是刚开始使用Go工具么？或者你想扩展知识？这篇文章将会描述每个人都需要知道的Go工具参数。免责声明：这篇文章可能会有些偏见。这篇文章描述了我个人会用到的Go工具参数，还有一些是我周围的人遇到的问题。如果你还有别的想法，在Twitter联系我。$ go build -x-x会列出来go build调用到的所有命令。如果你对Go的工具链好奇，或者使用了一个跨C编译器，并且想知道调用外部编译器用到的具体参数，或者怀疑链接器有bug；使用-x来查看所有调用。$ go build -x WORK=/var/folders/00/1b8h8000h01000cxqpysvccm005d21/T/go-build600909754 mkdir -p $WORK/hello/perf/_obj/ mkdir -p $WORK/hello/perf/_obj/exe/ cd /Users/jbd/src/hello/perf /Users/jbd/go/pkg/tool/darwin_amd64/compile -o $WORK/hello/perf.a -trimpath $WORK -p main -complete -buildid bbf8e880e7dd4114f42a7f57717f9ea5cc1dd18d -D _/Users/jbd/src/hello/perf -I $WORK ...继续阅读 (28)

我们组的小伙伴们在融合了心理学的基础上，写出了这一套高大上的推广文案，想要向老板、朋友推广Golang的话，甩这个文案甩他们脸上就对了。下载地址觉得喜欢的朋友们，不要忘了Star一下哈，更多的Star对Golang的发展也有更好的推动。 ...继续阅读 (28)

众所周知，Go1.7版本及之前的版本都是针对高并发下的系统吞吐进行优化，对海量对象存储时的优化力度并不够。下个版本就是1.8了，那么1.8会给我们带来这种惊喜吗？请继续往下看。本次benchmark使用多语言实现，测量的是一个web服务，该服务通过一个大型的hashtable存储了250K个对象。该服务还满足了下述3个前提条件：1.每次http请求都会添加一个新对象，并且在对象数大于250K时移除一个旧的2.每一个对象都是1KB大小的[]byte类型，并且进行了初始化3.程序监听8080端口，如果请求成功，则返回200,body是"OK"测试数据：1.热身阶段:初始化hashtable,进行9K/s的请求数，持续60秒2.正式阶段：启动99个客户端，进行9K/s的请求数，持续180秒初次测试：编程语言(基本上都使用最新版本)：1.Go语言： go1.6.2/amd64,使用fasthttp,因为标准库的gc存在一些问题2.ocaml-reason: 学院派的高性能语言3.node.js4.haskell:测试结果:再次测试：由于听闻go1.8对海量对象时的gc进行了优化，那我们拉取1.8的master版本进行再次测试测试结果：结论：1.Go1.8 的请求延迟得到了大幅优化2.没有必要再去使用fasthttp，net/http的延迟一样很低3.在开发高并发、低延迟的web程序时，G ...继续阅读 (62)

毫无疑问，近些年机器学习和人工智能领域受到了越来越多的关注。随着大数据成为当下工业界最火爆的技术趋势，机器学习也借助大数据在预测和推荐方面取得了惊人的成绩。比较有名的机器学习案例包括Netflix根据用户历史浏览行为给用户推荐电影，亚马逊基于用户的历史购买行为来推荐图书。那么，如果你想要学习机器学习的算法，该如何入门呢？就我而言，我的入门课程是在哥本哈根留学时选修的人工智能课程。老师是丹麦科技大学应用数学和计算机专业的全职教授，他的研究方向是逻辑学和人工智能，主要是用逻辑学的方法来建模。课程包括了理论/核心概念的探讨和动手实践两个部分。我们使用的教材是人工智能的经典书籍之一：Peter Norvig教授的《人工智能——一种现代方法》，课程涉及到了智能代理、基于搜索的求解、对抗搜索、概率论、多代理系统、社交化人工智能，以及人工智能的伦理和未来等话题。在课程的后期，我们三个人还组队做了编程项目，实现了基于搜索的简单算法来解决虚拟环境下的交通运输任务。我从课程中学到了非常多的知识，并且打算在这个专题里继续深入学习。在过去几周内，我参与了旧金山地区的多场深度学习、神经网络和数据架构的演讲 —— 还有一场众多知名教授云集的机器学习会议。最重要的是，我在六月初注册了Udacity的《机器学习导论》在线课程，并且在几天前学完了课程内容。在本文中，我想分享几个我从课程中学到的常用机器学习算法。机器 ...继续阅读 (18)

Jim Plush是网络安全服务提供商CrowdStrike的云工程高级总监。CrowdStrike由McAffee的前CTO George Kurtz及前副总裁Dimitri Alperovitch于2011年创建。Scala是CrowdStrike内部使用的主要语言。2011年，Jim主导了Scala的使用。在加入CrowdStrike之前，Jim就职的Gravity公司也是Scala重度用户。前段时间，他们将技术栈从Scala转向了Go。Jim Plush从技术总监的角度介绍了这种变化。随着业务增长，公司的工程师从5个增长到200多个。需要考虑的是，如何让code base便于维护，工程师可以轻松跨项目交流，新人能够快速上手。几年前，Jim曾遇到一个问题。当时产品中出现了一个会影响大量客户的严重问题。于是他们开始研究问题所在，跟踪代码的修改记录。后来发现了一个从未见过的符号： <|*|> 。当时就有人大喊：“这TMD什么玩意儿？” 想跟进这个方法，也没有成功。Google也搜不到什么。相关的开发人员正好在外度假。如果有code review机制，或许能避免此类问题，可惜当时没有。后来大家发现，项目中引入了一个叫 scalaz 的库。终于在这个库中找到了那个神奇的符号，问题得以解决。Scala是一门强大的语言，有学术背景，而且 ...继续阅读 (42)

作为Go语言的狂热粉丝最近听说了同样鼎鼎大名的现代化语言－Rust，看了介绍后，发现Rust绝对是一门非常有潜力的系统级语言，因此特抽出业务时间进行了学习。在网上有不少关于Go和Rust的对比文章，但是从我个人的观点来看，这两个语言没有什么好对比的，因为它们的使用场景基本没有重叠之处。Go适合网络编程、软实时系统； Rust适合内存使用苛刻、无GC、超高性能的场景，因此这两门语言如果结合起来，完全是一对非常美好的CP，大家觉得呢？当然，光说不干空把式，在学Rust途中，笔者肯定会对Go和Rust进行大量的对比和性能测试，这里先来一个多线程下简单计算的对比。一、启动8个线程(mac笔记本是4核8u)，每个线程执行500万次计算任务，然后统计耗时。首先看Go的代码：package main import ( "fmt" "math/rand" // "runtime" "sync" "time" ) func main() { st := time.Now() wg := &sync.WaitGroup{} for i := 0; i < 8; i++ { wg.Add(1) go func() { // 防止被编译器优化，随机化初始值 ...继续阅读 (44)

Kubernetes的目标用一张被很多人引用过的图来说明最好：Kubernetes的目标是让你可以像管理牲畜一样管理你的服务，而不是像宠物一样，同时提高资源的利用率，让码农关注在应用开发本身，高可用的事情就交给Kubernetes吧。这个图本来是openstack提出的，但纯粹IaaS层的解决方案实现不了这个目标，于是有了Kubernetes。Kubernetes和Borg系出同门，基本是Borg的开源改进版本，引用Google Borg论文里的说法：it (1) hides the details of resource management and failure handling so its users can focus on application development instead; (2) operates with very high reliability and availability, and supports applica- tions that do the same; and (3) lets us run workloads across tens of thousands of machines effectively我们如何验证是否达到这个目标了呢？随机关掉一台机器，看你的服务能否正常减少的应用实例能否自动迁移并恢复到其他节点服务能否随着 ...继续阅读 (63)

原文链接：https://blog.twitch.tv/gos-march-to-low-latency-gc-a6fa96f06eb7#.lrmfby2xs下面我们会介绍https://www.twitch.tv视频直播网站在使用Go过程中的GC耗时演变史。 我们是视频直播系统且拥有数百万的在线用户，消息和聊天系统全部是用Go写的，该服务单台机器同时连接了50万左右的用户。在Go1.4到1.5的版本迭代中，GC得到了20倍的提升，在1.6版本得到了10倍的提升，然后跟Go的Runtime开发组进行交流后，在1.7版本又得到了10倍的提升(在1.7之前，我们进行了大量的GC参数调优，在1.7中这些调优都不需要了，原生的runtime就可以支持)，总共是2000倍！！！具体的GC停止时间从2秒到了1毫秒！！而且不需要任何GC调优！！那么我们开始GC大冒险吧在2013年的时候，我们用Go重写了基于IRC的聊天系统，之前是用Python写的。当时使用的Go版本是1.1，重构后，可以在不进行特殊调优的情况下，达到单台50万用户在线。每个用户使用了3个goroutine，因此系统中有整整150万goroutine在运行，但是神奇的是，系统完全没有任何性能问题，除了GC－－基本上每分钟都会运行几次GC，每次GC耗时几秒至10几秒不等，对于我们的交互性服务来说，这个绝对是不可容忍的。后 ...继续阅读 (41)

先自我介绍下，笔者从事互联网行业多年，一直在从事基础架构和中间件领域开发，对于分布式系统、高并发服务有一定的理解。        最开始是用Erlang和Java来构建服务，后面随着Go的强势崛起，本人也对这种工程性强的语言情有独钟，因此构建服务的首选语言变为了Go语言，事实也证明了选择正确性，Go语言给我们团队带来了非常高的生产力，写出的项目的可维护性也非常好，具体可以参加我的这篇文章。不过随着工作领域的深入，发现Go在偏底层、数据库、大数据方面有一定的弱势，对于大数据和实时计算而言，泛型是非常重要的特性，但是这个恰恰是GO目前争议最大的问题－泛型已经提上了议程，但是还没有争议出一个完美的实现，可能几年后会有结果吧 :)。 因为这些原因，我们需要一门语言来解决这类问题，1年前学过的Rust语言看上去好像很适合。这个系列笔记会记录自己的学习心得并提供一些资料翻译，敬请期待！ ...继续阅读 (39)

前言：APNs 协议在近两年的 WWDC 上改过两次，2015年12月17日更是推出了革命性的新特性。但在国内传播的博客、面试题里关于APNs的答案全都是旧的、错的。正文：对 APNs 的吐槽APNs 是 Apple Push Notification service 的简称（注意 APNs 的大小写, s不需要大写）。以下是我收集的一些关于 APNs 的吐槽，你先看下哪些吐槽比较“到位”：答案会穿插在下文中。APNs新闻2014年6月份WWDC搭载iOS8及以上系统的iOS设备，能够接收的最大playload大小提升到2KB。低于iOS8的设备以及OS X设备维持256字节。参考文档：What's New in Notifications - WWDC 2014 - Session 713 - iOS2015年6月份WWDC宣布将在不久的将来发布 “基于 HTTP/2 的全新 APNs 协议”，并在大会上发布了仅仅支持测试证书的版本。参考文档：What's New in Notifications - WWDC 2015 - Session 720 - iOS, OS X 2015年12月17日起，发布 “基于 HTTP/2 的全新 APNs 协议”,iOS 系统以及 OS X 系统，统一将最大 playload 大小提升到4KB。参考文档：Apple Push Not ...继续阅读 (67)

很多同学在使用channel时都遇到过这种情况：Panic问题，相信大家对于这种设计也吐槽了不少吧？这篇文章我们就来扒一扒这样设计的初衷。潜在的Panic主要有两种: 重复close一个channel，向已经closed的channel继续发送消息。最懒的解决办法就是通过recover来简单粗暴的恢复，可是这就违背了设计者的初衷。对于channel c来说，内置的close函数表明了不会再有任何值发送到c，重复关闭或者向已经关闭的c发送任何消息都会导致runtime panic,关闭nil channel也会导致panic。这里有个问题，如果c关闭了，继续从c读取消息会怎么样？不用担心，至少不会有panic发生。首先是从c中读取之前发送但是还没有被接收的消息，当这类消息接收完了，之后接受到的消息都是对应channel类型的零值，要注意的是，从一个关闭的channel中接收消息是完全不会阻塞的！！当然，我们可以通过接收操作的第二个参数来判断channel是否已经关闭，如果关闭，就不要继续接收消息了。回到上面的recover话题，为什么不提议这么做呢，因为一旦这么做，就意味着你对自己的程序设计时存在什么潜在的bug根本就不清楚，只想着通过异常处理这种最粗暴的方式来解决。向一个还在打开的channel发送消息，就是设计上可能存在的bug！其实从底层来说，close也是channel上的一 ...继续阅读 (67)

我们爱 Go。在过去的一年中，我们为了构建 Teamwork Desk 多个服务，写下了将近 20 万行 Go 代码。我们已经构建了该产品的十多个小型 HTTP 服务。为什么要使用 Go?Go 是一种快速(非常快)的静态类型编译语言，它有强大的并发模型、垃圾收集、优异的标准库、无继承、传奇的作者、多核支持以及非常不错的社区。更别说对于我们这种写 Web 应用的程序员，它的 goroutine-per-request 设置可以避免事件循环和回调地狱。在构建系统和服务器方面尤其是微服务，Go 语言已经成为了大热门。正如使用任何新语言和技术一样，我们在早期的实践中经历了一段跌跌撞撞的过程。Go 语言确实有自己的风格和语言特性，尤其当你原来使用的语言是 OO 语言（比如 Java）或脚本语言（比如 Python）时需要适应的过程。所以我们也犯了一些错误，我们愿意和大家分享这些错误以及我们从中得到的教训。如果你在生产环境中使用 Go，你可能对所有问题似曾相识。如果你刚开始使用 Go，希望你能从下面的总结中找到一些借鉴。1. 不用 Revel刚开始使用 Go？构建 Web 服务器？需要一个框架吧？你可能会这么认为。使用 MVC 框架确实有一些优势，这些优势主要来自于“约定优于配置”，它给予项目的结构，这种方式可以提供一致性并且降低跨项目开发的门槛。我们的观点是相比于约定的优势，我们更倾向于配置 ...继续阅读 (48)

到现在为止，我已经忘记了我在写什么，但我确定这篇文章是关于Go语言的。这主要是一篇，关于运行速度，而不是开发速度的文章——这两种速度是有区别的。我曾经和很多聪明的人一起工作。我们很多人都对性能问题很痴迷，我们之前所做的是尝试逼近能够预期的（性能）的极限。应用引擎有一些非常严格的性能要求，所以我们才会做出改变。自从使用了Go语言之后，我们已经学习到了很多提升性能以及让Go在系统编程中正常运转的方法。 Go的简单和原生并发使其成为一门非常有吸引力的后端开发语言，但更大的问题是它如何应对延迟敏感的应用场景？是否值得牺牲语言的简洁性使其速度更快？让我们来一起看一下Go语言性能优化的几个方面：语言特性、内存管理、并发，并根据这些做出合适的优化决策。所有这里介绍的测试代码都在这里.一、ChannelsChannel在Go语言中受到了很多的关注，因为它是一个方便的并发工具，但是了解它对性能的影响也很重要。在大多数场景下它的性能已经“足够好”了，但是在某些延时敏感的场景中，它可能会成为瓶颈。Channel并不是什么黑魔法。在Channel的底层实现中，使用的还是锁。在没有锁竞争的单线程应用中，它能工作的很好，但是在多线程场景下，性能会急剧下降。我们可以很容易的使用无锁队列ring buffer来替代channel的功能。 第一个性能测试对比了单线程buffer channel和 ...继续阅读 (27)

Vscode是世界上最好的Go IDE!!所以使用vscode作为Go的IDE是一件非常爽的事情。可是事情总有不完美。现在有很多项目都是用vendor来做第三方包的版本控制，可是godef竟然不支持vendor的代码跳转！！我们想跳转到vendor中的代码，目前是无法做到的。现在特分享一个自修改的版本，完美支持vendor特性，只要go install后，就可以爽爽的用vscode了。欢迎大家加入Golang隐修会，群号894864，在群文件中就可下载，而且群内大神很多哦！ ...继续阅读 (103)

本来想写一个例子来给团队的人阐述一下Go中的对象复用思想，写完后发现这种思想也许某些同学还不知道，现分享出来。// Go中为了减少海量的内存分配，控制垃圾回收时间，对于热点数据采用池的思想去处理是 // 非常棒的，下面的例子就是一个简单的tcp读取缓存池复用 // 实现了一个读取tcp长连接的buffer池，每次读取一条新连接时，先去池里读取 // 如果不存在，则创建新的 // 注意buf在放回池里时，没有进行归零处理，因为conn.Read每次读取时候， // 都会从buf.b[0]的位置开始写 package main import ( "fmt" "net" "sync" ) var bufPool sync.Pool type buf struct { b []byte } func main() { ln, _ := net.Listen("tcp", ":8082") for { conn, err := ln.Accept() if err != nil { fmt.Println("accept error:", err) } //为每一条进来的连接都开启一个goroutine处理 go func() { var bf *buf v := bufPool.Get() if v == n ...继续阅读 (32)

在Go语言中，函数可以有多个返回值，这个特性我们已经在之前的例子见过很多，很多标准库函数都会返回两个值，一个是期望得到的函数执行结果，另外一个是函数出错时的错误值。下面的程序是findlinks的改进版本，它可以自己发起HTTP请求，这样就不必再运行fetch。因为HTTP请求和解析操作都可能会失败，因此findlinks声明了两个返回值：存储链接的列表和错误值。一般而言，HTML的解析器当遇到错误时，会构造出错误的HTML节点，因此解析HTML很少失败，一旦失败，很可能是因为IO错误导致的。gopl.io/ch5/findlinks2funcmain() {for_, url :=rangeos.Args[1:] { links, err := findLinks(url)iferr !=nil{ fmt.Fprintf(os.Stderr,"findlinks2: %v\n", err)continue}for_, link :=rangelinks { fmt.Println(link) } } }// findLinks performs an HTTP GET request for url, parses the// response as HTML, and extracts an ...继续阅读 (23)

函数是可以递归调用的，这意味着函数可以直接或者间接调用自身。对于一些问题而言，递归是一种非常有用的技术，例如处理递归的数据结构(树形结构)，在3.4节中，我们就通过遍历二叉树来实现简单的插入排序，在本节中，将再次使用这种技术来处理HTML文件。本节后续的示例代码中使用了非标准包golang.org/x/net/html来解析HTML。golang.org/x/...目录下存放了一些由Go语言开发团队设计、维护的包，包含了网络编程、国际化文本处理、移动平台、图像处理、加密解密等，未将这些包加入到标准库的原因有两个：第一个是，有些包还处在开发中，第二个是，对于绝大多数Go语言开发者而言，这些包很少需要被使用。示例中调用的golang.org/x/net/html的部分api源码如下所示，html.Parse函数读入字节序列并进行解析，然后返回HTML页面树中的节点，节点的类型是html.Node类型。HTML中拥有几种类型的节点：text、comments等等，这里我们只关注<name key='value'>这种形式的节点：golang.org/x/net/htmlpackagehtmltypeNodestruct{ Type NodeType DatastringAttr []A ...继续阅读 (95)

函数有以下几个优点：可以把一系列语句打包成一个程序单元；可以把大的工作分解为小的任务，这些任务可以让不同程序员在不同时间、不同地点独立完成；一个函数可以对用户隐藏实现细节。这些优点，让函数变成了程序不可或缺的最重要的部分之一。在此章之前，我们已经见过很多函数了，现在是时候彻底讨论函数的特性了。本章用的例子是一个网络爬虫，也是web搜索引擎中负责抓取网页的组件，他们会根据抓取到的网页中的链接继续去抓取该链接指向的页面，这个例子可以让我们学习递归函数、匿名函数、错误处理及函数的很多其它特性。函数声明包含了函数名,可省略的参数列表、返回值列表以及函数体：funcname(parameter-list) (result-list) { body }参数列表描述了参数名和参数类型，这些参数是函数范围的局部变量，值由调用者传入。返回值列表描述了函数返回值的名字和类型，如果函数只返回一个不具名变量或者干脆没有返回值，那返回值列表的括号是可以省略的。如果一个函数声明不包含返回值列表，那么函数体执行完毕后，不会返回任何值：funchypot(x, yfloat64)float64{returnmath.Sqrt(x*x + y*y) } fmt.Println(hypot(3,4))// "5"x和y是参数名，3和4是调用时传入的参数值，函数返回了一个float64类型的值。返回值也可以像参 ...继续阅读 (38)

上一节的例子中使用了Printf做了输出格式化，当然，对于简单的例子来说足够了，但是我们有时候还是需要复杂的输出格式，甚至需要将格式化代码分离开来。这时，可以使用text/template和html/template。一个模版就是一个字符串或者一个文件，里面包含了一个或多个{{..}}形式的对象，这种对象被称为模版的actions。除了actions外，模版的其它部分就按字面值打印，但是对于actions，将触发相应的行为。每个action都是一个模版表达式，模版表达式包含：选择struct中的字段、调用函数或方法、if-else控制语句和range循环语句等等。下面是一个简单的模版：gopl.io/ch4/issuesreportconsttempl =`{{.TotalCount}} issues: {{range .Items}}---------------------------------------- Number: {{.Number}} User: {{.User.Login}} Title: {{.Title | printf "%.64s"}} Age: {{.CreatedAt | daysAgo}} days {{end}}`让我们继续上节中获取github上的issuses项目。上面这个模版先打印匹配到的issues总数，然后打印每个issu ...继续阅读 (53)

JSON(JavaScript Object Notation)是一种发送和接收结构化信息的标准化表示法。类似的标准化协议还有XML、ASN.1、Protobuf、Thrift等等，这些协议都有自己的鲜明特色，但是由于JSON的简洁、可读、流行性，因此它是应用最广泛的协议之一。Go语言对上述协议的编码和解码都有很好的支持，例如标准库中的encoding/json、encoding/xml、encoding/asn1以及第三方库github.com/golang/protobuf,这些包提供的API接口都是很相似的。在本节中，我们将对encoding/json包进行讲解。JSON用来对JavaScript的各种类型值－字符串、数字、布尔值及对象－进行Unicode文本编码。它可以对Go语言的类型进行编码：例如上一章的基本类型、slice、struct、map，而且编码后的可读性是非常好的。基本的JSON类型有数字类型、布尔值、字符串，其中字符串是双引号包含的Unicode字符序列并支持字符串转义。但是JSON使用\Uhhhh表示一个UTF-16编码的字符，而在Go语言中，是用rune来表示(int32，详细介绍见string一节)。JSON的数组、对象类型是由这些基本类型组合而来的，一个JSON数组就是一个值序列，用方括号包围，值与值之间用逗号分隔，JSON数组可以用来编码Go语言中 ...继续阅读 (66)

我在2011年就听说了Go并学习了一段时间，坦白的说，那时候对Go是比较无感的，因为并没有看到Go的特别亮眼的地方，可能和我使用C、Erlang、Java有关，这三种语言可以写高性能、高并发、高可用的服务；包货了面相过程、面向并发、面向对象的思想，我觉得我并不需要再学习Go，何况那个时候好像也没宣传的那么优秀。一切都发生在418天前，因为工作的需要，我开始写Go了，本来预期是一段压抑、蛋疼的旅程(被迫使用其它语言的同学可能都会有此感受)，结果收获了非一般的惊喜、非一般的效率、非一般的开发体验。先用几个词来总结一下我的感受：简洁、标准、组合、创造力、生产力！特别是生产力，由于Go优秀的标准库、完美的代码安全、全面的三方库、完善的测试机制、完善的标准管理工具，使用Go给我们小组带来了极大的生产力。总之，在使用过的语言中，除了Erlang外，我还没在其它语言上感受过如此之高的生产力(可能笔者的见识比较狭隘，请轻喷；） )。 最近思考了很多，也横向对比了一些，Go具有高生产力的原因如下：1.不一定需要IDE我主要使用的开发工具一个是liteIDE，另外一个就是Vim，特别是在自己实验一些好的想法时，Vim用的更多。Go开发时的简洁和对其它第三方组件无依赖性，决定了Go可以在任何地方写，任何地方运行。曾经我尝试过用Vim去写Java，结果无奈的放弃了这个想法。对于很多环境下来说，不依赖IDE ...继续阅读 (34)

分布式系统是目前整个互联网行业百谈不厌的话题，无论是已经拥有海量用户的巨头公司，或是需要应用未来用户快速增长的初创团队，以及要靠高性能、可伸缩的系统特性来为广大开发者提供第三方服务的解决方案提供商，在进行服务端架构设计时，都无疑会使用分布式的部署方案。 分布式架构解决的主要问题现阶段，分布式架构能够解决很多确实存在的问题。第一个就是高可用。举一个简单的单机房高可用的例子，你肯定不希望因为一个磁盘损坏一个机器损坏一个交换机损坏，就导致整个系统的服务不可用了。第二个，就是在系统容量增长的情况下如何实现可伸缩。第三个是偏管理方面。如果能够让每个七到十人的小组的工作是独立的服务单元，各个小组之间的工作有比较清晰的边界，他们合作起来会方便很多。第四个是服务质量，比如说中国就有南北之间的网络，如果你能让北方的用户直接访问北方的机房，南方用户访问你南方的机房，如果你有合适的机制能够让这些用户的所有的操作都能够整合起来，当做一个网站来用，这就是用多机房提高服务质量。最后是一个更高的需求，机房突然毁掉了怎么办？如果你的业务是比较关键的业务，你肯定希望做到能够跨机房可用。今天我讲的内容主要针对前面两点，单机房高可用和可伸缩这个问题，对常规的服务我们怎么解决。 什么是高可用和可伸缩高可用，从狭义来讲，单台机器宕机后用户完全无感知。从延伸来讲，不仅有机器的概念，还有各种设备，包括主机、 ...继续阅读 (22)

在高性能网络的场景下，C10K是一个具有里程碑意义的场景，15年前它给互联网领域带来了很大的挑战。发展至今，我们已经进入C10M的场景进行网络性能优化。这期间有怎样的发展和趋势？围绕着各类指标分别有哪些探索和实践？ C10K时代的问题与优化手段首先带大家回顾一下当年C10K场景中遇到的问题以及为了解决我们单机下高并发的承载能力所做的改进。在当时的年代，国内互联网的普及程度相对较低，C10K并没有给当时中国的互联网环境带来太大冲击，但是在全球互联网环境下大家开始意识到这个问题。为了解决该问题，首先的研究方向就是IO模型的优化，逐渐解决了C10K的问题。epoll、kqueue、iocp就是IO模型优化的一些最佳实践，这几种技术实现分别对应于不同的系统平台。以epoll为例，在它的基础上抽象了一些开发框架和库，为广大软件开发者在软件开发带来了便利，比如libevent、libev等。随着当年在IO模型上的革命，衍生出了很多至今为止我们都在大量使用的优秀开源软件，比如nginx、haproxy、squid等，通过大量的创新、实践和优化，使我们在今天能够很轻易地解决一个大并发压力场景下的技术问题。这里简单列了几点，较为常用的优化技术手段。 CPU亲和性&内存局域性目前我们使用的服务器主要是多路、多核心的x86平台。用于运行我们的软件代码，在很多场景的业务需求下， ...继续阅读 (26)

随着互联网数据规模的爆炸式增长, 如何从海量的历史, 实时数据中快速获取有用的信息, 变得越来越有挑战性. 一个中等的电商平台, 每天都要产生百万条原始数据, 上亿条用户行为数据. 一般来说, 电商数据一般有3种主要类型的数据系统:关系型数据库, 大多数互联网公司会选用mysql作为关数据库的主选, 用于存储商品, 用户信息等数据. 关系型数据库对于事务性非常高的OLTP操作(比如订单, 结算等)支持良好.hadoop生态, hadoop是数据仓库主要的载体, 除了备份关系型数据库的所有版本, 还存储用户行为, 点击, 曝光, 互动等海量日志数据, hadoop对于数据分析, 数据挖掘等OLAP支持比关系型数据库更加具有扩展性和稳定性.搜索引擎, 以elasticsearch和solr为代表. 搜索引擎是获取信息最高效的途径, 几乎成为各类网站, 应用的基础标配设施(地位仅次于数据库).目前搜索引擎技术已经有非常成熟的开源解决方案, 最出名的ElasticSearch和Solr都是基于lucence的. 很多中小型互联网公司搜索引擎都是基于这两个开源系统搭建的, 但是即便如此, 一个搜索引擎团队想把搜索引擎质量做到商用标准, 从系统熟悉, 服务搭建, 功能定制, 通常需要花费较长时间. 通用搜索引擎应用在互联网商用搜索通常会遇到如下几个问题:搜索引擎与公司现有数据系统的集成. my ...继续阅读 (38)