编程究竟是文科还是理科？还用问？编程当然是理科喽！或许很多人会不屑地回答。然而，情况真的如此吗？让我们先来看看一个程序员故事，或许里面有着你我的影子。学习编程的小灰多年以前，工科出身的小灰打算学习编程学习编程的头一个月，小灰如鱼得水学习编程三个月，小灰略有疑惑求职和初入职场，海量的知识扑面而来工作若干年，小灰又将面临新的挑战工作之余，小灰回想起自己编程道路上的得与失，不禁感慨道：文科还是理科？若要评判编程是文科还是理科，我们需要首先明确一下文科与理科的各自特征。文科：以知识和经验总结为主，例如历史学、法学理科：以计算和逻辑推理为主，例如数学当然，绝大多数学科都不是纯粹的文科和理科，而是两者均有涉及。其中有些学科更偏重文科，但也具有少量理科成分，例如地理学。也有部分学科更偏重理科，但具有少量文科成分，例如化学、生物学。对于这些“混合型”学科，我们往往依照其侧重点，来划分文理科。因而毫无疑问，地理学属于文科，生物学属于理科。那么，对于“编程”这样一门学科，究竟是文科成分占主导，还是理科成分占主导呢？让我们来做一些具体分析。编程中的理科部分：1.基本逻辑这里的基本逻辑，指的是编程中所涉及的各种基本逻辑元素，比如程序中的循环控制、条件控制逻辑，比如数据库中的SQL查询逻辑，比如多线程的同步异步逻辑。诚然，逻辑是学习编程的基石，但逻辑绝不会成为一个程序员从初级走向高级的门槛。因为这些逻辑的学 ...继续阅读 (32)

2012年初入职赶集，当时处在流量讯猛增长的阶段，3年DBA生涯收获坡多，其实坑更多(泪… 后来在做开发时，慢慢体会到 ”运维“ 和 “开发” 确实存在沟通问题：知识不对称。如何解决呢？先总结下这三年吧DBA职责市面上招聘 JD 一大堆，随变找几个，马上能找出共性数据库系统的规划、设计、管理、迁移数据库的日常维护、备份、优化及恢复Master-Slave架构搭建、维护业务系统上线支持，数据库设计评审，提供架构方案数据库不局限于 MySQL, Oracle, 如果分的不细，还会有 Redis, MongoDB 等一系列 NoSQL。工作内容都一样，首先是高可用稳定性，不能今天抖动明天宕机，涉及工作很多。第二个是数据安全，比如备份及恢复，14年赶集审计，移动端的活跃用户数就是从备份中恢复来的，可见备份的有效性是重中之重。最后一个当然是为业务服务，对接业务需求，不能因个人生活被打断就罢工，有一次刚看电影就被叫回去处理DB报警，骂娘的心都有了。悲惨案例先举一些悲惨案例，让看官们高兴一下~ 由于公司早就不在了，这里没有顾忌。1. delete 删全表二手车同学的锅，SQL 拼错不带 where 条件，编写线下脚本时出错… 最后DBA根据 row binlog 恢复。至少2次:(反思：rd 新手一茬又一茬，规范讲再多也没用。最彻底的解决方式只有一个，接入 proxy, ...继续阅读 (18)

【伯乐在线转注】：本文转载自公众号「半轻人」（ID：ban-qing-ren），伯乐在线已获作者「王咏刚」的授权。原标题：《不装逼地说，在 Google 到底能学到啥？》前言这个问题是提给自己的，算是对我 Google 十年的一个小结。强调“不装逼”，主要是提醒自己不要陷入下列俗套：离职后靠黑前雇主、八卦前雇主、揭秘前雇主搏出位（这条是恶行）满足大众猎奇心理吹嘘自己，贬低他人我 2006 年 3 月加入 Google，2016 年 9 月离开。离开时的头衔/职位是 Staff Software Engineer / Manager。前后 10.5 年，大致分三期：前两年关注 Linux 桌面搜索产品和 Google 的开源项目。中间三年花了许多力气在 Google 中国相关的产品上，诸如输入法、谷歌音乐之类。后面四五年大致都在 Knowledge Graph 的范畴内工作，这些工作和 Google 搜索、Google Now 最近几次大幅度的变革密不可分。其间，代码写了不少，团队也带过好几个。除此以外，这些年还长期在 Google Doodles 团队作为 20% 的开发人员帮忙开发那些好玩的首页涂鸦——嗯，这是真的，好多好玩的 Doodle 里面，都有我的一点小贡献。学到了啥？嗯，很多，很杂，拣最重要的三四条来说说：1.第一次真实地生活在一个差异化的世界里国内教育氛围向来是不喜欢 ...继续阅读 (19)

前段时间业务反映某类服务器上更新了 bash 之后，ssh 连上去偶发登陆失败，客户端吐出错误信息如下所示：该版本 bash 为部门这边所定制，但实现上并没有改动原有逻辑，只是加入了些监控功能，那么这些错误从哪里来？是 bash 的锅吗从上面的错误信息可以猜测，异常是 bash 在启动过程中分配内存失败所导致，看起来像是某些情况下该进程错误地进行了大量内存分配，最后导致内存不足，要确认这个事情比较简单，动态内存分配到系统调用这一层上主要就两种方式： brk() 和 mmap(), 所以只要统计一下这两者的调用就可以大概估算出是否有大内存分配了。bash 是由 sshd 启动的，于是 strace 跟踪了一下 sshd 进程，结果发现异常发生时，bash 分配的内存非常地少，少到有时甚至只有几十字节也会失败，几乎可以断定 bash 在内存使用上没有异常，但在这期间发现一个诡异的现象，Bash 一直只用 brk 在分配小内存，brk() 失败后就直接退出了，一般程序使用的 libc 中的 malloc (或其它类似的 malloc) 会结合 brk 和 mmap 一起使用【0】，不至于 brk 一失败就分配不到内存，顺手查看了下 bash 的源码，发现它确实基于 brk 做了自己的内存管理，并没有使用 malloc 或 mmap。但那并不是重点，重点是即使是只使用 brk，也不至于只能 ...继续阅读 (21)

2012年的时候写过一篇叫《程序算法与人生选择》的文章，我用算法来类比如何做选择，说白了就是怎么去计算，但是并没有讲程序员可以发展的方向有哪些。 所以，就算是有这些所谓的方法论，我们可能对自己的发展还是会很纠结和无所事从，尤其是人到了30岁，这种彷徨和迷惑越来越重。虽然我之前也写过一篇《编程年龄和编程技能》的文章，但是还是有很多做技术的人对于自己能否在年纪大时还能去做技术感到没有信心。我猜测，这其中，最大的问题的是，目前从事技术工作的种种负面的经历（比如经常性的加班，被当成棋子或劳动力等等），让人完全看不到希望和前途，尤其是随着年纪越来越大，对未来的越来越没有信心。同时，也是因为在GIAC的大会被问到，程序员老了怎么办？而在年底这段时间，也和几个朋友在交流中不断地重复谈到个人发展的这个话题。我的人生过半，活到“不惑”的年纪，自然经常性的对什么事都会回头看看总结归纳，所以，在交谈过程中和交谈过后，自己也有一些思考想记录下来。因为我本人也是在这条路上的人，所以，谈不上给他人指导，我同样也是在瞎乱折腾同样每天在思考自己要去哪儿的“一尘世间迷途老生”。况且，我的经历和眼界非常有限，因此，下面的这些关于个人发展的文字和思考必然是受我的眼界和经历所局限的。也欢迎大家补充和指正。这些东西不一定对，也不一定就是全部，期许可以让你在年底的时候有所思考，在明年的时候有所计划。一个重要阶段和标志在讲个人 ...继续阅读 (19)

【伯乐在线转注：】Google Spanner 论文发布于 2012 年。这个版本的论文翻译，出自厦门大学计算机系教师林子雨。翻译质量很高，linbindong 对改版极少数翻译得不太恰当的地方做了修改。以下是正文。【摘要】Spanner 是谷歌公司研发的、可扩展的、多版本、全球分布式、同步复制数据库。它是第一个把数据分布在全球范围内的系统，并且支持外部一致性的分布式事务。本文描述了 Spanner 的架构、特性、不同设计决策的背后机理和一个新的时间 API，这个 API 可以暴露时钟的不确定性。这个 API 及其实现，对于支持外部一致性和许多强大特性而言，是非常重要的，这些强大特性包括:非阻塞的读、不采用锁机制的只读事务、原子模式变更。【关键词】Google Spanner, Bigtable, distributed database1 介绍Spanner 是一个可扩展的、全球分布式的数据库，是在谷歌公司设计、开发和部署的。在最高抽象层面，Spanner 就是一个数据库，把数据分片存储在许多 Paxos[21]状态机上，这些机器位于遍布全球的数据中心内。复制技术可以用来服务于全球可用性和地理局部性。客户端会自动在副本之间进行失败恢复。随着数据的变化和服务器的变化，Spanner 会自动把数据进行重新分片，从而有效应对负载变化和处理失败。Spanner 被设计成可以扩展到几百万个 ...继续阅读 (23)

我们本身是一家互联网金融公司，公司的主流业务就是p2p，因为各种原因吧，15年底启动建设众筹平台。考虑到前期开发过程中的一些弊端和架构经验，本次架构引用了dubbo做soa服务的治理，web容器nginx+tomcat，后端语言采用java,框架选择spring+mybaits,前端模板引擎使用的是btl，app采用原生+h5的模式。这个架构可以参考我之前写的文章《从零到百亿互联网金融架构发展史》中的第三代系统架构,之前的文章主要介绍了架构的变迁，本篇文章主要介绍在第三代平台中遇到的问题以及解决方法。首先介绍一下众筹系统的部署架构（如下图），网站和app请求都是首先到最前端的nginx,如果只是静态内容的访问nginx直接处理后返回；动态请求分别转发到后端的tomcat前端服务层，前端服务层只关注页面端业务逻辑不涉及数据库的操作，如果只是页面框架渲染以及不涉及数据库的请求，在前端服务层直接处理返回；如果涉及到数据库操作或者核心业务逻辑，前端服务层通过dubbo调用后端的接入层服务或者核心层服务。上线在生产测试期间，发现tomcat过一段时间就会莫名奇妙的down掉，特别是后端的tomcat down掉的频率比较高。后端的tomcat down掉之后对前端的页面展示没有影响，会影响后端的交易。jvm参数配置查看tomcat业务日志，报错如下：2016-04-14 12:01:55,0 ...继续阅读 (23)

这篇继续坑系列，高可用已经讲过了，当前互联网时代，怎么少的了高并发呢？高并发和高可用一样， 已经变成各个系统的标配了，如果你的系统QPS没有个大几千上万，都不好意思跟人打招呼，虽然可能每天的调用量不超过100。高并发这个词，我个人感觉是从电商领域开始往外流传的，特别是电商领域双11那种藐视全球的流量，再把技术架构出来分享一把，现在搞得全互联网都在说高并发，而且你注意回忆一下所有你看到的高并发系统，往往都逃不开一个核心概念，那就是缓存+哈希，一切都是以这个概念和基础的，仿佛这就是高并发的核心技术了。`我们看到的高并发技术围绕这个核心技术，通常我们看到的各种高并发的架构系统，在博客、论坛、现场分享出来的高并发系统，都跑不出以下几个方面的东西。资源静态化就是那种单个页面流量巨大无比，每秒的QPS几十万上百万的系统，确实并发高的系统，核心解决方案就是静态化，靠机器和带宽去抗，假如没有CDN的话，所有流量都落到同一个IP下面的话，基本上也就是用Nginx的文件静态化了，单机的承受能力主要取决于带宽和单机的性能，要再多的话，那就LVS(或者F5)+集群了，这种的典型场景就是搞活动时候的首页，活动页面了，还有就是引流搜索引擎的着陆页了，一般都是现成的图片和文字静态化，当然，这种还有很多前端的技巧和技术了，这一点我不是很了解，就不得瑟了，就中后台来说，大部分情况下直接Nginx搞定了，核心还是使用 ...继续阅读 (18)

回想起从公司成立敲出的第一行代码算起到现在也快三年了，平台的技术架构，技术体系也算是经历了四次比较重大的升级转化（目前第四代架构体系正在进行中），临近年底也想抽出时间来回顾一下，一个小公司从最开始的零交易到现在交易量超过百亿背后的技术变迁。总体介绍在互联网金融行业一百多亿其实也算不上大平台，也就是二级阵营吧，其实每次的架构升级都是随着业务重大推进而伴随的，在前一代系统架构上遇到的问题，业务开发过程中积累一些优秀的开发案例，在下一代系统开发中就会大力推进架构升级。一方面可以平滑过度，一方面公司资源可以大力支持，同时技术的小伙伴们可以使用到前沿的技术，更有开发的成就感，就这样我们大概也就是9个月就行系统架构一次升级，就到了我们现在的这套架构中。很多网友经常会问，你们平台的TPS是多少呀，最大并发是多少呀，性能怎么样，说实话我们是一个小公司，最夸张也就上万人同时抢标，但是做为一个中型的互联网金融平台要做的事情也真的不少，远远不只是这些参数可以说的清楚；我们也不是什么高大上的平台，使用的技术也是目前比较主流开源产品，但在公司不断发展的过程中也遇到了很多的问题，也尽量去使用比较主流的、开源的、适合我们的一些解决方案来构建整个系统，在这里分享平台发展背后技术换代的变化，同时希望和大家多做一些交流，多提一些建议。我们进行了四次大的架构变化，每代架构都用一句话来总结：第一代架构特点：业务比较集中、 ...继续阅读 (19)

小灰经过千辛万苦，终于拿到了心仪的offer，今天小灰上班的第一天……下班后，小灰找到同学大黄来请教……场景一：小灰在餐厅场景二：无奈的项目经理什么是敏捷开发？敏捷开发（Agile）是一种以人为核心、迭代、循序渐进的开发方法。在敏捷开发中，软件项目的构建被切分成多个子项目，各个子项目的成果都经过测试，具备集成和可运行的特征。简单地来说，敏捷开发并不追求前期完美的设计、完美编码，而是力求在很短的周期内开发出产品的核心功能，尽早发布出可用的版本。然后在后续的生产周期内，按照新需求不断迭代升级，完善产品。这一切正如某人的名言：是谁这么厉害，提出了敏捷开发思想？是一位名叫Martin Fowler的美国大叔。大叔不但是敏捷开发的创始人之一，还在面向对象开发、设计模式、UML建模领域做出了重要贡献。目前担任ThoughtWorks公司的首席科学家。敏捷开发模式的分类敏捷开发的实现主要包括 SCRUM、XP（极限编程）、Crystal Methods、FDD（特性驱动开发）等等。其中SCRUM与XP最为流行。同样是敏捷开发，XP 极限编程 更侧重于实践，并力求把实践做到极限。这一实践可以是测试先行，也可以是结对编程等，关键要看具体的应用场景。SCRUM则是一种开发流程框架，也可以说是一种套路。SCRUM框架中包含三个角色，三个工件，四个会议，听起 ...继续阅读 (26)

俗语说，女怕嫁错郎，男怕入错行。程序员这行当，不贫不富，靠技术吃饭，一直还算个体面职业。进了程序员这行的兄弟们，即便日后飞黄腾达了，谈起早年的编程生涯，都还是自豪的。不过呢，程序员这个职业，有个挺悲哀的地方，那就是无效工作的占比极高。直接点说，程序员辛辛苦苦敲的代码，大部分都是没用的，都是要扔掉的。这个特点非常鲜明，和别的职业差距相当大。和农民比，农民种的作物，几乎很少浪费。有的年景里，白菜丰收价格太低，但也能喂猪吧？ 即便只能烂在地里，那也能肥田呢，不算完全浪费。和建筑工人比，那建筑工人砌砖盖房都是要用上几十年的。 虽然也有烂尾楼，但占比非常低吧？ 盖了一半的楼，因为质量不行拆了重新打地基的，也很少见吧？ 即便有新盖好的房子，被强拆了，但那也是少数。哦，有一种职业，无效工作比例高，那就是军人。军人天天苦练，要打千万发子弹，但大部分军人终其一生，都不曾将子弹射进过人体。但是呢，从另一个角度看，军人的有效工作还得把震慑算进去，扛着枪晃悠晃悠效果就很好了。这样说来，军人的无效工作比例那就真不算低。可程序员就不一样了。随便在上地西二旗拦住一个尘满面、鬓已霜的男子，问他这十年或者二十年所写的代码，有百分之多少，还在运行中？ 他细想之下，怕是要泪千行的。要是有程序员反驳说，不对啊，我多年来写的代码几乎都跑起来了，都用起来了啊。那他肯定是做企业应用项目的，而不是做产品的。企业应用项目么，怎么着 ...继续阅读 (24)

那就是去读别人写的代码。读那些你常用的库、编程框架的源代码，读那些你景仰的大牛的源代码，读代码里的测试（测试本身就是一种有效的文档）；读代码、改代码、运行代码。其实，所谓写程序，大部分的时间都是花在读代码上，“写”的部分耗时极少；所以把“读”的技能训练好了，是很有好处的。提高编程能力万无一失的办法编注：这篇文章最初于 2010 年 5 月为 Fuel Your Coding 网站而写。不幸的是，那个网站已经不复存在了，所以我将这篇文章重新发布。为了紧跟时代步伐，我想过对其进行更新，但我又觉得这篇文章经得起时间考验。经不起时间考验的内容是有些可笑的，不管怎样，尽情享受吧。——-每个人都知道，提高编程能力的显著方法是写更多代码。然而，我保证能够提高编程能力的另一种方法却不是写代码。我会尽我所能说明这一点：如果你想大幅提高自己的编程能力，你需要阅读别人的代码。不管你以前是不是这样想的，现在你应该接受这个观点。如果你愿意尝试一下，那么你将会收获颇丰。在这篇文章中，我会帮助你选择阅读哪些代码并且给出如何阅读代码的实用建议。如果你已经是一个代码阅读者，你可能已经找到了一些有效的方法，否则，我觉得你应该开始阅读代码。阅读哪些代码这是一个重大的决定，也是一个很难提出建议的决定。由于阅读什么代码归根结底与你的工作有关，所以我不会简单的指出我认为你应该读的具体代码。然而，我将会 ...继续阅读 (20)

负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。一、负载均衡LVS基本介绍LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到后端真正服务器(real server)上。为了避免不同机器上用户请求得到的数据不一样，需要用到了共享存储，这样保证所有用户请求的数据是一样的。LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网站是http://www.linuxvirtualserver.org现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储。二、LVS的基本工作原理1.当用户向负载均衡调度器（Di ...继续阅读 (20)

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。——维基百科关于深度学习的应用，网上有非常多的出色案例，伯乐在线在本文摘录 9 个。1. neural-style：利用卷积神经网络将一幅图像的内容与另一幅图像的风格相结合https://github.com/jcjohnson/neural-style2.Nerual Doodles：把 2 位的 Doodle 转成精良的艺术品https://github.com/alexjc/neural-doodle3. srez：通过深度学习极大提高模糊图片的分辨率https://github.com/david-gpu/srez4.Face2Face：实时捕获面部表情，调换到另外一个人的面部http://www.graphics.stanford.edu/~niessner/thies2016face.html5. open_nsfw：成人图片分类器，雅虎出品如果你对网络上那些打上 NSFW（No Safe For Work，上班时间不要看）标签的照片是如 ...继续阅读 (17)

经常听到开发人员抱怨 ，“这么烂的代码，我来重构一下！”，“这代码怎么能这么写呢？谁来重构一下？”，“这儿有个坏味道，重构吧！”作为一名QA，每次听到“重构”两个字，既想给追求卓越代码的开发人员点个赞，同时又会感觉非常紧张，为什么又要重构？马上就要上线了，怎么还要改？是不是应该阻止开发人员做重构？重构几乎是开发人员最喜欢的一项实践了，可QA们却充满了顾虑，那么为什么QA不喜欢重构呢？老功能被破坏不止一次遇到这样的场景，某一天一个老功能突然被破坏了，QA们感到奇怪，产品这块儿的功能已经很稳定了，也没有在这部分开发什么新功能，为什么突然出问题了呢？追查下去发现是近期做了重构。再追问下去，对于老代码，已经几乎看不懂老的测试了，可是开发人员看到代码的坏味道就想重构，于是功能破坏了。在快速迭代的开发模式下，QA们主要关注用户故事的生命周期，重点测试新的特性功能，所以对于老功能回归测试的投入是非常有限的，如果开发人员突然对老功能进行了重构又没有告知团队，这样的问题很可能就会进入生产环境，这样是非常有风险的。即便很多开发人员重构老功能时会告知QA，以提前发现和修复导致的问题，但无疑会大大增加QA做回归测试的负担。新功能推迟/重复测试按照用户故事的开发流程，开发人员完成功能后，多方角色会首先在开发人员的机器上进行用户故事的快速验收以及探索性测试，然后开发人员会提交代码，由QA拿到包之后部署到测试环 ...继续阅读 (19)

对那些还处于事业初期或者发展期的技术从业者一点建议：多关注弱联系。当你在技术领域建立一定数量的人脉后，比如结识 100 个不同的人，你与领域内绝大多数陌生人之间只有一跳（hop）的距离。（伯乐在线配图）到了这个阶段，我认为真正对你有益的是与行业外的精英交流：接触新的想法、扩展深度、获得更多智库。这些人是他们各自行业最顶尖的 1%，而非你所在的行业。从我的经验来看，你会发现他们中很多都对交流保持开放态度，他们都乐于介绍自己所做的事，也希望了解更多技术方面的问题。你需要做的是：走进他们的办公室，或者打个电话，然后告诉他：“您好，如果你花 20 分钟给我讲讲你的工作，我会跟你分享一些可能会影响你所在行业的新技术、新趋势。”当我在 Google 工作的时候，得益于拥有 google.com 域名下的邮箱地址，任何我联系的人，都会至少打开我的邮件，看看来自 Google 的谁要联系他们。讲真，我借此联络到很多人，比如漫威（Marvel）的主编Joe Quesada。我只是在网上找到他的邮箱，然后联系他，大概两次之后，他就回复我了。邮件是这样的：我对您的工作内容非常感兴趣，很想请教一下科技是如何改变漫画产业的。如果您能赏光在纽约一起喝杯咖啡，聊聊您的工作生活。我也会跟您聊一聊现在西海岸科技界的新闻，如果您觉得 Marvel 和 Google 有合作的可能，打算进一步探讨，我可以为您引荐一位 G ...继续阅读 (22)

书是非常私人的东西，编程类书籍也不例外。我们都是通过阅读书籍来帮助掌握某种语言的基本知识。随后又通过阅读书籍来全面探索这门语言的灵活性。我仔细考察了一些我最喜爱的 C 语言书籍，并从其中选出了对我意义最大的九本。C 语言是一种通用的、面向过程的高级编程语言。也是最具流行度和影响力的编程语言之一。该语言在设计时就被设计为可以通过编译器进行编译，以此来对内存进行底层操作、高效地执行机器指令以及在运行时仅需要最小的支持。很多很多编程语言都得益于 C 语言， C 语言就像是编程界的通用语言一样。C 语言非常易懂。它允许程序员能够以一种清晰、简单、符合逻辑的方式来组织程序。这是一种非常灵活、实用并且简洁的语言，同时它还具有非常容易读懂的语法。使用 C 语言编写的代码运行非常快。可以非常简单地操作计算机的底层设施。通过编译器的指令可以允许我们为不同体系结构的设备生成同一个版本的程序。C 语言是自由的。因此学习 C 语言的书籍也是体现了其自由性。快来看看我挑选的开源书籍，有没有哪一本能够吸引你？好好享受它吧！《 C 语言》（The C Book）作者： Mike Banahan, Declan Brady 和 Mark Doran ，350 页这本书是为那些已经具备使用现代高级面向过程编程语言的程序员设计的。这本书专注于那些 C 语言的特有之处。尤其是使用 C 语言的方式是这本书所重点关注的。包 ...继续阅读 (25)

2017年1月31日，我们的在线服务 GitLab.com 发生了严重的事故。这次事故由误删引起，导致了我们的主数据库数据丢失。这次事故导致了GitLab服务长时间中断。我们还永久损失了部分生产数据，无法恢复。更严重的是，我们还损失了数据库的相关记录数据，包括项目、注释、用户账户、问题和代码段，这些事情都是在2017年1月31日17:20至00:00发生的。即使是乐观地估计，本次事故也影响到了约5000个项目，5000个评论和700个新用户账户。在事故发生之后，GitLab.com上的代码仓库和wiki都无法使用，不过这些服务并没有丢失数据。GitLab.com的企业级用户，GitHost用户以及自托管的GitLab CE用户则没有收到此次事故的影响，也没有数据丢失。丢失生产数据是不可接受的。为了确保以后不再发生这种事故，我们对GitLab.com上的操作和数据恢复流程做了多项调整。在本文中，我们会分析发生事故的问题出在哪里，我们如何补救，以及我们要如何才能在以后的时间杜绝此类事故再次发生。对所有在此次GitLab.com事故中受到影响或丢失数据的用户：我们万分抱歉。我本人作为GitLab的CEO，代表GitLab的每一个人，向大家真诚道歉。数据库设置GitLab.com目前使用的是一台主服务器和一台备用服务器的双机热备模式。备用服务器只在主机失效时实现援备。在这种设置下，所有的负 ...继续阅读 (21)

时间2015年的某个周六凌晨5点，公司官方的QQ群有用户反馈官网打不开了，但有的用户反馈可以打开，客服爬起来自己用电脑试了一下没有问题，就给客户反馈说，可能是自己网络的问题，请过会在试试。早点8点，越来越多的用户反馈官网无法打开，并且有部分用户开发反馈app也打不开了，客服打电话叫起了还在梦乡中的我。分析定位被客服叫起来之后，一脸懵逼，不知道什么情况，给客服回复，知道了，立刻排查，待会有消息及时沟通。用凉水洗了一把脸清醒了一下，立刻根据经验回忆这两天生产投产的情况：上线了XX模块，不影响、修复了XXbug，应该也不影响、刚给服务器配置了https，看起来好像有点关系，但是app暂时没有投产https，怎么也出现问题，排除之。打开电脑核查了最近的投产记录应该都不至于发生这么严重的问题，随怀疑是不是网络方面有问题，立刻打电话叫起来运维经理以及相关人等一起排查。一边让网络和运维排除问题，一边再次核查了web服务器、数据库服务器、业务日志、数据库日志，以及其它的一些监控数据，各项皆正常。试着在本机ping了一下域名确实不通，更加怀疑是网络问题，尝试这直接使用外网访问官，可以打开没有问题，可以基本确认服务没有问题，但运维部反馈网络设备什么都正常，肯定是你们投产代码出问题了，各方硬着头皮继续在排查。9点，群里开始有大规模的用户反馈官网和app都打不开了，更有部分用户煽动，XXX公司跑出了（15 ...继续阅读 (25)

在一次正常的活动促销之后，客服开始陆续反馈有用户反应在抢标的时候打不开网页或者APP，在打开的时候标的就已经被抢光了，刚开始没有特别的上心，觉得抢标不就是这样吗，抢小米手机的时候也不就这样吗？随着活动继续推进，有更多的用户强烈抗议，用户领了加息卷或者抵现卷之后抢不上标的，认为是平台作假故意不让使用以达到节省资源。分析过程其实以前也会有陆续的用户反馈不减少，给客户以小米抢手机为例子忽悠了过去，这次用户反馈太过强烈，才让我们重视了起来。我们前端一共三款产品，app、官网、H5，其中app使用量最大，官网其次，H5平时使用量极少但是做活动期间流量会暴增（活动一般都是H5游戏居多，H5也便于推广营销）,前端的三款产品都是分别使用lvs负载到后端的两台web服务器中（如下图），这次用户反馈基本在web和app端，所以重点观察这四台服务器。首先怀疑网络带宽是否被涌满，找到网络工程师通过工具来监控，在抢标的时候带宽最高使用率只有70%左右，随排除之；再次怀疑web服务器是否抗不住了，使用top命令查看官网负载的两台服务器，在抢标的瞬间会飙到6-8左右，抢标后也慢慢的恢复了正常，app两台服务器高峰到10-12，随后也恢复正常。跟踪web服务器业务日志，发现在数据库更新层报请求不到新的数据库连接或者数据库连接已经用完，认为是数据库的最大连接数太小，于是调整mysql数据库最大连接数为以往的3倍；下 ...继续阅读 (17)

本文适合有一定技术积累愿意与他人分享技术心得的读者。由于并未涉及具体技术，愿意写作的读者均可以阅读。技术文章如何写作能让读者有较好的阅读体验，是一个仁者见仁，智者见智的问题。甚至很多人都认为根本不需要考虑读者的感受，把技术写好写准确就可以了，这其实就是一大误区，你的写作如果只是给自己看，当然我也就不多说什么，但如果你的写作是给别人看，就一定要考虑如何写的问题，因为这是一个信息传递的过程而不是简单的记录。事实上，对于一个准备开始写作的人来说，通常是会认为自己写的东西一定是对的。如果一定要完全正确才可以写文章的话，那就会让绝大多数人裹足不前。因此，写得对不对虽然是作者应该首先要把握的，但是无论作者自己还是别人都无法在写出文章公布之前知道这一点，因此这不是我本文要谈的重点。我的核心观点是：好的技术文章，是让符合阅读条件的读者，在良好阅读体验的情况下，看懂学会甚至掌握文章要传达的信息。因此，需要写作中不断思考，这样写，读者会有什么感受。如果你的写作不能让读者有一种收获的喜悦，或者阅读体验不佳，那么你的写作就是有问题的。问题可能会有很多方面，我们一点点分析。要告知读者文章适合什么人读首先要告知你写的文章适合什么人读，这尽管不是最重要的条件，但你是打算一开始就告诉读者，这文章的适读人群，还是让读者需要读完文章后再自己去判断这文章可不可以看得懂，两者在阅读体验的感觉是完全不一样的。通常一篇文章对 ...继续阅读 (20)

没有读者，写技术博客文章感觉不到太多的作用，是浪费时间的事情，是这样吗？不是。发布有关软件技术的博客将带来数以千计的美元，尽管没有人曾读您的博客。闲话少叙，首先，读者可能是写博客的目标，但他们实际上是自然的结果。一路上还有很多其他的个人利益，包括更好的工作。深刻理解自己的想法有人说，“你不能真正理解一件事，除非你可以将它解释给你的祖母”。不要试图将他们的意见详述在文本文件上。在写有关软件的技术博客时，要注意的第一点仅仅是我们的想法有多么不完整。我们是概念性的生物，对软件的理解是抽象的。我们依靠直觉在脑海中填充空白的部分。在很多方面，我们对于软件的感受像梦一样：在积极参与的时候，它们是有意义的。但在试图抄录的时候，将发现哪里都有洞。那并不是说它们是不切实际或是矛盾的，仅仅是……不完整。写博客促使一些时间花费在填补空白上。填补空白使得您能够严格地思考自己的意见。这些活动的结果是对之前以为已经充分了解的主题有了更深入的理解。这也体现在外部。您将发现自己对于主题的谈论更为透彻和自信，甚至同博客文章的内容密切相关。学会沟通有两种方式可以传达意见：从自己的角度或从对方的角度。前者很容易，但没有用。记得那些杰出、但没有人理解的高校教授吗？他们不是从学生的角度来教学的。结果是他们的光彩失去了观众。作为一个领域的专家，应当注意避免这一点。我们不受某些软件的使用权保护。人们花费时间阅读博客来学习新的思 ...继续阅读 (17)

公司要开发一款 app。没有移动上的开发工程师，便考虑把这个项目外包了。但对于外包是否靠谱，公司里分成两派，产生了很大争议。CEO 看大家争论得不可开交，就把王大锤叫来，让他谈谈看法。王大锤是个项目经理，在某家外包公司干过几年，也许能知道点实际情况。王大锤长就一副憨厚相貌，土到掉渣，气质根本没法看。听了问题后，王大锤嘿嘿笑着，又挠头皮又摸鼻子磨唧了1分钟，开口问了个问题：可以谈点发自肺腑的么？众人哈哈就笑，笑后就说大锤你放心，言者无罪。外包又不是国家大事，不算妄议中央，我们都保证不转发。大锤挺挺胸，说声好，那我就说说自己的体会和看法。其实，大家争论的问题，不是“外包开发到底靠不靠谱”，而是 “低成本开发到底靠不靠谱”。为什么这么说呢，因为各位先生想到用外包时，抱的主要目的是“低成本”。大家可能不服气，说我们预算不低。那好，我们先不争论这个，先来分析分析一个问题。“外包开发”与“自有团队开发”之间的区别在那里？签订一个外包合同，是把工作委托给独立的公司。通过“外包合同”来雇佣外部开发团队。而自有团队，是通过“劳动合同” 来雇佣员工。这之间，到底区别在哪里呢？马上会有人大喊： 当然是自己的员工靠谱，自己人么。自己人真的靠谱么？ 再说，刨到根子去说，什么是自己人？签了“劳动合同”就是你自己人？ 唉，你们真是 young、simple、 navie。大家所谓的自己员工靠谱，无非指几点：1. ...继续阅读 (19)

软件咨询师对于广大软件工程师来说是一个既向往又神秘的职业。有人会问：“咨询师要写代码吗？”A：“有可能的啊。”有人问：“有不写代码的时候吗？”A：“有啊，而且更多时候是这样的,软件咨询师既不写代码，也不设计测试用例。”那软件咨询师干什么呢？他们在客户遇到问题时提供建议。作为软件领域的专家，他们擅长利用个人丰富的领域知识，去解决软件开发、测试过程中的各种难题。除此之外，软件咨询师需要利用各种技能与工具帮助自己快速收集信息，分析、定位客户的问题所在。本文尝试通过ThoughtWorks咨询师的一些实践，来总结一下软件咨询师常用到的工具。工具从两个维度出发：技能工具物理工具技能工具MECE分析法MECE是麦肯锡所提出的一种分析方法，是Mutually Exclusive，Collectively Exhaustive的缩写，通常翻译成“相互独立，完全穷尽”。简单的说，MECE提供了一种有效的分类方法，当我们获取了团队中的信息时，这些信息可能非常杂乱。例如当团队中出现测试效率低下的问题，团队中不同的人会给出非常多，互相交织的，层次不同的问题，有人会说“自动化太少”，有人会说“测试时间太靠后”等等。通过MECE原则，我们可以将这个事实进行抽象，归纳成相互独立的领域，验证是否实现了完全穷尽，让我们对问题的调研更加全面。Five Whys分析法Five Whys，从字面理解非常简单，就是连续问5 ...继续阅读 (20)

ćˆ‘ĺœ¨ GitHub ä¸Šĺ’Œĺ…śäť–ĺœ°ć–šçť´ćŠ¤ç€čŽ¸ĺ¤šçš„ĺź€ćşéĄšç›ŽďźˆćˆŞć­˘ćœŹć–‡ĺ†™ä˝œć—śčś…čż‡ 160 ä¸Şďź‰ă€‚ĺœ¨čż‡ĺŽťĺ‡ ĺš´é‡ŒďźŒćˆ‘ĺˇ˛çťĺˆĺšś 以叩/ćˆ–č€… ĺ…łé—­äş†ä¸Šĺƒä¸Ş Pull Requests (PRs) ĺ’ŒčĄĽä¸ďźŒçŽ°ĺœ¨ćƒłĺœ¨čż™é‡Œć€ťçť“ä¸€ä¸‹ćˆ‘ä¸ĺˆĺšśčŽ¸ĺ¤š PRs çš„ĺŽŸĺ› ă€‚ćˆ‘çš„ĺ‡ ä¸ŞéĄšç›Žéƒ˝ćœ‰ĺĺŒçť´ćŠ¤č€…ďźŒä˝†ć˜Żĺ¤§ĺ¤šć•°ĺŞćœ‰ćˆ‘ä¸€ä¸Şäşşçť´ćŠ¤ă€‚ĺ› ć­¤ĺˇ´ĺŁŤçłťć•°ć˜Żĺžˆä˝Žçš„ďźŒä˝†ćˆ‘é€ščż‡ćŽˆäşˆéžĺ¸¸ĺź€ć”žçš„čŽ¸ĺŻčŻĺ’Œéź“ĺŠą forkÂ ćĽćŠľćśˆă€‚ćˆ‘čż˜čŠąäş†ä¸€ĺŽšçš„ć—śé—´ďźˆĺšłĺ‡ä¸ş 5-10 ĺ°ć—ś/ĺ‘¨ďź‰ĺŻšćˆ‘çš„ OSS éĄšç›Žčż›čĄŒçť´ćŠ¤ďźŒĺšśä¸”ćœ‰çşŚ 1000 çžŽĺ…ƒ/ĺš´çš„ä¸Şäşşé˘„çŽ—ďźŒç ...继续阅读 (14)

äż—čŻčŻ´ďźŒĺ¤ŠçžĺŻć€•ďźŒäşşçĽ¸ć›´ç”šďźŒćœ€čż‘çš„ GitLab ĺˆ ĺş“ć›žä¸€ĺşŚç‰ľĺŠ¨äş†ç ç•Œĺ°¤ĺ…ść˜Żčżçť´ĺœˆçš„çĽžçťďźŒĺĽ˝ĺœ¨GitLab ĺŽ˜ć–šĺź€ć”žç§Żćžçš„ĺ…Źĺ…łďźŒć‰čŽŠć•´ä¸Şäş‹äťśĺœ¨č‚ŻĺŽšä¸­ĺž—ĺˆ°ĺšłćŻă€‚ĺšłćŻĺ˝’ĺšłćŻďźŒäťŽčż™ä¸Şäş‹ć•…ä¸­ĺć˜ ĺ‡şćĽçš„é—Žé˘˜ĺ´ĺ€źĺž—ćˆ‘äťŹĺź•äťĽä¸şćˆ’ďźŒéšç€č§„ć¨ĄčśŠćĽčśŠĺ¤ć‚ďźŒčŻ´ĺˆ°č˝ŻäťśçłťçťŸďźŒćˆ‘äťŹĺˇ˛çťčśŠćĽčśŠäš ćƒŻćŠŠĺŽƒĺ˝’ä¸şâ€œäşşâ€çš„é—Žé˘˜ďźŒĺ› ä¸şäşşçąťçš„ä¸çĄŽĺŽšć€§ďźŒćˆ‘äťŹä¸€ç›´ĺŠŞĺŠ›ĺœ¨ĺź€ĺ‘ä¸­ĺ°˝é‡ĺ‡ĺ°‘äš‹ďźŒč€ŒçłťçťŸčżčĄŒä¸­ç”¨ćĽé˜˛ĺžĄäşşçąťç ´ĺçš„ĺŠŸčƒ˝ć›´ć˜Żĺ äş†čśŠćĽčśŠĺ¤§çš„ćŻ”é‡ďźŒäšŸć­ŁĺŚ‚ć•´ä¸Şĺˆ ĺş“äş‹äťśä¸€ ...继续阅读 (15)

ĺŻšćˆ‘ä¸Şäşşč€Œč¨€ďźŒćˆ‘ĺ‘¨ćœŤĺ¤§éƒ¨ĺˆ†ć—śé—´éƒ˝ć˜Żé™Şäź´ĺŽśäşşďźŒčŻťäšŚäź‘é—˛ďźŒćˆ–č€…čŠąć—śé—´ĺœ¨ćˆ‘ĺ‚ä¸Žçš„ĺź€ćşéĄšç›Žä¸Šă€‚čż™äş›ĺ‘¨ćœŤéĄšç›Žäźšĺ’Œćˆ‘ĺœ¨ Stack Overflow çš„ĺˇĽä˝œćœ‰ć‰€é‡ĺ ďźŒä˝†ĺˆä¸ĺŽŒĺ…¨ä¸€ć ˇă€‚čŽ¸ĺ¤šç¨‹ĺşĺ‘˜ć˜Żä¸şäş†ĺ­Śäš ćˆ–č€…čŒä¸šĺ‘ĺą•çš„ç›Žçš„ďźˆćˆ–ĺŞć˜Żä¸şäş†ĺĽ˝çŽŠďźďź‰č€Œĺ‚ä¸Žĺ‰Żä¸šéĄšç›Žçš„ă€‚ć— čŽşć˜Żä¸“ä¸šçš„čż˜ć˜Żä¸šä˝™çš„ďźŒĺœ¨ Stack Overflow ä¸ŠďźŒéƒ˝ĺŻäťĽĺž—ĺˆ°ćˆ‘äťŹçš„ćŠ€ćœŻć”ŻćŒă€‚ ć— čŽşç¨‹ĺşĺ‘˜ä˝•ć—śĺˇĽä˝œďźŒćˆ‘äťŹéƒ˝ĺŻäťĽĺ›žç­”äť–äťŹçš„é—Žé˘˜ă€‚ä˝†ĺ’ŒĺˇĽä˝œć—Ľç›¸ćŻ”ďźŒĺœ¨ĺ‘¨ćœŤäť€äšˆčŻ­č¨€çš„é—Žé˘˜ć›´ĺŽšć˜“č˘Ťé—Žĺˆ°ĺ‘˘ďźŸćˆ‘äťŹ StackOve ...继续阅读 (18)

scpć˜Żsecure copyçš„çŽ€ĺ†™ďźŒç”¨äşŽĺœ¨Linuxä¸‹čż›čĄŒčżœç¨‹ć‹ˇč´ć–‡äťśçš„ĺ‘˝äť¤ďźŒĺ’ŒĺŽƒçąťäźźçš„ĺ‘˝äť¤ćœ‰cpďźŒä¸čż‡cpĺŞć˜Żĺœ¨ćœŹćœşčż›čĄŒć‹ˇč´ä¸čƒ˝čˇ¨ćœĺŠĄĺ™¨ďźŒč€Œä¸”scpäź čž“ć˜ŻĺŠ ĺŻ†çš„ă€‚ĺŻčƒ˝äźšç¨ĺžŽĺ˝ąĺ“ä¸€ä¸‹é€ŸĺşŚă€‚ĺ˝“ä˝ ćœĺŠĄĺ™¨çĄŹç›˜ĺ˜ä¸şĺŞčŻťÂ read only systemć—śďźŒç”¨scpĺŻäťĽĺ¸Žä˝ ćŠŠć–‡äťśç§ťĺ‡şćĽă€‚ĺŚĺ¤–ďźŒscpčż˜éžĺ¸¸ä¸ĺ čľ„ćşďźŒä¸äźšćéŤ˜ĺ¤šĺ°‘çłťçťŸč´ŸčˇďźŒĺœ¨čż™ä¸€ç‚šä¸ŠďźŒrsyncĺ°ąčżœčżœä¸ĺŠĺŽƒäş†ă€‚č™˝ç„śÂ rsync比scpäźšĺżŤä¸€ç‚šďźŒä˝†ĺ˝“ĺ°ć–‡äťśäź—ĺ¤šçš„ćƒ…ĺ†ľä¸‹ďźŒrsyncäźšĺŻźč‡´çĄŹç›˜I/Oéžĺ¸¸éŤ˜ďźŒč€ŒscpĺŸşćœŹä¸ĺ˝ąĺ“çłťçťŸć­Łĺ¸¸ä˝żç”¨ă€‚1ĺ ...继续阅读 (24)

ĺœ¨čż‡ĺŽťçš„ä¸€ĺš´é‡ŒďźŒĺ’ąäťŹčŽ¨čŽşäş†ĺ…­ä¸Şĺź€ćşćœşĺ™¨ĺ­Śäš ĺ’Œ/ćˆ–ćˇąĺşŚĺ­Śäš ćĄ†ćžśďźšCaffeďźŒMicrosoft Cognitive ToolkitďźˆĺˆĺCNTK 2ďź‰ďźŒMXNetďźŒScikit-learnďźŒSpark MLlibĺ’ŒTensorFlowă€‚ĺŚ‚ćžœćŠŠç˝‘ć’’ĺž—ĺ¤§äş›ďźŒĺŻčƒ˝čż˜äźščŚ†ç›–ĺ…śäť–ĺ‡ ä¸ŞćľčĄŒçš„ćĄ†ćžśďźŒĺŒ…ć‹ŹTheanoďźˆä¸€ä¸Ş10ĺš´äš‹äš…çš„PythonćˇąĺşŚĺ­Śäš ĺ’Œćœşĺ™¨ĺ­Śäš ćĄ†ćžśďź‰ďźŒKerasďźˆä¸€ä¸ŞTheanoĺ’ŒTensorFlowćˇąĺşŚĺ­Śäš çš„ĺ‰çŤŻďź‰ďźŒDeepLearning4jďźˆJavaĺ’ŒScalaĺœ¨Hadoopĺ’ŒSparkäš‹ä¸Šçš„ćˇąĺşŚĺ­Śäš č˝Żäťśďź‰ă€‚ĺŚ‚ćžœä˝ ćœ‰ĺ…´čśŁä˝żç”¨ćœşĺ™¨ĺ­Śäš ĺ’ŒçĽžçťç˝‘çťœďźŒä˝ äťŽćĽć˛Ąćœ‰ĺƒçŽ°ĺœ¨čż™ć ˇĺ¤šçš„é€‰ć‹Šă€‚ćœşĺ™¨ĺ­Śä ...继续阅读 (20)

ćˆ‘ĺšłć—śĺžˆĺ°‘ĺ†™ĺšĺŽ˘ďźŒćˆ‘ć˜Żä¸ŞćŠ€ćœŻäşşĺ‘˜ďźŒä¸€čˆŹćĽčŻ´ćŠ€ćœŻäşşĺ‘˜çš„ĺšĺŽ˘ĺş”čŻĽäťĽćŠ€ćœŻä¸şä¸ťďźŒä˝†ĺŒć—śćˆ‘ĺˆć˜Żä¸€ä¸Şć‡’äşşďźŒĺŻšäşŽćŠ€ćœŻćˆ‘ĺ–œćŹ˘â€œäş˛čşŤä˝“éŞŒâ€č€Œä¸ĺ–œćŹ˘â€œĺ†™ĺ‡şćĽâ€ďźŒĺ› ä¸şćˆ‘č§‰ĺž—ćŠŠćŠ€ćœŻĺŻšĺˆŤäşşčŻ´ć¸…ćĽščŚćŻ”ĺŽžçŽ°ĺŽƒć›´ĺ›°éšžă€‚ĺŽžé™…ä¸Ščż™ćŽľć—śé—´ćˆ‘éƒ˝ĺœ¨çœ‹ĺˆŤäşşçš„ĺšĺŽ˘ďźŒć‰€äťĽä¸€ç›´äťĽćĽćˆ‘ĺŞć˜Żä¸Şĺƒç™˝éŁŸçš„:)ä¸şäť€äšˆçŽ°ĺœ¨ćˆ‘čŚčˇ¨ç•Œč°ˆä¸€ä¸Şĺé‡çŽĄç†çąťçš„čŻé˘˜ĺ‘˘ďźŸĺ› ä¸şčż‡ĺŽťçťĺŽ†çš„ä¸€äş›äş‹äżƒä˝żćˆ‘ĺŻšéĄšç›Žçš„ćľç¨‹çŽĄç†čż›čĄŒä¸€äş›ć€č€ƒďźŒĺšśĺ˝˘ćˆäş†č‡Şĺˇąçš„ä¸€ĺĽ—çœ‹ćł•ĺ’Œé€ťčž‘ďźŒč€Œćˆ‘äšŸĺžˆć„żć„ĺ°†ćˆ‘çš„çœ‹ć ...继续阅读 (12)