突然发现Sologan里面后半句没有写名词。与开始从“工匠”和“架构师”两个词中进行对比筛选。最后选了黑客帝国里的Architect，更接近一个系统Builder的意思。工匠对应的更多是Architect，但是它的技能点还是有点狭隘，不是一个复杂系统的搭建者，感觉格局比Architect还是小了点。兜兜转转，又回到了Computer Architecture的原点。The postArchitect和Artisanfirst appeared onParallel Labs. ...继续阅读 (9)

最近读到的一段话，很有意思，摘录如下：同时熊彼得也指出，企业家与只想赚钱的普通商人和投机者不同，个人致富充其量只是他的部分动机，而其最突出的动机是“个人实现”，即“企业家精神”。借用其他研究者的解读，就是“存在着一种梦想和意志，要去找到一个私人王国”、“存在有征服的意志：战斗的冲动”、“存在有创造的欢乐，把事情办成的欢乐，或者只是施展个人的能力和智谋的欢乐”。即熊彼得认为的“企业家精神”，它包括：1、建立私人王国。企业家经常“存在有一种梦想和意志，要去找到一个私人王国，常常也是一个王朝。”对于没有其他机会获得社会名望的人来说，它的引诱力是特别强烈的。2、对胜利的热情。企业家“存在有征服的意志；战斗的冲动，证明自己比别人优越的冲动，他求得成功不仅是为了成功的果实，而是为了成功本身。”利润和金钱是次要的考虑，而是“作为成功的指标和胜利的象征才受到重视”。3、创造的喜悦。企业家“存在有创造的欢乐，把事情做成的欢乐，或者只是施展个人能力和智谋的欢乐。这类似于一个无所不在的动机……他们寻找困难，为改革而改革，以冒险为乐事。”企业家是典型的反享乐主义者。4、坚强的意志。企业家“在自己熟悉的循环流转中是顺着潮流游泳，如果他想要改变这种循环流转的渠道，他就是逆潮流游泳。从前的助力现在变成了阻力，过去熟悉的数据，现在变成了未知数。”“需要有新的和另一种意志上的努力……去为设想和拟订出新的组合而搏斗， ...继续阅读 (9)

2020年6月9日，无意在Wordpress草稿箱发现了11年跟@董世晓一起对Doug Cutting的采访纪要。感谢世晓和CSDN给我这个机会。9年之后回顾这个采访内容，还觉得很有意思。一个影响行业的技术大牛，都是在一个技术领域深耕多年的。而最早开源的原因，竟然是Doug想复用他写的代码：）最后修改 2011-12-05有关Doug Cutting这次采访的更详细内容，请关注最新一期@程序员杂志转发|收藏|评论2分钟前来自新浪微博最后，感谢CSDN@CSDN董世晓@刘江CE@蒋涛CSDN给我这个机会一起采访Doug，收获很大！转发|收藏|评论3分钟前来自新浪微博19）Doug最近刚换了一个Dell的30‘显示器，竖着放，写代码方便:)转发|收藏|评论4分钟前来自新浪微博16）Doug觉得他的成功有两点很关键：一是对这份工作很有热情，二是不要比目标定的太高，一步一个脚印比较实际，而且容易做到。17）Doug一周工作5天（非常非常努力的工作），然后周末休息:) 18）他用微软的nature键盘，因为右手有严重的关节炎，所以10年前就换用左手的轨迹球（好像是？）了。转发|收藏|评论5分钟前来自新浪微博15）Doug早在大学就开始做infrastructure类的程序并乐在其中，他觉得他非常喜欢自己的程序被千万人使用的感觉。对了，当年他用Lisp给Emacs贡献过代码:)转发|收藏|评论 ...继续阅读 (9)

这次在“用户增长”Session做了一个分享，标题是“智能优化 & A/B 测试 – 实验驱动用户增长的理论与技术实践”，对过去几年AB测试、用户增长的工作做了一次系统分享，希望对大家有用：）PPT下载链接:https://pan.baidu.com/s/1be1xThcjkSz8tHMMwVnVPQ提取码: 5fyu演讲：智能优化 & A/B 测试 – 实验驱动用户增长的理论与技术实践在流量红利日渐消逝的今天，如何用科学的实验方法来有效地实现用户增长，正受到越来越多的关注。A/B 测试在头条、抖音、快手等现象级应用的增长过程中发挥了极其重要的作用，增长黑客之父 Sean Ellis 更是对 Test Driven Growth（实验驱动增长）推崇备至。本次分享将介绍如何搭建 A/B 测试驱动用户增长的科学运营体系，A/B 测试在亿级 App 产品中的实战增长案例，以及亿级智能优化 & A/B 测试系统的机器学习和大数据技术实践。听众收益A/B 测试如何助力用户增长？如何在团队中有效推进A/B测试？A/B 测试实际案例分享；基于强化学习和 Druid 的智能优化 & A/B 测试系统技术实践。专题演讲嘉宾：陈冠诚Testin 云测CTO陈冠诚，Testin 云测 CTO，原 IBM 研究院高级科学家。师从欧洲科学院院士 Per Stenstrom 教授，在 ...继续阅读 (9)

Druid 6th Meetup资料下载：链接: https://pan.baidu.com/s/1gfvgtHEFb09_b4J2ef7BXg 提取码: x4avThe postDruid 6th Meetup资料下载first appeared onParallel Labs. ...继续阅读 (8)

最近对增长有了一些新的思考，正好又听了Hola Group Growth负责人Daisy的一次分享，把一些心得体会汇总记录一下。获客成本越低越好？不尽然。只要想获得更多客户，CAC一定越来越高。画一个图：X轴是拉新量级，Y轴单个客户CAC，这个曲线一定是45度往上走。产品的用户是分圈层的，最核心的圈层是铁杆粉丝，CAC最低，需求最强，次核心圈层是中需求群体，CAC次低，以此类推。增长公式：MAX[(LTV – CAC) * N]，N是客户数。对于不同圈层用户，LTV，CAC还有N都是不相同的，而产品本身的PMF也可能在发生变化。例如抖音经历过从垂类泛化的过程，它的“算法+商业化+增长/内容运营”组成的增长飞轮，使得他清楚对每类用户的PMF，以及算清楚每类圈层每个客户的LTV、CAC还有N，只要ROI他们能接受，就可以开始全渠道买量。商业化做得好真是任性。客户越多，CAC越高，那么努力还有没有用？有用。像压弹簧一样，努力到位了，能最大限度降低各个圈层用户的CAC，例如裂变做得好，CAC在同一圈层里就是更低。广告转化率优化的好，CAC就是更低。不努力，CAC肯定越来越高。流量有季节性影响：节日，周末，季节性，双11，春节等等都是影响因子。都说留存最重要，而留存不好，可能不仅仅是产品不好，还可能是某渠道来的用户与产品不匹配，也可能是做了某些活动造成短期留存高但是长期留存没变化 ...继续阅读 (10)

一个是虚拟世界，一个是物理世界。PC时代，两个世界间的通道，大部分是PC机。移动互联网时代，两个世界间的通道，大部分是手机。IOT时代，两个世界间的通道，IOT的比例会越来越高，手机和PC的占比会越来越低。想象一下，衣食住行，各个能接触的设备，都是IOT。通道越来越多，意味着两个平行世界之间的联系越来越紧密。2G，3G，4G，5G，新的技术不停促进通道变得更多、连接变得更快。不同类型通道的通道载体一直在变化，而变化，就是新机会的源泉。ps. 现在互联网人喜欢去做智能制造了：造车，造卫星，造火箭，造鞋，造船。本质上，是把IT驱动的运营能力嵌入到制造业中去，用更高效率满足消费者的需求。The post两个平行世界first appeared onParallel Labs. ...继续阅读 (9)

2018年9月20日。很有意思的一天。一整天大部分时间，都在想怎么在业务上突破的事情，沉醉其中。今天最大的新闻，就是美团上市，一跃成为中国第四大互联网公司。看到朋友圈的信息流，突然很想在3000多好友的朋友圈中只保留那些最触动人心的，最Exciting的，最波澜壮阔的，最纵情向前又既往不恋的，最罗马史诗又惊心动魄的，最困难重重又有点意思的，最奋不顾身又热泪盈眶的，最触动心神又心潮澎湃的，最具挑战的，最有影响的，最大价值的，最感动的，最惊喜的，最赞叹的，最创新的，最聚人心的，最有耐心的，最有信心的，最能长跑的，最能坚持的，成长曲线最陡峭的，挑战最大又最激动人心的Feed。我突然发现，原来我与这个世界对话的最佳频率，其实就是心里与这个世界产生那一瞬共鸣的时刻。头条，快手，抖音，美团，滴滴，PingCAP，水滴，Testin，北森，小米，华米，Amazon，Google，极光，推啊，兑吧，LinkDest，Suanfati，Parallellabs，NemaLabs，都有那些“最”，都有那些共鸣的频率，那些有趣的灵魂。Think Different, Think Deep, Think Big, Stay Hungry, Stay Foolish.Let’s GO! The postShape the world to comefirst appeared onParalle ...继续阅读 (8)

2018年，3个目标：夯实基础，继续打造细分领域业界第一的产品和服务带家人去旅行减重20斤2018年，3个不变：保持持续学习的习惯：实践、读书、求教保持对世界的好奇心和饥渴感：拥抱新事物，新观点，新变化保持乐观的心态：痛苦，就是走上坡路的感受！The post2018新年目标first appeared onParallel Labs. ...继续阅读 (10)

我的好朋友陈云霁、陈天石是中科院计算所的研究员，他们课题组研发的寒武纪深度学习处理器斩获了国际顶级会议ASPLOS‘14，Micro’14的最佳论文奖，MIT Technical Review 2015年35位35岁以下的全球创新者等荣誉，并在计算机体系机构的旗舰会议ISCA‘16中荣获评分第一名，现在Stanford，MIT，Intel，三星等著名高校和公司都在跟随他们的脚步做深度学习处理器方面的研发工作。现在他们已经正式成立了中科寒武纪科技公司，开始了深度学习处理器的产业化进程。在深度学习处理器方面他们已经积累了上百项全球专利，是该领域毫无疑问的领导者。现在他们正在招聘Linux驱动开发工程师，逻辑设计工程师，Android应用、驱动开发工程师，编译器工程师，芯片验证工程师、物理设计工程师，行政、出纳等，如果你感兴趣加入一家想通过人工智能和芯片改变世界的公司，欢迎将你的简历发给我：chenguancheng@gmail.com。—– 下面是他们的详细招聘信息 ——-寒武纪科技是全球智能芯片领域的领导者，宗旨是打造各类智能终端、机器学习云服务器以及智能机器人上的“大脑芯片”。团队曾研制了国际上首个深度学习处理器，相关成果入选了国际计算机学会评选的研究热点，并两次获得计算机硬件顶级国际会议最佳论文（亚洲仅有的两次）。目前公司与智能产业 ...继续阅读 (20)

Druid（http://www.druid.io）作为一个开源的大数据OLAP分析引擎，得到了越来越多的关注。在Druid co-founder Fangjin Yang的支持下，阿里，OneAPM，Hulu，小米，蚂蜂窝，滴滴，携程等公司的同学共同成立了Druid China User Group的微信群，并决定与2016年2月20日下午举办第一次线下技术交流，欢迎对大数据分析，Druid，OLAP引擎等话题感兴趣的同学参加。PPT下载链接：http://pan.baidu.com/s/1jHFspRg技术交流议题：1. Druid在Hulu的应用演讲人：张汉生，Hulu北京AdIntelligence组软件研发工程师。主要参与Hulu广告定位和广告预测等相关工作，同时负责维护Druid集群。2. Real-time Architecture for Online Travel演讲人：Jin Yu，蚂蜂窝技术VP兼首席架构师。蚂蜂窝是中国最大的在线旅游社区，拥有超过1亿用户。在加入蚂蜂窝之前，Jin Yu是OpenX的技术VP和首席架构师，负责公司的数据战略，移动产品线和整体架构，其中就包括由5个全球数据中心的6000多台服务器组成的数据业务。Jin Yu还是连续创业者，他联合创办过2个创业公司：移动社交大数据领域的Portaura和电商搜索引擎领域的Martsoft。3. O ...继续阅读 (23)

Dear friends, colleagues and mentors,Tomorrow (Jun 30th, 2015) will be my last working day at IBM Research – China. When I decided to join CRL in April 2011, I considered this adventure as a world-leading industry PhD program in the most interesting market – China. Instead of continuing my academic career as a regular PhD with my advisor Prof. Per Stenstrom, I was more interested in making real impact in real business world. Four years later, I would say I was so lucky to have enjoyed a fantastic journey with you who not only helped me, inspired me, encouraged me, mentored me, but ...继续阅读 (23)

关于怎样做颠覆式创新，普林斯顿的李凯教授给出了四个要素：（1）找到最好的合伙人（2）理解市场需求（例如你是卖维生素还是抗生素？）（3）紧跟技术发展趋势（例如多核时代来临时，你的软件一定要充分利用多核并行）（4）产生一个新的产品类别（比老产品好10倍甚至20倍，才能颠覆已有方案）。何为颠覆式创新？你的产品需要能取代高中低端的所有已有产品，这就是颠覆式创新。例如用3个2U服务器的重复数据删除解决方案取代27个机柜的传统方案。这意味着你的产品比已有产品好10倍到20倍。关于颠覆式创新，彼得·蒂尔也说过：“我判断一个项目一般有三个标准：人、技术、商业模式，必须三样同时具备。首先对人来说，我觉得我们不够重视团队的结合。可能一个团队的成员背景、履历都很厉害，但这些人在一起工作时是怎样的却是另一个问题，他们也许都很有才华，认为自己比别人聪明，而风险在于有一个“很大的自我”的人也许很难在一起工作，有时你能看到几个很优秀的人组成了一个很糟糕的团队。所以我会问这些人怎么相遇的，在一起多久了，之前的关系等等。技术方面，如果只是比别人好10%或20%是不行的，要好上10倍、20倍。还有一个标准是商业战略。对硅谷的投资者来说有太多的牛人、太好的技术，但在商业战略上是比较缺乏的。在我的理念中，要成功，首先你要能够实现垄断，你要有一个专属于你自己的类别，不是说你很快就有一个非常大的市场，而是可以从一个较小的市场 ...继续阅读 (23)

今年4月的Spark技术峰会上我做了《SuperVessel：基于OpenStack, Docker和Spark打造大数据公有云》的技术分享:基于OpenStack和Docker打造Spark大数据服务新浪微盘下载链接1.首先请介绍下您自己,以及您在 Spark 技术方面所做的工作。我是IBM中国研究院的高级研究员，大数据云方向的技术负责人，我的微博是@冠诚。我们围绕Spark主要做两方面的事情：（1） 在IBM研究院的SuperVessel公有云（http://www.ptopenlab.com）上开发和运维Spark as a Service大数据服务。（2） 在OpenPOWER架构的服务器上做Spark的性能分析与优化。2.您所在的企业是如何使用 Spark 技术的?带来了哪些好处?Spark作为新一代的大数据处理引擎主要带来了两方面的好处：（1）相比于MapReduce在性能上得到了很大提升；（2）在一个统一的平台上将批处理，SQL，流计算，图计算，机器学习算法等多种范式集中在一起，使得混合计算变得更加的容易。3.您认为 Spark 技术最适用于哪些应用场景?大规模机器学习，图计算，SQL等类型数据分析业务是非常适合使用Spark的。当然，在企业的技术选型过程中，并不是说因为Spark很火就一定要使用它。例如还有很多公司在用Impala做数据分析，一些公司在用Storm和 ...继续阅读 (32)

第一步，执行下面这个脚本：mkdir -p ~/.vim/{ftdetect,indent,syntax} && for d in ftdetect indent syntax ; do curl -o ~/.vim/$d/scala.vim https://raw.githubusercontent.com/gchen/scala.vim/master/scala.vim; done第二步，在~/.vimrc中添加：syntax on相关日志08/05/2014一步一步教你怎样给Apache Spark贡献代码08/25/2013Impala：新一代开源大数据分析引擎08/01/2013Impala与Stinger对比05/03/2014大数据的价值密度05/12/2015基于OpenStack, Docker和Spark打造SuperVessel大数据公有云 ...继续阅读 (24)

本文将教大家怎样用10个步骤完成给Apache Spark贡献代码这个任务：）到 Apache Spark 的github 页面内点击 fork 按钮你的github帐户中会出现 spark 这个项目本地电脑上， 使用git clone [你的 spark repository 的 github 地址] 例如： git clone git@github.com:gchen/spark.git本地得到一个叫 spark 的文件夹4. 进入该文件夹，使用git remote add upstream https://github.com/apache/spark.git添加 Apache/spark 的远程地址5. 使用git pull upstream master得到目前的 Apache/spark 的最新代码，现在我们在 你自己fork的Spark代码仓库的master 这个分支上，以后这个分支就留作跟踪 upstream 的远程代码6. 好了，现在你可以开始贡献自己的代码了。按照开发惯例，我们一般不在自己代码仓库的master上提交新的代码，而是需要为每一个新增的功能或者bugfix新增一个新的branch。使用：git checkout -b my_change创建新的分支，现在我们可以在这个分支上更改代码7. 添加代码，并提交代码：* git add .* git comm ...继续阅读 (57)

文 / 陈冠诚注：原文刊载于《程序员》2014年第5期，略有删改。在大数据和云计算如火如荼的今天，怎样将数据的商业价值变现成为各位老板和技术男们最关心的问题。马云经常讲，我不懂技术，所以我才要发力做云计算，做大数据。相信马总一定因为看到了云计算和大数据的潜在商业价值才做出上述决定的。在各位大佬争相跑马圈地的年代，各大公司都开始占领数据源头，从构建自己线上应用的生态圈入手，将用户的数据牢牢掌握在自己手中，以期望将来能从这些数据中挖掘出“潜在”的商业价值，例如在2014年风生水起的互联网金融行业就是其中典型。请注意，笔者这里专门对大数据的商业价值加上了“潜在”这两字。为什么需要这么关注这个字？其实这跟你的投资回报率非常有关系。例如，大家都知道如果你能把新浪微博上的数据都扒拉下来，必然对很多生意都非常有帮助，例如各大电商网站，各大招聘网站等等。但是，你必须考虑清楚构建一个能存储和分析新浪微博数据的大数据平台的成本有多高，而你基于这些数据构建的解决方案能给你创造多大的商业价值。举例来说，电商网站可以通过微博数据进行社交推荐，也可以根据用户正在谈论的关键热词进行针对性的商品需求趋势预测并作针对性的营销。这些用法都很好，都能看到商业价值，可是，最关键的问题在于，如果你知道花五百万搭建整个大数据团队和平台，一年后只能为你的生意带来四百万的增长，你还愿意干这件事情吗？这里面牵涉到一个很关键的因素： ...继续阅读 (34)

工作地点：北京工作职位：正式员工IBM中国研究院是IBM技术力量最强的部门，在新技术研发，前沿学术研究，高价值专利等领域都具备一流水平，我们的员工大都来自清华北大中科院等中国一流学府，我们能给您提供一流的技术研发环境与最具挑战的技术研发项目，期待您的加入！1. 大数据、Cloud方向的硕士或博士生（应届/社招均可）。2. 具有深入以下方面的学习工作背景 （多个条件为或的关系）a）大数据平台（例如hadoop/yarn/spark）的部署、代码分析、工作机制理解b）大数据应用（例如推荐系统，数据挖掘，机器学习等上层应用）c）大数据平台、应用性能分析，性能调优d）大规模机群上面的平台和应用的开发、测试3. 有良好的表达能力，与人沟通能力，与人合作能力4. 较强的学习，接受新知识的能力。5. 较强的编程能力，如c/java/python/shell6. 对计算机体系结构、并行计算有工作研究经验者优先7. 较强的英文读写能力。如果您对此职位感兴趣，请发送您的简历至chengc@cn “dot” ibm “dot” com。请以“应聘CRL职位”作为邮件标题，以免邮件被过滤。多谢关注！相关日志01/22/2012云计算时代的多核开发05/09/2012C++ AMP异构并行编程解析05/09/2012Understanding System and Architecture for Big ...继续阅读 (21)

这一年经历了很多低谷，很多困惑。思索了许多类似于“人从哪里来，要到哪里去”这类的问题。最近终于有一点点感悟：（1）世界是多元化的，接受这种多元化，有贫富，有善恶，有悲喜；（2）不要先去想自己想要什么，先想想自己能做什么，然后一步一步向你想要的方向走，哪怕慢点，每个人路线和速度都不可能一样；（3）哪有什么天才，都是靠努力一步步积累来的，十年，二十年，一辈子的专注，你做好准备了吗？《寿司之神》里做了一辈子寿司的次郎，米其林三星厨师，你感受到他的职人精神了吗？（4）找到自己的路。想起若干年前电影《燕尾蝶》中固力果唱的那首“My Way”，真是再次触动我心里最深处。希望自己鼓起勇气，坚定意志，不再想成为另一个“谁”，而是坚定的，做唯一的一个”自己“，不管前路多艰苦，不管经历多少失败，不管外界声音如何，不管是别人眼中的“捷径”亦或是“漫漫长征”，我都希望走自己选择的路，因为我希望回首往事时，我能无悔地说“I did it my way”.And now, the end is near;And so I face the final curtain.My friend, I'll say it clear,I'll state my case, of which I'm certain.I've lived a life that's full.I've traveled each and ...继续阅读 (15)

原文发表在《程序员》杂志2013年第8期，略有删改。文/耿益锋陈冠诚大数据处理是云计算中非常重要的问题，自Google公司提出MapReduce分布式处理框架以来，以Hadoop为代表的开源软件受到越来越多公司的重视和青睐。以Hadoop为基础，之后的HBase，Hive，Pig等系统如雨后春笋般的加入了Hadoop的生态系统中。今天我们就来谈谈Hadoop系统中的一个新成员 – Impala。Impala架构分析Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但是由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性；相比之下，Impala的最大特点也是最大卖点就是它的快速。那么Impala如何实现大数据的快速查询呢？在回答这个问题之前，我们需要先介绍Google的Dremel系统[1]，因为Impala最开始就是参照Dremel系统进行设计的。Dremel是Google的交互式数据分析系统，它构建于Google的GFS（Google File System）等系统之上，支撑了Google的数据分析服务BigQuery等诸多服务。Dremel的技术亮点主要有两个：一个是实现了嵌套型数据的列存储； ...继续阅读 (29)

Tez和Impala现在竞争非常激烈，前者走的是基于DAG的精细化管理，后者是基于MPP的技术架构重头开始造了一个C++版本的SQL引擎。截止到2013年7月，Hortonworks的Stinger（Hive 0.11 + Tez）还是比Impala慢不少，毕竟Impala的动作更早一些。Hortonworks跟Cloudera这场硬仗干的真是激烈啊。与大家分享三个演讲（墙外），一个是Impala与Stinger的对比，一个是Stinger的核心-Tez的介绍，一个是Impala跟微策略合作的情况。Cloudera Impala Overview (via Scott Leberknight)fromCloudera, Inc.Apache Tez: Accelerating Hadoop Query ProcessingfromHadoop_SummitImpala Unlocks Interactive BI on HadoopfromCloudera, Inc.相关日志08/25/2013Impala：新一代开源大数据分析引擎05/30/2012Facebook技术分享: Social Networking at Scale05/17/2012为什么NoSQL和Hadoop该一起使用？05/12/2015基于OpenStack, Docker和Spark打造SuperVess ...继续阅读 (24)

写在前面的话学习是一个永无止境的过程，举个例子，学习“学习的方法”是一个不断迭代的过程：随着个人经历、周围环境的变化，我们的学习方法也需要作相应的改变。在学生时代，如果想要学习新知识，最常做的很可能是买一本这个领域的经典著作，然后啃下去。这种方法优点是学的扎实，对概念的来龙去脉能理解的比较深刻，缺点嘛也很明显，费时费力，需要很多一大段的、不被打扰的时间，学生时代最适合这种方法。工作之后，因为惯性使然，我还经常继续使用这种方法，结果因为很难抽出大块时间深入学习某项知识，所以收效甚微。这样一个痛点，作为爱折腾点新东西的人，当然是要想办法从“方法论”上做改进。痛定思痛，仔细思考后，我决定拿Git的学习过程做一个实验，来摸索一个适合（已上班的）程序员的学习方法的最佳实践。对Git这样的工具，最终目的一定是用到实际项目中去。所以大致原则是：不要太深入理论（知道Git是个分布式版本控制系统就OK），然后找一个能直接上手的教程，learn by doing。具体步骤1）先在Code shool上了一节Try Git，交互式的网页教程，直接边看文字教材边在网页terminal里面敲命令，基本学完之后堆Git最基本的几个命令比较熟了。2）gitimmersion.googol.im的教程，目前正在学习中，内容比Try Git全面，作为进一步提高用，一步一步跟着做就行。3）优才网的Git视频教程，目前 ...继续阅读 (19)

前一阵子Google拼音输入法加入了中文滑行输入功能，我因为去年和同事一起发过一个输入法的专利，对输入法的创新比较感兴趣，所以第一时间体验了一番。于是就有了与Google负责拼音输入法的@秃秃哥 同学的一番对话。http://www.weibo.com/2149547674/zBlOmd9kJ#_rnd1372946523209@冠诚：装了，但感觉輸中文还是没有九宫格好用 输入法的极致是实现盲打 我觉得目前的实现离这个目标还是差很多的 倒是flskey这个盲打输入法比较有意思 谷歌工程师可以参考下 合格的工程师一定会看到我这条评论的 呵呵 加油 争取变改进型创新为革命型 毕竟改变用户长久的九宫格习惯需要更大的力量果然@秃秃哥 同学开始回复我这个微博，我俩就此开始交互：@秃秃哥：谷歌全键盘的智能纠错已经可以支持一定程度的盲打了，你不妨试试。@冠诚：回复@秃秃哥九宫格也可以盲打啊，跟九宫格比，滑行盲打的准确度能提升一倍吗？如果不能的话，凭什么去吸引那么多的用户去改变输入习惯？滑行之所以能在英文输入上火起来，是因为老外不幸的没有九宫格。[嘻嘻]@冠诚：回复@秃秃哥九宫格的键比滑行要大很多，所以它实现盲打很容易。如果稍微观察下现在的年轻人，他们九宫格打字应该很快的。尤其是在手机上。平板上滑行的发展空间会更大些。但是你去搜下各种论坛，很多人还在求平板上的九宫格。说白了，还是要先找用户的痛点， ...继续阅读 (22)

最近连续跟IBM的一位VP和一位Fellow有过交流，对“仰望星空，脚踏实地”有了一些新的体会，特在此分享。仰望星空讲的是你做事情的vision，或者是说你的动机。作为一名研究员来讲，最兴奋最幸福的事情莫过于对社会产生巨大的影响。IBM Fellow Chieko Asakawa（浅川智惠子）是无障碍设计领域的杰出研究人员，她领导了IBM于1997年专为盲人设计的语音浏览器Homepage Reader等一系列产品，而浅川院士本身就是一位盲人。在1997年互联网还没有很普及的时候，根据自己的需求研发了这样一款产品，不得不佩服她敏锐的技术触觉。但是最关键的是她长期以来对技术的vision。她的目标很简单：利用计算技术帮助盲人（及其他残障人士）更好地接触数字信息和社会环境，她说这是她的dream。跟那位VP的聊天中谈到技术项目的评估第一步往往要看它的vision是什么。其实不管是研究还是开发，第一步往往是要讲清楚你要做的这件事情的vision是什么，通过你要做的事情你改变了什么？你解决了什么问题？这件事情能不能使听众一听就觉得很买账？可以说vision好不好直接决定两件事情：你自己是不是很兴奋的要去做这件事情，以及你能从你的听众那里得到多少支持（可以是你的老板，你的投资人）。IBM CRL领导过两个IBM Research全球的研究项目：Wireless Network Cloud（无 ...继续阅读 (30)

Debug需要有刨根问底和百折不挠的精神。曙光往往在你被折磨的体无完肤之时出现，顿时你觉得整个世界都是光明的。最近有两次难忘的Debug经历。一次是由于系统重装了OS，某些系统配置变化了，导致Hadoop上的Terasort跑不通。问题的表面现象表现为，该节点/home所挂载的磁盘在Terasort运行时出现大量I/O操作，而不是hadoop真正写data的分区/data，从而极大影响性能。本来如果正常的话，该节点的/home分区是不会出现I/O的。用iotop等工具只能看到Hadoop的JVM对/home分区造成了巨大的I/O操作，但是究竟为何这些JVM会对/home而不是/data做大量操作？这到底是哪个配置的错误造成的？牵涉到这种reasoning的debug，好像还没有很好的工具能帮上忙。最后解决这个bug是通过不断调整Terasort的参数，不断试错发现的：在一次关闭JVM Huge Page后的测试时Terasort就能正常运行，从而锁定HugePage的相关设定，最后发现是因为重装系统后该用户名的group id变了，所以被allocate的HugePage并不能被该用户的JVM所使用，从而导致内存不足进而产生大量swap，才会出现/home目录大量I/O的情形。第二次是在集群上测试是发现一台节点CPU会有很异常的WAIT时间。用sysbench进行file I/O测 ...继续阅读 (16)

原文发表于《程序员》杂志2013年第2期.文 / 陈冠诚随着以Hadoop为代表的大数据分析技术的普及，大数据的商业价值得到深入挖掘，并开始在互联网、零售、医疗、物联网等多个行业里成为商业变革的主导力量。Facebook最近就发布了名为Graph Search的新型社交搜索产品，基于海量的社交关系网络及“Likes”行为数据，为用户提供个性化的社交搜索服务，该产品被认为将是Google搜索业务的重要竞争对手。在电子商务领域，淘宝的数据魔方就是一个基于大数据分析的典型产品。数据魔方基于淘宝所掌握的大量消费数据提供各种各样的分析服务，例如展示消费者的购物习惯，地域分布，年龄分布，热销排名等，为淘宝卖家提供了非常有价值的分析数据。然而，这些现有的大数据分析技术处理的主要对象仍集中于文本数据，例如社交图谱，搜索关键字，商品数目，店铺、商品浏览记录，成交、收藏、评价记录等等，却没有涵盖一类非常重要的数据：多媒体。实际上，多媒体数据的数据不仅规模远远超过文本数据，其商业价值也毫不逊色。以全球流量最大的网站Youtube为例，它在07年一年所消耗的网络带宽就等同于整个互联网在2000年的全部流量。另一方面，多媒体数据的来源也是异常丰富。仅以手机为例，手机的摄像头、麦克风可以产生丰富的图像、视频、语音数据。除此之外，社会中的各种监控摄像设备、医疗图像设备、物联网传感设备、卫星图像等都能产生大量的图 ...继续阅读 (27)

原文发表于《程序员》杂志2012年第9期，文字略有修改。我们在设计多线程程序时往往有很多性能指标，例如低延迟（latency），高吞吐量（throughput），高响应度（responsiveness）等。随着多核处理器上CPU核数的日益增加，如何高效地利用这些计算资源以满足这些设计目标变得越来越重要。这次向大家介绍的异步并行就是一种帮助实现低延迟、高吞吐量和高响应度的并行编程技术。让我们先来看这样一个例子。在下面的程序中，我们有一个do_something()的API，这个函数实现了将一个文件写入磁盘的功能，所以改函数比较耗时。在调用这个函数时，最简单的用法是对该函数进行同步调用，即下面程序中caller1()所采用的方式。这种写法带来的问题是，caller1需要阻塞等待do_something()的完成，期间CPU不能做任何其他的计算，从而导致CPU资源的空闲。与此相反，程序中的caller2就采用了异步调用do_something()的方式。这样，caller2在将异步调用do_something的命令发送给worker线程之后，就可以立刻返回并开始执行other_work()，不仅能将other_work()提前完成，更提高了CPU利用率。int do_something(doc) { return write_document(doc); // 耗时的I/O写操作 ...继续阅读 (27)

这周二晚上收到了SC’12大会的邮件通知,我的论文终于被接收了.在被SC’12录取之前,我这篇文章分别被IPDPS,ICS和SC据过,每一次被拒都得到了非常多有帮助的评审意见,帮助我更好的改进这篇文章.当然,被拒的滋味不好受.我认识的众多好友投顶级会议纷纷一投就中(例如madong的IJCAI,jiayu的NIPS和SIGIR,yang xi的ASPLOS和OOSPLA),我被拒了那么多次咋还没中呢,心里的挫败感多多少少还是有一点.不过现在回头来看,最大的体会就是:要想做成一件公认的不太容易的事情,你必须做好失败的准备.Per在第一次投稿的时候跟我说,”没事,你投ICS吧,把目标设的高一点好”.现在想来,就是要给自己设定一个超出自己能力的目标,才能激发出自己的潜能:) 当然,既然你给自己设定了一个比较高的目标,你就一定要清楚的认识到,这件事情不是那么容易成功的.你必须把工作做到位,做扎实,过了那个门槛才行.而这个门槛的高度可能需要你付出非常多的努力.具体到SC’12的这篇论文上,因为是系统相关的题目,所以必须要把实验部分做的非常扎实才能让审稿人满意,像我这样的普通人,自然需要努力努力再努力才能成功.大家都在讲成功,都想要成功,殊不知成功之前大都要经历失败,尤其是在令人瞩目的成功之前，更是如此.比如说,你想成为一名优秀的程序 ...继续阅读 (25)

在HPCA’12大会上,来自Facebook的Sanjeev Kumar做了题为“Social Networking at Scale”的技术演讲，主要对Facebook在可扩展的软/硬件架构上的挑战做了分析，特地分享给大家。Hpca2012 facebook keynoteView morepresentationsfromparallellabs相关日志07/17/2011Facebook的Realtime Hadoop及其应用08/01/2013Impala与Stinger对比04/28/2012Intel Nehalem微处理器架构 by Glenn Hinton (Intel Fellow)12/02/2010Jeff Dean关于Google系统架构的讲座05/17/2012为什么NoSQL和Hadoop该一起使用？ ...继续阅读 (39)

Cloudera和CouchBase最近以“为什么NoSQL和Hadoop该一起使用？”为题做了个主题分享，其中对传统IT架构和Big Data架构做了很好的对比，很值得一看。Why Every NoSQL Deployment Should Be Paired with Hadoop WebinarView morepresentationsfromCloudera, Inc.相关日志01/09/2012X-RIME: 基于Hadoop的开源大规模社交网络分析工具08/25/2013Impala：新一代开源大数据分析引擎05/09/2012Understanding System and Architecture for Big Data07/17/2011Facebook的Realtime Hadoop及其应用08/01/2013Impala与Stinger对比 ...继续阅读 (28)