机器学习任务主要分为两种：supervised machine learning 和 unsupervised machine learning。其中supervised machine learning主要包括classification和regression，unsupervised machine learning主要包括clustering。除了这些核心的算法以外，还有一些辅助处理的模块，例如preprocessing, dimensionality reduction, model selection等。目前最新的Spark 1.1.0版本中MLlib主要还是对核心算法的支持，辅助处理模块还很不完善。源代码包和其功能的对应关系如下：classification/clustering/regression/tree分类算法、回归算法、决策树、聚类算法optimization核心算法的优化方法实现stat基础统计feature预处理evaluation算法效果衡量linalg基础线性代数运算支持recommendation推荐算法本文主要讨论是用MLlib进行classification工作。分类是机器学习最基础的工作，典型的应用场景就是AD CTR prediction，也就是大部分互联网公司的利润来源。据业余了解，广告CTR预估使用最多的基础算法还是L1正则化的Logis ...继续阅读 (31)

（原文：Scaling the Facebook data warehouse to 300 PB，本文是原文的翻译）Facebook在数据仓库上遇到的存储可扩展性的挑战是独一无二的。我们基于Hive的数据仓库中存储了超过300PB的数据，并且以每日新增600TB的速度增长。去年这个数据仓库所存储的数据量增长了3倍。考虑到这个增长趋势，存储效率问题是我们数据仓库基础设施方面目前乃至将来一段时间内最需要关注的。在提高数据仓库的存储效率方面我们有许多创新点，例如建立冷数据存储的数据中心、对HDFS采用类似RAID的技术在保证数据高可用性不变的前提下降低冗余率、在数据被写入到HDFS之前先做压缩以减少数据占用的存储空间。在Facebook对于大量原始日志的转换（transformations）操作最广泛使用的系统是Hive，Facebook的Hive是建立在Corona Map-Reduce框架之上的用于处理数据、建立数据仓库表等工作的查询引擎。在这篇文章中，我们主要讨论Hive表的存储格式的演化，这个工作主要的目的是使Hive表的存储格式要尽可能高效压缩原始数据。RCFile我们的数据仓库中数据被加载到表里面时首先使用的存储格式是Facebook自己开发的Record-Columnar File Format(RCFile)。RCFile是一种“允许按行查询，提供了列存储的压缩效率”的 ...继续阅读 (24)

Hadoop 2.3.0已经发布了，其中最大的亮点就是集中式的缓存管理(HDFS centralized cache management)。这个功能对于提升Hadoop系统和上层应用的执行效率与实时性有很大帮助，本文从原理、架构和代码剖析三个角度来探讨这一功能。主要解决了哪些问题1.用户可以根据自己的逻辑指定一些经常被使用的数据或者高优先级任务对应的数据常驻内存而不被淘汰到磁盘。例如在Hive或Impala构建的数据仓库应用中fact表会频繁地与其他表做JOIN，显然应该让fact常驻内存，这样DataNode在内存使用紧张的时候也不会把这些数据淘汰出去，同时也实现了对于 mixed workloads的SLA。2.centralized cache是由NameNode统一管理的，那么HDFS client（例如MapReduce、Impala）就可以根据block被cache的分布情况去调度任务，做到memory-locality。3.HDFS原来单纯靠DataNode的OS buffer cache，这样不但没有把block被cache的分布情况对外暴露给上层应用优化任务调度，也有可能会造成cache浪费。例如一个block的三个replica分别存储在三个DataNote 上，有可能这个block同时被这三台DataNode的OS buffer cache，那么从HDFS的 ...继续阅读 (29)

会上没有提到太多高大上的算法和模型，更多的是在商业社会中如何把大数据应用起来。总的感觉这次会议的主题是“数据+商业”，也就是如何让数据在商业社会中产生价值。这个topic非常广泛，远远超过了一般互联网盈利模式（广告+游戏）的范畴。对于我们做大数据的朋友来说也是一样的，过去我们经常提到的搜索引擎、计算广告和推荐系统基本上最常见的大数据应用场景了。但是随着大数据与商业社会的结合，产生了需求新的玩法。阿里巴巴数据委员会会长车品觉提到了美国在大数据领域的顶级会议strataconf，提到了现在最重要的是把大数据应用落地，也就是”Data engineering”的概念。我的理解工程化就是让大数据成为大家工作中必不可少的一个工具，不再是一个高大上的概念。他同时提到数据要稳定、数据挖掘出来的结果可解释（Data Scientist的要求之一就是storytelling）。在以前的商业社会中做决策要大家讨论来讨论去，更多的是靠在这个行业内的经验来说话，现在新的玩法更应该是用数据来说话，用数据来支撑决策。他也提到目前在大数据商业应用中的主要问题：人才不匹配、数据冗余、工具不统一、安全、数据质量等。他还提到了从IT到DT的转变。阿里小微金融集团首席风险官胡晓明演讲的题目是《商业驱动下的大数据》，把大数据的应用领域拓展到互联网金融这个目前看来最热的领域。我特别赞同他提到的这样一句话“数据没有大小之分， ...继续阅读 (24)

随着应用数据的增长，在大规模数据集上进行统计分析和机器学习越来越成为一个巨大的挑战。目前，适用于统计分析/机器学习的语言/库有很多，如专为数据分析用途而设计的R语言，Python语言的机器学习库Scikits，支持分布式环境扩展的有基于Map-Reduce实现的Mahout，以及分布式内存计算框架Spark上的机器学习库MLlib等等。目前Spark框架也推出了R语言的接口SprakR。但是，本文要讨论的，则是另外一种设计思路，在database中实现统计分析和机器学习算法，即In-Database Analysis，Madlib库就是这种设计思路的代表。把机器学习库内置到database中（通过database的UDF）有许多优点，执行机器学习算法时只需要编写相应的SQL语句就可以了，同时database本身作为分析的数据源，使用非常方便，大大降低了机器学习的应用门槛。当然缺点也是明显的，由于受限于database提供的UDF编程接口，实现算法时会受到很多限制，很多优化难以实现，而大规模数据集上的机器学习，尤其是需要迭代计算的，通常对算法性能和结果收敛速度要求较高，否则很难做到实用。本文的重点就是讨论如何在In-database Analysis的框架下，高效的实现机器学习中的SGD（随机梯度下降）算法。由于很多机器学习算法如linear SVM分类器、K-mean、Logist ...继续阅读 (16)

HDFS设计的初衷是为了存储大文件（例如日志文件），面向批处理、顺序I/O的。然而架设在HDFS之上的HBase设计的初衷却是为了解决海量数据的随机读写的请求。把这两种设计初衷截然相反的组件怎么揉在一起的呢？这种分层的结构设计主要是为了使架构更清晰，HBase层和HDFS层各司其职；但是却带来了潜在的性能下降。在很多业务场景中大家使用HBase抱怨最多的两个问题就是：Java GC相关的问题和随机读写性能的问题。Facebook Messages（以下简称FM系统）系统可以说是HBase在online storage场景下的第一个案例（《Apache Hadoop Goes Realtime at Facebook》, SIGMOD 2011），最近他们在存储领域顶级会议FAST2014上发表了一篇论文《Analysis of HDFS Under HBase: A Facebook Messages Case Study》分析了他们在使用HBase中遇到的一些问题和解决方案，使用HBase做online storage的同学们可以参考下。该论文首先讲了Facebook的分析方法包括tracing/analysis/simulation，FM系统的架构和文件与数据构成等，接下来开始分析FM系统在性能方面的一些问题，并提出了解决方案。http://www.infoq.com/cn/a ...继续阅读 (28)

有一种说法，未来所有的行业都会被互联网改造，这种说法可能会有点绝对，但确实说明了一个趋势。前几天参加BDTC2013，看到了越来越多的原来在传统IT企业的同学和朋友纷纷加入移动互联网、大数据、云计算的阵营，越来越多的传统企业在众多IT巨头的忽悠之下开始投身大数据的浪潮。虽然很多老板对大数据的了解仅仅停留在Google搜索引擎或者Amazon的推荐系统这样的产品层面，但是大数据的浪潮显然已经不可阻挡。大数据在改造传统企业中能发挥多大的力量，怎么样才能发挥更大的力量，我谈谈我的观点吧。PS：我是一个数据挖掘工程师，我不是PM，我是一个无证Data Scientist，我热爱大数据，希望大数据能够给企业带来价值，我为自己代盐。其实移动互联网、大数据已经不单单是一个IT的概念了，它更多的是一个改变人类生活方式的产业，而且诞生了一个新的名词O2O。O2O被誉为未来一个万亿市场规模的行业。O2O企业本质是传统行业的互联网化或者说用互联网的方法改造传统行业，那么本质上解决的问题和传统行业没有区别，还是人们日常生活息息相关的衣食住行等问题。例如通过电商买衣服和生活用品，通过微信解决朋友之间通信的需求，团购买餐饮，嘀嘀打车，网上买机票和火车票，支付宝交水电煤气费，余额宝理财，甚至一度被叫停的医院挂号等。要做的事还是一样的，只是做事的方法不一样，目的是让用户的生活更加便利。那么什么样的玩法更受用户欢迎 ...继续阅读 (21)

在国外有几个Hadoop和大数据领域的顶级会议：每年年底在美国举办的Strata + Hadoop World，由Cloudera公司主导；每年上半年在美国和欧洲分别举办的Hadoop Summit，由Hortonworks公司主导。HBase领域的年度会议http://www.hbasecon.com中国原来只有一个Hadoop in China，后来发展成了BDTC。今年除了BDTC外又多了一个China Hadoop Summit。今年Hadoop和大数据领域的几个大新闻从这个BDTC上能够一目了然：1，Hadoop 2.0和YARN，来自Cloudera和Hortonwork的人分享了Hadoop 2.0和YARNHDFS-347 HDFS短路读，略过DataNode进程直接读磁盘文件HDFS解决了NameNode相关的问题，包括NameNode Federation，NameNode HA(QJM)HDFS-2802 Filesystem snapshotHDFS-4750 支持NFSYARN支持天生的multi-tenancy，例如使用Linux/cgroups做资源隔离，支持各种计算模型(MR/Tez/Storm/Spark/Impala/HBase/Giraph/Hama/S4)2，BDAS和Spark强势来袭UC Berkeley AMP lab来了一大波人推销他 ...继续阅读 (23)

2013年马上就要过去了，总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布，代码结构已经按照模块化release了，而且提供了许多大家迫切需求的特点。这些特点大多在Yahoo/Facebook/淘宝/小米等公司内部的集群中跑了挺长时间了，可以算是比较稳定可用了。1，Compaction优化HBase的Compaction是长期以来广受诟病的一个feature，很多人吐槽HBase也是因为这个特征。不过我们不能因为HBase有这样一个缺点就把它一棒子打死，更多的还是希望能够驯服它，能够使得它适应自己的应用场景。根据业务负载类型调整compaction的类型和参数，一般在业务高峰时候禁掉Major Compaction。在0.96中HBase社区为了提供更多的compaction的策略适用于不同的应用场景，采用了插件式的架构。同时改进了HBase在RegionServer端的存储管理，原来是直接Region->Store->StoreFile，现在为了支持更加灵活多样的管理StoreFile和compact的策略，RS端采用了StoreEngine的结构。一个StoreEngine涉及到StoreFlusher, CompactionPolicy, Compactor, StoreFileManager。不指定的话默认是DefaultSto ...继续阅读 (26)

在企业里面从事大数据相关的工作到底需要掌握哪些知识呢？我认为需要从两个角度来看：一个是技术；一个是业务。技术上主要涉及到概率和数理统计，计算机系统、算法和编程等；而业务的角度呢则是因公司业务的不同而异。对于从事大数据的工程人员来说，需要学会使用数据挖掘方法在计算机系统和编程工具的帮助下解决实际的问题，这样才能够在海量数据中挖掘出业务增长的助推剂，才能在激烈的市场竞争中为企业创造更多的价值。因为业务会因公司的不同而不同，但是技术点是想通的。我在这里简单总结了一下大数据相关工程人员需要掌握的技术相关知识点。主要涉及到数据库、数据仓库、编程、分布式系统、Hadoop生态系统相关、数据挖掘和机器学习相关的基础知识点。当然我这里列出来的应该是一个team的人员汇集在一起所具备的，每个人会因在团队中的角色不同而有所侧重。在此剖砖引玉，欢迎大家发表意见。TopicContentKey pointsReferenceDB/OLTP & DW/OLAPDatabase/OLTP basicThe relational model, SQL, index/secondary index, inner join/left join/right join/full join, transaction/ACIDRamakrishnan, Raghu, and Johannes Gehrke. Databas ...继续阅读 (62)