PS：最近一年事情太多，一年多没在博客分享记录了，以后有空还是分享下。 今天测试部署Hadoop 2.6集群，出现一个报错，搜索了下，都说是hadoop配置文件问题，检查了两遍发现没问题，排查怀疑是JDK版本问题，报错的是1.7，后升级安装到1.8后问题解决。记录一下： 报错如下： 解决后： 在 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 里面选择下载jdk-8u66-linux-x64.rpm这个包。 # rpm -Uvh jdk-8u66-linux-x64.rpm # vim /etc/profile 在最后加入如下配置： export JAVA_HOME=/usr/java/jdk1.8.0_66 export JRE_HOME=$JAVA_HOME/jre export HADOOP_HOME=/usr/lib/hadoop export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$ ...继续阅读 (38)

随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。 在这个博客帖子中，你将会学到一些工作负载评估的原则和它在硬件选择中起着至关重要的作用。在这个过程中，你也将学到Hadoop管理员应该考虑到各种因素。 结合存储和计算 过去的十年，IT组织已经标准化了刀片服务器和存储区域网(SAN)来满足联网和处理密集型的工作负载。尽管这个模型对于一些方面的标准程序是有相当意义 的，比如网站服务器，程序服务器，小型结构化数据库，数据移动等，但随着数据数量和用户数的增长，对于基础设施的要求也已经改变。网站服务器现在有了缓存 层；数据库需要本地硬盘支持大规模地并行；数据迁移量也超过了本地可处理的数量。 大部分的团队还没有弄清楚实际工作负载需求就开始搭建他们的Hadoop集群。 硬件提供商已经生产了创新性的产品系统来应对这些需求，包括存储刀片服务器，串行SCSI交换机，外部SATA磁盘阵列和大容量的机架单元。然 而，Hadoop是基于新的实现方法，来存储和处理复杂数据，并伴随着数据迁移的减少。 相对于依赖 ...继续阅读 (21)

PS：TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。 TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。 TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，每日计算量4PB，作业并发数2000左右；实际存储数据量80PB，文件数和块数达到6亿多；存储利用率83%左右，CPU利用率85%左右。经过四年多的持续投入和建设，TDW已经成为腾讯最大的离线数据处理平台。 TDW的功能模块主要包括：Hive、MapReduce、HDFS、TDBank、Lhotse等，如图1所示。TDW Core主要包括存储引擎HDFS、计算引擎MapReduce、查询引擎Hive，分别提供底层的存储、计算、查询服务，并且根据公司业务产品的应用情况进行了很多深度订制。TDBank负责数据采集，旨在统一数据接入入口，提供多样的数据接入方式。Lhotse任务调度系统是整个数据仓库的总管，提供一站 ...继续阅读 (28)

PS：RHEL7和CentOS7出来有一段时间了，拿出点时间研究下，有几个地方跟6和5系列相比改变比较大，估计不少童鞋有点不太习惯。下面简要举例说明改变比较大的要点： 一、CentOS的Services使用了systemd来代替sysvinit管理 1、systemd的服务管理程序： systemctl是主要的工具，它融合之前service和chkconfig的功能于一体。可以使用它永久性或只在当前会话中启用/禁用服务。 systemctl可以列出正在运行的服务状态，如图： systemd-cgls以树形列出正在运行的进程，它可以递归显示控制组内容。如图： 2、如何启动/关闭、启用/禁用服务？ 启动一个服务：systemctl start postfix.service 关闭一个服务：systemctl stop postfix.service 重启一个服务：systemctl restart postfix.service 显示一个服务的状态：systemctl status postfix.service 在开机时启用一个服务：systemctl enable postfix.service 在开机时禁用一个服务：systemctl disable postfix.service 查看服务是否开机启动：systemctl is-enabled postfix.service;e ...继续阅读 (15)

PS：昨天写一篇博客发现上传图片报错，文件已经上传100%但又跳出来“上传失败”，提示“缺少临时文件夹”。因之前更换了VPS，以为是图片目录权限问题，最后发现不是，是php的一个配置问题导致。 解决方法： vim php.ini 找到upload_tmp_dir，改成如下： upload_tmp_dir = /tmp 保存退出，重启php就ok。 ...继续阅读 (12)

PS：EPEL的yum源是很稳定的第三方yum安装源，也是我经常使用的，基于CentOS/RHEL 7.x的也有了，整理如下： # wget http://dl.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.2.noarch.rpm # yum install epel-release-7-0.2.noarch.rpm 或者 # rpm -ivh epel-release-7-0.2.noarch.rpm 验证查看是否安装成功： yum repolist 查看某个包的详细信息： yum --enablerepo=epel info htop 列出epel源的所有包列表： yum --disablerepo="*" --enablerepo="epel" list available | less 附： 1、RHEL/CentOS 6.x的EPEL源安装方法： ## RHEL/CentOS 6 32-Bit ## # wget http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm # rpm -ivh epel-release-6-8.noarch.rpm ## RHEL/CentOS 6 64-Bit ...继续阅读 (18)

PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。 一种是通过硬件来进行进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用；另外一种就是类似于Nginx/LVS/HAProxy的基于Linux的开源免费的负载均衡软件，这些都是通过软件级别来实现，所以费用非常低廉。 目前关于网站架构一般比较合理流行的架构方案：Web前端采用Nginx/HAProxy+Keepalived作负载均衡器；后端采用MySQL数据库一主多从和读写分离，采用LVS+Keepalived的架构。当然要根据项目具体需求制定方案。 下面说说各自的特点和适用场合。 Nginx的优点是： 1、工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构，它的正则规则比HAP ...继续阅读 (30)

PS：本文作者是前盛大云CEO、Ucloud创始人季昕华，本人的工作经历使然对此文观点比较同感，也是比较不错的云计算IaaS层概念科普文。特记录如下： 真实的云计算什么样？ 云计算对普通用户来说，总是一个云里雾里的话题。本文从最基础的概念开始科普，说明了四个常见的错误理解，和作者的四个猜想。 IaaS(Infrastructure as a Service)，指基础设施即服务，消费者通过Internet可以从完善的计算机基础设施获得服务。基于Internet的服务(如存储和数据库)是IaaS的一部分。Internet上其他类型的服务包括平台即服务(Platform as a Service，PaaS)和软件即服务(Software as a Service，SaaS)。PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过Internet管理企业资源。 误解一：IaaS就是卖资源 现在流行的一个观点：IaaS就是卖资源，传统IDC是卖带宽和机架，云计算加上服务器，最多就是把这些资源通过虚拟化技术拆成散了零卖。 在我们看来，云计算分为3个层次： 1、 资源层：这是IaaS提供服务的物理基础，主要包括计算资源、存储资源和网络资源，以及必要的电力资源、IP资源等。这一层主要通过规模采购和资源复用的模式来赚钱利润，利润不高。 2、 产品层 ...继续阅读 (15)

Steve Jobs的光环已经随着他的离去而淡褪，短期内世上恐怕再难有人像他这样惊世骇俗般的改变了世界。但是如果你了解到一个人，一个来自南非年仅42岁的企业家在短短的20年里在全世界最酷的三个领域：互联网、可持续能源和航天技术中所取得的辉煌成就，你恐怕不会再眷恋Steve Jobs带给你的震撼。这个人就是Elon Musk。 这哥们的神奇之处首先就在于，他在宾大读本科的时候，就预见到了未来对于全人类最有影响力的三个领域：互联网、可持续能源和航天技术。这其实并没什么了不起，谁不在本科的时候畅想畅想未来，发一发文青的牢骚？我相信我在清华读本科的时候见到的有这样远见的人多了去了。但是最令人发指的是，这哥们是个执行机器，要么不做，要做就做成历史性的。他发完牢骚之后的20年，先后创立了PayPal，SpaceX和Tesla Motors。现在看来，这几个公司对于他所说的这三个领域都起到了举足轻重的作用。Steve Jobs可能很伟大，他至少改变了数字娱乐、移动计算和智能手机等多个领域。但是就领域的跨度而言，和Elon Musk毫无可比性，这哥们简直就是神。 Elon Musk在进入斯坦福大学的第二天就决定退学创业。听说过牛人读PhD或者本科一年或者两年退学创业的，比如Larry Page和Bill Gates之流。但是两天？开什么玩笑！但是Elon Musk是认真的，他觉得当时的互联网商机无 ...继续阅读 (15)