假设我们以名为hadoop的用户，建好了集群，见在CentOS上安装Hadoop集群。通常，我们会把这个集群共享给多个用户，而不是让大家都登录为hadoop，这样做有几个好处：一个用户不能修改另一个用户的的文件在hadoop web管理页面，可以很方便的看到不同的用户的job现在集群中有一台机器，上面有一个用户名为 hbase 的用户，他想要使用hadoop集群，怎么配置呢？1. 安装hadoop客户端1.1 下载，解压下载跟hadoop集群一样的hadoop软件包，并解压，$ wget http://mirror.olnevhost.net/pub/apache/hadoop/common/stable1/hadoop-1.2.1-bin.tar.gz $ tar -zxf hadoop-1.2.1-bin.tar.gz -C ~/local/opt $ cd ~/local/opt/hadoop-1.2.11.2 配置在客户端只需配置集群namenode 和 jobtracker 的相关信息, 把namenode和jobtracker的信息告诉客户端即可。把hadoop用户下的conf/core-site.xml和conf/mapred-site.xml拷贝到本用户的conf/目录下$ scp hadoop@localhost:~/local/opt/hadoop-1.2.1/ ...继续阅读 (24)

Ubuntu上安装，请参考我的另一篇博客，在Ubuntu上安装Hadoop。环境：CentOS 6.5, OPenJDK 1.7, Hadoop 1.2.1本文主要参考官网的文档，Hadoop 1.2.1 Getting Started1 单机模式(Standalone Mode)为了能顺利安装成功，我们先练习在单台机器上安装Hadoop。在单台机器上，可以配置成单机模式(Standalone Mode)和伪分布式模式(Pseudo-Distributed Mode)，参考官方文档Single Node Setup。1.1 下载Hadoop 1.2.1，解压用浏览器下载或wget,$ wget http://mirror.olnevhost.net/pub/apache/hadoop/common/stable1/hadoop-1.2.1-bin.tar.gz $ tar -zxf hadoop-1.2.1-bin.tar.gz -C ~/local/opt $ cd ~/local/opt/hadoop-1.2.11.2 编辑 conf/hadoop-env.sh，设置JAVA_HOME$ echo $JAVA_HOME /usr/lib/jvm/java $ vim conf/hadoop-env.sh取消JAVA_HOME那一行的注释，设置正确的JDK位置export JAV ...继续阅读 (15)

本文主要参考Nutch 2.x TutorialNutch 2.x 与 Nutch 1.x 相比，剥离出了存储层，放到了gora中，可以使用多种数据库，例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。1. 安装并运行HBase为了简单起见，使用Standalone模式，参考HBase Quick start1.1 下载，解压wget http://archive.apache.org/dist/hbase/hbase-0.90.4/hbase-0.90.4.tar.gz tar zxf hbase-0.90.4.tar.gz1.2 修改 conf/hbase-site.xml内容如下hbase.rootdirfile:///DIRECTORY/hbasehbase.zookeeper.property.dataDir/DIRECTORY/zookeeperhbase.rootdir目录是用来存放HBase的相关信息的，默认值是/tmp/hbase-${user.name}/hbase；hbase.zookeeper.property.dataDir目录是用来存放zookeeper（HBase内置了zookeeper）的相关信息的，默认值是/tmp/hbase-${user.name}/zookeeper。1.3 启 ...继续阅读 (23)

最近给CentOS 6.5 安装了docker，不过每次运行都会报警：WARNING: You are running linux kernel version 2.6.32-431.3.1.el6.x86_64, which might be unstable running docker. Please upgrade your kernel to 3.8.0.给CentOS 升级内核，有三种途径，一种是yum官方源里有更新的版本，一种途径是自己编译，另一种途径是使用别人编译好了的内核。CentOS yum源是出了名的更新慢，目前没有 3.8版内核，第二种途径很麻烦，工作量很大，因此本文用第三种。例如UEK，Oracle提供了一个公共的yum源，http://public-yum.oracle.com/添加yum源UEK的稳定版还是 2.6 内核的，beta版的内核是3.8的，所以我们使用beta源sudo wget http://public-yum.oracle.com/beta/public-yum-ol6-beta.repo -P /etc/yum.repos.d由于UEK3还没有加入到正式版本中，还目前属于测试阶段，，需要手工将enabled=0改为enabled=1sudo vim /etc/yum.repos.d/public-yum-ol6-beta.repo添 ...继续阅读 (35)

软件版本：Spark 0.9配置Spark开发环境，其实分为三个层次，一种是针对运维人员，把Spark安装部署到集群；一种是针对普通开发者，引入Spark的jar包，调用Spark提供的接口，编写分布式程序，写好后编译成jar，就可以提交到Spark集群去运行了；第三种是针对Spark开发者，为了给Spark贡献代码，需要git clone Spark的代码，然后导入IDE，为Spark开发代码。1 部署Spark集群这种是运维人员在生产环境下，搭建起一个Spark集群。（可选）创建新用户 Spark一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd spark创建一个新的用户，并加入group,$ sudo useradd -g spark spark给新用户设置密码，$ sudo passwd spark在每台机器上创建 spark 新用户，并配置好SSH无密码，参考我的另一篇博客，SSH无密码登录的配置假设有三台机器，hostname分别是 master, worker01, worker02。1.1 下载 Spark 预编译好的二进制包如果你需要用到HDFS，则要针对Hadoop 1.x 和Hadoop 2.x 选择不同的版本。 ...继续阅读 (21)

前提，安装好Ansible，参考我的上一篇博客，Ansible 快速入门--- - hosts: all sudo: True remote_user: work vars: ant_version: 1.9.3 maven_version: 3.1.1 scala_version: 2.10.3 sbt_version: 0.12.4 tasks: ########## for CentOS and RedHat ########## - name: Install the libselinux-python package # because ansible needs it yum: name=libselinux-python state=installed when: ansible_distribution == 'CentOS' or ansible_distribution == 'Red Hat Enterprise Linux' - name: Disable SELinux in conf file selinux: state=disabled when: ansible_distribution == 'CentOS' or ansib ...继续阅读 (29)

OS: Ubuntu 12.04 64-bit1. Install ruby1.1 Install ruby via RVM$ \curl -sSL https://get.rvm.io | bash -s stable --ruby1.2Integrating RVM with gnome-terminal/etc/profile,~/.bash_profileare for login shell, and~/.bashrcis for interactive shell, and RVM’s path is added to~/.bash_profile, so you need to set the shell as a login shell.1.3 Give it a tryExit current shell, and open a new shell,ruby -vYou have successfully installed ruby.2. Install Python$ sudo apt-get install -y pythonBecausePygmentssyntax highlighting needs Python.3. Clone your blog to the new machineFirst you need to clone thesource ...继续阅读 (63)

Ansible 是一个比Puppet, Chef 更轻量的provisioning 工具，不需要启动daemon进程。这点跟跟pssh差不多，但是比pssh更加强大。前提所使用的remote_user要能够SSH无密码登录到所有机器，配置方法见SSH无密码登录的配置remote_use sudo的时候不需要密码，配置方法如下，sudo chmod +w /etc/sudoers sudo vim /etc/sudoers找到root ALL=(ALL:ALL) ALL，在下面添加一行username ALL=(ALL:ALL) NOPASSWD:ALL保存退出，然后恢复为只读，sudo chmod +w /etc/sudoers如果忘记了以上两点，运行任何ansible命令的时候，会卡住不动很久。如果发现在 “GATHERING FACTS”这里卡住，多半是sudo需要密码，试试加上-K选项，例如ansible-playbook -K playbook.yml，参考Running ansible on local Linux desktop hangs on Gathering Facts。-vvvv表示调试模式，加上后会输出很多中间信息，帮助你调试。1. 安装Ansible只需要在一台机器上安装，其他机器不需要安装任何东西，这就是ansible比puppet, c ...继续阅读 (49)

今天在服务器上执行sudo yum -y update的时候报错：… needs 18MB on the /boot filesystem1. 列出所有的内核文件rpm -q kernel kernel-2.6.32-431.el6.x86_64 kernel-2.6.32-431.3.1.el6.x86_64发现有多个内核，因此可以删除所有不再使用的内核文件，来释放空间。2. 查看当前正在使用的内核uname -r 2.6.32-431.3.1.el6.x86_64注意，如果你是刚刚yum -y update过，需要重启一下，内核才会更新，不重启的话uname -r还是显示的旧的。3. 删除没有使用的内核rpm -e 2.6.32-431.el6.x86_64 rpm -e xxx将rpm -q kernel显示的内核复制粘贴到xxx位置。4. 手动删除其他文件把所有未使用的版本全部删除。sudo rm -rf /lib/modules/2.6.32-431.el6.x86_64 sudo rm -rf /usr/src/kernels/2.6.32-431.el6.x86_64 sudo rm -rf /usr/src/kernels/2.6.32-431.el6.x86_64.debug sudo rm /boot/*2.6.32-431*5. 删除grub里的条目上面的步骤 ...继续阅读 (13)

rdesktop是一款Linux下兼容Windows Remote Desktop Protocal(RDP)协议的客户端，可以用它连接开启了3389的windows机器。输入rdesktop可以看到该命令的所有选项，其中最常用的选项如下： > -u: user name > -p: password (- to prompt) > -f: full-screen mode > -g: desktop geometry (WxH) > -x: RDP5 experience (m[odem 28.8], b[roadband], l[an] or hex nr.)举几个例子，rdesktop -u feng -p 123456 -xl -f 192.168.1.250这条命令表示，-xl表示客户端和win机器在同一个局域网，因此可以画质调节到最好，-f表示全屏，这条命令最好在局域网下使用。rdesktop -u feng -p 123456 -xm -f 192.168.1.250跟上一条命令相比，把-xl换成了-xm，画质调节到最差rdesktop -u feng -p 123456 -xm -g 1024x768 192.168.1.250跟上一条命令相比，将全屏改成了分辨率1024x768 ...继续阅读 (23)