环境：hadoop2.2.0 + mahout0.9hadoop1 192.168.100.171 (namenode、secondarynamenode、resourcemanager、mahout)hadoop2 192.168.100.172 (datanode、nodemanager)hadoop3 192.168.100.173 (datanode、nodemanager)hadoop4 192.168.100.174 (datanode、nodemanager)hadoop5 192.168.100.175 (datanode、nodemanager)一：安装mahout0.9[root@hadoop1 hadoop]# tar zxf /mnt/mydisk/soft/hadoop/mahout/mahout-distribution-0.9.tar.gz [root@hadoop1 hadoop]# tar zxf /mnt/mydisk/soft/hadoop/mahout/mahout-distribution-0.9-src.tar.gz [root@hadoop1 hadoop]# mv mahout-distribution-0.9 mahout09[root@hadoop1 hadoop]# chown -R had ...继续阅读 (29)

Hadoop client访问HDFS是通过client端的hadoop配置文件来访问hadoop集群的，一般的情况下我们在配置文件core-site.xml中配置fs.defaultFS是使用一个类似hdfs://hadoop1:8000/的固定地址和端口，显然这在访问HA时存在很大的局限性：HA如果切换了NN，那么就无法访问了；在federation中只能访问部分HDFS等等。那么在HA和Federation下该如何访问HDFS呢？1：实验目的A：client如何访问HA HDFSB：client如何访问HA HDFS + Federation2：client如何访问HA HDFS本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的hadoop配置文件下载（HA+JN+ZK）根据上面相关资料重新配置HA+JournalNode+zookeeper环境，并格式化后启动，然后使用物理机192.168.100.111(机器名wyy)作为客户端来访问集群。A：启动集群[hadoop@product202 ~]$ /app/hadoop/zookeeper345/bin/zkServer.sh start[hadoop@product202 ~]$ /app/hadoop/hadoop220/sbin/hadoop-daemon.s ...继续阅读 (130)

1：Hadoop HA启动流程图注意，如果是使用JournalNode保存EditLog，那么除了第一次需要格式化HDFS需要手工先启动；正常使用的hadoop集群不需要手工启动JournalNode，因为start-dfs.sh中已经含有启动JournalNode的脚本。2：hdfs.xml配置要注意的地方  3：NFS配置客户端的NFS用户UID、GID要和服务器上的用户UID、GID最好一致，至少要UID一致；所以在客户端创建NFS用户的时候，先查看一下服务器端用户的UID、GID，然后在客户端用groupadd -g GID命令创建用户组，用useradd -u UID命令创建用户。4：使用Zoopkeeper自动切换NN节点时，需要提供自动切换的办法：sshfence或shell。通过配置参数 dfs.ha.fencing.methods 来完成。具体的做法可以参考：HDFS High Availability Using the Quorum Journal Manager 。如本实验中用了sshfence方法，配置如下：<property><name>dfs.ha.fencing.methods</name><value>sshfence</value></pro ...继续阅读 (11)

本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper  上进行的。1：原理图   A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、product204、product213、product214JouralNode：product212、product213、product214zookeeper：product202、product203、product204B：实验环境之说明product201、product202组成nameservices为cluster1的NN HA；product211、product212组成nameservices为cluster2的NN HA；product203、product204、product213、product214组成一个DataNode集群，提供HDFS存储；product212、product213、product214组成的JournalNode集群，提供cluster1、cluster2各自act ...继续阅读 (4)

由于时间关系，原规划在Hadoop cluster2上实施HA+NFS+zookeeper的，改成了在Hadoop cluster1上实施，这样省略了ssh无密码登陆配置环节和hadoop集群配置环节。本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper  上进行的。1：原理图A：NN1、NN2（或者更多个NN节点）只有一个是Active状态，通过自带ZKFailoverController组件（zookeeper客户端）和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B：Active NN 的EditLog 写入NFS共享目录/mnt/cluster1中，Standby NN通过共享目录/mnt/cluster1获取Editlog，并在本地运行来保持和Active NN 的元数据同步。C：如果不配置zookeeper，可以手工切换Active NN/Standby NN；如果要配置zookeeper自动切换，还需要提供切换方法，也就是要配置dfs.ha.fencing.methods参数。2：NFS客户端配置启动product201、product202的NFS客户端并设置成启动时自动加载[root@product201 /]# chkconfig rpcbind ...继续阅读 (9)

1：原理图 A：NN1、NN2（或者更多个NN节点）只有一个是Active状态，通过自带ZKFailoverController组件（zookeeper客户端）和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B：Active NN 的EditLog 写入共享的JournalNode集群中，Standby NN通过JournalNode集群获取Editlog，并在本地运行来保持和Active NN 的元数据同步。C：如果不配置zookeeper，可以手工切换Active NN/Standby NN；如果要配置zookeeper自动切换，还需要提供切换方法，也就是要配置dfs.ha.fencing.methods参数。2：建立用户hadoop的ssh无密码登陆[root@product201 ~]# su - hadoop[hadoop@product201 ~]$ cd .ssh[hadoop@product201 .ssh]$ ssh product201 cat /home/hadoop/.ssh/id_rsa.pub >> authorized_keys[hadoop@product201 .ssh]$ ssh product202 cat /home/hadoop/.ssh/id_rsa.pub >> authorize ...继续阅读 (4)

本系列实验主要测试hadoop2.2.0的新特性NameNode HA 和 Federation，本篇为基础环境搭建。1：虚拟机规划服务器：productserver192.168.100.200 (DNS、NFS、Oracle、MySQL、Cluster Moniter)Hadoop集群1:product201192.168.100.201 (NN1)product202192.168.100.202 (NN2、zookeeper1、JournalNode1）product203192.168.100.203 (DN1、zookeeper2、JournalNode2）product204192.168.100.204 (DN2、zookeeper3、JournalNode3）Hadoop集群2:product211192.168.100.211 (NN1)product212192.168.100.212 (NN2、zookeeper1）product213192.168.100.213 (DN1、zookeeper2）product214192.168.100.214 (DN2、zookeeper3）2：实验规划 A：HA+JournalNode+zookeeperDNS：productserverHA：product201、product202DN： ...继续阅读 (9)

1：Spark1.0.0 Standalone Mode安装A：部署包生成首先，官网 http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz 下载源代码，解压后切换到源码目录，运行部署包生成程序make-distribution.sh$ ./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgzspark源码根目录下的make-distribution.sh可以带以下参数：--hadoop VERSION：打包时所用的Hadoop版本号，不加此参数时hadoop版本为1.0.4。--with-yarn：是否支持Hadoop YARN，不加参数时为不支持yarn。--with-hive：是否在Spark SQL 中支持hive，不加此参数时为不支持hive。--skip-java-test：是否在编译的过程中略过java测试，不加此参数时为略过。--with-tachyon：是否支持内存文件系统Tachyon，不加此参数时不支持tachyon。--tgz：在根目录下生成 spark-$VERSION-bin.tgz，不加此参数时不生成tgz文件，只生成/dist目录。--name NAME：和--tgz结合可以生成spark-$VERSION-bin-$NAME. ...继续阅读 (17)

1：规划centOS6.4上搭建hadoop2.2.0环境，java版本7UP21192.168.100.201product201.product (namenode)192.168.100.202product202.product (datanode)192.168.100.203product203.product (datanode)192.168.100.204product204.product (datanode)192.168.100.200 productserver.product (DNS、NFS）指导思想：A：将Hadoop2.2.0的部署文件共享在productserver.product：/share/hadoop，每台客户端安装时通过脚本下载B：SSH公钥文件所有节点共享，将各自产生的公钥添加到productserver.product：/mnt/.ssh/authorized_keysC：Hadoop配置文件所有节点共享，部署在productserver.product：/mnt/.ssh，各节点通过软链接引用D：各节点安装使用安装脚本，包括启动共享文件的装载、向slaves文件注册、下载Hadoop部署文件、建立软链接等等2：创建虚拟机样板机（VM和vitualBOX都可以）A：安装centOS6.4虚拟机product201.product，开 ...继续阅读 (4)

1：概述      说Spark on YARN的部署，还不如说是Spark应用程序在YARN环境中的运行。按照Spark应用程序中的driver （SparkContext）分布方式不同，Spark on YARN有两种模式：一种是yarn-client模式，在这种模式下，Spark driver在客户机上运行，然后向YARN申请运行exeutor以运行Task。一种是yarn-cluster模式，这种模式下，Spark driver将作为一个ApplicationMaster在YARN集群中先启动，然后再由ApplicationMaster向RM申请资源启动executor以运行Task，正如Spark1.0.0 运行架构基本概念  中Spark on YARN所示。      对于Spark1.0.0，在YARN中部署Spark应用程序，可以使用bin/spark-submit工具（使用方法详见Spark1.0.0 应用程序部署工具spark-submit）。在YARN上部署Spark应用程序的时候，不需要象Standalone、Mesos一样提供URL作为master参数的值，因为Spark应用程序可以在hadoop的配置文件里面获取相关的信息，所以只需要简单以yarn-clus ...继续阅读 (12)

在windows使用eclipse开发 hadoop2.2.0程序的时候，会提示没有winutils.exe的错误，需要在windows端编译源代码才能解决。 一：准备工作1：相关软件包下载并安装Apache Hadoop 2.2.0 Source codesMicrosoft Windows SDK for Windows 7 and .NET Framework 4MavenProtocol Buffers 2.5.0CygwinJDKfindbugs2：系统环境变量设置JAVA_HOME=C:\Java\jdk631M2_HOME=E:\App\maven305Platform=x64Path增加;C:\cygwin64\bin;%M2_HOME%\bin二：编译和安装参考文档：Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS1：编译将hadoop2.2.0的源代码解压缩到d:\hadoop220_src。开始-->所有程序--> Microsoft Windows SDK v7.1-->Windows SDK 7.1 Command Prompt 在命令符中切换到d:\hadoop220_src，然后运行：mvn package - ...继续阅读 (12)

*实验环境：**************************************************************************************hadoop集群（virtualBox虚拟机，CentOS6.4）hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）hadoop5 192.168.100.175（hadoop slave、zookeeper、hbase HRegion）dataserver 192.168.100.141（Hive metastore、MySQL Server、Oracle）相关的安装文档：hadoop2.2.0测试环境搭建    Hbase0.96.0 +hadoop2.2.0安装   &n ...继续阅读 (18)

最近准备了一些数据，包括文本数据、数据库数据，有结构化的数据和非结构化的数据，开始逐步展开数据分析之旅途。当然，首先是大数据环境的搭建，下面略加介绍。1：软件版本hadoop2.2.0zooKeeper3.4.5 + HBase0.96.0hive0.11.0 + pig0.11.1 +mahout0.6sqoop1.4.4R + RstudioMySQL5.6.12oracle12ceclipse2：实验环境*********************************************************************************hadoop集群（virtualBox虚拟机，CentOS6.4）hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）hadoop5 192.168.100.17 ...继续阅读 (4)

软件版本：hadoop2.2.0（参见hadoop2.2.0测试环境搭建  ）hbase0.96 (参见Hbase0.96.0 +hadoop2.2.0安装）MySQL5.6.12（参见mysql5.6.12 for Linux安装)实验环境：hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）hadoop5 192.168.100.175（hadoop slave、zookeeper、hbase HRegion）dataserver 192.168.100.141（Hive metastore、MySQL Server、Oracle）1：Sqoop安装[root@dataserver lib]# vi /etc/profileexport HADOOP_COMMON_HOME=/app/hadoop/hadoop22 ...继续阅读 (16)

*实验环境：*********************************************************************************hadoop集群（virtualBox虚拟机，CentOS6.4）hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）hadoop5 192.168.100.175（hadoop slave、zookeeper、hbase HRegion）dataserver 192.168.100.141（Hive metastore、MySQL Server、Oracle）安装文档：hadoop2.2.0测试环境搭建****************************************************************************** ...继续阅读 (10)

原理：除了Java之外，最常见的访问HBase的方法是通过Thrift。Thrift是一种语言和一套生成代码的工具。Thrift是一种描 述对象和服务的界面定义语言（Interface Definition Language）。它提供了一种网络协议，使用这些对象和服务定义的进程之间基于这种网络协议彼此进行通信。Thrift根据你描述的界面定义语言生成 你喜欢的语言的代码。使用这种代码，你可以编写应用，通过Thrift提供的通用语言和其他应用系统进行通信。HBase随机预装了描述服 务层和对象集合的Thrift IDL。HBase也提供了实现接口的服务。本实验将生成Thrift客户端函数库，然后利用客户端函数库通过Python访问HBase，这种方式完全 脱离了Java和JVM。同样，可以通过其他语言使用同样的方式来访问HBase，如PHP，go。软件版本：hadoop2.2.0（参见hadoop2.2.0测试环境搭建）hbase0.96.0 (参见Hbase0.96.0 +hadoop2.2.0安装）实验环境：hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）h ...继续阅读 (23)

1：下载hadoop2部署文件和源代码，解压缩至/app/hadoop/hadoop220和/app/hadoop/hadoop220_src。然后建立一个放置jar包的文件夹/app/hdaoop2lib，将/app/hadoop/hadoop220/share/hadoop各项目（common、hdfs、mapreduce、yarn）下的JAR包以其lib目录下的JAR包都复制到/app/hdaoop2lib2：Eclipse设置及新增项目A：Windows->Prefernces->Java->Build Path->User Libraries->New...增加一个hadoop2lib用户库 B：Add External JARS..->将/app/hadoop2lib/目录中所有JAR文件加入 3：测试A：新增一个java project，其中Libraries->Add Library...->User Library->hadoop2libB：在源码增加hadoop2samples package和WordCount class，然后将hadoop2源码包中自带的WordCount源码（/app/hadoop/hadoop220_src/hadoop-mapreduce-project/had ...继续阅读 (6)

Eclipse版本：Kepler Service Release 1操作系统：Ubuntu13.04Hadoop：2.2.0自己编译，部署在CentOS6.4上HBase：0.96.0自己编译，部署在CentOS6.4上1：从HBase集群中复制一份Hbase部署文件，放置在开发端某一目录下（如在/app/hadoop/hbase096目录下）。2：在eclipse里新建一个java项目HBase，然后选择项目属性，在Libraries->Add External JARs...,然后选择/app/hadoop/hbase096/lib下相关的JAR包，如果只是测试用的话，就简单一点，将所有的JAR选上。  3：在项目HBase下增加一个文件夹conf，将Hbase集群的配置文件hbase-site.xml复制到该目录，然后选择项目属性在Libraries->Add Class Folder，将刚刚增加的conf目录选上。   4：在HBase项目中增加一个chapter12的package，然后增加一个HBaseTestCase的class，然后将陆嘉恒老师的《Hadoop实战第2版》12章的代码复制进去，做适当的修改，代码如下：package chapter12;import java.io.IOException; ...继续阅读 (7)

        HBase部署的时候，lib下的Hadoop jar包要和集群的jar包一致，不然可能会产生各种错误。笔者部署的是Hadoop2.2.0集群，所支持的HBase0.96.0安装包并没有带Hadoop2.2.0的jar 包，虽然可以通过在Hadoop2.2.0的安装目录中找到相应的2.2.0版本jar包进行替换，但还是比较麻烦，不过可以通过编译HBase源码可以获取支持Hadoop2.2.0的Hbase安装包。        HBase0.96.0不能同时对hadoop1版和hadoop2版进行编译，必须分开编译，编译之前需要使用 dev-support/generate-hadoopX-poms.sh为相应的版本生成pom文件，然后再进行编译。下面为HBase0.96.0 for Hadoop2.2.0的编译过程：1：下载HBase源代码，并解压缩，然后赋予读写权限[root@hadoop1 hadoop]# tar zxf hbase-0.96.0-src.tar.gz[root@hadoop1 hadoop]# mv hbase-0.96.0 /app/hbase096_src[root@hadoop1 hadoop]# c ...继续阅读 (22)

安装重点：A：使用虚拟机如果时区没设置好，容易不一致，所以最好校对一下时间B：每个RegionServer需要打开region*ColumnFamily*StoreFiles个文件数，所以需要系统打开一定数量的文件，而Linux系统对已一个进程课打开的文件最大个数是有限制，默认的是1024个，所以需要到调高运行Hbase的用户的允许打开文件最大个数C：虽然Hbase已经带有了hadoop的jar包，但只是在单机模式下使用；如果在分布式模式下，hbase的jar包要和hadoop集群的jar包一致 ，所以可能存在一个hadoop的jar包替换过程。规划：A：hadoop 集群（NN：hadoop1，Datanode：hadoop3、hadoop4、hadoop5）采用自己编译的安装包，安装过程见本人博客hadoop2.2.0源码编译(CentOS6.4)B：zookeeper集群（hadoop1、hadoop2、hadoop3、hadoop4、hadoop5）安装过程见本人博客zookeeper3.4.5安装笔记C：Hbase集群（Master：hadoop1，regionserver：hadoop2、hadoop3、hadoop4、hadoop5） 1：所有节点环境变量设置[root@hadoop1 ~]# ntpdate ntp.ubuntu.com[root@hado ...继续阅读 (11)

hbase在0.95之后，分别有了hadoop1和hadoop2版了。在配置hbase的配置文件的时候，由于二进制的发布版所带的配置文件是空白的，给用户带来了配置的不便；事实上，在hbase的源码包中带有缺省的配置文件，如本人使用的hbase-0.96.0-src.tar.gz解压后在hbase-0.96.0/hbase-common/src/main/resources可以找到缺省的配置文件hbase-default.xml：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements.  See the NOTICE file * distributed with this work for additional information * regarding copyright ownership.  The ASF licenses this file * to ...继续阅读 (6)

        测试是在完成hadoop2.2.0源码编译(ubuntu)之后做的，其实在eclipse里编译和在ubuntu编译原理是一样的，只不过一个是图形界面，一个是命令行而已。1：SVN源码A：设置SVN源B：checkout在SVN Repository Exploring中找到branch-2.2.0 1530132后checkout2：设置编译环境切换到java perspective，选中checkout的项目，Run->Run Configurations->Maven Build->New增加一个如下的设置，其中Goals中的 -X 参数不需要设置，在本测试中为了现实debug信息才加上。 另外还要设置环境变量： 3：编译直接点Run Configurations中的Run按钮，设置正确的话，最终会出现如下信息：   ...继续阅读 (14)

        由于测试所用虚拟机都是使用CentOS6.4，所以在Ubuntu上成功编译hadoop2.2.0之后就开始在CentOS上编译，花了不少时间，总是有错，最后发现原来是Maven版本的问题。刚开始使用的是Maven3.1.0，与Maven3.0.x存在兼容性问题，所以老是出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。        由于所建CentOS虚拟机安装的软件包比较少，所以需要下载如下软件包并安装后才能编译：        Ant        Maven        ProtocolBuffer        findbugs        CMake&nbs ...继续阅读 (24)

1：安装计划hadoop1    192.168.100.171    (hadoop2.2.0 namenode)hadoop3    192.168.100.173    (hadoop2.2.0 datanode)hadoop4    192.168.100.174    (hadoop2.2.0 datanode)hadoop5    192.168.100.175    (hadoop2.2.0 datanode)hadoop2    192.168.100.172    (hive0.11.0 client)hadoop9    192.168.100.179    (MySQL server + hive metastore service)hadoop2.2.0的安装目录/app/hadoop/hadoop220hive 0.11.0的安装目录/app/hadoop/hive0112：安装和配置hadoo ...继续阅读 (15)

1：解压 官网zookeeper.apache.org下载安装包，然后解压缩到hadoop1的/app/hadoop/zookeeper345目录，目录属于hadoop:hadoop。计划安装在hadoop2.2.0集群的5台虚拟机上，用hadoop:hadoop身份安装，虚拟机的配置：hadoop1    192.168.100.171hadoop2    192.168.100.172hadoop3    192.168.100.173hadoop4    192.168.100.174hadoop5    192.168.100.175 2：配置 [root@hadoop1 conf]# su - hadoop [hadoop@hadoop1 ~]$ cd /app/hadoop/zookeeper345/conf [hadoop@hadoop1 conf]$ vi zoo.cfg dataDir=/app/hadoop/zookeeper345/data dataLogDir=/app/hadoop/zookeeper345/datalog server.1=hadoop1:2888:3 ...继续阅读 (7)

1：集群规划nosql1    192.168.100.131nosql2    192.168.100.132nosql3    192.168.100.1332：在ubutu客户端下载解压neo4j安装包，并上传到集群服务器mmicky@wyy:/app$ sudo tar zxf /home/mmicky/Soft/nosql/neo4j-enterprise-1.9.4-unix.tar.gzmmicky@wyy:/app$ sudo chown -R root:root neo4j-enterprise-1.9.4mmicky@wyy:/app$ sudo mv neo4j-enterprise-1.9.4 neo4j194mmicky@wyy:/app$ sudo scp -r neo4j194 root@192.168.100.131:/app/mmicky@wyy:/app$ sudo scp -r neo4j194 root@192.168.100.132:/app/mmicky@wyy:/app$ sudo scp -r neo4j194 root@192.168.100.133:/app/3：打开节点终端，编辑相关的配置文件注意：Neo4j对打开文件数至少是40000，所 ...继续阅读 (21)

1：上官网http://www.r-project.org/2：确定要下载的CRAN mirrors，如选择第一个mirrors（http://cran.rstudio.com/）3：用编辑器编辑资源包/etc/apt/sources.list，增加下列中的某一行，其中<my.favorite.cran.mirror>用第二步选中的镜像地址代替deb http://<my.favorite.cran.mirror>/bin/linux/ubuntu saucy/deb http://<my.favorite.cran.mirror>/bin/linux/ubuntu raring/deb http://<my.favorite.cran.mirror>/bin/linux/ubuntu quantal/deb http://<my.favorite.cran.mirror>/bin/linux/ubuntu precise/deb http://<my.favorite.cran.mirror>/bin/linux/ubuntu lucid/4：打开终端，开始安装R语言mmicky@wyy:~$ sudo apt-get updatemmicky@wyy:~$ sudo apt-get install r-ba ...继续阅读 (22)

namevaluedescriptionhadoop.common.configuration.version0.23.0version of this configuration filehadoop.tmp.dir/tmp/hadoop-${user.name}A base for other temporary directories.io.native.lib.availabletrueShould native hadoop libraries, if present, be used.hadoop.http.filter.initializersorg.apache.hadoop.http.lib.StaticUserWebFilterA comma separated list of class names. Each class in the list must extend org.apache.hadoop.http.FilterInitializer. The corresponding Filter will be initialized. Then, the Filter will be applied to all user facing jsp and servlet web pages. The ordering of the list defin ...继续阅读 (2)

使用ubuntu的时候忘记了root密码该如何重置？我使用的是ubuntu13.04。1：刚开机的时候按住shift键进入grub。2：选择Advance option for ubuntu，按e，注意不是回车。3：直接按Ctrl+x进入后选择最新版本的恢复模式选项，如Ubuntu，Linux 3.8.0-31-generic(恢复模式)。4：系统进入recovery Menu，选择root Drop to root shell prompt，然后回车，进入命令行。5：使用passwd root修改密码。修改root密码的时候可能会提示：Authentication token Manipulation error，这时候键入以下命令：mount -rw -o remount /，然后再修改一次密码。 ...继续阅读 (9)

1：首先启动配置服务器，然后启动mongos ?2：启动shard server  3：配置sharding 4：数据添加测试，先添加少量数据，数据是先添加到某一片上；但大量的数据后，数据就开始放置到其他片上，具体的数据分布以后再测试。   5：将数据添加到开启了分片功能数据库的新collection中，由于没有配置该collection的分片功能，所以不会分片。分片需要配置到collection。 6：查看分片情况  ...继续阅读 (14)