在本系列博客中，为了解析一些概念、解析一些架构、代码测试，搭建了一个实验平台，如下图所示：本实验平台是在一台物理机上搭建的，物理机的配置是16G内存，4核8线程CPU。平台的环境配置如下：机器名配置角色软件安装hadoop12G内存，双核hadoop：NN/DN Spark：Master/worker/app/hadoop/hadoop220/app/hadoop/spark100/app/scala2104/usr/java/jdk1.7.0_21hadoop22G内存，双核hadoop：DN Spark：worker/app/hadoop/hadoop220/app/hadoop/spark100/app/scala2104/usr/java/jdk1.7.0_21hadoop32G内存，双核hadoop：DN Spark：worker/app/hadoop/hadoop220/app/hadoop/spark100/app/scala2104/usr/java/jdk1.7.0_21wyy16G内存，四核client/app/hadoop/hadoop220以上hadoop和spark安装目录的用户属性都是hadoop（组别为hadoop），其他的安装目录的用户属性是root:root。实验平台搭建顺序1：虚拟集群的搭建A：hadoop2.2.0集群搭建参见博客hadoop2 ...继续阅读 (40)

在本系列博客中，为了解析一些概念、解析一些架构、代码测试，搭建了一个实验平台，如下图所示：       本实验平台是在一台物理机上搭建的，物理机的配置是16G内存，4核8线程CPU。平台的环境配置如下： 机器名 配置 角色 软件安装 hadoop1 2G内存，双核 hadoop：NN/DN Spark：Master/worker  /app/h ...继续阅读 (5)

1：Spark1.0.0属性配置方式Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，appname使用setAppName；也可以使用set()方法对属性进行键-值对配置，如set("spark.executor.memory", "1g") 。命令行参数方式这种方式是在使用spark-submit或spark-shell提交应用程序的时候，用命令行参数提交；这种方式可以比较灵活的配置各个应用程序的运行环境；可以通过spark-submit --help 或 spark-shell –help显示出属性的完整列表。文件配置方式该方式是将属性配置项以键值对方式写入文本文件中，一个配置项占一行；该文件默认为conf/spark-defaults.conf，spark-submit在提交应用程序的时候会检查是否存在该文件，有的话就将相关的属性配置载入；该文件可以在 spark-submit的命令参数--properties-file定义不同的位置。优先权SparkConf方式 > 命令行参数方式 ...继续阅读 (49)

1：Spark1.0.0属性配置方式       Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。       在Spark1.0.0提供了3种方式的属性配置： SparkConf方式 SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster， ...继续阅读 (3)

Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数据进行甄别并转化为有用的信息，以供人们更好的理解世界。Spark生态圈已经涉及到机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。随着spark的日趋完善，Spark以其优异的性能正逐渐成为下一个业界和学术界的开源大数据处理平台。随着Spark1.0.0的发布和Spark生态圈的不断扩大，可以预见在今后的一段时间内，Spark将越来越火热。下面我们来看看最近的Spark1.0.0生态圈，也就是BDAS（伯克利数据分析栈），对Spark生态圈做一简单的介绍。如下图所示，Spark生态圈以Spark为核心引擎，以HDFS、S3、Techyon为持久层读写原生数据，以Mesos、YARN和自身携带的Standalone作为资源管理器调度job，来完成spark应用程序的计算；而这些spark应用程序可以来源于不同的组件，如Spark的批处理应用、SparkStreaming ...继续阅读 (31)

Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数 ...继续阅读 (6)

Spark1.0.0 release于2014-05-30日正式发布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0增加了Spark SQL这一个新的重要组件，用于加载和操作Spark的结构化数据；Spark1.0.0增强了现有的标准库（ML，streaming，GraphX），同时还增强了Java和Python语言的支持；最后，Spark1.0.0在运维上做了很大的改进，包括支持Hadoop/YARN安全机制、使用统一应用提交工具spark-submit、UI监控的增强等等。下面让我们看看Spark1.0.0的一些新特性：1：内核方面A：新增的组件Spark SQLSpark1.0.0引入了Spark SQL作为一个新的alpha项目。Spark SQL提供了装载和操作结构化数据，这些结构化数据可以来自外部结构化数据源，如hive、Parquet File，也可以来自结构化的RDD。Spark SQL的API可以和RDD数据模型进行互操作，使用户可以交错使用Spark代码与SQL语句。Spark SQL使用Catalyst优化器来选择一个高效的执行计划，并能自动将断言保存到类似Parquet之类的存储格式中。在未来的版本中，Spark SQL也将提供一个通用的API，以支持其他 ...继续阅读 (24)

Spark1.0.0 release于2014-05-30日正式发布，标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0增加了Spark SQL这一个新的重要组件，用于加载和操作Spark的结构化数据；Spark1.0.0增强了现有的标准库（ML，streaming，GraphX??），同时还增强了Java和Python语言的 ...继续阅读 (2)

2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布，虽然还有不少bug，还是很令人振奋。作为一个骨灰级的老IT，经过很成一段时间的消沉，再次被点燃激情，决定近几年内投入Spark的队伍，去见证Spark的不断强大。在最初的阶段，将作为Spark的布道者，宣传和介绍Spark，最终将选择某一个方向，深入研究和编写代码。随着国家对软件安全的重视，，看看这几天股市中软件股的表现，可以预见，在今后很长一段时间内，开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark，由于其一体化的解决方案、高效的代码编写速度、高速的计算能力，将不断在大数据阵营中脱颖而出。为了方便更多新手投入Spark队伍，笔者将自己的学习经验整理了一下，陆陆续续地以博客形式发布出来，计划60篇左右，尽量在8月底完成，同时也是自己对所学的内容加以沉淀。在本系列博客中，所使用的软件有：Spark 1.0.0官方下载地址：http://spark.apache.org/downloads.html其中Spark1.0.0 for hadoop2的直接下载地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz源代码的直接下载地址：http://d3kbcqa49mib13.cloudfront.net/s ...继续阅读 (39)

正如人类社会的发展，计算机的计算开始了一场计算框架蜕变的运动，由“高富大”走向了“屌丝”计算的演变过程，而hadoop在这演变的过程中充当了急先锋的角色。从接触hadoop2.x开始，已经有很长一段时间，总结一下自己的学习路线：1：原理篇HDFS原理（计划中）MapReduce原理（计划中）YARN原理（计划中）2：运维hadoop2.2.0测试环境搭建Hadoop2.2.0生产环境模拟 hadoop2.2.0源码编译(ubuntu) hadoop2.2.0源码编译(CentOS6.4)  hadoop2.2.0源码编译(eclipse)hadoop的优化之CentOS篇（计划中）hadoop优化之HDFS篇（计划中）hadoop优化之MapReduce篇（计划中）hadoop优化之YARN篇（计划中）3：HDFS在HDFS方面，hadoop2.x比hadoop1.x有了很大的进展，主要是解决了1.x的单点故障和NN的负载，解决方案就是HA和Federation。HDFS HA系列实验之一：基础环境搭建 HDFS HA系列实验之二：HA+JournalNode+zookeeper  HDFS HA系列实验之三：HA+NFS+zookeeperHDFS HA系列实验之四：HA+FederationHDFS HA系列实验之五： ...继续阅读 (27)

        讲到Spark，我们要先讲将大数据，因为Spark是一个处理大数据的平台。那什么是大数据呢？大数据也称为海量数据，通常都是指TG级、PB级的数据，但是随着时间的流逝和验证，一些人们对大数据也发生了观念上的转变，而是把对企业有价值的数据称为大数据，它不一定大，但要有价值。        近二十年来，随着计算机技术和互联网技术的高速发展，计算机在记录着人类的日常活动，如手机通讯、网站访问、微博留言、视频上传、商品买卖、物流运送。。。，无处不在的社会活动和商业活动正在源源不断地产生着各种各样的数据，而这些数据正以不可思议的速度积累着，从GB级向着TB级、PB级发展。        面对如此海量的数据，一方面是这些信息如同巨大的宝藏等待人们去挖掘，如果能善以利用，这些数据将引导现在社会的科研和商业活动，进入一个黄金时代；另一方面，这些数据的迅猛发展，挑战着包括数据中心基础设施和数据分析基础架构在内的数据处理的各个环节。幸运的是，近几年云计算技术的发展和各种计算框架的出现，使得分析和掌握大数据中蕴藏的无尽信息、知识、智慧成为可能。        下面我们看看两个 ...继续阅读 (7)

      之所以写本篇是因为后面很多博客需要例程来解析或说明。本篇是Spark1.0.0 开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：如何安装scala开发插件如何创建项目和配置项目属性如何编写源代码如何将生成的程序包      至于如何运行程序包，请参见应用程序部署工具spark-submit 。      注意，客户端和虚拟集群中hadoop、spark、scala的安装目录是一致的，这样开发的spark应用程序的时候不需要打包spark开发包和scala的库文件，减少不必要的网络IO和磁盘IO。当然也可以不一样，不过在使用部署工具spark-submit的时候需要参数指明classpath。1：IDEA的安装      官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户可以选择合适的版本使用。根据安装指导安装IDEA后，需要安装scala插件，有两种途径可以安装scala插件：启动IDEA -> Welcome to IntelliJ IDEA -> Configure&n ...继续阅读 (10)

      随着Spark的应用越来越广泛，对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现，这个问题得到了逐步改善。从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。1：使用说明      进入$SPARK_HOME目录，输入bin/spark-submit --help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$ bin/spark-submit --helpUsage: spark-submit [options] <app jar | python file> [app options]Options:  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.  --deploy-mode DEPLOY_MODE   driver运行之处，client运行在本机，cluster运行在集群  ...继续阅读 (12)

Spark Application在遇到action算子时，SparkContext会生成Job，并将构成DAG图将给DAG Scheduler解析成Stage。Stage有两种：ShuffleMapStage 这种Stage是以Shuffle为输出边界其输入边界可以是从外部获取数据，也可以是另一个ShuffleMapStage的输出其输出可以是另一个Stage的开始ShuffleMapStage的最后Task就是ShuffleMapTask在一个Job里可能有该类型的Stage，也可以能没有该类型Stage。ResultStage 这种Stage是直接输出结果其输入边界可以是从外部获取数据，也可以是另一个ShuffleMapStage的输出ResultStage的最后Task就是ResultTask在一个Job里必定有该类型Stage。一个Job含有一个或多个Stage，但至少含有一个ResultStage。相关信息可以参看源码：org.apache.spark.scheduler 中Stage.class/** * Each Stage can either be a shuffle map stage, in which case its tasks' results are input for * another stage, or a result ...继续阅读 (25)

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：基于文件系统的单点恢复基于zookeeper的Standby Masters本文中的测试是在Spark1.0.0 Standalone 模式部署上进行。1：基于文件系统的单点恢复主要用于开发或测试环境下。当spark提供目录保存spark Application和worker的注册信息，并将他们的恢复状态写入该目录中，这时，一旦Master发生故障，就可以通过重新启动Master进程（sbin/start-master.sh），恢复已运行的spark Application和worker的注册信息。基于文件系统的单点恢复，主要是在spark-env里对SPARK_DAEMON_JAVA_OPTS设置： 参数 含义 spark.deploy.recoveryMode 设成FILESYSTEM ， 缺省值为NONE spark.deploy.recoveryDirectory  Spark 保存恢复状态的目录如果想从另外一台机器上恢复（比如原有的Master机器物理损害的情况下），可以考虑 ...继续阅读 (18)

      Spark公开了pyhton的编程模型-PySpark，开发者通过PySpark可以很容易开发Spark application。      但是Python API和Scala API略有不同：Python是动态语言，RDD可以持有不同类型的对象PySpark目前并没有支持全部的API，但核心部分已经全部支持      在PySpark里，RDD支持scala一样的方法，只不过这些方法是Python函数来实现的，返回的也是Python的集合类型；对于RDD方法中使用的短函数可以使用Python的lambda语法实现。      不过python开发Spark Application拥有很多优势：不需要编译，使用方便可以与许多系统集成，特别是NoSQL大部分都提供了python开发包1：开发环境      笔者的Spark开发环境参见Spark1.0.0 开发环境快速搭建，另外在操作系统安装的时候已经默认安装了python：虚拟集群中各节点安装的CentOS6.4，所带Python版本是Python2.6.6客户机安转的是Ubuntu14.0.4，所带的Python版本是Python2.7.6Spark1.0.0的Pyth ...继续阅读 (5)

      Scala作为Spark的原生语言，在开发上Spark应用程序上最大的优势是支持所有的功能、容易追踪bug等。试过几种开发工具，笔者还是觉得IntelliJ IDEA开发Scala程序比较方便，当然开发Spark 应用程序也一样。      笔者的Spark开发环境参见Spark1.0.0 开发环境快速搭建，本篇是对Spark1.0.0 多语言编程的需求进行scala实现。      至于在IntelliJ IDEA内如何创建scala项目，详见使用IntelliJ IDEA开发Spark1.0.0应用程序。在本篇中建立一个名为week6的项目，并含有一个week6的包，这里贴上class的代码。1：sogou日志数据分析scala实现A：用户在00:00:00到12:00:00之间的查询数package week6 import org.apache.spark.{SparkContext, SparkConf} object SogouA { def main(args: Array[String]) { if (args.length == 0) { System.err.println("Usage: SogouA <file1 ...继续阅读 (14)

      了解了spark编程的基本概念，可以看出spark编程都是围绕着RDD进行的。关于编程的基础知识，可以参看Spark1.0.0 编程模型。      spark目前支持scala、python、JAVA编程。      作为spark的原生语言，scala是开发spark应用程序的首选，其优雅简洁的函数式代码，令开发过mapreduce代码的码农感觉象是上了天堂。      spark也提供了python的编程模型PySpark，使得python可以作为spark开发语言之一。尽管现在PySpark还不能支持所有的spark API，但是我们相信以后的支持度会越来越高；同时作为NOSQL的主力开发工具之一的python，一旦将NOSQL和spark结合后，我们可以想象以后的发展前景。      至于JAVA，时间和精力允许的情况下再选吧。不过作为长期坐着写代码的码农，应该积极参加登山、会友之类的活动，为身体着想，还是不要选JAVA来编写spark程序了。      废话了一堆，还是进行spark的编程实践。1：开发环境参见Spark1.0.0Spark ...继续阅读 (6)

在spark中最容易混淆的是各种内存关系。本篇讲述一下SPARK_WORKER_MEMORY和SPARK_MEM。SPARK_WORKER_MEMORY是计算节点worker所能支配的内存，各个节点可以根据实际物理内存的大小，通过配置conf/spark-env.sh来分配内存给该节点的worker进程使用。在spark standalone集群中，如果各节点的物理配置不一样，conf/spark-env.sh中的配置也可以不一样。习惯上，为了维护方便，我们修改了master的配置，然后就scp到各个节点上，生产上，我们还是应该根据各个节点的实际情况来配置。比如：Spark1.0.0 Standalone模式部署中可以分别修改各节点的SPARK_WORKER_MEMORY参数：hadoop2为700mhadoop3为800mhadoop4为900mhadoop5为1000mSPARK_MEM是SparkContext提交给worker运行的executor进程所需要的内存，如果worker本身能支配的内存小于这个内存，那么在该worker上就不会分配到executor。Spark Application在SparkContext里中没有配置内存需求的情况下，如果设置了环境变量SPARK_MEM，Spark Application则取设置的数值，不然取缺省值 ...继续阅读 (94)

Spark1.1.0的源码编译和部署包生成，其本质只有两种：Maven和SBT，只不过针对不同场景而已：Maven编译SBT编译IntelliJ IDEA编译（可以采用Maven或SBT插件编译），适用于开发人员部署包生成（内嵌Maven编译），适用于维护人员编译的目的是生成指定环境下运行Spark本身或Spark Application的JAR包。缺省编译所支持的hadoop环境是hadoop1.0.4。Spark1.1.0的编译对几种编译方法（Maven、SBT、make-distribution.sh）进行了配置项的统一，都可以使用Maven的profile配置项；另外，对于需要额外版权的集成组件也提供了Maven配置项，如spark-ganglia-lgpl、kinesis-asl，方便了用户的编译。在本例中，笔者使用的环境是hadoop2.2.0，支持hive，并和ganglia、kinesis-asl集成。1：获取Spark1.1.0 源码官网下载地址http://spark.apache.org/downloads.html2：SBT编译将源代码复制到指定目录，然后进入该目录，运行：sbt/sbt assembly -Pyarn -Phadoop-2.2 -Pspark-ganglia-lgpl -Pkinesis-asl -Phive 3：Maven编译事 ...继续阅读 (35)

Hadoop可以通过dfs.replication来设置block可以再上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=1 -put 70M logs/2可以通过命令来更改已经上传的文件的副本数：hadoop fs -setrep -R 3 /的复制数量。关于dfs.replication有以下几个特点：修改了dfs.replication，对已经上传了的文件也不会起作用dfs.replication这个参数是个client参数 ...继续阅读 (18)

1：背景      缺省情况下，hadoop的replication为3，3个副本的存放策略为：第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机选择）。 第三个副本放置在与第二个副本所在节点同一机架的另一个节点上。如果还有更多的副本就随机放在集群的datanode里。存放策略示意图       这样的策略可以保证对该block所属文件的访问能够优先在本rack下找到，如果整个rack发生了异常，也可以在另外的rack上找到该block的副本。这样足够的高效，并且同时做到了数据的容错。      但是，hadoop对机架的感知并非是真正智能感知的，而是需要人为的告知hadoop哪台机器属于哪个rack，这样在hadoop的namenode启动初始化时，会将这些机器与rack的对应信息保存在内存中，作为写块操作时分配datanode列表时选择datanode的依据。2：实验环境  3：配置要启用机架感知，首先要配置core-site.xml<property>  <name>to ...继续阅读 (13)

本篇是对Spark1.0.0 运行架构基本概念进行实例解析，加深对Spark的运行结构基本概念的理解。1：实验配置虚拟机cdh1（4G内存，1CPU*2CORE）虚拟机cdh2（4G内存，1CPU*2CORE）虚拟机cdh3（4G内存，1CPU*2CORE）spark配置：conf/spark-env.shexport SPARK_MASTER_IP=cdh1 export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=2 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_MEMORY=1200m export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}conf/slavescdh2 cdh32：启动spark在这里spark作为一个资源管理器的存在，类似YARN、Mesos的角色，为Spark Application提供资源。在本配置里，这个standalone spark所拥有的资源是：2个Worker Node，每个Worker Node提供2Core、2个INSTANCE（也就是启动2个worker 实例）、1.2G内存。所以总的资源是：4个Worker，8个Core，4.8G内存。可以通过 ...继续阅读 (13)

Spark Application的运行架构由两部分组成：driver program（SparkContext）和executor。Spark Application一般都是在集群中运行，比如Spark Standalone、YARN、mesos，这些集群给Spark Applicaiton提供了计算资源和这些资源管理，这些资源既可以给executor运行，也可以给driver program 运行。根据Spark Application的driver program是否在资源集群中运行，Spark Application的运行方式又可以分为Cluster模式和Client模式。Spark1.0.0提供了一个Spark Appliaction的部署工具bin/spark-sumbit，具体用法参见Spark1.0.0 应用程序部署工具spark-submit。下面介绍一下Spark1.0.0 运行架构中的基本概念、Standalone中运行过程、YARN中运行过程。1：基本术语Application： 基于Spark的用户程序，包含了一个driver program 和 集群中多个的executorDriver Program ：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Pr ...继续阅读 (23)

1：关于读取本地文件使用spark-shell连接Spark集群，然后在运行应用程序中读取本地文件时，会经常碰上文件不存在的错误。主要原因是由于：spark-shell作为应用程序，是将提交作业给spark集群，然后spark集群分配到具体的worker来处理，worker在处理作业的时候会读取本地文件。这时候冲突就发生了，运行spark-shell的机器可能和运行worker的机器不是同一台，而文件是放在运行spark-shell的机器上，运行worker的机器上没有，就出现了上面的错误。解决方法：将文件复制到所有节点相同的目录上，或者将文件复制到worker相同的目录上（这个有点难度，要先看日志来判断，）。2：关于Core数量的设置缺省的情况下，spark-shell会使用spark集群中的所有剩余的Core，但可以通过设置 -c 参数来指定使用的Core数量。这样就可以将多个spark-shell连接到spark集群上了。 ...继续阅读 (7)

实验代码下载1：创建日志格式处理类KPIpackage hadoop2.logs;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import java.util.HashSet;import java.util.Locale;import java.util.Set;/** KPI Object*/public class KPI {private String remote_addr;// 记录客户端的ip地址private String remote_user;// 记录客户端用户名称,忽略属性"-"private String time_local;// 记录访问时间与时区private String request;// 记录请求的url与http协议private String status;// 记录请求状态；成功是200private String body_bytes_sent;// 记录发送给客户端文件主体内容大小private String http_referer;// 用来记录从那个页面链接访问过来的private String http_user_agent;// 记录客户浏览器的相关信息private boolean vali ...继续阅读 (5)

1：关于Reduce的输入输出类型在自定义的reduce中，输入的键值对要求与map中的输出键值对相对应。原因很好理解，reduce方法是对map方法的输出结果进行再次处理。对于reduce的输出，则可能根据需要产生一个新的输入输出类型。一个有趣的例子是hadoop2.0的hadoop-mapreduce-examples中的grep，通过InverseMapper将键值对 <K,V> 转换成 <V,K> 。 ...继续阅读 (6)

日志数据文件http://pan.baidu.com/s/1i3E7Zk5格式如下:175.44.30.93 - - [29/Sep/2013:00:10:16 +0800] "GET /structure/heap/ HTTP/1.1" 200 22539 "-" "Mozilla/4.0(compatible; MSIE 6.0; Windows NT 5.1; SV1;)"175.44.19.36 - - [29/Sep/2013:00:10:18 +0800] "GET /mapreduce-nextgen/client-codes HTTP/1.1" 301 422 "http://dongxicheng.org/mapreduce-nextgen/client-codes/" "Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.1;上面给出了两条访问日志，每条占一行，每一行有多个字段，字段之间用空格分隔，以第一行为例：“175.44.30.93”为访问机器的 IP，“[29/Sep/2013:00:10:16 +0800]”是访问时间，"GET /structure/heap/ HTTP/1.1"中“/structure/heap/”是访问的网站子目录，即访问的页面为“http://dongxicheng.org/struct ...继续阅读 (12)

1：杀毒软件linux上的杀毒软件越来越不好找了，之前很多出名的杀毒软件投奔了windows阵营，真是悲剧。好不容易找到一款科摩多杀毒软件。http://www.comodo.com/home/download/download.php?prod=antivirus-for-linux 2：虚拟机软件用过vmware和virtualbox，个人感觉在linux上还是virtualbox好使一些https://www.virtualbox.org/wiki/Downloads 3：终端软件windows下最常用的是SecureCRT、putty之类的，在linux下PAC也是一个非常不错的软件。http://sourceforge.net/projects/pacmanager/ 4：作图软件yEd是个挺不错的做图软件http://www.yworks.com/en/products_yed_about.html#download  ...继续阅读 (16)

NN是HDFS的核心，一旦破坏，hadoop整个系统将瘫痪。hadoop2.2.0提供了NN HA，提高了NN的可用性。但如果发生了NN故障转移，那么需要处理故障点。本实验主要是针对NN故障转移的几种情况的处理：实验一：原Active NN意外挂机或JVM溢出等原因造成，但原Active NN文件系统完好实验二：原Active NN元数据损坏或重新部署新的NN本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的hadoop配置文件下载（HA+JN+ZK+proxy）：根据上面相关资料重新配置HA+JournalNode+zookeeper环境，并格式化后启动，然后使用物理机192.168.100.111(机器名wyy)作为客户端来访问集群。[hadoop@product202 ~]$ /app/hadoop/zookeeper345/bin/zkServer.sh start[hadoop@product202 ~]$ /app/hadoop/hadoop220/sbin/hadoop-daemon.sh start journalnode[hadoop@product203 ~]$ /app/hadoop/zookeeper345/bin/zkServer.sh start[hadoop@product203 ~]$ /ap ...继续阅读 (23)