时隔两年，Apache Hadoop终于又有大改版，Apache基金会近日发布了Hadoop 2.8版，一次新增了2,919项更新功能或新特色。不过，Hadoop官网建议，2.8.0仍有少数功能在测试，要等到释出2.8.1或是2.8.2版才适合用于正式环境。在2.8.0版众多更新，主要分布于4大套件分别是：共用套件（Common）底层分散式档案系统HDFS套件(HDFS)MapReduce运算套件(MapReduce)YARN分析框架(YARN)例如，共用套件中，可无上限存取S3档案的Hadoop内建S3A机制，可直接外挂上任何AWS验证的资料来源，也可用hadoop验证API直接取得S3A验证，取代透过XML配置档来设定的方式，还能支持Amazon STS临时验证。另外，新版也开始支持直接存取 Azure Data Lake 文件系统。这两项功能都有助于简化Hadoop从大型云端储存服务中取得大量分析资料。除此之外，DFS分布式文件系统，支持异步调用重试（Async Call Retry）和容错转移（Failover），来降低DFS文件系统重连的门槛。安全性方面，新版可透过Servlet过滤器，来防护XFS攻击（跨框架脚本攻击，Cross Frame Scripting）。构建方面，2.8则用Yetus取代了wrapper版本发布方式，还新增了Docker软体包的发布方式，更容易 ...继续阅读 (45)

RHEEM是一个可扩展且易于使用的跨平台大数据分析系统，它在现有的数据处理平台之上提供了一个抽象。它允许用户使用易于使用的编程接口轻松地编写数据分析任务，为开发者提供了不同的方式进行性能优化，编写好的程序可以在任意数据处理平台上允许，这其中包括：PostgreSQL, Spark, Hadoop MapReduce或者Flink等；Rheem将选择经典处理框架的最佳配置来运行这些程序。RHEEM抽象完全基于用户定义函数（UDF），允许用户专注于其应用程序逻辑而不是物理细节。这就使得数据工程师和软件开发人员可以不去了解不同数据处理系统的API、优缺点以及不同平台之前通信的复杂性等繁琐工作。从上面的特点可以看出，其目标和去年Google开源的Apache Beam很类似。直到目前，Rheem内置支持以下的数据处理平台：Java 8 StreamsApache SparkGraphChiPostgresSQLiterheem的体系结构如下：如何使用RheemRheem需要我们安装好Java8，然后根据自己的需求在pom.xml文件里面引入下面的依赖：org.qcri.rheemrheem-***0.2.1注意上面的 ***，因为Rheem包含了很多个模块，我们需要根据自己的需求选择不同的模块，主要模块介绍如下：rheem-core: 提供了核心数据结构和优化器，这个模块必须引入；rhee ...继续阅读 (19)

本文分享两种解决object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable)的方法。现在整理处理，分享给需要的兄弟们。在使用Spark操作Hbase的时候，其返回的数据类型是RDD[ImmutableBytesWritable,Result]，我们可能会对这个结果进行其他的操作，比如join等，但是因为org.apache.hadoop.hbase.io.ImmutableBytesWritable 和 org.apache.hadoop.hbase.client.Result 并没有实现 java.io.Serializable 接口，程序在运行的过程中可能发生以下的异常：Serialization stack:- object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, value: 30 30 30 30 30 30 32 34 32 30 32 37 37 32 31)- field (class: scala.Tuple2, name: _1, type: class java.lang.Object)- object (class scala.Tuple2, ( ...继续阅读 (51)

概览Structured Streaming 是一个可拓展，容错的，基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL上引擎上使用DataSet/DataFrame API处理流数据的聚集，事件窗口，和流与批次的连接操作等。最后Structured Streaming 系统快速，稳定，端到端的恰好一次保证，支持容错的处理。使用范例import org.apache.spark.sql.functions._import org.apache.spark.sql.SparkSessionval spark = SparkSession.builder.appName("StructuredNetworkWordCount").getOrCreate()import spark.implicits._val lines = spark.readStream.format("socket").option("host", "localhost").option("port", 9999).load()// Split the lines into wordsval words = lines.as[String].flatMap(_.split(" ...继续阅读 (41)

本文深入讲述了Hadoop Streaming的工作原理，以及如何使用Hadoop Streaming。同时列出了几个使用Hadoop Streaming的场景。Hadoop Streaming 是 Hadoop 提供的一个 MapReduce 编程工具，它允许用户使用任何可执行文件、脚本语言或其他编程语言来实现 Mapper 和 Reducer 作业。比如下面的例子mapred streaming \-input myInputDirs \-output myOutputDir \-mapper /bin/cat \-reducer /usr/bin/wcHadoop Streaming程序是如何工作的Hadoop Streaming 使用了 Unix 的标准输入输出作为 Hadoop 和其他编程语言的开发接口，因此在其他的编程语言所写的程序中，只需要将标准输入作为程序的输入，将标准输出作为程序的输出就可以了。在上面的示例中，mapper 和 reducer 都是能够从stdin逐行（line by line）读取输入的可执行文件，然后把处理完的结果发送到stdout。这个实用工具将会创建 一个 Map / Reduce 作业，并将作业提交到适当的集群，监控作业的运行进度直到作业运行完成。如果一个文件（可执行或者脚本）作为 mapper，mapper 初始化时，每一个 mappe ...继续阅读 (28)

本文分享通过修改操作系统的hosts文件实现访问google的方法，并且提供相应的IP地址(请通过文章末尾的下载按钮进行下载)。下面按照不同的操作系统来介绍：Windows用文本编辑器打开C:\Windows\System32\drivers\etc中的hosts文件，然后复制下载的hosts文件里面的全部内容到C:\Windows\System32\drivers\etc\hosts文件里。Android修改/system/etc/hosts文件，不过这个需要ROOT权限，而且需要重启手机。Linux修改/etc/hosts文件，然后复制下载的hosts文件里面的全部内容，并追加到/etc/hosts文件中。Mac OS X修改/etc/hosts文件，然后复制下载的hosts文件里面的全部内容，并追加到/etc/hosts文件中。iOS修改/etc/hosts文件。注意：这个需要设备已经越狱，没越狱设备不行。。。注意：通过该方法可以访问youtube网站，但是不可以观看视频。Google、Gmail、维基百科、Twitter、Facebook等必须请用https 加密方式打开。 ...继续阅读 (27)

本文主要讲述了美团公司如何对HDFS Federation进行改造以适合于自己公司的需求。现在整理出来分享给兄弟们，希望给兄弟们带来帮助。HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案，真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发，介绍了HDFS Federation在美团点评的实际应用经验。背景2015年10月，经过一段时间的优化与改进，美团点评HDFS集群稳定性和性能有显著提升，保证了业务数据存储量和计算量爆发式增长下的存储服务质量；然而，随着集群规模的发展，单组NameNode组成的集群也产生了新的瓶颈：•扩展性：NameNode内存使用和元数据量正相关，180GB堆内存配置下，元数据量红线约为7亿，而随着集群规模和业务的发展，即使经过小文件合并与数据压缩，仍然无法阻止元数据量逐渐接近红线；•可用性：随着元数据量越来越接近7亿，CMS GC频率也越来越高，期间也曾发生过一次在CMS GC过程中由于大文件getBlocklocation并发过高导致的promotion fail；•性能：随着业务的发展，集群规模接近2000台，NameNode响应的RPC QPS也在逐渐提高。越来越高并发的读写，与NameNode的粗粒度元数据锁，使NameNode RPC响应延迟和平均RPC ...继续阅读 (33)

本文主要讲述了如何使用Hadoop Streaming编写一个可以运行在Hadoop集群上的MapReduce程序。Hadoop Streaming 是 Hadoop 提供的一个 MapReduce 编程工具，它允许用户使用任何可执行文件、脚本语言或其他编程语言来实现 Mapper 和 Reducer，从而充分利用 Hadoop 并行计算框架的优势和能力，来处理大数据。而我们在官方文档或者是Hadoop权威指南看到的Hadoop Streaming例子都是使用 Ruby 或者 Python 编写的，官方说可以使用任何可执行文件的方式来编写Hadoop Streaming程序，那么我们一定可以使用JavaScript语言来编写Hadoop Streaming程序。为了构建Hadoop Streaming程序，我们需要分别编写 mapper 程序和 reducer程序，这两个程序分别都可以从标准输入读取用户数据，出来完只会会发送到标准输出。本文我们使用NodeJS来从标准输入输出读写数据，并使用它完成一个经典的WordCount程序，我们编写的 mapper 程序如下：#!/usr/bin/env node// 引入readline模块const readline = require('readline')// 创建readline接口实例const rl = readline.cre ...继续阅读 (37)

CalendarView是一个开源的Android日历视图控件，能够把月和星期整合起来一起显示数据。特性：1、自定义样式颜色和文字大小。2、可以将周六、周日或者周一设置为每周的第一天。3、Overflow mark below the day when the views don't fit可定制的属性：<com.sickmartian.calendarview.MonthViewxmlns:calendar_view="http://schemas.android.com/apk/res-auto"android:layout_below="@+id/control_container"calendar_view:textSize="12sp"calendar_view:activeTextColor="@color/colorPrimaryText"calendar_view:inactiveTextColor="@color/colorSecondaryText"calendar_view:activeBackgroundColor="@color/colorCalendarDayBackground"calendar_view:selectedBackgroundColor="@color/selectedDayBackground"calendar_view:ina ...继续阅读 (33)

在大数据领域，处理数据速度快是Spark的一大亮点，也称为很多公司选择的Spark的一个主要原因，但是每个事物都有双面性，本文列出Spark的优点和缺点，一共各位大牛在技术选型时做个参考。如果你要寻求一种处理海量数据的解决方案，就会有很多可选项。选择哪一种取决于具体的用例和要对数据进行何种操作，可以从很多种数据处理框架中进行遴选。例如Apache的Samza、Storm和Spark等等。本文将重点介绍Spark的功能，Spark不但非常适合用来对数据进行批处理，也非常适合对实时的流数据进行处理。Spark目前已经非常成熟，数据处理工具包可以对大体量数据集进行处理，不必担心底层架构。工具包可以进行数据采集、查询、处理，还可以进行机器学习，进而构建出分布式系统的数据抽象模型。处理速度也是Spark的亮点，MapReduce在处理过程中将数据放到内存中，而不放在磁盘上进行持久化，这种改进使得Spark的处理速度获得了提升。Spark提供了三种语言环境下的类库，即Scala、Java和Python语言。除了上述这些优点之外，Spark自身也存在一些问题。例如，部署过程过于复杂，可扩展性差。本文对此也会进行论述。Spark的功能架构模型上图显示了Spark所包含的不同功能模块。虽然这些模块的主要功能是处理流式数据，但还包括一些帮助执行各种数据操作的组件。Spark SQL：Spark自带SQ ...继续阅读 (34)

Apache Flink 1.2.0于2017年2月7日正式发布。其API和其他1.x.y版本使用@Public标注的API是兼容的。Apache Flink 1.2.0是1.x.y系列的第三个主要版本。本版本一共解决了650个issues。下面我们来看下Apache Flink 1.2.0的新特性。Dynamic Scaling / Key GroupsFlink streaming job 现在支持通过从带有不同并行度的保持点(savepoint)恢复来修改作业的并行度。整个作业的并行度和操作符(operator)的并行度的修改都是支持的。在StreamExecutionEnvironment中，用户可以通过设置被称为“max parallelism”的参数为每个作业进行参数配置，这个参数决定了并行度的上限。在默认情况下，这个参数值的设置规则如下：a、128：所有的并行度< = 128 b、MIN(nextPowerOfTwo(parallelism + (parallelism / 2)), 2^15)：所有的并行度 > 128下面内置函数和操作符支持rescaling：a、Window operatorb、Rolling/Bucketing sinkc、Kafka consumersd、Continuous File Processing sourcewrite ...继续阅读 (42)

2017年1月29日Apache CarbonData发布了1.0.0版本。CarbonData是一款由华为开发、开源并支持Apache Hadoop的列式存储文件格式，支持索引、压缩以及解编码等，其目的是为了实现同一份数据达到多种需求，而且能够实现更快的交互查询。目前该项目正处于Apache孵化过程中。下面我们来看下CarbonData 1.0.0版本的新特性：新的数据加载解决方案旧版本的CarbonData数据加载解决方案依赖了Kettle引擎，然而Kettle引擎并不是为大数据领域而设计的，而且代码的维护非常复杂。所以，在Apache CarbonData 1.0.0版本，引入了新的数据加载解决方案，并且不依赖Kettle！使得功能更加模块化，而且性能得到了提升。整合Spark 2.1整合最新的Spark 2.1，而且性能得到了很大的提升；现在我们可以直接在CarbonData中使用到这些新的功能。支持update/delete SQL我们可以直接使用标准的SQL语法来删除和更新Carbon表。不过这个功能目前仅仅在Spark 1.5/1.6可用，Spark 2.1的用户需要等待一下。int/bigint/decimal类型的数据支持自适应数据压缩来提高压缩比这个特性可以根据数据来选择数据类型，它还支持增量压缩技术来减少存储大小。支持为不同的列定义Date/Timestamp ...继续阅读 (33)

本文主要介绍如何在window7中使用eclipse开发hadoop项目。我们首先要做的工作是先搭建hadoop的伪分布或完全分布运行环境。关于hadoop的伪分布运行环境请参考：hadoop自学笔记1——hadoop2.6.5 ubuntu16.04单机和伪分布环境搭建教程。搭建hadoop开发环境需要用到如下的软件：jdk1.7(64位)，eclipse(LUNA)，hadoop-eclipse-plugin-2.6.5.jar，hadoop-common-2.2.0-bin-master.zip，hadoop-2.6.5。相关的软件我都上传到了百度云，大家可以在文章末尾找到相关的链接进行下载。1、设置hadoop jobTracker和HDFS端口。这两个端口是在hadoop伪分布运行环境的mapred-site.xml和core-site.xml文件中设置，如下图所示，在mapred-site.xml文件中添加mapred.job.tracker的属性，并把值设置为：hadoop-only:9000。其中hadoop-only是hadoop伪分布运行环境的主机名，9000是端口。在core-site.xml文件中设置HDFS端口，如下图所示：2、配置开发hadoop的eclipse插件。把下载后下来的hadoop-eclipse-plugin-2.6.5.jar文件拷贝到e ...继续阅读 (27)

Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业，成为Apache的顶级项目。从此hadoop生态系统又添加一新成员。Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery等之后，Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam的主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的SDK。Beam仅仅是一个SDK，是一个应用顶层的API，那么它下层支持的数据处理框架（官方叫做Apache Beam Pipeline Runners）主要包括Apache Apex，Apache Flink，Apache Spark以及它自己的Google Cloud Dataflow。Apache Beam 的两大特点1、将数据的批处理（batch）和流处理（stream）编程范式进行了统一；2、能够在任何的执行引擎上运行。它不仅为模型设计、更为执行一系列数据导向的工作流提供了统一的模型。这些工作流包括数据处理、吸收和整合。为什么会诞生Apache Beam大数据处理领域的一大问题是：开发者经常要用到很多不同的技术 ...继续阅读 (38)

Apache基金会在美国时间2017年1月17日正式对外发出通告： Hbase推出 1.3.0版。该版本大约解决了1700个issues，修复了大量bug，性能较于以往的版本有显著的提升。以下的新特性值得关注：Date-based tiered compactions (HBASE-15181, HBASE-15339)Maven archetypes for HBase client applications (HBASE-14877)Throughput controller for flushes (HBASE-14969)Controlled delay (CoDel) based RPC scheduler (HBASE-15136)Bulk loaded HFile replication (HBASE-13153)More improvements to Procedure V2Improvements to Multi WAL (HBASE-14457)Many improvements and optimizations in metrics subsystemReduced memory allocation in RPC layer (HBASE-15177)Region location lookups optimizations in HBase clie ...继续阅读 (53)

最近在使用ibatis2开发项目的时，通过select语句查询出来的日期格式会自动把后面的小时分钟秒给截断了，开始以为是程序的问题，经过查找，确定不是程序的问题。然后查找ibatis的源码，发现也不是源码的问题。后来经过一番查找，发现是jdbc jar包的问题，项目中使用的是class12.jar，换成ojdbc6.jar后，问题就解决了，不会把日期格式字段后面的小时分钟秒给截断了。本文后面提供ojdbc6.jar的下载。主要，在使用ojdbc6.jar时，必须把jdk换成1.6以上。 ...继续阅读 (46)

本教程主要实现了在ubuntu16.04上搭建hadoop2.6.5的单机和伪分布运行环境。搭建过程中用到的软件jdk1.7、hadoop2.6.5、ubuntu16.04都是64位的。1、安装ubuntu。这个网上很多教程，大家去搜下即可。一般是在win7中使用vmware创建一个虚拟机，然后在虚拟机中安装ubuntu。我用的是最新的ubuntu16.04 64位桌面版。下载地址为：https://www.ubuntu.com/download/desktop。提供一个在虚拟机中安装ubuntu的教程：http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html。在选择虚拟机内存的时候一定要选择2G的内存，否则在后面伪分布模式运行hadoop是会出现内存吃紧的情况。2、创建hadoop用户。安装好ubuntu后，就开始创建一个名为hadoop的用户，可以在安装ubuntu时安装，也可以安装ubuntu后安装。创建过程如下：sudo addgroup hadoop 创建hadoop组sudo adduser --ingroup hadoop hadoop在hadoop组中创建hadoop用户sudo usermod -aG adm hadoop将hadoop加入管理员组，在ubuntu16.04中adm是管理员组，之前 ...继续阅读 (66)

本书收集了6个在企业中使用hadoop生态系统解决大数据的案例。通过阅读本书，可以让你的hadoop技能上升一个级别，并且能够把hadoop的知识运用于解决企业大数据的实际问题、利用好企业大数据。本书是英文版。作者：Anurag Shrivastava。2016年9月出版。本书目录： ...继续阅读 (28)

《Hadoop权威指南》第三版PDF中文版下载，清华大学2015年1月1号出版，由华东师范大学数据科学与工程学院主持翻译。本书增加了很多hadoop2.X的新特性，包含MapReduceAPI，以及MapReduce2及其灵活性更强的执行模型（YARN）等。适用于Hadoop初学者、有一定工作经验的Hadoop开发者和管理员。本书目录：Chapert 1:初始HadoopChapert 2:关于MapReduceChapert 3:Hadoop分布式文件系统Chapert 4:Hadoop的I/O操作Chapert 5:MapReduce应用开发Chapert 6:MapReduce工作机制Chapert 7:MapReduce的类型与格式Chapert 8:MapReduce的特性Chapert 9:构建MapReduce集群Chapert 10:管理HadoopChapert 11:关于PigChapert 12:关于HiveChapert 13:关于Hbase  ...继续阅读 (26)

本文将概述即将发布的Apache Flink 1.2.0新功能。在Apache Flink 1.1+版本上，社区主要的集中点在操作性（Operations）、生态系统（Ecosystem）、更广泛的用户（Broader Audience）以及应用特性（Application Features）等方面的开发。各个模块的开发主要包括了如下的方向：而Flink 1.2版本对以下的方面进行了提升，其中动态扩展（Dynamic Scaling）和可查询状态（Queryable State）又是本版本的重中之重。动态扩展（Dynamic Scaling）和可查询状态（Queryable State）这个是Apache Flink 1.2.0版本的功能的重中之重，后面会重点介绍。安全以及身份认证（Security / Authentication）大数据框架的安全一直是一个比较头疼的问题，而在Apache Flink 1.2中，社区对Flink的安全以及身份认证做了比较多的工作，此特性的开发主要由美国信息存储资讯科技公司-易安信(EMC)贡献，主要包括：1、数据访问授权，主要基于Kerberos实现；2、Flink进程之间的通信数据进行加密，所有的通信（包括RPC, 数据交换, Web UI等等）都通过SSL进行连接；3、此外，本版本还防止了恶意用户侵入到Flink作业（hook into Fl ...继续阅读 (31)

前言 《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内存全景及几个关键数据结构进行了简单解读，并结合实际场景介绍了NameNode可能遇到的问题，还有业界进行横向扩展方面的多种可借鉴解决方案。事实上，对NameNode实施横向扩展前，会面临常驻内存随数据规模持续增长的情况，为此需要经历不断调整NameNode内存的堆空间大小的过程，期间会遇到几个问题：1、当前内存空间预期能够支撑多长时间。2、何时调整堆空间以应对数据规模增长。3、增加多大堆空间。4、另一方面NameNode堆空间又不能无止境增加，到达阈值后（与机型、JVM版本、GC策略等相关）同样会存在潜在问题：1、重启时间变长。2、潜在的FGC风险。由此可见，对NameNode内存使用情况的细粒度掌控，可以为优化内存使用或调整内存大小提供更好的决策支持。本文在前篇《HDFS NameNode内存全景》文章的基础上，针对前面的几个问题，进一步对NameNode核心数据结构的内存使用情况进行详细定量分析，并给出可供参考的内存预估模型。根据分析结果可有针对的优化集群存储资源使用模式，同时利用内存预估模型，可以提前对内存资源进行合理规划，为HDFS的发展提供数据参考依据。内存分析NetworkTopologyNameNode通过NetworkTopology维护整个集群的树状拓扑结构 ...继续阅读 (38)

一、概述从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，从更高层次掌握NameNode的内部结构和运行机制尤其重要。除特别说明外，本文基于社区版本Hadoop-2.4.1[1][2]，虽然2.4.1之后已经有多次版本迭代，但是基本原理相同。NameNode管理着整个HDFS文件系统的元数据。从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系；块管理层，负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap，如图1所示[1]。Namespace管理的元数据除内存常驻外，也会周期Flush到持久化设备上FsImage文件；BlocksMap元数据只在内存中存在；当NameNode发生重启，首先从持久化设备中读取FsImage构建Namespace，之后根据DataNode的汇报信息重新构造BlocksMap。这两部分数据结构是占据了NameNode大部分JVM Heap空间。图1 HDFS结构图除了对文件系统本身元数据的管理之外，NameNode还需要维护整个集群的机架及DataNode的信息、L ...继续阅读 (37)

1、登录用户界面后，要想切换到命令行，有两个方法：（1）点击左上角，然后搜索xterm，就可以打开命令行了。（2）在空白地方点击鼠标右键，在弹出的菜单中点击“打开终端(E)”即可。2、ubuntu在安装时是不指定root账号的密码，当你没设置密码时，密码是随机的。通过在安装时设置的用户登录后，打开终端，输入如下的命令：sudo passwd root 。然后会让你输入两次密码，这时root账号的密码已经设置完成，不在是随机的。3、使用ifconfig获取IP地址信息。4、当需要root账号时，在命令行输入su，然后输入root的密码，这时就可以在登录账号下使用root账号了。5、安装ubutun时要求设置一个账号，这个账号的用户ID是1000，用户组id是1000，这个就指定了每次登录桌面时都是使用这个账号。今天在刚开始使用，需要root，权限，但是这个账号又没有root权限，搜索了下，输入sudo gedit /etc/passwd后找到我在安装时设置的账号summer，把他们的用户ID和用户组ID都设置为0，使summer具有超级管理员的权限。但是带来的问题就是重启电脑后，无法使用summer登录桌面（登录界面不显示summer账号，不像windows系统那样可以输入登录账号）。解决方法如下：运行你的UBUNTU，刚以运行就按住shift按键不放，知道出现grub界面，然后选择 ...继续阅读 (45)

因为工作的原因，需要在ubuntu16.04上安装ssh软件，便于在windows7上使用putty连接远程的linux服务器。在使用sudo apt-get install openssh-server命令安装ssh是出现如下的错误：E:软件包openssh-server还没有可供安装的候选者。这是因为我安装的是ubuntu16.04 LTS操作系统，这个操作系统没有包含有openssh server软件。解决方法是先下载openssh server软件，然后进行安装。下载软件的命令为：sudo apt-get update。下载完毕后使用sudo apt-get install openssh-server安装。使用sudo /etc/init.d/ssh start命令开启ssh服务。然后就可以在windows7上使用putty连接ubuntu了。 ...继续阅读 (57)

spring配置文件中可以配置多套不同环境配置，如下：<beans xml.....>   <beans profile="dev">   </beans>  <beans profile="test">   </beans> </beans>集成Web.xml:设置相应的环境标识来应用配置。<context-param><param-name>Spring.profile.name</param-name><param-value>dev</param-value></context-param>  ...继续阅读 (29)

前言我们每一个Android开发人员对ListView的使用肯定是很熟悉的,然而多少人能真正的懂ListView的缓存机制呢,说白了就是ListView为了提高效率,而内部实现的一种优化,牺牲一点内存。而这种优化就需要复用ItemView(也就是item对应的View).那么下面楼主来对ListView和RecyclerView的item复用问题做一个深入的讲解先来一张大家学习的时候都遇到过的图看不懂也没啥事,可以接着往下看,先有一个直观的认识首先来解答几个问题1.ListView为什么会存在Item复用问题答:ListView内部为了优化而建立的复用机制,在下面方法中第二个参数就是ListView传递给你,让你进行复用的View.如果你不想复用listview传递给你的View,那你每次都需要创建一个新的View进行返回,这样子是肯定不会出现复用问题的,但是性能却是很消耗的。publicViewgetView(intposion, View itemView, ViewGroup viewGroup){returnnull;}2.为什么上述的getView方法中第二个参数有时候为null呢因为ListView默认缓存一页的View,什么叫一页,也就是你当前listview界面上有几个Item可以显示,listview就缓存几个.当现实第一页的时候,由于没有一个Item被创建,所以 ...继续阅读 (37)

×目录[1]总括[2]算术运算符[3]赋值运算符[4]位运算符[5]比较运算符[6]错误控制[7]逻辑运算符[8]字符串连接[9]数组运算符前面的话运算符是可以通过给出的一或多个表达式来产生另一个表达式的东西。与javascript类似，php也拥有类似的运算符语法，本文将详细介绍php运算符[注意]关于javascript运算符语法移步至此 总括运算符可按照其能接受几个值来分组。一元运算符只能接受一个值，例如 !（逻辑取反运算符）或 ++（递增运算符）。 二元运算符可接受两个值，例如熟悉的算术运算符 +（加）和 -（减），大多数 PHP 运算符都是这种。最后是唯一的三元运算符 ? :，可接受三个值；通常就简单称之为“三元运算符”运算符优先级指定了两个表达式绑定得有多“紧密”。例如，表达式 1 + 5 * 3 的结果是 16 而不是 18 是因为乘号（“*”）的优先级比加号（“+”）高。必要时可以用括号来强制改变优先级。例如：(1 + 5) * 3 的值为 18如果运算符优先级相同，那运算符的结合方向决定了该如何运算。例如，"-"是左联的，那么 1 - 2 - 3 就等同于 (1 - 2) - 3 并且结果是 -4. 另外一方面，"="是右联的，所以 a = b = ...继续阅读 (34)

默认情况下，正则表达式 ^ 和 忽略行结束符，仅分别与整个输入序列的开头和结尾匹配。如果激活MULTILINE模式，则^在输入的开头和行结束符之后（输入的结尾）才发生匹配。处于 MULTILINE 模式中时，仅在行结束符之前或输入序列的结尾处匹配。import java.util.regex.Pattern;/*** Created by Frank* 使用正则表达式在文本中查找换行符*/publicclassNLMatch {publicstaticvoidmain(String[] args) {String input="I dream of engines\nmore engines, all day long";System.out.println("INPUT:"+input);System.out.println();String[] patt= {"engines.more engines","ines\nmore","engines"};for(inti =0; i < patt.length; i++) {System.out.println("PATTERN:"+patt[i]);boolean found;Pattern p1l=Pattern.compile(patt[i]);found=p1l.matcher(input).find();Syst ...继续阅读 (29)

一. 普通对象与函数对象  JavaScript 中，万物皆对象！但对象也是有区别的。分为普通对象和函数对象，Object ，Function 是JS自带的函数对象。下面举例说明 function f1(){}; var f2 = function(){}; var f3 = new Function('str','console.log(str)'); var o3 = new f1(); var o1 = {}; var o2 =new Object(); console.log(typeof Object); //function console.log(typeof Function); //function console.log(typeof o1); //object console.log(typeof o2); //object console.log(typeof o3); //object console.log(typeof f1); //function console.log(typeof f2); //function console.log(typeof f3); //function&nbs ...继续阅读 (44)

一、运行 TestInherits.java 示例，观察输出，注意总结父类与子类之间构造方法的调用关系修改Parent构造方法的代码，显式调用GrandParent的另一个构造函数，注意这句调用代码是否是第一句，影响重大！classGrandparent {publicGrandparent() {System.out.println("GrandParent Created.");}publicGrandparent(String string) {System.out.println("GrandParent Created.String:" +string);}}classParentextendsGrandparent {publicParent() {//super("Hello.Grandparent.");System.out.println("Parent Created");//super("Hello.Grandparent.");}}classChildextendsParent {publicChild() {System.out.println("Child Created");}}publicclassTestInherent {publicstaticvoidmain(String args[]) {Child c=newChild();}} ...继续阅读 (37)