操作系统: Ubuntu 16.04，显卡 GTX 10801. 安装显卡驱动和CUDA1234apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pubecho"deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /"| sudo tee /etc/apt/sources.list.d/cuda.listsudo apt-get updatesudo apt-get -y install cuda-drivers cuda2. 编译安装 Genoil/cpp-ethereum12345678910sudo apt -y install software-properties-commonsudo add-apt-repository -y ppa:ethereum/ethereumsudo apt -y updatesudo apt -y install git cmake libcryptopp-dev libleveldb-dev libjsoncpp-dev libjsonrpccpp-dev libboost ...继续阅读 (13)

操作系统: Ubuntu 16.04，显卡 GTX 10801. 安装显卡驱动和CUDA1234apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pubecho"deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /"| sudo tee /etc/apt/sources.list.d/cuda.listsudo apt-get updatesudo apt-get -y install cuda-drivers cuda2. 编译安装 ccMiner1234gitclone--recursive git@github.com:tpruvot/ccminer.gitcdccminergit checkout --track origin/linuxsudo apt install automake libcurl4-openssl-dev根据显卡修改Makefile.am(https://github.com/tpruvot/ccminer/wiki/Compatibility), 比如GTX 1080 则用nvcc ...继续阅读 (9)

操作系统: Ubuntu 16.04，显卡 GTX 10801. 安装显卡驱动和CUDA1234apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pubecho"deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /"| sudo tee /etc/apt/sources.list.d/cuda.listsudo apt-get updatesudo apt-get -y install cuda-drivers cuda2. 安装 ewbf-miner到这里下载https://github.com/nanopool/ewbf-miner/releases3. 连接矿池开始挖矿在这里可以看到全球各大矿池的算力大小:https://explorer.zcha.in/statistics/miners连接 f2pool,./miner --server zec.f2pool.com --user t1P4fnXWE3XibaZEEt99y1K7A3qBhg2rVnw.asusgtx1080 --pass z --port ...继续阅读 (8)

短网址的长度短网址的长度该设计为多少呢？ 当前互联网上的网页总数大概是 45亿(参考http://www.worldwidewebsize.com)，超过了 $2^{32}=4294967296$，那么用一个64位整数足够了。一个64位整数如何转化为字符串呢？，假设我们只是用大小写字母加数字，那么可以看做是62进制数，$log_{62} {(2^{64}-1)}=10.7$，即字符串最长11就足够了。实际生产中，还可以再短一点，比如新浪微博采用的长度就是7，因为 $62^7=3521614606208$，这个量级远远超过互联网上的URL总数了，绝对够用了。现代的web服务器（例如Apache, Nginx）大部分都区分URL里的大小写了，所以用大小写字母来区分不同的URL是没问题的。因此，正确答案：长度不超过7的字符串，由大小写字母加数字共62个字母组成一对一还是一对多映射？一个长网址，对应一个短网址，还是可以对应多个短网址？ 这也是个重大选择问题一般而言，一个长网址，在不同的地点，不同的用户等情况下，生成的短网址应该不一样，这样，在后端数据库中，可以更好的进行数据分析。如果一个长网址与一个短网址一一对应，那么在数据库中，仅有一行数据，无法区分不同的来源，就无法做数据分析了。以这个7位长度的短网址作为唯一ID，这个ID下可以挂各种信息，比如生成该网址的用户名，所在网站，HTTP头部 ...继续阅读 (12)

前提条件，已经安装好了 Ubuntu 16.04 操作系统， 见安装 Windows 10 和 Ubuntu 16.04 双系统懒人版方法：1234apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pubecho"deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /"| sudo tee /etc/apt/sources.list.d/cuda.listsudo apt-get updatesudo apt-get -y install cuda-drivers cuda这个方法会安装稳定版的驱动和CUDA，可能不那么新。然后开始安装 cuDNN, 先下载 cuDNN 6.0,wget http://developer.download.nvidia.com/compute/redist/cudnn/v6.0/cudnn-8.0-linux-x64-v6.0.tgz然后解压到/usr/local，sudo tar -zxf cudnn-8.0-linux-x64-v6.0.tgz -P /usr/local至此，驱 ...继续阅读 (11)

本文是上一篇文章我的深度学习工作站攒机过程记录的续集。前提条件主板BIOS是 UEFI 模式首先确认下你的主板的BIOS是UEFI模式，例如 Asus X99-E WS/USB 3.1 主板的BIOS默认就是UEFI模式。两个U盘，一个是可启动的Ubuntu 16.04.1 安装盘，一个是Windows 10 1607 x64 安装盘制作可启动安装盘很简单，下载cn_windows_10_multiple_editions_version_1511_updated_apr_2016_x64_dvd_8712460.iso和ubuntu-16.04.1-desktop-amd64.iso，找一台 Windows 电脑，安装 UltraISO这个小软件，启动软件，点击打开，打开操作系统的ISO文件，点击菜单启动->写入硬盘映像，即可开始刻录U盘。如果你只有一个U盘，有没问题，先刻录Windows，装完了Windows后，格式化U盘，再刻录一个Ubuntu 进去。关闭主板的 Fast Startup进入 UEFI BIOS 界面，点击 Boot 菜单，找打 Fast Boot, 改为Disabled关闭主板的 SRT（Intel Smart Response Technology)进入 UEFI BIOS 界面，点击 Advanced菜单，找到 Intel Rapid Storage T ...继续阅读 (7)

一年前就有攒一台深度学习工作站的想法了，今年 6月29号在Amazon 上抢到了一块 GTX 1080后，正式开始了攒机，经过了漫长了的一个半月，到今天8约13号，终于凑齐了所有零件并开机点亮了。为甚么这么漫长？因为本屌为了省钱几乎所有零件都是在 eBay和Amazon 上买的二手（除了GTX 1080太新没二手货）。硬件配置单结论懒人不想看过程的话，可以先看结论。以下是我的配置单：配件名品牌型号数量价格哪里买的机箱Corsair Carbide Air 5401$130.57Amazon 二手主板Asus X99-E WS/USB3.11$563.84Amazon 新CPUIntel I7-5930K1$467.45eBay 二手CPU 水冷头Corsair H60 Cooler1$65.24Amazon 新DDR4内存Kingston 32GB HX421C14FB2K4/324$139.19Amazon新显卡Zotac GTX 1080 Founders Edition1$761.24Amazon 新电源EVGA 1600W 80+ Gold 120-G2-1600-X11$241.74eBay二手SSDSamsung SM951 256GB M.2 NVMe MZVPV256HDGL1$129.5eBay二手机械硬盘WD Green 4TB1$162.36Amazon新总计 ...继续阅读 (8)

软件版本：Ubuntun 14.04, Python 3.4, NumPy 1.8.1, SciPy 0.14.0, Scikit-Learn 0.16Numpy, SciPy 的官网安装文档，安装的是基于Python 2.7的，SciPy-Learn 官网的安装文档，也是Python 2.7的，如果想基于高大上的Python 3，该怎么安装呢？经过一堆的坑之后，我摸索出了方法。##1. 安装Python 3首先我们要安装Python 3, 不过，千万别因为有了Python 3, 就卸载系统自带的Python 2.7，很多软件依赖它，所以不能卸载1$ sudo apt-get install python3设置Python3为默认Python123$ vi ~/.bash_aliases$aliaspython=python3wq关闭当前Shell，重新开一个新Shell，输入python就发现进入Python 3.4 的交互环境了。##2. 安装 NumPy SciPy SymPy 等软件参考http://www.scipy.org/install.html, 只不过改成了 python31sudo apt-get install python3-numpy python3-scipy python3-matplotlib ipython3 ipython3-notebook p ...继续阅读 (11)

环境: Windows 7, VMware Workstation 10.0.2, Mac OS X 10.9 Mavericks本文主要参考了这篇英文博客，Working OS X 10.9 Mavericks VMware Image For Windows OS and Intel Processor前提条件：确保你的电脑支持VT-x技术，并在BIOS里启用它。##1. 下载别人做好的镜像由于版权原因，这篇英文博客的作者不再提供下载地址了，不过google一下 “OS X Mavericks 10.9 Retail VMware Image”，可以在海盗湾找到种子，这里。用迅雷或BT客户端下载。还有一种用更快速的下载方法，用百度网盘的离线下载，把magnet链接复制粘贴到百度网盘，等百度网盘下载好了后，再用百度管家客户端下载下来。这个文件夹里，只有OS X Mavericks 10.9 Retail VMware Image.7z是有用的额，其他小工具可以分别去下载最新的版本。这个镜像就是别人制作好的“懒人版”，Google 搜索”OS X Mavericks VMware 懒人版”或”OS X Mavericks VMware 整合驱动版”，还可以搜到很多。##2. 给 VMware Workstation 打补丁Windows上的VMware Workstation在安装 ...继续阅读 (8)

环境: CentOS 6.4由于我的CentOS服务器上没有Nvidia的显卡，不过 caffe 是可以在CPU模式下进行train和predict的，因此我尝试了在没有GPU的情况下把caffe跑起来。主要参考官网的文档，Installation。安装 Caffe 前需要安装以下库：PrerequisitesCUDA (5.0 or 5.5)BoostMKL (but see the boost-eigen branch for a boost/Eigen3 port)OpenCVglog, gflags, protobuf, leveldb, snappy, hdf5For the Python wrapper: python, numpy (>= 1.7 preferred), and boost_pythonFor the Matlab wrapper: Matlab with mex##1. 安装CUDAwget http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-5.5-0.x86_64.rpm sudo rpm -Uvh libgcc-4.4.7-4.el6.x86_64.rpm yum search cuda sudo yum install cud ...继续阅读 (14)

软件版本：Nutch 1.7Nutch Plugin的所有资料，都在官网这里,PluginCentral##前提在Eclipse里运行NutchExtension 和 Extension-point的关系Extension point类似与Java语言里的接口(interface), extension 则是具体的实现(implementation)。About Plugins里有一句话，Each extension-point defines an interface that must be implemented by the extension.##Nutch里的各种概念Extension point, extension, plugin, 这些概念是什么意思？见Technical Concepts Behind the Nutch Plugin System##Nutch 1.7 有哪些 Extension-pointExtensionPoint 这个东西，本身也是一个插件，可以看看src/plugin/nutch-extensionpoints/plugin.xml，里面定义了所有的扩展点，跟上图基本一致。AboutPlugins这里列出来的是 Nuch 1.4的扩展点，有点过时了。##一个Nutch的组成文件build.xml, plugins.xml 等等##Nut ...继续阅读 (7)

下载了Hadoop预编译好的二进制包，hadoop-2.2.0.tar.gz，启动起来后，总是出现这种警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因是apache官网提供的二进制包，里面的native库，是32位的，坑跌啊，现在服务器谁还有32位的啊。$ file $HADOOP_PREFIX/lib/native/libhadoop.so.1.0.0 libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x9eb1d49b05f67d38454e42b216e053a27ae8bac9, not stripped我们需要下载Hadoop 2.2.0源码，在 64 位Linux下重新编译，然后把32位的native库用64位的native库替换。##1. 下载Hadoop 2.2.0 源码包，并解压$ wget http://mirrors.hust.edu.cn/apache/hadoo ...继续阅读 (17)

环境：CentOS 6.5, jdk 1.7, HBase 0.96.1.1##（可选）创建新用户，并配置好SSH无密码登录一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd hbase创建一个新的用户，并加入group,$ sudo useradd -g hbase hbase给新用户设置密码，$ sudo passwd hbase在每台机器上创建hbase新用户，并配置好SSH无密码，参考我的另一篇博客，SSH无密码登录的配置##1. 单机模式(Standalone mode)###1.1 下载，解压$ wget wget http://mirror.esocc.com/apache/hbase/hbase-0.96.1.1/hbase-0.96.1.1-hadoop2-bin.tar.gz $ tar zxf hbase-0.96.1.1-hadoop2-bin.tar.gz -C ~/local/opt###1.2 hbase-env.sh在这个文件中要指明JDK 安装在了哪里$ echo $JAVA_HOME /usr/lib/jvm/java $ vim conf/hbase-env.sh取消JAVA_HOME那一行的注释， ...继续阅读 (17)

环境：CentOS 6.5, jdk 1.7, ZooKeeper 3.4.5本文主要参考官网的Getting Started##（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd zookeeper创建一个新的用户，并加入group,$ sudo useradd -g zookeeper zookeeper给新用户设置密码，$ sudo passwd zookeeper##1. 单机模式(Standalone mode)单机模式在开发和调试阶段很有用。###1.1 下载，解压$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz $ tar zxf zookeeper-3.4.5.tar.gz -C ~/local/opt###1.2 启动默认就是单机模式，$ mv conf/zoo_sample.cfg conf/zoo.cfg $ ./bin/zdServer.sh start###1.3 使用java 客户端连接ZooKeeper$ ./bin/zkCli.sh -server 127.0.0 ...继续阅读 (14)

假设我们以名为hadoop的用户，建好了集群，见在CentOS上安装Hadoop 2.x 集群。通常，我们会把这个集群共享给多个用户，而不是让大家都登录为hadoop，这样做有几个好处：一个用户不能修改另一个用户的的文件在hadoop web管理页面，可以很方便的看到不同的用户的job现在集群中有一台机器，上面有一个用户名为 hbase 的用户，他想要使用hadoop集群，怎么配置呢？##1. 安装hadoop客户端###1.1 下载，解压下载跟hadoop集群一样的hadoop软件包，并解压，$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz $ tar -zxf hadoop-2.2.0.tar.gz -C ~/local/opt $ cd ~/local/opt/hadoop-2.2.0###1.2 拷贝Hadoop集群的配置文件将Hadoop集群的配置文件全部拷贝到客户端，相当与把集群的信息告诉客户端。$ scp -r hadoop@localhost:~/local/opt/hadoop-2.2.0/etc/hadoop ./etc/修改conf/mapred-site.xml中的mapreduce.cluster.local.dir，改为本机上的某 ...继续阅读 (15)

环境：CentOS 6.5, OPenJDK 1.7, Hadoop 2.2.0本文主要参考官网的文档，Hadoop 2.2.0 Single Node Setup，Hadoop 2.2.0 Cluster Setup##（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，简单的说，就是服务器类程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd hadoop创建一个新的用户，并加入group,$ sudo useradd -g hadoop hadoop给新用户设置密码，$ sudo passwd hadoop##1 伪分布式模式(Pseudo-Distributed Mode)Hadoop能在单台机器上以伪分布式模式运行，即每个Hadoop模块运行在单独的java进程里。###1.1 设置SSH无密码登录localhost先检查一下是能够无密码登录本机，ssh localhost如果提示输入密码，说明不能，按如下步骤设置。$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys###1.2 下载已经编译好的二进制包，解压用浏览器下 ...继续阅读 (13)

软件版本：Nutch 1.7, Hadoop 1.2.1, CentOS 6.5, JDK 1.7前面的3篇文章中，Nutch 快速入门(Nutch 1.7)，Nutch 快速入门(Nutch 2.2.1)，在Eclipse里运行Nutch，Nutch都是跑在单机上，本文把Nutch部署到Hadoop集群上，在真正的分布式Hadoop集群上跑。##前提学会了搭建一个分布式Hadoop集群，见在CentOS上安装Hadoop集群学会了单机跑Nutch，见Nutch 快速入门(Nutch 1.7)##1 启动Hadoop集群伪分布式或真分布式的Hadoop集群都可以，无所谓。选择一台配置好了的Hadoop客户端的机器（见Hadoop多用户的配置），作为客户机，以下操作均在这台客户机上进行。##2 下载Nutch源码有两种方法，去官网首页下载apache-nutch-1.7-src.tar.gz用svn checkout$ svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.7##3 把Hadoop的6个配置文件拷贝到Nutch的conf/目录将Hadoop的六个配置文件，拷贝到Nutch的conf/目录，相当于把Hadoop集群的配置信息告诉Nutch，在伪分布式模式下，$ cd ~/local/opt/hadoop ...继续阅读 (8)

假设我们以名为hadoop的用户，建好了集群，见在CentOS上安装Hadoop集群。通常，我们会把这个集群共享给多个用户，而不是让大家都登录为hadoop，这样做有几个好处：一个用户不能修改另一个用户的的文件在hadoop web管理页面，可以很方便的看到不同的用户的job现在集群中有一台机器，上面有一个用户名为 hbase 的用户，他想要使用hadoop集群，怎么配置呢？##1. 安装hadoop客户端###1.1 下载，解压下载跟hadoop集群一样的hadoop软件包，并解压，$ wget http://mirror.olnevhost.net/pub/apache/hadoop/common/stable1/hadoop-1.2.1-bin.tar.gz $ tar -zxf hadoop-1.2.1-bin.tar.gz -C ~/local/opt $ cd ~/local/opt/hadoop-1.2.1###1.2 配置在客户端只需配置集群namenode 和 jobtracker 的相关信息, 把namenode和jobtracker的信息告诉客户端即可。把hadoop用户下的conf/core-site.xml和conf/mapred-site.xml拷贝到本用户的conf/目录下$ scp hadoop@localhost:~/local/opt/hadoo ...继续阅读 (10)

Ubuntu上安装，请参考我的另一篇博客，在Ubuntu上安装Hadoop。环境：CentOS 6.5, OPenJDK 1.7, Hadoop 1.2.1本文主要参考官网的文档，Hadoop 1.2.1 Getting Started##1 单机模式(Standalone Mode)为了能顺利安装成功，我们先练习在单台机器上安装Hadoop。在单台机器上，可以配置成单机模式(Standalone Mode)和伪分布式模式(Pseudo-Distributed Mode)，参考官方文档Single Node Setup。###1.1 下载Hadoop 1.2.1，解压用浏览器下载或wget,$ wget http://mirror.olnevhost.net/pub/apache/hadoop/common/stable1/hadoop-1.2.1-bin.tar.gz $ tar -zxf hadoop-1.2.1-bin.tar.gz -C ~/local/opt $ cd ~/local/opt/hadoop-1.2.1###1.2 编辑 conf/hadoop-env.sh，设置JAVA_HOME$ echo $JAVA_HOME /usr/lib/jvm/java $ vim conf/hadoop-env.sh取消JAVA_HOME那一行的注释，设置正确的JDK位置ex ...继续阅读 (5)

本文主要参考Nutch 2.x TutorialNutch 2.x 与 Nutch 1.x 相比，剥离出了存储层，放到了gora中，可以使用多种数据库，例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。##1. 安装并运行HBase为了简单起见，使用Standalone模式，参考HBase Quick start###1.1 下载，解压wget http://archive.apache.org/dist/hbase/hbase-0.90.4/hbase-0.90.4.tar.gz tar zxf hbase-0.90.4.tar.gz###1.2 修改 conf/hbase-site.xml内容如下hbase.rootdirfile:///DIRECTORY/hbasehbase.zookeeper.property.dataDir/DIRECTORY/zookeeperhbase.rootdir目录是用来存放HBase的相关信息的，默认值是/tmp/hbase-${user.name}/hbase；hbase.zookeeper.property.dataDir目录是用来存放zookeeper（HBase内置了zookeeper）的相关信息的，默认值是/tmp/hbase-${user.name}/zookeep ...继续阅读 (9)

软件版本：Ubuntun 14.04, Python 3.4, NumPy 1.8.1, SciPy 0.14.0, Scikit-Learn 0.16Numpy, SciPy 的官网安装文档，安装的是基于Python 2.7的，SciPy-Learn 官网的安装文档，也是Python 2.7的，如果想基于高大上的Python 3，该怎么安装呢？经过一堆的坑之后，我摸索出了方法。1. 安装Python 3首先我们要安装Python 3, 不过，千万别因为有了Python 3, 就卸载系统自带的Python 2.7，很多软件依赖它，所以不能卸载1$sudo apt-get install python3设置Python3为默认Python123$vi ~/.bash_aliases$aliaspython=python3wq关闭当前Shell，重新开一个新Shell，输入python就发现进入Python 3.4 的交互环境了。2. 安装 NumPy SciPy SymPy 等软件参考http://www.scipy.org/install.html, 只不过改成了 python31sudo apt-get install python3-numpy python3-scipy python3-matplotlib ipython3 ipython3-notebook python3 ...继续阅读 (17)

环境: Windows 7, VMware Workstation 10.0.2, Mac OS X 10.9 Mavericks本文主要参考了这篇英文博客，Working OS X 10.9 Mavericks VMware Image For Windows OS and Intel Processor前提条件：确保你的电脑支持VT-x技术，并在BIOS里启用它。1. 下载别人做好的镜像由于版权原因，这篇英文博客的作者不再提供下载地址了，不过google一下 “OS X Mavericks 10.9 Retail VMware Image”，可以在海盗湾找到种子，这里。用迅雷或BT客户端下载。还有一种用更快速的下载方法，用百度网盘的离线下载，把magnet链接复制粘贴到百度网盘，等百度网盘下载好了后，再用百度管家客户端下载下来。这个文件夹里，只有OS X Mavericks 10.9 Retail VMware Image.7z是有用的额，其他小工具可以分别去下载最新的版本。这个镜像就是别人制作好的“懒人版”，Google 搜索”OS X Mavericks VMware 懒人版”或”OS X Mavericks VMware 整合驱动版”，还可以搜到很多。2. 给 VMware Workstation 打补丁Windows上的VMware Workstation在安装操作系统 ...继续阅读 (34)

环境: CentOS 6.4由于我的CentOS服务器上没有Nvidia的显卡，不过 caffe 是可以在CPU模式下进行train和predict的，因此我尝试了在没有GPU的情况下把caffe跑起来。主要参考官网的文档，Installation。安装 Caffe 前需要安装以下库：PrerequisitesCUDA (5.0 or 5.5)BoostMKL (but see the boost-eigen branch for a boost/Eigen3 port)OpenCVglog, gflags, protobuf, leveldb, snappy, hdf5For the Python wrapper: python, numpy (>= 1.7 preferred), and boost_pythonFor the Matlab wrapper: Matlab with mex1. 安装CUDAwget http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-5.5-0.x86_64.rpm sudo rpm -Uvh libgcc-4.4.7-4.el6.x86_64.rpm yum search cuda sudo yum install cuda或 ...继续阅读 (57)

软件版本：Nutch 1.7Nutch Plugin的所有资料，都在官网这里,PluginCentral前提在Eclipse里运行NutchExtension 和 Extension-point的关系Extension point类似与Java语言里的接口(interface), extension 则是具体的实现(implementation)。About Plugins里有一句话，Each extension-point defines an interface that must be implemented by the extension.Nutch里的各种概念Extension point, extension, plugin, 这些概念是什么意思？见Technical Concepts Behind the Nutch Plugin SystemNutch 1.7 有哪些 Extension-pointExtensionPoint 这个东西，本身也是一个插件，可以看看src/plugin/nutch-extensionpoints/plugin.xml，里面定义了所有的扩展点，跟上图基本一致。AboutPlugins这里列出来的是 Nuch 1.4的扩展点，有点过时了。一个Nutch的组成文件build.xml, plugins.xml 等等Nutch 插件例子Wri ...继续阅读 (16)

下载了Hadoop预编译好的二进制包，hadoop-2.2.0.tar.gz，启动起来后，总是出现这种警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因是apache官网提供的二进制包，里面的native库，是32位的，坑跌啊，现在服务器谁还有32位的啊。$ file $HADOOP_PREFIX/lib/native/libhadoop.so.1.0.0 libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x9eb1d49b05f67d38454e42b216e053a27ae8bac9, not stripped我们需要下载Hadoop 2.2.0源码，在 64 位Linux下重新编译，然后把32位的native库用64位的native库替换。more1. 下载Hadoop 2.2.0 源码包，并解压$ wget http://mirrors.hust.edu.cn/apache/had ...继续阅读 (24)

环境：CentOS 6.5, jdk 1.7, HBase 0.96.1.1（可选）创建新用户，并配置好SSH无密码登录一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd hbase创建一个新的用户，并加入group,$ sudo useradd -g hbase hbase给新用户设置密码，$ sudo passwd hbase在每台机器上创建hbase新用户，并配置好SSH无密码，参考我的另一篇博客，SSH无密码登录的配置1. 单机模式(Standalone mode)1.1 下载，解压$ wget wget http://mirror.esocc.com/apache/hbase/hbase-0.96.1.1/hbase-0.96.1.1-hadoop2-bin.tar.gz $ tar zxf hbase-0.96.1.1-hadoop2-bin.tar.gz -C ~/local/opt1.2 hbase-env.sh在这个文件中要指明JDK 安装在了哪里$ echo $JAVA_HOME /usr/lib/jvm/java $ vim conf/hbase-env.sh取消JAVA_HOME那一行的注释，设置正确的JDK位置 ...继续阅读 (16)

环境：CentOS 6.5, jdk 1.7, ZooKeeper 3.4.5本文主要参考官网的Getting Started（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd zookeeper创建一个新的用户，并加入group,$ sudo useradd -g zookeeper zookeeper给新用户设置密码，$ sudo passwd zookeeper1. 单机模式(Standalone mode)单机模式在开发和调试阶段很有用。1.1 下载，解压$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz $ tar zxf zookeeper-3.4.5.tar.gz -C ~/local/opt1.2 启动默认就是单机模式，$ mv conf/zoo_sample.cfg conf/zoo.cfg $ ./bin/zdServer.sh start1.3 使用java 客户端连接ZooKeeper$ ./bin/zkCli.sh -server 127.0.0.1:2181然后就可以使 ...继续阅读 (23)

假设我们以名为hadoop的用户，建好了集群，见在CentOS上安装Hadoop 2.x 集群。通常，我们会把这个集群共享给多个用户，而不是让大家都登录为hadoop，这样做有几个好处：一个用户不能修改另一个用户的的文件在hadoop web管理页面，可以很方便的看到不同的用户的job现在集群中有一台机器，上面有一个用户名为 hbase 的用户，他想要使用hadoop集群，怎么配置呢？1. 安装hadoop客户端1.1 下载，解压下载跟hadoop集群一样的hadoop软件包，并解压，$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz $ tar -zxf hadoop-2.2.0.tar.gz -C ~/local/opt $ cd ~/local/opt/hadoop-2.2.01.2 拷贝Hadoop集群的配置文件将Hadoop集群的配置文件全部拷贝到客户端，相当与把集群的信息告诉客户端。$ scp -r hadoop@localhost:~/local/opt/hadoop-2.2.0/etc/hadoop ./etc/修改conf/mapred-site.xml中的mapreduce.cluster.local.dir，改为本机上的某个目录，确保这个 ...继续阅读 (15)

环境：CentOS 6.5, OPenJDK 1.7, Hadoop 2.2.0本文主要参考官网的文档，Hadoop 2.2.0 Single Node Setup，Hadoop 2.2.0 Cluster Setup（可选）创建新用户一般我倾向于把需要启动daemon进程，对外提供服务的程序，简单的说，就是服务器类程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。创建一个新的group,$ sudo groupadd hadoop创建一个新的用户，并加入group,$ sudo useradd -g hadoop hadoop给新用户设置密码，$ sudo passwd hadoop1 伪分布式模式(Pseudo-Distributed Mode)Hadoop能在单台机器上以伪分布式模式运行，即每个Hadoop模块运行在单独的java进程里。1.1 设置SSH无密码登录localhost先检查一下是能够无密码登录本机，ssh localhost如果提示输入密码，说明不能，按如下步骤设置。$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys1.2 下载已经编译好的二进制包，解压用浏览器下载或wget,$ wget http:/ ...继续阅读 (20)

软件版本：Nutch 1.7, Hadoop 1.2.1, CentOS 6.5, JDK 1.7前面的3篇文章中，Nutch 快速入门(Nutch 1.7)，Nutch 快速入门(Nutch 2.2.1)，在Eclipse里运行Nutch，Nutch都是跑在单机上，本文把Nutch部署到Hadoop集群上，在真正的分布式Hadoop集群上跑。前提学会了搭建一个分布式Hadoop集群，见在CentOS上安装Hadoop集群学会了单机跑Nutch，见Nutch 快速入门(Nutch 1.7)1 启动Hadoop集群伪分布式或真分布式的Hadoop集群都可以，无所谓。选择一台配置好了的Hadoop客户端的机器（见Hadoop多用户的配置），作为客户机，以下操作均在这台客户机上进行。2 下载Nutch源码有两种方法，去官网首页下载apache-nutch-1.7-src.tar.gz用svn checkout$ svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.73 把Hadoop的6个配置文件拷贝到Nutch的conf/目录将Hadoop的六个配置文件，拷贝到Nutch的conf/目录，相当于把Hadoop集群的配置信息告诉Nutch，more在伪分布式模式下，$ cd ~/local/opt/hadoop-1.2 ...继续阅读 (29)