1：启动mongodb，往week10数据库中存放一个500M以上的大文件 2：观察fs.chunks和fs.files，发现存放一个文件，就在fs.files增加一个文档，而在fs.chunks中增加了文件大小除以chunksize个文档，并且fs.chucks中的filws_id字段就是fs.files中的_id字段值。  ...继续阅读 (27)

1：特点A：可以一个master，多个slave。一个集群中有多少个slave节点，mongodb没有明确的限制，实际应用中不超过12个是最佳的。B：只有master可以写操作，slave不能写操作。C：master启动的时候带--master参数，slave启动的时候要带--slave 和 --source参数（--source参数可以通过直接修改local数据库来设定）。D：所有slave节点都是从master节点复制内容，目前没有从slave节点复制的机制，因为slave节点没有保存自己的oplog。E：如果slave节点从一个maser节点切换到另一个master节点，两个master节点有相同的集合的话，mongodb会尝试合并，但不能保证正确的合并；所以当一个slave要对应多个master的时候，最好在master节点上使用不同的命名空间。2：增加和删除slave节点A：增加slave节点，一种办法是启动的时候带--slave 和 --source参数；还有一种办法是启动时带--slave，然后在shell中使用local数据库，修改source集合。> use local> db.sources.insert({''host":"192.168.100.131:10000"})B：删除节点>db.sources.remove({''host":"1 ...继续阅读 (1)

1：装载测试数据，将测试数据加入新的数据库week8.方法一：编写插入语句，将测试数据插入week8。use week8db.emp.insert({"EMPNO":7369,"ENAME":"SMITH","JOB":"CLERK","MGR":7902,"HIREDATE":"1980-12-17","SAL":800,"COMM":null,"DEPTNO":20})db.emp.insert({"EMPNO":7499,"ENAME":"ALLEN","JOB":"SALESMAN","MGR":7698,"HIREDATE":"1981-02-20","SAL":1600,"COMM":300,"DEPTNO":30})db.emp.insert({"EMPNO":7521,"ENAME":"WARD","JOB":"SALESMAN","MGR":7698,"HIREDATE":"1981-02-22","SAL":1250,"COMM":500,"DEPTNO":30})db.emp.insert({"EMPNO":7566,"ENAME":"JONES","JOB":"MANAGER","MGR":7839,"HIREDATE":"1981-04-02","SAL":2975 ,"COMM":null,"DEPTNO":20})db.emp.insert({"EMP ...继续阅读 (11)

1：启动mongodb后，插入测试数据> use school> db.stu.drop()> db.stu.insert({"stu_id":"001","name":"mjh","chinese":95,"english":85,"math":93,"sport":98,"chemical":88})> db.stu.insert({"stu_id":"002","name":"wyy","chinese":99,"pysical":98,"sport":86,"drawing":85})> db.stu.insert({"stu_id":"003","name":"myf","chinese":97,"pysical":89,"drawing":84})> db.stu.find() 方法一：内外循环，找出有不相同的课程有大于等于90的文档，缺点找3门或4门90以上的可能就悲剧了。db.stu.find({"$where":function(){for (var current in this){for (var other in this){if (current != other && this[current]>=90 && this[other]>=90){return true ...继续阅读 (14)

1：下载相关的软件A：预安装相关软件包：mmicky@wyy:/app$ sudo apt-get -y install maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-devB：下载需要的软件* hadoop2.2.0_src http://hadoop.apache.org* JDK1.6 以上 http://www.oralce.com* ProtocolBuffer 2.4.1+ (for MapReduce and HDFS) http://code.google.com/p/protobuf/downloads/list* findbugs2.0.2 2：安装findbugsmmicky@wyy:/app$ sudo tar zxf /home/mmicky/Soft/hadoop/findbugs-2.0.2.tar.gzmmicky@wyy:/app$ sudo mv findbugs-2.0.2 findbugs202mmicky@wyy:/app$ vi ~/.bashrc增加两行：export FINDBUGS_HOME=/app/findbugs202export PATH=${FIN ...继续阅读 (10)

    近几日，hadoop2.2.0稳定版发布，立即下载先搭建测试环境。1：规划centOS6.4上搭建hadoop2.2.0环境，java版本7UP21192.168.100.171hadoop1 (namenode)192.168.100.172hadoop2 (预留当namenode)192.168.100.173hadoop3 (datanode)192.168.100.174hadoop4 (datanode)192.168.100.175hadoop5 (datanode)2：创建虚拟机样板机（VM和vitualBOX都可以）a：安装centOS6.4虚拟机hadoop1，开通ssh服务,屏蔽iptables服务[root@hadoop1 ~]# chkconfig sshd on[root@hadoop1 ~]# chkconfig iptables off[root@hadoop1 ~]# chkconfig ip6tables off[root@hadoop1 ~]# chkconfig postfix offb：修改/etc/sysconfig/selinuxSELINUX=disabledc：修改ssh配置/etc/ssh/sshd_config，打开注释：RSAAuthentication yesPubkeyAuthentication ...继续阅读 (15)

1：Redis的配置安装目录：/app/redis数据目录：/data/redis配置文件：/app/redis/6379.conf 和 /app/redis/6389.conf #修改6389.conf下列参数并保存port 6389slaveof localhost 63792：启动Redis-server 3：正常测试master一端修改数据： 查看slave一端的数据： 4：关闭master，查看和修改slave[root@nosql3 redis]# redis-cli -p 6379 shutdown 5：修改6389.conf参数为非read-only[root@nosql3 redis]# redis-cli -p 6389 shutdown[root@nosql3 redis]# vi 6389.conf#修改下面参数slave-read-only no[root@nosql3 redis]# redis-server 6389.conf 重启6379，检查6379的data值 那么6389的数据在6379重启后被刷新了呢？  6：在6379和6389都启动的情况下修改6389的data数据 确实6379没有受到影响，同时修改6379的data值，看看6389受到什 ...继续阅读 (10)

1：redis的官方命令解释：http://redis.io/commands2：python开发redis快速入门：https://pypi.python.org/pypi/redis/2.7.6其中需要注意的是：API ReferenceThe official Redis command documentation does a great job of explaining each command in detail. redis-py exposes two client classes that implement these commands. The StrictRedis class attempts to adhere to the official command syntax. There are a few exceptions:SELECT: Not implemented. See the explanation in the Thread Safety section below.DEL: 'del' is a reserved keyword in the Python syntax. Therefore redis-py uses 'delete' instead.CONFIG GET|SET: These are impl ...继续阅读 (12)

1：规划本篇为了测试spark+redis应用程序开发而重新编写了，具体的使用环境参见Spark1.0.0 开发环境快速搭建。安装机器：hadoop1（因为只是测试用就不使用redis的主从复制配置了）安装目录：/app/redis数据目录：/app/redis/data配置文件：/app/redis/redis6379.conf2：安装A：下载 redis2.8.12和tcl8.6.1redis2.8.12下载地址：http://download.redis.io/releases/redis-2.8.12.tar.gztcl8.6.1下载地址：http://prdownloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gzB：由客户端wyy上传到虚拟集群的hadoop1mmicky@wyy:~$ scp soft/nosql/redis-2.8.12.tar.gz root@hadoop1:/app/mmicky@wyy:~$ scp soft/nosql/tcl8.6.1-src.tar.gz root@hadoop1:/app/C：解压缩安装文件[root@hadoop1 app]# tar zxf tcl8.6.1-src.tar.gz [root@hadoop1 app]# mv tcl8.6.1 tcl861[ro ...继续阅读 (21)

-p 指定端口号（默认11211）  -U <num> UDP监听端口 (默认: 11211, 0 时关闭) -s <file>     用于监听的UNIX套接字路径（禁用网络支持）-a <mask>     UNIX套接字访问掩码，八进制数字（默认：0700）-m 指定最大使用内存大小（默认64MB）   -t 线程数（默认4） -l <ip_addr> 绑定地址 (默认:所有都允许,无论内外网或者本机更换IP，有安全隐患，若设置为127.0.0.1就只能本机访问) -d start 启动memcached服务   -d restart 重起memcached服务   -d stop|shutdown 关闭正在运行的memcached服务   -u <username> 绑定使用指定用于运行进程 <username>  （只有root用户可以使用这个参数）-P <file> 将PID写入文件<file>，这样可以使得后边进行快速进程终止, 需要与 -d 一起使用-m 最大内存使用，单位MB。默认64MB   ...继续阅读 (1)

1：上www.mysql.org下载64位版本mysql5.6.12 (MySQL-5.6.12-1.el6.x86_64.rpm-bundle.tar）。2：将安装文件上传到虚拟机并解压。 3：查找并删除之前的mysql版本 如果删除不了，根据需要使用--nodeps参数 注意有的版本可能要使用 rpm -qa |grep MySQL来查看是否有安装。4：安装mysql server注意安装中有提示初始密码在 /root/.mysql_secret中，用cat命令可以查看： 5：安装mysql client和mysql devel 6：启动mysql server[root@mytest ~]# service mysql startStarting MySQL.....[  OK  ]7：登录mysql server并修改密码，登录时候要使用步骤4中的初始密码。8：本地连接测试  9：开放客户端连接 mysql> grant all on *.* to mysql@'%' identified by 'mysql' with grant option;在服务器段登录mysql，然后运行以上语句，上面语句意思是：允许任何IP地址（上面的 % 就是这个意思）的电脑用m ...继续阅读 (17)

1：下载和安装A：首先，上http://sourceforge.net查找repcached，找到最新repcaches版本下载地址http://nchc.dl.sourceforge.net/project/repcached/repcached/2.2.1-1.2.8/memcached-1.2.8-repcached-2.2.1.tar.gz  B：在测试虚拟机nosql1和nosql2上分别安装repcached[root@nosql1 ~]# tar -xzf memcached-1.2.8-repcached-2.2.1.tar.gz[root@nosql1 ~]# yum install libevent-devel[root@nosql1 ~]# cd memcached-1.2.8-repcached-2.2.1[root@nosql1 memcached-1.2.8-repcached-2.2.1]# ./configure --enable-replication --program-transform-name=s/memcached/repcached/[root@nosql1 memcached-1.2.8-repcached-2.2.1]# make[root@nosql1 memcached-1.2.8-repcached-2.2 ...继续阅读 (2)

1：memcached安装[root@nosql1 ~]# yum install memcached2：memcahed脚本启动和停止[root@nosql1 ~]# /etc/rc.d/init.d/memcached startStarting memcached: [  OK  ][root@nosql1 ~]# ps aux |grep memcached 496       2053  0.0  0.0 331872  1900 ?        Ssl  16:50   0:00 memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid[root@nosql1 ~]# /etc/rc.d/init.d/memcached stopStopping memcached: [  OK  ]3：命令行启动[root@nosql1 ~]# memcached -d -p 11211 -u nobody -c 1024 -m 64[root@nosql1 ~]# ps aux |grep m ...继续阅读 (3)

1：ps 显示瞬间行程 (process) 的动态ps 的参数非常多， 在此仅列出几个常用的参数并大略介绍含义-A 列出所有的行程-w 显示加宽可以显示较多的资讯-au 显示较详细的资讯-aux 显示所有包含其他使用者的行程USER：行程拥有者PID：pid%CPU：占用的 CPU 使用率%MEM ：占用的记忆体使用率VSZ ：占用的虚拟记忆体大小RSS ：占用的记忆体大小TTY ： 终端的次要装置号码 (minor device number of tty)STAT：该行程的状态：D：不可中断的静止 (通悸□□缜b进行 I/O 动作R：正在执行中S：静止状态T：暂停执行Z：不存在但暂时无法消除W：没有足够的记忆体分页可分配<：高优先序的行程N：低优先序的行程L：有记忆体分页分配并锁在记忆体内 (即时系统或捱A I/O)START：行程开始时间TIME：执行的时间COMMAND：所执行的指令2：pstree 显示进程树3：awk 好用的数据处理工具awk 用法：awk ' pattern {action} '  变量名含义 ARGC命令行变元个数 ARGV命令行变元数组 FILENAME当前输入文件名 FNR当前文件中的记录号 FS输入域分隔符，默认为一个空 ...继续阅读 (9)

一：存储命令存储命令的格式：<command name> <key> <flags> <exptime> <bytes><data block>参数说明如下：<command name>set/add/replace<key>查找关键字<flags>客户机使用它存储关于键值对的额外信息<exptime>该数据的存活时间，0表示永远<bytes>存储字节数<data block>存储的数据块（可直接理解为key-value结构中的value）1：添加A：无论如何都存储的setset命令在memcached中的使用频率极高，不但可以添加，如果set的key已经存在，该命令可以更新该key的值。 B：只有数据不存在时进行添加的add C：只有数据存在时进行替换的replace 2：删除deletedelete用于删除已存在的key，删除不存在的key会报错。  二：读取命令1：getget命令中的key可以一个或者多个，key之间以空格隔开。 2：getsgets命令比普通的get命令多返回了一个数字（图中为13）。这个数字可以检查数据是否发生改变。当key对应的数据改变时，这个多返回的 ...继续阅读 (4)

1：规划oracle linux6.4上搭建hadoop2.0环境192.168.100.171linux1 (namenode)192.168.100.172linux2 (预留当namenode)192.168.100.173linux3 (datanode)192.168.100.174linux4 (datanode)192.168.100.175linux5 (datanode)2：创建VMware Workstation样板机a：安装oracle linux 6.4虚拟机linux1，开通ssh服务,屏蔽iptables服务[root@linux1 ~]# chkconfig sshd on[root@linux1 ~]# chkconfig iptables off[root@linux1 ~]# chkconfig ip6tables off[root@linux1 ~]# chkconfig postfix offb：关闭虚拟机linux1，增加一个新的硬盘到共享目录作为共享硬盘用（使用SCSI1:0接口)，修改linux1.vmx，添加和修改参数:disk.locking="FALSE"    diskLib.dataCacheMaxSize = "0"disk.EnableUUID = "T ...继续阅读 (2)

一：Oracle官网下载相应的JAVA安装包，如jdk-6u31-linux-x64-rpm.bin。二：利用SecureCRT上传到Linux系统中，用chmod +x jdk-6u31-linux-x64-rpm.bin 增加可运行权限。三：用./jdk-6u31-linux-x64-rpm.bin进行安装。四：环境变量的设置方法一，给所有用户使用环境变量则修改/etc/profile，在文件末尾增加如下内容：JAVA_HOME=/usr/java/jdk1.6.0_31; export JAVA_HOMEJRE_HOME=/usr/java/jdk1.6.0_31/jre; export JRE_HOMECLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar; export CLASSPATHPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH; export PATH五：环境变量的设置方法二，给某个用户使用，修改该用户的/home/用户/.bash_profile，在文件末尾增加如下内容：JAVA_HOME=/usr/java/jdk1.6.0_31; export JAVA_HOMEJRE_HOME=/usr/java/jdk1.6.0_3 ...继续阅读 (14)

背景：新安装的oracle Linux6.3使用SecureCRTwu无法传输文件原因：要使用SecureCRT的rz命令，要在linux上安装rz工具解决：进入Linux系统[root@linux1 ~]# wget http://freeware.sgi.com/source/rzsz/rzsz-3.48.tar.gz[root@linux1 ~]# tar zxvf rzsz-3.48.tar.gz[root@linux1 ~]# cd src[root@linux1 src]# make posix[root@linux1 src]# cp rz sz /usr/bin进入SecureCRT->传输->zmodem上传列表->添加要上传的文件->开始上传。上传的问题解决了，郁闷的是需要license agreement。幸运的是SecureCRT提供了sftp在连接的标签上按右键，选择连接sftp标签，可以在sftp标签上下载文件 get [-a | -b] remote-path 下载文件，(-a) 强制使用ascii模式，(-b)强制使用binary模式 put [-a | -b] local-path 上传文件，(-a) 强制使用ascii模式，(-b)强制使用binary模式 建议使用-b选项，否则上传到UNIX ...继续阅读 (8)