1.load  Dgraph数据./data_processing_CLI -d default -t people_pay_info2.更新 Dgraph数据./data_processing_CLI -d default -t org_base_info --refreshData 10422:org_base_infodataset logic name是数字:字符的格式，从project setting->data set manager-> 找其中的逻辑名，需要再设置其中的Configure for Updates，选择唯一字段 ...继续阅读 (26)

sqoop import --connect jdbc:oracle:thin:@192.168.31.222:1521:orcl --username shebaouser --password shebaouser --table ORG_PAY_INFO --num-mappers 2  --delete-target-dir --hive-import --hive-database bdd --hive-table ORG_PAY_INFO --hive-overwrite --fields-terminated-by '\t'1.995 s BY01sqoop import --connect jdbc:oracle:thin:@192.168.31.222:1521:orcl --username shebaouser --password shebaouser --table IY02 --num-mappers 10 --direct --target-dir /user/hive/warehouse/shebaouser --delete-target-dir --hive-import --hive-database bdd --hive-table IY02 --hive-overwrite --fields-terminated-by '\t'2 ...继续阅读 (22)

a. perl install Can't locate ExtUtils/MakeMaker.pm yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker===================On your machine, create a new directory or choose an existing one to be the installation source directory.This directory must containOn your machine, create a new directory or choose an existing one to be the installation source directory.This directory must contain at least 10GB of free space.Within the installation source directory, create a new directory namedpackages.Download the BDD media pack from theOracleSoftware Delivery Cloud.Be sure to download al ...继续阅读 (30)

为了不忘，记录以下mysqladmin -uroot flush-privileges password "wonder" mysql5.6版本 ...继续阅读 (25)

1.ssh等效性，chmod 600 authorized_key2.sudo nopassword , visudo   bdd     ALL=(ALL)       NOPASSWD: ALL3.install chinese Pinyin input4.copy /opt5.install gcc6. install python2.6.6, MUST!!! NOT install yum install python ...继续阅读 (28)

[weblogic@mypc1 security]$ java -classpath /opt/weblogic/wlserver/server/lib/weblogic.jar weblogic.security.utils.AdminAccount weblogic Oracle_1<space><dot>进入AdminServer目录，如：%DOMAIN_HOME%/servers/AdminServer。将其中的data目录重命名，如：data_old。或者备份到别的地方。修改AdminServer的boot.properties文件，如：%DOMAIN_HOME%/servers/AdminServer/security /boot.properties，修改用户名与密码明文 ...继续阅读 (14)

提示没有权限[bdd@mypc1 CDH]$ sudo -u hdfs hadoop dfsadmin -safemode leaveyarn.scheduler.maximum-allocation-mbyarn.scheduler.maximum-allocation-mb ...继续阅读 (27)

[2016-12-02T15:08:15.746+08:00] [DataProcessing] [INFO] [] [org.apache.spark.Logging$class] [tid:main] [userID:bdd] Application report for application_1480655448296_0002 (state: ACCEPTED)增大内存，可以使用spark-shell测试yarn.nodemanager.resource.memory-mbyarn.scheduler.maximum-allocation-mb ...继续阅读 (28)

CommunityTutorialsAPIToolsInstall MySQL on CentOS 7byethandonDec 04, 2014 IntermediateTable of ContentsIntroductionRequirementsAdd the RepositoryInstall MySQL PackagesStart MySQL ServerSecure MySQLFirewall RulesCreate Database UserIntroductionMySQL is a popular open source relational database. The popularity of MySQL means there is an abundance of information online and well documented client libraries available.MySQL supports many common database features such as replication, partitioning, triggers, views, and stored procedures. A plugin storage architecture allows support for multiple s ...继续阅读 (14)

a.删除Agent节点      # rm -rf /opt/cm-5.8.3/lib/cloudera-scm-agent/*b.清空主节点CM数据库      进入主节点的Mysql数据库，然后drop database cm;c. 删除Agent节点namenode和datanode节点信息     # rm -rf /opt/dfs/nn/*     # rm -rf /opt/dfs/dn/*d.在主节点上重新初始化CM mysql 数据库     # /opt/cm-5.8.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pwonder --scm-host localhost scm scm scme.执行启动脚本 root 权限     主节点：# /opt/cm-5.8.3/etc/init.d/cloudera-scm-server start     Agent节点：# /opt/cm-5.8.3/etc/init.d/cloudera-scm-ag ...继续阅读 (18)

cd /etc/sudoers.dtouch nopasswd4sudovi nopasswd4sudo用户名 ALL=(ALL) NOPASSWD : ALL ...继续阅读 (21)

ubuntu14.04:sudo apt-get install linux-generic-lts-wilyubuntu15.10:wget http://mirrors.kernel.org/ubuntu/pool/main/l/linux-firmware/linux-firmware_1.156_all.deb sudo dpkg -i linux-firmware_1.156_all.deb经验证好用 ...继续阅读 (22)

HUE使用Django开发，在启动时，执行$/opt/hue-3.11/build/env/bin$ ./hue runserver 默认是打开127.0.0.1:8000的访问使用下面的语句打开所有ip访问$/opt/hue-3.11/build/env/bin$ ./hue runserver 0.0.0.0:8000 ...继续阅读 (37)

找不到libgtk-x11-2.0.so缺少的使32bit的库。下面的安装已经不存在了sudo apt-get install ia32-libs ia32-libs-gtk使用这个安装sudo apt-get install libgtk2.0-0:i386安装adobe AIR还需要32bit的libstdc++error while loading shared libraries: libstdc++.so.6: cannot open shared object file: No such file or directorysudo apt-get install lib32stdc++6 ...继续阅读 (35)

1. sqoop-1.4.6.jar第一步先将sqoop jar包拷贝至Hadoop的mapreduce目录下：cp$SQOOP_HOME/sqoop-1.4.6.jar$HADOOP/share/hadoop/mapreduce/2. JDBC jar包第二步将Oracle和MySQL分别需要用到的jar包拷贝至$SQOOP_HOME/lib下cp ojdbc6.jar$SQOOP_HOME/lib/cp mysql-connector-java-5.1.38-bin.jar$SQOOP_HOME/lib/2. 导入1. 从RDB导入表数据至HDFS1. Oracle从Oracle数据库的Schema为pdbORCL中导入表PUB_DATE_Dsqoopimport--connect jdbc:oracle:thin:@//myoracle:1521/pdbORCL --username DM -password123456--table PUB_DATE_D --warehouse-dir /user/nanyue/oracletest -m1此时会在/user/nanyue/下生成目录为oracletest的目录，且表中的数据均在这个目录下，字段之间以逗号（，）作为分隔符。2. MySQL如果不指定目录，默认文件导入到/user/nanyue下，指定目录用–warehouse ...继续阅读 (30)

如果需要创建hive表的话，则执行sqoop的机器需要可以直接执行hive。sqoop import --connect jdbc:oracle:thin:@//192.168.1.222:1521/orcl --username ss -password ss --table ABTABLE --hive-import --hive-database default --create-hive-table -m 1如果-m 设置为大于1，则必须加入--split-by 字段名在一些情况下，会导致ubuntu图形界面崩溃退出，建议先更新ubuntu的补丁。然后再调整内存设置。sqoop2实在是太难使了，真的不推荐，经常出现莫名其妙的错误。split-by参数设置的比较弱智，如果使int分配的不均匀会导致有的map累死，有的闲死 ...继续阅读 (30)

[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected解决办法：cp /opt/apache-hive-1.2.0/lib/jline-2.12.jar /opt/hadoop-2.6.4/share/hadoop/yarn/lib重新进入hive ...继续阅读 (27)

1.Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /output/.aa5fadaa-873e-4b6e-aa7c-42302c5f8452. Name node is in safe mode.关闭hadoop的安全模式  $hadoop dfsadmin -safemode leave2.如果碰到匿名权限的问题,user:  is not allowed to impersonate请设置core-site.xml        <property>                <name>hadoop.proxyuser.os的用户名.hosts</name>            &nbs ...继续阅读 (31)

1.修改配置文件中的@LOGDIR@和@BASEDIR@sqoop.properties使用真实的目录替换，否则derby启动会失败2.sqoop2-tool verify校验失败，检查sqoop.properties 中的hadoop 配置文件路经是否出错。查看日志，配置正确的路径/opt/hadoop/etc/hadoop之类3.严格按照官方文档来执行 ...继续阅读 (38)

spark:$SPARK_HOME/conf/spark-env.sh修改SPARK_WORKER_MEMORY=4ghadoop$HADOOP_HOME/etc/hadoop/hadoop-env.sh修改增加export HADOOP_HEAPSIZE=8192 ...继续阅读 (21)

写在前面一：本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。写在前面二：使用软件说明约定，Spark相关软件存放目录：/usr/local/yujianxin/spark，Hadoop相关软件存放目录： /home/yujianxin/hadoop。Spark集群示意图一、具体安装步骤1、安装jdk2、安装Hadoop集群，参考http://blog.csdn.net/aaronhadoop/article/details/248672573、安装 Scalacd /usr/local/yujianxin/spark/tar -zxvf scala-2.9.3.tgz修改/etc/profile4、安装Spark4.1、修改/etc/profilecd /usr/local/yujianxin/spark/tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz4.2、配置Spark4.2.1、修改配置文件spark-env.shcd /usr/local/yujianxin/spark/spark-0.7.2/confcp spark-env.sh.template spark-env.shvi spark-env.sh ...继续阅读 (25)

本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行 Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。本教程由厦门大学数据库实验室出品，转载请注明。为了方便新手入门，我们准备了两篇不同系统的 Hadoop 伪分布式配置教程。但其他 Hadoop 教程我们将不再区分，可同时适用于 Ubuntu 和 CentOS/RedHat 系统。例如本教程以 Ubuntu 系统为主要演示环境，但对 Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与 CentOS 7 的操作区别等都会尽量给出注明。号外号外，美团点评2017校园招聘内推开始啦！应届同学不要错过，猛戳查看。环境本教程使用Ubuntu 14.04 64位作为系统环境，基于原生 Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1，Hadoop 2.4.1 等。本教程简 ...继续阅读 (23)

安装JDK下载jdk(以jdk-8u91-linux-x64.tar.gz为例)新建文件夹sudo mkdir /usr/lib/jvm解压下载的jdk文件并移动到新建的文件夹下sudo tar -xzvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm进入jvm文件夹并重命名解压出来的文件夹cd/usr/lib/jvm sudo mv jdk1.8.0_91 jdk添加环境变量sudo vim /etc/profile# 添加如下配置exportJAVA_HOME=/usr/lib/jvm/jdkexportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH使配置生效source /etc/profile测试java -version安装Scala类似于jdk的安装下载scala(以scala-2.11.8.tgz为例)解压下载的scala文件sudo tar -xzvf scala-2.11.8.tgz -C /usr/local重命名cd/usr/localsudo mv scala-2.11.8 scala添加环境变量sudo vim /etc/profile# 在最后添加下 ...继续阅读 (39)

putty连接没有问题xshell报错No matching outgoing encryption，没有匹配的算法 解决方法：Ciphers aes128-cbc,aes192-cbc,aes256-cbc,aes128-ctr,aes192-ctr,aes256-ctr,3des-cbc,arcfour128,arcfour256,arcfour,blowfish-cbc,cast128-cbc MACs hmac-md5,hmac-sha1,umac-64@openssh.com,hmac-ripemd160,hmac-sha1-96,hmac-md5-96 KexAlgorithms diffie-hellman-group1-sha1,diffie-hellman-group14-sha1,diffie-hellman-group-exchange-sha1,diffie-hellman-group-exchange-sha256,ecdh-sha2-nistp256,ecdh-sha2-nistp384,ecdh-sha2-nistp521,diffie-hellman-group1-sha1,curve25519-sha256@libssh.org在/etc/ssh/sshd_config中增加上述的三行配置信息重启 ...继续阅读 (34)

安装配置TDE1、 确定你的版本信息TDE是Oracle10gR2中推出的一个新功能，所以在规划使用TDE的时候，要保证你的Oracle版本是在10gR2或者以上。下面是笔者测试SQL> select * from v$version;BANNER---------------------------------------------------------------Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - ProdPL/SQL Release 10.2.0.1.0 - ProductionCORE10.2.0.1.0    ProductionTNS for 32-bit Windows: Version 10.2.0.1.0 - ProductionNLSRTL Version 10.2.0.1.0 - Production2、创建一个新目录，并指定为Wallet目录使用TDE的一个重要过程就是对于主加密key的创建管理，数据库文件外的key是存放在称作wallet的目录中。对key的使用，oracle支持多个数据库组件使用相同的wallet，但是Oracle推荐使用单独的wallet来存放主加密key。设置wallet目录的方法很简单，在参数文件sqlnet. ...继续阅读 (54)

性能调优点：1.考虑关闭THP2.将可能存在单点的节点放在一起，提供冗余3.ulimit文件打开限制limits.conf4.内存overcommit，50%小5.ACPI关闭6.充足的内存7.合理的HDFS blocksize，默认推荐128M8.dfs.replication，复制数量9.datanode的可用磁盘空间，单独分区10.考虑dfs的权限分配11.hdfs的nfs服务，portmap服务可能有冲突，可以先关闭，然后hdfs加载hdfs的portmap和nfs3 ...继续阅读 (107)

常见问题:1.ResourceManager不能为0.0.0.0，见wiki，如果有这种情况可以设置yarn-site.xml<property>      <name>yarn.resourcemanager.address</name>      <value>master:8032</value>    </property>    <property>      <name>yarn.resourcemanager.scheduler.address</name>      <value>master:8030</value>    </property>    <property>      <name>yarn.resourcemanager.resource-tracker.address</name>      <value&g ...继续阅读 (62)

本文将介绍Apache Spark 1.6.0在单机的部署，与在集群中部署的步骤基本一致，只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用，但如果用到hdfs系统的话hadoop和jdk也要配置，建议全部安装配置好。我的博客原文地址链接：http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi.html0.Spark的安装准备Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的：Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).我的电脑环境是Ubuntu 14.04.4 LTS，还需要安装：jdk-8u73-linux-x64.tar.gzhadoop-2.6.0.tar.gzscala-2.10.6.tgzspark-1.6.0-bin-hadoop2.6.tgz1.安装jdk解压jdk安装包到任意目录：cd /home/tom$tar -xzvf jd ...继续阅读 (31)

搭建了基于Fabric的高可用性测试平台，最终的结论是Fabric的使用比传统的商业软件如ADG要差很多。1.一个标记位"faulty"状态的服务器不能提升为secondary或primary，需要先转换成"spare"状态。使用命令mysqlfabric server set_status <server-address> spare2.fabric本身也是单点故障3.GTID复制受限4.操作过程出现莫名错误 ...继续阅读 (29)

接源码安装部分，将路径更换，端口更换cmake . -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/opt/mysql3307/software/mysql-5.7.11/boost -DCMAKE_INSTALL_PREFIX=/opt/mysql3307/software -DMYSQL_DATADIR=/opt/mysql3307/data -DSYSCONFDIR=/opt/mysql3307/software/etc -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_MEMORY_STORAGE_ENGINE=1 -DWITH_PERFSCHEMA_STORAGE_ENGINE=1 -DWITH_READLINE=1 -DMYSQL_UNIX_ADDR=/mysql3307.sock -DMYSQL_TCP_PORT=3307 -DENABLED_LOCAL_INFILE=1 -DWITH_PARTITION_STORAGE_ENGINE=1 -DEXTRA_CHARSETS=all -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci  ...继续阅读 (30)