https://chenguolin.github.io/ https://chenguolin.github.io/ https://chenguolin.github.io/ https://chenguolin.github.io/ https://chenguolin.github.io/ https://chenguolin.github.io/ https://chenguolin.g... ...继续阅读 (11)

一. 安装YARN 安装hadoop brew install hadoop 设置允许远程登录 系统偏好设置-共享-远程登录打开 设置ssh免密码登录 cd ~/.ssh cp id_rsa.pub authorized_keys ssh localhost测试是否需要密码 二. 配置YARN 设置环境变量 /usr/local/hadoop/etc/hadoop/hadoop-en... ...继续阅读 (6)

clone Hue Repository git clone https://github.com/cloudera/hue.git install pre-requisties ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”; brew doctor br... ...继续阅读 (12)

#!/bin/sh ## 依赖包安装目录 INSTALL_DIR=$(pwd)/install_dir if [ ! -d $INSTALL_DIR ]; then mkdir $INSTALL_DIR fi cd $INSTALL_DIR ## python版本 PYTHON=/home/admin/.pythonbrew/pythons/Python-2.7.[0-9]/b... ...继续阅读 (14)

一. datetime Python中处理时间最重要的一个Module就是datetime 引用：import datetime 常用的类： datetime.date: 代表日期（year, month, day） datetime.time: 代表一天内时间（hour, minute, second, microsecond） datetime.datetime: 代表完整的时间，也就是上面... ...继续阅读 (10)

一. 安装依赖库 yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel tkinter tk-devel #下载Python mkdir /tmp/python cd /tmp/python wget https://ww... ...继续阅读 (4)

一. 安装Mysql 安装命令 brew install mysql@5.7 注意Mysql 8.0版本和5.7版本差别很大，5.7很多权限相关的命令都不能在8.0版本上使用 启动Mysql mysql.server start 登录 mysql -h 127.0.0.1 -P 3306 -u root -p 首次登录是没有密码的，直接回车即可 重置密码 SET PASSWORD ... ...继续阅读 (1)

一. find 文件查找 查找txt和pdf文件：find . ( -name “.txt" -o -name ".pdf” ) -print 查找所有非txt文件：find . ! -name “*.txt” -print 指定深度搜索：find . -maxdepth 1 -type f 按类型搜索：find . -type d -print //只列出所有目录 -type f 文件 -t... ...继续阅读 (6)

一. bashrc配置 # ~/.bashrc: executed by bash(1) for non-login shells. # see /usr/share/doc/bash/examples/startup-files (in the package bash-doc) # for examples # If not running interactively, don't do a... ...继续阅读 (9)

一. 运行 run：简记为 r ，其作用是运行程序，当遇到断点后，程序会在断点处停止运行，等待用户输入下一步的命令。 continue （简写c ）：继续执行，到下一个断点处（或运行结束） next：（简写 n），单步跟踪程序，当遇到函数调用时，也不进入此函数体；此命令同 step 的主要区别是，step 遇到用户自定义的函数，将步进到函数中去运行，而 next 则直接调用函数，不会进入到函数体... ...继续阅读 (9)

一. 高级语言的运行机制 我们编程都是用的高级语言(写汇编和机器语言的大牛们除外)，计算机不能直接理解高级语言，只能理解和运行机器语言，所以必须要把高级语言翻译成机器语言，计算机才能运行高级语言所编写的程序。 翻译，其实翻译的方式有两种，一个是编译，一个是解释。两种方式只是翻译的时间不同。 编译型语言 （如C、C++） 使用专门的编译器，针对特定平台（操作系统）将某种高级语言源代码一次性”翻译... ...继续阅读 (10)

一. JVM基础概念 JVM的中文名称叫Java虚拟机，它是由软件技术模拟出计算机运行的一个虚拟的计算机。 JVM也充当着一个翻译官的角色，我们编写出的Java程序，是不能够被操作系统所直接识别的，这时候JVM的作用就体现出来了，它负责把我们的程序翻译给系统“听”，告诉它我们的程序需要做什么操作。 我们都知道Java的程序需要经过编译后，产生.class文件，JVM才能识别并运行它，JVM针对每个... ...继续阅读 (12)

一. 可回收对象的判定 ① 引用计数法 给对象中添加一个引用计数器，每当有一个地方引用它时，计数器值就加1 当引用失效时， 计数器值就减1 任何时刻计数器为0的对象就是不可能再被使用的 优点: 引用计数收集器可以很快地执行，交织在程序的运行之中。这个特性对于程序不能被长时间打断的实时环境很有利。 缺点: 很难处理循环引用，比如图中相互引用的两个对象则无法释放。 应用: Python 和 Sw... ...继续阅读 (19)

一. 数据库配置 查询: show database 创建: CREATE DATABASE {database_name} [WITH [DURATION ] [REPLICATION ] [SHARD DURATION ] [NAME ] 删除: DROP DATABASE {database_name} 二. RETENTION POLICY 查询: SHOW RETENTION PO... ...继续阅读 (13)

CQ创建 CREATE CONTINUOUS QUERY xxxx_cq ON media_quality RESAMPLE FOR 20m BEGIN SELECT sum(play_num) AS play_num, … INTO xxx.rp_10m.yyy FROM xxx.autogen.yyy GROUP BY time(10m), * END 创建数据库 create dat... ...继续阅读 (10)

强制删除一个database DROP DATABASE IF EXISTS dbname CASCADE; 删除一个table drop table if exists xxxx 分区查询 show partitions xxx Hive复杂查询 select * from pic_collection where pic_collection.uid in (select uid fro... ...继续阅读 (12)

一. 安装 hive安装：brew install hive mysql安装：brew install mysql 启动mysql：bash mysql.server start 二. 元数据库配置 Hive默认用derby作为元数据库。这里我们用mysql来存储元数据，下面作一些初始化配置 登录mysql：mysql -u root 创建数据库：create database metast... ...继续阅读 (2)

一. 引言 C++面向对象语言的一大特性就是抽象，在程序设计上的体现就是鼓励面向接口编程，而不要面向具体实现编程。这里所说的抽象和接口与C++的多态性密切相关。 C++的多态分为静态多态（编译时多态）和动态多态（运行时多态）两大类。静态多态通过重载、模板来实现；动态多态就是通过本文的主角虚函数来体现的。 虚函数是C++语言一个非常重要的特性，不同编译器对此特性的实现机制也略有差别，虽然具体实现细... ...继续阅读 (10)

一. static_cast 用法：static_cast (expression) 说明：该运算符把expression转换为typeid类型，但没有运行时类型检查来确保转换的安全性。 用途 用于类层次结构中基类和派生类之间指针或者引用的转换。up-casting (把派生类的指针或引用转换成基类的指针或者引用表示)是安全的；down-casting(把基类指针或引用转换成子类的指针或者引... ...继续阅读 (10)

一. Channel简介 Channel 是Golang的2大核心之一，类似Linux的管道，为并发Goroutine提供一种同步通信机制，借助于Channel不同的Goroutine之间可以相互通信。 创建channel: make(chan type) type表示具体数据类型，除了支持常规的int、float64、string等类型外，还支持struct、interface等ch1 := ... ...继续阅读 (11)

本文转载自：http://lingxiankong.github.io/blog/2013/12/23/Python-setup/前言其实对于setup.py和setup.cfg的关注是从OpenStack的源码包中开始的，OpenStack每个组件的发布时都是一个tar.gz包，同样，我们直接从github上clone代码后也会发现两个文件的存在。当阅读Nova或Ceilometer（其他组件可能也会涉及）的代码时，发现setup.cfg中内容对于代码的理解有很大的影响。那么，到底setup.py和setup.cfg是干什么的？setup.py我们从例子开始。假设你要分发一个叫foo的模块，文件名foo.py，那么setup.py内容如下：fromdistutils.coreimportsetupsetup(name='foo',version='1.0',py_modules=['foo'],)然后，运行python setup.py sdist为模块创建一个源码包root@network:/kong/setup# python setup.py sdistrunning sdistrunning checkwarning:check:missing required meta-data:urlwarning:check:missing meta-data:either(aut ...继续阅读 (4)

1.简介这篇文章主要是简单的介绍一下Spark应用如何在集群上运行, 更进一步的理解Spark所涉及到的相关主件2.架构Spark应用在集群上是独立运行的进程, 通过主程序(main program)的SparkContext进行协调. 一般我们成Spark的主程序为driver程序(driver program)特别的, 在集群上运行Spark, SparkContext对象支持和多种不同类型的集群管理器(Cluster manager)进行通信. 包括Spark自己的standalone集群管理器, Mesos还有YARN. SparkContext和Cluster manager连接之后, Cluster manager会在集群的worker节点上启动executor进程(真正进行数据处理, 计算和存储), 接下来把应用程序的代码(JAR包或Python文件)发送到executor进程, 最后SparkContext在executor进程上调度task执行上诉的流程, 简单用几个步骤进行描述SparkContext和Cluster manager通信Cluster manager在集群的worker节点启动executor进程Cluster manager把Spark应用代码发送给executor进程SparkContext推送task到executor上执行从上图可以看出S ...继续阅读 (14)

1.简介MapReduct框架从hadoop-0.23版本以后发生了重大的变革, 新的计算框架我们称为MapReudce 2.0 或者 YARN(Yet-Another-Resource-Negotiator)这篇文章主要是简单的介绍YARN的架构, 因为后续我们会把Spark运行在YARN上MapReduct 2.0最主要的变革是把资源分配和任务调度隔离. 一个全局的资源管理器称为ResourceManager (RM), 同时每个应用本身有一个ApplicationMaster (AM). 应用可以是单独的Job也可用是MapReduce job或者是是一个DAG job.ResourceManager和每个worker结点的进程NodeManager (NM)组成数据处理框架, ResourceManager对所有应用进行资源分配,管理和调度每个应用程序都有一个ApplicationMaster, ApplicationMaster从ResourceManager分配到资源, 在NodeManager执行和监控应用2. 架构ResourceManager 有2个主要的组件，调度器（Scheduler）和应用管理（ApplicationsManager）1). 调度器（Scheduler）负责分配资源给运行的应用，常见的比如容量，队列等。调度器只是单纯的进行任务的调度和资源分配 ...继续阅读 (9)

1. 概览 Apache Spark是一个快速且通用的集群计算系统，它提供了Java, Scala, Python 和 R 这四种语言的API，同时提供了一个最佳的图执行引擎。同时它也提供了很多工具，Spark-SQL用来提供SQL和结构化数据处理；MLlib是Spark的机器学习库；Graph X用来进行图进行；Spark Streaming则提供数据的流式处理。2.  ...继续阅读 (13)

    参考自http://www.powerxing.com/install-hadoop/    基本环境: ubuntu 12.04 32位一. 安装yarn伪分布式集群     1. 创建新用户(1) 添加用户: sudo useradd -m hadoop -s /bin/bash (2) 修改密码: sudo passwd hadoop (3) 添加sudo权限: sudo adduser hadoop sudo (4) 注销选择hadoop用户登录     2. 系统环境配置(1) sudo apt-get update (2) 安装vim: sudo apt-get install vim (3) 安装ssh: sudo apt-get install openssh-server     3. 安装java环境(1) 安装jre和jdk: sudo apt-get install openjdk-7-jre openjdk-7-jdk (2) 设置环境变量JAVA_HOME: dpkg -L openjdk-7-jdk | gre ...继续阅读 (3)

1. 什么是欠拟合和过拟合先看三张图片，这三张图片是线性回归模型 拟合的函数和训练集的关系第一张图片拟合的函数和训练集误差较大，我们称这种情况为 欠拟合第二张图片拟合的函数和训练集误差较小，我们称这种情况为 合适拟合第三张图片拟合的函数完美的匹配训练集数据，我们称这种情况为 过拟合  类似的，对于逻辑回归同样也存在欠拟合和过拟合问题，如下三张图  2. 如何解决欠拟合和过拟合问题欠拟合问题，根本的原因是特征维度过少，导致拟合的函数无法满足训练集，误差较大。欠拟合问题可以通过增加特征维度来解决过拟合问题，根本的原因则是特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。解决过拟合问题，则有2个途径减少特征维度; 可以人工选择保留的特征，或者模型选择算法正则化; 保留所有的特征，通过降低参数θ的值，来影响模型3. 正则化回到前面过拟合例子, h(x) = θ0 + θ1x1 + θ2x2 + θ3x3 + θ4x4 从图中可以看出，解决这个过拟合问题可以通过消除特征x3和x4的影响, 我们称为对参数的惩罚, 也就是使得参数θ3, θ4接近于0。最简单的方法是对代价函数进行改造，例如这样在求解最小化代价函数的时候使得参数θ3, θ4接近于0。正则化其实就是通过对参数θ的惩罚来影响整个模 ...继续阅读 (5)

1. 引言回到线性回归模型中，训练集和代价函数如下图如果我们还用J(θ)函数做为逻辑回归模型的代价函数，用H(x) = g(θ^T * x)，曲线如下图所示发现J(θ)的曲线图是"非凸函数"，存在多个局部最小值，不利于我们求解全局最小值因此，上述的代价函数对于逻辑回归是不可行的，我们需要其他形式的代价函数来保证逻辑回归的代价函数是凸函数。2. 代价函数这里我们先对线性回归模型中的代价函数J(θ)进行简单的改写用Cost(h(x), y) = 1/2(h(x) - y)^2 代替在这里我们选择对数似然损失函数做为逻辑回归模型的代价函数分析下这个代价函数(1). 当y=1的时候，Cost(h(x), y) = -log(h(x))。h(x)的值域0~1，-log(h(x))的曲线图，如下从图中可以看出h(x)的值趋近于1的时候，代价函数的值越小趋近于0，也就是说预测的值h(x)和训练集结果y=1越接近，预测错误的代价越来越接近于0，分类结果为1的概率为1当h(x)的值趋近于0的时候，代价函数的值无穷大，也就说预测的值h(x)和训练集结果y=1越相反，预测错误的代价越来越趋于无穷大，分类结果为1的概率为0(2). 当y=0的时候， Cost(h(x), y) = -log(1-h(x))。h(x)的值域0~1，-log(1-h(x))的曲线图，如下从图中可以看出h(x ...继续阅读 (6)

1. 逻辑回归监督学习中另一个问题为分类问题，常见的分类问题例子有邮件是否是垃圾邮件，0表示垃圾邮件，1表示正常邮件在线交易是否会欺骗用户，0表示会欺骗，1表示不会患肿瘤患者是良性还是恶性，0表示恶性，1表示良性这些问题，可以归之于二分类问题，y表示因变量，可以定义如下其中0表示负例，1表示正例 同理，对于多分类问题来说，因变量y的值可以取{0,1,2,3 ... n}我们先从二分类问题入手，理解什么是逻辑回归分类逻辑回归（Logistic Regression）是一种用于解决二分类问题（0 or 1）的机器学习模型 逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）逻辑回归假设因变量y 服从伯努利分布，而线性回归假设因变量y服从高斯分布因此，对于逻辑回归的假设函数h(x)，期望得到的值满足 0 <= h(x) <= 1 我们可以设置一个阈值d，当h(x) < d的时候我们预测为0，当h(x) >= d的时候预测为1; 所以h(x)最终预测的值y是一个离散的0,1集合 假设阀值d = 0.5当h(x) >= 0.5的时候，则预测y=1, 既y属于正例当h(x) < 0.5的时候，则预测y=0, 既y属于负例2. 逻辑回归模型前面 ...继续阅读 (14)

1. 正规方程前面几篇文章里面我们介绍了求解线性回归模型第一个算法 梯度下降算法，梯度下降算法最核心的是找到一个学习速率α，通过不断的迭代最终找到θ0 ... θn, 使得J(θ)值最小。今天我们要介绍一个解决线性回归模型新的算法 正规方程 对于函数f(x) = ax^2 + bx + c 而言，要求其最小值，是对其求导数并且设置导数值为0.我们知道，多维特征变量的线性回归模型中，代价函数表达式，如下图所示扩展到n+1个参数θ0 ... θn，求函数J(θ)也可以对每个参数求导并另导数为0经数学证明，运用线性代数的公式，可以直接求解特征向量θ（θ0,θ1 ... θn）使得代价函数J(θ)最小X表示特征向量矩阵X^T表示的是矩阵X的转置矩阵(X^T*X)^-1，表示矩阵X的转置矩阵和它相乘得到的新的矩阵求逆Y表示训练集中，结果矩阵2. 举例说明假设我们预测房价的训练集如下所示训练集m=4，特征维度n=4，同时我们假设X0=1，因此特征矩阵X=m*(n+1)证明如下X = m*(n+1)X^T = (n+1)*m(X^T * X) = (n+1) * (n+1)(X^T * X)^-1 = (n+1) * (n+1)Y = m * 1X^T * Y = (n+1) * 1(X^T * X)^-1 * X^T * Y = ((n+1) * (n+1)) * ...继续阅读 (27)

1. 特征缩放实际当我们在计算线性回归模型的时候，会发现特征变量x，不同维度之间的取值范围差异很大。这就造成了我们在使用梯度下降算法的时候，由于维度之间的差异使得Jθ的值收敛的很慢。我们还是以房价预测为例子，我们使用2个特征。房子的尺寸（1~2000），房间的数量（1-5）。以这两个参数为横纵坐标，绘制代价函数的等高线图能看出整个图显得很扁，假如红色的轨迹即为函数收敛的过程，会发现此时函数收敛的非常慢。为了解决这个问题，我们采用特征缩放,所谓的特征缩放就是把所有的特征都缩放到一个相近的取值范围内。比如-1~1，或者-0.5~2，或者-2~05 等等，只要不超过-3 ~ 3这个范围，基本上都能够满足梯度下降算法最简单的方法采用下面的公式进行计算Xn表示第n个特征，也就是特征变量X的第n维Un表示特征的平均值，也就是所有特征向量集第n个特征的平均值Sn表示标准差，也就是所有特征向量集第n个特征中最大值和最小值的差实际上，当我们在运用线性回归时，不一定非要直接用给出的 x1, x2, x3 ... xn 作为特征，有时候可以自己创造新的特征。 比如训练集中只给了房子长度和宽度两个特征，但是我们可以用长度X宽度得到面积这个新的特征。 有时，通过定义新的特征，可以得到一个更好的模型。2. 学习速率梯度下降算法中，最合适即每次跟着参数θ变化的时候，J(θ)的值都应该下降 到目前为止， ...继续阅读 (49)