国内网络访问国外源，永远都很麻烦。主要方法有三种：1. vpn2. https_proxy和http_proxy指向代理服务器3. 国内镜像站点3是最好的。具体参考这个网站说明：http://www.4gamers.cn/ ...继续阅读 (30)

突然有一天就慢了，看了网上的一些文章，发现都是个别经验，还是需要一个诊断方法。分析启动时间消耗在哪里emacs --timed-requires启动后，我看到*load-times* buffer里有一条最大的spacemacs Loaded ~/.emacs.d/.cache/savehist 68s再看一下savehist，68M，文件太大。直接删除该文件，再启动，问题解决了。分析CPU和内存消耗emacs --profile查看*Messages*一般可以查看load失败或者warning，然后逐一修正。 ...继续阅读 (32)

用org mode方式编辑邮件是一个很有诱惑的想法，同时还可以转换成html文档发出去。图片暂时不清楚怎么弄。在.spacemacs文件中添加下面这段：;; convert org content in mu4e to html and send (require 'org-mime) (defun mu4e-compose-org-mail () (interactive) (mu4e-compose-new) (org-mu4e-compose-org-mode)) (defun htmlize-and-send () "When in an org-mu4e-compose-org-mode message, htmlize and send it." (interactive) (when (member 'org~mu4e-mime-switch-headers-or-body post-command-hook) (org-mime-htmlize) (message-send-and-exit))) (add-hook 'org-ctrl-c-ctrl-c-hook 'htmlize-and-send t)然后重新启动emacs后进入mu4e, M-x mu4e-com ...继续阅读 (28)

这是一个简单的场景，目的是将其他语言编写的程序集成到emacs里面，而不是打开emacs shell，执行这个脚本。假设有一个文件，里面存放的是文本，用emacs打开，然后选择一段文本现在运行一个自定义命令M-x get-lengthget-length会运行预先准备好的newlisp脚本，来统计被选中的文本的长度，输出到一个新的 buffer，并显示该buffer.现在准备一个文本文件: input.txt，里面有一堆字符串maaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaadddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddmaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaadddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddmaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa ...继续阅读 (31)

Ubuntun 16.10默认使用的是集成显卡。可以通过搜索Additional Drivers里找到Nvida显卡驱动，安装选择Apply Changes后，等待安装完成，然后重新启动。这时在搜索程序中会看到NVIDIA X Server Settings查看Primary Profiles，可以看到当前正在使用独立显卡NVIDIA ...继续阅读 (17)

先上图：可以看到x和w都有自己的latex下标数字。这是一个简单神经元的结构图。首先创建dot文件digraph G { x_1-> Neuron[label=w_1]; x_2 -> Neuron[label=w_2]; x_3 -> Neuron[label=w_3]; Neuron -> Y; y1[label="y"]; y2[label="y"]; y3[label="y"]; Y -> y1; Y -> y2; Y -> y3; }然后用命令行生成tex文件#!/bin/bash dot2tex -tmath neural.dot > neural.tex #latex neural.tex #dvipng -o neural.png neural.dvi后面两行生成的png图片只有片段，所以注释掉没有使用。这个命令会生成neural.tex文件用emacs打开该文件，C-c C-c运行Tex-command-master命令，会询问，选择latex后运行会生成pdf文件，文件里面有图形。截图后就是前面展示的图形。试了其他方法，比如python的networkx，更麻烦。还是graphviz功能和文档比较好。目前的缺点是无 ...继续阅读 (37)

新买的小米笔记本上下方向键特别小，比较容易按错i，干脆切换成Emacs传统方式控制行内移动向右移动一个字符C-f向左移动一个字符C-b移动到行首C-a移动到行尾C-e移动到单词尾部M-f移动到单词头部M-b行间移动移动到下一行C-n移动到上一行C-p向上移动buffer的一半高度M-rbuffer不会移动，移动到顶部，中间，或者底部三个高度位置，连续使用就连续切换到这三个位置。每次都在行首。移动到buffer开头M-<移动到buffer尾部M->PageDownC-vPageUpM-v移动到某行M-g g ...继续阅读 (30)

3寻找θ向量前面介绍了如何在实际场景中使用预测函数计算概率，但是关键在于如何找到合适的θ向量。本节重点讨论这方面的数学原理。3.1最大似然公式不过一般情况下，我们是没有办法轻易获得θ的。所以需要一些方法来推导出θ。如果训练集 T 为{(x1,y1)(x2,y2)(x3,y3)(x4,y4)(x5,y5)...}，其中：xi为自变量，yi为自变量对应的分类（1 或者 0), 可以应用对数似然估计法估计参数θ3.1.1先建立概率公式P(y|x;θ)=(hθ(x))y(1−hθ(x))1−y(2)这里 y＝0 或者 1,这是一个常用的技巧，通过 y=0 或者 1 将两个概率公式组合在一起。3.1.2建立似然公式L(θ|x1,x2,…,xn)=∏i=1nP(yi|xi;θ)=∏i=1n(hθ(x))yi(1−hθ(x))1−yi(3)这个公式这样理解1 批样本中每个样本的特征向量x1,x2,…,xn的和权重θ向量作为输入参数后面用 x 表示特征向量对每一个样本的预测值的效果评分分数这么表示：概率>0.5 的判定为预测为 1, 分数就取hθ(x)y, 概率<=0.5 的判定为预测为 0, 分数就取1−hθ(x)1−y获得这批样本的总评分把每个样本的评分相乘就得到这批样本在取θ向量值时的总评分这里，连乘公式用到的 i=1..n, i 是样本编号，不是特征编号。需要用数学方式找到一个 ...继续阅读 (31)

2逻辑回归的基本步骤这也是一般机器学习的解决思路2.1获取样本这些样本都有实测结果1 或者 0 表示事件发生或者不发生样本的数量要足够否则会造成过拟合，或者训练效果不好样本的准确性要有保证2.2选择逻辑回归公式作为预测函数下面的 h 函数就是预测函数,g 函数就是逻辑回归公式, 也就是12hθ(x)=g(θTx)=11+e−θTx(1)预测函数的输入是 x 向量和θ向量x 向量就是特征值向量θ向量就是特征的权重,θ0就是 Inteception, 多元线性函数的截距输出是事件发生的概率2.3对比预测结果和实测结果，获得最佳θ寻找让预测结果最接近实测结果的θ通常作法就是使用最（极）大似然估计计算θ2.4用θ对新的 x 向量作预测 ...继续阅读 (26)

7组合7.1定义从 n 个不同元素中，任取 m(m ≤ n）个元素并成一组，叫做从 n 个不同元素中取出 m 个元素的一个组合；从 n 个不同元素中取出 m(m ≤ n）个元素的所有组合的个数，叫做从 n 个不同元素中取出 m 个元素的组合数。7.2公式用符号 C(n,m) 表示, C 指 Combination计算公式: n >= mCmn=n!m!(n−m)!(11) ...继续阅读 (33)

2数学期望2.1英文名称expected value2.2所属学科概率论与数理统计2.3定义在概率论和统计学中，期望值（或数学期望、或均值，亦简称期望，物理学中称为期待值）是指在一个离散性随机变量试验中每次可能结果的概率乘以其结果的总和。换句话说，期望值是随机试验在同样的机会下重复多次的结果计算出的等同“期望”的平均值。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。（换句话说，期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。）2.4公式用 E(A)表示随机事件 A 的期望2.5计算方法2.5.1案例 1把所有的事件和发生这些事件所对应的概率都写出来,再把事件（一般是数字）与概率乘起来,再相加,和就是期望值.举个例子,比如一件衣服卖 5 元的概率为 1/6,10 元为 2/6, 15 元为 3/6, 则期望值 E=5×1/6＋10×2/6＋15×3/6=70/6（其实期望值就是平均值）2.5.2案例 2生产 A,B 两种新产品各需资金 200 万元试制 A 产品 50 次，成功 40 次，如果生产成功,当年可获利 100 万元, 如果失败, 将亏损 80 万元试制 B 产品 50 次，成功 35 次,如果生产成功,当年可获利 80 万元,如果失败,将亏损 50 万元分别求出投资生产 A.B 两种产品的期望值.并根据计算 ...继续阅读 (24)

10显著性检验又称假设检验10.1定义就是事先对总体（随机变量）的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（原假设）是否合理，即判断总体的真实情况与原假设是否显著地有差异。或者说，显著性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。10.2基本思想显著性检验的基本思想可以用小概率原理来解释。1．小概率原理小概率事件在一次试验中是几乎不可能发生的，假若在一次试验中事件 事实上发生了。那只能认为事件 不是来自我们假设的总体，也就是认为我们对总体所做的假设不正确。2．观察到的显著水平由样本资料计算出来的检验统计量观察值所截取的尾部面积为。这个概率越小，反对原假设，认为观察到的差异表明真实的差异存在的证据便越强，观察到的差异便越加理由充分地表明真实差异存在。3．检验所用的显著水平针对具体问题的具体特点，事先规定这个检验标准。4．在检验的操作中，把观察到的显著性水平与作为检验标准的显著水平标准比较，小于这个标准时，得到了拒绝原假设的证据，认为样本数据表明了真实差异存在。大于这个标准时，拒绝原假设的证据不足，认为样本数据不足以表明真实差异存在。5．检验的操作可以用稍许简便一点的作法：根据所提出的显著水平查表得到相应的 值，称作临界值，直接用检验统计量的观察值与临界值作比较，观察值落在临界值所划定的尾部内 ...继续阅读 (25)

3方差3.1英文名称variance3.2所属学科概率论和统计3.3实际用途概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。标准差、方差越大，离散程度越大。反之,离散程度越小。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。3.4历史“方差”（variance）这一词语率先由罗纳德·费雪（Ronald Fisher）在其论文《The Correlation Between Relatives on the Supposition of Mendelian Inheritance》中提出。3.5定义是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。3.6公式设 X 是一个随机变量，若E{[X−E(X)]2}存在，则称E{[X−E(X)]2}为 X 的方差，记为 D(X),Var(X)或 DX，其中 E(X)指的是对 X 的预期值，而 X 是实际值。即D(x)=E{[X−E(X)]2}称为方差。这里E{}只能理解为一个记号，真正的公式在这里：s2=1n−1∑i=1n(xi−x¯)2(1)右边的求和公式可以转换成更容易计算的形式：∑i=1n(xi−x¯)2=∑i=1n(x2i−2xiSumn+Sum2n2)=∑i=1nx2i−∑i=1n2xiSumn+∑i=1nSum2n2=∑i=1nx2i−2∑i=1nxiSumn+∑i=1nSum2 ...继续阅读 (28)

1.1皮尔逊相关系数1.1.1简介是一种度量两个变量间线性相关程度的方法。协方差作为描述X和Y相关程度的量，在同一物理量纲之下有一定的作用，但同样的两个量采用不同的量纲使它们的协方差在数值上表现出很大的差异。为此引入皮尔逊相关系数ρ。1.1.2公式相关理论方差协方差显著性检验定义参考皮尔森相关系数及原理ρXY=Cov(X,Y)Var(X)Var(Y)−−−−−−−−−−−−√(1)计算结果的值域为[-1,1]，其中，1 表示X和Y完全正相关，-1 表示完全负相关，0 表示无关。绝对值越大表明相关性越强.1.1.3例子下面是使用scipy库的pearsonr函数的示例代码,来自干货：结合Scikit-learn介绍几种常用的特征选择方法#!/usr/bin/pythonimportnumpyasnpfromscipy.statsimportpearsonr np.random.seed(0)size=300x= np.random.normal(0,1, size)print("Lower noise", pearsonr(x, x + np.random.normal(0,1, size)))print("Higher noise", pearsonr(x, x + np.random.normal(0,10, size)))运行结果如下：$ ...继续阅读 (25)

一直没搞定，最近发现emacs 自带的输入法在spacemacs下面特别慢，而且容易造成程序卡死，所以还是再试了一下，搞定了。方法总结如下：~/emacs25.sh文件如下：#!/bin/bash export GTK_IM_MODULE=fcitx export QT_IM_MODULE=fcitx export XMODIFIERS=@im=fcitx export LC_CTYPE=zh_CN.UTF-8 emacs然后在终端里面试一下，可以使用了。现在在xfce桌面上这样设置，进入keyboard设置Ctrl-Alt-e 为/home/dean/emac25.sh以后用快捷键来启动emacs。搞定 ...继续阅读 (27)

有了emacs26后，就可以使用xwidget浏览器了打开网页：M-x xwidget-webkit-browse-url输入http://v.qq.com, 看到网页已经打开，gif短片能正常播放。但是flash影片放不了。现在改进一下：首先每次打开新的一个页面，不要重用一个buffer。创建文件/home/dean/emacs26/.emacs.d/init.el添加如下配置;; by default, xwidget reuses previous xwidget window, ;; thus overriding your current website, unless a prefix argument ;; is supplied ;; ;; This function always opens a new website in a new window (defun xwidget-browse-url-no-reuse (url &optional sessoin) (interactive (progn (require 'browse-url) (browse-url-interactive-arg "xwidget-webkit URL: " ...继续阅读 (26)

首先下载github上的代码，此时是emacs26代码，并且无法切换分支。github网站上可以看到很多分支，但是客户端命令行无法显示和切换。git clone --depth 1 https://github.com/emacs-mirror/emacs.git然后安装一些依赖库sudo pacman -S git autoconf automake gtk3 webkitgtk编译cd emacs ./autogen.sh all ./configure --with-xwidgets --with-x --with-x-toolkit=gtk3 --with-modules make cd lisp make autoloads make现在可以运行src/emacs了。但是我的spacemacs不支持emacs26，因此需要让我的机器上能够同时启动两个版本的emacs.emacs25使用~/.emacs.d和~/.spacemacs配置，也就是spacemacs.emacs26使用~/emacs26/.emacs.d创建~/emacs26目录然后创建~/emacs26.sh文件，内容如下：#!/bin/bash env HOME=/home/dean/emacs26 /home/dean/work/github/emacs/src/emacs好了。现在系统默认的是emac ...继续阅读 (22)

这里选择ycmd server的方案。我的系统是ArchLinux，请根据自己的系统做调整。安装ycmd server获得项目代码git clone https://github.com/Valloric/ycmd.git获取第三方依赖cd ycmd git submodule update --init --recursive安装msbuildArchLinux方法yaourt -Sy msbuild-bin编译之前Ubuntu上面成功./build.py --clang-completer --omnisharp-completer --gocode-completer --system-libclangArchLinux由于编译没成功，直接安装yaourt -Sy vim-youcompleteme-git安装后目录在/usr/share/vim/vimfiles/third_party/ycmd/ycmd安装两个layer在.spacemacs文件中的dotspacemacs-configuration-layers里面添加ycmd然后也要安装auto-completition layerauto-completion layer里面包含了company mode。配置在user-config()函数里面配置如下：;; ycmd (require 'ycmd) (a ...继续阅读 (26)

在.spacemacs中取消shell layer的注释，用 M-m f e R 安装重启emacs后，来使用一下：打开shellM-m '打开了一个小窗口，是shell这个默认高度比例真心舒服，赞一个！默认使用eshell在layer设置的地方，添加一行设置(shell :variables shell-default-height 30 shell-default-shell 'eshell shell-default-position 'bottom)文档在这里http://spacemacs.org/layers/+tools/shell/README.html，享受吧。 ...继续阅读 (29)

大量邮件带来的问题如果每天邮件很少就无所谓了。在看到这篇文章后，很好的解决了我经常遇到却无进展的问题。那就是，当你有很多邮件的时候，你如何处理以确保：1. 及时处理重要且紧急的邮件2. 延后处理重要且不紧急的邮件，但是不会因此遗忘org-mu4e的解决方案作者给出的解答是org-mu4e.org-mu4e可以1. 将邮件自动保存在设定的org文件中，并建立TODO标签2. 当日后打开org文件，可以重新跳转到邮件中来配置在.spacemacs文件的/user-config函数中添加(require 'org-mu4e) ;;store link to message if in header view, not to header query (setq org-mu4e-link-query-in-headers-mode nil) (setq org-capture-templates '(("t" "todo" entry (file+headline "~/mail/todo.org" "Tasks") "* TODO [#A] %?\nSCHEDULED: %(org-insert-time-stamp (org-read-date ...继续阅读 (28)

安装依赖程序本地也需要安装mu4e和mu程序。offlinemap也要安装并且设置好。参考：offlineimap读取qq邮箱安装layerdotspacemacs-configuration-layers里面添加gnus和mu4e, 然后重新启动。配置mu4e在dotspacemacs/user-config函数里面添加，注意目录名要和offlinemap下载下来的目录名吻合。;;; Set up some common mu4e variables (setq mu4e-maildir "~/mail" mu4e-drafts-folder "/Drafts" mu4e-sent-folder "/Sent Messages" mu4e-refile-folder "/Archive" mu4e-trash-folder "/Deleted Messages" mu4e-get-mail-command "mbsync -a" mu4e-update-interval nil mu4e-compose-signature-auto-inclu ...继续阅读 (16)

qq邮箱启用imap首先要在qq邮箱打开imap设置，需要进入qq网站关闭邮箱安全保护，要用到手机短信验证。这一系列操作完成后，可以获得密码。设置offlineimap在~/.offlineimaprc文件中如下设置[general] accounts = qq maxsyncaccounts = 3 [Account qq] localrepository = Local remoterepository = Remote status_backend = sqlite [Repository Local] type = Maildir localfolders = ~/mail [Repository Remote] type = IMAP remotehost = imap.qq.com ssl = yes remoteuser = dean-chen@qq.com remotepass = pwd-from-qq-site maxconnections = 1 realdelete = no sslcacertfile = /etc/ssl/certs/ca-certificates.crt运行命令读取邮件~ $ offlineimap OfflineIMAP 7.0.7 Licensed under the GNU GPL v2 or any later ver ...继续阅读 (16)

启动bash文件一般有两种方式1. 进入目录，用./a.sh方式启动2. 直接用绝对路径启动，/home/dean/a.sh下面的脚本能兼顾两种方式，都能获得当前路径#!/bin/bash echo $(dirname $0)结果是：第一种方式~ $ ./a.sh .第二种方式~ $ /home/dean/a.sh /home/dean说明dirname是负责将路径的最后一部分去掉，更多的用法变化可以参考man dirname$0 是当前脚本所在路径 ...继续阅读 (23)

第一个想法是用replace-string, 将\n 换成 ,不过没有成功然后用hex-mode打开文件，发现换行符号都是0x0a，所以在replace-string中尝试输入0x0a，不过还是失败。后来发现应该这么干：1. M-x replace-string2. 输入C-q 回车 再输入 C-j (我这里需要输入两次C-j,不知道为什么）3. 输入,C-j代表的是0x0a,不过必须先用C-q表示插入一个更简单的做法是用C-o 表示换行符。 ...继续阅读 (27)

字符串切分split-string下面是个例子，用来将一行csv数据用,分隔开成list$ (split-string "02180376709,4216,4216,0,0.0,221.333333333,597,66,0,0,100000000,22.5631067961,86,1,0,0,100000000,0,3966,0.940702087287,3814,0.904648956357,31.2068694284,1078,1,4,0.000948766603416,260.285714286,1078,7,3564,0.845351043643,34.7701785265,738,1,0,0.0,0,0.0,0,0,1000000000000000,648,0.153700189753,5.87671232877,10,1" ",") ("02180376709" "4216" "4216" "0" "0.0" "221.333333333" "597" "66" "0" "0" "100000000" " ...继续阅读 (37)

使用emacs的terminal的好处是就像打开Linux terminal窗口一样，因此就不必跳出emacs，然后在Linux Terminal和emacs之间来回切换。切换buffer不过使用时从emacs terminal buffer出来需要使用C-c 快捷键，很多人不知道，知道的也不适应。可以修改成C-x。在.spacemacs文件中的user-config里面添加一段即可。(add-hook 'term-mode-hook (lambda () ;; C-x is the prefix command, rather than C-c (term-set-escape-char ?\C-x) (define-key term-raw-map "\M-y" 'yank-pop) (define-key term-raw-map "\M-w" 'kill-ring-save)))M-x另外还有一个问题，不能使用M-x了。这个好解决，在spacemacs中，可以用M-m 空格 来代替M-x.虽然不方便，但是还是可以解决问题。 ...继续阅读 (35)

eshell在windows上是个很好的工具，因为windows通常没有linux环境。eshell可以起到一个弥补作用，虽然不是全部功能。但是eshell也有一些和shell不一样的地方，这里总结下和shell不太一样的地方：清除bufferclear新版的emacs提供了clear函数，输入后直接清除buffer内容，不用写成lisp函数方式(clear)。光标移动shell中上下方向键都可以直接移动光标到上一行和下一行。但是eshell中只能用emacs文本编辑的快捷键来解决C-p 上移一行C-n 下移一行C-b 左移一个字符C-f 右移一个字符习惯就好，毕竟这是手指移动距离最近的操作方式。打开文件C-x C-f仍然有效，不过多了一个elisp函数可以使用， find-file a.txt，效果一样。这样做有什么好处？慢慢的，可以通过eshell的操作学会elisp编程了，编写elisp脚本，有emacs的地方就可以运行脚本文件。这就开始超越人际交互的模式了。查询linux命令的manual同样输入man ls，在shell中，会看到长度受限制的文本显示，如果想用emacs提高可读性，可以使用M-x man,再输入ls现在这样的操作在eshell中可以直接输入命令man ls，效果一样。操作简单了点。查询文本在使用spacemacs之前，我经常用eshell的grep命令，因 ...继续阅读 (34)

安装在.spacemacs文件的dotspacemacs-configuration-layers属性里面设置git layer.然后重启。git status更好的看法只要在一个git目录里面，按下M-m g s，就会弹出magit状态窗口比如下面显示有两个文件处于staged状态，就是可以被提交Staged changes (2) modified a.html modified a.orggit add -u 的替代方法在正在编辑的文件上，按下M-m g S, 将当前文件变成staged状态。git commit的更好的用法反复敲命令git commit -m也挺累, 这里用快捷键在前面打开的magit status窗口，按两下c c ，然后会弹出新的buffer，让输入commit message,同时还会出现diff的buffer,提示这次提交的代码做了哪些修改。很方便，很愉快。输入message后，然后C-c C-c， 提交。git push的替代方法在status buffer上，按下P m ...继续阅读 (27)

升级分为两种，spacemacs自身升级和emacs的packages升级。升级前最好备份.spacemacs文件和.emacs.d目录。启动spacemacs后，在主界面上点击Update Spacemacs如果提示目录not clean，需要将那些文件或者目录移动到.emacs.d目录之外，等升级完后，再复制回来。升级完成后，重新启动spacemacs，点击Update Packages，之后再次启动然后将移走的目录或者文件挪回来。升级完成。 ...继续阅读 (22)

Table of Contents1. 设置java库和c++库的路径2. 用spark-shell读取qfs文件2.1. 简化spark-shell启动2.2. 启动后设置hadoopConfiguration2.3. 读取文件1 设置java库和c++库的路径修改~/.bashrc文件，增加# qfs with spark export SPARK_CLASSPATH=/your-path/qfs/lib/hadoop-2.5.1-qfs-master.jar:/your-path/qfs/lib/qfs-access-master.jar export LD_LIBRARY_PATH=/your-path/qfs/lib/2 用spark-shell读取qfs文件2.1 简化spark-shell启动~/.bashrc文件中，增加一个环境变量，简化spark-shell启动export MASTER=sp ...继续阅读 (25)