这几天开始做毕业设计了，MPEG2解码的MIPS实现，代码啥的网上一大堆，最大的困难也许不是理解代码，而是搭建环境，也就是搭建mips-linux-gcc交叉编译的环境。网上铺天盖地的都是arm-linux-gcc工具链的教程，唯独MIPS这一块资料很是匮乏，就连极少数的几篇讲搭建工具链的博文都是互相copy的。两天一夜，终于把工具链给搞定了，期间的痛苦也只有自己能体会，那是一种在茫茫大海中寻求救援的无助感。每次碰到问题，问谷歌或百度大部分回答都是 牛头不对马嘴，有些人可能相对严谨的解决，但也不能做到面面俱到。事实上，对于我们这种新手，最大的帮助就是面面俱到：对可能遇到的问题都有合理的解释和 解决方法。但实际中，往往是为了解决一个小问题，反而引来许多一连串莫名其妙的问题，很是挠人。废话就这么多。下面介绍我本次安装交叉编译工具链的过程。起初试了传说中高端牛逼的buildroot工具，该工具能够配置各种硬件平台的编译工具、交叉编译工具链等等，只有你想不到，没有它做不到，但是 高端的工具往往会带来一个副作用：低端人士基本不会用。我就是活生生的例子，从昨天上午8点30分开始，一直到下午5点，期间不吃不喝几乎都忘了上厕所， 最后还是没搞出来。后来相继尝试了许多方法，也都以失败告终。最后没办法，决定直接用别人做好的工具链， ftp://ftp.linux-mips.org/pub/linux/ ...继续阅读 (51)

这几天开始做毕业设计了，MPEG2解码的MIPS实现，代码啥的网上一大堆，最大的困难也许不是理解代码，而是搭建环境，也就是搭建mips-linux-gcc交叉编译的环境。网上铺天盖地的都是arm-linux-gcc工具链的教程，唯独MIPS这一块资料很是匮乏，就连极少数的几篇讲搭建工具链的博文都是互相copy的。两天一夜，终于把工具链给搞定了，期间的痛苦也只有自己能体会，那是一种在茫茫大海中寻求救援的无助感。每次碰到问题，问谷歌或百度大部分回答都是 牛头不对马嘴，有些人可能相对严谨的解决，但也不能做到面面俱到。事实上，对于我们这种新手，最大的帮助就是面面俱到：对可能遇到的问题都有合理的解释和 解决方法。但实际中，往往是为了解决一个小问题，反而引来许多一连串莫名其妙的问题，很是挠人。废话就这么多。下面介绍我本次安装交叉编译工具链的过程。起初试了传说中高端牛逼的buildroot工具，该工具能够配置各种硬件平台的编译工具、交叉编译工具链等等，只有你想不到，没有它做不到，但是 高端的工具往往会带来一个副作用：低端人士基本不会用。我就是活生生的例子，从昨天上午8点30分开始，一直到下午5点，期间不吃不喝几乎都忘了上厕所， 最后还是没搞出来。后来相继尝试了许多方法，也都以失败告终。最后没办法，决定直接用别人做好的工具链， ftp://ftp.linux-mips.org/pub/l ...继续阅读 (21)

这几天开始做毕业设计了，MPEG2解码的MIPS实现，代码啥的网上一大堆，最大的困难也许不是理解代码，而是搭建环境，也就是搭建mips-linux-gcc交叉编译的环境。网上铺天盖地的都是arm-linux-gcc工具链的教程，唯独MIPS这一块资料很是匮乏，就连极少数的几篇讲搭建工具链的博文都是互相copy的。两天一夜，终于把工具链给搞定了，期间的痛苦也只有自己能体会，那是一种在茫茫大海中寻求救援的无助感。每次碰到问题，问谷歌或百度大部分回答都是 牛头不对马嘴，有些人可能相对严谨的解决，但也不能做到面面俱到。事实上，对于我们这种新手，最大的帮助就是面面俱到：对可能遇到的问题都有合理的解释和 解决方法。但实际中，往往是为了解决一个小问题，反而引来许多一连串莫名其妙的问题，很是挠人。废话就这么多。下面介绍我本次安装交叉编译工具链的过程。起初试了传说中高端牛逼的buildroot工具，该工具能够配置各种硬件平台的编译工具、交叉编译工具链等等，只有你想不到，没有它做不到，但是 高端的工具往往会带来一个副作用：低端人士基本不会用。我就是活生生的例子，从昨天上午8点30分开始，一直到下午5点，期间不吃不喝几乎都忘了上厕所， 最后还是没搞出来。后来相继尝试了许多方法，也都以失败告终。最后没办法，决定直接用别人做好的工具链， ftp://ftp.linux-mips.org/pub/l ...继续阅读 (12)

这几天开始做毕业设计了，MPEG2解码的MIPS实现，代码啥的网上一大堆，最大的困难也许不是理解代码，而是搭建环境，也就是搭建mips-linux-gcc交叉编译的环境。网上铺天盖地的都是arm-linux-gcc工具链的教程，唯独MIPS这一块资料很是匮乏，就连极少数的几篇讲搭建工具链的博文都是互相copy的。两天一夜，终于把工具链给搞定了，期间的痛苦也只有自己能体会，那是一种在茫茫大海中寻求救援的无助感。每次碰到问题，问谷歌或百度大部分回答都是 牛头不对马嘴，有些人可能相对严谨的解决，但也不能做到面面俱到。事实上，对于我们这种新手，最大的帮助就是面面俱到：对可能遇到的问题都有合理的解释和 解决方法。但实际中，往往是为了解决一个小问题，反而引来许多一连串莫名其妙的问题，很是挠人。废话就这么多。下面介绍我本次安装交叉编译工具链的过程。起初试了传说中高端牛逼的buildroot工具，该工具能够配置各种硬件平台的编译工具、交叉编译工具链等等，只有你想不到，没有它做不到，但是 高端的工具往往会带来一个副作用：低端人士基本不会用。我就是活生生的例子，从昨天上午8点30分开始，一直到下午5点，期间不吃不喝几乎都忘了上厕所， 最后还是没搞出来。后来相继尝试了许多方法，也都以失败告终。最后没办法，决定直接用别人做好的工具链， ftp://ftp.linux-mips.org/pub/l ...继续阅读 (22)

wordmaker 词语生成工具 ========= 通过词语组成的规律，自动从大文本当中学习得到文本当中的词语，而不再需要其它额外的信息。 很多分词库等都需要字典库，特别在一些专业的领域，需要得到很多的专业相关词语。而人工标注字典需要花很大的时间，所以希望有一个工具能够自动从文本中训练得到词语。分析某类人的用词特点，也可以有所应用。 代码实现 ======== 最初尝试实现了一个[简单版本](https://github.com/jannson/yaha/blob/master/extra/segword.cpp)，但基于单线程，运行速度慢，并且还消耗巨大的内存。最近尝试接触c++ 11，并使用了类似map/reduce思想，所以决定拿这个项目练练手，也希望能有人多交流。思想如下： * 基于节约内存的 Trie树结构 （Double Array Trie & MARISA） * 用多个线程独立计算各个文本块的词的信息，再按词的顺序分段合并，再计算各个段的字可能组成词的概率，左右熵，得到词语输出。 因为都分成独立的块处理，所以使用多线程非常方便。这种思想应该可以应用在大部分的文本处理工作中，若有更好的办法欢迎交流~ * src/wordmaker.cpp 将在内存当中完成所有计算，并只依赖于cedar.h文件。能够很快处理20M左右的文本。 * src/hugemaker.c ...继续阅读 (26)

wordmaker 词语生成工具 ========= 通过词语组成的规律，自动从大文本当中学习得到文本当中的词语，而不再需要其它额外的信息。 很多分词库等都需要字典库，特别在一些专业的领域，需要得到很多的专业相关词语。而人工标注字典需要花很大的时间，所以希望有一个工具能够自动从文本中训练得到词语。分析某类人的用词特点，也可以有所应用。 代码实现 ======== 最初尝试实现了一个[简单版本](https://github.com/jannson/yaha/blob/master/extra/segword.cpp)，但基于单线程，运行速度慢，并且还消耗巨大的内存。最近尝试接触c++ 11，并使用了类似map/reduce思想，所以决定拿这个项目练练手，也希望能有人多交流。思想如下： * 基于节约内存的 Trie树结构 （Double Array Trie & MARISA） * 用多个线程独立计算各个文本块的词的信息，再按词的顺序分段合并，再计算各个段的字可能组成词的概率，左右熵，得到词语输出。 因为都分成独立的块处理，所以使用多线程非常方便。这种思想应该可以应用在大部分的文本处理工作中，若有更好的办法欢迎交流~ * src/wordmaker.cpp 将在内存当中完成所有计算，并只依赖于cedar.h文件。能够很快处理20M左右的文本。 * src/hugemaker.c ...继续阅读 (10)

wordmaker 词语生成工具通过词语组成的规律，自动从大文本当中学习得到文本当中的词语，而不再需要其它额外的信息。很多分词库等都需要字典库，特别在一些专业的领域，需要得到很多的专业相关词语。而人工标注字典需要花很大的时间，所以希望有一个工具能够自动从文本中训练得到词语。分析某类人的用词特点，也可以有所应用。代码实现最初尝试实现了一个简单版本，但基于单线程，运行速度慢，并且还消耗巨大的内存。最近尝试接触c++ 11，并使用了类似map/reduce思想，所以决定拿这个项目练练手，也希望能有人多交流。思想如下：基于节约内存的 Trie树结构 （Double Array Trie & MARISA）用多个线程独立计算各个文本块的词的信息，再按词的顺序分段合并，再计算各个段的字可能组成词的概率，左右熵，得到词语输出。 因为都分成独立的块处理，所以使用多线程非常方便。这种思想应该可以应用在大部分的文本处理工作中，若有更好的办法欢迎交流~src/wordmaker.cpp 将在内存当中完成所有计算，并只依赖于cedar.h文件。能够很快处理20M左右的文本。src/hugemaker.cpp为了节约内存，在计算、合并过程中将保存部分中间文件。可以处理更大的文本(50M+)。marisa:Trie支持mmap将trie文件mmap到内存当中，经过修改完全可以处理更巨大的文本（当时用的 ...继续阅读 (9)

起因看onlineldavb.py的时候看到求E[log(theta)] 期望的函数如下：def dirichlet_expectation(alpha): """ For a vector theta ~ Dir(alpha), computes E[log(theta)] given alpha. """ if (len(alpha.shape) == 1): return(psi(alpha) - psi(n.sum(alpha))) return(psi(alpha) - psi(n.sum(alpha, 1))[:, n.newaxis])今天看了半天都不理解为何dirichlet的期望可以由上面的函数来实现，后来看到几个公式之后才明白，这里记录一下过程。psi函数psi应该是gamma函数的一阶导数，有以下代码可以理解：>>> from scipy import special >>> x = [2, 3, 25.5] >>> special.polygamma(1, x) array([ 0.64493407, 0.39493407, 0.03999467]) >>> special.polygamma(0, x) == special.psi(x) array([ True, True, True], dtype=bo ...继续阅读 (31)

起因看onlineldavb.py的时候看到求E[log(theta)] 期望的函数如下：def dirichlet_expectation(alpha): """ For a vector theta ~ Dir(alpha), computes E[log(theta)] given alpha. """ if (len(alpha.shape) == 1): return(psi(alpha) - psi(n.sum(alpha))) return(psi(alpha) - psi(n.sum(alpha, 1))[:, n.newaxis])今天看了半天都不理解为何dirichlet的期望可以由上面的函数来实现，后来看到几个公式之后才明白，这里记录一下过程。psi函数psi应该是gamma函数的一阶导数，有以下代码可以理解：>>> from scipy import special >>> x = [2, 3, 25.5] >>> special.polygamma(1, x) array([ 0.64493407, 0.39493407, 0.03999467]) >>> special.polygamma(0, x) == special.psi(x) a ...继续阅读 (9)

起因看onlineldavb.py的时候看到求E[log(theta)] 期望的函数如下：def dirichlet_expectation(alpha): """ For a vector theta ~ Dir(alpha), computes E[log(theta)] given alpha. """ if (len(alpha.shape) == 1): return(psi(alpha) - psi(n.sum(alpha))) return(psi(alpha) - psi(n.sum(alpha, 1))[:, n.newaxis])今天看了半天都不理解为何dirichlet的期望可以由上面的函数来实现，后来看到几个公式之后才明白，这里记录一下过程。psi函数psi应该是gamma函数的一阶导数，有以下代码可以理解：>>> from scipy import special >>> x = [2, 3, 25.5] >>> special.polygamma(1, x) array([ 0.64493407, 0.39493407, 0.03999467]) >>> special.polygamma(0, x) == special.psi(x) a ...继续阅读 (12)

多项分布概率公式的理解多项分布是二项分布的推广。二项分布（也叫伯努利分布）的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。而多项分布就像扔骰子，有6个面对应6个不同的点数。二项分布时事件X只有2种取值，而多项分布的X有多种取值，多项分布的概率公式为P(X1=x1,⋯,Xk=xk)={n!x1!,⋯,xk!px1⋯pxkwhen∑ki=1xi=n0otherwise.这个公式看上去像是莫名其妙地冒出来的，想要了解它首先必须要知道组合数学中的多项式定理。多项式定理：当n是一个正整数时,我们有(x1+x2+…+xk)n=∑n!r1!r2!⋯rk!xr11…xrkk其中r1+…rk=n,ri≥0,1≤i≤k。这个多项式定理的推导如下，将式子左边展开(x1+x2+…+xk)n=(x1+x2+…+xk)⋯(x1+x2+⋯+xk)上面的式子是由n个因子相乘得到，而它的展开式可以看做在每个式子里选取某一个xi，总共选取n个xi相乘，所以所有的展开式项都会有xr11xr22…xrkk这样的公有项，而且r1+…rk=n。这样的话，我们可以把问题看成在n个式子里，先选取r1个x1，然后选取r2个x2，最后选取rk个xk，然后求有多少种方法。类似把n个球放到k个不同的盒子里的方法有多少种,我们得到Cr1,r2,…rkn=Cr1nCr2n−r1…Crkn−r ...继续阅读 (23)

多项分布概率公式的理解多项分布是二项分布的推广。二项分布（也叫伯努利分布）的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。而多项分布就像扔骰子，有6个面对应6个不同的点数。二项分布时事件X只有2种取值，而多项分布的X有多种取值，多项分布的概率公式为  P(X1=x1,⋯,Xk=xk)={n!x1!,⋯,xk!px1⋯pxkwhen∑ki=1xi=n0otherwise. 这个公式看上去像是莫名其妙地冒出来的，想要了解它首先必须要知道组合数学中的多项式定理。多项式定理：当n是一个正整数时,我们有  (x1+x2+…+xk)n=∑n!r1!r2!⋯rk!xr11…xrkk 其中r1+…rk=n,ri≥0,1≤i≤k。这个多项式定理的推导如下，将式子左边展开  (x1+x2+…+xk)n=(x1+x2+…+xk)⋯(x1+x2+⋯+xk) 上面的式子是由n个因子相乘得到，而它的展开式可以看做在每个式子里选取某一个xi，总共选取n个xi相乘，所以所有的展开式项都会有  xr11xr22…xrkk 这样的公有项，而且r1+…rk=n。这样的话，我们可以把问题看成在n个式子里，先选取r1个x1，然后选取r2个x2，最后选取rk个xk，然后求有多少种方法。类似把n个球 ...继续阅读 (9)

多项分布概率公式的理解多项分布是二项分布的推广。二项分布（也叫伯努利分布）的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。而多项分布就像扔骰子，有6个面对应6个不同的点数。二项分布时事件X只有2种取值，而多项分布的X有多种取值，多项分布的概率公式为  P(X1=x1,⋯,Xk=xk)={n!x1!,⋯,xk!px1⋯pxkwhen∑ki=1xi=n0otherwise. 这个公式看上去像是莫名其妙地冒出来的，想要了解它首先必须要知道组合数学中的多项式定理。多项式定理：当n是一个正整数时,我们有  (x1+x2+…+xk)n=∑n!r1!r2!⋯rk!xr11…xrkk 其中r1+…rk=n,ri≥0,1≤i≤k。这个多项式定理的推导如下，将式子左边展开  (x1+x2+…+xk)n=(x1+x2+…+xk)⋯(x1+x2+⋯+xk) 上面的式子是由n个因子相乘得到，而它的展开式可以看做在每个式子里选取某一个xi，总共选取n个xi相乘，所以所有的展开式项都会有  xr11xr22…xrkk 这样的公有项，而且r1+…rk=n。这样的话，我们可以把问题看成在n个式子里，先选取r1个x1，然后选取r2个x2，最后选取rk个xk，然后求有多少种方法。类似把n个球 ...继续阅读 (10)

## 基于simhash的海量文章排重的实践 ## 简单介绍 ---- simhash是一种能计算文档相似度的hash算法。通过simhash能将一篇文章映射成64bit，再比较两篇文章的64bit的海明距离，就能知道文章的相似程序。若两篇文章的海明距离<=3，可认为这两篇文章很相近，可认为它们是重复的文章。 [这篇博客有详细的介绍][1] simhash-py ---- 要更准确的对文章进行排重，需要找到好的simhash算法。目前我知道的有[python-hashes][2]，simhash-py。两个库通过简单的修改，再加上中文分词库，可以比较好的对中文文章计算hash。[simhash-py][3]可使用我fork的版本以支持中文文章的simhash （通过里面的hash_token或hash_tokenpy两个函数实现对切词之后的中文文章进行simhash计算）。 simhash算法 --------- simhash算法最简单实现的库应该是python-hashes库了。使用过程当中发现，对于排重的使用目的来说，这个库的simhash算法有缺点是：只考虑到文章存在哪些词，没有考虑到词的顺序。不过相应的优点是，可以实现海量文章相似度计算。文章相似度计算忽略词的顺序之后效果更好。 simhash-py内部实现了simhash算法。它里面的simhash使用 ...继续阅读 (387)

## 基于simhash的海量文章排重的实践 ## 简单介绍 ---- simhash是一种能计算文档相似度的hash算法。通过simhash能将一篇文章映射成64bit，再比较两篇文章的64bit的海明距离，就能知道文章的相似程序。若两篇文章的海明距离<=3，可认为这两篇文章很相近，可认为它们是重复的文章。 [这篇博客有详细的介绍][1] simhash-py ---- 要更准确的对文章进行排重，需要找到好的simhash算法。目前我知道的有[python-hashes][2]，simhash-py。两个库通过简单的修改，再加上中文分词库，可以比较好的对中文文章计算hash。[simhash-py][3]可使用我fork的版本以支持中文文章的simhash （通过里面的hash_token或hash_tokenpy两个函数实现对切词之后的中文文章进行simhash计算）。 simhash算法 --------- simhash算法最简单实现的库应该是python-hashes库了。使用过程当中发现，对于排重的使用目的来说，这个库的simhash算法有缺点是：只考虑到文章存在哪些词，没有考虑到词的顺序。不过相应的优点是，可以实现海量文章相似度计算。文章相似度计算忽略词的顺序之后效果更好。 simhash-py内部实现了simhash算法。它里面的simhash使用 ...继续阅读 (8)

基于simhash的海量文章排重的实践简单介绍simhash是一种能计算文档相似度的hash算法。通过simhash能将一篇文章映射成64bit，再比较两篇文章的64bit的海明距离，就能知道文章的相似程序。若两篇文章的海明距离<=3，可认为这两篇文章很相近，可认为它们是重复的文章。这篇博客有详细的介绍simhash-py要更准确的对文章进行排重，需要找到好的simhash算法。目前我知道的有python-hashes，simhash-py。两个库通过简单的修改，再加上中文分词库，可以比较好的对中文文章计算hash。simhash-py可使用我fork的版本以支持中文文章的simhash （通过里面的hash_token或hash_tokenpy两个函数实现对切词之后的中文文章进行simhash计算）。simhash算法simhash算法最简单实现的库应该是python-hashes库了。使用过程当中发现，对于排重的使用目的来说，这个库的simhash算法有缺点是：只考虑到文章存在哪些词，没有考虑到词的顺序。不过相应的优点是，可以实现海量文章相似度计算。文章相似度计算忽略词的顺序之后效果更好。simhash-py内部实现了simhash算法。它里面的simhash使用了cyclic hash算法，这个算法考虑到N（可以在3~5）个词之间的顺序。考虑到词的顺序的hash算法在排 ...继续阅读 (10)

最近断断续续地在接触一些python的东西。按照我的习惯，首先从应用层面搞起，尽快入门，后续再细化一些技术细节。找了一些资料，基本语法和数据结构搞定之后，目光便转到了scikit-learn这个包。这个包是基于scipy的统计学习包。里面所涵盖的算法接口非常全面。更令人振奋的是，其用户手册写得非常好。然而，其被墙了（或者没有，或者有时被墙有时又好了）。笔者不会翻墙（请嘲笑吧），笔者只有找代理，笔者要忍受各种弹窗。因此笔者决定，做一个记录，把这用户手册的内容多多少少搬一点到我的博客中来。以备查询方便。因此，笔者就动手了。声明：如何安装python及其IDE，相关模块等等不在本系列博客的范围。本博客仅试图记录可能会用到的代码实例。1.广义线性模型这里的“广义线性模型”，是指线性模型及其简单的推广，包括岭回归，lasso，LAR，logistic回归，感知器等等。下面将介绍这些模型的基本想法，以及如何用python实现。1.1.普通的最小二乘由LinearRegression函数实现。最小二乘法的缺点是依赖于自变量的相关性，当出现复共线性时，设计阵会接近奇异，因此由最小二乘方法得到的结果就非常敏感，如果随机误差出现什么波动，最小二乘估计也可能出现较大的变化。而当数据是由非设计的试验获得的时候，复共线性出现的可能性非常大。from sklearn import linear_model c ...继续阅读 (42)

最近断断续续地在接触一些python的东西。按照我的习惯，首先从应用层面搞起，尽快入门，后续再细化一些技术细节。找了一些资料，基本语法和数据结构搞定之后，目光便转到了scikit-learn这个包。这个包是基于scipy的统计学习包。里面所涵盖的算法接口非常全面。更令人振奋的是，其用户手册写得非常好。然而，其被墙了（或者没有，或者有时被墙有时又好了）。笔者不会翻墙（请嘲笑吧），笔者只有找代理，笔者要忍受各种弹窗。因此笔者决定，做一个记录，把这用户手册的内容多多少少搬一点到我的博客中来。以备查询方便。因此，笔者就动手了。声明：如何安装python及其IDE，相关模块等等不在本系列博客的范围。本博客仅试图记录可能会用到的代码实例。1.广义线性模型这里的“广义线性模型”，是指线性模型及其简单的推广，包括岭回归，lasso，LAR，logistic回归，感知器等等。下面将介绍这些模型的基本想法，以及如何用python实现。1.1.普通的最小二乘由LinearRegression 函数实现。最小二乘法的缺点是依赖于自变量的相关性，当出现复共线性时，设计阵会接近奇异，因此由最小二乘方法得到的结果就非常敏感，如果随机误差出现什么波动，最小二乘估计也可能出现较大的变化。而当数据是由非设计的试验获得的时候，复共线性出现的可能性非常大。from sklearn import linear_m ...继续阅读 (10)

最近断断续续地在接触一些python的东西。按照我的习惯，首先从应用层面搞起，尽快入门，后续再细化一些技术细节。找了一些资料，基本语法和数据结构搞定之后，目光便转到了scikit-learn这个包。这个包是基于scipy的统计学习包。里面所涵盖的算法接口非常全面。更令人振奋的是，其用户手册写得非常好。然而，其被墙了（或者没有，或者有时被墙有时又好了）。笔者不会翻墙（请嘲笑吧），笔者只有找代理，笔者要忍受各种弹窗。因此笔者决定，做一个记录，把这用户手册的内容多多少少搬一点到我的博客中来。以备查询方便。因此，笔者就动手了。声明：如何安装python及其IDE，相关模块等等不在本系列博客的范围。本博客仅试图记录可能会用到的代码实例。1.广义线性模型这里的“广义线性模型”，是指线性模型及其简单的推广，包括岭回归，lasso，LAR，logistic回归，感知器等等。下面将介绍这些模型的基本想法，以及如何用python实现。1.1.普通的最小二乘由LinearRegression 函数实现。最小二乘法的缺点是依赖于自变量的相关性，当出现复共线性时，设计阵会接近奇异，因此由最小二乘方法得到的结果就非常敏感，如果随机误差出现什么波动，最小二乘估计也可能出现较大的变化。而当数据是由非设计的试验获得的时候，复共线性出现的可能性非常大。from sklearn import linear_m ...继续阅读 (14)

Python科学计算 第二版 ===================== 第二版序 -------- Python世界的发展日新月异，在本书第一版出版之后，Python在数据处理、科学计算领域又出现了许多新的进展： - IPython项目获得了100多万美元的资助，开发进程得到了极大地提升，最近1.0就快要正式发布了，它集成了Notebook、并行运算等多项新功能。其中Notebook已经成为Python科学计算界的标准配置。 - NumPy的创始人Travis Oliphant在离开Enthought之后，创建了CONTINUUM，致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行，从而上百倍的提高程序的运算速度。而基于浏览器的Python开发环境wakari(http://www.continuum.io/wakari) 能省去配置Python开发环境的麻烦。 - Pandas经过几个版本周期的迭代，目前已经成为数据整理、处理、分析的不二选择。 - OpenCV官方的扩展库cv2已经正式出台，它的众多图像处理函数能直接对NumPy数组进行处理，便捷图像处理、计算机视觉程序变得更加方便、简洁。 - 虽然matplotlib的创始人John Hunter ...继续阅读 (45)

Python科学计算 第二版 ===================== 第二版序 -------- Python世界的发展日新月异，在本书第一版出版之后，Python在数据处理、科学计算领域又出现了许多新的进展： - IPython项目获得了100多万美元的资助，开发进程得到了极大地提升，最近1.0就快要正式发布了，它集成了Notebook、并行运算等多项新功能。其中Notebook已经成为Python科学计算界的标准配置。 - NumPy的创始人Travis Oliphant在离开Enthought之后，创建了CONTINUUM，致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行，从而上百倍的提高程序的运算速度。而基于浏览器的Python开发环境wakari(http://www.continuum.io/wakari) 能省去配置Python开发环境的麻烦。 - Pandas经过几个版本周期的迭代，目前已经成为数据整理、处理、分析的不二选择。 - OpenCV官方的扩展库cv2已经正式出台，它的众多图像处理函数能直接对NumPy数组进行处理，便捷图像处理、计算机视觉程序变得更加方便、简洁。 - 虽然matplotlib的创始人John Hunter ...继续阅读 (9)

Python科学计算 第二版第二版序Python世界的发展日新月异，在本书第一版出版之后，Python在数据处理、科学计算领域又出现了许多新的进展：IPython项目获得了100多万美元的资助，开发进程得到了极大地提升，最近1.0就快要正式发布了，它集成了Notebook、并行运算等多项新功能。其中Notebook已经成为Python科学计算界的标准配置。NumPy的创始人TravisOliphant在离开Enthought之后，创建了CONTINUUM，致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行，从而上百倍的提高程序的运算速度。而基于浏览器的Python开发环境wakari(http://www.continuum.io/wakari)能省去配置Python开发环境的麻烦。Pandas经过几个版本周期的迭代，目前已经成为数据整理、处理、分析的不二选择。OpenCV官方的扩展库cv2已经正式出台，它的众多图像处理函数能直接对NumPy数组进行处理，便捷图像处理、计算机视觉程序变得更加方便、简洁。虽然matplotlib的创始人JohnHunter不幸因病早逝，但matplotlib已经拥有稳定开发社区，最新发布的1.3版本添加了WebAgg后台绘图库，能在浏览器中显示图表并与之进行交互。相信不久 ...继续阅读 (9)

以前发布过一个Yaha库，里面有三种不同的摘要实现方法。它们都是基于关键字提取的，缺点很明显（测试地址）：基于关键字的摘要不够准确，会提供到不少关键字份量很大同时很垃圾的句子基于cluster簇的办法，代码相对复杂，同时运行很慢所以在实际项目中，我尝试过不少改进，但最好我发现了更好的摘要实现办法：基于textrank，它的思路是：计算整个文章的各个句子之间的相似度通过句子之间的相似性，建立一张句子之间的权重图，然后使用类似google的pagerank技术来获取权重最大的前面几个句子上面具体算法自己参考网络文章，下面贴出具体的实现代码，非常简洁，配合numpy, scipy的矩阵运算库实现起来效率非常高：# -*- coding: UTF-8 -*- import cProfile as profile import pstats import numpy as np from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfTransformer from sklearn.feature_extraction.text import TfidfVectorizer import networkx as nx def te ...继续阅读 (75)

以前发布过一个Yaha库，里面有三种不同的摘要实现方法。它们都是基于关键字提取的，缺点很明显（测试地址）：基于关键字的摘要不够准确，会提供到不少关键字份量很大同时很垃圾的句子基于cluster簇的办法，代码相对复杂，同时运行很慢所以在实际项目中，我尝试过不少改进，但最好我发现了更好的摘要实现办法：基于textrank，它的思路是：计算整个文章的各个句子之间的相似度通过句子之间的相似性，建立一张句子之间的权重图，然后使用类似google的pagerank技术来获取权重最大的前面几个句子上面具体算法自己参考网络文章，下面贴出具体的实现代码，非常简洁，配合numpy, scipy的矩阵运算库实现起来效率非常高：# -*- coding: UTF-8 -*- import cProfile as profile import pstats import numpy as np from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfTransformer from ...继续阅读 (18)

以前发布过一个Yaha库，里面有三种不同的摘要实现方法。它们都是基于关键字提取的，缺点很明显（测试地址）：基于关键字的摘要不够准确，会提供到不少关键字份量很大同时很垃圾的句子基于cluster簇的办法，代码相对复杂，同时运行很慢所以在实际项目中，我尝试过不少改进，但最好我发现了更好的摘要实现办法：基于textrank，它的思路是：计算整个文章的各个句子之间的相似度通过句子之间的相似性，建立一张句子之间的权重图，然后使用类似google的pagerank技术来获取权重最大的前面几个句子上面具体算法自己参考网络文章，下面贴出具体的实现代码，非常简洁，配合numpy, scipy的矩阵运算库实现起来效率非常高：# -*- coding: UTF-8 -*- import cProfile as profile import pstats import numpy as np from sklearn.feature_extraction.text import CountVectorizer from sklearn.feature_extraction.text import TfidfTransformer from ...继续阅读 (9)

大家都知道GPS，这个东西很强大，被各行各业使用。不过它也有一个很明显的缺陷，就是在室内不能定位，而且一般民用的精度也不够高（10m左 右），相对于室内导航的要求（1m左右）还有一段距离。随着智能手机的普及，以及移动互联网的发展，地图与导航类软件将进入一个新的时代——室内导航。近 几年来，包括谷歌、微软、苹果、博通等在内的一些科技巨头，还有一些世界有名的大学都在研究室内定位技术。室内定位技术的商业化必将带 来一波创新高潮，各种基于此技术的应用将出现在我们的面前，其影响和规模绝不会亚于GPS。我们可以想象一些比较常见的应用场景，比如在大型商场里面借助 室内导航快速找到出口、电梯，家长用来跟踪小孩的位置避免小孩在超市中走丢，房屋根据你的位置打开或关闭电灯，商店根据用户的具体位置向用户推送更多关于 商品的介绍等等。之前笔者看过诺基亚发布的一个视频，一位商务人士将手提包落在一个商店旁，当他走出几米远时手机就发出了提醒。室内定位还有很多场景可以 被用上，让我们放开思维尽情遐想吧。目前我们已经能够看到一些室内定位技术的应用介绍了。据我所知的有谷歌、诺基亚、博通、IndoorAtals、Qubulus、杜克大学这几个方案。下面笔者就把它们整理一下，欢迎大家在此基础上进行指正、补充。谷歌方案谷歌手机地图6.0版的时候已经在一些地区加入了室内导航功能，此方案主要依靠GPS（室内一般也能搜索到2～3颗 ...继续阅读 (22)

大家都知道GPS，这个东西很强大，被各行各业使用。不过它也有一个很明显的缺陷，就是在室内不能定位，而且一般民用的精度也不够高（10m左 右），相对于室内导航的要求（1m左右）还有一段距离。随着智能手机的普及，以及移动互联网的发展，地图与导航类软件将进入一个新的时代——室内导航。近 几年来，包括谷歌、微软、苹果、博通等在内的一些科技巨头，还有一些世界有名的大学都在研究室内定位技术。室内定位技术的商业化必将带 来一波创新高潮，各种基于此技术的应用将出现在我们的面前，其影响和规模绝不会亚于GPS。我们可以想象一些比较常见的应用场景，比如在大型商场里面借助 室内导航快速找到出口、电梯，家长用来跟踪小孩的位置避免小孩在超市中走丢，房屋根据你的位置打开或关闭电灯，商店根据用户的具体位置向用户推送更多关于 商品的介绍等等。之前笔者看过诺基亚发布的一个视频，一位商务人士将手提包落在一个商店旁，当他走出几米远时手机就发出了提醒。室内定位还有很多场景可以 被用上，让我们放开思维尽情遐想吧。目前我们已经能够看到一些室内定位技术的应用介绍了。据我所知的有谷歌、诺基亚、博通、IndoorAtals、Qubulus、杜克大学这几个方案。下面笔者就把它们整理一下，欢迎大家在此基础上进行指正、补充。谷歌方案谷歌手机地图6.0版的时候已经在一些地区加入了室内导航功能，此方案主要依靠GPS（室内一般也能搜索到2～3颗 ...继续阅读 (9)

大家都知道GPS，这个东西很强大，被各行各业使用。不过它也有一个很明显的缺陷，就是在室内不能定位，而且一般民用的精度也不够高（10m左 右），相对于室内导航的要求（1m左右）还有一段距离。随着智能手机的普及，以及移动互联网的发展，地图与导航类软件将进入一个新的时代——室内导航。近 几年来，包括谷歌、微软、苹果、博通等在内的一些科技巨头，还有一些世界有名的大学都在研究室内定位技术。室内定位技术的商业化必将带 来一波创新高潮，各种基于此技术的应用将出现在我们的面前，其影响和规模绝不会亚于GPS。我们可以想象一些比较常见的应用场景，比如在大型商场里面借助 室内导航快速找到出口、电梯，家长用来跟踪小孩的位置避免小孩在超市中走丢，房屋根据你的位置打开或关闭电灯，商店根据用户的具体位置向用户推送更多关于 商品的介绍等等。之前笔者看过诺基亚发布的一个视频，一位商务人士将手提包落在一个商店旁，当他走出几米远时手机就发出了提醒。室内定位还有很多场景可以 被用上，让我们放开思维尽情遐想吧。目前我们已经能够看到一些室内定位技术的应用介绍了。据我所知的有谷歌、诺基亚、博通、IndoorAtals、Qubulus、杜克大学这几个方案。下面笔者就把它们整理一下，欢迎大家在此基础上进行指正、补充。谷歌方案谷歌手机地图6.0版的时候已经在一些地区加入了室内导航功能，此方案主要依靠GPS（室内一般也能搜索到2～3颗 ...继续阅读 (5)

Use the mezzanine.blog.models.BlogCategory model for your different blog lists. If you are not happy with 'category/' being in the path, you can copy and modify (below) themezzanine.blog.urlsto your project urls.py.url("^%s(?P.*)%s$"%_slashes,"mezzanine.blog.views.blog_post_list",name="blog_post_list_category")To create category templates, take a look at theblog_post_list viewand you will see:templates.append(u"blog/blog_post_list_%s.html"%unicode(category.slug))To add a template for category "Foo", copymezzanine/blog/templates/blog_post_list.htmlto your projecttemplates/blog/blog_post_list_fo ...继续阅读 (18)

Use the mezzanine.blog.models.BlogCategory model for your different blog lists. If you are not happy with 'category/' being in the path, you can copy and modify (below) themezzanine.blog.urlsto your project urls.py.url("^%s(?P<category>.*)%s$"%_slashes,"mezzanine.blog.views.blog_post_list",name="blog_post_list_category")To create category templates, take a look at theblog_post_list viewand you will see:templates.append(u"blog/blog_post_list_%s.html"%unicode(category.slug))To add a template for category "Foo", copymezzanine/blog/templates/blog_post_list.htmlto your projecttemplates/blog/b ...继续阅读 (8)