git checkout v0.17.1 # Other versions may not be compatible.一定用这个版本避免版本不兼容。如果有报错，则使用如下代替上面的安装。 ...继续阅读 (6)

下载和安装miniconda:https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh。这里torch==1.7.1，则选择cudatoolkit=11.0.3。安装依赖[使用以下的依赖文件，原project的依赖有问题]根据torch和cuda对应版本做出选择，安装cudatoolkit=11.0.3。【二、安装conda和python依赖】【三、模型训练、推理】【一、安装cuda】 ...继续阅读 (4)

在处理图像数据时，有这么一种需求：图像通常是一个矩阵数据，需要将矩阵数据通过base64编码传输，传输完毕之后解码还原得到原来的矩阵数据。 import numpy as np import base64 matrix_data=[[1,2,3,4],[5,6,7,8]] np_matrix_data = np.asarray(matrix_data) print ... ...继续阅读 (51)

远程终端docker容器linux操作系统安装MATLAB 安装参考流程： linux终端(服务器)安装matlab2016b https://blog.csdn.net/u014535579/article/details/78793028 问题1：百度网盘下载 下载地址如下 https://pan.baidu.com/s/1mhSXTfq#list/path... ...继续阅读 (52)

陈天奇的几份材料很适合用来学习boosted Tree，我强烈推荐各位看看。 【详细链接在文末】本文是我的个人学习笔记，水平有限，敬请指教。boosted Tree算法简要描述：不断地添加树，不断地进行特征分裂来生长一棵树。每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。一个树是这样生长的，挑选一个最佳特征的最佳分裂点，来进行特征分裂。训练后会得到的模型是多棵树，每棵树有若干叶子节点，每个叶子节点对一个分数，假如来了一个样本，根据这个样本的特征，在每棵树上会落到对应一个叶子节点，总分数就是把落到的叶子节点的分数加起来，作为预测值。带着以下问题来理解这个算法：1 如何生长一棵树？每次特征分裂怎么寻找最佳特征，怎么寻找最佳分裂点？2一棵树什么时候停止生长？3 假如一棵树的结构确定了，每个叶子节点的分数怎么求？注意，下面讲解的时候，对于上面问题，理解的顺序是3,1,2。模型和目标函数我们的模型是要学习K棵树，每次去拟合上一次学习的残差。跟传统有监督算法一样，目标函数由损失函数和正则项组成。与传统决策树不同的是，传统的决策树中每次决策是Heuristic（启发式）的（比如信息增益），而这里，每次决策都是Objective（目标性质的，与目标函数相关）。注意，陈天奇讲解推导boosted tree与传统gbdt的一个不同点，前者将损失函数抽象出来了，不用具体的损失函 ...继续阅读 (53)

Tensorflow入门：数据结构和编程思想引言：最近tensorflow很火，看到国内都有不少人开始玩起来了，自己最近有些想法想玩玩，于是开始入门搞一下，因为自己只有一个台式电脑，于是就装了个cpu版的tensorflow，安装过程挺顺利，一两句命令搞定，最后遇到过glibc的版本问题，直接升级了Ubuntu版本就好了。于是，开始入门了。下面是我学习的笔记，水平有限，如有不对，敬请指教。在tensorflow框架下，定义了tensor这么一个数据结构，她是可以任意n维空间的数据表达，这个n称之为tensor的阶，0阶的就是一个数，1阶的就是一个向量，2阶就是一个矩阵，3阶就是一个立方体，等等。当然，tensor中里面的数据类型可以指定，比如float32,int32等。Tensorflow的编程思想主要是如下几点：综合来说，就是用tensor定义了一堆数据，里面可以有常量也可以有变量，然后用一个个operation表示计算步骤，这些operation节点连起来构成了一个graph表示计算任务。graph可以有多个，但对于大部分程序一个graph就够了，作为初学者，可以忽略多graph的情况，tensorflow会提供一个默认的graph。graph定义好，计算并不会马上执行，需要通过session来启动graph的执行。Session中的每一次计算operation，都可以通过f ...继续阅读 (57)

Tensorflow入门：数据结构和编程思想引言： 最近tensorflow很火，看到国内都有不少人开始玩起来了，自己最近有些想法想玩玩，于是开始入门搞一下，因为自己只有一个台式电脑，于是就装了个cpu版的tensorflow，安装过程挺顺利，一两句命令搞定，最后遇到过glibc的版本问题，直接升级了Ubuntu版本就好了。 于是，开始入门了。下面是我学习的笔记，水平有限，如有不对，敬请指教。 ...继续阅读 (64)

               C++实现获取DOTA玩家名称（反汇编查找指针地址和跨进程读取war3内存）   大学时做了一个类似11小秘书的工具，就是一键查看当前玩家的11天梯积分。其中，获取DOTA玩家名称是其中一个模块，这部分代码之前没公布，现在发出来共享给各位编程爱好者。  其中的思路是，先用反汇编技术把DOTA玩家名称的内存地址找出来，然后用C++实现跨进程内存读取。记得当时，找内存地址找了很久，因为当时不懂反汇编，就瞎搞。主要思路是，一次次在DOTA游戏打开查看玩家名称那个窗口，这时候用CE跟踪WAR3的内存访问（窗口显示玩家名称，肯定访问了对应的地址），就这样一次次，跟踪了很久，终于被我找到了。这是当时的截图。  这是当时打电脑的玩家名称的截图。找到内存地址就好办了，直接上代码。/* author:linger blog:linger.devhub.com */ #include<windows.h> #include <iostream> #include<vector> using namespace std; void EnableDebugPriv() ...继续阅读 (47)

C++实现获取DOTA玩家名称（反汇编查找指针地址和跨进程读取war3内存）    大学时做了一个类似11小秘书的工具，就是一键查看当前玩家的11天梯积分。其中，获取DOTA玩家名称是其中一个模块，这部分代码之前没公布，现在发出来共享给各位编程爱好者。   其中的思路是，先用反汇编技术把DOTA玩家名称的内存地址找出来，然后用C++实现跨进程内存读取。记得当时，找内存地址找了很久，因为当时 ...继续阅读 (44)

mahout的itembased推荐算法改造需求背景：itembased主要是两个步骤：1 item相似度的计算2根据user所评分过的item，以及item之间的相似度，预测未知item的分数 mahout的itembased现有的问题：mahout集成的itembased算法，里面的每个步骤耦合度太强，难以分割。 我们希望上面两个步骤能分开进行，一来是步骤1和步骤2结果的更新频率不一定是相同的，二来是我们可能考虑其他特征来计算item的相似度。  因此，我对itembased进行了一定的改造，将相似度计算和预测评分两个步骤拆分开，两者互相独立。 itembased算法的主程序是org.apache.mahout.cf.taste.hadoop.item.RecommenderJob 改造后，主程序有两个org.apache.mahout.cf.taste.hadoop.item.RecommenderFirstJoborg.apache.mahout.cf.taste.hadoop.item.RecommenderSecondJob前者的输出是item之间的相似度，后者需要前者的输出作为输入，预测user对未知item的评分。 好处是显然易 ...继续阅读 (113)

mahout的itembased推荐算法改造 需求背景： itembased主要是两个步骤： 1 item相似度的计算 2根据user所评分过的item，以及item之间的相似度，预测未知item的分数   mahout的itembased现有的问题： mahout集成的itembased算法， 里面的每个步骤耦合度太强，难以分割。   我们希望上面两个步骤能分 ...继续阅读 (45)

xgboost快速入门xgboost是gbdt算法的实现，可以做回归，分类，和排序。支持各种语言调用，支持单机和分布式。非常适合于大规模数据集。 项目主页https://github.com/dmlc/xgboost 安装https://github.com/dmlc/xgboost/blob/master/doc/python/python_intro.md我选择了python调用xgboost的方式。1 从项目主页下载源码，解压。2 在解压后的目录下执行make命令安装。3 在子文件夹python-package目录下，执行pythonsetup.py install。当然，你的电脑可能会缺失一些依赖库需要安装。比如在步骤二需要你安装g++，在步骤三需要你安全python的一些数学库。 分类算法实践https://github.com/dmlc/xgboost/tree/master/demo/guide-python这个页面有很多demo都值得研究一下。 下面是一个二分类的问题的具体做法。 首先，输入数据仍然支持libsvm的格式，这也是比较喜欢的一个格式。每一行都是label index1:value1 index2:value2……的格式。不过xgbo ...继续阅读 (678)

xgboost快速入门 xgboost是gbdt算法的实现，可以做回归，分类，和排序。支持各种语言调用，支持单机和分布式。非常适合于大规模数据集。   项目主页 https://github.com/dmlc/xgboost   安装https://github.com/dmlc/xgboost/blob/master/doc/python/python_intro ...继续阅读 (47)

 liblinear简单使用说明liblinear适合解决大规模数据和高维稀疏特征的分类和回归问题。 特征文件格式：跟libsvm的一致，每一行都是label index1:value1 index2:value2的稀疏向量的格式。 离线的训练和测试阶段，为了方便，我是通过命令行来做的，不需要再写代码。其中liblinear封装了一个train和predict命令（java和C都有），我们只需要调整参数即可方便调用。模型训练好和测试符合我们要求之后，为了方便hive调用，需要java程序加载模型来做预测，这一步需要在java版的liblinear之上再做一次封装或者改动。 训练阶段：train命令的使用1 最简单的使用方式，不调整任何参数，直接使用默认参数train train.txt model.txt 2 常见参数调整  -s 表示模型的类型，liblinear里面不止实现一种模型，里面还分为大的小的模型类别。  值得注意的是，svm只能输出分类的label，lr可以输出分类的概率。  目前我常使用 –s 0 -wi针对不同类别设置不同的惩罚因子 通过调整此参数，可以调整预测类别的分布。 比如男女分类中测试集的真实分布是55:4 ...继续阅读 (903)

liblinear简单使用说明 liblinear适合解决大规模数据和高维稀疏特征的分类和回归问题。   特征文件格式：跟libsvm的一致，每一行都是 label index1:value1 index2:value2 的稀疏向量的格式。   离线的训练和测试阶段，为了方便，我是通过命令行来做的，不需要再写代码。 其中liblinear封装了一个train和predict ...继续阅读 (49)

sklearn特征选择和分类模型数据格式：这里，原始特征的输入文件的格式使用libsvm的格式，即每行是label index1:value1 index2:value2这种稀疏矩阵的格式。 sklearn中自带了很多种特征选择的算法。我们选用特征选择算法的依据是数据集和训练模型。 下面展示chi2的使用例。chi2，采用卡方校验的方法进行特征选择，比较适合0/1型特征和稀疏矩阵。from sklearn.externals.joblib import Memory from sklearn.datasets import load_svmlight_file mem = Memory("./mycache") @mem.cache def get_data(): data = load_svmlight_file("labeled_fea.txt") return data[0], data[1] X, y = get_data() from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 data = SelectKB ...继续阅读 (550)

sklearn特征选择和分类模型 数据格式： 这里，原始特征的输入文件的格式使用libsvm的格式，即每行是label index1:value1 index2:value2这种稀疏矩阵的格式。   sklearn中自带了很多种特征选择的算法。我们选用特征选择算法的依据是数据集和训练模型。   下面展示chi2的使用例。chi2，采用卡方校验的方法进行特征选择，比较适合0/ ...继续阅读 (52)

pagerank以及个性化的pagerank算法pagerank最开始是Google提出来用来衡量网页重要度排行的算法。她的思想是基于网页之间互相的链接作为加权投票。假如网页a指向b，那么网页b的重要程度受网页a的影响，a越重要，则b就越重要。假如网页c也指向b，但是c跟a对比，c指向其他网页的数量（出度）较少，那么c对b的贡献程度要大于a对b。 下面是网页i的重要程度的公式，其中d是一个概率，in(i)表示所有指向网页i的网页。这公式的思想是模拟一个随机冲浪者的浏览网页的行为，公式左边部分表示该冲浪者以（1-d）/N的概率从浏览器输入url的方式访问到网页i，公式右边部分表示从其他指向网页i的网页跳转过来的。多次迭代后，所有网页的重要性值会收敛。 用概率转移的方式表示，公式如下 一次迭代的计算的例子如下： 其中概率转移矩阵M，每一列表示网页j的出度，每列的和加起来是1。每一行表示网页i的入度。 个性化的pagerank 个性化的pagerank的目标是要计算所有节点相对于用户u的相关度。从用户u对应的节点开始游走，每到一个节点都以1-d的概率停止游走并从u重新开始，或者以d的概率继续游走，从当前节点指向的节点中按照均匀分布随机选择一个节点往下游走。这样经过很多轮游走之后，每个顶点被访问到的概率也会收敛趋于稳定，这个时候我们就可以用概率来进行排名了。 从公式可以 ...继续阅读 (64)

pagerank以及个性化的pagerank算法 pagerank最开始是Google提出来用来衡量网页重要度排行的算法。 她的思想是基于网页之间互相的链接作为加权投票。假如网页a指向b， 那么网页b的重要程度受网页a的影响，a越重要，则b就越重要。假如网页c也指向b， 但是c跟a对比，c指向其他网页的数量（出度）较少，那么c对b的贡献程度要大于a对b。     下面是网 ...继续阅读 (44)

隐性反馈行为数据的协同过滤推荐算法《Collaborative Filtering for Implicit Feedback Datasets》论文笔记本文是我阅读《CollaborativeFiltering for Implicit Feedback Datasets》论文的笔记，介绍的是对于隐性反馈行为数据协同过滤算法，采取的是隐语义模型（LFM），求解方式是ALS。显性反馈行为包括用户明确表示对物品喜好的行为隐性反馈行为指的是那些不能明确反应用户喜好的行为。最具代表性的隐性反馈行为就是页面浏览行为。考虑隐性反馈的必要性：很多应用场景，并没有显性反馈的存在。因为大部分用户是沉默的用户，并不会明确给系统反馈“我对这个物品的偏好值是多少”。因此，推荐系统可以根据大量的隐性反馈来推断用户的偏好值。However,explicit feedback is not always available.Thus, recommenders can infer user preferences from the more abundantimplicit feedback, which indirectly reflect opinion throughobserving userbehavior 隐性反馈的特性：1 没有负反馈。隐性反馈无法判断是否不喜欢。而显 ...继续阅读 (393)

隐性反馈行为数据的协同过滤推荐算法 《Collaborative Filtering for Implicit Feedback Datasets》论文笔记 本文是我阅读《CollaborativeFiltering for Implicit Feedback Datasets》论文的笔记，介绍的是对于隐性反馈行为数据协同过滤算法，采取的是隐语义模型（LFM），求解方式是ALS ...继续阅读 (46)

map-reduce入门 最近在改写mahout源码，感觉自己map-reduce功力不够深厚，因此打算系统学习一下。map-reduce其实是一种编程范式，从统计词频（wordCount）程序来讲解map-reduce的思想最容易理解。 给定一个文件，里面的内容如下，要求统计每个单词的词频。Hello AngelaI love you AngelaHow are you Angela map（每个单词处理为一行，key,value形式）Hello,1Angela,1I,1love,1you,1Angela,1How,1are,1you,1Angela,1 reduce（key相同的行汇在一起）Hello,<1>Angela,<1,1,1>I, <1>love, <1>you, <1,1>How, <1>are, <1> reducer处理后输出Hello,1Angela,3I, 1love, 1you, 2How, 1are, 1 从上可以看到，map阶段和reduce阶段的输入输出数据都是key,value形式的。key的存在是为了标志哪些数据需要汇在一起处理。显然，对于上面统计词频的例子，我们的目的就是让同一个单词的数据落在一起，然后统计该单词出现了多少次。 了解了map-reduce的思想之后，下面来看看分布式的map-reduce是怎样子的。 Hadoop有两类节点， ...继续阅读 (69)

map-reduce入门     map-reduce其实是一种编程范式，从统计词频（wordCount）程序来讲解map-reduce的思想最容易理解。   给定一个文件，里面的内容如下，要求统计每个单词的词频。 Hello Angela I love you Angela How are you Angela   map（每个单词处理为一行，key,value形 ...继续阅读 (45)

git配置ssh密钥如果主机（当前登录用户）之前没有git账号，即添加第一个git账号，并配置ssh密钥时，按照如下的步骤：1 cd ~/.ssh2 ssh-keygen -t rsa -C 'liulian@gmail.com'3 cat id_rsa.pub4 拷贝公钥到git服务器上5 测试：git clonegit@git.host.com:liulian/mahout-0.9-custom.git 附加信息：1ssh-keygen -t rsa -C 'liulian@gmail.com'Generating public/private rsa key pair.Enter file in which to save the key(/data/home/liulian/.ssh/id_rsa):Enter passphrase (empty for no passphrase): （输入密码）Enter same passphrase again: （再次输入密码）Your identification has been saved in/data/home/liulian/.ssh/id_rsa.Your public key has been saved in/data/h ...继续阅读 (77)

git配置ssh密钥 如果主机（当前登录用户）之前没有git账号，即添加第一个git账号，并配置ssh密钥时， 按照如下的步骤： 1 cd  ~/.ssh 2 ssh-keygen -t rsa -C 'liulian@gmail.com' 3 cat id_rsa.pub 4 拷贝公钥到git服务器上 5 测试：git clone git@git.host. ...继续阅读 (37)

spark一些入门资料A Scala Tutorial for Java Programmershttp://docs.scala-lang.org/tutorials/scala-for-java-programmers.html学习资源（视频教程，书，例子等）spark.apache.org/documentation.html入门指南spark.apache.org/docs/latest/quick-start.html编程指南spark.apache.org/docs/latest/programming-guide.html官网自带例子（极好，有local版，有spark版）https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples执行spark应用（利用spark-submit命令，其实最底层是java调用）spark.apache.org/docs/latest/submitting-applications.html./spark-submit --class"SimpleApp" --master local[4] /home/linger/scala_target/SimpleApp.jar执行官网自带的example可以利用run- ...继续阅读 (206)

spark一些入门资料 A Scala Tutorial for Java Programmers http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html   学习资源（视频教程，书，例子等） spark.apache.org/documentation.html   入门指南 s ...继续阅读 (40)

给大数据文件的每一行产生唯一的id4个主要思路：1 单线程处理2 普通多线程3 hive4 Hadoop搜到一些参考资料《Hadoop实战》的笔记-2、Hadoop输入与输出https://book.douban.com/annotation/17068812/TextInputFormat：文件偏移量：整行数据但是这个偏移量，貌似是在一个文件的偏移，而不是全局。Generate Auto-increment Id in Map-reduceJobhttp://shzhangji.com/blog/2013/10/31/generate-auto-increment-id-in-map-reduce-job/Generate unique customer id / insert uniquerows in hivehttp://stackoverflow.com/questions/26855003/generate-unique-customer-id-insert-unique-rows-in-hiveNeed to add auto increment column in atable using hivehttp://stackoverflow.com/questions/23082763/need-to-add-auto-increment-column- ...继续阅读 (64)

给大数据文件的每一行产生唯一的id 4个主要思路： 1 单线程处理 2 普通多线程 3 hive 4 Hadoop   搜到一些参考资料 《Hadoop实战》的笔记-2、Hadoop输入与输出 https://book.douban.com/annotation/17068812/ TextInputFormat：文件偏移量：整行数据 但是这个偏移量，貌似 ...继续阅读 (47)

相似度计算map-reduce实现思路输入：1 f(1)2 f(2)3 f(3)4 f(4)mapper:1,2 f(1)1,3 f(1)1,4 f(1)1,2 f(2)2,3 f(2)2,4 f(2)1,3 f(3)2,3 f(3)3,4 f(3)1,4 f(4)2,4 f(4)3,4 f(4)reducer:1,2 f(1) f(2)1,3 f(1) f(3)1,4 f(1) f(4)2,3 f(2) f(3)2,4 f(2) f(4)3,4 f(3) f(4)本文作者：linger本文链接：http://blog.csdn.net/lingerlanlan/article/details/46289661 ...继续阅读 (58)