相似度计算map-reduce实现思路输入：1 f(1)2 f(2)3 f(3)4 f(4)mapper:1,2 f(1)1,3 f(1)1,4 f(1)1,2 f(2)2,3 f(2)2,4 f(2)1,3 f(3)2,3 f(3)3,4 f(3)1,4 f(4)2,4 f(4)3,4 f(4)reducer:1,2 f(1) f(2)1,3 f(1) f(3)1,4 f(1) f(4)2,3 f(2) f(3)2,4 f(2) f(4)3,4 f(3) f(4)本文作者：linger本文链接：http://blog.csdn.net/lingerlanlan/article/details/46289661 ...继续阅读 (71)

相似度计算map-reduce实现思路 输入： 1 f(1) 2 f(2) 3 f(3) 4 f(4)   mapper: 1,2 f(1) 1,3 f(1) 1,4 f(1) 1,2 f(2) 2,3 f(2) 2,4 f(2) 1,3 f(3) 2,3 f(3) 3,4 f(3) 1,4 f(4) 2,4 f(4) 3,4 f(4) ...继续阅读 (48)

建个QQ群作为大家技术交流的平台最近有很多读者来问我关于caffe的问题，由于我不搞caffe很久了，所以难以高效回答大家的问题。因此，建QQ群作为大家技术交流的平台。caffe，深度学习交流群：419906840机器学习，数据挖掘，推荐广告搜索交流群：126643980 ...继续阅读 (97)

建个QQ群作为大家技术交流的平台 最近有很多读者来问我关于caffe的问题，由于我不搞caffe很久了，所以难以高效回答大家的问题。 因此，建QQ群作为大家技术交流的平台。 caffe，深度学习交流群：419906840 机器学习，数据挖掘，推荐广告搜索交流群：126643980 ...继续阅读 (37)

python多线程读取同一个文件多线程读取同一个文件，要求不能重复，不能遗漏。最开始尝试了一种方法（后来实践证明是无效的）主线程分配给每个读线程需要读取文件中哪些行，比如线程1读取1-10行，线程2读取11-30行。然后每个线程通过readline()来读取，读到的行如果不属于本线程的范围，则continue跳过。实践证明，这若干个线程并没有按照我们期望来读。我的猜想是，通过open来打开一个文件，多个线程返回的是同一个句柄，或者一个文件的文件指针只有一个。经过网上搜索和实践，总结出有以下方法支持多线程读取同一个文件。1通过队列Queue来实现。主线程启动一个线程来读文件，把文件的内容放到队列里。然后启动若干线程，全部从队列取数据。python中的Queue是线程安全的。http://stackoverflow.com/questions/18781354/is-iterating-over-a-python-file-object-thread-safeIs iterating over a Python file object thread safe?2通过linecache来实现。linecache可以指定行号来读取一个文件的任意一行。主线程先分配给每个读线程各自读取的行号，然后各线程根据行号用linecache来读取。此种方法依赖于linecache读取任意一行的速度，如果 ...继续阅读 (384)

python多线程读取同一个文件 多线程读取同一个文件，要求不能重复，不能遗漏。 最开始尝试了一种方法（后来实践证明是无效的） 主线程分配给每个读线程需要读取文件中哪些行， 比如线程1读取1-10行，线程2读取11-30行。 然后每个线程通过readline()来读取，读到的行如果不属于本线程的范围，则continue跳过。 实践证明，这若干个线程并没有按照我们期望来读。 ...继续阅读 (37)

SVD推荐算法（二）这次讲解的是model-based的SVD推荐算法。跟ALS推荐算法一样，都是矩阵分解的推荐算法，只不过求解的方式不同而已。假如评分矩阵是R，那么我们希望拟合这样一个模型R=U*M其中U是user特征，M是item特征。假如一个user的特征是u，一个item的特征是i，那么这个user对这个item的评分就是u*i（两个特征的内积）。损失函数是：然后我们的目标就是最小化这个E了。这是SVD矩阵分解预测评分最基本的一种方法。基于这个思想，各种最优化的方式和损失函数的改造也随之提出来了，来优化这个算法。最小化损失函数，我们可以用Batch Gradient Descent，Stochastic Gradient Descent等。损失函数，我们可以加上正则项防止过拟合。矩阵分解模型上，我们可以加上user评分偏差和item评分偏差。我用了论文《A Guide to Singular Value Decomposition for Collaborative Filtering》的一种方法，实现了一个单机版的SVD矩阵分解预测评分。https://github.com/linger2012/svd-for-recommendation-implemented-by-java用到的损失函数是求解用SGD，对于每个已知user-item的评分，都更新一次模型。1000次 ...继续阅读 (60)

SVD推荐算法（二） 这次讲解的是model-based的SVD推荐算法。 跟ALS推荐算法一样，都是矩阵分解的推荐算法，只不过求解的方式不同而已。   假如评分矩阵是R，那么我们希望拟合这样一个模型 R=U*M 其中U是user特征，M是item特征。 假如一个user的特征是u，一个item的特征是i，那么这个user对这个item的评分就是 u*i（两个特征的内积 ...继续阅读 (42)

SVD推荐算法（一）看了不少论文，总结起来用SVD做推荐主要有两种不同的方式。1 本质上是memory-based，只不过先用SVD对user-item的评分矩阵做降维，得到降维后的user特征和item特征，可以分别做userbased的协同过滤和itembased的协同过滤。2 本质上是model-based，跟传统数学意义的SVD没有太大关系，只不过借鉴了SVD分解R=U*S*V这个形式，通过最优化方法进行模型拟合，求得R=U*V。本文主要讲解第一种情况，第二种情况下次再讲。可以参考的论文：《Applying SVD on Generalized Item-based Filtering 》《Application of Dimensionality Reduction in Recommender System -- ACase Study》memory-based的userbased和itembased关键点之一，是user相似度和item相似度的计算。而相似度的计算依赖于特征。最原始的做法，一个user的特征就是她对所有item的打分，而一个item的特征就是所有user对她的打分。在数学意义上，SVD是这样子的，一个M*N矩阵的R可以分解成为三个矩阵相乘的形式，R=U*S*V（U是M*M矩阵，S是M*N的对角矩阵，V是N*N ...继续阅读 (57)

SVD推荐算法（一） 看了不少论文，总结起来用SVD做推荐主要有两种不同的方式。 1 本质上是memory-based，只不过先用SVD对user-item的评分矩阵做降维，得到降维后的user特征和item特征，可以分别做userbased的协同过滤和itembased的协同过滤。 2  本质上是model-based，跟传统数学意义的SVD没有太大关系，只不过借鉴了SV ...继续阅读 (41)

一天一段scala代码（十六）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples object Example16 { //scala操作XML //scala本身自带了强大操作XML的功能，当然也可以调用java的包 //该部分没什么技术门槛，只是较为繁杂，用的时候再学习 //http://booksites.artima.com/programming_in_scala_2ed/examples/html/ch28.html }本文作者：linger本文链接：http://blog.csdn.net/lingerlanlan/article/details/44902471 ...继续阅读 (56)

一天一段scala代码（十六）        为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。 package examples object Example16 { //scala操作XML //scala本身自带了强大操作XML的功能，当然也可以调用java的包 //该部分 ...继续阅读 (36)

一天一段scala代码（十五）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples object Example15 { //注解可以在程序中的各项条目添加信息，这些信息可以被编译器或外部工具处理。 //下面是一个使用注解，指导编译器编译，为了供java方便调用。 import scala.annotation.varargs @varargs def process(args:String*) {} //则编译器生成java方法：void process(String... args) ，然后java就可以很方便调用这个scala方法 }本文作者：linger本文链接：http://blog.csdn.net/lingerlanlan/article/details/44902221 ...继续阅读 (44)

一天一段scala代码（十四）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples object Example14 extends App{ var ch='9' var sign= ch match{ case '+' => 1 case '-' => -1 case _ if Character.isDigit(ch) => Character.digit(ch,10) //守卫模式，加上条件 case _ => 0 } println(sign) ch='8' sign= ch match{ case c if Character.isDigit(c) => Character.digit(c,10) //c=ch 变量模式 case _ => 0 } println(sign) import scala.math._ var x = Pi var y = x match{ case Pi => 3.14 //Pi is val,not Pi=x 匹配常量 } println(y) def matchConstant(x:Any)= { val cPi = Pi x match { ...继续阅读 (70)

一天一段scala代码（十三）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples object Example13 extends App{ //可变集合和不可变集合 val iMap = scala.collection.immutable.Map("1"->2,"2"->2) println(iMap) println(iMap+("3"->3))//新创建一个map,并加上一个元素. 没有 +=函数 println(iMap) val mMap = scala.collection.mutable.Map("1"->2,"2"->2) println(mMap) println(mMap+=("3"->3))//改变原来的map,并返回新的map println(mMap) //集合有很多方法,用IDE开发有提示,比较方便 //举例:reduceLeft,scanLeft,getOrElse val partial_function_res = "-3+4".collect{case '+' =>1;case '-' => -1;} println(partial_function_r ...继续阅读 (57)

一天一段scala代码（十二）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples object Example12 extends App{ def mulBy1(factor:Double)=(x:Double)=>factor*x def mulBy2(factor:Double)(x:Double)=factor*x val triple = mulBy1(3) println(triple(8)) println(mulBy1(3)(8)) println(mulBy2(3)(8)) def myUntil1(myCondition: =>Boolean)(myBlock: =>Unit) { if(!myCondition) { myBlock myUntil1(myCondition)(myBlock) } } var x=10 myUntil1(x==0) { x-=1 println(x) } def myUntil2(myCondition: =>Boolean)(myBlock: ()=>Unit) { if(!myCondition) { myBlock() myUntil ...继续阅读 (58)

一天一段scala代码（十一）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples class Fraction(n:Int,d:Int) { private val num =n private val den=d def *(other:Fraction) = new Fraction(num*other.num,den*other.den) //重载称号操作符 } object Fraction { def apply(n:Int,d:Int) = new Fraction(n,d) def unapply(input:Fraction)= { if(input.den==0) None else Some((input.num,input.den)) } } object Example11 extends App{ //元组提取器 val Fraction(a,b) = Fraction(1,2)*Fraction(1,3) println(a,b) //额外, 单个参数或者无参数的需要用option;提取任意长度的需要用unapplaySeq }本文作者 ...继续阅读 (74)

一天一段scala代码（十）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples //特质的基本使用 trait Logger { def log(msg:String) //不定义,抽象方法 } class ConsoleLogger extends Logger { def log(msg:String){println(msg)} //重写抽象方法不需要override } class Animal {} import scala.util.logging.Logged class Cat extends Animal with Logged { def sayHello= { log("Fuck!") } } trait ConsoleLogged extends Logged { override def log(msg:String){println(msg)} //因为Logged中log不是抽象方法,所以需要override } //Ordered接口的使用 class Rational(n:Int,d:Int) extends Ordered[Rational] { def numer =n ...继续阅读 (56)

ALS矩阵分解推荐模型其实通过模型来预测一个user对一个item的评分，思想类似线性回归做预测，大致如下定义一个预测模型（数学公式），然后确定一个损失函数，将已有数据作为训练集，不断迭代来最小化损失函数的值，最终确定参数，把参数套到预测模型中做预测。矩阵分解的预测模型是：损失函数是：我们就是要最小化损失函数，从而求得参数q和p。矩阵分解模型的物理意义我们希望学习到一个P代表user的特征，Q代表item的特征。特征的每一个维度代表一个隐性因子，比如对电影来说，这些隐性因子可能是导演，演员等。当然，这些隐性因子是机器学习到的，具体是什么含义我们不确定。学习到P和Q之后，我们就可以直接P乘以Q就可以预测所有user对item的评分了。讲完矩阵分解推荐模型，下面到als了（全称Alternatingleast squares）。其实als就是上面损失函数最小化的一个求解方法，当然还有其他方法比如SGD等。als论文中的损失函数是（跟上面那个稍微有点不同）每次迭代，固定M，逐个更新每个user的特征u(对u求偏导，令偏导为0求解)。固定U，逐个更新每个item的特征m(对m求偏导，令偏导为0求解)。论文中是这样推导的这是每次迭代求u的公式。求m的类似。为了更清晰的理解，这里结合spark的als代码讲解。spark源码中实现als有三个版本，一个 ...继续阅读 (299)

一天一段scala代码（九）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples import scala.io.Source object Example9 extends App { val source = Source.fromFile("/home/linger/data/hive_data","UTF-8") val lines = source.getLines() for(l<-lines) { println(l) } lines.toArray source.mkString source.close() //可以调用Java一些io库来处理文件 //正则表达式 val wsnumws = """\s[0-9]+\s+""".r //原始字符串形式 val wsnumws2 = "\\s[0-9]+\\s+".r //等价于上面,但需要转移 //正则提取器 val numitem = "([0-9]+) ([a-z]+)".r val numitem(num,item) = "99 bottle" println(num,item) ...继续阅读 (51)

一天一段scala代码（八）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples class Person8 { var name:String="" def this(name:String) { this()//一定要先调用主构造器.每个辅助构造器最终都会调用主构造器 this.name=name } override def toString= { "name:"+name } def show= { println("Person:"+toString) } } class Employee(name:String,salary:Double) extends Person8(name:String) //只有主构造器能够调用超类的构造器 { override def toString= { "name:"+name+",salary:"+salary } override def show= { println("Employee:"+toString) } ...继续阅读 (44)

一天一段scala代码（七）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples class Angela { //包可见性 这里规定了这个方法只能再examples包内可见 //当时在spark的mllib做二次开发时遇到这个坑,mllib有些函数是包可见的,其他包访问不了. //解决方法是将自己的程序起名跟那些函数所在的包一致,比如org.apache.spark.mllib.xxxx,这样就可以访问mllib的一些类和函数了 private[examples] def sayHello= { println("Hello!") } } //引入重命名 import java.util.{HashMap=>JavaHashMap} //隐藏,下面这样就访问不到java的HashMap了 import java.util.{HashMap=>_} //引入重命名和隐藏都可以解决 不同包的类名相同导致的冲突(或者覆盖) //目前还不知道啥时候会冲突,啥时候会覆盖.总之要记住,如果使用的类存在名字相同,就要注意了,简单有效d的处理方法是 重命名 //import java.lang._ //import scala._ //i ...继续阅读 (60)

一天一段scala代码（六）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples class Account { val id = Account.getUnique()//访问这个类的伴生对象 } object Account //上面类的伴生对象 里面的成员类似c++中类的静态成员 . 如果只定义了这个对象,没有定义上面的类,则对象就是单例对象了. { private var id=0 def getUnique()= { id+=1 id } } object Example6 extends App //直接继承App,就不用再写main函数了 { println(new Account().id) println(new Account().id) }输出1 2本文作者：linger本文链接：http://blog.csdn.net/lingerlanlan/article/details/43493207 ...继续阅读 (55)

一天一段scala代码（五）为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。package examples class Person { val publicVal = 1 //自动生成getter var publicVar = 2 //自动生成getter和setter //自定义getter和setter private var privateAge=0 def age = privateAge //getter def age_=(newValue:Int) //setter { if(newValue>privateAge) privateAge = newValue } } /* * 主构造器 */ class Person1(name:String,age:Int) //这样name和age都默认是val { def info=println("name:"+name+",age:"+age) } class Person11(val name:String,private var age:Int) { def info=println("name:"+name+",age:"+age) } /* * 辅助构造器 */ ...继续阅读 (61)