【携程旅行网 吴晓刚】  ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。 这两种场景的数据索引和应用访问模式上差异较大，在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴，数据量... ...继续阅读 (52)

在CentOS6上安装TensorFlow1.2后，import tensorflow时出现以下问题：1ImportError: /lib64/libc.so.6: version `GLIBC_2.17' not found这个错误的原因是未安装2.17版本的glibc库。而在CentOS上，使用yum install glibc命令，只能更新到2.12版本。需要手动下载编译安装。glibc-2... ...继续阅读 (56)

今天在CentOS上升级TensorFlow1.4版本后出现了一个问题Python程序中import tensorflow as tf会出现下面的错误：123ImportError: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.7' not found (required by /root/anaconda3/lib/python3.6/site-... ...继续阅读 (49)

自然语言处理方向的论文仿真到现在，有以下想法： 1. 很多模型都为启发式算法，从直观上很好理解，但是对于大多数人来说，就是一个黑盒，70%时间都在处理数据和调参。 2. 在数据竞赛中，常用的模型就是CNN和RNN，先调出baseline，然后再进行模型融合(model ensemble)。在以上步骤的约束下，数据竞赛比的就是设备的计算能力和个人的调参能力。 3. 在自然语言处理与NLP实战的一系列... ...继续阅读 (58)

近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。业务问题描述：淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”。淘宝网后台是通过树形的多层的类目体系管理商品的，覆盖叶子类目数量达上万个，商... ...继续阅读 (49)

由于项目cnexpat中需要用到pdf2htmlex,先在虚拟机上捣鼓了好久，最后才在服务器上安装成功。因为是linux 初学，所有整个安装过程很苦逼了 1.          升级gcc,要求GCC >= 4.6.3   Wget http://people.centos.org/tru/devtools-2/devtools-2.repo-O /etc/yum.repos.d/devtools-2.repo   yum install devtoolset-2-gcc devtoolset-2-binutils devtoolset-2-gcc-c++   mv /usr/bin/gcc /usr/bin/gcc.backup   ln -s /opt/rh/devtoolset-2/root/usr/bin/gcc /usr/bin/gcc   mv /usr/bin/g++ /usr/bin/g++.backup   ln -s /opt/rh/devtoolset-2/root/usr/bin/g++ /usr/bin/g++ 2 ...继续阅读 (72)

由于项目cnexpat中需要用到pdf2htmlex,先在虚拟机上捣鼓了好久，最后才在服务器上安装成功。因为是linux 初学，所有整个安装过程很苦逼了 1.          升级gcc,要求GCC >= 4.6.3   Wget http://people.centos.org/tru/devtools-2/devtools-2.repo-O /etc/yum.repos.d/devtools ...继续阅读 (50)

总结下本人在日常工作中使用php操作word的一些实战。 方法一：利用php com模块。也即利用word提供的本地api，所有只适用于windows系统上。[php] view plain copy<?php  $word = new com('word.application') or die('无法打开word');  $word->Visiable = false;  $doc_file = '/path/to/doc';  $word->Open($doc_file);  $text = '这段文字将被写到word文档中去';  $word->Selection->TypeText($text);  //保存  $word->ActiveDocument->Save();  //读取内容  $doc_file_contents = $word->ActiveDocumen ...继续阅读 (61)

总结下本人在日常工作中使用php操作word的一些实战。 方法一：利用php com模块。也即利用word提供的本地api，所有只适用于windows系统上。[php] view plain copy$word = new com('word.application') or die('无法打开word');  $word->Visiable = false;  $doc_file = '/pat ...继续阅读 (52)

我的一个客户有这样的需求:上传文件,可以是doc,docx,xls,pdf,txt格式,现需要用php读取这些文件的内容,然后计算文件里面字数.1.PHP读取DOC格式的文件      PHP没有自带读取word文件的类,或者是库,这里我们使用antiword(http://www.winfield.demon.nl/)这个包来读取doc文件.     首先介绍一下如何在windows下使用:      1.打开http://www.winfield.demon.nl/(antiword下载页面),找到对应的windows版本(http://www.winfield.demon.nl/#Windows),下载antiword windows版本(antiword-0_37-windows.zip);      2.将下载下来的文件解压到C盘根目录下;这里还有一点需要注意的:http://www.informatik.uni-frankfurt.de/~markus/antiword/00README.WIN这个连接里有windows下安装的说明文件.  需要设置环境变量,我的电脑(右键 ...继续阅读 (66)

我的一个客户有这样的需求:上传文件,可以是doc,docx,xls,pdf,txt格式,现需要用php读取这些文件的内容,然后计算文件里面字数.1.PHP读取DOC格式的文件      PHP没有自带读取word文件的类,或者是库,这里我们使用antiword(http://www.winfield.demon.nl/)这个包来读取doc文件.     首先介绍一下如何在windows下使用: ...继续阅读 (52)

首先要感谢pdf2htmlEX的作者Lu Wang，该软件是一个pdf转html的开源软件，效果非常理想。下面两张图片是html和pdf视图下的截图：windows下载地址pdf2htmlEX-v1.0-win32-static本人开发的一个功能：文档在线阅读，要求能够支持移动终端浏览器在线阅读。考虑过将文档先转pdf，然后在将pdf转swf，利用flexpaper在前端浏览器访问。但是由于safari浏览器不支持flash，所以这种方式不太适合。也测试过火狐的pdf.js，但是这个框架在safari中出现中文乱码，同样不行。最后，经过测试，只有使用pdf2htmlEX转的html在各个浏览器上展示效果均不错，所以选择该软件。第一步：下载pdf2html。第二步：修改pdf2html自带的js文件pdf2htmlEX.min.js。原因：移动终端浏览器对CSS定位absolute的支持有问题（不会出现滚动条），所以需要为所有页面的容器设置高度，这样，手机浏览器就可以出现滚动条了。修改和添加的js代码如下：[html] view plain copy 文件最后加上：  window.onload=function(){      var eles =&nb ...继续阅读 (61)

首先要感谢pdf2htmlEX的作者Lu Wang，该软件是一个pdf转html的开源软件，效果非常理想。下面两张图片是html和pdf视图下的截图：windows下载地址pdf2htmlEX-v1.0-win32-static本人开发的一个功能：文档在线阅读，要求能够支持移动终端浏览器在线阅读。考虑过将文档先转pdf，然后在将pdf转swf，利用flexpaper在前端浏览器访问。但是由于saf ...继续阅读 (51)

React是Facebook开源的JavaScript库，用于构建UI。你可以在React里传递多种类型的参数，如声明代码，帮助你渲染出UI、也可以是静态的HTML DOM元素、也可以传递动态变量、甚至是可交互的应用组件。（文字来自JS开发者微博）特点：声明式设计：React采用声明范式，你可以轻松描述你的应用高效：Reeact通过对DOM的模拟表现，最大限度地较少与DOM的交互。灵活：React可以与你所知道的库或框架很好地工作。示例一个简单的组件下面这段代码将会在在页面容器中呈现出“Hello John”：[xml] view plaincopy/** @jsx React.DOM */  var HelloMessage = React.createClass({    render: function() {      return <div>{'Hello ' + this.props.name}</div>;    }});   R ...继续阅读 (54)

React是Facebook开源的JavaScript库，用于构建UI。你可以在React里传递多种类型的参数，如声明代码，帮助你渲染出UI、也可以是静态的HTML DOM元素、也可以传递动态变量、甚至是可交互的应用组件。（文字来自JS开发者微博）特点：声明式设计：React采用声明范式，你可以轻松描述你的应用高效：Reeact通过对DOM的模拟表现，最大限度地较少与DOM的交互。灵活：React ...继续阅读 (52)

产品简介BlueKai提供的服务是各种互联网的流量数据， 它提供以下四项数据服务：1.数据管理平台(DMP)：用来帮助用户组织并分析数据，功能包括：（1）收集整合线上线下的数据（用户的自有数据）（2）对数据进行划分（可以针对不同的营销活动，如展示、搜索、视频、社交广告等）（3）将数据用于投放（可投放到不同的广告网络和交换平台）（4）衡量投放效果（可视化），不断进行优化2.数据交换中心：通过使用第三方数据来创建新的可扩展受众，运作机制如下：3.受众和媒体分析：通过分析受众和媒体的数据，帮助营销人员更放心地制定市场计划、发掘用户、优化媒体推广活动。其功能包括（1）根据现有用户，通过人口统计、地域、兴趣及市场属性等方法找到与现有用户有相似属性的用户；（2）基于已知的第一手数据，优化用户和媒体的组合。4.移动端的数据管理平台,它是一个全面的、基于云计算的平台，能够管理第一方和第三方移动数据，并且对受众数据进行深度分析。总之,BlueKai 所做的主要工作是从一些掌握拥有部分有价值客户流量的个人或者中小网站那边购买相关信息，然后将这些信息进行分析归纳，从而总结分类出更具市场价值的流量信息，并最终进行网络拍卖,目前这些研究数据的购买者包括美国排名前十的在线广告网站。发展历程2007年末，Omar Tawakol带领另外12个人共同创立BlueKai，致力于在大数据领域开辟网络广告营销的新天地， ...继续阅读 (61)

产品简介BlueKai提供的服务是各种互联网的流量数据， 它提供以下四项数据服务：1.数据管理平台(DMP)：用来帮助用户组织并分析数据，功能包括：（1）收集整合线上线下的数据（用户的自有数据）（2）对数据进行划分（可以针对不同的营销活动，如展示、搜索、视频、社交广告等）（3）将数据用于投放（可投放到不同的广告网络和交换平台）（4）衡量投放效果（可视化），不断进行优化2.数据交换中心：通过使用第三 ...继续阅读 (50)

百度开源深度学习平台Paddle 吃瓜群众表示只想知道好不好。百度今天开源了其深度学习平台Paddle，引发了挺多人工智能领域开发者的兴趣，包括一些之前一直在Tensorflow和Caffe上练手的开发者。不过鉴于深度学习的开源平台目前并不多，作为开发者也作为热心吃瓜群众的头等大事，就是想知道——这个平台怎么样?别人怎么看这个平台?以及这个平台跟Tensorflow以及Caffe有何区别?▎这个平台本身怎么样Paddle本身在开源前就一直存在，始于2013年的时候，因为百度深度实验室察觉到自己在深度神经网络训练方面，伴随着计算广告、文本、图像、语音等训练数据的快速增长，传统的基于单GPU的训练平台已经无法满足需求，为此在徐伟的带领下，实验室搭建了 Paddle(Parallel Asynchronous Distributed Deep Learning)多机并行GPU这个训练平台。但今天开源的Paddle当然不是3年前的简单模型，3年前Paddle可能还是一个独立的深度学习平台，不能很好地支持把数据从其他平台接入的需求。但今天的Paddle已经在处处强调，它的特色是让Spark 与PADDLE耦合起来，是一个基于Spark的异构分布式深度学习系统。并且经过和百度相关业务的“紧密摩擦”后，它已经迭代了两个版本：从Spark on Paddle架构1.0版，到Spark on PAD ...继续阅读 (53)

百度开源深度学习平台Paddle 吃瓜群众表示只想知道好不好。百度今天开源了其深度学习平台Paddle，引发了挺多人工智能领域开发者的兴趣，包括一些之前一直在Tensorflow和Caffe上练手的开发者。不过鉴于深度学习的开源平台目前并不多，作为开发者也作为热心吃瓜群众的头等大事，就是想知道——这个平台怎么样?别人怎么看这个平台?以及这个平台跟Tensorflow以及Caffe有何区别?　　▎这 ...继续阅读 (52)

一、flume简介Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。上图的Flume的Architecture，在Flume中，最重要的抽象是data flow(数据流)，data flow描述了数据从产生，传输、处理并最终写入目标的一条路径。在上图中，实线描述了data flow。其中，Agent用于采集数据，agent是flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector。对应的，collector用于对数据进行聚合，往往会产生一个更大的流。Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统，支持TCP和UDP等2种模式)，exec(命令执行)等数据源上收集数据的能力。同时，Flume的数据接受方，可以是console(控制台)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系统)等。其中，收集数据有2种主要工作模式，如下：Push Sources：外部系统会主动地将数据推 ...继续阅读 (75)

一、flume简介Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。上图的Flume的Architecture，在Flume中，最重要的抽象是data flow(数据流)，data flow描述了数据从产 ...继续阅读 (49)

问题背景：初步了解Impala的应用重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍写作目的：了解Impala的安装过程初步了解Impala的使用比较Impala与Hive的性能测试适合阅读对象：想了解Impala安装的读者想了解Impala与Hive性能比较的读者不涉及的内容：如何安装Hadoop（假设你已经安装好了Hadoop）如何安装Hive（假设你已经安装好了Hive）关于Hadoop和Hive的安装，可参考我们公司一位Hadoop牛人写的Hadoop一键安装（里面包含了Hive的安装）https://github.com/hadoop-deployer/hadoop-deployer正文：1. Impala介绍Impala 号称在性能上比Hive高出3~30倍，甚至预言说在将来的某一天可能会超过Hive的使用率而成为Hadoop上最流行的实时计算平台（也许我这里有点曲解Impala专家的意思，但其诱惑的言辞足以令Hadoop迷不禁有蠢蠢欲试的激动）。毕竟Impala也是人写出来的，是否真的如想象中的快，还得靠客观数据来验证。下面就这两个星期对Impala的认识小记一下，供日后翻阅。（请原谅我没有告诉你Hadoop是个啥东东，因为我这里假设你已经听过这头在海量数据的世界驰骋几个岁月的大象，但不一定要求你是大牛）以下内容是对Cloudera官网中关于Im ...继续阅读 (59)

问题背景：初步了解Impala的应用重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍写作目的：了解Impala的安装过程初步了解Impala的使用比较Impala与Hive的性能测试适合阅读对象：想了解Impala安装的读者想了解Impala与Hive性能比较的读者不涉及的内容：如何安装Hadoop（假设你已经安装好了Hadoop）如何安装Hive（假设你已经安装好了Hive ...继续阅读 (44)

Meteor在2012年4月首次发布，该消息一经发布，便迅速占据了Haceker News头条宝座，并且成为Hacker News上最热门的文章之一。本文是作者Sacha Greif使用Meteor开发的心得体会，他认为Meteor会让实时Web App在未来成为主流。Meteor是一个新鲜出炉的现代网站开发平台，目前发布的是开发预览版0.5.8，代码以GPL协议开源。大家可以去 GitHub上关注它。Meteor本质上是Node.JS应用的开发，继承了Ruby on Rails、Node.JS、MongoDB API等框架的基础特性，模糊了服务器端和客户端，弱化网络连接质量造成的影响。如果简单定义“现代网站”是一个实时交互、超高性能、具备非凡体验的网站，那么 Meteor就是一个可为开发者以简单高效而且充满乐趣的方式进行现代网站开发的平台，以往开发周期需要几周到几个月的项目，现在可能只需要几个小时或者一个周末的时间就可以完成。Meteor构建的应用体验，会让人觉得浏览器的刷新按钮和地址栏是多余的。Meteor在2012年4月首次发布，该消息一经发布，便迅速占据了Haceker News头条宝座，并且成为Hacker News上最热门的文章之一。本文是作者Sacha Greif使用Meteor开发的心得体会，他认为Meteor会让实时Web App在未来成为主流。&nbs ...继续阅读 (78)

Meteor在2012年4月首次发布，该消息一经发布，便迅速占据了Haceker News头条宝座，并且成为Hacker News上最热门的文章之一。本文是作者Sacha Greif使用Meteor开发的心得体会，他认为Meteor会让实时Web App在未来成为主流。Meteor是一个新鲜出炉的现代网站开发平台，目前发布的是开发预览版0.5.8，代码以GPL协议开源。大家可以去 GitHub上关 ...继续阅读 (54)

简介Word2vec 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效工具, 其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为 K 维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。Word2vec输出的词向量可以被用来做很多 NLP 相关的工作，比如聚类、找同义词、词性分析等等。如果换个思路， 把词当做特征，那么Word2vec就可以把特征映射到 K 维向量空间，可以为文本数据寻求更加深层次的特征表示 。Word2vec 使用的是 Distributed representation 的词向量表示方式。Distributed representation 最早由 Hinton在 1986 年提出[4]。其基本思想是 通过训练将每个词映射成 K 维实数向量（K 一般为模型中的超参数），通过词之间的距离（比如 cosine 相似度、欧氏距离等）来判断它们之间的语义相似度.其采用一个 三层的神经网络 ，输入层-隐层-输出层。有个核心的技术是 根据词频用Huffman编码 ，使得所有词频相似的词隐藏层激活的内容基本一致，出现频率越高的词语，他们激活的隐藏层数目越少，这样有效的降低了计算的复杂度。而Word2vec大受欢迎的一个原因正是其高效性，Mikolo ...继续阅读 (96)

简介Word2vec 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效工具, 其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为 K 维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。Word2vec输出的词向量可以被用来做很多 NLP 相关的工作，比如聚类、找同义词、词性分析等等。如果换个思路， 把词当做特征，那么Word2vec就可 ...继续阅读 (52)

 随机森林（RF, RandomForest）包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。通过自助法（boot-strap）重采样技术，不断生成训练样本和测试样本，由训练样本生成多个分类树组成的随机森林，测试数据的分类结果按分类树投票多少形成的分数而定。        随机森林以随机的方式建立一个森林，森林里有很多决策树，且每棵树之间无关联，当有一个新样本进入后，让森林中每棵决策树分别各自独立判断，看这个样本应该属于哪一类（对于分类算法）。然后看哪一类被选择最多，就选择预测此样本为那一类。        → 每个节点处随机选择特征进行分支。        利用bootstrap重抽样方法，从原始样本中抽出多个样本，对每个bootstrap样本进行决策树建模。        主要思想是bagging并行算法，用很多弱模型组合出一种强模型。一、随机决策树的构造        建立每棵决策树的过程中，有2点：采样与完全分裂。首先是两个随机采样的过程，RF要对输入数据进行一下行（样本）、列（特征）采样，对于行采样（样本）采用有放回的方式 ...继续阅读 (84)

随机森林（RF, RandomForest）包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。通过自助法（boot-strap）重采样技术，不断生成训练样本和测试样本，由训练样本生成多个分类树组成的随机森林，测试数据的分类结果按分类树投票多少形成的分数而定。        随机森林以随机的方式建立一个森林，森林里有很多决策树，且每棵树之间无关联，当有一个新样本进入后，让森林中 ...继续阅读 (49)

一、决策树模型组合        单决策树C4.5由于功能太简单，并且非常容易出现过拟合的现象，于是引申出了许多变种决策树，就是将单决策树进行模型组合，形成多决策树，比较典型的就是迭代决策树GBRT和随机森林RF。        在最近几年的paper上，如iccv这种重量级会议，iccv 09年的里面有不少文章都是与Boosting和随机森林相关的。模型组合+决策树相关算法有两种比较基本的形式：随机森林RF与GBDT，其他比较新的模型组合+决策树算法都是来自这两种算法的延伸。       核心思想：其实很多“渐进梯度”Gradient Boost都只是一个框架，里面可以套用很多不同的算法。         首先说明一下，GBRT这个算法有很多名字，但都是同一个算法：GBRT (Gradient BoostRegression Tree) 渐进梯度回归树GBDT (Gradient BoostDecision Tree) 渐进梯度决策树MART (MultipleAdditive Regression Tree) 多决策回归树Tree Net决策树网络代码示例：该版本发布在了googl ...继续阅读 (67)