spark for python developer 一书，说实在的，质量一般，但勉强可以作为python 工程师的入门资料，至此，这一时段的地铁译结束了，开始新的阅读旅程……对于 Python 的图形绘制和可视化, 有大量的工具和库，和我们最相关并且有趣的是:• Matplotlib 是Python 绘图库的鼻祖. Matplotlib 最初7由 John Hunter 创作， 他是开源软件的支持者，建立的 Matplotlib 是学术界和数据科学界最流行的绘图库之一。 Matplotlib 支持生成线图，直方图，功率谱，饼图，误差图，散点图等等。
从 Matplotlib
网站可以看到大量的例子http://matplotlib.org/examples/index.html.• Seaborn, 由 Michael Waskom 开发, 是一个快速可视化统计信息的很棒的库，构建在Matplotlib 之上，无缝集成了 Pandas 和 Python 的数据栈, 包括Numpy. Seaborn 图库 在http://stanford.edu/~mwaskom/software/seaborn/examples/index.html 展示了这个库的潜力。• ggplot 是一个新的库，目标是提供R 生态系统中著名的ggplot2 的等价物，是 ...继续阅读 (136)

先研究一下不断改变的动态环境带来的挑战，在列出流处理应用的先决条件（如，Twitter的TCP Sockets连接）之后， 结合Spark, Kafka 和 Flume 把数据放入一个低延迟，高吞吐量，可缩放的处理流水线。要点如下:• 分析流式应用架构的挑战，约束和需求• 利用Spark Streaming 从 TCP socket 中处理实时数据• 连接 Twitter 服务，准实时解析 tweets• 使用 Spark, Kafka, 和 Flume 建立一个可靠，容错，可缩放，高吞吐量，低延迟的集成应用• 以 Lambda 和 Kappa 的架构范式结尾Spark Streaming在数据密集型应用中的位置按照惯例, 先看一下最初的数据密集型应用架构，指明我们所感兴趣的 Spark Streaming 模块的所处位置.下图着重指明了整体架构中的Spark Streaming模块，Spark SQL和 Spark MLlib：数据流可以来自股票市场的时序分析，企业交易，各种交互，事件，web流量，点击流，和传感器数据等，都是及时且带有时间戳的数据。用例有欺诈检测和防伪，移动的交叉销售和销售提升，或者交通预警。这些数据流需要及时处理以便于监测，例如 异常检测，异常奇点，垃圾邮件，欺诈和入侵; 也可提供基础的统计，见解，趋势，和推荐。 某些情形，总 ...继续阅读 (99)

系统性能调优尤其是mysql数据库性能调优一个主要依据就是慢查询日志了。原来在ubantu 或centos 上有一个强大工具就是 percona toolkit，那么在mac 上如何使用pt-query-digest呢？下载 percona toolkit访问http://www.percona.com/downloads/percona-toolkit, 采用源代码安装，下载最新稳定版2.2.7。安装 并预先填好安装过程中的那些坑进入下载的目录，开练：$tar xvfz percona-toolkit-2.2.7.tar.gz$cd percona-toolkit-2.2.17注意一下perl 的版本要是5.18以上。Perl，多年前热衷的语言，呵呵。试运行一下 perl Makefile.PL 看一下输出：Checkingifyour kit is complete...Looks good Warning: prerequisite DBD::mysql3notfound.Warning: prerequisite DBI1.46notfound.Warning: NAME must be a package name Generating a Unix-styleMakefile Writing Makefile for percona-toolkitWriting ...继续阅读 (80)

大量的IT组织如今都已自己的数据架构，因为都依赖于传统的数据架构。处理多数据源已不再新鲜；这些架构已经连接了多维度的数据源例如 CRM 系统，文件系统和其他商用系统。主要运行的关系型数据库有 Oracle, DB2和Microsoft SQL。如今，一般的数据分析周期是运行一些周期性脚本直接从数据库提取和处理数据。这些主要由 ETL工具如 Informatica 或者 Talend. 目标是将这些提炼的数据加载到数据仓库用于将来的分析。不幸的是，这一方法在周期结束后可能不适合商务的需要了。这些数据流水线可能需要几个小时，几天甚至几周才能完成，但是商务决策的需求可能已经变了。除了处理时间，还有一些数据的自然改变使这些架构难于处理，例如 数据结构重构变化导致数据模型的重构或者数据容量导致的伸缩性考虑。由于不是分布式系统，所以系统扩展比较困难。数据库需要高性能的CPU，RAM和存储方案，对于硬件的依赖使系统的扩展性部署非常昂贵。现在大多数IT组织已经切换到基于Hadoop的数据架构了。实际上，不仅是灵活性和技术成本，主要目标是一组商用主机分散处理负载，以及摄取海量的不同类型数据。Figure 3-1 给出了这一架构的拓扑图。Figure 3-1. 基于Hadoop的数据架构下面看一下数据流水线的涵盖范围，包含了哪些技术，以及这种类型架构的通用实践。处理数据源如 Figure 3-1所示, ...继续阅读 (90)

机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib，采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache
Spark相关的tweets . 初始输入是混合在一起的tweets。 首先提取相关特性, 然后在数据集中使用机器学习算法 , 最后评估结果和性能.本章重点如下:•了解 Spark MLlib 模块及其算法，还有典型的机器学习流程 .• 预处理 所采集的Twitter 数据集提取相关特性， 应用非监督集群算法识别Apache Spark-
相关的tweets. 然后, 评估得到的模型和结果.• 描述Spark 机器学习的流水线.Spark MLlib 在应用架构中的位置先看一下数据学习在数据密集型应用架构中的位置，集中关注分析层，准确一点说是机器学习。这是批处理和流处理数据学习的基础，它们只是推测的规则不同。下图指出了重点, 分析层处理的探索式数据分析工具 Spark SQL和Pandas外 还有机器学习模块.Spark MLlib 算法分类Spark MLlib 是一个更新很快的模块，新的算法不断地引入到 Spark中.下图提供了 Spark MLlib 算法的高层通览，并根据传统机器学习技术的体系或数据的连续性进行了分组:根据数据的类型，将 Spark MLlib 算法分成两栏, ...继续阅读 (70)

概览一下大数据项目中可以使用的数据存储技术，聚焦于Couchbase 和 ElasticSearch，展示如何使用以及它们的区别，先理解一下NoSQL领域中各种不同的技术。NoSQL关系型数据库是过去的选择，几乎是许多开发者和DBA对于传统三层架构应用的唯一选择。使用这一场景有很多原因，数据建模方法，查询语言与数据交互，保证数据的一致性部署，并能够为复杂的应用服务。然而，这不是解决所有数据存储问题的唯一方案，也是NoSQL 产生的原因。NoSQL 提供了新的方法而不是采用面向标准SQL的范式。NoSQL 技术与高伸缩性无缝融合，很多技术同时具备了高分布性和高性能。大多数时间里，它们使 现有RDBMS 技术所实现的架构更加完整，例如 作为缓存服务器，搜索引擎，非结构化存储，易变信息存储等。主要分为4类：Key/value列存储面向文档的存储图存储现在深入到各种技术，选择最适用于使用场景的技术。Key/Value第一个也是最早的 NoSQL 数据存储就是key/value. 这些数据就像字典一样根据key来匹配value，通常使用在需要高性能的基本信息存储，例如需要快速读写的session信息，这些存储在这样的情景非常高效，也通常具有高伸缩性。Key/value也经常被用于上下文的队列化来保证数据不丢失，例如日志架构或搜索引擎的索引架构。Redis 和Riak KV 是非常有名的key ...继续阅读 (57)

聚焦在 Twitter 上关于Apache Spark的数据, 这些是准备用于机器学习和流式处理应用的数据。 重点是如何通过分布式网络交换代码和数据，获得 串行化, 持久化 , 调度和缓存的实战经验 。 认真使用 Spark SQL, 交互性探索结构化和半结构化数据. Spark SQL 的基础数据结构是
Spark dataframe， Spark dataframe 受到了 Python Pandas
dataframe 和R dataframe 的启发. 这是一个强大的数据结构, 有R 或Python 背景的数据科学家非常容易理解并喜欢上它.主要关注以下几点:• 连接 Twitter, 收集有关数据, 然后存储到各种格式中如 JSON ，CSV 以及 MongoDB这样的数据存储• 使用Blaze and Odo分析数据, 一个Blaze的副产品库, 能够在各种源和目标之间建立连接并传输数据• 引入 Spark dataframes 作为各个 Spark 模块交换数据的基础，同时使用 Spark SQL交互性探索数据回顾数据密集型应用的架构首先审视数据密集型应用架构，集中关注集成层以及获取、提炼和数据持久化迭代循环的基本运行. 这一循环命名为 5C. 5C 代表了connect, collect,correct, ...继续阅读 (78)

这是《Scalable Big Data Architecture》一书的翻译笔记和读书札记，使用了原书中的大量图片，融入自己的部分观点 ….数据管理比以往更加复杂，到处都是大数据，包括每个人的想法以及不同的形式:广告 , 社交图谱,信息流 ,推荐 ,市场, 健康, 安全, 政府等等.过去的三年里，成千上万的技术必须处理汇合在一起的大数据获取，管理 和分析; 技术选型对IT部门来说是一件艰巨的任务，因为在大多数时间里没有一个综合的方法来用于选型.当自己面临选择的时候，通常会问如下的问题: 什么时候需要考虑在IT系统中使用大数据? 准备好使用了么? 从哪里开始? 感觉大数据只是一种市场趋势，我还是应该去做么？这些问题萦绕着CIO和CTO们，当决定部署一个全局化分布式大数据架构时，可能会把企业置于危险之中。本章目的时定义大数据的表征—换句话说，就是什么时候需要考虑将大数据放入架构。 但是，也指出了各种大数据技术的区别，能够理解在何种情况使用哪种技术。最后, 基于真实世界的例子，构建了典型分布式大数据架构的基础模型。定义大数据表征基于不同的需要，可能选择开始大数据项目s: 因为所需处理的数据容量, 因为系统中数据结构的多样性, 因为扩展性问题, 或者因为需要削减数据处理的 ...继续阅读 (61)

使用PySpark和PyData相关库构建应用来分析社交网络中含有Spark的交互信息. 我们从GitHub收集有关Apache Spark的信息, 在Twitter上检查相关的tweets, 使用 Meetup从更广泛的开源社区得到更多Spark 相关感受。 
本章中, 我们将概览各种信息和数据源，理解他们的结构，从批处理到流处理介绍数据处理流水线，要点如下:+ 从批处理到流处理介绍数据处理管道, 有效的描述准备构建的应用架构.+ 获取各种数据源 (GitHub, Twitter, 和Meetup), 包括他们的数据结构(JSON, 结构信息, 非结构化文本, 地理信息,时序数据等)和复杂性.我们也讨论了三种API的连接工具,所以科可以构建自己的混搭数据。 下面重点关注Twitter.架构数据密集型应用我们已经定义了数据密集型应用框架的架构，回顾一下各种软件组件的应用场景. 这是数据密集型应用框架中软件组件的解释。Spark 是非常高效的分布式计算框架 ，为了展示它全部的能力，需要相应地架构我们的解决方案。出于性能的约束, 整体方案需要关注CPU,存储和网络的使用率。影响架构的必要条件:+ 延迟: 该架构要兼顾快速和慢速处理.批处理模式中历史数据是慢处理，这叫做闲置数据（data in rest）. 对于持续流入系统的数据构建欲计算模型和数据模式需要适应快速处理。数据 ...继续阅读 (82)

现象系统服务准备在青云上线，突然间发现服务时断时续，登陆服务器，查看日志，原来是‘Too many open files‘， ulimit 和lsof 一看果真如此。解决未果原来在centos 或者 ubantu 集群上早已经遇到过类似的问题，原因很简单，最大文件数限制。后来使用阿里云，同样遇到了同样的问题，解决方案很简单，通过修改limits.conf（ubantu)文件即可。打开/etc/security/limits.conf，找到如下设置(如果没有就插入)：*soft nofile 65535*hard nofile 65535现在在青云上，依然如此操作，系统重启后，发现居然无效，ulimit 和 lsof 查看问题依旧，不明所以。后来得青云四爷的帮助，告知青云服务是面向用户Session的。面向用户session 的PAM用户鉴别是Linux的门户，每个用户进入到系统中都必须经过鉴别。 可插入认证模块（简称PAM，Pluggable Authentication Modules）是基于模块化设计、具有可插入功能的一种独立于应用程序之外的验证方式。使用PAM后，应用程序可以不需要集成验证功能，而由PAM来完成。PAM 使用灵活，有着各种不同的验证模块。pam_access验证模块一般与account验证类型一同使用。它主要用于对访问进入管理，提供基于登录 ...继续阅读 (82)

Spark 同时可以建立在虚拟化的基础上，例如Vagrant 和Docker， 这样的虚拟化环境很容易部署到各种云服务上，例如AWS。Vagrant的虚拟化环境为了创建Python和Spark 环境，便于分享和复制, 整个开发环境可以生成一个 vagrantfile.我们参考Berkeley University 和 Databrick 发布的 Massive Open Online Courses (MOOCs) :• Introduction to Big Data with Apache Spark, Professor Anthony D. Joseph 网址https://www.edx.org/course/introduction-big-data-apache-spark-uc-berkeleyx-cs100-1x• Scalable Machine Learning, Professor Ameet Talwalkar 网址https://www.edx.org/course/scalable-machine-learning-uc-berkeleyx-cs190-1x课程实现使用了 IPython Notebooks和PySpark. 在GitHub repository的位置:https://github.com/spar ...继续阅读 (82)

在VirtualBox 上建Ubantu虚机，安装Anaconda，Java 8，Spark，IPython Notebook，以及和Hello world 齐名的wordcount 例子程序。搭建Spark 环境本节我们学习搭建 Spark环境:在Ubuntu 14.04的虚拟机上创建隔离的开发环境，可以不影响任何现存的系统安装 Spark 1.3.0 及其依赖.安装Anaconda Python 2.7 环境包含了所需的库 例如Pandas, Scikit-Learn, Blaze, and Bokeh, 使用PySpark, 可以通过IPython Notebooks访问在我们的环境中搭建后端或数据存储，使用MySQL作为关系型数据库；MongoDB作文档存储；Cassandra 作为列存储数据库。 根据所需处理数据的需要，每种存储服务于不同的特殊目的。MySQL RDBMs可以使用SQL轻松地完成表信息查询；如果我们处理各种API获得的大量JSON类型数据, 最简单的方法是把它们存储在一个文档里；对于实时和时间序列信息，Cassandra 是最合适的列存储数据库.下图给出了我们将要构建的环境视图 将贯穿本书的使用:在Oracle VirtualBox 搭建Ubuntu搭建一个运行Ubuntu 14.04的virtualbox环境是搭建开发环境最安全 ...继续阅读 (71)

这一段，主要是 Spark 的基本概念，以及Anaconda的基本组成。理解SparkHadoop 随着数据的增长水平扩展，可以运行在普通的硬件上, 所以是低成本的. 数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS(Hadoop Distributed File System). Hadoop 在批处理中运行map-reduce任务.Hadoop 要求在每个 map, shuffle,和reduce 处理步骤中将数据持久化到硬盘. 这些批处理工作的过载和延迟明显地影响了性能.Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于Spark 通过数据管道的内存处理允许不同阶段共享数据. Spark 的独特之处在于允许四种不同的数据分析和处理风格. Spark能够用在:Batch: 该模式用于处理大数据集典型的是执行大规模map-reduce 任务。Streaming: 该模式用于近限处理流入的信息。Iterative: 这种模式是机器学习算法，如梯度下降的数据访问重复以达到数据收敛。Interactive: 这种模式用于数据探索，有用大数据块位于内存中，所以Spark的响应时间 ...继续阅读 (59)

一个多月的地铁阅读时光，阅读《Spark for python developers》电子书，不动笔墨不看书，随手在evernote中做了一下翻译，多年不习英语，自娱自乐。周末整理了一下，发现再多做一点就可基本成文了，于是开始这个地铁译系列。本章中，我们将为开发搭建一个独立的虚拟环境，通过Spark和Anaconda提供的PyData 库为该环境补充能力。 这些库包括Pandas,Scikit-Learn, Blaze, Matplotlib, Seaborn, 和 Bokeh. 我们的操作如下:使用Anaconda 的Python 发布包搭建开发环境，包括使用 IPython Notebook 环境来完成我们的数据探索任务。安装并使Spark以及 PyData 库正常工作，例如Pandas，Scikit- Learn, Blaze, Matplotlib, 和 Bokeh.构建一个 word count例子程序来保证一切工作正常.近些年来涌现出了很多数据驱动型的大公司，例如Amazon, Google, Twitter, LinkedIn, 和 Facebook. 这些公司,通过传播分享，透漏它们的基础设施概念，软件实践，以及数据处理框架，已经培育了一个生机勃勃的开源软件社区，形成了企业的技术，系统和软件架构，还包括新型的基础架构，DevOps ...继续阅读 (92)

MongoDB一个面向文档可扩展的高性能开源数据库，典型的应用场景有网页数据，缓存，代替文档存储等。命令的记忆和使用是一门基本功，这里准备了速查表，可以做案头手册。库操作切换或使用数据库use mymongodb看所有的库show dbs删除当前使用数据库db.dropDatabase()克隆所有的库到当前连接db.cloneDatabase(“192.160.1.1”)复制指定的库db.cloneDatabase(“sourcedb”,”targetdb”,”192.168.1.1”)查看当前数据库db.getName()当前数据库状态db.stats()当前数据库版本db.version()查看当前数据库的连接db.getMongo()用户操作添加用户db.addUser(“user_name”, “password”, true)用户认证db.auth(“username”, “password”)显示所有用户show users;删除用户db.removeUser(“username”);集合基本信息查询集合的数据条数db.myCollection.count();查看数据空间大小db.myCollection.dataSize();查看集合所在的数据库db.myCollection.getDB();当前聚集的状态db.myCollection.stats();当前集合的总 ...继续阅读 (65)

如果远程提交任务给Hadoop 可能会遇到 "org.apache.hadoop.security.AccessControlException:Permission denied: user=..." ， 当然，如果是spark over YARN， 也同样会遇到类似的问题，例如： An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.: org.apache.hadoop.security.AccessControlException: Permission denied: user=abel, access=WRITE, inode="/user/abel/.sparkStaging/application_1460633311001_0032":hdfs:hdfs:drwxr-xr-xhadoop 的用户鉴权是基于JAAS的，其中hadoop.security.authentication属性 有simple 和kerberos 等方式。如果hadoop.security.authentication等于”kerberos”,那么是“hadoop-user-kerberos”或者“hadoop-keytab-k ...继续阅读 (153)

能在本地Mac环境用python提交spark 任务会方便很多，但是在安装了 spark-1.6-bin-without-hadoop  (spark.apache.org/download) 之后，在python 中  “import pyspark” 会报“no module named pyspark” 错误。 没错，这种错误都是 路径问题。为了本地使用spark，需要在~/.bash_profile 中增加两个环境变量：SPARK_HOME 以及必知的PYTHONPATHexport SPARK_HOME=/Users/abc/Documents/spark-1.6.0-bin-without－hadoop ＃这是spark 的安装路径export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH注：Py4J有点像 Python 版的 JNI，通过它， Python 程序可以利用 Python 解释器直接调用Java虚拟机中的 Java 对象，也可以让 Java 调用 Python 对象。然后，别忘了，source ~/.bash_profile 让它生效。 运行 python shell，from py ...继续阅读 (242)

周末，一曾经的小伙伴问及数据分析的几个问题，遗憾的是，他没有基于python，而是选择了R。 他告诉我，R在他的mac 上无法显示和输入中文，不明所以。问题出现了，首先要定位问题所在，还原现场。微信截图，才发现 Rstudio 在启动的时候报如下信息：During startup - Warning messages:1: Setting LC_CTYPE failed, using "C"2: Setting LC_COLLATE failed, using "C"3: Setting LC_TIME failed, using "C"4: Setting LC_MESSAGES failed, using "C"5: Setting LC_PAPER failed, using "C"[R.app GUI 1.50 (6126) x86_64-apple-darwin9.8.0]WARNING: You're using a non-UTF8 locale, therefore only ASCII characters will work. 从告警信息中可以很清晰的知道问题所在，Locale 不是UTF8，所以中文不正常了。明确了问题，如何解决呢？这里涉及一个概念 L ...继续阅读 (100)

一般的移动社交网络可以认为是由人和内容组成的一个双模网络，在添加位置信息，或者对内容的类型进行细分之后，可以演变成多模复杂网络。信息内容在社交网络中具有相当重要的地位，因为从本质上讲，社交的目的应该是信息的交换。信息、观念和看法的改变是相对较快的，信息内容和社交结构最终构成一个双重反馈回路，社交结构影响信息扩散，而信息则影响社会结构的变化。 如何看待社交网络中信息内容的价值呢？本着面向对象的思想，在这个双模网络中有两类节点：信息内容和人。 人和信息之间的关系是双向的， 因而可以从三个方面评估信息内容的价值：信息对人的影响Ve，人对信息的评价反馈Vf，信息内容本体Vs。1） 信息对人的影响根据社交网络中信息内容和我之间的关系，可以分为以下多个维度：相关性（Relevance）：我是否关心？这条内容与我什么关系呢？显著性（slinky）:这是相关性在时间维度上的体现，表明我现在或在未来一段时间内释放是否关心改内容？共鸣性（Resonance）：信息的内容和我所相信的内容是否一致？严重性（severity）：信息的内容有多好或有多坏？紧迫性（immediacy）：看到这个信息内容是否需要马上行动？与严重性一起，表示看到信息内容后不作出任何行动的后果。确定性（certainty）：这个信息内容的效果是否会导致某种痛苦或快乐？或者这种概率非常小？信源（source）：信息内容来自那里？我是 ...继续阅读 (78)

移动社交给了更多的联系方式，却未必给我们更高交流；拉近了距离，却未必增加我们的亲密；激发了社交的天性，却可能磨平了我们沟通的能力。社交的幸福感来自社交的质量而不是数量，来自于沟通的深度而不是频率。 一直希望探索到移动社交的内在规律，但自己只是一个工匠，只能梳理一下了解到的一些数字了，在移动社交中可能遇到的一些数数字，尤其是邓巴数。1就UGC 而言，一般只有百分之一的用户会产生内容，而99% 的用户都是消费者。2-关系被粗略地分为两种： 强关系和弱关系。两个人建立联系，如果是不对等的，就好像剃头挑子一头热，活跃一般维持到2周，而后会归于沉寂。如果两个人是对等的，彼此欣赏，之间的活跃交互就会远超于2周。社交媒体之所以强大，是因为能够放大弱关系，且弱关系的维系是零成本的。 物以类聚，人以群分。1954年，社会学家们提出了同质性的两种类型：身份同质性和价值同质性。其区别在于可塑性，身份同质性改变缓慢，价值同质性则以互联网的速度变化着。 好奇心于大脑中的D1多巴胺受体的数量有关，使得形成连接的可能性呈现双峰形状。3人的社会属性决定了人对组织的归属感，无论是正式组织还是非正式组织，3元组都是最稳定的，因此，好友之间联系的越活跃、越亲密，这个群体的人数越少、越稳定。连接强度为0.3 弱关系非常稳定，强关系较少见，需要完全的共识，当然血缘关系是内置的强关系了。7最强关系是直系亲属和至交好友，是最亲 ...继续阅读 (53)

社交网络是有趣（http://blog.csdn.net/wireless_com/article/details/50737928）而又令人迷惑的（http://blog.csdn.net/wireless_com/article/details/50534612）的，总希望希望从社交网络本身找到一些对移动互联网产品有启发的东西，而自己的社交网络有限，只得求助于专家们的著作了，这点文字是《社交网络分析－方法与实践》一书（地铁阅读时光）的笔记。社交网络分析（SNA）是探索关系背后的科学与技术，从数学的角度看社交网络，用图论的方法探查社交网络。在技术上，通过python 以及相关包文件的支持，来完成可计算的社交网络（http://www.github.com/maksim2042/SNABook ）。什么是关系呢？在人际关系中，除了友谊，影响，情感，信任之外呢？关系可以是二元的，也可以被赋值，可以是对称的，也可以是非对称的，现实中更常见的是双峰关系或者多模关系。基于独立性假设，通过泊松过程或朴素贝叶斯可以建立一些模型进行统计分析，进而得到一些宏观结果的概率。但如果抛开独立性假设，认为所有的关系都是潜在的相依关系，着就是图论的用武之地。节点表示网络内的独立行动者，边表示行动者直接的关系，进而通过单模图，双模图，多模图来描述社交网络。数学上表示社交网络的基本方法是矩阵，但是邻接 ...继续阅读 (63)

伴随着大家对成长黑客Growth Hacker的关注，AARRR运营模型也被提高到非常重要的层面。然而，运营是需要技术层面支撑的，没有技术支撑，AARRR恐难以真正有效。所以， 在做移动产品架构设计的时候，AARRR 应该作为一个新的非功能需求（http://blog.csdn.net/wireless_com/article/details/45935591），给予必要的考虑。什么是AARRR？AARRR是Acquisition、Activation、Retention、Revenue、Refer，这个五个单词的缩写，分别对应这一款移动应用生命周期中的5个重要环节。（参见 baike.baidu.com）Acquisition:用户获取Activation：提高活跃Retention：提高留存Revenue：获取收入Refer：自传播用户获取如何确定典型用户的类型呢？ 用户的属性是否会产生变化？ 用户的数据是核心数据， 从架构层面要给予高安全等级，面对可扩展性和性能，存储考虑关系型数据库与NoSQL的融合。关注冷启动？ 为爬虫脚步建立接口，和特殊标识。下载绑定？  独立的下载服务器是必须的，对着陆页的多平台适配要关注。使引流更有趣？ 提供可嵌入式的代码。提高活跃AB测试？架构中提高HTML5 混合编程的比例观察用户反应？关注灰度升级和增量升级提高趣味性？ 融入游戏化引擎 ...继续阅读 (68)

移动互联网产品的本质是信息与数据的传输和交换，其商业模式与数据流量息息相关（可参见http://blog.csdn.net/wireless_com/article/details/50467071），因而会产生面向运营的产品设计等诸多方法。流量统计是指对产品使用的相关指标进行统计。运营分析是指在获得流量统计的基本数据前提下，对有关数据进行统计、分析，从中发现用户访问和使用的规律，并将这些规律与营销策略等相结合，从而发现目前经营活动中可能存在的问题，并为进一步修正或重新制定运营策略提供依据。互联网和移动互联网的运营分析指标是基本类似的，但移动互联网产品用着自己的特点。1.常用指标1.1. 数据流量KPI数据流量统计的KPI是最常用来对移动互联网产品的效果进行评价的，主要的统计指标包括：1）访问量（PV）：即应用打开或页面浏览量及点击量，用户每次访问均被记录1次。用户对同一页面的多次访问，访问量值累计。需要注意的是，产品中有的页面是从服务端获取的，有的是客户端本地的，注意数据的获取和融合。2) 日均访问量：指对应时间范围内，所有用户每日的平均访问量。3）最高日访问量：指对应时间范围内，某一天获得最高访问量。4）PV 百分比：指选择时间范围内，某个类别的PV占总PV的比例。5) 独立设备：指在一天之内（00:00-24:00），访问产品的独立设备总数数。互联网中一般使用IP，相同I ...继续阅读 (45)

市场上移动社交类产品（Mobile Social Product，以下杜撰为MSP）如过江之鲫，已经有了微信，微博，QQ，陌陌，linkedin等等等等，MSP还值得做么？如果值得做，那么移动类社交产品到底解决了一个怎样的用户问题呢？它的核心价值何在？MSP 是解决用户情感方面的需求么？如果是，那用户的情感需求是什么呢？MSP是解决用户的空虚无聊以及孤单感么？这些情绪是源自归属感需求么？人是社会性动物，生活极大地依赖于他人，与他人建立联系是每个人日常生活中可不或缺的一部分，复合马斯洛的模型么？人们倾向于维护关系以及避免结束一段关系，在不同的文化中的每个年龄层的人都会反抗一段关系的结束，并为此感到苦恼，这是伤离别的原因么？是社交存在的意义么？那么MSP 解决哪方面的问题呢？MSP 能够用户摆脱无聊么？还是本身就是一种无聊？无聊涉及到社会的、政治的、文化的、心理的、宗教的诸多因素么？无聊是对欲望的欲望吗？当一个人没有任何欲望而又渴望有欲望之时，他便感到无聊么？无聊感的产生，是价值观转换后而注意力没有改变的结果么？美国西佛罗里达大学的心理学家史蒂文· 沃丹洛维奇（Stephen Vodanovich）指出：“西方文化通常将无聊定义为‘无所事事’。”1986年，心理学家诺曼·D·森德伯尔（Norman D. Sundberg）与他的学生理查德·F·法默（Richard F. Farmer） ...继续阅读 (74)

公司裁员对每个人来说，都不是一件令人开心的事。尤其是初入职场的小童鞋，往往感到茫然和不知所措，就让我这个工作了20多年的老码农来谈一下裁员吧。什么是裁员我国《劳动法》规定的裁员专指经济性裁员，是因用人单位的原因解除劳动合同的情形。指的是用人单位在法定的特定期间依法进行的集中辞退员工的行为。实施经济性裁减人员的企业，可以裁减因生产经营状况发生变化而产生的富余人员（源自http://baike.baidu.com）实际上，裁员分为三种：经济性裁员、结构性裁员和优化性裁员。其中，经济性裁员是由于市场因素或者企业经营不善，导致经营状况出现严重困难，盈利能力下降，企业面临生存和发展的危机，为降低运营成本，企业被迫采取裁员行为来缓解经济压力。结构性裁员则是由于企业的业务方向、提供的产品或服务发生变化而导致内部组织机构的重组、分立、撤消引起的集中裁员。而优化性裁员是企业为保持人力资源的质量，根据绩效考核结果解聘那些业绩不佳的、不能满足企业发展需要的员工的行为。裁员或者辞退员工是企业的一种正常行为，和你随时可以申请辞职一样，企业同样拥有随时将你辞退的权力。裁员就像普通人吃饭喝水一样，这是企业的一种新陈代谢行为。裁员中最痛苦的人被辞退的员工往往被认为是最痛苦的，但是，对于非国营企业而言，企业的管理层才是裁员中最痛苦的人。不论是哪种类型的裁员，矛头都会指向公司管理层。裁员，意味着公司确实出现了问题，是 ...继续阅读 (84)

大数据技术火热而且火爆，学习大数据的课程和资料也泛滥如潮，而大数据研发环境又不是随便就可以搭建起来的，如何有一个自己随时可用的大数据修炼道场呢？网上有很多hadoop单机版的搭建教程，但大多是基础组件，如果想窥探Hadoop 的整个生态系统，并建立一个人的大数据环境，从而修炼大数据的各种技术，我觉得非 HDP 的Sandbox 莫属了。 HDP 的Sandbox 是一个基于虚拟机的单节点hadoop集群，相当于一个伪分布式环境，学习和使用都非常的轻松便捷。虚拟机既支持VMware也支持VirtualBox，完全可以在windows和mac 上无缝执行，需要注意的是需要64位的主机多核cpu并支持虚拟化。以virtualbox为例，三步，只需三步，就可以搭建自己修炼大数据技术的环境了。1）先去下载安装virtualbox，https://www.virtualbox.org/wiki/Downloads，选好自己的所需的版本，下载安装。2）下载HDP sandbox，http://hortonworks.com/products/hortonworks-sandbox/#install，选择virtual box 版本即可，文件较大，接近9个G，要有耐心。3）启动virtualbox，倒入HDP sandbox镜像，import 完成后如下图：忽略我自己的ubantu镜像， ...继续阅读 (118)

社交网络，对每个人是熟悉而又陌生的。每个人都可以说出个一二三，因为人是社会的动物，每个人都有自己的社交圈子即社交网络。然而，就社交网络的应用尤其是移动互联网社交应用而言，尽管创业团队不停地涌现，或昙花一现，或笋未成竹，便已老去，如雾里看花一般。我自创业至今做了几款社交应用，甚至申请生成了一个专利（201310415287X），但是越开发越是心存敬畏，发现自己对社交网络应用竟是一知半解，始终徘徊在门槛之外。IT 乃至互联网或者无线互联网始终是一种工具，与专业领域的知识相结合才能提供服务。社交网络的专业知识是什么呢？ 从社交网络分析的角度看包括心理学，人类学和社会学三个学科。心理学典型的研究方法是 同名法，来测量社会关系即社交结构与心理健康的关系。Facebook 成功了，与扎克伯格 的心理学专业有没有关系呢？人类学的经典研究曾经是基于触排布线室的数据 来进行人际网络分析，侧重于连接性。如果应用只停留在6度空间，谁还记得原来的you2you的社交网络呢？社会学的典型研究侧重于社交行为和人际互动。应用提供了新型电子化的社交行为和人际互动方式，怎样从社会学的角度进行创新呢？人参与到社交系统中，社交系统将他们与其它行为人联系在一起，行为人之间的关系对各自的行为存在着重要的影响。社交网络分析的关键是识别、测量和检验 关于行为人之间关系的结构形式和实质性内涵。社交网络中的结构性关系比年 ...继续阅读 (66)

元旦假期，一好友问我网络流量到底是什么？很多公司都在倒流量是什么意思？现将当时的思考整理如下：从经济学的角度看，网络流量可以具有货币和流通属性，同时拥有多种形态和差异特性。网络流量的货币属性网络流量的经济本质还是是注意力经济。在生活中，我们用钱购买商品，在网络世界中，则是用“注意力”购买“信息”——网络流量是人类注意力的某种量化表征。注：注意力经济的思想，最先由诺贝尔经济奖获得西蒙于1971年提出的。网络流量的流通属性：注意力是不断转移的，具有跳转能力，这决定了流量可以被引导到不同的场景中去。这种流通属性是互联网企业所谓“倒流量”的基础，也是网络流量变现的必要条件。网络流量的差异特性：针对不同主题的服务，通过不同入口而来的流量转化率是不同的。对，差异体现在转化率的不同。粗略而言，可分为通用（比如来自搜索门户）流量，特定（比如来自某网上商城）流量，还有非常重要的一种就是社交（比如 微信、微博等，以及陌陌、脉脉、Tataufo等）流量。当然，还可以进一步细分。多形态特性网络流量具有多种形态，是指网络流量的入口没有统一形式，只要用户足够多，网站，手机，浏览器，甚至一个可视化插件都可能是流量入口。从信息产品涉及的软硬件结构来看，移动入口一般所呈现的层级结构为：终端硬件、OS、ROM、桌面、应用商店或浏览器、App。即这些层级中均可产生入口产品，也可能产生黑流量的温床。从满足用户的需求（遵循 ...继续阅读 (84)

30日tataufo技术部团建，本来是个好日子，没想到竟然是悲剧的开始。晚上到家，同事告诉我有用户反馈以用户名义发送了好友邀请的短信。难道上次的bug接口被执行了？ 登录云主机，发现根目录下有异常文件，居然文件名是Jave，用户组是redis，TMD！检查所有的链接端口， 发现有来自 5.18.127.3 的 ssh 链接，黑客攻击！检查所有拥有 redis 用户权限的程序， 检查所有的crontab，检查 30日的有更新的所有文件，发现存在诸多不明文件。同时，/mnt 挂载盘下的所有文件都有改动过的迹象，其中包括向通讯录用户发送好友请求短信的接口脚本。在上一次升级（3.1.5）中，存在一个bug，该脚本如无输入参数，将向所有通讯录好友发短信，靠，OMG！莫非那个家伙执行了这些脚本！/tmp 下的鬼更多，moni.1 ！ 居然是臭名昭著的莱特币挖矿程序！立即强行kill， 删除redis 用户，删除所有不明文件，恢复用户的相关数据，…… 系统应该正常了。安全，安全， 云服务器的安全更要重视！反思一下:如果云服务告知存在安全隐患，就不要心存侥幸，以为你是老码，上帝会保佑你！不要备份有缺憾的代码，一定时刻清洁代码对云监控要重视，响应一定要及时尽快部署堡垒机，不要怕麻烦…… ...继续阅读 (57)

产品经理是互联网产品或移动互联网产品的灵魂之一，可以说产品经理是产品胜负的关键因素之一。你有一大堆理由，如资金不足，项目经理无能，其他公司开发类似产品的工程师比我们多10倍，劳累过度了，没有人给我指示，你是么？你把时间都用在部门间的通力合作上，以管理项目的方式管理各项职能，为项目跑腿打杂，你是么？你只要想出“怎么实现目标”就可以了，整天为市场人员解答问题，忙得不可开交，整天都在解决问题，你是么？你以口头的形式表达自己的意见，抱怨当权者不允许这样做，往往说自己早就料到失败，你是么？你让团队关键竞争对手的产品有多少新功能，而定义好的产品要么无法实现，要么让技术人员随心所欲地创建产品（把最困难的问题留给他们解决）么？你清楚交付的价值，竞争性功能匹配，价格已经普遍性之间的差异么，会把所有的问题合并成一个问题么？你向媒体传达信息时总想面面俱到，认为记者何分析员都是傻子，根本不懂独特技术的细微差异，所以回答媒体的所有问题么？你总想着让别人告诉你该做什么，而有不按时提交工作报告，不重视纪律么？如果是，很遗憾，你将是压垮团队的那最后一根稻草，请你远离我们吧。你极其了解市场、产品、生产线和竞争情况，凭借自己丰富的经验和充分的自信开展管理工作，勇于承担责任，以产品的成功与否来衡量自己么？你确保产品、时间、以及所需的一切正确无误，主动制定并执行计划么？你与技术经理在营销中互为伯仲么？对目标有清晰的定义， ...继续阅读 (53)