能在本地Mac环境用python提交spark 任务会方便很多，但是在安装了 spark-1.6-bin-without-hadoop  (spark.apache.org/download) 之后，在python 中  “import pyspark” 会报“no module named pyspark” 错误。 没错，这种错误都是 路径问题。为了本地使用spark，需要在~/.bash_profile 中增加两个环境变量：SPARK_HOME 以及必知的PYTHONPATHexport SPARK_HOME=/Users/abc/Documents/spark-1.6.0-bin-without－hadoop ＃这是spark 的安装路径export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH注：Py4J有点像 Python 版的 JNI，通过它， Python 程序可以利用 Python 解释器直接调用Java虚拟机中的 Java 对象，也可以让 Java 调用 Python 对象。然后，别忘了，source ~/.bash_profile 让它生效。 运行 python shell，from py ...继续阅读 (251)

周末，一曾经的小伙伴问及数据分析的几个问题，遗憾的是，他没有基于python，而是选择了R。 他告诉我，R在他的mac 上无法显示和输入中文，不明所以。问题出现了，首先要定位问题所在，还原现场。微信截图，才发现 Rstudio 在启动的时候报如下信息：During startup - Warning messages:1: Setting LC_CTYPE failed, using "C"2: Setting LC_COLLATE failed, using "C"3: Setting LC_TIME failed, using "C"4: Setting LC_MESSAGES failed, using "C"5: Setting LC_PAPER failed, using "C"[R.app GUI 1.50 (6126) x86_64-apple-darwin9.8.0]WARNING: You're using a non-UTF8 locale, therefore only ASCII characters will work. 从告警信息中可以很清晰的知道问题所在，Locale 不是UTF8，所以中文不正常了。明确了问题，如何解决呢？这里涉及一个概念 L ...继续阅读 (109)

一般的移动社交网络可以认为是由人和内容组成的一个双模网络，在添加位置信息，或者对内容的类型进行细分之后，可以演变成多模复杂网络。信息内容在社交网络中具有相当重要的地位，因为从本质上讲，社交的目的应该是信息的交换。信息、观念和看法的改变是相对较快的，信息内容和社交结构最终构成一个双重反馈回路，社交结构影响信息扩散，而信息则影响社会结构的变化。 如何看待社交网络中信息内容的价值呢？本着面向对象的思想，在这个双模网络中有两类节点：信息内容和人。 人和信息之间的关系是双向的， 因而可以从三个方面评估信息内容的价值：信息对人的影响Ve，人对信息的评价反馈Vf，信息内容本体Vs。1） 信息对人的影响根据社交网络中信息内容和我之间的关系，可以分为以下多个维度：相关性（Relevance）：我是否关心？这条内容与我什么关系呢？显著性（slinky）:这是相关性在时间维度上的体现，表明我现在或在未来一段时间内释放是否关心改内容？共鸣性（Resonance）：信息的内容和我所相信的内容是否一致？严重性（severity）：信息的内容有多好或有多坏？紧迫性（immediacy）：看到这个信息内容是否需要马上行动？与严重性一起，表示看到信息内容后不作出任何行动的后果。确定性（certainty）：这个信息内容的效果是否会导致某种痛苦或快乐？或者这种概率非常小？信源（source）：信息内容来自那里？我是 ...继续阅读 (88)

移动社交给了更多的联系方式，却未必给我们更高交流；拉近了距离，却未必增加我们的亲密；激发了社交的天性，却可能磨平了我们沟通的能力。社交的幸福感来自社交的质量而不是数量，来自于沟通的深度而不是频率。 一直希望探索到移动社交的内在规律，但自己只是一个工匠，只能梳理一下了解到的一些数字了，在移动社交中可能遇到的一些数数字，尤其是邓巴数。1就UGC 而言，一般只有百分之一的用户会产生内容，而99% 的用户都是消费者。2-关系被粗略地分为两种： 强关系和弱关系。两个人建立联系，如果是不对等的，就好像剃头挑子一头热，活跃一般维持到2周，而后会归于沉寂。如果两个人是对等的，彼此欣赏，之间的活跃交互就会远超于2周。社交媒体之所以强大，是因为能够放大弱关系，且弱关系的维系是零成本的。 物以类聚，人以群分。1954年，社会学家们提出了同质性的两种类型：身份同质性和价值同质性。其区别在于可塑性，身份同质性改变缓慢，价值同质性则以互联网的速度变化着。 好奇心于大脑中的D1多巴胺受体的数量有关，使得形成连接的可能性呈现双峰形状。3人的社会属性决定了人对组织的归属感，无论是正式组织还是非正式组织，3元组都是最稳定的，因此，好友之间联系的越活跃、越亲密，这个群体的人数越少、越稳定。连接强度为0.3 弱关系非常稳定，强关系较少见，需要完全的共识，当然血缘关系是内置的强关系了。7最强关系是直系亲属和至交好友，是最亲 ...继续阅读 (62)

社交网络是有趣（http://blog.csdn.net/wireless_com/article/details/50737928）而又令人迷惑的（http://blog.csdn.net/wireless_com/article/details/50534612）的，总希望希望从社交网络本身找到一些对移动互联网产品有启发的东西，而自己的社交网络有限，只得求助于专家们的著作了，这点文字是《社交网络分析－方法与实践》一书（地铁阅读时光）的笔记。社交网络分析（SNA）是探索关系背后的科学与技术，从数学的角度看社交网络，用图论的方法探查社交网络。在技术上，通过python 以及相关包文件的支持，来完成可计算的社交网络（http://www.github.com/maksim2042/SNABook ）。什么是关系呢？在人际关系中，除了友谊，影响，情感，信任之外呢？关系可以是二元的，也可以被赋值，可以是对称的，也可以是非对称的，现实中更常见的是双峰关系或者多模关系。基于独立性假设，通过泊松过程或朴素贝叶斯可以建立一些模型进行统计分析，进而得到一些宏观结果的概率。但如果抛开独立性假设，认为所有的关系都是潜在的相依关系，着就是图论的用武之地。节点表示网络内的独立行动者，边表示行动者直接的关系，进而通过单模图，双模图，多模图来描述社交网络。数学上表示社交网络的基本方法是矩阵，但是邻接 ...继续阅读 (71)

伴随着大家对成长黑客Growth Hacker的关注，AARRR运营模型也被提高到非常重要的层面。然而，运营是需要技术层面支撑的，没有技术支撑，AARRR恐难以真正有效。所以， 在做移动产品架构设计的时候，AARRR 应该作为一个新的非功能需求（http://blog.csdn.net/wireless_com/article/details/45935591），给予必要的考虑。什么是AARRR？AARRR是Acquisition、Activation、Retention、Revenue、Refer，这个五个单词的缩写，分别对应这一款移动应用生命周期中的5个重要环节。（参见 baike.baidu.com）Acquisition:用户获取Activation：提高活跃Retention：提高留存Revenue：获取收入Refer：自传播用户获取如何确定典型用户的类型呢？ 用户的属性是否会产生变化？ 用户的数据是核心数据， 从架构层面要给予高安全等级，面对可扩展性和性能，存储考虑关系型数据库与NoSQL的融合。关注冷启动？ 为爬虫脚步建立接口，和特殊标识。下载绑定？  独立的下载服务器是必须的，对着陆页的多平台适配要关注。使引流更有趣？ 提供可嵌入式的代码。提高活跃AB测试？架构中提高HTML5 混合编程的比例观察用户反应？关注灰度升级和增量升级提高趣味性？ 融入游戏化引擎 ...继续阅读 (78)

移动互联网产品的本质是信息与数据的传输和交换，其商业模式与数据流量息息相关（可参见http://blog.csdn.net/wireless_com/article/details/50467071），因而会产生面向运营的产品设计等诸多方法。流量统计是指对产品使用的相关指标进行统计。运营分析是指在获得流量统计的基本数据前提下，对有关数据进行统计、分析，从中发现用户访问和使用的规律，并将这些规律与营销策略等相结合，从而发现目前经营活动中可能存在的问题，并为进一步修正或重新制定运营策略提供依据。互联网和移动互联网的运营分析指标是基本类似的，但移动互联网产品用着自己的特点。1.常用指标1.1. 数据流量KPI数据流量统计的KPI是最常用来对移动互联网产品的效果进行评价的，主要的统计指标包括：1）访问量（PV）：即应用打开或页面浏览量及点击量，用户每次访问均被记录1次。用户对同一页面的多次访问，访问量值累计。需要注意的是，产品中有的页面是从服务端获取的，有的是客户端本地的，注意数据的获取和融合。2) 日均访问量：指对应时间范围内，所有用户每日的平均访问量。3）最高日访问量：指对应时间范围内，某一天获得最高访问量。4）PV 百分比：指选择时间范围内，某个类别的PV占总PV的比例。5) 独立设备：指在一天之内（00:00-24:00），访问产品的独立设备总数数。互联网中一般使用IP，相同I ...继续阅读 (53)

市场上移动社交类产品（Mobile Social Product，以下杜撰为MSP）如过江之鲫，已经有了微信，微博，QQ，陌陌，linkedin等等等等，MSP还值得做么？如果值得做，那么移动类社交产品到底解决了一个怎样的用户问题呢？它的核心价值何在？MSP 是解决用户情感方面的需求么？如果是，那用户的情感需求是什么呢？MSP是解决用户的空虚无聊以及孤单感么？这些情绪是源自归属感需求么？人是社会性动物，生活极大地依赖于他人，与他人建立联系是每个人日常生活中可不或缺的一部分，复合马斯洛的模型么？人们倾向于维护关系以及避免结束一段关系，在不同的文化中的每个年龄层的人都会反抗一段关系的结束，并为此感到苦恼，这是伤离别的原因么？是社交存在的意义么？那么MSP 解决哪方面的问题呢？MSP 能够用户摆脱无聊么？还是本身就是一种无聊？无聊涉及到社会的、政治的、文化的、心理的、宗教的诸多因素么？无聊是对欲望的欲望吗？当一个人没有任何欲望而又渴望有欲望之时，他便感到无聊么？无聊感的产生，是价值观转换后而注意力没有改变的结果么？美国西佛罗里达大学的心理学家史蒂文· 沃丹洛维奇（Stephen Vodanovich）指出：“西方文化通常将无聊定义为‘无所事事’。”1986年，心理学家诺曼·D·森德伯尔（Norman D. Sundberg）与他的学生理查德·F·法默（Richard F. Farmer） ...继续阅读 (84)

公司裁员对每个人来说，都不是一件令人开心的事。尤其是初入职场的小童鞋，往往感到茫然和不知所措，就让我这个工作了20多年的老码农来谈一下裁员吧。什么是裁员我国《劳动法》规定的裁员专指经济性裁员，是因用人单位的原因解除劳动合同的情形。指的是用人单位在法定的特定期间依法进行的集中辞退员工的行为。实施经济性裁减人员的企业，可以裁减因生产经营状况发生变化而产生的富余人员（源自http://baike.baidu.com）实际上，裁员分为三种：经济性裁员、结构性裁员和优化性裁员。其中，经济性裁员是由于市场因素或者企业经营不善，导致经营状况出现严重困难，盈利能力下降，企业面临生存和发展的危机，为降低运营成本，企业被迫采取裁员行为来缓解经济压力。结构性裁员则是由于企业的业务方向、提供的产品或服务发生变化而导致内部组织机构的重组、分立、撤消引起的集中裁员。而优化性裁员是企业为保持人力资源的质量，根据绩效考核结果解聘那些业绩不佳的、不能满足企业发展需要的员工的行为。裁员或者辞退员工是企业的一种正常行为，和你随时可以申请辞职一样，企业同样拥有随时将你辞退的权力。裁员就像普通人吃饭喝水一样，这是企业的一种新陈代谢行为。裁员中最痛苦的人被辞退的员工往往被认为是最痛苦的，但是，对于非国营企业而言，企业的管理层才是裁员中最痛苦的人。不论是哪种类型的裁员，矛头都会指向公司管理层。裁员，意味着公司确实出现了问题，是 ...继续阅读 (93)

大数据技术火热而且火爆，学习大数据的课程和资料也泛滥如潮，而大数据研发环境又不是随便就可以搭建起来的，如何有一个自己随时可用的大数据修炼道场呢？网上有很多hadoop单机版的搭建教程，但大多是基础组件，如果想窥探Hadoop 的整个生态系统，并建立一个人的大数据环境，从而修炼大数据的各种技术，我觉得非 HDP 的Sandbox 莫属了。 HDP 的Sandbox 是一个基于虚拟机的单节点hadoop集群，相当于一个伪分布式环境，学习和使用都非常的轻松便捷。虚拟机既支持VMware也支持VirtualBox，完全可以在windows和mac 上无缝执行，需要注意的是需要64位的主机多核cpu并支持虚拟化。以virtualbox为例，三步，只需三步，就可以搭建自己修炼大数据技术的环境了。1）先去下载安装virtualbox，https://www.virtualbox.org/wiki/Downloads，选好自己的所需的版本，下载安装。2）下载HDP sandbox，http://hortonworks.com/products/hortonworks-sandbox/#install，选择virtual box 版本即可，文件较大，接近9个G，要有耐心。3）启动virtualbox，倒入HDP sandbox镜像，import 完成后如下图：忽略我自己的ubantu镜像， ...继续阅读 (128)

社交网络，对每个人是熟悉而又陌生的。每个人都可以说出个一二三，因为人是社会的动物，每个人都有自己的社交圈子即社交网络。然而，就社交网络的应用尤其是移动互联网社交应用而言，尽管创业团队不停地涌现，或昙花一现，或笋未成竹，便已老去，如雾里看花一般。我自创业至今做了几款社交应用，甚至申请生成了一个专利（201310415287X），但是越开发越是心存敬畏，发现自己对社交网络应用竟是一知半解，始终徘徊在门槛之外。IT 乃至互联网或者无线互联网始终是一种工具，与专业领域的知识相结合才能提供服务。社交网络的专业知识是什么呢？ 从社交网络分析的角度看包括心理学，人类学和社会学三个学科。心理学典型的研究方法是 同名法，来测量社会关系即社交结构与心理健康的关系。Facebook 成功了，与扎克伯格 的心理学专业有没有关系呢？人类学的经典研究曾经是基于触排布线室的数据 来进行人际网络分析，侧重于连接性。如果应用只停留在6度空间，谁还记得原来的you2you的社交网络呢？社会学的典型研究侧重于社交行为和人际互动。应用提供了新型电子化的社交行为和人际互动方式，怎样从社会学的角度进行创新呢？人参与到社交系统中，社交系统将他们与其它行为人联系在一起，行为人之间的关系对各自的行为存在着重要的影响。社交网络分析的关键是识别、测量和检验 关于行为人之间关系的结构形式和实质性内涵。社交网络中的结构性关系比年 ...继续阅读 (74)

元旦假期，一好友问我网络流量到底是什么？很多公司都在倒流量是什么意思？现将当时的思考整理如下：从经济学的角度看，网络流量可以具有货币和流通属性，同时拥有多种形态和差异特性。网络流量的货币属性网络流量的经济本质还是是注意力经济。在生活中，我们用钱购买商品，在网络世界中，则是用“注意力”购买“信息”——网络流量是人类注意力的某种量化表征。注：注意力经济的思想，最先由诺贝尔经济奖获得西蒙于1971年提出的。网络流量的流通属性：注意力是不断转移的，具有跳转能力，这决定了流量可以被引导到不同的场景中去。这种流通属性是互联网企业所谓“倒流量”的基础，也是网络流量变现的必要条件。网络流量的差异特性：针对不同主题的服务，通过不同入口而来的流量转化率是不同的。对，差异体现在转化率的不同。粗略而言，可分为通用（比如来自搜索门户）流量，特定（比如来自某网上商城）流量，还有非常重要的一种就是社交（比如 微信、微博等，以及陌陌、脉脉、Tataufo等）流量。当然，还可以进一步细分。多形态特性网络流量具有多种形态，是指网络流量的入口没有统一形式，只要用户足够多，网站，手机，浏览器，甚至一个可视化插件都可能是流量入口。从信息产品涉及的软硬件结构来看，移动入口一般所呈现的层级结构为：终端硬件、OS、ROM、桌面、应用商店或浏览器、App。即这些层级中均可产生入口产品，也可能产生黑流量的温床。从满足用户的需求（遵循 ...继续阅读 (92)

30日tataufo技术部团建，本来是个好日子，没想到竟然是悲剧的开始。晚上到家，同事告诉我有用户反馈以用户名义发送了好友邀请的短信。难道上次的bug接口被执行了？ 登录云主机，发现根目录下有异常文件，居然文件名是Jave，用户组是redis，TMD！检查所有的链接端口， 发现有来自 5.18.127.3 的 ssh 链接，黑客攻击！检查所有拥有 redis 用户权限的程序， 检查所有的crontab，检查 30日的有更新的所有文件，发现存在诸多不明文件。同时，/mnt 挂载盘下的所有文件都有改动过的迹象，其中包括向通讯录用户发送好友请求短信的接口脚本。在上一次升级（3.1.5）中，存在一个bug，该脚本如无输入参数，将向所有通讯录好友发短信，靠，OMG！莫非那个家伙执行了这些脚本！/tmp 下的鬼更多，moni.1 ！ 居然是臭名昭著的莱特币挖矿程序！立即强行kill， 删除redis 用户，删除所有不明文件，恢复用户的相关数据，…… 系统应该正常了。安全，安全， 云服务器的安全更要重视！反思一下:如果云服务告知存在安全隐患，就不要心存侥幸，以为你是老码，上帝会保佑你！不要备份有缺憾的代码，一定时刻清洁代码对云监控要重视，响应一定要及时尽快部署堡垒机，不要怕麻烦…… ...继续阅读 (66)

产品经理是互联网产品或移动互联网产品的灵魂之一，可以说产品经理是产品胜负的关键因素之一。你有一大堆理由，如资金不足，项目经理无能，其他公司开发类似产品的工程师比我们多10倍，劳累过度了，没有人给我指示，你是么？你把时间都用在部门间的通力合作上，以管理项目的方式管理各项职能，为项目跑腿打杂，你是么？你只要想出“怎么实现目标”就可以了，整天为市场人员解答问题，忙得不可开交，整天都在解决问题，你是么？你以口头的形式表达自己的意见，抱怨当权者不允许这样做，往往说自己早就料到失败，你是么？你让团队关键竞争对手的产品有多少新功能，而定义好的产品要么无法实现，要么让技术人员随心所欲地创建产品（把最困难的问题留给他们解决）么？你清楚交付的价值，竞争性功能匹配，价格已经普遍性之间的差异么，会把所有的问题合并成一个问题么？你向媒体传达信息时总想面面俱到，认为记者何分析员都是傻子，根本不懂独特技术的细微差异，所以回答媒体的所有问题么？你总想着让别人告诉你该做什么，而有不按时提交工作报告，不重视纪律么？如果是，很遗憾，你将是压垮团队的那最后一根稻草，请你远离我们吧。你极其了解市场、产品、生产线和竞争情况，凭借自己丰富的经验和充分的自信开展管理工作，勇于承担责任，以产品的成功与否来衡量自己么？你确保产品、时间、以及所需的一切正确无误，主动制定并执行计划么？你与技术经理在营销中互为伯仲么？对目标有清晰的定义， ...继续阅读 (62)

夜读《创业维艰》，感触颇深，其中有一段关于创业状态的描述，定义为两个字——挣扎。挣扎是你想知道自己为什么要创办公司时的状态。挣扎是人们为什么不退出，你却不知道怎么回答时的状态。挣扎是你的员工认为你在撒谎，而你却认为他们也许说得对的状态。挣扎是你食之无味时的状态。挣扎是你认为自己不应该当公司CEO时的状态，是你明知自己力不从心，明知无人能取代你时的状态，是所有人都认为你是白痴却没有人炒你鱿鱼的状态，是自我怀疑变成自我憎恶时的状态。挣扎是你在和别人谈话却听不到在说什么时的状态，因为你一直在挣扎。挣扎是你想结束痛苦时的状态，而挣扎就是痛苦。挣扎是你去度假，想放松心情却使心情更差的状态。挣扎是你周围簇拥着一大群人，你却感到茕茕孑立，形影相吊时的状态。挣扎是冷酷的。挣扎是违背承诺、粉碎梦想的地狱，是一身冷汗、五内俱焚的感觉。挣扎不是失败，但会导致失败。如果你孱弱不堪，你更容易失败。大多人都不够强大。苦苦挣扎并不意味着你一定能挣扎成功，也许真的挺不过去，这就是挣扎的恼人之处。挣扎是成就伟大的竞技场。 ...继续阅读 (74)

没有遇到昨晚的夕阳，也没有看到今早的晨曦。出租车上的我混沌而又清醒，手中的食品袋里装有两个赛百味的热狗，瘫软在座椅上，孩子的早餐是我不想睡去的理由。选择了创业公司，就选择了一种生活方式，游弋在痛苦，汗水和梦想之间。代码在眼前跳动，真希望给你，给你们带来喜悦。打开家门，他们刚刚起床。妻面容憔悴，秀目中布满血丝，看来也是一个不眠之夜，难道是一直期望我回家吗？妻的行动有些迟缓，那一定是教师的职业病之一——颈椎的毛病有犯了。原来妻已经未孩子准备了早餐，我特意于昨晚买回的赛百味似乎失去了意义，“你说要熬夜，我还能指望你吗？我还以为昨晚你可以给我拔一下罐子呢””，妻淡淡地道。望着妻提着早餐，孩子背着书包，走出家门，奔往去学校的路，我无言，莫名地想起了《麦琪的礼物》。拿出手机，开始询问依然坚守在公司的伙伴，战斗还在继续，有眠冬夜的同事们已经开始上班了。被子还是温的，我却睡不着了，期待着看上一眼不眠冬夜后的朝霞……眼睛有些迷离了，笔尖散乱，不知所云了…… ...继续阅读 (63)

昨天有个朋友和我探讨了几个有关C++的问题，发现自己居然还能回忆起好多东西，只是不那么清晰罢了。尽管现在只是使用Object C++时和C++ 藕断丝连，但哪些曾经用过的C++ 类库可能只是曾经了。系统和网络编程的C++库ACE，只使用其基础设施和class wrapper就能开发出与C语言相当的系统应用，进而的Reactor和Proactor就是利器了。内存管理的C++库C/C++的内存管理是个永恒的话题，如果没有特别的理由，应该在大型项目中使用自动内存管理工具。比较轻量级的是boost：：smart_ptr 智能指针，重一些的实现了完整的GC机制是Hans-Boehm GC。分布式对象中间件的C++库谁还记得基于corba的orbix呢？ DCOM 或许还有些印象吧，C++/CLI 也支持.net framework 吧。 ICE 可能算是corba的改进版。矩阵计算的C++库由于template技术的高级应用，C++也可以相对方便的应用于科学计算，MTL功能丰富，性能和成熟度都不错。 C语言的科学算法库也很多，如 GSL，Atlas，NR等。配置管理的C++库Lua 作为配置脚本，嵌入到C/C++程序中，可以适应复杂的配置管理。密码及安全的C++库OpenSSL 应该说是业界的标杆了。XML的C++库C++的xml 解析库较多，但好像都是C语言实现的，其中基于DOM的tiny ...继续阅读 (91)

文件处理在编程中是常见的操作，文件的打开，关闭，重命名，删除，追加，复制，随机读写非常容易理解和使用。需要注意的是文件的安全关闭，采用with语句轻松便捷：with open(pathname,”r”) as myfile:do_some_with(myfile)CSV 的文件处理csv 模块可以很好地处理csv文件，而Pandas 模块则可以较好的处理大型的csv文件，还可以处理HTML等，并提供分块处理。XML 的文件处理对于较小的xml文件，最好使用cElementTree,至少要用ElementTree，对于大型文件，最好用lxml处理。文件内容的序列化和范序列化用pickle 实现序列化和反序列化非常简单dump（）和load（）即可，但要注意，pickle不能实现原子化操作，数据源敏感，存在安全隐患。另一种序列化的形式是json。同样是dumps（），load（），扩展性好，可以指定decoder，性能比pickle差一些。日志文件处理在记录日志文件使用logging 模块是要注意logging是线程安全的，避免多个进程同时写入同一个日志。图像文件处理对于通常的文件的图像处理，PIL 模块足以应付了。在Linux环境下要注意相关图像库的安装，一般ImageMagick 库是首选。如果涉及图像识别等深层次图像处理，就要寻求opencv的帮助了 ...继续阅读 (85)

架构包含技术的选择，更多分层等于更高的复杂度，但是轻量级协同设计可以提高质量。最佳实践也是有使用条件限制的，面对架构要用于质疑。系统的最大风险外部接口是系统风险最高的部分之一。- 关键的外部接口有哪些？接口的技术定义是什么？- 哪些队列是通信组件？消息的格式是什么？- 同步还是异步？异步连接是否有保障？能否乱序传输？- 接口是否幂等？接口的可用性、性能、可伸缩性、安全性？- 接口的所有权属？版本的升级处理？服务级别？系统的常见风险除了外部接口之外，其他的常见风险如下：- 组件运行过慢- 组件无法伸缩- 关键组件崩溃- 单点故障- 数据被破坏- 基础设施故障- 磁盘满- 新技术过于复杂文档架构需要以文档的方式回答质疑。代码不会讲述完整的故事，轻量级文档来描述代码之外的问题，如这是关于什么的？希望能做什么？质量属性？约束？原则？软件架构？外部接口？数据（数据比软件本身更重要。）？基础设施架构？部署？运营和支持？决策日志…… ...继续阅读 (84)

约束时间和预算是约束的基本条件。技术约束技术清单，现有系统的互操作性（兼容性），目标部署平台，技术成熟度（保守），开源技术，供应商关系（阿里云，还是AWS），过去的失败，内部知识产权人员约束团队规模，技能，团队扩展的速度，咨询和培训，运维团队的技能组织约束企业战略的影响，办公室政治的影响约束条件也是有优先级的。原则开发原则编码标准和规范，自动化单元测试，静态分析工具架构原则1）分层策略，如UI组件里没有数据访问的逻辑2）业务逻辑的位置：3）高内聚、低耦合：解耦合可以推迟技术决策的时间4) 无状态组件：可伸缩性的瓶颈5）存储过程：爱恨交加6）域模型：面向对象的丰富程度7）http会话的使用程度：少用8）始终一致和最终一致： 一般趋向于数据的最终一致性9）不/使用ORM10)依赖注入 ...继续阅读 (86)

需求是最重要的事情，失去了功能，失去了客户的价值，软件将一无是处。然而，功能的实现只是架构的开端。架构首先来自需求，需求驱动架构，然后非功能性需求反映服务等级，面对客观环境的约束，自行引入的架构实现原则，是在高层次以上对需求、约束、和原则的理解和把握。非功能性需求也可以称为质量属性，我所了解的非功能性需求主要有：性能：响应时间或延迟可伸缩性：更多用户，请求和数据的处理能力可用性：99.9%意味着每天一分钟故障安全性： 可以参考OWASP，open web application security project灾难恢复：业务连续性过程可访问性：www.w3.org/standards/webdesign/accessibility监测：只读视图管理：操作视图审计：日志及虚拟货币的对账灵活性：非技术人员修改业务规则的能力可扩展性：可以做现在还不能做的事情可维护性：可读性，可持续发展法律规则：如隐私国际化i18n本地化i10n一时想不起更多了，欢迎补充。 ...继续阅读 (77)

架构是什么？业界并没有权威的说法。架构作为名词与结构相关，将产品分解为一系列组件、模块和交互。作为动词，是关于交流愿景和引入技术领导力的，简而言之，架构就是结构和愿景。应用程序的架构着重于软件和代码的组织，每个工程师的代码都是有架构的，只是自发和自觉的区别；系统架构描述从组件和服务到子系统等更高层次的抽象含软硬件，从代码结构到生产环境，与软件系统重要元素相关的所有东西就是软件架构。企业架构是一个截然不同的概念，指的是战略而非代码。所有架构都是设计，但并非所有设计都是架构。架构反映了一个系统的重要设计决策，重要性通过改变的成本来衡量，包括系统的形态，结构，技术选择，框架选择，设计方法和模式的选择等。敏捷与架构并不冲突，敏捷中的架构是在独特环境下量化所需的预先设计，架构提供了xDD敏捷方式的分界线。主要思想是集中主要的高层次关键需求，规避风险，然后迭代和增量。敏捷是相对的，好的架构能够带来敏捷，尤其是微服务架构。总而言之，架构不论你关注与否都在那里，每个人都是架构师，只是关注的层面和视角不同而已。Without architect consideration，the software is a big mall of mud。 ...继续阅读 (70)

和app-get，或者yum类似， 这里使用的是mac上的软件管理工具port。先磨刀，安装port的方法呢？ 访问如下网站：https://www.macports.org/install.php选择自己的mac 软件版本，下载即可安装port了。port安装成功后，继续磨刀，ejabberd 是erlang编写的，再装一个erlang的运行环境：$sudo port install erlang静等结果，安装完成后，检验一下$erlErlang/OTP 17 [erts-6.4] [source] [64-bit] [smp:8:8] [async-threads:10] [hipe] [kernel-poll:false]Eshell V6.4 (abort with ^G)1>erlang安装成功后，就可以安装ejabberd了：$sudo port install ejabberd安装完成后，第一次启动前做如下操作：$cd /opt/local/etc/ejabberd/$cp ejabberd.yml.sample ejabberd.yml$cp ejabberdctl.cfg.sample ejabberdctl.cfg$cp inetrc.sample inetrc至此，可以启动了：$ejabberdctl start接下来就是按需修改配置，开始实战了。 ...继续阅读 (99)

Erlang在社交应用中的地位突显，自己搭一个大容量高并发的IM服务器变得不那么遥不可及了。Ejabberd 正是这样一个不错的选择，至少是一个很棒的参考。对于一个4核16G内存的服务器，单个Ejabberd节点可以支持30万的IM用户。ejabberd是基于Jabber/XMPP协议的即时通讯服务器，由GPLv2授权（免费和开放源码），采用Erlang/OTP开发。它的特点是跨平台，容错，集群和模块化。XMPP是由IETF制定的一个可扩展的即时消息通信协议。XMPP基本有两部分组成，一部分是它的核心协议，还有一部分是扩展协议。其中核心协议主要由RFC-6120、RFC-6121、RFC-6122组成。还有一堆的扩展协议，具体可以参见XMPP官网扩展协议列表部分。一般会使用到的扩展协议包括XEP-0160 XEP-0013离线消息处理、XEP-0045多用户聊天、XEP-0096文件传输。Smack是Java语言写的XMPP Library，貌似Java中较好的XMPP客户端了。Ejabberd 的系统架构如图所示：（http://docs.ejabberd.im/architect/）Ejabberd 支持的主要功能有：l 点对点消息One-to-onemessagingl 存储转发Store-and-forward(offline messages)l 通讯录和状态显示l ...继续阅读 (103)

运算的性能分析有一个高深的词汇——算法分析，主要研究的是运行时间和空间的需求。对计算时间的描述一般通过增长量级，增长量级是一套函数，其渐进增长行为是等价的，用大O来表示。O(1) < O(logbn) < O(n) < O(n logbn) < O(n）< O（n2）3)n)对数算法中的基数并不重要，指数算法只适用于小数据问题。Python中算数运算的时间是常量，但超大整数的运算增加是线性的。索引操作也是常量时间，无论数据结构如何都是如此。只要循环体中的所有操作都是线性时间，则遍历列表或者字典的for循环是线性时间。如果使用同样的循环添加字符串列表，那么运行时间就是二次方的，所以通常采用join做字符串拼接。大多数字符串和元组操作都是线性的，除了索引和len，都是常量时间，min和max是线性的，slice操作的时间与输出的长度成正比，与输出的大小无关。大多数列表方法是线性的，一般而言，尾部添加和删除元素是常量时间，排序是O(n logbn)。in操作符是线性搜索，字符串的count和find也是如此。大多数字典操作和方法是常量时间，但copy和update的运行时间是线性的，keys，values与items是线性的，iterkeys，itervalues与iteritems是常量时间，但如果遍历迭代器，循环也是线性的。还记得有这样一句名言，“如果只有一种数据结构的化，就用has ...继续阅读 (77)

业务系统性能优化的前提时观察和诊断，观察工具如下：前端优化工具：YSlow页面响应时间：Firebug方法相应时间：btraceGC日志分析：JVM 启动参数数据库优化：慢查询系统资源调用：监控性能诊断测试工具如下：ab: httpd.apache.org/docs/2.2/programs/ab.htmlJMeter: jmeter.apache.orgLoadrunner反向代理引流，TCPcopy：请求复制工具 github.com/wangbin579/tcpcopy性能优化方法：前端性能：http请求数量，CDN网络，使用压缩Java程序优化：单例，Future模式的非阻塞，线程池，使用NIO，减少上下文切换，减低锁竞争传输压缩与结果缓存数据库查询优化：合理索引，减少关联查询的反范式设计，使用查询缓存，搜索引擎，使用Key-Value数据库，GC优化提升硬件性能Java应用排查工具：JPS：输出JVM的进程信息JSTAT：JVM状态监控工具JInfo：应用程序的配置参数JStack：线程快照JMap：回收对象的队列，堆栈信息Btrace：动态跟踪工具 kenai.com/projects/btraceJconsole:图形化工具MAT： 图形化堆分析工具VisualVM：全能复合工具Linux 日志分析常用命令：查看文件内容：cat分页显示文件：more，less显示文件 ...继续阅读 (68)

消息系统中，常用的一致性解决方案如下：1) 发送消息给消息系统2) 消息系统入库消息3) 消息系统返回结果4) 业务操作5) 发送业务操作结果给消息系统6) 更改存储中的消息状态如果消息丢失，从业务数据补发消息是最彻底的容灾手段。一般地，把集群和集群之间对消息的消费作为topic模型处理，而集群内部的各个应用实例对消息的消费当做Queue模型处理。引入clusterID来标识不同的集群，集群内的各个应用实例的连接使用同样的ClusterID。分两级处理，从而达到多个不同的集群进行消息订阅的目的。需要注意的是从topic中分发消息分发到不同的queue中时，需要由独立的中转消息订阅者来完成，并且对同一个queue的中转只能由一个连接完成，为了实现高可用性，还需要备份节点。为了保证消息发送的可靠性，首先要保证消息发送端的可靠性。保证消息存储的可靠性有多种方法：有基于文件的消息存储例如ActiveMQ，采用数据库的消息存储一般考虑采用宽表、冗余数据的方式实现，还有基于双机内存的消息存储。通过服务器主动调度安排投递的方式可以实现数据库存储的便利扩容。由于消息系统需要显示地收到接受者确认消息处理完毕的信号才能删除消息，所以保证消息投递的可靠性一定从应用层的响应入手。在进行投递时一定要采用多线程的方式处理，单机多订阅者共享连接，消息只 ...继续阅读 (66)

数据访问层是一个链式的处理过程，并且多数组件都是提供对外提供JDBC的实现，提供服务的方式有三：1） 提供专有API，通用性差2） 通用性强的方式，如JDBC3） 基于ORM的方式，可以在ORM框架上再包一层，对外暴露的还是原有框架的接口。在合并查询时，JDBC优势明显。数据访问层设计的基本步骤:SQL解析，规则处理，SQL改写，数据源选择，SQL执行和结果集返回合并处理。1）在进行SQL解析时，解析的缓存可以提升解析速度。一个重要的事情是根据执行的SQL得到被操作的表，根据参数及规则来确定目标数据源的连接数。2）规则处理时，可以采用固定hash，根据某个字段取模，然后分散到不同的库和表中，通常将周期性数据放在一起；也可以采用一致性hash，把节点对应的hash值变为了一个范围，不再是离散的；还可以通过在一个物理节点上对应多个虚拟节点且虚拟节点均匀分布的方式来解决增加或减少节点时负载不均衡的问题。映射表是根据分库分表字段的值的查表法来确定数据源的方法，一般用于热点数据的特殊处理，或者对不完全符合规律的的规则进行补充。3）SQL修改一般用于表名，索引，以及跨库计算。4）规则处理是确定一组数据源，数据源选择是确定具体某个数据源。5）SQL执行和结果处理部分需要注意异常的判断和处理。从工程上看，可以把spring中的driverClassName，username和password ...继续阅读 (72)

要使业务系统无极缩放，微服务架构方兴未艾。本质上，就是采用API（例如REST） 封装服务调用，形成服务框架。既然是分布式API调用，必然涉及到网络IO常见的三种方式：1） BIO：Blocking IO，阻塞方式，一个socket用一个线程处理2） NIO: Non-blocking IO，事件驱动，采用reactor模式，一个线程中处理多个socket，JDK1.4以上版本支持3） AIO：Asynchronous IO，异步，采用Proactor模式，NIO在有通知时可以进行相关操作，AIO在有通知时表示相关操作已经完成，JDK1.7以上版本支持。对服务的API调用而言，分为同步服务调用和异步服务调用。同步服务调用支持同步服务调用时，一般要有IO线程，数据队列，通信对象队列和定时任务。1） IO线程专门负责和socket连接，进行数据的收发。2） 收发的数据进入数据队列3） 通信对象队列保存了多个线程使用的通信对象，主要为了阻塞请求线程，请求线程把数据放入数据队列后会生成一个通信对象，进入通信对象队列并在通信对象队列上等待。4） 通信对象用于唤醒请求线程。5） 如果在远程调用超时前执行完毕并返回，那么IO线程就会通知通信对象，通信对象则会结束请求线程的等待，并把结果传给请求进程，以进行后续处理6） 定时任务负责检查通信队列中的哪些通信对象已经超时，然后这些通 ...继续阅读 (70)

分布式系统： A distributed system is one in which components located at network computers communicate and coordinate their actions only by passing messages.由于单机处理能力存在瓶颈，而升级单机处理能力的性价比越来越低，出于稳定性和可用性的考虑，就出现了分布式系统的架构方案。将分布式系统中的一些通用功能提出来形成了中间件，常用的有消息系统，服务框架，数据访问等。1） 消息中间件，应用于解耦，提供分布式环境下完成事务。消息系统的引入是为了解耦服务调用。消息发送的一致性是指产生消息的业务动作和消息发送一致。JMS中基本元素的关系：ConnectionFactory ->Connection ->Session ->MessageDestination+Session -> MessageProviderDestination + Session -> MessageConsumerJMS可以解决消息一致性问题，但存在限制且成本较高。JMS Queue模型也称为PTP方式，Topic模型称为Pub/Sub方式。分布式系统中的消息模型需求：-消息发送方和接收方都是集群-同一个消息的接收方可能有多个集群进行处理-不同集群对于同一消息的处理不能相互干扰 ...继续阅读 (70)