2022年2月24日，中建电子商务技术总监技巅（花名）在CSDN 2022云原生超级英雄会直播中表示：PaaS平台是云原生时代下建筑行业数字化转型的助推剂。 云原生下的系统设计理念指向 对于云原生系统的设计理念，技巅提出了自己的想法： 面向分布式：容器、微服务、API驱动的开发 面向配置：一个镜像多个配置环境 面向韧性：故障容忍和治愈 面向弹性：弹性扩展和对环境变化（负载）做出响应 面向交互设计：自动拉起，缩短交付时间 面向... ...继续阅读 (10)

写在最前面：重新开学去学习一些经典的开源系统，通过学习这些经典和常用的开源系统来提升自己的技术能力和技术思维。这些开源系统也可能是我们工作中经常遇到的，通过学习他们的实现原理和设计思路，能够更好的驾驭这些开源系统，当然更重要的是学习他的思想，通过学习这些思想可以帮助我们提供系统的设计能力。以前也学习过很多开源系统的源代码，但是都是从一个已经很复杂的系统开始的，往往只学习了一部分或者某一个模块。很难全面的掌握一个完整的开源系统，因为一个很成熟的开源系统功能已经很复杂，而且代码量很大，很难一下子全部掌握，并且随着时间的推移很多都没有全部坚持下来，很大内容可能也是学习到一知半解。没有从根本上进行掌握开源系统的精髓。所以这一次选择从最小版本开始学习，先把最基础和最重要的功能学会了，掌握了整体的架构。然后在跟进代码的更新记录进行组建的深入学习，力求掌握每一个深入的细节。1.Makefile文件这个文件就是帮助我们编译和建立最终可执行文件的，通过make工具来执行这个文件里面定义的建立指令。这个文件很简单，我们只需要掌握最基本的make语法就能够完全看懂，随着以后代码和功能的增加，我们可以慢慢学习和分析，代码如下：DEBUG?= -gCFLAGS?= -O2 -Wall -W -DSDS_ABORT_ON_OOMCCOPT=$(CFLAGS)OBJ= adlist.o ae.o anet.o ...继续阅读 (9)

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Helvetica; color: #000000; -webkit-text-stroke: #000000} p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Monaco; color: #000000; -webkit-text-st ...继续阅读 (5)

上一篇文章介绍到云存储项目，下一个做的项目就是统一日志。这一个项目前前后后做了一年多，版本迭代更新了很多版本，架构升级都做了3次以上。做这一个项目是收获最大的，我在这一个项目中锻炼了大型分布式系统的架构设计能力，也从0开始完全自主研发和设计的一个分布式系统。里面涉及到了很多技术，例如日志实时抓取和采集技术、数据实时传输、数据压缩、软负载均衡、zookeeper等。统一日志项目从最开始的3个人到最多的时候19人，到最后又只剩下3个人。从每天除了几GB的数据到每天处理每天几百TB的数据，从每天处理几千条日志到每天处理上百亿条日志数据。可以说做统一日志项目的每一天都是快速成长的一天，刚开始求着别人使用我们的日志平台，到后面全部都主动要求接入、到最后成为日志的标配系统，所有系统都必须接入。当时我们的口号就是让日志触手可及，我们内部的项目名称叫做loghub。在做这个项目的过程中，大家一起经常加班到凌晨，但是精神都还是很好的，下班后大家还要一起去宵夜，一起吃烧烤喝啤酒，在一起聊聊工作和技术，聊聊人生和理想。久而久之大家都非常的熟悉了，就这样大家开始逐渐建立了深厚的友谊，虽然后面大家都散到各个项目或离开了，但是还是每年组织几次活动。做每一个项目都有不同的感受和经历，这个项目我逐渐的意识到技术创新和发明的重要性，在这一个项目中我也写了很多技术发明专利，并且专利局目前已经授权了2篇。如果做技术你就 ...继续阅读 (43)

上一篇文章介绍到云存储项目，下一个做的项目就是统一日志。这一个项目前前后后做了一年多，版本迭代更新了很多版本，架构升级都做了3次以上。做这一个项目是收获最大的，我在这一个项目中锻炼了大型分布式系统的架构设计能力，也从0开始完全自主研发和设计的一个分布式系统。里面涉及到了很多技术，例如日志实时抓取和采集技术、数据实时传输、数据压缩、软负载均衡、zookeeper等。统一日志项目从最开始的3个人到最多 ...继续阅读 (14)

今天终于又能抽出一点时间来写文章了，接着前一篇继续写。前一篇文章有博友就评论说写了很多废话，其实本身就是一些工作中的点点滴滴，自己想到什么就写什么，没有太多的构思文章的内容和结构，就算自己回顾自己工作的这五年吧。上篇博客提到自己主要支持各个团队使用scribe归集日志，这也包括归集日志到hadoop系统里面。所以这时的自己开始接触hadoop生态系统了，刚开始也是从网上找各种安装使用教程，遇到各种问题也基本上都是通过google解决。通过安装和使用hadoop，对hadoop大部分概念也有了清晰的认识，为了加强对hadoop的深入理解，按照网上很多人的建议去看了Google的论文。从论文里面了解了很多系统的设计原理，这样就更加清晰的知道了hadoop为什么能够这么强大。后面也逐步接触了hive、hbase、zookeeper等，当然也对应的看了Google论文。因为兴趣，开始想深入的学习hadoop生态系统里面的实现原理，所以看了一部分源码，后面为自己深度改造hdfs提供了一些基础。工作中使用到hadoop，hive和hbase。hadoop当时主要就是为了做一些统计分析数据，也就是把各个系统需要统计分析的数据归集到hadoop系统里面，然后使用hive来做查询和统计，可能把每天的统计结果又写入到mysql里面，最后通过web界面来展示这些结果。不过这些当时主要处理的是离线数据，数 ...继续阅读 (37)

今天终于又能抽出一点时间来写文章了，接着前一篇继续写。前一篇文章有博友就评论说写了很多废话，其实本身就是一些工作中的点点滴滴，自己想到什么就写什么，没有太多的构思文章的内容和结构，就算自己回顾自己工作的这五年吧。 上篇博客提到自己主要支持各个团队使用scribe归集日志，这也包括归集日志到hadoop系统里面。所以这时的自己开始接触hadoop生态系统了， ...继续阅读 (10)

1.概述现在大多数互联网公司都是使用java技术体系搭建自己的系统，所以对java开发工程师以及java系统架构师的需求非常的多，虽然普遍的要求都是需要熟悉各种java开发框架（如目前比较流行ssi或者ssh框架），但是对于java语言本身的理解才是本质。如果你熟悉jvm原理以及jdk本身的实现，我相信对于其他开发框架的学习和深入理解应该不是很困难，因为很多灵活和高大山的框架都使用了jdk最核心的功能。除了本身框架的使用之外，凡是使用java语言开发的系统都避免不了对jvm的调优（对于系统性能要求不高可能不需要，但是对于互联网公司来说性能好像是对系统的基本要求）。如果能够深入掌握jvm原理，对于调优jvm和解决各种java相关问题是很有帮助的，当然写的java代码自然质量是很高的。虽然我以前使用java进行编码的时间很少，对很多java的高级功能也不是很熟悉，对于jvm原理和调优也是一知半解，但是这不影响我对jvm本身原理及代码实现的学习和研究。以前研究和学习linux的源代码就觉得其乐无穷，相信现在研究jvm的源码应该也有同样的感受，并且将有非常大的收获。正好现在java 8已经推出，业界对java8也是比较满意。作为自己学习和研究完全就可以从java8开始了，直接通过hg工具（类似git）下载jdk8的源代码进行研究学习：hg clone http ...继续阅读 (57)

1.概述 现在大多数互联网公司都是使用java技术体系搭建自己的系统，所以对java开发工程师以及java系统架构师的需求非常的多，虽然普遍的要求都是需要熟悉各种java开发框架（如目前比较流行ssi或者ssh框架），但是对于java语言本身的理解才是本质。如果你熟悉jvm原理以及jdk本身的实现，我相信对于其他开发框架的学习和深入理解应该不是很困难，因为很多灵活和高大山的框架都使用了jdk最核心 ...继续阅读 (6)

时间过得太快，马上就要大学本科毕业五年了，从实习就开始加入现在的公司，所以算起来加入现在公司的时间已经超过五年了。五年的时间很长，而且这五年也是人生中事业（说事业感觉有点高大上，说职业可能更合适，不过我喜欢把什么事情都当做一份事业来干）最关键的时间。上次写工作总结的时候还是4年前了吧，刚毕业那个时候由于时间全部用于工作和研究技术了，所以可以抽出很多时间来写东西。其实写文章或者博客是很花时间的，因为需要回忆和思考。正因为需要回忆和思考，所以写文章和博客其实对自我的提升还是很明显的，特别锻炼自己的表达能力。很多人其实技术很nb，但是就是表达不出来，其实就是因为对自己的总结和思考太少了。很久不写文章了，我现在写起来都是很慢的，想表达一个意思需要思考很久。在正式写工作总结之前还是想谈谈今天回老家的感受。很多邻居见了我都说我很多年没有回去了，但是我总是觉得我应该是经常回到那个熟悉的地方，感觉就像前几天刚回来过一样（以前经过但是没有回去走走，熟悉的感觉应该是来至儿时的记忆和梦中经常回去）。回到老家的每一个地方（我们的土地、老房子、老老房子、我们的每一棵树）都是那么的熟悉，那种儿时的回忆和感觉一下子就在我脑海里不断的浮现。这次回老家虽然很匆忙，但是还是利用有限的时间把儿时的记忆都带着我现在的身体去过了一遍。遇见了很多熟悉又陌生的邻居，由于我时间也很赶，他们也正在忙着自己的事情，都是简简单单寒暄了 ...继续阅读 (9)

时间过得太快，马上就要大学本科毕业五年了，从实习就开始加入现在的公司，所以算起来加入现在公司的时间已经超过五年了。五年的时间很长，而且这五年也是人生中事业（说事业感觉有点高大上，说职业可能更合适，不过我喜欢把什么事情都当做一份事业来干）最关键的时间。上次写工作总结的时候还是4年前了吧，刚毕业那个时候由于时间全部用于工作和研究技术了，所以可以抽出很多时间来写东西。 其实写文章或者博客是很花时间的， ...继续阅读 (9)

毕业工作五年的总结和感悟时间过得太快，马上就要大学本科毕业五年了，从实习就开始加入现在的公司，所以算起来加入现在公司的时间已经超过五年了。五年的时间很长，而且这五年也是人生中事业（说事业感觉有点高大上，说职业可能更合适，不过我喜欢把什么事情都当做一份事业来干）最关键的时间。上次写工作总结的时候还是4年前了吧，刚毕业那个时候由于时间全部用于工作和研究技术了，所以可以抽出很多时间来写东西。 其实写文章或者博客是很花时间的，因为需要回忆和思考。正因为需要回忆和思考，所以写文章和博客其实对自我的提升还是很明显的，特别锻炼自己的表达能力。很多人其实技术很nb，但是就是表达不出来，其实就是因为对自己的总结和思考太少了。很久不写文章了，我现在写起来都是很慢的，想表达一个意思需要思考很久。 在正式写工作总结之前还是想谈谈今天回老家的感受。很多邻居见了我都说我很多年没有回去了，但是我总是觉得我应该是经常回到那个熟悉的地方，感觉就像前几天刚回来过一样（以前经过但是没有回去走走，熟悉的感觉应该是来至儿时的记忆和梦中经常回去）。回到老家的每一个地方（我们的土地、老房子、老老房子、我们的每一棵树）都是那么的熟悉，那种儿时的回忆和感觉一下子就在我脑海里不断的浮现。这次回老家虽然很匆忙，但是还是利用有限的时间把儿时的记忆都带着我现在的身体去过了一遍。遇见了很多熟悉又陌生的邻居，由于我时间也很赶，他们也正在忙着自 ...继续阅读 (31)

最近传统企业向互联网转型的话题越来越热，对于处于不同行业的人对这个肯定有不同的看法。我作为一个一直在互联网从事技术研发工作的人也简单来谈谈自己的感受。最近也和一些传统企业的相关人员做了交流，首先肯定主要是在技术层面上。其实现在很多传统企业进行转型主要有两个方面，一个是电子商务，另一个就是云计算。做云计算的目的是为了改善现有的IT基础设施，能够更加适合企业在各个业务上的增长。当然就目前的情况来看，还没有哪一家传统企业真正的算转型成功了，很多企业苦不堪言，甚至很多已经失败，然后吸取经验又从头开始，但是现在还是没有看到明显的效果。就目前业界普遍的看法认为传统企业转型互联网是很难成功的，当然原因是各方面的。例如有人认为是企业体制问题，因为传统和互联网充满了各种矛盾；也有人认为是没有互联网的基因或者思维；还有一类则认为没有互联网相关团队，包括产品、技术和运营等团队。现在很多人和很多公司都在强调人才的重要性，在互联网各大公司抢人更加的疯狂，现在小公司很难找到需要的人才，当然传统企业想招互联网人才也是更加的困难。下面根据我自己的经验分享一下传统企业怎样来打造自己的互联网人才研发团队，从而为企业转型提供必不可少的技术支持。首先如果真的下定决心要向互联网转型，那么就需要拿出勇气和魄力，为了不和传统的企业文化相冲突我建议直接成立一个互联网的子公司，而不是仅仅成立一个部门或者团队。这个互联网子公司的负责 ...继续阅读 (18)

最近传统企业向互联网转型的话题越来越热，对于处于不同行业的人对这个肯定有不同的看法。我作为一个一直在互联网从事技术研发工作的人也简单来谈谈自己的感受。    最近也和一些传统企业的相关人员做了交流，首先肯定主要是在技术层面上。其实现在很多传统企业进行转型主要有两个方面，一个是电子商务，另一个就是云计算。做云计算的目的是为了改善现有的IT基础设施，能够更加适合企业在各个业务上的增长。当然就目前的情况 ...继续阅读 (5)

现在docker在云计算领域发展的势头很猛，各个公司不论大小都开始研究这个开源工具和技术，围绕docker的开源项目和创业公司也多如牛毛，就是一个简单管理container的web ui都有很多开源项目。不过还是一个人说的好，docker必须要是集群才好玩，而且越大越好玩。当然这是从玩技术的人眼中看待的问题，如果要真正用于生产还是有很多问题需要解决，很多方案需要设计，很多容错需要处理。今天看资料学习到了docker是怎样解决容器里面数据存储的问题的方案，以前做PAAS遇到过这种问题，不过自己也设计了相应的方案解决了问题。不过docker提供的volumes解决方案好像感觉更加完美和灵活一些，但是总体架构和思路其实都是一样的。下面就根据自己的理解说说docker的volumes解决方案，官方文档有详细的使用说明，如果想要尝试一把，请自行google或者直接访问docker官方问题：https://docs.docker.com/userguide/dockervolumes/在介绍具体方案以前先说说基于container运行的程序有什么样的数据存储问题。传统的软件开发人员都习惯了使用本地磁盘保存文件等数据，如果程序挂了以后重新启动以后那么数据还在（硬盘没坏的情况下），你可能会说为什么不使用云存储或者分布式文件系统或者数据库之类的，首先传统行业开发者可能还没有接受或者接触云存储系统和概 ...继续阅读 (148)

现在docker在云计算领域发展的势头很猛，各个公司不论大小都开始研究这个开源工具和技术，围绕docker的开源项目和创业公司也多如牛毛，就是一个简单管理container的web ui都有很多开源项目。不过还是一个人说的好，docker必须要是集群才好玩，而且越大越好玩。当然这是从玩技术的人眼中看待的问题，如果要真正用于生产还是有很多问题需要解决，很多方案需要设计，很多容错需要处理。今天看资料学 ...继续阅读 (6)

消息中间件基本上是每一个大型互联网公司的标准基础技术组件配置，虽然有很多的开源消息中间件，功能也很强大，但是今天我还是想介绍一下怎样自主架构与设计并实现一套完整的分布式消息中间件。开源的消息中间件或多或少存在一些所谓“坑”，没有遇到大家用得都很happy，遇到的同学就只有加班查资料、google搜索或者直接review开源代码寻找问题原因了。还有就是基本上开源的消息中间件一般都是大而全的功能，一般比较强调通用嘛。今天为大家介绍的是可以灵活横向扩展并且具有高性能的分布式消息中间件的架构设计，也会介绍一些实现的关键技术，也可能很多开源软件实现也有同样的功能，所以通过了解这些设计与实现的核心技术，也可以更好的理解和使用开源的消息中间件。一、设计目标先简单此设计需要达到的一些目标吧：（1）高性能：应该能够充分利用cpu、内存和网卡等资源，通常情况下是把网卡（1000M网卡）撑满；（2）消息转发实时性：延迟必须在一个设定目标内（可配置）；（3）消息不丢失：正常情况下不丢失（如果由于某一个消息接收到自己网络出现问题导致连接断开丢失的不算，这个需要消息中间件的客户端解决的问题）；（4）可以横向无缝扩展：当一个服务节点服务能力不足时，可以无缝的扩展服务节点，对其他服务节点和所有客户端透明；（5）安全性：客户端需要通过用户名和密码才能和服务器建立连接、发送消息和订阅消息等；（6）可以无缝升级系统：程 ...继续阅读 (53)

消息中间件基本上是每一个大型互联网公司的标准基础技术组件配置，虽然有很多的开源消息中间件，功能也很强大，但是今天我还是想介绍一下怎样自主架构与设计并实现一套完整的分布式消息中间件。开源的消息中间件或多或少存在一些所谓“坑”，没有遇到大家用得都很happy，遇到的同学就只有加班查资料、google搜索或者直接review开源代码寻找问题原因了。还有就是基本上开源的消息中间件一般都是大而全的功能，一般 ...继续阅读 (8)

现在很多企业都在搭建自己的私有PAAS平台，当然也有很多大型互联网公司搭建共有PAAS平台（例如SAE/BAE/JAE(jae.jd.com)）。那么使用PAAS平台来部署SAAS应用有哪些好处呢？除了大家都知道方便部署管理，节约资源和成本，今天我主要给大家介绍另一个好处就是让部署在PAAS平台上的应用很容易做到7×24小时不服务器运行（哪怕需要重新部署和更新应用），这个对于一般的企业和普通开发者来说是很难办到的。当然如果要在PAAS平台做到其实也不是那么简单的，需要很强的技术力量。下面就主要介绍一下在PAAS平台怎样实现让部署在PAAS平台上的应用达到7×24小时运行的方案。在介绍方案设计之前需要强调一下，这个前提是PAAS平台本身是7×24小时高可靠的。本方案设计主要涉及下面几方面的改进：（1）应用运行调度模块：能够将应用的多个实例调度到不同的服务器和机架上进行运行;（2）应用运行状态的监控模块：对应用的运行状况进行监控;（3）优雅重启应用模块：能够在应用重新部署和升级时不停服务;一，首先我们来看看调度模块调度模块应该是PAAS平台（不管是私有还是共有的）标配，只是不同的PAAS平台有自己特色的调度方法和策略，例如根据服务器资源使用来调度（这个里面有涉及到各种资源的调度，例如根据CPU或者内存等），或者根据部署的应用个数来调度。当然好的调度策略绝对不只使用一种评判标准来作为调度 ...继续阅读 (17)

本博客迁移到部署在jae上的独立博客系统wordpress，博客地址：http://it_blog.jd-app.com。欢迎大家一起来讨论IT技术。这篇博客的地址是：http://it_blog.jd-app.com/?p=74 ...继续阅读 (10)

1.前言曾经很久以前，想找一个免费的空间部署一个属于自己的技术博客真是太难了，使用过SAE，但是很快就面临收费了，后面也就不了了之了。目前自己又找到一个免费的PAAS平台，可以部署各种语言的web应用，那就是京东的PAAS平台京东云擎jae，网址是jae.jd.com点击打开链接.2.初体验我自己使用没有看帮助手册，根据提示注册成为开发者，然后在就控制台界面创建了一个简单的应用，这个应用是jae提供的模板例子程序，并且关联了京东的代码托管系统code.jd.com，这样对于开发者来说是非常舒服的，自己的代码可以直接上传到代码托管库，然后通过代码库直接部署最新的代码，很方便。不过自己在摸索的过程中还是走了不少弯路，使用了比较久的时间才熟悉很多功能，起始如果可以根据他们提供的文档进行操作可以更加快速的创建和部署应用，至少可以很快熟悉大部分基础功能，不用自己慢慢去尝试，他们的文档地址是在：http://jae.jd.com/help/create_app.html。当然自己使用jae不仅仅为了部署一个helloworld的web应用，肯定还是需要部署或者自己开发的一些有用的程序，自己最渴求的就是有一个自己独立的博客系统，所以就赶紧部署了一个wordpress上去，不过要部署wordpress首先需要建立数据库，所以自己又去看看怎样使用jae里面提供的数据库，自己当时也是自己慢慢去摸索，自 ...继续阅读 (17)

引言为什么我会写这一篇博客，因为最近很多京东云擎jae的用户反应一个问题就是他们部署在jae上面的应用访问很慢，有极少数应用甚至经常出现504超时现象，当然大家首先想到的是jae性能太差，这也是人之常情，往往出现什么错误的时候首先想到是别人的不好，工作中很多同事也是这样，如果软件系统出现一个bug首先怀疑的肯定不是自己写的代码。今天花时间写这一篇博客主要就是告诉大家怎样确定我们部署在PAAS平台（不仅仅是JAE哦）web应用为什么慢？慢在哪儿了？有什么方法可以解决？原因分析出现访问自己web应用慢从宏观上可以总结为下面三点：（1）网络慢：具体来说就是访问者同部署web应用的PAAS平台之间的网络慢;（2）PAAS平台性能出现问题：具体来说就是由于各种原因导致PAAS平台不能很好服务部署在它上面的应用;（3）web应用本身慢：由于各种原因（频繁读写磁盘，大量耗时的计算，资源竞争等）导致web应用不能很快的响应访问者的请求。上面三点主要总结于web应用的访问路径，因为访问PAAS平台的web应用首先需要经过网络，然后经过PAAS平台的过滤和转发等处理，最后才到达web应用本身处理。这三个环节任何一个出现问题都会导致web应用访问变慢。知道原因了，我们还需要判断到底是哪一个环节出现了问题，下面就说说怎样定位具体的环节。定位具体原因上面分析的三个原因除了第二个原因以外，大家都可以自己定位和 ...继续阅读 (26)

引言 为什么我会写这一篇博客，因为最近很多京东云擎jae的用户反应一个问题就是他们部署在jae上面的应用访问很慢，有极少数应用甚至经常出现504超时现象，当然大家首先想到的是jae性能太差，这也是人之常情，往往出现什么错误的时候首先想到是别人的不好，工作中很多同事也是这样，如果软件系统出现一个bug首先怀疑的肯定不是自己写的代码。今天花时间写这一篇博客主要就是告诉大家怎样确定我们部署在PAAS平 ...继续阅读 (6)

开源系统现在是无处不在，大大小小的公司都会使用很多开源系统来搭建自己的IT系统，但是每一个公司对于开源系统的需求又是不一样的，有的只需要简单的可以使用就满足要求了，有的需要进行优化，在上一层的就需要做定制的二次开发，在高一层就是研究开源系统的架构，借鉴优秀的设计然后架构自己的系统，最后一种完全自主设计架构和开发的基本上很少了，至少在开源系统发展到目前这个阶段。上面5种层次的需求也对应了我们IT从业人员对开源系统掌握的5各层次，当然也给我们指出了学习一个开源系统的步骤，下面将根据这个5种需求或者层次或者学习开源系统的5各步骤进行详细论述，最后在说说本博客以后的主要内容和希望完成什么工作，最后达到什么效果。一。简单使用层次这个层次的多半是个人开发者和中小企业，对于这种使用的大多数是一些比较成熟单机开源软件，例如apache，nginx和一些开发库等，对于这些开源软件的使用在网上google一下有很多文章介绍，根据那些文章的介绍进行简单安装配置即可使用，使用的过程中就是逐渐熟悉开源软件的功能。这也是我们学习一个开源系统的第一个步骤，熟悉开源系统的使用和基本功能。二。优化使用很多开源系统功能强大，因为开源系统一般需要做得比较通用，很多功能主要满足大部分的基本需求，如果我们对某一些功能有特殊需求或者更高级的使用，通常需要了解和熟悉开源系统的配置，熟悉配置项的意义，有的配置是增强功能，有的是优 ...继续阅读 (14)

开源系统现在是无处不在，大大小小的公司都会使用很多开源系统来搭建自己的IT系统，但是每一个公司对于开源系统的需求又是不一样的，有的只需要简单的可以使用就满足要求了，有的需要进行优化，在上一层的就需要做定制的二次开发，在高一层就是研究开源系统的架构，借鉴优秀的设计然后架构自己的系统，最后一种完全自主设计架构和开发的基本上很少了，至少在开源系统发展到目前这个阶段。上面5种层次的需求也对应了我们IT从业 ...继续阅读 (4)

在开始设计自己开源软件的配置文件结构和解析方案之前先研究了一下nginx的配置文件结构和解析方法，当然我也是通过google查找资料和结合nginx的源码进行分析。在查找资料的过程中发现一些比较好的资料，就参照着读源码了，自己也没有发时间在去写一篇博客专门分享nginx的配置文件了，下面先简单介绍一下两篇比较好的资料博客：1.介绍了nginx配置文件中具体某一项的具体意义，而且很详细，看懂了这些配置选项的意义，理解nginx的实现原理和功能就方便和简单多了，博客地址是：http://pmghong.blog.51cto.com/3221425/1177320。2.还有一篇是高级货，需要仔细阅读并且结合源代码深入分析才能完全理解和融会贯通，就是nginx配置文件的具体解析过程：http://www.pagefault.info/?p=368。这篇博客的货还是比较足够，而且都是干货。通过分析nginx的配置文件和解析过程，发现配置文件和nginx的模块开发机制结合很紧密，基本上有对应的关系，当然nginx支持嵌套的模块结构，也支持include另外的配置文件进入主配置文件。了解了nginx的配置文件结构与源码以后，开始构思自己的httpserver的配置文件，刚开始简单一些吧，但是总体的结构需要先清楚，不然后面不断的加入选项和整块配置的时候会把配置文件变得很乱，给解析也带来困难。所以必 ...继续阅读 (18)

在开始设计自己开源软件的配置文件结构和解析方案之前先研究了一下nginx的配置文件结构和解析方法，当然我也是通过google查找资料和结合nginx的源码进行分析。在查找资料的过程中发现一些比较好的资料，就参照着读源码了，自己也没有发时间在去写一篇博客专门分享nginx的配置文件了，下面先简单介绍一下两篇比较好的资料博客： 1.介绍了nginx配置文件中具体某一项的具体意义，而且很详细，看懂了这 ...继续阅读 (4)

先简单介绍一下目前这个http服务器的开发进度，首先说明一下代码都还很粗糙，因为没有做过多的错误处理和逻辑封装，不过这也还原一个真实的开发过程，不像很多开源软件可能都是已经比较成熟了才开始发布和开源。（1）目前采用半同步/半异步的衍生模式半同步半反应堆实现了主体功能框架，后面打算改成改进的高效的半同步/半异步的模式;（2）实现了日志功能;（3）能够解析http协议，响应get请求;（4）简单的压力测试代码，使用scons代码管理工具;（5）http服务器实现源代码还是通过aotuconf工具管理。下一步计划：（1）改进主体框架模式，采用主线程只处理连接相关的事件，也就是只负责监听socket相关事件的注册与响应，采用线程池处理具体某一个连接的读写请求;（2）研究nginx的配置文件设计与解析，然后设计自己的配置文件结构与解析;（3）整理代码，处理各种可能出现的错误情况;（4）完善http协议的解析，支持更多的请求操作;（5）研究nginx的主体框架，以便改进自己的。今天就简单介绍一下，本开源软件或者项目解析http协议的方式，首先大家需要先熟悉http协议吧，这个可以自己看协议文档，也可以找一本http协议的书熟悉一下。目前实现的解析http协议还很简单，不过思想，逻辑和框架肯定是有了，后面只是需要改进和添加更多协议内容，目前采用的就是有限状态机的方式解析http协议，因为很多应用 ...继续阅读 (37)

先简单介绍一下目前这个http服务器的开发进度，首先说明一下代码都还很粗糙，因为没有做过多的错误处理和逻辑封装，不过这也还原一个真实的开发过程，不像很多开源软件可能都是已经比较成熟了才开始发布和开源。 （1）目前采用半同步/半异步的衍生模式半同步半反应堆实现了主体功能框架，后面打算改成改进的高效的半同步/半异步的模式; （2）实现了日志功能; （3）能够解析http协议，响应get请求; ...继续阅读 (4)

接着昨天的Proactor模式介绍。proactor模式将所有IO操作交给主线程和linux内核来处理，工作线程负责业务逻辑。异步IO实现这种模式的工作流程如下：1）主线程使用aio_read函数注册socket读完成事件，提供用户接收数据的缓冲区地址以及读操作完成时如何通知应用程序（有信号等手段）;2）主线程继续处理其他逻辑;3）当socket数据读入缓冲区后，内核通知应用程序（如发送一个信号）;4）应用程序通过信号处理函数选择一个工作线程进行业务逻辑处理，处理完成之后调用aio_write注册写完成事件，提供写的缓冲区地址以及通知应用程序的手段;5）主线程继续处理其他逻辑;6）写数据缓冲区接收完成数据以后，同样通知应用程序，然后应用程序选择一个工作线程处理后面的业务逻辑。异步数据的读写具体请参考aio_read和aio_write函数，这种模式很类似windows的完成端口网络编程模型。当然可以通过同步的手段模拟proactor模式，具体流程大家可以自己想想。说完了事件处理模式，我们在继续看并发模式，并发的概念可以自己查询相关资料。1.半同步/半异步说明：这里同步和异步不同于读写函数同步和异步，这里的同步和异步主要指定是代码的执行过程和流程，同步大家都知道按照代码的逻辑执行，异步通常是通过事件或者信号等触发然后调用回调函数进行的处理，所以代码的执行流程未知，可能随 ...继续阅读 (17)