IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    【转载】Linux 百万级网站架构设计

    rock发表于 2014-12-11 18:09:50
    love 0

    Poppen.de是德国的一个社交网站,相对Facebook、Flickr来说是一个很小的网站,但它有一个很好的架构,融合了很多技术,如 Nigix、MySql、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphite、Red5以及Tsung。

    我们先了解下Poppen.de的统计信息:
    ◆200万注册用户数;
    ◆2万并发用户数;
    ◆每天20万条私有消息;
    ◆每天25万登录次数;
    ◆项目团队有11个开发人员,两个设计,两个系统管理员;

    服务器架构:

    Poppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期提供每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM。Poppen.de拥有三台独立的图像服务器,由三台Nginx服务器为*.bilder.poppen.de提供每分钟8万次请求服务。
    Nginx 架构中一个很酷的设计就是有很多请求是由Memcached处理的,因此请求从缓存中获取内容而不需要直接访问PHP机器。比如,用户信息页(user profile)是网站需要密集处理的内容,如果把用户信息页全部缓存到Memcached上,那么请求直接从Memcached上获取内容。 Poppen.de的Memcached每分钟可以处理8000次请求。
    架构中有三个Nginx图像服务器提供本地图像缓存,用户上载图 像到一个中央文件服务器。当向这三个Nginx之一中请求图像时,如果服务器本地中没有存在该图像,则从中央文件服务器下载到该服务器上作缓存并提供服 务。这种负载均衡的分布式图像服务器架构设计可以减轻主要存储设备的负载。

    PHP-FPM
    该网站运行在PHP- FPM上。共有28台双CPU、6GB内存的PHP机器,每个机器上运行100个PHP-FPM的工作线程。使用启用了APC的PHP5.3.x。 PHP5.3可以降低CPU和内存使用率的30%以上。
    程序代码是基于Symfony1.2框架之上开发的。一是可以使用外部资源,二是 能够提高项目开发进度,同时在一个著名的框架上可以让新开发人员更容易加入到团队中来。虽然没有任何事情都是十全十美的,但可以从Symfony框架中得 到很多好处,让团队可以更多的精力放在Poppen.de的业务开发上去。
    网站性能优化使用XHProf,这是Facebook开源出来的一个类库。这个框架非常容易个性化和配置,能够可以缓存大部分高代价的服务器计算。
    MySQL
    MySQL是网站 主要的RDBMS。网站又几个MySql服务器:一台4CPU、32GB的服务器存储用户相关信息,如基本信息、照片描述信息等。这台机器已经使用了4 年,下一步计划会使用共享集群来替换它。目前仍基于这个系统上进行设计,以简化数据访问代码。根据用户ID进行数据分区,因为网站中大部分信息都是以用户 为中心的,如照片、视频、消息等。
    有三台服务器按主-从-从配置架构提供用户论坛服务。一台从服务器负责网站自定义消息存储,到现在有 2.5亿条消息。另外四台机器为主-从配置关系。另外由4台机器配置成NDB族群专门服务于密集型写操作数据,如用户访问统计信息。
    数据表设计尽量避免关联操作,尽可能缓存最多的数据。当然,数据库的结构化规范已经完全被破坏掉了。因此,为了更容易搜索,数据库设计创建了数据挖掘表。大部分表是MyISAM型表,可以提供快速查找。现在的问题是越来越多的表已经全表锁住了。Poppen.de正考虑往XtraDB存储引擎上迁移。

    RabbitMQ
    在 2009年中开始在架构中使用RabbitMQ。这是一个很好的消息解决方案,便于部署和集中到这个架构中去,在LVS后运行了两台RabbitMQ服务 器。在上个月,已经把更多的东西集成到该队列中,意味着同一时刻有28台PHP服务器每天要处理50万次请求。发送日志、邮件通知、系统消息、图像上载等 更多的东西到这个队列中。
    应用PHP-FPM中的fastcgi_finish_request()函数集成队列消息,可以把消息异步发 送到队列中。当系统需要给用户发送HTML或JSON格式响应时,就调用这个函数,这样用户就没有必要等到PHP脚本清理。
    这个系统可以改善架构资源管理。例如,在高峰期服务每分钟可以处理1000次登录请求。这表示有1000并发更新用户表保存用户的登录时间。由于使用了队列机制,可以 按相反的顺序来运行这些查询。如果需要提高处理速度,只需要增加更多的队列处理者即可,甚至可以增加更多的服务器到这集群中去,而不需要修改任何配置和部 署新节点。

    Memcached
    网站架构中Memcached应用相当多,超过45GB的高速缓存和51个节点。缓存了Session会话、视图缓存以及函数执行缓存等。架构中有一个系统 当记录被修改时可以自动地把数据更新到缓存中去。未来改善缓存更新的可能方案是使用新的Redis Hash API或者MongoDB。

    CouchDB
    日志存储CouchDB运行在一台机器上。在这台机器上可以根据模块/行为进行日志查询 /分组,或者根据错误类型等等。这对定位问题非常有用。在使用日志聚合服务CouchDB之前,不得不逐台登录到PHP服务器上设法日志分析定位问题,这 是非常麻烦的。而现在把所有的日志集中到队列中保存到CouchDB中,可以集中进行问题检查和分析。

    Red5
    网站为用户也提供了两种类型的视频服务,一种是用户自己上载的视频,另外一种是视频聊天,用户视频互动和分享。到2009年年中,每月为用户提供17TB的流量服务。
    Graphite
    网站使用Graphite采集网站实时信息并统计。从请求每个模块/行为到Memcached的命中和未命中、RabbitMQ状态监控以及Unix负载等等。Graphite服务平均每分钟有4800次更新操作。实践已经证实要监测网站发发生什么是非常有用的,它的简单文本协议和绘图功能可以方便地即插即 用的方式用于任何需要监控的系统上。
    一件很酷的事情是使用Graphite同时监控了网站的两个版本。一月份部署了Symfony框架新 版本,以前代码作为一个备份部署。这就意味着网站可能会面临性能问题。因此可以使用Graphite来对两个版本在线进行对比。
    发现新版本上的Unix负载表较高,于是使用XHProf对两个版本进行性能分析,找出问题所在。

    Tsung
    Tsung 是一个Erlang编写的分布式基准分析工具。在Poppen.de网站中主要用于HTTP基准分析、MySQL与其他存储系统(XtraDB)的对比分 析。用一个系统记录了主要的MySQL服务器的流量,再转换成Tsung的基准会话。然后对该流量进行回放,由Tsung产生数以千计的并发用户访问实验 室的服务器。这样就可以在实验环境中与真实场景非常接近。

    相关日志

    • Instagram 架构分析笔记
    • Tumblr架构 – 页面浏览量150亿/月并且比Twitter更难拓展
    • 升级最新 Nginx Mysql Php
    • 从小型网站到超大规模网站的MySQL参考架构
    • Web网站的几个并发量级
    • 知乎技术方案初探
    • Could not open device at /dev/ipmi0
    • linux下解压tar.bz2文件到命令
    • Linux下的多线程
    • Linux Socket 学习笔记23-守护进程inetd
    • Linux Ksplice,MySQL and Oracle
    • Linux下的出错处理
    • Kickstart多系统安装经典配置
    • CLSF讨论会纪要(一)
    • Linux Socket 学习笔记22-带外数据2
    • Linux Socket 学习笔记21-带外数据1
    • Linux下Tomcat性能优化
    • Linux sysctl 性能优化
    • Linux Socket 学习笔记18-定义缓冲操作
    • Linux socket 状态
    • Linux 服务器因 CPU 温度过高自动 shutdown
    • Linux Memcached 安装配置 缓存服务器安装
    • Linux 运维的内容、5年前linux与5年后的运维区别、互联网运维领域的五年变迁
    • Linux LVS集群配置 heartbeat安装配置
    • Linux系统安全 如何提高linux系统的安全性 提高linux服务器安全 web服务器安全 linux系统优化
    • Linux远程开机 远程开机方法
    • Python 版 Linux 下的迅雷
    • Linux 下搭建 Git WEB管理平台
    • SELinux入门简介
    • Docker 如何将错综复杂的 Linux 代码转成开发者的魔法
    • CentOS Linux系统下搭建Git服务器Gitosis
    • 在 Linux 的应用中测试中的延时和丢包模拟
    • linux cgroups 概述
    • 详解linux系统的启动过程及系统初始化 zz
    • 2012 linux storage, filesystem and mm summit总结(文件系统和i/o部分)
    • Linux ar 命令
    • Linux上最优秀的数据恢复工具
    • Linux fdisk后 error 22: Invalid argument 解决办法
    • Linux技巧:一次删除一百万个文件的最快方法
    • 洞悉Linux系统软硬件配置
    • 洞悉Linux系统软硬件配置
    • Linux TCP 系统参数配置
    • Linux下常用I/O模型
    • sysbench Linux下的性能测试工具
    • LINUX调优方法总结.
    • linux下内存的统计和内存泄露类问题的定位
    • linux驱动头文件说明
    • Linux bond 网卡模式
    • 10 个你可能没用过的Linux命令
    • 理解Linux系统负荷

    http://www.aikaiyuan.com/1040.html


沪ICP备19023445号-2号
友情链接