Backblaze 是一家在线存储服务商，每隔一段时间他们就会发布他们的存储服务器 Storage Pod 设计细节（Storage Pod 4.5），一些第三方公司就按照这个设计造出一些廉价的存储服务器来出售。没调查清楚头脑一热就买了，买回来拆开一看有点后悔：只有一个系统盘，OS 装在一个盘上太危险，至少应该双硬盘 RAID1；只有一个电源，服务器系统至少需要配用2个可用电源；没有硬件 RAID，这个无所谓，我们也不打算用任何 RAID；只有2个 GigE 网卡，我们购买了额外2个 10 GigE；开箱操作不方便，更换一个硬盘每次都要把10几个螺丝钉卸下来；没有硬盘指示灯，哪个硬盘坏了无法从45个硬盘里迅速识别出来。……不过我们对这台存储服务器没太多要求，主要做归档备份用，不是我们的主备份，也不太在乎它是否可靠，所以先凑合着用吧。两年前我们提到 “把 Time Machine 备份到 FreeNAS 上”，我们打算这次直接用 FreeBSD + ZFS 做我们的备份服务器。ZFS 准备工作我们选择 FreeBSD 做备份的主要原因就是因为 ZFS，ZFS 操作起来太方便了。把30个硬盘连起来创建一个叫做 backup 的大存储池，采用 raidz2（相当于 RAID6）：# zpool create backup raidz2 /dev/da0 /dev/da1 /dev/da2 ...继续阅读 (33)

Backblaze 是一家在线存储服务商，每隔一段时间他们就会发布他们的存储服务器 Storage Pod 设计细节（Storage Pod 4.5），一些第三方公司就按照这个设计造出一些廉价的存储服务器来出售。没调查清楚头脑一热就买了，买回来拆开一看有点后悔：只有一个系统盘，OS 装在一个盘上太危险，至少应该双硬盘 RAID1；只有一个电源，服务器系统至少需要配用2个可用电源；没有硬件 RAID，这个无所谓，我们也不打算用 RAID；只有2个 GigE 网卡，我们购买了额外2个 10 GigE；开箱操作不方便，更换一个硬盘每次都要把10几个螺丝钉卸下来；没有硬盘指示灯，哪个硬盘坏了无法从45个硬盘里迅速识别出来。……不过我们对这台存储服务器没太多要求，主要做归档备份用，不是我们的主备份，也不太在乎它是否可靠，所以先凑合着用吧。两年前我们提到 “把 Time Machine 备份到 FreeNAS 上”，FreeNAS 现在变得有点臃肿，官方要求最小 8GB 内存，推荐最小 16GB 内存，这次打算直接用 FreeBSD + ZFS.ZFS 准备工作我们选择 FreeBSD 做备份的主要原因就是因为 ZFS，ZFS 操作起来太方便了。把30个硬盘连起来创建一个叫做 backup 的大存储池，采用 raidz2（相当于 RAID6）：# zpool create backup rai ...继续阅读 (10)

Backblaze 是一家在线存储服务商，每隔一段时间他们就会发布他们的存储服务器 Storage Pod 设计细节（Storage Pod 4.5），一些第三方公司就按照这个设计造出一些廉价的存储服务器来出售。没调查清楚头脑一热就买了，买回来拆开一看有点后悔：只有一个系统盘，OS 装在一个盘上太危险，至少应该双硬盘 RAID1；只有一个电源，服务器系统至少需要配用2个可用电源；没有硬件 RAID，这个无所谓，我们也不打算用 RAID；只有2个 GigE 网卡，我们购买了额外2个 10 GigE；开箱操作不方便，更换一个硬盘每次都要把10几个螺丝钉卸下来；没有硬盘指示灯，哪个硬盘坏了无法从45个硬盘里迅速识别出来。……不过我们对这台存储服务器没太多要求，主要做归档备份用，不是我们的主备份，也不太在乎它是否可靠，所以先凑合着用吧。两年前我们提到 “把 Time Machine 备份到 FreeNAS 上”，FreeNAS 现在变得有点臃肿，官方要求最小 8GB 内存，推荐最小 16GB 内存，这次打算直接用 FreeBSD + ZFS.ZFS 准备工作我们选择 FreeBSD 做备份的主要原因就是因为 ZFS，ZFS 操作起来太方便了。把30个硬盘连起来创建一个叫做 backup 的大存储池，采用 raidz2（相当于 RAID6）：# zpool create backup rai ...继续阅读 (11)

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.Ceph 提供3种存储方式：对象存储，块存储和文件系统，我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph 现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。硬件环境准备准备了6台机器，其中3台物理服务器做监控节点（mon: ceph-mon1, ceph-mon2, ceph-mon3），2台物理服务器做存储节点（osd: ceph-osd1, ceph-osd2），1台虚拟机做管理节点（adm: ceph-adm）。Ceph 要求必须是奇数个监控节点，而且最少3个（自己玩玩的话，1个也是可以的），ceph-adm 是可选的，可以把 ...继续阅读 (28)

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.Ceph 提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph 现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。硬件环境准备准备了6台机器，其中3台物理服务器做监控节点（mon: ceph-mon1, ceph-mon2, ceph-mon3），2台物理服务器做存储节点（osd: ceph-osd1, ceph-osd2），1台虚拟机做管理节点（adm: ceph-adm）。Ceph 要求必须是奇数个监控节点，而且最少3个（自己玩玩的话，1个也是可 ...继续阅读 (11)

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.Ceph 提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph 现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。硬件环境准备准备了6台机器，其中3台物理服务器做监控节点（mon: ceph-mon1, ceph-mon2, ceph-mon3），2台物理服务器做存储节点（osd: ceph-osd1, ceph-osd2），1台虚拟机做管理节点（adm: ceph-adm）。Ceph 要求必须是奇数个监控节点，而且最少3个（自己玩玩的话，1个也是可 ...继续阅读 (10)

FreeBSD 下的虚拟技术bhyve(The BSD Hypervisor) 是去年1月份正式发布的，包含在了 FreeBSD 10.0 发行版中。今天要玩的这个xhyve是基于 bhyve 的 Mac OS X 移植版本，也就是说我们想在 Mac 上运行 Linux 的话除了 VirtualBox, VMware Fusion 外，现在有了第三种选择。xhyve 超级小，只有 230 KB，不依赖其他软件或库。下面的步骤基本按照 xhyve 作者的文档xhyve – Lightweight Virtualization on OS X Based on bhyve实现，不过跟着别人的文档并不总会一帆风顺，虽然文档已经很详细，总有碰到自己的问题的时候，有人报告说在自己的 Macbook (OS X 10.10.3) 上运行不成功。我在测试的过程中遇到的一个问题是硬盘分区问题，稍后会提到。我的编译和测试环境是 OS X Yosemite 10.10.4 + Xcode 6.3.2.xhyve 发布的是源代码，需要编译后运行，所以 Mac 上没有安装 Xcode 的话需要先到 App Store 安装。使用 git 下载源码后编译，运行 xhyverun.sh 后会启动一个简单的 Tiny Core Linux 虚拟机：$ git clone https://github.com/m ...继续阅读 (41)

FreeBSD 下的虚拟技术bhyve(The BSD Hypervisor) 是去年1月份正式发布的，包含在了 FreeBSD 10.0 发行版中。今天要玩的这个xhyve是基于 bhyve 的 Mac OS X 移植版本，也就是说我们想在 Mac 上运行 Linux 的话除了 VirtualBox, VMware Fusion 外，现在有了第三种选择。xhyve 超级小，只有 230 KB，不依赖其他软件或库。下面的步骤基本按照 xhyve 作者的文档xhyve – Lightweight Virtualization on OS X Based on bhyve实现，不过跟着别人的文档并不总会一帆风顺，虽然文档已经很详细，总有碰到自己的问题的时候，有人报告说在自己的 Macbook (OS X 10.10.3) 上运行不成功。我在测试的过程中遇到的一个问题是硬盘分区问题，稍后会提到。我的编译和测试环境是 OS X Yosemite 10.10.4 + Xcode 6.3.2.xhyve 发布的是源代码，需要编译后运行，所以 Mac 上没有安装 Xcode 的话需要先到 App Store 安装。使用 git 下载源码后编译，运行 xhyverun.sh 后会启动一个简单的 Tiny Core Linux 虚拟机：$ git clone https://github.com/m ...继续阅读 (6)

FreeBSD 下的虚拟技术bhyve(The BSD Hypervisor) 是去年1月份正式发布的，包含在了 FreeBSD 10.0 发行版中。今天要玩的这个xhyve是基于 bhyve 的 Mac OS X 移植版本，也就是说我们想在 Mac 上运行 Linux 的话除了 VirtualBox, VMware Fusion 外，现在有了第三种选择。xhyve 超级小，只有 230 KB，不依赖其他软件或库。下面的步骤基本按照 xhyve 作者的文档xhyve – Lightweight Virtualization on OS X Based on bhyve实现，不过跟着别人的文档并不总会一帆风顺，虽然文档已经很详细，总有碰到自己的问题的时候，有人报告说在自己的 Macbook (OS X 10.10.3) 上运行不成功。我在测试的过程中遇到的一个问题是硬盘分区问题，稍后会提到。我的编译和测试环境是 OS X Yosemite 10.10.4 + Xcode 6.3.2.xhyve 发布的是源代码，需要编译后运行，所以 Mac 上没有安装 Xcode 的话需要先到 App Store 安装。使用 git 下载源码后编译，运行 xhyverun.sh 后会启动一个简单的 Tiny Core Linux 虚拟机：$ git clone https://github.com/m ...继续阅读 (5)

想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具，这三个工具的关系是这样的：采集数据（collectd）-> 存储数据（InfluxDB) -> 显示数据（Grafana）。InfluxDB是 Go 语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据，看版本号（v0.8.8）就知道这个项目还很年轻；collectd就不用介绍了吧，C 语言写的一个系统性能采集工具；Grafana是纯 Javascript 开发的前端工具，用于访问 InfluxDB，自定义报表、显示图表等。下面的安装和配置步骤在 Ubuntu 14.04 Server 64bit 版上完成。升级整个系统后重启：$ sudo apt-get update $ sudo apt-get upgrade $ sudo reboot安装 InfluxDBInfluxDB 是 Go 写的，不依赖任何其他包或库，很干净。安装很容易：$ wget https://s3.amazonaws.com/influxdb/influxdb_latest_amd64.deb $ sudo dpkg -i influxdb_latest_amd64.deb启动 InfluxDB：$ sudo /etc/init.d/influxdb start S ...继续阅读 (58)

想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具，这三个工具的关系是这样的：采集数据（collectd）-> 存储数据（InfluxDB) -> 显示数据（Grafana）。InfluxDB是 Go 语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据，看版本号（v0.8.8）就知道这个项目还很年轻；collectd就不用介绍了吧，C 语言写的一个系统性能采集工具；Grafana是纯 Javascript 开发的前端工具，用于访问 InfluxDB，自定义报表、显示图表等。下面的安装和配置步骤在 Ubuntu 14.04 Server 64bit 版上完成。升级整个系统后重启：$ sudo apt-get update $ sudo apt-get upgrade $ sudo reboot安装 InfluxDBInfluxDB 是 Go 写的，不依赖任何其他包或库，很干净。安装很容易：$ wget https://s3.amazonaws.com/influxdb/influxdb_latest_amd64.deb $ sudo dpkg -i influxdb_latest_amd64.deb启动 InfluxDB：$ sudo /etc/init.d/influxdb start S ...继续阅读 (8)

想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具，这三个工具的关系是这样的：采集数据（collectd）-> 存储数据（InfluxDB) -> 显示数据（Grafana）。InfluxDB是 Go 语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据，看版本号（v0.8.8）就知道这个项目还很年轻；collectd就不用介绍了吧，C 语言写的一个系统性能采集工具；Grafana是纯 Javascript 开发的前端工具，用于访问 InfluxDB，自定义报表、显示图表等。下面的安装和配置步骤在 Ubuntu 14.04 Server 64bit 版上完成。升级整个系统后重启：$ sudo apt-get update $ sudo apt-get upgrade $ sudo reboot安装 InfluxDBInfluxDB 是 Go 写的，不依赖任何其他包或库，很干净。安装很容易：$ wget https://s3.amazonaws.com/influxdb/influxdb_latest_amd64.deb $ sudo dpkg -i influxdb_latest_amd64.deb启动 InfluxDB：$ sudo /etc/init.d/influxdb start S ...继续阅读 (9)

上周给一台 Nginx proxy 服务器增加一个虚拟主机名（server_name）后重启 nginx 报错，nginx -t 测试和查看 nginx 错误日志均发现需要增加 server_names_hash_bucket_size 的默认参数：# /etc/init.d/nginx reload * Reloading nginx configuration nginx [fail] # nginx -t nginx: [emerg] could not build the server_names_hash, you should increase either server_names_hash_max_size: 512 or server_names_hash_bucket_size: 64 nginx: configuration file /etc/nginx/nginx.conf test failed # tail /var/log/nginx/error.log 2015/01/28 10:21:51 [emerg] 22362#0: could not build the server_names_hash, you should increase either s ...继续阅读 (39)

上周给一台 Nginx proxy 服务器增加一个虚拟主机名（server_name）后重启 nginx 报错，nginx -t 测试和查看 nginx 错误日志均发现需要增加 server_names_hash_bucket_size 的默认参数：# /etc/init.d/nginx reload * Reloading nginx configuration nginx [fail] # nginx -t nginx: [emerg] could not build the server_names_hash, you should increase either server_names_hash_max_size: 512 or server_names_hash_bucket_size: 64 nginx: configuration file /etc/nginx/nginx.conf test failed # tail /var/log/nginx/error.log 2015/01/28 10:21:51 [emerg] 22362#0: could not build the server_names_hash, you should increase either s ...继续阅读 (6)

上周给一台 Nginx proxy 服务器增加一个虚拟主机名（server_name）后重启 nginx 报错，nginx -t 测试和查看 nginx 错误日志均发现需要增加 server_names_hash_bucket_size 的默认参数：# /etc/init.d/nginx reload * Reloading nginx configuration nginx [fail] # nginx -t nginx: [emerg] could not build the server_names_hash, you should increase either server_names_hash_max_size: 512 or server_names_hash_bucket_size: 64 nginx: configuration file /etc/nginx/nginx.conf test failed # tail /var/log/nginx/error.log 2015/01/28 10:21:51 [emerg] 22362#0: could not build the server_names_hash, you should increase either s ...继续阅读 (6)

很久没有更新博客了，一直在忙今年的收尾工作，先前的存储服务器计划出了点小问题，资金刚刚到账，这两天完成订购后剩下的事情就留到明年了。发现一个刚出炉的文件比较小工具icdiff. icdiff 可以并列显示两个文件的不同，比传统的 diff 好看多了。虽然传统 diff 很强大，估计没几个人喜欢看这样的比较结果：$ diff 1.css 2.cssicdiff 是 python 程序，从 github 上下载的是可执行文件，直接运行就可以了。icdiff 能并列显示比较结果，还能高亮显示差异，找起问题来容易多了：$ git clone https://github.com/jeffkaufman/icdiff.git $ cd icdiff $ ./icdiff 1.css 2.css ...继续阅读 (20)

很久没有更新博客了，一直在忙今年的收尾工作，先前的存储服务器计划出了点小问题，资金刚刚到账，这两天完成订购后剩下的事情就留到明年了。发现一个刚出炉的文件比较小工具icdiff. icdiff 可以并列显示两个文件的不同，比传统的 diff 好看多了。虽然传统 diff 很强大，估计没几个人喜欢看这样的比较结果：$ diff 1.css 2.cssicdiff 是 python 程序，从 github 上下载的是可执行文件，直接运行就可以了。icdiff 能并列显示比较结果，还能高亮显示差异，找起问题来容易多了：$ git clone https://github.com/jeffkaufman/icdiff.git $ cd icdiff $ ./icdiff 1.css 2.cssThe post一个能并列高亮显示文件比较结果的小工具 icdifffirst appeared onvpsee.com. ...继续阅读 (4)

很久没有更新博客了，一直在忙今年的收尾工作，先前的存储服务器计划出了点小问题，资金刚刚到账，这两天完成订购后剩下的事情就留到明年了。发现一个刚出炉的文件比较小工具icdiff. icdiff 可以并列显示两个文件的不同，比传统的 diff 好看多了。虽然传统 diff 很强大，估计没几个人喜欢看这样的比较结果：$ diff 1.css 2.cssicdiff 是 python 程序，从 github 上下载的是可执行文件，直接运行就可以了。icdiff 能并列显示比较结果，还能高亮显示差异，找起问题来容易多了：$ git clone https://github.com/jeffkaufman/icdiff.git $ cd icdiff $ ./icdiff 1.css 2.css ...继续阅读 (6)

现在流行的静态博客/网站生成工具有很多，比如 Jekyll, Pelican, Middleman, Hyde 等等，StaticGen列出了目前最流行的一些静态网站生成工具。我们的内部工具由 Python/Flask/MongoDB 搭建，现在需要加上文档功能，写作格式是 Markdown，不想把文档放到数据库里，也不想再弄一套静态博客工具来管理文档，于是找到了Flask-FlatPages这个好用的 Flask 模块。熟悉 Flask 的同学花几分钟的时间就可以用搭建一个简单博客，加上 Bootstrap 的帮助，不到一小时内就可以用 Flask-Flatpages 弄个像模像样的网站出来。创建开发环境首先我们需要 pip，在 Mac 上最简单的安装办法是：$ sudo easy_install pip $ sudo easy_install virtualenv如果你在 Mac 上用 Homebrew 包管理工具的话的话，也可以用 brew 升级 Python 和安装 pip：$ brew update $ brew install python创建一个 blog 目录、生成 Python 独立虚拟环境并在这个环境里安装需要的 Flask, Flask-FlatPages 模块：$ mkdir blog $ cd blog $ virtualenv flask New py ...继续阅读 (24)

现在流行的静态博客/网站生成工具有很多，比如 Jekyll, Pelican, Middleman, Hyde 等等，StaticGen列出了目前最流行的一些静态网站生成工具。我们的内部工具由 Python/Flask/MongoDB 搭建，现在需要加上文档功能，写作格式是 Markdown，不想把文档放到数据库里，也不想再弄一套静态博客工具来管理文档，于是找到了Flask-FlatPages这个好用的 Flask 模块。熟悉 Flask 的同学花几分钟的时间就可以用搭建一个简单博客，加上 Bootstrap 的帮助，不到一小时内就可以用 Flask-Flatpages 弄个像模像样的网站出来。创建开发环境首先我们需要 pip，在 Mac 上最简单的安装办法是：$ sudo easy_install pip $ sudo easy_install virtualenv如果你在 Mac 上用 Homebrew 包管理工具的话的话，也可以用 brew 升级 Python 和安装 pip：$ brew update $ brew install python创建一个 blog 目录、生成 Python 独立虚拟环境并在这个环境里安装需要的 Flask, Flask-FlatPages 模块：$ mkdir blog $ cd blog $ virtualenv flask New py ...继续阅读 (5)

现在流行的静态博客/网站生成工具有很多，比如 Jekyll, Pelican, Middleman, Hyde 等等，StaticGen列出了目前最流行的一些静态网站生成工具。我们的内部工具由 Python/Flask/MongoDB 搭建，现在需要加上文档功能，写作格式是 Markdown，不想把文档放到数据库里，也不想再弄一套静态博客工具来管理文档，于是找到了Flask-FlatPages这个好用的 Flask 模块。熟悉 Flask 的同学花几分钟的时间就可以用搭建一个简单博客，加上 Bootstrap 的帮助，不到一小时内就可以用 Flask-Flatpages 弄个像模像样的网站出来。创建开发环境首先我们需要 pip，在 Mac 上最简单的安装办法是：$ sudo easy_install pip $ sudo easy_install virtualenv如果你在 Mac 上用 Homebrew 包管理工具的话的话，也可以用 brew 升级 Python 和安装 pip：$ brew update $ brew install python创建一个 blog 目录、生成 Python 独立虚拟环境并在这个环境里安装需要的 Flask, Flask-FlatPages 模块：$ mkdir blog $ cd blog $ virtualenv flask New py ...继续阅读 (6)

休假回来忙了一阵，又到了年底突击花钱的时候，每年项目花不完的钱需要还回去，和几个同事交谈发现各国的科研机构都有这个奇葩政策，那岂不是逼我们乱买东西吗。今年我们要采购的是存储服务器，已经和几个供应商面谈了，Dell 反应最积极，甚至免费提供设备让我们测试两个月，现在我们拿不定的是买专业的存储还是买普通服务器自己做存储集群。从我们的环境和经验来看，硬盘是最容易坏的服务器部件之一，每年都有硬盘报废，我们使用的硬盘品牌、型号、容量五花八门，从来都没有统计和在意过硬盘的可靠性。我们知道硬盘迟早会坏，所以必要的冗余和备份是不可少的，数据可靠性远比硬盘可靠性重要，既然人类无法阻挡硬盘报废，那我们就只能想办法避免数据丢失。Backblaze 上个月发布了他们的硬盘可靠性报告 Hard Drive Reliability Update – Sep 2014，他们有 34881 个硬盘，100多 PB 数据，统计的样本够大，数据和结论都值得我们参考。从图上来看，貌似 HGST（原日立）, Seagate (1.5/4.0 TB), aWestern Digital (1.0 TB) 表现都不错。一个有趣的结论是，从报废率来说，企业级硬盘比桌面级硬盘好不了哪里去，考虑到其价格是对应桌面级的两倍（Seagate 3 TB 企业级硬盘价格 $235 对比 Seagate 3 TB 桌面级硬盘价格 $102） ...继续阅读 (19)

休假回来忙了一阵，又到了年底突击花钱的时候，每年项目花不完的钱需要还回去，和几个同事交谈发现各国的科研机构都有这个奇葩政策，那岂不是逼我们乱买东西吗。今年我们要采购的是存储服务器，已经和几个供应商面谈了，Dell 反应最积极，甚至免费提供设备让我们测试两个月，现在我们拿不定的是买专业的存储还是买普通服务器自己做存储集群。从我们的环境和经验来看，硬盘是最容易坏的服务器部件之一，每年都有硬盘报废，我们使用的硬盘品牌、型号、容量五花八门，从来都没有统计和在意过硬盘的可靠性。我们知道硬盘迟早会坏，所以必要的冗余和备份是不可少的，数据可靠性远比硬盘可靠性重要，既然人类无法阻挡硬盘报废，那我们就只能想办法避免数据丢失。Backblaze 上个月发布了他们的硬盘可靠性报告 Hard Drive Reliability Update – Sep 2014，他们有 34881 个硬盘，100多 PB 数据，统计的样本够大，数据和结论都值得我们参考。从图上来看，貌似 HGST（原日立）, Seagate (1.5/4.0 TB), aWestern Digital (1.0 TB) 表现都不错。一个有趣的结论是，从报废率来说，企业级硬盘比桌面级硬盘好不了哪里去，考虑到其价格是对应桌面级的两倍（Seagate 3 TB 企业级硬盘价格 $235 对比 Seagate 3 TB 桌面级硬盘价格 $102） ...继续阅读 (5)

休假回来忙了一阵，又到了年底突击花钱的时候，每年项目花不完的钱需要还回去，和几个同事交谈发现各国的科研机构都有这个奇葩政策，那岂不是逼我们乱买东西吗。今年我们要采购的是存储服务器，已经和几个供应商面谈了，Dell 反应最积极，甚至免费提供设备让我们测试两个月，现在我们拿不定的是买专业的存储还是买普通服务器自己做存储集群。从我们的环境和经验来看，硬盘是最容易坏的服务器部件之一，每年都有硬盘报废，我们使用的硬盘品牌、型号、容量五花八门，从来都没有统计和在意过硬盘的可靠性。我们知道硬盘迟早会坏，所以必要的冗余和备份是不可少的，数据可靠性远比硬盘可靠性重要，既然人类无法阻挡硬盘报废，那我们就只能想办法避免数据丢失。Backblaze 上个月发布了他们的硬盘可靠性报告 Hard Drive Reliability Update – Sep 2014，他们有 34881 个硬盘，100多 PB 数据，统计的样本够大，数据和结论都值得我们参考。从图上来看，貌似 HGST（原日立）, Seagate (1.5/4.0 TB), aWestern Digital (1.0 TB) 表现都不错。一个有趣的结论是，从报废率来说，企业级硬盘比桌面级硬盘好不了哪里去，考虑到其价格是对应桌面级的两倍（Seagate 3 TB 企业级硬盘价格 $235 对比 Seagate 3 TB 桌面级硬盘价格 $102） ...继续阅读 (5)

Linux 平台上的性能工具有很多，眼花缭乱，长期的摸索和经验发现最好用的还是那些久经考验的、简单的小工具。系统性能专家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大会上更新了他那个有名的关于 Linux 性能方面的 talk (Linux Performance Tools) 和幻灯片。和 Brendan去年的 talk比较，今年增加了测试和优化两部分。下面的三张图片分别总结了 Linux 各个子系统以及监控、测试、优化这些子系统所用到的工具。监控测试优化 ...继续阅读 (15)

Linux 平台上的性能工具有很多，眼花缭乱，长期的摸索和经验发现最好用的还是那些久经考验的、简单的小工具。系统性能专家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大会上更新了他那个有名的关于 Linux 性能方面的 talk (Linux Performance Tools) 和幻灯片。和 Brendan去年的 talk比较，今年增加了测试和优化两部分。下面的三张图片分别总结了 Linux 各个子系统以及监控、测试、优化这些子系统所用到的工具。监控测试优化The postLinux 性能监控、测试、优化工具first appeared onvpsee.com. ...继续阅读 (5)

Linux 平台上的性能工具有很多，眼花缭乱，长期的摸索和经验发现最好用的还是那些久经考验的、简单的小工具。系统性能专家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大会上更新了他那个有名的关于 Linux 性能方面的 talk (Linux Performance Tools) 和幻灯片。和 Brendan去年的 talk比较，今年增加了测试和优化两部分。下面的三张图片分别总结了 Linux 各个子系统以及监控、测试、优化这些子系统所用到的工具。监控测试优化 ...继续阅读 (8)

今天在 Mac 上使用OSXFUSE/SSHFS挂载一个远程服务器目录的时候发现一个问题，使用的 username 属于 admin 用户组却无法访问 admin 组拥有的文件和目录，从 ssh 一直 debug 到 pam/ldap/kerberos /nfs 都没发现问题，最后才怀疑到是这个 sshfs 客户端的问题。根据这里讨论给的提示，OSXFUSE 自己的 SSHFS 程序在挂载的时候会默认忽略用户的 gid (group id)，这就是为啥不能读服务器上的用户组 admin 的文件和目录了，组权限被忽略了。解决办法是，在 sshfs 挂载的时候添加参数 -o defer_permissions：$ sshfs -o defer_permissions root@vpsee.com:/root test/ ...继续阅读 (30)

今天在 Mac 上使用OSXFUSE/SSHFS挂载一个远程服务器目录的时候发现一个问题，使用的 username 属于 admin 用户组却无法访问 admin 组拥有的文件和目录，从 ssh 一直 debug 到 pam/ldap/kerberos /nfs 都没发现问题，最后才怀疑到是这个 sshfs 客户端的问题。根据这里讨论给的提示，OSXFUSE 自己的 SSHFS 程序在挂载的时候会默认忽略用户的 gid (group id)，这就是为啥不能读服务器上的用户组 admin 的文件和目录了，组权限被忽略了。解决办法是，在 sshfs 挂载的时候添加参数 -o defer_permissions：$ sshfs -o defer_permissions root@vpsee.com:/root test/The post使用 OSXFUSE/SSHFS 远程挂载的组权限问题first appeared onvpsee.com. ...继续阅读 (5)

今天在 Mac 上使用OSXFUSE/SSHFS挂载一个远程服务器目录的时候发现一个问题，使用的 username 属于 admin 用户组却无法访问 admin 组拥有的文件和目录，从 ssh 一直 debug 到 pam/ldap/kerberos /nfs 都没发现问题，最后才怀疑到是这个 sshfs 客户端的问题。根据这里讨论给的提示，OSXFUSE 自己的 SSHFS 程序在挂载的时候会默认忽略用户的 gid (group id)，这就是为啥不能读服务器上的用户组 admin 的文件和目录了，组权限被忽略了。解决办法是，在 sshfs 挂载的时候添加参数 -o defer_permissions：$ sshfs -o defer_permissions root@vpsee.com:/root test/ ...继续阅读 (9)