IBM的创始人Thomas J. Watson曾经说： “全世界只需要5台电脑就足够了”。Microsoft的创始人Bill Gates曾在一次演讲中说：“个人用户的计算机内存只需640K ”。Intel创始人之一Gordon Moore曾经说：“当价格不变时，集成电路上可容纳的晶体管数目，约每隔18个月便会增加一倍，性能也会增加一倍”。前面两句话在今天看来实际上是十分荒谬的，而最后那条就是著名的摩尔定律。hugepages的出现同样也是因为摩尔定律导致了主机内存越来越大，最后不得不对于标准pages的改进以提高效率。要了解hugepages首先必须清楚Unix/Linux内存的分配机制。本文从入门的角度介绍Linux的内存分配机制，当然这一部分内容相信很多人都在计算机体系结构这门课程中学到过，这里就重新温习一下。早期因为程序非常简单并且使用的内存也非常小，程序的内存地址都是使用程序地址对应物理地址这种这种直接映射的模式，通俗的说就是物理地址是在程序中写死的。想想使用汇编直接操作物理地址是多么壮观的工程呀。对于一个大型的软件系统来说，这部分工作几乎是不可能完成的。后来开始使用“段页式”的方式来管理内存的寻址。用一个时髦的词来说就是引入了“虚拟化”技术。现代操作系统都会使用受保护的虚拟地址模式（protected virtual address mode）来管理内存，Linux下分为 ...继续阅读 (37)

原文链接：http://www.dbaleet.org/about_protocols_of_infiniband/这不是一篇介绍infiniband是什么的文章，而仅仅站在Oracle RAC和Exadata的角度上阐述infiniband。 如果您不知道infiniband是什么，请点击这里。很多人可能不知道，绝大多数高性能计算机内部或者集群之间都是使用infiniband互联的。在国家超算中心，在亚马逊的云计算中心都有它的身 影。为什么infiniband会如此受欢迎呢？原因无非有两个： 一是目前infiniband本身能提供比传统以太网更高的带宽， 二是通常infiniband的开销比以太网要小，对于节点间通信大量数据传输比以太网效率要更高。当然Oracle也是这一技术的主导者， 其中RDS本身就是Oracle的一个开源项目。常见的运行在infiniband之上协议有哪些呢？下面就简单介绍一下Oracle DB可能会用到的几个：IPoIB协议：Internet Protocol over InfiniBand 简称IPoIB 。传统的TCP/IP栈的影响实在太大了，几乎所有的网络应用都是基于此开发的，IPoIB实际是infiniband为了兼容以太网不得不做的一种折 中，毕竟谁也不愿意使用不兼容大规模已有设备的产品。IPoIB基于TCP/IP协议，对于用户应用程序是透明的， ...继续阅读 (59)

原文链接：http://www.dbaleet.org/exadata_how_to_caculate_iops/Thomas Zhang 同学曾经提到一个很有意思的话题：Exadata datasheet的IOPS是怎样计算的？这个问题我想很多Exadata用户都会有同样的困惑，客户隐含的意思就是主机和存储我打过的交道也不少，你这个数据在我看来应该是有水分的，厂商嘛，都喜欢吹吹牛。比如1/4配的Exadata，使用的是HC（High Capacity）的磁盘。也就是说3个存储节点，每个节点12个7200rpm 3TB SAS盘。官方给的数据是6000 IOPS。那么这6000是怎么得到的？下面简单的做一下推测：从上图可以看到， HC和HP的IOPS是分开计算的。 为了说明问题简单的列一下表格：Exadata RackDisk TypeDisk CountDisk ModelIOPSFULL（1/1）HP14*12=16815000rpm SAS 600G50000HC7200rpm SAS 3T28000HALF（1/2）HP7*12=6815000rpm SAS 600G25000HC7200rpm SAS 3T14000QUAR（1/4）HP3*12=3615000rpm SAS 600G10800HC7200rpm SAS 3T6000简单的看一下可以发现其中的规律： da ...继续阅读 (45)

原文链接：http://www.dbaleet.org/why_asm_rebanlance_hang_at_est_minutes_eq_zero/最早故事大概发生在一年前，当时某个客户Exadata有几个盘坏了，需要更换。当时正好我在客户现场做一个变更，正好帮忙换一下硬盘，因为 Exadata换盘的步骤比较繁琐，客户也是第一次遇到这样的事情，所以也格外谨慎。变更是在凌晨，此时业务量非常小，所以索性将 ASM_POWER_LIMIT开足马力调整到11。期望rebalance能快点结束。还好一切顺利，中间并没有遇到什么差错。最后一部将ASM磁盘加 回到asm diskgroup也很顺利，然后不停的在刷着select * from v$asm_opearation; /之类的。两小时后，眼看EST_MINUTES就马上接近于零了，换盘工作也即将结束。于是乎就去找客户闲聊，拉拉家常。半个小时过去了，我回到座位， 熟练的敲了一下/，口里还念叨了一句：no row selected大大出乎我的意料的是竟然还有记录。越想越不对，10g的ASM也算换过不少次了，从来没出现像现在这样的。难道这个参数不准？下意识的 去存储节点看了下iostat的结果，发现I/O量还是很大的。这个时候已经是凌晨3点了，不应该有这么大的访问量才对呀。我又简单的看了下db的负载一 切正常，这就奇怪了。干脆一不做，二不休 ...继续阅读 (191)

http://www.dbaleet.org/exadata_faq_who_stoled_my_space/在Exadata安装完成以后，几乎每个客户都会问到一个问题：” 我们公司购买的是你们的Exadata X2-2 1/4配， 使用的是600G高性能盘。现在有3个存储节点，每个节点有12个盘。 这样计算那么我应该得到这么多空间： 600G×12×3=21600GB， 也就是说裸盘一共有大约21.6TB的空间。然后使用了ASM做了normal冗余，最后得到净可用空间应该在10.8TB，扣掉一点开销，我认为最后可 用空间应该在10个TB左右,  当初你们的销售告诉我们能用的空间也是10个T, 为什么现在我在ASM中看到可用空间只有6.5TB, 是不是弄错了呀,难道选成了High冗余呀? 什么? 没有? 难道是你们每个盘都预留了一点空间? 这样不行呀, 空间本来对于我们本来就非常紧张, 这个结果对于我们来说是不可接受的!”ASMCMD [+] > lsdg State Type Rebal Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED NORMAL N 512 ...继续阅读 (27)

原文链接：http://www.dbaleet.org/exadata_sundiag_/sundiag是exadata上收集磁盘信息的利器，这个脚本十分全面，涵盖了与磁盘包括flash盘有关的所有信息。在早期的与HP合 作的Exadata V1上不存在这个脚本，从脚本的命名方式就能看出来，是属于收购sun以后的产物。Exadata V1类似的脚本，名字叫GetSCConf.zip , 相比sundiag而言，这个脚本非常简陋，仅仅只能查看cell, lun, physicaldisk, celldisk, griddisk的信息。在exadata image 11.2.2.2.0版本以后都自带这个脚本，此脚本位于# /opt/oracle.SupportTools/sundiag.sh。Solaris X86也存在对应的版本，收集到的信息与Linux基本一致。如果您怀疑Exadata机器的磁盘有损坏，例如机器有盘亮黄灯，就可以在这台机器上运行sundiag，完成以后会生成对应的一个压缩包，然后将 其上传到SR，供Exadata后台支持工程师分析。在很多硬件相关的SR中，SR工程师通常也要求客户上传sundiag的信息以供诊断。所以掌握 sundiag的使用对于Exadata维护工程师至关重要。一下就是对这个脚本进行简单的分析，看sundiag收集了一些什么信息。这个脚本本身比较简 ...继续阅读 (46)

原文链接：http://www.dbaleet.org/about-rac-interconnect-os-bonding/对于维护mission critical的高可用系统的DBA而言，SPOF（单点故障）永远是无法回避的话题，因为它会影响到SLA（服务等级协议）， 对于任何一个设计良好的系统都应该尽量避免出现单点故障。RAC的私网，我们有时称其为心跳线，可见其迁一发而动全身的作用。上一篇我们讲述了Oracle自带的一种防止私网单点故障的方式HAIP。 限于其局限性，本篇主要讲用途更为广泛的操作系统级别的网卡绑定。绑定，简单的说就是使用多块物理网卡捆绑成逻辑上的一块网卡，它对于操作系统之上的应用程序是完全透明的，以提供故障转移或者负载均衡，消除单点故 障的隐患。 这看上去是一件非常简单的工作。但实际上远远不是像它看上去的，其中涉及到很多有关的网络方面的概念和细节，当然这些细节超出了本文的范畴，在此不做详细 的论述。绑定（bond）是Linux平台的叫法，它还有其它的各种名字例如port trunking（端口汇聚，常见于交换机领域），Link aggregation（链路聚合， 事实上，这个才是业界的标准IEEE 802.3称谓， LACP——link aggregation control protocol），  NIC teaming （网卡组合， 常见于HP和Micros ...继续阅读 (57)