MongoDB 可以通过writeConcern来定制写策略，3.2版本后又引入了readConcern来灵活的定制读策略。readConcern vs readPreferenceMongoDB 控制读策略，还有一个readPreference的设置，为了避免混淆，先简单说明下二者的区别。readPreference主要控制客户端 Driver 从复制集的哪个节点读取数据，这个特性可方便的实现读写分离、就近读取等策略。primary只从 primary 节点读数据，这个是默认设置primaryPreferred优先从 primary 读取，primary 不可服务，从 secondary 读secondary只从 scondary 节点读数据secondaryPreferred优先从 secondary 读取，没有 secondary 成员时，从 primary 读取nearest根据网络距离就近读取readConcern决定到某个读取数据时，能读到什么样的数据。local能读取任意数据，这个是默认设置majority只能读取到『成功写入到大多数节点的数据』readPreference和readConcern可以配合使用。readConcern 解决什么问题？readConcern的初衷在于解决『脏读』的问题，比如用户从 MongoDB 的 primary 上读取了某一条数据，但 ...继续阅读 (8)

MongoDB Sharded Cluster 原理如果你还不了解 MongoDB Sharded cluster，可以先看文档认识一下中文简介：MongoDB Sharded cluster架构原理英文汇总：https://docs.mongodb.com/manual/sharding/什么时候考虑用 Sharded cluster？当你考虑使用 Sharded cluster 时，通常是要解决如下2个问题存储容量受单机限制，即磁盘资源遭遇瓶颈。读写能力受单机限制（读能力也可以在复制集里加 secondary 节点来扩展），可能是 CPU、内存或者网卡等资源遭遇瓶颈，导致读写能力无法扩展。如果你没有遇到上述问题，使用 MongoDB 复制集就足够了，管理维护上比 Sharded cluster 要简单很多。如何确定 shard、mongos 数量？当你决定要使用 Sharded cluste 时，问题来了，应该部署多少个 shard、多少个 mongos？这个问题首富已经指点过我们，『先定一个小目标，比如先部署上1000个 shard』，然后根据需求逐步扩展』。回到正题，shard、mongos 的数量归根结底是由应用需求决定，如果你使用 sharding 只是解决 『海量数据存储』的问题，访问并不多，那么很简单，假设你单个 shard 能存储 M， 需要的存储总量是 N。nu ...继续阅读 (6)

线上一个Secondary节点crash，错误原因是出现了 OplogOutOfOrder 错误，也就是说Secondary 重放了一条比『已经重放过最新的 oplog』更早的操作，经过分析，发现问题是因网络分区导致出现2个 Primary 的问题导致，详细的过程如下表分析。说明：Node2、Node1、Node0分别是优先级为2、1、0的复制集成员。TimestampNode2Node1Node0Notest1PrimarySecondarySecondaryNode2被选为主t2Primary write ASeconary sync ASecondary sync ANode2上写入A，并同步到 Node1、Node0t3Primary write BSecondarySecondaryNode2上写入 B，但未同步到 Node1、Node0t4PrimarySecondarySecondaryNode2网络与 Node1、Node0隔离，发生新的选举t5PrimaryPrimarySecondaryNode1被选为主t6PrimaryPrimary WRITE CSecondary SYNC CNode1上写入 C，同步到 Node0t7PrimaryPrimary WRITE DSecondary SYNC DNode1上写入 D，同步到 Node0t8Primary W ...继续阅读 (8)

看到Secondary节点上的日志，我的内心的崩溃的，鉴权请求居然耗时2977790ms（约50分钟），经详细统计，这个Secondary节点上，所有16:54之后发起的用户请求，都阻塞到17:54左右才返回，处理时间最长的请求约1个小时。2016-06-17T17:54:57.575+0800 I COMMAND [conn2581] command admin.system.users command: saslStart { saslStart: 1, mechanism: "SCRAM-SHA-1", payload: "xxx" } keyUpdates:0 writeConflicts:0 numYields:0 reslen:171 locks:{ Global: { acquireCount: { r: 2 } }, Database: { acquireCount: { r: 1 } }, Collection: { acquireCount: { r: 1 } } } protocol:op_query 2977790ms 2016-06-17T17:54:57.575+0800 I COMMAND [conn2740] command admin.system.users command: saslStart { saslStart: 1, mechani ...继续阅读 (72)

MongoDB oplog是一个capped collection，创建capped collection时，createCollection可以设置size（最大字节数）和max（最大文档数）的参数，当这个集合的『总大小超过size』或者『总文档数超过max』时，在新插入文档时就会自动删除一些集合内最先插入的文档，相当于一片环形的存储空间。oplog（local.oplog.rs集合）默认情况下配置为可用磁盘空间的5%，当oplog写满时，就会开始删除最先写入的oplog，一次正常的insert操作包含如下步骤：将文档写入指定的集合将写入操作记录到oplog如果oplog满了，删除最先写入的oplog优化策略MongoDB 3.2为了提升写入性能，使用wiredtiger引擎时，针对local.oplog.rs这个集合的删除策略进行了优化，主要改进：将删除动作从用户的写入路径移除，放到后台线程执行批量删除，并不是oplog一满就立马触发删除，而是一次删除一批实施方案monogd启动时，会根据oplog的最大字节数将整个集合分为10-100个Stone（可以理解为oplog的一段数据，包含多个文档，Stone的具体个数oplogSizeMB的配置相关）。WiredTigerRecordStore::OplogStones::OplogStones(OperationContext* ...继续阅读 (25)

为什么需要索引？当你抱怨MongoDB集合查询效率低的时候，可能你就需要考虑使用索引了，为了方便后续介绍，先科普下MongoDB里的索引机制（同样适用于其他的数据库比如mysql）。mongo-9552:PRIMARY> db.person.find() { "_id" : ObjectId("571b5da31b0d530a03b3ce82"), "name" : "jack", "age" : 19 } { "_id" : ObjectId("571b5dae1b0d530a03b3ce83"), "name" : "rose", "age" : 20 } { "_id" : ObjectId("571b5db81b0d530a03b3ce84"), "name" : "jack", "age" : 18 } { "_id" : ObjectId("571b5dc21b0d530a03b3ce85"), "name" : "tony", "age" : 21 } { "_id" : ObjectId("571b5dc21b0d530a03b3ce86"), "name" : "adam", "age" : 18 }当你往某各个集合插入多个文档后，每个文档在经过底层的存储引擎持久化后，会有一个位置信息，通过这个位置信息，就能从存储引擎里读出该文档。比如mmapv1引擎里，位 ...继续阅读 (13)

3.0+版本的mongod捕获了SIGSEGV信号，打印当前的执行堆栈，然后退出。// src/mongo/util/signal_handlers_synchronous.cpp struct sigaction addrSignals; memset(&addrSignals, 0, sizeof(addrSignals)); addrSignals.sa_sigaction = abruptQuitWithAddrSignal; sigemptyset(&addrSignals.sa_mask); addrSignals.sa_flags = SA_SIGINFO; invariant(sigaction(SIGSEGV, &addrSignals, nullptr) == 0); invariant(sigaction(SIGBUS, &addrSignals, nullptr) == 0); invariant(sigaction(SIGILL, &addrSignals, nullptr) == 0); invariant(sigaction(SIGFPE, &addrSignals, nullptr) == 0);当mongod因为段错误退出时，查问题信息太少，非常不方便，故尝试让mongod在段错误时coredump ...继续阅读 (24)

MongoDB提供了killOp请求，用于干掉运行时间很长的请求，killOp通常需要与currentOp组合起来使用；先根据currentOp查询到请求的opid，然后根据opid发送killOp的请求。currentOpcurrentOp的使用，参考官方文档currentOp会将后端Mongod上正在执行的请求都列出来，也可根据查询条件（如请求类型，请求是否正在等待锁，请求操作的DB或collection）来进行过滤。例1：查询所有正在等待锁的写操作db.currentOp( { "waitingForLock" : true, $or: [ { "op" : { "$in" : [ "insert", "update", "remove" ] } }, { "query.findandmodify": { $exists: true } } ] } )例2：查询所有操作db1并且执行时间已超过3s的请求db.currentOp( { "active" : true, "secs_running" : { "$gt" : 3 }, "ns" : /^db1\./ } )currentOp的过滤条件包括请求操作类型，insert、update、delete...请求对 ...继续阅读 (18)

Mongodb复制集里的Secondary会从Primary上同步数据，以保持副本集所有节点的数据保持一致，数据同步主要包含2个过程initial syncreplication （oplog sync）先通过init sync同步全量数据，再通过replication不断重放Primary上的oplog同步增量数据。initial syncSecondary启动后，如果满足以下条件之一，会先进行initial syncSecondary上oplog为空，比如新加入的空节点local.replset.minvalid集合里_initialSyncFlag标记被设置。当initial sync开始时，同步线程会设置该标记，当initial sync结束时清除该标记，故如果initial sync过程中途失败，节点重启后发现该标记被设置，就知道应该重新进行initial sync。BackgroundSync::_initialSyncRequestedFlag被设置。当向节点发送resync命令时，该标记会被设置，此时会强制重新initial sync。** initial sync同步流程 **minValid集合设置_initialSyncFlag获取同步源当前最新的oplog时间戳t0从同步源Clone所有的集合数据获取同步源最新的oplog时间戳t1同步t0~t1所有的opl ...继续阅读 (34)

本文主要介绍Mongodb RBAC（role based access control）权限管理机制，其核心是给每个用户赋予一定的权限，用户连接mongodb前需先验证，验证通过后即拥有用户的权限，权限决定了用户在某一组资源（如某个DB、某个特定集合）上可以执行哪些操作（比如增删改查、建索引）。ActionTypedb/auth/action_types.txt文件里包含mongo所有的actionActionType代表一种操作，每个ActionType有一个唯一的ID，Role支持的所有操作通过ActionSet来描述，ActionSet实际是一个位图，支持某种操作时，其ID对应的bit置1.ActionType相关的代码是由一个python脚本动态生成的generate_action_types.py action_types.txt header_file source_fileResourcePatternResourcePattern代表资源（某个数据库、某个集合等）匹配方式，由资源名称(DB.collection格式，如果为空代表匹配任意资源)及匹配方式组成class { private: MatchType _matchType; NamespaceString _ns; }; enum MatchType { matchNever = 0, ...继续阅读 (29)

Mongodb多存储引擎支持机制介绍了Mongodb存储层创建数据库、创建集合、插入文档等数据库操作接口，本文将介绍mongodb处理客户端请求的模型。Mongod在启动时会调用createServer创建一个PortMessageServer对象，其继承MessageServer和Listener两个类，并依赖MyMessageHandler来处理请求。class PortMessageServer: public MessageServer, public Listener { public: void accepted(boost::shared_ptr<Socket> psocket, long long connectionId ); void setupSockets(); void run(); private: MessageHandler* _handler; };PortMessageServer调用setupSockets为mongod配置的每个地址创建一个socket，并调用bind绑定地址。调用initAndListen监听所有的地址，调用select等待监听fd上发生连接事件，调用accept系统调用接受新的连接请求，并为每个新连接创建一个线程，该线程执行handleIncomingMsg方法，不断处理该连接上的 ...继续阅读 (23)

Mongodb mmapv1存储引擎解析中介绍了Mongodb默认的mmapv1引擎的实现机制，在Mongodb 3.0版本中，引入了WiredTiger存储引擎，同时还有实验版本的In-memory引擎、rocks引擎，本文将介绍Mongodb是如何支持多存储引擎的。DatabaseHolderDatabaseHolder是Mongodb数据库操作的入口，提供了打开、关闭数据库的接口，其中openDb接口会创建一个Database对象。class DatabaseHoler { public: Database* openDb(string dbname); void close(string dbname); Database* get(string dbname); pirate: mapdbs; };DatabaseDatabase对象代表Mongodb里的一个db，其提供关于集合操作的所有接口，包括创建、删除、重命名集合，创建Database时会根据mongod进程的storageEngine配置来决定使用哪个存储引擎。class Database { public: Collection* createCollection(string& coll_name); void dropCollection(string& co ...继续阅读 (28)

mongodb的mongod服务管理一个数据目录，可包含多个DB，每个DB的数据单独组织，本文主要介绍mmapv1存储引擎的数据组织方式。Database每个Database(DB)由一个.ns文件及若干个数据文件组成$ll mydb.* -rw------- 1 ydzhang staff 67108864 7 4 14:05 mydb.0 -rw------- 1 ydzhang staff 16777216 7 4 14:05 mydb.ns数据文件从0开始编号，依次为mydb.0、mydb.1、mydb.2等，文件大小从64MB起，依次倍增，最大为2GB。Namespace每个DB包含多个namespace（对应mongodb的collection名），mydb.ns实际上是一个hash表（采用线性探测方式解决冲突），用于快速定位某个namespace的起始位置。hash表里的一个节点包含的元数据结构如下，每个节点大小为628Bytes，16M的NS文件最多可存储26715个namespace。struct Node { int hash; Namespace key; NamespaceDetails value; };key为namespace的名字，为固定长度128字节的字符数组。hash为namespce的hash值，用于 ...继续阅读 (39)

redis debug命令提供了几个非常实用的debug功能，本文介绍下redis-2.8.19下的debug命令。debug segment让redis发生段错误，如果开启了coredump，则会产生core文件。这个命令实现很简单，直接往一个非法地址上写数据。*((char*)-1) = 'x';debug oom申请一大片内存，直接让zmalloc触发oom错误void *ptr = zmalloc(ULONG_MAX); /* Should trigger an out of memory. */ zfree(ptr); addReply(c,shared.ok);debug assert不多解释redisAssertWithInfo(c,c->argv[0],1 == 2);debug reloadsave当前的rdb文件，并清空当前数据库，重新加载rdb，加载与启动时加载类似，加载过程中只能服务部分只读请求（比如info、ping等）rdbSave(); emptyDb(); rdbLoad();debug loadaof清空当前数据库，重新从aof文件里加载数据库emptyDb(); loadAppendOnlyFile();debug object查看一个key内部信息，比如refcount、encoding、serializedlength等，结果如下Value ...继续阅读 (46)

MSST 2015的论文（论文在这里，PPT在这里）介绍百度云使用的key-value存储系统atlas的设计，思路相当赞。简单总结一下，建议想深入学习的同学直接阅读论文。存储场景百度云94%的文件在[128KB-256KB]之间，所以atlas主要针对小文件存储百度云前面有CDN，到达atlas的请求基本都是随机访问，atlas是随机访问的存储引擎，不支持range操作总体架构atlas主要由PIS和RBS两个部分组成，下面将分别介绍PIS存储接口atlas的PIS模块（patch and index slice）直接面向用户，与其他KV存储引擎类似，暴露put/get/delete接口，不同的是atlas的key是规定长度128字节的GUID。PIS以slot（slice）为单位进行数据管理，用户的key-value会分散存储到多个slot里，put时atlas的客户端会根据key计算hash，并对slot数量取模，将key路由至某个slot，每个slot单独进行数据管理。PIS的primary副本接收到用户的put请求，会将请求转发至多个secondary副本，每个副本都将value追加至本地patch（类似于log文件），并记录key的value在patch里的位置信息（offset、length），当patch到达64MB时，patch将不再写入数据，PIS会产生一个新的 ...继续阅读 (36)

CPU利用率/proc/stat文件里包含系统cpu使用情况，2-8列对应的CPU消耗含义是用户态消耗(user)、用户态nice消耗(nice)、内核态消耗(sys)、空闲时间(idle)、等待IO消耗(iowait)、硬件中断消耗(hardirq)、软中断消耗(softirq)。（man proc）$ cat /proc/stat cpu 2339504870 2641995 716723851 70316975284 7219566 328971 304057999 0 0 cpu0 211214357 275710 57674236 2778331292 3688175 10421 12279511 0 0 cpu1 140100049 278788 47142039 2857686940 180452 32028 14960093 0 0 ...要计算t1~t2时间内系统的cpu利用率，需要在t1、t2时刻分别采集cpu使用信息t1_all = t1(user + nice + sys + idle + iowait + hardirq + sortirq) t1_used = t1(user + nice + sys + iowait + hardirq + sortirq) t2_all = t2(user + nice + sys + idle + iowait ...继续阅读 (27)

redis-2.6支持通过EVAL命令来执行lua脚本，对lua脚本的支持扩展了redis的应用场景，redis支持路脚本需要做2件事redis能执行lua脚本在lua脚本里能执行redis的命令接下来，我将通过一个简单的实例来解析redis如何完成上述两个工作的。构建一个简单的redis#define DICT_SIZE 100 struct redisDict { char* key[DICT_SIZE]; char* value[DICT_SIZE]; int idx; }; static void setCommand(const char *key, const char *value) { /* ignore memory issue for simple */ if (dict.idx + 1 <= DICT_SIZE) { dict.key[dict.idx] = (char *)malloc(strlen(key) + 1); strcpy(dict.key[dict.idx], key); dict.value[dict.idx] = (char *)malloc(strlen(value) + 1); strcpy(dict.value[dict.idx], value); dict. ...继续阅读 (40)

向2.8版本redis发送slaveof，将自己变成自己的slave（简称slaveof self）是会返回+OK的，因为响应slaveof命令时，只是设置下master，接下来的同步都是异步进行的。127.0.0.1:6379> set key value OK 127.0.0.1:6379> slaveof 127.0.0.1 6379 OK 127.0.0.1:6379> get key "value" (1.03s) 127.0.0.1:6379> get key "value" (7.95s)slaveof self之后，发现redis仍然是可以服务的，但请求响应慢了很多，一个请求通常持续好几秒钟，为什么会这样？step1.当redis接收到slaveof后，将masterhost设置为自己，然后返回OK。step2.redis在后台建立到master的连接，这条连接的两端都是这个redis自身，两端分别称为master、slavestep3.连接建立后，slave调用syncWithMaster与master建立同步step4.slave向master异步发送PING，master回复PONGstep5.slave向master同步发送REPLCONF，调用sendSynchronousCommand，这里会阻塞的等待5s，直到超时；而由于redis是单线程，此时请求发 ...继续阅读 (21)

slave状态变迁#define REDIS_REPL_NONE 0 /* No active replication */ #define REDIS_REPL_CONNECT 1 /* Must connect to master */ #define REDIS_REPL_CONNECTING 2 /* Connecting to master */ #define REDIS_REPL_RECEIVE_PONG 3 /* Wait for PING reply */ #define REDIS_REPL_TRANSFER 4 /* Receiving .rdb from master */ #define REDIS_REPL_CONNECTED 5 /* Connected to master */server.repl_state储存slave当前的复制状态* redis启动时初始化为REDIS_REPL_NONE* 当接受到slaveof命令后，该redis转换为slave，同时状态变为REDIS_REPL_CONNECT周期性执行的replicationCron会检查slave当前的状态，来执行不同的操作如果slave处于REDIS_REPL_CONNECT,调用connectWithMaster建立到master的连 ...继续阅读 (27)

dict字典（dict）是redis里最核心的数据结构，正如其全称Remote Dictionary Service所说，redis其实就是一个字典服务，字典以key、value的形式呈现给用户，key是简单的字符串，而value可以是各种数据结构，比如字符串（string）、链表（list）、集合（set）、排序集合（zset）、哈希表（hash）等。redis里dict的实现也比较简单，通过链表来解决哈希冲突，值得一提的是dict的动态扩展能力，当dict里元素不断增加时，其会扩大哈希桶数，然后对现有元素进行rehash，重新分布到对应的桶上，但dict的rehash并不是一次性完成的，这样会导致当dict里元素较多时，rehash耗时较长，导致服务阻塞。typedef struct dict { dictType *type; void *privdata; dictht ht[2]; int rehashidx; /* rehashing not in progress if rehashidx == -1 */ int iterators; /* number of iterators currently running */ } dict;dict创建时，会初始化ht[0]，插入和访问都通过ht[0]来完成，当需要rehash时， ...继续阅读 (29)

编译部署TFS常见问题整理(FAQ)TFS安装文档TFS部署文档TFS运维工具文档TFS Nameserver HA配置网友经验redhat 6.3下编译淘宝tfs淘宝分布式文件系统安装部署TFS安装配置手册-编译安装TFS安装配置手册-DataServer配置TFS安装配置手册–NameServer配置TFS安装配置手册–JAVA Client实战TFS nameserver HA配置设计原理TFS架构演进TFS原理与架构PPT淘宝分布式文件系统TFS设计原理TFS资源管理服务容错机制TFS多机房容灾数据同步策略TFS问题思考TFS全局资源管理The postTFS资料汇总appeared first onYun Notes. ...继续阅读 (34)

本文是我在2014中华架构师大会的分享PPT，也可直接在官网下载张友东 + TFS架构演进Viewmore presentationsorUploadyour own.The postTFS架构演进分享appeared first onYun Notes. ...继续阅读 (63)

问题背景一个服务需要往磁盘持久化数据，但不是每次写的同步刷盘，而是依赖于操作系统的后台线程异步刷盘，如果遇到机器宕机等异常情况，可能导致服务的数据丢失或处于不一致状态，所以需要在每次机器宕机后对服务的数据进行检查，保证数据完整性。实现方案服务退出时，记录下退出状态，下次启动时根据上次的退出状态来判断是否异常退出。具体实现方案有很多，比如：在服务启动时，创建文件/service_home_dir/running；在服务正常退出时，删除文件/service_home_dir/running；服务启动时，如果/service_home_dir/running文件已经存在，说明服务上次异常退出。上述方案非常简单，要求服务能捕获kill信号，在收到kill信号或主动正常退出时，删除文件/service_home_dir/running，能识别出的异常场景包括：服务运行时被kill -9干掉服务运行时coredump服务运行时机器宕机The post如何判断服务异常退出appeared first onYun Notes. ...继续阅读 (28)

问题背景TFS里每块磁盘的存储空间被划分为多个block（通常64M)，每个block里存储多个小文件，为了快速定位文件在block内部的位置，每个block对应一个index文件，index文件包含一个描述block元信息的header，然后是每个文件在block内部的位置信息，以哈希表的方式组织。index文件通常数十KB，直接mmap到内存，内存完全交给操作系统来管理，比较活跃的block，其index的访问通常直接page cache命中，不用访问磁盘；当内存不足时，index对应的page cache有可能被操作系统换出至磁盘，导致index的访问不能从page cache未命中，此时则会从磁盘读取index数据。根据TFS里文件数据访问的特性，新写入的数据被访问的可能性更大，而老的数据因为访问较少，其所在block的index通常会从内存换出，Linux本身的page cache策略与TFS的文件访问特性能很好的配合，但TFS另一个周期性任务却受page cache管理策略的影响。TFS里的dataserver(DS)每天会给nameserver(NS)汇报一次所管理的block信息，以便让NS尽快修正不一致的元数据。比如某个block原来在A,B两台机器上，但由于负载不均衡，NS发起迁移任务将该从A迁移到C，假设由于网络原因，迁移耗时超出预期，导致NS认为迁移任务失败 ...继续阅读 (17)

对一个应用程序员来讲，了解汇编不是必需的，更少有手写纯汇编的需求。但是如果能了解些基本的汇编知识，对程序调试和一些语言特性的理解是大有裨益的。本文介绍AT&T语法的汇编的要点以及GCC使用的内联汇编（inline assembly）的使用。AT&T 汇编AT&T汇编是GCC所采用的语法，要点：寄存器名以‘%’为前缀：%eax；立即数以‘$’为前缀：$0x80；指令格式instrunction src, dest，分别为指令名，源操作数，目的操作数，例如mov $0, %rax；操作数的宽度以指令名后缀指名，或者由操作数宽度隐式推出：单字节b，双字节w，四子节l，八字节q。例如movb $0, (rax)；相对寻址/寄存器寻址/索引寻址均由seg:off(base, index, scale)标识。seg为段寄存器；off为偏移量；base为基址寄存器；index为索引寄存器；scale为索引的偏移粒度。seg/off/index/scale均可省略：seg默认由操作数的属性决定，数据寻址为ds，代码寻址为cs；off默认为0；index默认为0；scale默认为1。比如，有个Message的结构体数组，该结构体 大小为16字节，len成员的偏移量为8，数组起始地址保存在%rbx，元素索引保存在%rcx，那 ...继续阅读 (18)

上文书介绍了 C++11 中的右值引用及其应用：移动语义和完美转发。本文介绍另外一个应用广泛的特性，变参模板。变参模板允许模板使用个数可变的参数类型来声明模板，包括类模板和函数模板。变参模板的基本语法是这样的：1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17voidprint(){cout<<endl;} template<typenameT,typename...Args>voidprint(constT&t,constArgs&...args){cout<<t<<" ";print(args...);}intmain(){print(123,3.14,"tair");return0;}上面实现了一个简单的类型安全的变参打印函数。结合右值引用，变参模板在 STL 中应用广泛，例如 vector 中的 emplace 函数族（每个 STL 容器都提供了适当接口的 emplace* 函数），用来使用其参数在内部内存单元上直接构造对象，不但避免了不必要的内存拷贝，还可以省去临时对象的构造：1 2 3 4 5template<class. ...继续阅读 (11)

C++11引入的新特性中，除了并发内存模型和相关设施，这些高帅富之外，最引人入胜且接地气的特性就要属『右值引用』了（rvalue reference）。加入右值引用的动机在于效率：减少不必要的资源拷贝。考虑下面的程序：1 2std::vector<string>v;v.push_back("string");向vector中添加一个元素，这个动作需要先后调用string::string(const char*), string::string(const string&), string::~string()三个函数，涉及两次内存拷贝：第一次使用字面常量“string”构造出一个临时对象，第二次使用该临时对象构造出vector中的一个新元素，『最后临时对象会发生析构』。移动语义上面程序操作的问题症结在于，临时对象的构造和析构带来了不必要的资源拷贝。如果有一种机制，可以在语法层面识别出临时对象，在使用临时对象构造新对象（拷贝构造）的时候，将临时对象所持有的资源『转移』到新的对象中，就能消除这种不必要的拷贝。这种语法机制就是『右值引用』，相对地，传统的引用被称为『左值引用』。左值引用使用‘&’标识（比如string&），右值引用使用‘&&’ ...继续阅读 (12)

Tair 又 core dump 了。1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33Core was generated by `sbin/tair_server -f etc/dataserver.conf'. Program terminated withsignal11,Segmentation fault.(gdb)f#00x000000000048229binrequest_processor::process()atrequest_processor.cpp:13401340req->r->opacket = resp;(gdb)p/a req $36=0x2aadba4d0d80(gdb)p/a resp $37=0x2aadba4d7e60(gdb)p/a req->r $38=0x2aacf3986da0(gdb)p/a &req->r->opacket $39=0x2aacf3986de0(gdb)disassemble $rip-9, +15Dump of assembler cod ...继续阅读 (19)

原子“在古希腊文中，原子就是不可再分的含义“。在程序设计的内涵下，『原子』性表示一个操作的中间状态对外的不可见性，体现在内存修改的中间状态不可见，体现在CPU指令的不可中断。原子操作是并发环境的基础，是互斥锁实现的必要条件。这里说的并发环境，是指多个执行序列，共享了某些状态，运行在单个或多个CPU核心之上。为了说明哪些操作是原子的，哪些不是，以一个对整型计数器的递增操作为例。考虑下面三种实现，为了『清晰』，使用GCC inline assembly呈现：1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54#include <stdint.h>#include <sched.h> volatileuint32_t counter=0; #define INCR(n) non_atomic_incr((n)) voidnon_atomic_incr(volatileuint32_t*n){asmvolatile("mov %0, %%eax\n\t"" ...继续阅读 (16)

上一篇介绍了TCMalloc的SysAllocator，处于最底层，该层负责直接和内核交互，申请和释放内存。紧邻SysAllocator的上一层，是PageHeap，负责管理内存页面。TCMalloc中的页面和Linux内核中的页面相似，事实上，组织方式也和内核接近。介绍PageHeap之前，先要介绍Span，一个Span是一个或多个Page，也是PageHeap管理的单元：1 2 3 4 5 6 7 8 9 10 11 12structSpan{PageID start;// Starting page numberLength length;// Number of pages in spanSpan*next;// Used when in link listSpan*prev;// Used when in link listvoid*objects;// Linked list of free objectsunsignedintrefcount:16;// Number of non-free objectsunsignedintsizeclass:8;// Size-class for small objects (or 0)unsignedintlocation:2;// Is the span on a freelist, a ...继续阅读 (20)