PS1: 写在前面:最近比较忙,这篇参会总结一直拖到现在才完成,主要大概把感兴趣的slide按照不同的公司做了个分门别类,方便自己有空再深入的学习阅读。
PS2: 有极个别PPT的链接挂了,过一段时间再刷刷看
一年一度的Percona Live会议如期在美国Santa Clara会展中心举行,这里聚集了最全面的MySQL社区最前沿的Topic,大量MySQL社区的大神参与该会议。与往年不同,本年度的Percona Live会议全名为“Percona Live Data Performance Conference”,不仅仅包含MySQL主题,还包含了NOSQL, 云计算,大数据等方面的主题。
先说说第一点印象,很多人都在讨论Facebook的MyRock和RockDB,会议期间有多个相关的主题以及一个专门的keynote。Facebook在推广MyRock持有非常开放的态度,所有的源码开发都是在外部的github上进行的,社区的大量使用可以带来软件的进一步成熟,进而反哺其本身的业务。同时Facebook作为本次会议的赞助商之一,设置了自己的展台,全员开发组出动,向其他从业者介绍MyRock及RockDB。
Oracle 有多个主要开发人员参加了这次会议,主要分享集中在宣传MySQL5.7的新特性。有一个meetup讨论了下一个版本的需求,据称下一个版本直接就叫MySQL8.0了…
Percona作为东道主,贡献了最多的技术分享,主要还是集中在性能调优,优化建议方案,另外Percona的CEO也有几场干货满满的演讲,例如InnoDB的内部架构以及关于数据压缩的一些分享。
其他也有大量的互联网公司,技术服务及大数据公司参与了此次会议,分享的内容五花八门。
以下是我列出的本次会议个人觉得有点意思的一些topic,并没有列出全部,感兴趣的自行到官网查阅下载
MySQL开发组成员分享MySQL的复制架构,5.7新版本的主要优化等内容:
运维
新特性
性能
介绍了MySQL5.7在GA之后释放的一个新特效: Document Store。其定义了一套新的接口,实现了X PLUGIN及对应的通信协议。通过Document Store,用户可以像MongoDB那样来操作MySQL。你也可以阅读我的另外一篇博文来了解相关知识。
介绍MySQL的优化器如何工作,优化器架构,如何基于开销进行查询优化,和查询计划选择。对优化器感兴趣的同学强烈建议阅读,干货非常足!
Sunny Brain介绍了MySQL5.7在InnoDB层做的一些性能优化和新的特性
性能优化:
新特性:
介绍MySQL5.7 Performance Schema,以及基于Performance Schema及Information_Schema构建的视图集合sys schema。个人非常喜欢这套视图,非常便于发现系统问题及性能瓶颈。
Sys Schema的深入介绍
MySQL Group Replication,是MySQL官方出品的一组插件,用于管理多点写入的集群,可多点写入,自动冲突检测,集群自动同步和恢复等等。不过还没GA,感兴趣的可以自己玩一下
官方出品HA及负载均衡方案,可和另外一个工具Fabric结合使用
MySQL性能测试
概览了5.7的一些新特性(不全面),以及booking部署MySQL5.7的一些经验
MySQL5.7的优化器
介绍MySQL最新出的document store,提供了X PLUGIN及新的协议,允许用户像使用mongodb那样使用mysql
Mysql性能测试,分析及调优
Percona CEO主讲,介绍了InnoDB的主要架构,关键配置,物理文件存储,内存结构, 锁系统,MVCC等等方方面面的内容,对InnoDB感兴趣的同学推荐一读。
还顺带介绍了Percona及MariaDB所做的一些改进。
演讲者为Percona的CTO Vadim,主要介绍了Tokudb的Fratal Tree的实现。由于现在Percona已经收购了Tokudb,你可以从发布的Percona Server上直接使用Tokudb存储引擎。
Slides由介绍b-tree的优缺点引出fractal tree,介绍了其内部的数据组织结构,tokudb的一些参数建议,以及PerconaFT相关的一些内核实现。
关于Schema Design之类,适合DBA同学阅读
介绍了Ceph的架构,以及基于其上调优MySQL
Trouble Shoutting最佳实践
常见的产生宕机时间的场景,以及解决方案;性能问题排查
介绍开源数据库的各种压缩方案。
介绍了MySQL5.7的GIS及MongoDB的GIS, 一些示例。
基于例子给出一些性能优化建议,随便看看
Percona XtraDB Cluster,不知道有没人用,反正我没玩过…这篇slide介绍了如何设置cluster,并介绍了一些内部实现,例如异步slave,proxy,负载均衡,备份及监控
介绍如何使用Apache Spark集合MySQL来做数据分析
使用Performance Schema来排查问题
讨论了从硬件选择,配置,索引到表设计及架构,各个方面的优化点
Solid State Storage for your MySQL Databases: What you need to Know to Optimize Performance
Percona的CTO Vadim介绍了关于底层存储的一些分享
对硬件不太懂,有空再看看
介绍Galera的复制原理的,没了解过
To shard or not to shard, that’s a question…来自Percona CEO的又一分享。
多源复制,包括Mariadb及MySQL各自的使用介绍
Percona对MySQL5.7 InnoDB的性能优化,例如multi lru flush, split double write buffer
5.7多源复制
AWS的VP介绍Aurora,测试数据,及一些比较上层的实现架构。
Mark Callaghan的keynote演讲。介绍rockdb,及其衍生组件myrocks及mongorocks的优势和特点
实际上这是Memsql的工程师的分享,但因为MyRock是Facebook开发的,所以放在这一栏。大概介绍了些概念性的内容。
Rockdb及MyRock的深度介绍,想了解其底层实现,这篇slide是必读的,干货满满
介绍Rockdb的设计和架构,同样是满满干货 , 后面有时间再慢慢研究
MariaDB 10.1特性介绍
MariaDB的window function实现,MariaDB在server层一如既往的走在前面
Youtube的分布式中间件Vitess介绍
暂无PPT,主要是Google云在底层文件存储层的一些特性。
介绍Twitter的底层存储解决方案(MHBtree),基于其业务特点定制,MySQL实际上被当成了kv引擎,使用特定的协议,通过一个插件直接访问Handler。这个架构还蛮有意思的,例如
介绍Linkedin的分布式NoSQL系统,其架构在MySQL之上。加上一堆组件,例如apache helix, router, api server, kafka等等. MySQL只是作为存储节点;
在MySQL层,对GTID的功能进行了扩展,binlog的row event使用snappy进行压缩
扩展MySQL策略
从MySQL迁移到RockDB来解决Booking的数据检索问题
MySQL并行复制,老话题
几个PPT都挂了,后面再补上
Dropbox使用GTID的分享: 集群管理,MySQL的复制机制,GTID相关的经验例如failover切换,备份等。
使用performance schema进行trouble shoutting,老话题了
使用Orchestrator进行崩溃检测及Failover
DBA的那些事儿
还是GTID和复制的那些事儿
硬件和文件系统都不太懂,*标记了*后面有空再看
来自Intel公司的分享,在不同硬件环境下的Percona MySQL性能表现,包括 (1) a RAID of HDD vs. (2) a RAID of SATA SSD vs. (3) a RAID of NVMe SSD。
还是讲硬件的,使用intel的硬件来提升性能神马…
介绍了几类不同引擎的优缺点
介绍了Alibaba如何为解决电商业务的高负载、高并发等要求所做的大量源码改进
基于InnoDB的物理复制,之前已经撰文专门讲过,感兴趣的自取
基于不可靠组件构建高可靠服务 ?
介绍Pinterest基于MySQL的图片存储系统服务Zen
优化Linux下的各项配置来提升数据库性能
个人认为这篇slide非常值得运维人员一读,对于ppt中提到的一些工具可以自己试玩一把,都满实用的
非标准数据的存储方案,太长了没看
演讲者是原Tokudb开发成员,分享了如何对数据库的数据进行压缩:
对压缩理论感兴趣的可以看看。
介绍SQLite的内部架构,特点,和MySQL从可移植性、并发性能、网络等各个方面进行比较
InnoDB事务锁
数据灾难恢复
备份及恢复测试,ppt没啥内容
MySQL查询优化技巧
通过docket来进行MySQL部署,对在容器中运行mysql感兴趣的可以看看。演讲者是sandbox的作者
主要介绍了Aphache Solr的一些架构和特性,并使用solr来解决大数据量级别的索引问题,进而解决业务上的即时搜索问题。
介绍Apache Impala,以及MySQL和impala的对比。后者主打OLAP,支持PB级数据量级,列式存储,线性扩展。
使用自动化运维工具Ansible来管理Mysql
来自TwinDB的分享,介绍了如何去灾难恢复InnoDB表
来自Clustrix的分享
介绍Apache Ignite,不了解
介绍ActorDB,一款兼容MySQL协议的分布式数据库
CockroachDB, 一个类似Google Spanner的开源数据库。
数据库的数据加密介绍,以及该公司的ZeroDB
使用MySQL存储引擎Spider进行数据库分片。据说spider在腾讯用的比较多,有空研究下
An efficient way to process a large number of rows with mysql_use_result() or streaming option
通常情况下客户端是使用mysql_store_result先存储结果集,然后再逐行处理。而另外一种方式是mysql_use_result则是逐行在客户端获取再处理,相比前者对客户端的内存占用影响较小。
在Kubernetes(一款Google开源的Docker容器集群管理系统)上运行Galera Cluster
介绍 Tempesta DB , 它是linux内核的扩展,实现了内存管理,驱逐,IO机制等。它被设计成承担实时负载,需要数据装进RAM中。
由于我对其他数据库并不了解,这里仅仅列出相关的Slide及摘要链接,感兴趣的自取
【云栖快讯】如何实现推荐系统个性化,做到“千人千面”?如何将1人年工作量缩成21天?6月16日,阿里云推荐引擎技术负责人郑重做客云栖社区分享其中奥秘。 详情请点击
转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » Percona Live 2016 PPT整理