【MySQL】Tokudb安装测试初探

一 前言
   TokuDB 是一个高性能、支持MVCC的MySQL 和 MariaDB 的存储引擎。TokuDB 的主要特点是数据压缩功能出色,对高写压力的支持,由美国TokuTek公司(http://www.tokutek.com/) 研发,该公司于2015年4月份被Percona收购,理所当然地提供了TokuDB版本的Percona Server。本文使用Peronca server 5.6.30 版本进行测试安装。
二 安装前的准备
    请参考官方文档 Percona Server YUM源Percona Server tokudb安装文档
三 安装步骤
3.1 关闭系统的大页

  1. echo never > /sys/kernel/mm/transparent_hugepage/enabled
  2. echo never > /sys/kernel/mm/transparent_hugepage/defrag
  3. echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
  4. echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
3.2 禁用SELINUX
  1. root@rac2:~# >vim /etc/selinux/config 设置SELINUX=disabled
  2. root@rac2:~# >setenforce 0
  3. root@rac2:~# >getenforce
3.3 利用percona 的yum 源进行安装
  1. yum install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm
  2. yum list | grep percona #检查yum源里面是否有 tokudb相关的rpm包
  3. yum install Percona-Server-tokudb-56.x86_64 -y
3.4 初始化数据库实例并启动数据库
  1. /usr/bin/mysql_install_db --user=mysql --datadir=/srv/my3306/data --basedir=/usr/ --defaults-file=/srv/my3306/my.cnf &
  2. /usr/bin/mysqld_safe --defaults-file=/srv/my3306/my.cnf --user=mysql &
3.5 使用ps_tokudb_admin安装tokudb 存储引擎 ,记得实例必须是启动状态的。
  1. root@rac2:/srv/my3306/data# >ps_tokudb_admin --enable -uroot -h127.0.0.1 -P 3306
  2. Checking SELinux status...
  3. INFO: SELinux is in permissive mode.
  4. Checking if Percona Server is running with jemalloc enabled...
  5. INFO: Percona Server is running with jemalloc enabled.
  6. Checking transparent huge pages status on the system...
  7. INFO: Transparent huge pages are currently disabled on the system.
  8. Checking if thp-setting=never option is already set in config file...
  9. INFO: Option thp-setting=never is not set in the config file.
  10.       (needed only if THP is not disabled permanently on the system)
  11. Checking TokuDB engine plugin status...
  12. INFO: TokuDB engine plugin is not installed.
  13. Adding thp-setting=never option into /etc/my.cnf
  14. INFO: Successfully added thp-setting=never option into /etc/my.cnf
  15. Installing TokuDB engine...
  16. INFO: Successfully installed TokuDB engine plugin. --> 说明Tokudb 存储引擎插件安装成功
3.6 登陆实例进行检查
  1. root@rac2:/srv/my3306/data# >my 3306
  2. Server version: 5.6.31-77.0-log Percona Server (GPL), Release 77.0, Revision 5c1061c
  3. mysql> show engines;
  4. +---------+---------+--------------------------------------------------------------+--------------+------+------------+
  5. | Engine | Support | Comment | Transactions | XA | Savepoints
  6. +---------+---------+--------------------------------------------------------------+--------------+------+------------+
  7. | TokuDB | YES | Percona TokuDB Storage Engine with Fractal Tree(tm) Technology| YES | YES | YES |
  8. +---------+---------+---------------------------------------------------------------+-------------+------+------------+
  9. 10 rows in set (0.02 sec)
  10. mysql> SELECT @@tokudb_version;
  11. +------------------+
  12. | @@tokudb_version |
  13. +------------------+
  14. | 5.6.31-77.0 |
  15. +------------------+
  16. 1 row in set (0.00 sec)
四 测试
4.1 压缩比例
 
创建innodb 和tokudb存储引擎的表,测试插入 和文件大小。
  1. mysql> create table t_tokudb (id int,val varchar(256)) engine=tokudb default charset utf8;
  2. Query OK, 0 rows affected (0.05 sec)
  3. mysql> insert into t_tokudb(val) select val from t_tokudb;
  4. Query OK, 262144 rows affected (2.32 sec)
  5. Records: 262144 Duplicates: 0 Warnings: 0
  6. mysql> CREATE TABLE `t_innodb` (
  7.     -> `id` int(11) DEFAULT NULL,
  8.     -> `val` varchar(256) DEFAULT NULL
  9.     -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
  10. Query OK, 0 rows affected (0.13 sec)
  11. mysql> insert into t_innodb select * from t_tokudb;
  12. Query OK, 1048576 rows affected (10.40 sec)
  13. Records: 1048576 Duplicates: 0 Warnings: 0
查看innodb 表和tokudb 表的大小
root@rac2:/srv/my3306/data# >du -sm _yang_t_tokudb_main_5_2_1d.tokudb
8 _yang_t_tokudb_main_5_2_1d.tokudb
root@rac2:/srv/my3306/data/yang# >du -sm t_innodb.ibd
149 t_innodb.ibd
root@rac2:/srv/my3306/data/yang# >
innodb 149M
tokudb 8M
压缩比达到惊人的 149/8 = 18:1. 因为测试例子中val 的值都是相同的,生产环境中val值不相同的会比较多,压缩比会有所减小。
4.2  存储引擎转换
  1. mysql> show create table t1 \G
  2. *************************** 1. row ***************************
  3.        Table: t1
  4. Create Table: CREATE TABLE `t1` (
  5.   `id` int(10) NOT NULL AUTO_INCREMENT,
  6.   `val` varchar(10) DEFAULT NULL,
  7.   PRIMARY KEY (`id`)
  8. ) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8
  9. 1 row in set (0.01 sec)

  10. mysql> alter table t1 engine=tokudb;
  11. Query OK, 4 rows affected (0.25 sec)
  12. Records: 4 Duplicates: 0 Warnings: 0
4.3 online ddl 测试
  1. mysql> alter table t_tokudb add name varchar(30) default 'a';
  2. Query OK, 0 rows affected (0.06 sec)
  3. Records: 0 Duplicates: 0 Warnings: 0
  4. mysql> alter table t_tokudb add key idx_a(name);
    Query OK, 0 rows affected (4.79 sec)
    Records: 0  Duplicates: 0  Warnings: 0
  5. mysql> alter table t_tokudb drop key idx_a;
    Query OK, 0 rows affected (0.57 sec)
    Records: 0  Duplicates: 0  Warnings: 0
五  TokuDB 总结
TokuDB特点
1 高压缩比,默认使用zlib进行压缩,尤其是对字符串(varchar,text等)类型有非常高的压缩比,比较适合存储日志、原始数据等。一般有5-10倍压缩比。
2 支持在线字段增加、删除、扩展、重命名操作。
3 支持完整的ACID特性和事务机制
4 支持快速的写入场景,Fractal-tree在事务实现上有优势,无undo log
TokuDB缺点
1,响应时间相对较长
2,online ddl 对text,blob等类型的字段不适用
3,没有完善的热备工具,目前有阿里云数据库团队推荐的备份方案和逻辑备份
建议适用场景:
1 访问频率不高的数据或历史数据归档
2 表非常大并且时不时还需要进行ddl操作
TokuDB的压缩算法如何选择
tokudb_zlib:表启用zlib压缩,压缩效果偏中,CPU消耗偏中,建议使用(默认);
tokudb_quicklz:表启用quicklz压缩,压缩效果差,CPU消耗低;
tokudb_lzma:表启用lzma压缩,压缩效果好,CPU消耗高。
TokuDB默认压缩算法为zlib,建议您不要做修改,因为zlib压缩的性价比非常高。

六 参考资料
[1] Percona Server tokudb安装文档
[2] Percona Server TokuDB 官方手册
[3] TokuDB索引结构--Fractal Tree
[4] TokuDB 引擎

本页内容版权归属为原作者,如有侵犯您的权益,请通知我们删除。

通过shell脚本添加备库日志 - 2016-08-21 17:08:14

今天下午的时候,准备顺手写一个简单的脚本,但是发现很多事情较真起来真是寸步难行。在写脚本的过程中碰到了太多的问题,很多时候感觉像要实现的功能更通用,就得做更多的检查,更多的校验也就意味着有更多的预先条件,这些条件里面有些是规范和建议,有些是按照已有的配置情况,尽管如此,自己感觉还是缺少了太多的检查。   先来说说今天尝试的简单脚本,就是给主库添加standby logfile,这个需求听起来非常简单,都甚至在我的半自动化脚本中隐去了,但是把这个需求要落到纸面上来,简直了。 首先这个需求会涉及到下面的几个数据
今天在测试时遇到一个ORA-38706ORA-38707报错,乍一看到报错内容竟然没有回过神儿来。 ORA-38706ORA-38707报错 点击( 此处 )折叠或打开 SYS @ HOEGH select banner from v$version ; BANNER -------------------------------------------------------------------------------- Oracle Database 12c Enterprise Edition R

Oracle之虚拟索引 - 2016-08-21 14:08:07

Oracle 之虚拟索引 1    BLOG 文档结构图     2    前言部分 2.1    导读和注意事项 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~ : ①  Oracle 虚拟索引的使用   Tips: ① 本文在 ITpub ( http://blog.itpub.net/26736162 )、博客园 ( http://www.cnblogs.com/lhrbest )和微信公众号( xiaomaimiaolhr )有同步更新 ②

MySQL 事务提交过程 - 2016-08-18 17:08:13

开发老大要求通过binlog查询一条被修改的数据,数据被查出后问我,有没有可能binlog中不会记录,回答不会,因为数据被修改,若失败直接回滚,不会在binlog中记录,此刻一个朋友用了洪荒之力告诉我,失败的话也会记录,坐地无语,因为他sqlserver dba,用sqlserver的思维考虑mysql,哈哈哈哈哈,用实验让他闭嘴! 简单测试步骤如下: root(yoon) flush logs; Query OK, 0 rows affected (0.01 sec) root((none)) show

Data Guard跳归档恢复的案例 - 2016-08-18 14:08:08

自前些天写了一个脚本之后,今天特意测试了一下,没想到一下子发现了一个大问题。有一套一主两备的10gR2环境,一个异机备库一直在READ ONLY状态,也就意味着数据库在打开之后一直忘了恢复应用归档,然后在某一天发现时,已经延迟了好几个月。无论怎样,还得庆幸发现了这个问题。 目前来看一种行之有效的方法就是重搭备库,但是这种修复方式需要大量的磁盘空间,而且需要恢复的时间较长,怎么改进呢,可以考虑通过基于SCN的增量备份来跳归档恢复。目前的环境是一主两备,再怎么改进呢,我们可以基于备库1来完成基于SCN的增量备份
背景 本文对 5.6 主备场景下,在备库做物理备份遇到死锁的case进行分析,希望对大家有所帮助。 这里用的的物理备份工具是 Percona-XtraBackup(PXB),有的同学可能不清楚其备份流程,所以这里先简单说下,PXB的备份步骤是这样的: 拷贝 InnoDB redo log,这是一个单独的线程在拷,直到备份结束; 拷贝所有InnoDB ibd文件; 加全局读锁,执行 FLUSH TABLES WITH READ LOCK(FTWRL); 拷贝 frm、MYD、MYI 等文件; 获取位点信息,
链接: http://blog.itpub.net/28602568/viewspace-2123386/ 标题: Oracle not exist子查询全扫的优化   作者: lōττéry ©版权所有[文章允许转载,但必须以链接方式注明源地址,否则追究法律责任.] 前言:   之前写过  Oracle 针对子查询里有group by 表全扫的优化 ( 子查询和外层关系是left join);   本次介绍 子查询与外层是not exists的关系是如何优化子查询全扫的;    优化前: SQL SET
【故障处理】 ORA-12545: Connect failed because target host or object does not exist 1    BLOG 文档结构图       2    前言部分 2.1    导读和注意事项 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~ : ①  错误 ORA-12545: Connect failed because target host or object does not exis
今天写了个脚本,虽然实现的功能不多,但是个人感觉是一个好的开始,架子出来了,后面要补充的细节加进来就逐步完善了。 这个脚本的运行效果如下: OS     Version  is :[ RHEL_6.3 ] Oracle Version  is :[ 11.2.0.3.0] Oracle Instance is :[ dgtest ] dgtest ORACLE_HOME     is :[ /U01/app/oracle/product/11.2.0.2/db_1  ] Oracle  status  is

DUAL系列 - 2016-08-12 17:08:18

DUAL 系列   1    BLOG 文档结构图     2    前言部分   2.1    导读和注意事项 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~ : ① DUAL遭到破坏后的重建(重点) ②  关于参数replication_dependency_tracking简介 ③ DUAL简介     Tips: ① 本文在 ITpub ( http://blog.itpub.net/26736162 )、博客园 ( http://www.