InnoDB Insert Buffer(插入缓冲)

服务器

浏览数:154

2019-6-20

AD:资源代下载服务

InnoDB Insert Buffer(插入缓冲)

每个存储存储引擎自身都有自己的特性(决定性能以及更高可靠性),而InnoDB的关键特性有:

  • 插入缓冲(Insert Buffer)–》Change Buffer
  • 两次写(Double Write)
  • 自适应哈希索引(Adaptive Hash Page)
  • 异步IO(Async IO)
  • 刷新邻接页(Flush Neighbor Page)

今天主要聊一下插入缓冲(Insert Buffer)在InnoDB存储引擎中的作用。

Insert Buffer其实是一种重要的数据变更日志,在MySQL5.1 之前称为Insert Buffer, 优化2级非唯一索引上插入操作的读IO,在MySQL5.5之后改名为Change Buffer, 功能也扩展为2级非唯一索引上的插入、删除、更新、purge的读IO优化。也就是说Change buffer的主要目的是将对二级索引的数据操作缓存下来,以此减少二级索引的随机IO,并达到操作合并的效果。值得提的一点是,Change Buffer也是物理页的组成部分。

Change Buffer的核心思想,当数据库需要对2级缓存进行修改时,是将这些更新缓存在内存中,在特定的条件下,统一将这些更新到相应的2级索引页上,这样做可以减少读IO的次数,并且相邻的页的读IO可以合并。之所以无法对主键和唯一索引进行优化是因为唯一性判断需要读取实际索引页面中的数据,这就和Insert Buffer 减少读 IO 的初衷背离了。在源码中的命名一直还是用ibuf。  

struct ibuf_struct{
  ulint size;  //当前ibuf btree 页面数
  ulint max_size;  //ibuf最大页面数
  ulint seg_size;  //所属段的页面数
  ibool empty;  //是否为空
  ulint free_list_len;  //空闲链表长度
  ulint height;  //树高度
  dict_index_t* index;  //ibuf索引
 
  ulint n_merges;  //合并的页面数
  ulint n_merged_ops[IBUF_OP_COUNT];  //各种操作合并的页面数
  ulint n_discarded_ops[IBUF_OP_COUNT]; //放弃的操作涉及的页面数
};

从上述的结构体可以得知,Ibuf实际上也是一棵B+树索引,它与innodb中其他的b+树有着完全一样的结构。Ibuf树中的记录其实就是包含了记录本身,还有记录所在页面号的信息。

  值得注意的点是,ibuf只适用于 non-unique secondary indexes 也就是说只能用在非唯一的索引上,原因如下:

1. primary key 是按照递增的顺序进行插入的,异常插入聚族索引一般也顺序的,非随机IO

2. 写唯一索引要检查记录是不是存在,所以在修改唯一索引之前,必须把修改的记录相关的索引页读出来才知道是不是唯一、这样ibuf就没意义了,要读出来(随机IO)所以只对非唯一索引有意义。

 

ibuf可以对三种类型的操作进行缓存:INSERT、DELETE-MARK 、DELETE操作,前两种对应用户线程操作,第三种则由purge操作触发。

用户可以通过参数innodb_change_buffering来控制缓存何种操作:

static const char* innobase_change_buffering_values[IBUF_USE_COUNT] = {
        "none",         /* IBUF_USE_NONE */
        "inserts",      /* IBUF_USE_INSERT */
        "deletes",      /* IBUF_USE_DELETE_MARK */
        "changes",      /* IBUF_USE_INSERT_DELETE_MARK */
        "purges",       /* IBUF_USE_DELETE */
        "all"           /* IBUF_USE_ALL */
};

ibuf默认值为all,表示缓存所有操作。注意由于在二级索引上的更新操作总是先delete-mark,再insert新记录,因此update会产生两条ibuf entry。

因此delete buffer对应update操作的第一个过程,即将记录标记为删除。purge buffer对应update操作的第二个过程,即将记录真正的删除。同时InnoDB存储引擎提供了参数innodb_change_buffering,用来开启各种buffer选项。该参数的可选值为:inserts、deletes、purges、changes、all、none。inserts、deletes、purges就是前面讨论过的三种情况。changes表示启用inserts和deletes,all表示启用所有,none表示都不启用。

 

作者:WilburXu