Cgroups原理及其在CephFS io限流上的应用

服务器

浏览数:159

2019-5-25

AD:资源代下载服务

奇技指南

Cgroups的全称是Control
Groups,它是Linux内核提供的一种能够对cpu,内存等资源实现精细化控制的机制。本文介绍了它的原理以及其在CephFS
io限流上的应用。

Cgroups架构

“Control Groups”的主要功能是将线程及其子线程分为多个组,以便对他们进行分别控制。其具体工作包括:

  • 将线程分组
  • 为用户提供控制每组线程的操作接口(/sys/fs文件)

每个control group关联一个cgroup subsystem(controller)。每个subsystem用于控制某项特殊的资源(如可以被调度的cpu核,内存使用总量等),subsystem之间可以存在依赖关系。目前linux默认会加载的subsystem包括:blkio、cpu、cpuacct、cpuset、devices、freezer、hugetlb、memory、net_cls、net_cls,net_prio、net_prio、perf_event、pids、systemd。

如上图所示,在内核中,cgroup会为每个/sys/fs/cgroup下的子目录(subsystem对应目录除外)创建一个css(cgroup_subsys_state)结构,该结构用于关联该目录对应的cgroup结构和所属的subsystem。每个内核线程的task结构中应一个css_set域,可以通过获取其中的css结构,获得其所属的control group信息。

Cgroup的代码实现大致可分为三部分:

  1. 在系统启动时(start_kernel), 初始化cgroup_root,init_css_set(init线程的css_set), 各个subsystem;将cgroup_root挂载至/sys/fs/cgroup
  2. 在线程fork时, 将父线程的css_set赋予子线程, 即:子线程继承父线程的css_set
  3. 根据各subsystem需求,创建/sys/fs下的subsystem控制接口文件,用户可以通过向这些文件写入数据实现对某个control group的控制,也可通过读取相应文件,获得当前该control group的状态。

添加cgroup subsystem/controller

添加一个子系统需要完成以下工作:

1、实现一组cgroup要求subsystem实现的api(如下图所示),其中css_alloc和css_free是强制要求实现的,其余均可选;css_alloc用于分配cgroup_subsys_state结构所需的内存,用户可在该函数里初始化自己的subsystem,css_free用于卸载该subsystem时回收相应内存

2、每个子系统拥有一个独立的自定义name,每个子系统需要定义一个struct cgroup_subsys类型的全局变量,该变量名为<name>_cgrp_subsys;将上面实现的cgroup subsystem api赋予该变量相应的域

3、在 inclue/linux/cgroup_subsys.h里,添加属下entry:

#if IS_ENABLED(CONFIG_CGROUP_XXX)

SUBSYS(<name>)

#endif

实现cephfs客户端io限流

Cephfs客户端限流的目标:限制cephfs内核客户端元数据/数据操作速率(ops/byte per second)。目前我们采用的限流算法是令牌桶算法。

实现步骤如下:

1、添加include/linux/cgroup_cephfs.h头文件,定义cephfscg结构,其中包含cgroup_subsys_state域;同时定义其他所需类型(如令牌桶限流阀token_bucket_throttle)

2、实现cgroup cephfs subsystem

  • a)实现css_alloc和css_free函数

  • b)定义cephfs
    subsystem的接口文件,其中meta_ops和data_ops用于设置元数据操作和数据操作令牌桶的更新周期,meta_ops.iops和data_ops.iops用于设置元数据/数据操作的iops限制,data_ops.band用于设置数据操作的吞吐量限制;除定位文件外,还需要设置这些文件的读写处理函数,这里所有读写操作均由cephfscg_set_throttle_params和cephfscg_throttle_params_read完成;

  • c)定义cephfs_cgrp_subsys变量

  • d)在Include/linux/cgroup_subsys.h增加相应的entry

3、在cephfs文件操作执行路径上增加相应的控制操作(获取当前task的css结构,并调用其对应的限流接口)

本文介绍了cgroups架构以及添加子系统的方法,并通过cgroups在cephfs中的应用,进一步展示了cgroups精细化控制能力。希望通过整篇文章的介绍,读者能够大致了解cgroups的功能。

相关推荐

浅谈Cgroups

(360技术原创内容,转载务必注明出处保存文末二维码图片,谢谢配合。)

关注360技术,发现更多有料干货~

作者:360技术