docker redis5.0 cluster集群搭建

服务器

浏览数:37

2020-6-27

AD:资源代下载服务

系统环境:ubuntu16.04LTS

本文是使用 6 个 docker 容器搭建单机集群测试,实际环境如果是多台,可对应修改容器数量、端口号和集群 ip 地址,每台机器都按下面步骤同样操作即可。

拉取redis官方镜像

docker pull redis:5.0

创建配置文件和数据目录

  • 创建目录
mkdir ~/redis_cluster
cd ~/redis_cluster
  • 新建一个模板文件sudo vim redis_cluster.tmpl,填入如下内容:
# redis端口
port ${PORT}

# 关闭保护模式
protected-mode no

# 开启集群
cluster-enabled yes

# 集群节点配置
cluster-config-file nodes.conf

# 超时
cluster-node-timeout 5000

# 集群节点IP host模式为宿主机IP
cluster-announce-ip 10.10.100.197

# 集群节点端口 7000 - 7005
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}

# 开启 appendonly 备份模式
appendonly yes

# 每秒钟备份
appendfsync everysec

# 对aof文件进行压缩时,是否执行同步操作
no-appendfsync-on-rewrite no

# 当目前aof文件大小超过上一次重写时的aof文件大小的100%时会再次进行重写
auto-aof-rewrite-percentage 100

# 重写前AOF文件的大小最小值 默认 64mb
auto-aof-rewrite-min-size 5120mb

# 关闭快照备份
save ""
  • 批量创建配置文件和数据目录,终端运行以下命令:
for port in `seq 7000 7005`; do \
  mkdir -p ./${port}/conf \
  && PORT=${port} envsubst < ./redis_cluster.tmpl > ./${port}/conf/redis.conf \
  && mkdir -p ./${port}/data; \
done

批量启动 redis 容器

容器的 ip 地址采用 host 模式:

for port in `seq 7000 7005`; do \
  docker run -d -it --memory=1G \
  -v ~/redis_cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \
  -v ~/redis_cluster/${port}/data:/data \
  --restart always --name redis-${port} --net host \
  --sysctl net.core.somaxconn=1024 redis:5.0 redis-server /usr/local/etc/redis/redis.conf; \
done

这里的--memeory=1G是限制单个 docker 容器占用内存大小为 1G,超过会被进程杀死。运行时可能会出现...Memory limited without swap...这个警告,可以忽略。如不需要限制内存,可以去掉--memeory参数。

创建集群

  • 随便进入其中一个容器:
docker exec -it redis-7000 bash
  • 进入后执行如下命令创建集群:
redis-cli --cluster create 10.10.100.197:7000  10.10.100.197:7001  10.10.100.197:7002  10.10.100.197:7003  10.10.100.197:7004  10.10.100.197:7005  --cluster-replicas 1
  • 安装redis-cli命令(如已有可跳过此步):
sudo apt install redis-tools
  • 输入yes后,集群创建完毕,exit退出 docker,接着登录其中一个节点,验证集群可用性:
redis-cli -c -p 7000
  • 输入cluster nodes查看集群状态
127.0.0.1:7000> cluster nodes
06851aa134d50096d82a434eced9194233b5204e 10.10.100.197:7003@17003 slave 8b33f273386c9504ef8bd10b005e24825b3b9596 0 1567671901000 4 connected
a42297b65f7101fc9e4941ef8a0e65080d1b6338 10.10.100.197:7005@17005 slave 0aa20378d14e3ef0859815196cbafa67e1001d0e 0 1567671901581 6 connected
e7b6a35b1e92f94c225c507ea19f7f0318f0d1c3 10.10.100.197:7002@17002 master - 0 1567671902582 3 connected 10923-16383
0aa20378d14e3ef0859815196cbafa67e1001d0e 10.10.100.197:7000@17000 myself,master - 0 1567671901000 1 connected 0-5460
8b33f273386c9504ef8bd10b005e24825b3b9596 10.10.100.197:7001@17001 master - 0 1567671902383 2 connected 5461-10922
fe355eed99100197f43d1216d1de82643dd496a5 10.10.100.197:7004@17004 slave e7b6a35b1e92f94c225c507ea19f7f0318f0d1c3 0 1567671901380 5 connected

设置集群密码

设置密码为什么不在上面的步骤,利用模板文件批量创建配置文件的时候就写进去?

无论是在 redis5.x 版本,还是以前的 redis 版本利用 ruby 创建集群的方式,在redis-cli --cluster create创建集群的环节没有密码参数配置,所以我们需要创建完集群再设置密码。

我们用config set方式分别为每一个节点设置相同的密码(不需要重启 redis,且重启后依然有效),在此之前先给所有 redis 配置文件加w权限,不然密码无法保存到文件。

注意当前路径依然是在~/redis_cluster/

for port in `seq 7000 7005`; do \
  chmod a+w ./${port}/conf/redis.conf; \
done

下面用一台做示例:

  • 登录一个节点:
redis-cli -c -p 7000
  • 设置密码:
127.0.0.1:7000> config set masterauth 123456
OK
127.0.0.1:7000> config set requirepass 123456
OK
127.0.0.1:7000> auth 123456
OK
127.0.0.1:7000> config rewrite
OK

后面几台执行同样的操作即可。

集群写入数据简单测试

  • 随便登录一个集群节点:
redis-cli -c -p 7003 -a 123456
  • 写入数据:
127.0.0.1:7003> set va 1
-> Redirected to slot [7800] located at 10.10.100.197:7001
OK
10.10.100.197:7001> get va
"1"
10.10.100.197:7001> del va
(integer) 1

可以看到,集群中任意节点写入数据,在其他任意节点都能读到。

至此,redis 集群搭建完成。

其他注意事项

  • 外网访问 redis,可能需要防火墙开放相应端口;
  • 如果需要删除容器,可批量操作:
for port in `seq 7000 7005`; do \
  docker stop redis-${port};
  docker rm redis-${port};
done

作者:oldk