分布式任务调度平台的自动化部署

服务器

浏览数:101

2019-3-14

一、概述

   1、自动化部署能简化开发过程的代码管理,让开发人员把更多的时间专注于业务实现,
   简化繁琐的上线流程和操作步骤,做到项目的快速打包和部署,减少人为操作中的失误。

   2、分布式任务调度平台,XXL-JOB:美团点评员工许雪里开发,
   其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
   现已开放源代码并接入多家公司线上产品线,开箱即用。
   源码地址:https://github.com/xuxueli/xxl-job

二、本文简介

  主要是利用成熟的CI部署工具Jenkins,结合开源的分布式任务调度框架xxl-job作为demo工程,快速搭建自己的持续集成项目,其他项目可以类似构建。

三、Jenkins部署和配置

1、安装
  1.1用特定版本的安装包安装
     安装包下载页:   https://pkg.jenkins.io/redhat-stable/
    (注意:会有一些安装版本和jdk版本匹配的问题,一般CentOS 6.5 安装版本jenkins-2.7.4-1.1.noarch.rpm是OK的)
  1.2、安装最新版本:
         按照文档来就没问题: https://jenkins.io/doc/book/getting-started/installing/#unix-linux
  1.3、启动和停止
      sudo service jenkins start/stop/restart
      sudo chkconfig jenkins on

2、全局配置

  • 2.1 全局配置:点击系统管理,进入Global Tool Configuration

  • 2.2 配置常用环境变量

    注意的点:所有配置需要配置在全局环境变量里面,让系统所有用户都能访问到,比如说maven,不能配置在特定的用户目录下,否则后面jenkins用户就无法执行mvn命令,而报错。
    jdk:

    git:

    maven:

3、 项目配置

  • 3.1、新建一个项目

      点击新建,新建一个自由风格的软件项目  

  • 3.2、项目源码配置(使用git管理):

      首先需要安装插件:
       系统管理-》管理插件,在可选插件里找到这个,让后直接安装就可以

  • 3.3、配置远程SSH

    在系统管理-》系统设置里,找到Publish over SSH
    

4、构建配置详细:

    1、 General配置项目名称和简介
    2、源码管理配置git项目地址
    3、构建触发器配置远程构建脚本
    4、构建环境配置项目构建前需要执行的一些脚本
    5、构建,配置构建工具,比如maven打包,war包的上传,执行tomcat服务启动脚本
    6、构建后操作发布,构建后的邮件发送等操作

4.1、简介和配置

4.2、 配置项目源码地址和访问密码

4.3、 配置Credentials

4.4、构建环境

4.5、构建 配置构建命令 (这里的maven是前面全局环境变量中配置好的)

添加构建后操作(需要前面安装好远程ssh插件才行)

4.6、配置构建后操作

其中:

Transfer SetSource files:表示要上传的本地的war包及路径,可到工作空间去看
Remove prefix:表示要上传时要去除的文件夹,即只上传war包
remote driectory:即表示执行时的路径,相当于把war包上传到这里了
exec commad:要执行的命令,这里可以重命名jar包,启动tomcat服务器

7、构建后操作:

8、回到配置主页,进行构建

9、进入构建控制台查看构建日志,如果有错误,可以直接查看到

四、xxl-job的介绍

项目地址:
 https://github.com/xuxueli/xxl-job

概述:
XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。
现已开放源代码并接入多家公司线上产品线,开箱即用。

特性:
- 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
- 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;
- 3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现,可保证调度中心HA;
- 4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;
- 5、任务Failover:执行器集群部署时,任务路由策略选择"故障转移"情况下调度失败时将会平滑切换执行器进行Failover;
- 6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
- 7、自定义任务参数:支持在线配置调度任务入参,即时生效;
- 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
- 9、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
- 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
- 11、状态监控:支持实时监控任务进度;
- 12、Rolling执行日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
- 13、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
- 14、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
- 15、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
- 16、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
- 17、任务注册: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
- 18、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移;
- 19、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
- 20、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python等类型脚本;
- 21、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
- 22、失败处理策略;调度失败时的处理策略,策略包括:失败告警(默认)、失败重试;