定时任务APScheduler,随时可以保持数据同步

python基础

浏览数:61

2019-10-10

AD:资源代下载服务

1,APScheduler是什么?

2,APScheduler的使用场景?

  • redis持久化存储时,使用APScheduler,使数据同步。
  • 用户下单后使用,规定30min内必须支付,否则取消订单。

3,APScheduler 与 crontab 同为定时任务工具,有什么区别?

crontab:

  • crontab是Linux系统提供的一个命令,用来完成定时任务
  • 使用django-crontab 扩展 封装了Linux提供的crontab 命令
  • 可以独立于程序之外,不会占用程序资源,耦合性低
  • 但是它不灵活,比如上面那个订单支付问题,crontab不知道要什么时候执行,所以它做不到

APScheduler:

  • 可以独立运行,也可以放在程序(如Django、Flask)中。
  • 灵活,可以在程序开始前开启定时任务,也可以执行到某个任务时,立即可开启定时任务。
  • 如果依赖程序的话,会占用程序资源

APScheduler如何使用?

1,安装
pip install apscheduler
2 使用方式
from apscheduler.schedulers.background import BackgroundScheduler

# 创建定时任务的调度器对象
scheduler = BackgroundScheduler()

# 定义定时任务
def my_job(param1, param2):
    pass

# 向调度器中添加定时任务
scheduler.add_job(my_job, 'date', args=[100, 'python'])

# 启动定时任务调度器工作
scheduler.start()
3,调度器Scheduler
  • 独立运行时使用BlockingScheduler
from apscheduler.schedulers.blocking import BlockingScheduler

  scheduler = BlockingScheduler()
  scheduler.start()  # 此处程序会发生阻塞
  • 在框架程序(如Django、Flask)中使用BackgroundScheduler:
  from apscheduler.schedulers.background import BackgroundScheduler

  scheduler = BackgroundScheduler()
  scheduler.start()  # 此处程序不会发生阻塞
4,执行器 executors 可以使用线程池(ThreadPoolExecutor)和进程池(ProcessPoolExecutor)
  • 线程程池
from apscheduler.executors.pool import ThreadPoolExecutor
ThreadPoolExecutor(max_workers)  
ThreadPoolExecutor(20) # 最多20个线程同时执行

使用方法:

executors = {
      'default': ThreadPoolExecutor(20)
  }
  scheduler = BackgroundScheduler(executors=executors)
  • 进程池
from apscheduler.executors.pool import ProcessPoolExecutor
ProcessPoolExecutor(max_workers)
ProcessPoolExecutor(5) # 最多5个进程同时执行

使用方法:

 executors = {
      'default': ProcessPoolExecutor(3)
  }
  scheduler = BackgroundScheduler(executors=executors)
5,触发器Tigger
  • 执行任务的时间安排:

data :在特定的时间执行

interval:按指定的时间间隔执行

weeks (int) – number of weeks to wait
days (int) – number of days to wait
hours (int) – number of hours to wait
minutes (int) – number of minutes to wait
seconds (int) – number of seconds to wait
start_date (datetime|str) – starting point for the interval calculation

end_date (datetime|str) – latest possible date/time to trigger on
timezone (datetime.tzinfo|str) – time zone to use for the date/time calculations

cron:按指定的周期执行

year (int|str) – 4-digit year
month (int|str) – month (1-12)
day (int|str) – day of the (1-31)
week (int|str) – ISO week (1-53)
day_of_week (int|str) – number or name of weekday (0-6 or mon,tue,wed,thu,fri,sat,sun)
hour (int|str) – hour (0-23)
minute (int|str) – minute (0-59)
second (int|str) – second (0-59)
start_date (datetime|str) – earliest possible date/time to trigger on (inclusive)
end_date (datetime|str) – latest possible date/time to trigger on (inclusive)
t>imezone (datetime.tzinfo|str) – time zone to use for the date/time calculations (defaults to scheduler timezone)

  • 例:
 # 每天0点执行函数的代码,0点的话,hour可以不用写
app.scheduler.add_job(函数名, "cron", hour=0, args=[函数需要传的参数]) 

#每天凌晨3点执行代码
app.scheduler.add_job(函数名, "cron", hour=3, args=[app])

#如果date后面没有参数的话,就是立刻执行代码,一般测试的时候用
app.scheduler.add_job(函数名, "date", args=[app])
6,程序运行:
scheduler.start()
7,停止APScheduler运行
scheduler.shutdown()

作者:CarryLili